--- title: "Configurare il file robots.txt e l'accesso ai crawler di IA" description: "Cosa copre questa guida online : Questa guida online spiega come configurare l'accesso dei crawler per i motori di ricerca e gli assistenti IA sulla tua PWA. S" canonical_url: "https://it.goodbarber.com/help/ottimizzare-l-indicizzazione-seo-della-pwa-r105/configurare-il-file-robots-txt-e-l-accesso-ai-crawler-di-ia-a431/" lang: it --- # Configurare il file robots.txt e l'accesso ai crawler di IA Source: https://it.goodbarber.com/help/ottimizzare-l-indicizzazione-seo-della-pwa-r105/configurare-il-file-robots-txt-e-l-accesso-ai-crawler-di-ia-a431/ **Cosa copre questa guida online :** Questa guida online spiega come configurare l'accesso dei crawler per i motori di ricerca e gli assistenti IA sulla tua PWA. Scopri le 4 impostazioni predefinite disponibili nel tuo back office, il confronto tra SEO tradizionale e crawler di IA, la procedura di configurazione passo dopo passo e l'elenco completo dei crawler supportati. **Prima di iniziare :** - Assicurati che la tua PWA sia stata pubblicata almeno una volta in **Pubblica > PWA > Pubblica** . - Verifica in **Pubblica > PWA > SEO :: Parametri generali** che l'opzione **Autorizza l'indicizzazione nei motori di ricerca** sia attiva. **Risultato atteso :** Il tuo file **robots.txt** viene generato automaticamente con le direttive di indicizzazione adatte ai tuoi obiettivi di visibilità e alle tue preferenze di protezione dei contenuti per i modelli di IA. ## 1. Comprendere le impostazioni predefinite di accesso dei crawler GoodBarber ti consente di controllare con precisione il modo in cui i motori di ricerca e gli assistenti IA accedono alla tua Progressive Web App (PWA). Il sistema classifica le richieste dei crawler in 4 categorie distinte : - **Motori di ricerca** : Google, Bing e altri motori di ricerca che includono il tuo sito nei loro risultati. - **Risposte dell'IA** : ChatGPT, Claude o Perplexity quando citano il tuo sito nelle loro risposte. - **Addestramento dell'IA** : Crawler che raccolgono i tuoi contenuti per addestrare modelli di IA. - **Accesso su richiesta** : Quando un utente chiede a un assistente IA di aprire e leggere una pagina specifica del tuo sito. Per semplificare la configurazione, sono disponibili 4 impostazioni predefinite in modalità Con guida : Impostazione predefinita Motori di ricerca tradizionali (Google, Bing) Risposte dell'IA (ChatGPT, Claude, Perplexity ecc.) Addestramento dell'IA Obiettivo consigliato **Massima visibilità** ✅ Consentito ✅ Consentito ✅ Consentito Massimizzare la portata su tutti i motori di ricerca e le piattaforme di IA. **Nessun addestramento IA** ✅ Consentito ✅ Consentito 🚫 Bloccato Essere citati dagli assistenti IA e ricevere traffico senza concedere i propri dati di addestramento. **Solo SEO tradizionale** ✅ Consentito 🚫 Bloccato 🚫 Bloccato Mantenere la SEO tradizionale su Google/Bing chiedendo ai crawler di IA di non accedere al tuo sito. **Privacy rigorosa** 🚫 Bloccato 🚫 Bloccato 🚫 Bloccato Chiedere ai crawler di non indicizzare né esplorare il sito (app in fase di sviluppo, di test o ad uso interno). ***Qual è la differenza tra "Massima visibilità" e "Nessun addestramento IA"?* - Citazioni dell'IA in tempo reale (Risposte dell'IA):** Un assistente IA (come ChatGPT) consulta la tua PWA dal vivo per rispondere a un utente, citando il tuo sito e inviando traffico alla tua app. **- Addestramento dei modelli di IA (Addestramento dell'IA):** I crawler raccolgono i tuoi contenuti per addestrare i futuri modelli di IA, senza generare visite dirette al tuo sito. **Quale scegliere?** - Scegli Massima visibilità per una completa esposizione su tutti i motori di ricerca e le piattaforme di IA. - Scegli Nessun addestramento IA per beneficiare del traffico degli assistenti IA vietando loro di utilizzare i tuoi contenuti per addestrare i loro modelli. ***Qual è la differenza tra "SEO tradizionale" e "Assistenti IA"?* - SEO tradizionale (Google, Bing):** Gli utenti cercano utilizzando parole chiave. L'impostazione Solo SEO tradizionale mantiene il tuo posizionamento e l'indicizzazione su Google attivi al 100% e invariati. **- Assistenti IA (ChatGPT, Claude, ecc.):** Gli utenti pongono domande a IA conversazionali. L'impostazione Solo SEO tradizionale blocca questi assistenti IA in modo che non possano leggere né citare la tua app. ## 2. Configurare robots.txt in modalità Con guida 1. Vai al menu **Pubblica > PWA > SEO :: Robots.txt** **modalità Con guida**, seleziona l'impostazione predefinita corrispondente alle tue esigenze. 2. (Opzionale) Fai clic su **Visualizza i dettagli di questa impostazione predefinita** per verificare le autorizzazioni (Consentito o Bloccato) per ciascuna categoria. 3. Controlla le direttive generate in **ANTEPRIMA DEL FILE ROBOTS.TXT GENERATO**. 4. Fai clic su **Salva**. ## 3. Configurare robots.txt in modalità Manuale (avanzata) Se il tuo progetto richiede regole di scansione personalizzate o direttive specifiche, puoi passare l'editor in modalità **Manuale** : 1. Sposta l'interruttore in alto a destra su **Manuale**. 2. Modifica direttamente il contenuto grezzo del file **robots.txt** nel campo di testo. 3. Fai clic su Salva. ***Avvertenza*** : La modalità Manuale è destinata a utenti esperti, sviluppatori e specialisti SEO che hanno familiarità con la sintassi del file robots.txt. In modalità Manuale, la gestione automatica delle impostazioni predefinite di GoodBarber viene disattivata. Un errore di sintassi o una direttiva errata possono compromettere gravemente l'indicizzazione della tua app o rendere il tuo sito invisibile ai motori di ricerca. In caso di dubbi, torna alla modalità Con guida, che garantisce una configurazione sicura e ottimale. ## 4. Elenco completo dei crawler Di seguito è riportato l'elenco dettagliato degli User-Agent identificati e gestiti dalle impostazioni predefinite di GoodBarber, suddivisi per fornitore : - **Google** : Googlebot, Google-Extended - **Microsoft** : Bingbot - **DuckDuckGo** : DuckDuckBot - **Yandex** : YandexBot - **Apple** : Applebot, Applebot-Extended - **OpenAI** : GPTBot, OAI-SearchBot, ChatGPT-User - **Anthropic** : ClaudeBot, Claude-SearchBot, Claude-User - **Perplexity** : PerplexityBot, Perplexity-User - **Common Crawl** : CCBot - **ByteDance** : Bytespider - **Meta** : Meta-ExternalAgent - **Amazon** : Amazonbot - **Cohere** : cohere-ai - **Diffbot** : Diffbot - **Mistral** : MistralAI-User