Configurare il file robots.txt e l'accesso ai crawler di IA

Cosa copre questa guida online :
Questa guida online spiega come configurare l'accesso dei crawler per i motori di ricerca e gli assistenti IA sulla tua PWA. Scopri le 4 impostazioni predefinite disponibili nel tuo back office, il confronto tra SEO tradizionale e crawler di IA, la procedura di configurazione passo dopo passo e l'elenco completo dei crawler supportati.
Prima di iniziare :

• Assicurati che la tua PWA sia stata pubblicata almeno una volta in Pubblica > PWA > Pubblica .
• Verifica in Pubblica > PWA > SEO :: Parametri generali che l'opzione Autorizza l'indicizzazione nei motori di ricerca sia attiva.

Risultato atteso :
Il tuo file robots.txt viene generato automaticamente con le direttive di indicizzazione adatte ai tuoi obiettivi di visibilità e alle tue preferenze di protezione dei contenuti per i modelli di IA.

GoodBarber ti consente di controllare con precisione il modo in cui i motori di ricerca e gli assistenti IA accedono alla tua Progressive Web App (PWA). Il sistema classifica le richieste dei crawler in 4 categorie distinte :

• Motori di ricerca : Google, Bing e altri motori di ricerca che includono il tuo sito nei loro risultati.
• Risposte dell'IA : ChatGPT, Claude o Perplexity quando citano il tuo sito nelle loro risposte.
• Addestramento dell'IA : Crawler che raccolgono i tuoi contenuti per addestrare modelli di IA.
• Accesso su richiesta : Quando un utente chiede a un assistente IA di aprire e leggere una pagina specifica del tuo sito.

Per semplificare la configurazione, sono disponibili 4 impostazioni predefinite in modalità Con guida :

 

Impostazione predefinita	Motori di ricerca tradizionali (Google, Bing)	Risposte dell'IA (ChatGPT, Claude, Perplexity ecc.)	Addestramento dell'IA	Obiettivo consigliato
Massima visibilità	✅ Consentito	✅ Consentito	✅ Consentito	Massimizzare la portata su tutti i motori di ricerca e le piattaforme di IA.
Nessun addestramento IA	✅ Consentito	✅ Consentito	🚫 Bloccato	Essere citati dagli assistenti IA e ricevere traffico senza concedere i propri dati di addestramento.
Solo SEO tradizionale	✅ Consentito	🚫 Bloccato	🚫 Bloccato	Mantenere la SEO tradizionale su Google/Bing chiedendo ai crawler di IA di non accedere al tuo sito.
Privacy rigorosa	🚫 Bloccato	🚫 Bloccato	🚫 Bloccato	Chiedere ai crawler di non indicizzare né esplorare il sito (app in fase di sviluppo, di test o ad uso interno).

Qual è la differenza tra "Massima visibilità" e "Nessun addestramento IA"?
- Citazioni dell'IA in tempo reale (Risposte dell'IA): Un assistente IA (come ChatGPT) consulta la tua PWA dal vivo per rispondere a un utente, citando il tuo sito e inviando traffico alla tua app.
- Addestramento dei modelli di IA (Addestramento dell'IA): I crawler raccolgono i tuoi contenuti per addestrare i futuri modelli di IA, senza generare visite dirette al tuo sito.
Quale scegliere?

• Scegli Massima visibilità per una completa esposizione su tutti i motori di ricerca e le piattaforme di IA.
• Scegli Nessun addestramento IA per beneficiare del traffico degli assistenti IA vietando loro di utilizzare i tuoi contenuti per addestrare i loro modelli.

Qual è la differenza tra "SEO tradizionale" e "Assistenti IA"?
- SEO tradizionale (Google, Bing): Gli utenti cercano utilizzando parole chiave. L'impostazione Solo SEO tradizionale mantiene il tuo posizionamento e l'indicizzazione su Google attivi al 100% e invariati.
- Assistenti IA (ChatGPT, Claude, ecc.): Gli utenti pongono domande a IA conversazionali. L'impostazione Solo SEO tradizionale blocca questi assistenti IA in modo che non possano leggere né citare la tua app.

Se il tuo progetto richiede regole di scansione personalizzate o direttive specifiche, puoi passare l'editor in modalità Manuale :

1. Sposta l'interruttore in alto a destra su Manuale.
2. Modifica direttamente il contenuto grezzo del file robots.txt nel campo di testo.
3. Fai clic su Salva.

Avvertenza : La modalità Manuale è destinata a utenti esperti, sviluppatori e specialisti SEO che hanno familiarità con la sintassi del file robots.txt. In modalità Manuale, la gestione automatica delle impostazioni predefinite di GoodBarber viene disattivata. Un errore di sintassi o una direttiva errata possono compromettere gravemente l'indicizzazione della tua app o rendere il tuo sito invisibile ai motori di ricerca. In caso di dubbi, torna alla modalità Con guida, che garantisce una configurazione sicura e ottimale.

Di seguito è riportato l'elenco dettagliato degli User-Agent identificati e gestiti dalle impostazioni predefinite di GoodBarber, suddivisi per fornitore :

• Google : Googlebot, Google-Extended
• Microsoft : Bingbot
• DuckDuckGo : DuckDuckBot
• Yandex : YandexBot
• Apple : Applebot, Applebot-Extended
• OpenAI : GPTBot, OAI-SearchBot, ChatGPT-User
• Anthropic : ClaudeBot, Claude-SearchBot, Claude-User
• Perplexity : PerplexityBot, Perplexity-User
• Common Crawl : CCBot
• ByteDance : Bytespider
• Meta : Meta-ExternalAgent
• Amazon : Amazonbot
• Cohere : cohere-ai
• Diffbot : Diffbot
• Mistral : MistralAI-User