Leggere, citare, addestrare: decidi tu cosa fanno le IA dei tuoi contenuti

Se hai pubblicato la tua PWA, in questo momento sta servendo un robots.txt: il primo file che un crawler legge, e quello che decide il seguito — quali parti del tuo sito vengono esplorate, e da chi. Il tuo dice sì a tutti.

Tutto quello che segue riguarda quella versione web della tua applicazione. Le tue app iOS e Android non vengono esplorate da nessuno, e la scheda compare solo dopo che la PWA è stata pubblicata almeno una volta: prima non c'è alcun file da configurare.

Era una risposta difendibile. Semplicemente non era la tua — e il pubblico a cui risponde è cambiato. Qualche anno fa, un crawler sui tuoi contenuti era Google, Bing o un aspiratore di cui non ti importava nulla. Oggi una parte crescente di quel traffico appartiene ad aziende di IA, e non vogliono tutte la stessa cosa dalle tue pagine. Trattarle in blocco significa scegliere tra tutte e nessuna.

La nuova scheda le divide in quattro famiglie: Search engines (Google, Bing e gli altri motori che indicizzano il tuo sito nei loro risultati), AI answers (ChatGPT, Claude o Perplexity quando citano il tuo sito nelle loro risposte), AI training (i robot che raccolgono i tuoi contenuti per addestrare i loro modelli) e On-demand reading (quando un utente chiede a un'IA di aprire e leggere una pagina precisa del tuo sito). Quattro famiglie, perché sono quattro patti diversi.

Concretamente: OpenAI manda GPTBot a raccogliere dati di addestramento e OAI-SearchBot a rispondere in ChatGPT Search — il secondo, però, ti rimanda dei lettori. Anthropic fa lo stesso con ClaudeBot e Claude-SearchBot. Google separa Googlebot, che alimenta il motore, da Google-Extended, che alimenta i modelli. Apple separa Applebot da Applebot-Extended.

Stessa azienda, due crawler, due scambi completamente diversi. Uno ti porta lettori. L'altro prende il contenuto e non restituisce nulla. Un sì o un no globale non sa distinguerli; un robots.txt che li nomina uno per uno, sì.

È questo che i quattro preset mettono nero su bianco:

• Max visibility — aperto a tutti i robot, compresi quelli di addestramento IA. Massimizza la portata. È il tuo file attuale, invariato.
• No AI training — consente i motori di ricerca, classici e IA, e blocca i robot di addestramento IA. Tieni il traffico, rifiuti il set di addestramento.
• Classic SEO only — consente Google, Bing & co. Blocca tutti gli assistenti IA, ricerca e addestramento.
• Strict privacy — blocca tutto. Per un'applicazione interna o un ambiente di test.

Se ne applica uno alla volta, e puoi cambiarlo quando vuoi. La maggior parte degli editori di contenuti si ferma al secondo — ed è esattamente il senso di questa funzione: quella scelta era impossibile da esprimere fino a ieri.

Un preset è un'etichetta, e le etichette si leggono di traverso con facilità. Per questo la scheda mostra il proprio lavoro.

Apri il pannello Visualizza i dettagli di questa impostazione predefinita e ottieni due cose. Primo, un verdetto per ciascuna delle quattro famiglie — Consentito o Bloccato — così il compromesso è a schermo invece che sottinteso da un nome. Secondo, un'anteprima del file robots.txt generato, che si aggiorna mentre passi da una scheda all'altra. Approvi un file, non una promessa.

Dietro quelle quattro carte c'è un registro di 22 crawler di 15 editori — OpenAI, Anthropic, Google, Apple, Meta, Amazon, Perplexity, Common Crawl, ByteDance, Cohere e altri — con il ruolo di ciascuno. Tenerlo aggiornato è il nostro lavoro, non il tuo: quando arriva un nuovo crawler IA, entra nella famiglia giusta e il tuo preset continua a significare quello che hai scelto. L'elenco completo dei robot è a un clic nella scheda, per chi vuole vedere esattamente chi c'è dentro.

C'è una seconda modalità, e ha una condizione: è per chi ha già scritto un robots.txt.

Sposta l'interruttore su Manual e i preset si fanno da parte: modifichi direttamente il file, una direttiva per riga. Si apre precompilato con le regole del preset selezionato, quindi non parti da una pagina bianca; da lì nomini i crawler uno per uno — bloccare Common Crawl ma tenere GPTBot, rallentare un robot preciso con un Crawl-delay, aprire un percorso che altrimenti lasceresti chiuso. Quello che scrivi viene conservato a ogni ripubblicazione, e la riga Sitemap resta al suo posto da sola.

Quello che viene controllato è la forma del file, non la sua saggezza. Il contenuto è limitato a 10 KB, sono accettate quattro direttive — User-agent, Disallow, Allow e Crawl-delay — e tutto il resto viene rifiutato con il numero di riga. È un controllo di sintassi, non una rete di sicurezza. Disallow: / è una riga perfettamente valida, e toglie tutto il tuo sito da Google. L'editor non ti fermerà, perché non ha modo di distinguerla da una decisione voluta. L'interfaccia ti avverte quando cambi modalità, e non è una formula di stile.

Quindi, chiaramente: se non sei sicuro di cosa fa una riga, non scriverla. I quattro preset sono reversibili, ti mostrano il file prima che tu lo confermi, e coprono ciò di cui ha bisogno quasi chiunque. La modalità Manuale è lì per i casi che davvero non riescono a esprimere — e se hai un caso del genere, lo sai già.

Un robots.txt è una dichiarazione, non un firewall. È una richiesta pubblica che i crawler educati rispettano — e la parte onesta di questa funzione è che non tutti lo fanno. ChatGPT-User e Perplexity-User, che vanno a prendere una pagina perché un utente l'ha chiesto, dichiarano di non seguirla. Bytespider nemmeno. Common Crawl la rispetta solo in parte. Seguiamo questo stato crawler per crawler invece di spacciare il file per un lucchetto: leggi la tua scelta come «chi ho avvisato, e di cosa», non come «chi ho fermato».

Due cose invece funzionano in modo affidabile. Che la tua applicazione compaia o meno nei risultati di ricerca non si decide qui: è l'impostazione di indicizzazione delle impostazioni generali, e quando l'indicizzazione è disattivata la scheda si fa da parte e te lo dice, invece di lasciarti configurare qualcosa senza effetto. E quando salvi, la copia in cache servita sul tuo dominio viene eliminata subito: le nuove regole si applicano in pochi secondi, senza aspettare la scadenza della cache.

Vai nel tuo back office, apri SEO → ROBOTS.TXT, scegli il preset che corrisponde alla tua strategia di contenuti e salva: il file è online pochi secondi dopo.