Robots.txt e addestramento delle IA: arriva la riga comune

Robots.txt e addestramento delle IA: dal 30 ottobre 2026 c'è una riga sola per dire a più aziende insieme che i testi del tuo sito non devono servire ad addestrare i loro modelli. L'hanno annunciata lo stesso giorno Google, OpenAI, Microsoft e Anthropic, e viene da una bozza dell'IETF. Oggi però ha cominciato ad applicarla solo Anthropic, un po' alla volta: gli altri partono nel 2027 o «nei prossimi mesi».

Aggiornato al 7 novembre 2026, con i quattro annunci del 30 ottobre e le pagine ufficiali dei robot lette a novembre.

Se scrivi contenuti (un blog di ricette, le pagine sulla zona del tuo B&B, le guide di un fotografo) decidi adesso se vuoi dire no all'addestramento e lascia aperti i robot che ti fanno trovare. Se hai un negozio con cinque pagine e ti va bene tutto, puoi non fare niente: senza la riga, per la bozza non hai espresso preferenze e per Microsoft vale il sì.

Cosa è successo il 30 ottobre: una riga per tutte le IA

Finora, per dire no all'addestramento si scriveva un blocco per ogni robot: GPTBot per OpenAI, ClaudeBot per Anthropic, Google-Extended per Google. Il 30 ottobre quattro aziende hanno annunciato che leggeranno anche un gruppo comune, con tempi diversi:

La riga viene da una bozza dell'IETF, l'ente che scrive gli standard tecnici di internet, firmata da Kevin Kelley di Anthropic il 30 ottobre 2026. È la versione 00 di una proposta individuale, non adottata dal gruppo di lavoro AIPREF: non è uno standard (scheda della bozza). Google la chiama una bozza di proposta, la collega al Codice di condotta europeo per chi fa modelli di IA e precisa che i controlli delle singole aziende restano.

Robots.txt e addestramento delle IA: la riga esatta e cosa vuol dire

Il robots.txt è il file di testo nella cartella principale del sito che dice ai robot cosa possono leggere. La riga comune si scrive così, come nella bozza e nel post di Bing:

User-Agent: __usage_ai-training
Disallow: /

La prima riga dice a chi è rivolto il gruppo, la seconda dice «no» per tutto il sito: non usare i miei testi per addestrare modelli di IA generativa. Quattro regole della bozza evitano gli errori più facili:

• Due trattini bassi all'inizio: __usage_ai-training. Maiuscole e minuscole non contano.
• Non è un robot e non ferma le visite. Google lo chiama «token di policy»: un'etichetta che dice per cosa non usare i testi. I robot continuano a passare, anche quelli che ti fanno trovare.
• L'asterisco non conta. Un Disallow sotto User-agent: * non vale come no all'addestramento: la bozza lo esclude in modo esplicito.
• Puoi fare eccezioni per cartella. Con Allow: lasci libera una parte. La bozza fa l'esempio dei materiali per la stampa: un fotografo di Lecce (esempio inventato) potrebbe aggiungere Allow: /stampa/ sotto il Disallow: /.

È la prima versione di una bozza, scade il 3 maggio 2027 e può cambiare; anche Anthropic avverte che il modo in cui la legge può cambiare. Se succede, si cambia una riga.

Hai visto in giro Content-Signal: search=yes, ai-train=no? È un'altra cosa: il sistema proposto da Cloudflare, con tre voci (search, ai-input, ai-train). Gli annunci del 30 ottobre delle quattro aziende non lo nominano.

Cosa decidere oggi: farsi citare sì, addestrare no?

Le IA usano il tuo sito in due modi. Con l'addestramento i tuoi testi finiscono fra quelli con cui il modello impara. Con la ricerca l'IA legge la pagina quando qualcuno fa una domanda, e spesso mette il link. Sono robot diversi: dire no al primo non ti toglie dal secondo, e farsi citare da ChatGPT passa proprio dai robot di ricerca. Le scelte sono tre:

Prima trappola: Google-Extended non riguarda solo l'addestramento. Non tocca la presenza nella Ricerca né la posizione (documentazione di Google), e per le AI Overview Google indica altri strumenti, come nosnippet (funzioni IA della Ricerca). Ma sotto la stessa etichetta c'è il grounding, cioè le pagine che Gemini legge mentre risponde: se blocchi Google-Extended, le app Gemini non usano le tue. Nel post del 30 ottobre Google scrive che i siti che consentono Google-Extended possono comparire in quelle risposte e ricevere clic. E con la riga comune, se Google-Extended non lo nomini, Google prevede di considerarlo bloccato.

Seconda trappola: Bing tiene separate le risposte. Per Microsoft la riga comune riguarda solo l'addestramento. Le risposte di Bing e Copilot hanno un'altra preferenza, che si mette pagina per pagina con un meta tag: nel robots.txt non c'è un'impostazione per tutto il sito.

Due esempi inventati. Un blog di ricette di Bari non vuole regalare i testi all'addestramento ma vive dei clic che arrivano da ChatGPT: sceglie la seconda strada. Un B&B a Siracusa vuole comparire ovunque e non scrive niente. Nessuna scelta garantisce qualcosa: Microsoft scrive che nessuna assicura inclusione, traffico o pagamenti. Se il motivo è il diritto d'autore, la parte legale va vista con un professionista.

Cosa non bloccare per sbaglio

L'errore più comune di chi vuole «proteggersi dalle IA» è questo:

User-agent: *
Disallow: /

L'asterisco vuol dire «tutti i robot»: così chiedi di non leggere niente anche a Googlebot e a Bingbot, cioè a chi ti porta i clienti dalla ricerca: il gruppo con l'asterisco vale per ogni robot che non ha un gruppo col suo nome (regole di Google sul robots.txt). E per l'addestramento non serve nemmeno, perché per la bozza l'asterisco non vale come no.

I robot di ricerca da lasciare aperti sono Googlebot, Bingbot, OAI-SearchBot per ChatGPT e Claude-SearchBot per Claude. ClaudeBot invece è il robot dell'addestramento di Anthropic: non confonderlo con Claude-SearchBot, il nome è simile ma il lavoro no. L'elenco completo, con PerplexityBot, è nella guida per farsi citare dalle IA, al Passo 2.

Ricorda poi che il robots.txt è una richiesta, non un lucchetto: Google scrive che il file non può imporre il comportamento dei robot, e Anthropic avverte che bloccare gli indirizzi IP al posto del file può non funzionare. I cambi non sono immediati: OpenAI indica circa 24 ore per la sua ricerca (pagina dei robot), e per Microsoft pubblicare un'impostazione non vuol dire attivarla, serve che Bing ripassi. Se il robots.txt ti suona nuovo, parti da come farsi trovare su Google partendo da zero.

Come scrivere il file oggi, in attesa del 2027

Se hai scelto «no all'addestramento, sì alla ricerca», questo è un esempio da aggiungere al file che hai già. Le righe con # sono commenti. I nomi vengono dalle pagine ufficiali di OpenAI, Anthropic e Google (verificato a novembre 2026).

# OpenAI: no all'addestramento
User-agent: GPTBot
Disallow: /

# Anthropic: no all'addestramento
User-agent: ClaudeBot
Disallow: /

# Google: no all'addestramento di Gemini
# (vale anche per il grounding nelle app Gemini)
User-agent: Google-Extended
Disallow: /

# Riga comune (bozza IETF): Anthropic la applica da ottobre 2026,
# Microsoft dal 1 febbraio 2027, Google nel 2027,
# OpenAI nei prossimi mesi (senza data)
User-Agent: __usage_ai-training
Disallow: /

Aggiungere oggi la riga comune non blocca nessuna visita, e chi la supporta la leggerà quando parte. Le righe che hai già, comprese quelle sotto User-agent: *, restano come sono.

I due modi devono dire la stessa cosa, perché quando nomini il robot di un'azienda vince la regola più specifica. Anthropic segue la regola su ClaudeBot anche se quella generale dice altro: se scrivi «no» nella riga comune e «sì» a ClaudeBot, per Anthropic vale il sì. Google scrive che applicherà la riga comune a Google-Extended solo se nel file non lo nomini.

Il file lo apri scrivendo iltuosito.it/robots.txt nel browser; se esce un errore 404 non c'è, e cosa vuol dire lo spiega la guida. Se hai sottodomini, come shop.iltuosito.it, Anthropic chiede di ripetere le righe per ciascuno. Se il file devi crearlo da zero, usa il nostro generatore di robots.txt per la base; le righe per le IA aggiungile a mano, perché oggi fra i robot delle IA sa bloccare solo GPTBot e CCBot (verificato a novembre 2026).

E il llms.txt? Serve a un'altra cosa: è una proposta di file che riassume il sito, non uno standard, e Google scrive che la sua Ricerca non lo usa. Non prende il posto del robots.txt.

Domande frequenti su robots.txt e addestramento delle IA

Robots.txt: cos'è e cosa c'entra con le IA?

È un file di testo nella cartella principale del sito che dice ai robot cosa possono leggere. È una richiesta, non un blocco: Google scrive che il file non può imporre il comportamento dei robot. Le aziende delle IA lo leggono per sapere se possono usare i tuoi testi per l'addestramento e se possono mostrarti nelle loro ricerche, con robot diversi per le due cose.

Come si blocca l'addestramento delle IA nel robots.txt?

Oggi con un gruppo per ogni robot: GPTBot per OpenAI, ClaudeBot per Anthropic, Google-Extended per Google. Dal 30 ottobre 2026, per robots.txt e addestramento delle IA c'è anche la riga comune User-Agent: __usage_ai-training seguita da Disallow: /, che Anthropic ha cominciato ad applicare e gli altri applicheranno fra i prossimi mesi e il 2027. Conviene usare i due modi insieme, e devono dire la stessa cosa.

Come bloccare ChatGPT senza sparire dalle sue risposte?

Blocca GPTBot, che serve all'addestramento, e lascia aperto OAI-SearchBot, che serve alla ricerca di ChatGPT: OpenAI scrive che le due impostazioni sono indipendenti. Chi blocca OAI-SearchBot non compare nelle risposte di ricerca di ChatGPT.

Bloccare Google-Extended toglie il sito da Google?

No: Google scrive che Google-Extended non incide sulla presenza nella Ricerca né sul posizionamento. Toglie però i tuoi testi dall'addestramento di Gemini e dal grounding, cioè dalle pagine che le app Gemini leggono per rispondere e da cui possono arrivare clic. Con la riga comune, se non nomini Google-Extended, Google prevede di considerarlo bloccato.

«Content-Signal: search=yes, ai-train=no» è la stessa cosa?

No. È il sistema proposto da Cloudflare, con una riga diversa e tre voci: search, ai-input e ai-train. Gli annunci del 30 ottobre 2026 di Google, OpenAI, Microsoft e Anthropic non lo nominano: parlano del segnale comune della bozza IETF, cioè la riga User-Agent: __usage_ai-training.

Robots.txt o llms.txt: quale serve per le IA?

Fanno cose diverse. Il robots.txt dice ai robot cosa possono leggere e, con la riga comune, per cosa non usare i testi. Il llms.txt è una proposta di file che riassume il sito, non uno standard, e Google scrive che la sua Ricerca non lo usa.

Cosa fare oggi

Apri iltuosito.it/robots.txt e cerca un User-agent: * seguito da Disallow: /, e i robot di ricerca (Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot) sotto un Disallow. Se trovi uno dei due e nessuno l'ha deciso, parlane con chi gestisce il sito. Poi scegli la tua strada e metti in calendario un controllo per febbraio 2027, quando parte Microsoft.

Se vuoi sapere quali agenti delle IA passano davvero sul tuo sito, guarda come Microsoft Clarity mostra le visite delle IA.

Se ti blocchi, scrivimi.