Prima o poi un cliente ti scrive: «Non voglio che l'AI usi i miei contenuti, bloccala». Dal 2027 basterà una riga in robots.txt per dirlo a più fornitori insieme. Ma Google e Bing quella riga non la leggono allo stesso modo, e chi la scrive sei tu.
Cosa hanno annunciato Google e Bing sul robots.txt per l'addestramento AI?
Il 30 ottobre Google ha annunciato che supporterà un controllo comune per l'addestramento AI in robots.txt, nato dal gruppo di lavoro AIPREF dell'IETF. È ancora una bozza, non uno standard chiuso. La pagina dei crawler di Google indica la sintassi, `user-agent: __usage_ai-training`, e la data: inizio 2027. Il post resta più vago e parla solo del 2027.
Il punto che conta è una frase del post. Se un sito usa il nuovo segnale per negare l'addestramento e non indica Google-Extended a parte, Google lo tratterà come se avesse bloccato Google-Extended.
Lo stesso giorno Microsoft ha pubblicato le sue nuove preferenze. Adotta lo stesso segnale per l'addestramento e ne aggiunge uno separato per il grounding, cioè l'uso dei contenuti per comporre le risposte AI. Le applica da febbraio 2027 e sostituiscono NoArchive e NoCache.
Perché la stessa riga non fa la stessa cosa su Google e su Bing?
Perché Google-Extended non governa solo l'addestramento. Secondo la documentazione di Google copre l'addestramento dei modelli Gemini e anche il grounding nelle app Gemini e in Vertex AI. Il post lo dice dall'altro lato: i siti che consentono Google-Extended possono comparire nelle risposte di Gemini e ricevere clic.
Quindi il no generico all'addestramento, su Google, si porta dietro anche quello. Il cliente voleva evitare che i suoi testi finissero in un modello; rischia di uscire anche dalle risposte di Gemini, dove forse voleva essere citato.
Su Bing no. Lì addestramento e grounding sono due scelte indipendenti: si può negare il primo e lasciare il secondo. Il grounding si imposta pagina per pagina, con un meta tag o un'intestazione HTTP, su tre valori: Allow, DisallowExtended (solo prodotti Microsoft) e Disallow. Senza indicazioni, per entrambi vale Allow.
La documentazione di Google precisa che Google-Extended non incide sull'inclusione in Google Search né sul posizionamento. La ricerca classica non c'entra.
Cosa cambia per chi gestisce i siti dei clienti?
Per l'agenzia cambia una cosa precisa: «blocca l'AI» non è più una richiesta da eseguire, è una domanda da fare. Cosa vuole bloccare il cliente? L'addestramento, le citazioni nelle risposte, o tutto? Sono tre configurazioni diverse, e su Google la riga più semplice fa la scelta più larga.
Se il cliente vuole negare l'addestramento ma restare citabile da Gemini, la riga generica da sola non basta. Serve anche un gruppo esplicito per Google-Extended: il post dice che i controlli specifici per azienda continuano a funzionare accanto al segnale comune.
Poi c'è Bing, con una scadenza vera. I siti che oggi usano NoArchive o NoCache per tenersi fuori dall'AI di Microsoft devono passare alle nuove preferenze entro il 1° marzo 2027. Dopo, quei tag non vengono più letti come preferenze su addestramento e grounding. Per il grounding Bing chiede due cose: la preferenza sulle pagine e una preferenza temporanea in Bing Webmaster Tools, che apre il 15 dicembre 2026.
Se non si fa niente, scrive Microsoft, le pagine con NoArchive o NoCache passano ad Allow per il grounding finché Bing non le riscansiona e trova le nuove preferenze.
Cosa fare questa settimana sui siti dei clienti?
- Cerca NoArchive e NoCache nei siti che gestisci, nei meta tag e nelle intestazioni `X-Robots-Tag`. Quelli che li hanno sono i clienti con una scadenza al 1° marzo 2027.
- Fai l'elenco dei robots.txt che citano già Google-Extended, GPTBot o simili. Lì qualcuno ha già preso una decisione: va scritta da qualche parte, con il motivo.
- Manda ai clienti interessati una domanda sola: vuoi negare l'addestramento, le citazioni nelle risposte AI, o entrambi? La risposta va nel fascicolo del cliente, non in una chat.
- Segna in agenda il 15 dicembre: è la data da cui Bing Webmaster Tools accetta la preferenza temporanea di grounding per i siti con NoArchive o NoCache.
Cosa non fare con il nuovo segnale robots.txt?
Non aggiungere la riga generica a tutti i siti per sicurezza. Su Google vale come un blocco di Google-Extended, e toglie l'idoneità alle risposte di Gemini anche a chi non l'aveva chiesto.
Non trattarla come una decisione tecnica. Riguarda la visibilità del cliente nelle risposte AI, che è un pezzo della strategia che gli vendi. La configurazione la può fare chiunque; la scelta va firmata da lui.
Il segnale arriva nel 2027, le domande dei clienti prima: conviene avere già pronta la risposta.
Fonti: Google Search Central Blog — Supporting a shared AI training control for websites (30/10/2026) · Google — Crawler comuni, sezione Google-Extended · Microsoft Bing Blog — Your content, your choice: clearer preferences for training and grounding (30/10/2026) · IETF — Internet-Draft sul segnale di preferenza per l'addestramento
Articolo scritto con un assistente AI a partire da fonti primarie, pubblicato in automatico e riletto da Stefano Scaffidi Domianello dopo la pubblicazione. Segnalazioni: stefano@scafnet.it