Google, Microsoft e OpenAI vão respeitar regra única de robots.txt contra treino de IA
A opção comum, baseada em proposta de Kevin Kelley, da Anthropic, ainda não funciona em nenhuma das três e terá efeitos diferentes no Google e na Microsoft.
Por Redação MOBAEO··2 min de leitura
Google, Microsoft e OpenAI anunciaram em 30 de outubro que pretendem respeitar um controle compartilhado no robots.txt para o site dizer se aceita ou não que seu conteúdo seja usado no treino de IA. A proposta parte de um Internet-Draft, um rascunho de padrão técnico, escrito por Kevin Kelley, da Anthropic.
O resumo da semana publicado pelo Search Engine Journal em 7 de novembro explica que o controle é um grupo comum de robots.txt, identificado pelo token __usage_ai-training, com regras de Allow e Disallow. Pelos cronogramas divulgados, nenhuma das três empresas dá suporte a ele por enquanto.
Como cada empresa vai ler a regra
O Google diz que vai tratar a recusa pelo controle compartilhado como se o site tivesse recusado o Google-Extended, desde que o site não tenha uma regra própria para o Google-Extended. A documentação de rastreadores do Google informa que o Google-Extended cobre também o uso do conteúdo para embasar respostas nos apps do Gemini.
A Microsoft vai usar o controle compartilhado para treino e vai criar uma preferência separada, por página, para embasamento de respostas por IA. Depois de 1º de março de 2027, a empresa deixa de tratar NoArchive e NoCache como preferências de treino ou de embasamento.
Uma regra, efeitos diferentes
Quando as empresas passarem a ler o novo grupo, um único bloco no robots.txt poderá substituir várias regras de treino escritas para cada empresa. Mesmo assim, a mesma recusa não vai cobrir os mesmos usos no Google e na Microsoft.
No Google, a documentação de controles do robots.txt não separa o treino do Gemini do embasamento de respostas nos apps do Gemini. Na Microsoft, treino e embasamento passam a ter preferências distintas.
Para quem cuida de marca, a decisão de recusar o treino pode ter efeito sobre o uso do conteúdo nas respostas do Gemini, já que no Google as duas coisas andam juntas. Quem usa NoArchive ou NoCache pensando na Microsoft tem até 1º de março de 2027 para migrar para as novas preferências. A recomendação da publicação é verificar o acesso e as regras de robots.txt de cada rastreador de IA, um a um, dentro das auditorias técnicas que o site já faz.
Para entender
O controle compartilhado já funciona?
Ainda não. Pelos cronogramas divulgados, nem Google, nem Microsoft, nem OpenAI dão suporte a ele por enquanto.
Recusar o treino no Google afeta o Gemini?
Pode afetar. O Google vai tratar a recusa como recusa do Google-Extended quando o site não tiver regra própria para ele, e o Google-Extended cobre também o embasamento de respostas nos apps do Gemini.
O que muda para quem usa NoArchive e NoCache?
Depois de 1º de março de 2027, a Microsoft deixa de tratar essas diretivas como preferências de treino ou de embasamento. Até lá, é preciso migrar para as novas preferências.
Fonte: Search Engine Journal.