O que é o arquivo llms.txt e como ele guia as IAs pelo conteúdo de um site

O llms.txt é um arquivo em markdown que um site publica para ajudar modelos de linguagem e agentes de IA a encontrar o que precisam. Ele fica na raiz do endereço (/llms.txt) ou em qualquer caminho dentro dele, como /docs/llms.txt. O arquivo traz um resumo do site, orientações e links para conteúdos mais detalhados.

A ideia surgiu em 2024 e hoje está na segunda versão, descrita no site oficial do llms.txt. O texto parte de uma constatação: agentes usam sites o tempo todo. Um assistente de código lê a documentação de uma biblioteca, e um assistente de chat com busca lê páginas para responder perguntas sobre um produto. As páginas HTML, porém, são feitas para pessoas, com navegação, anúncios e JavaScript em volta da informação, e transformar tudo isso de volta em texto limpo é difícil e impreciso.

Há também a questão do espaço. As janelas de contexto dos modelos cresceram, mas continuam pequenas demais para a maioria dos sites inteiros, e cada token desperdiçado custa tempo e dinheiro. O llms.txt reúne num lugar só a informação concisa de que o agente precisa.

Como o arquivo é organizado

A especificação define uma ordem. A única seção obrigatória é um título H1 com o nome do projeto ou do site. Depois podem vir um bloco de citação com um resumo curto, parágrafos ou listas com mais detalhes e seções com títulos H2 que reúnem listas de links, cada um com nome e, se o autor quiser, uma nota sobre o conteúdo.

Por convenção, uma seção chamada "Optional" guarda os links secundários, que o agente pode pular quando precisa economizar contexto. O arquivo pode ser lido por pessoas e por modelos, e o formato é preciso o bastante para ser processado por programas comuns, como parsers e expressões regulares.

A proposta original, publicada pela Answer.AI em 3 de setembro de 2024, explica o motivo: quem escreve o site sabe melhor do que ninguém qual conteúdo um modelo deve usar. A montagem do contexto fica a cargo de cada ferramenta, e o autor só indica o que é mais relevante.

Versões em markdown e adoção

A proposta também sugere que as páginas importantes tenham uma versão limpa em markdown no mesmo endereço, com .md no final. Para que os agentes encontrem esses arquivos, a recomendação é usar as relações de link alternate, que aponta a versão em markdown, e describedby, que aponta o llms.txt que cobre a página.

Segundo a versão atual, milhares de sites já publicam o arquivo, plataformas de documentação o geram automaticamente e o Lighthouse, do Chrome, verifica se ele existe nas suas checagens de navegação por agentes. OpenAI, Anthropic e Gemini publicam llms.txt para a documentação voltada a desenvolvedores.

Por que importa para uma marca

Hoje o uso mais intenso está na documentação de software, mas a mesma estrutura serve para uma empresa apresentar sua estrutura e suas políticas, ou para uma loja virtual organizar categorias de produtos e políticas. O arquivo foi pensado para conviver com os padrões atuais: o sitemap lista todas as páginas para os buscadores, e o llms.txt oferece uma visão selecionada para os modelos. Ele pode complementar o robots.txt e apontar os dados estruturados do site.

Para quem cuida de marca, o llms.txt é uma forma de dizer aos agentes, com as próprias palavras da empresa, quais páginas explicam quem ela é e o que oferece, em um formato que eles leem com facilidade.