Teste com páginas reais mostra que efeito da otimização para IA varia por buscador
Benchmark LIVE-GEO publicou descrições reescritas de 80 marcas fictícias e viu ChatGPT, Gemini e Grok escolherem o mesmo produto só em parte dos casos.
Por Redação MOBAEO··2 min de leitura
Um grupo de pesquisadores publicou como páginas reais na web descrições de produtos reescritas com técnicas de otimização para motores generativos (GEO). Depois, mediu como ChatGPT, Gemini e Grok classificam essas páginas nas respostas. O teste usou 80 marcas fictícias, distribuídas em 18 famílias de produtos, e foi divulgado em 31 de outubro.
O benchmark se chama LIVE-GEO e está descrito em artigo publicado no arXiv em 31 de outubro. Segundo os autores, as avaliações de GEO feitas até aqui costumam entregar o texto direto ao modelo ou usar sistemas de busca controlados. Por isso não estava claro se os ganhos se mantêm quando a página está na web e é acessada por um buscador com IA.
Cinco estratégias, três buscadores
Foram testadas cinco estratégias já existentes: CORE, C-SEO, E-GEO, AgenticGEO e Statistics Addition, que acrescenta estatísticas ao texto. Elas foram aplicadas às descrições e às avaliações dos produtos.
Os buscadores avaliados foram o ChatGPT com GPT-6, o Gemini 3.6 Thinking e o Grok no modo Expert. O estudo também usou quatro avaliadores que recebem o texto diretamente por API (GPT-4o, DeepSeek, Kimi e Claude) e um modelo rodando localmente, o Qwen2.5-3B-Instruct.
Com os preços congelados numa variação de ±0,2%, a maioria dos avaliadores de texto direto e dos buscadores que recebiam os endereços dos produtos deu à CORE a maior taxa de primeiro lugar. Nos buscadores, essa taxa ficou entre 66,3% e 76,3%. As demais estratégias trocaram de posição entre si conforme o sistema, e os três buscadores escolheram o mesmo produto no topo para apenas 48,8% a 66,3% das marcas.
A ordem dos links pesa no ChatGPT
O ChatGPT se mostrou sensível à ordem em que os endereços candidatos aparecem. A taxa de primeiro lugar da CORE foi de 73,8% numa ordem fixa e de 93,8% na ordem oposta. Com a ordem aleatória adotada pelo LIVE-GEO, ficou em 82,5%, entre as duas.
Os pesquisadores também checaram se a reescrita preservava os números dos textos. O verificador JEV concordou com os rótulos de referência em 90,7% de 194 casos de teste e com o julgamento humano em todas as 50 descrições sorteadas. Ele sinalizou 86 das 400 descrições reescritas, entre elas todas as 80 produzidas pela estratégia Statistics Addition.
O que muda para quem cuida de marca
O estudo mostra que o efeito de reescrever conteúdo para as IAs varia de um buscador para outro: ChatGPT, Gemini e Grok coincidiram no produto do topo para 48,8% a 66,3% das marcas, e no ChatGPT até a ordem dos links mudou o resultado. Também mostra que acrescentar estatísticas exige checagem, já que todas as descrições feitas dessa forma foram sinalizadas pelo verificador numérico.
Para entender
O que é o LIVE-GEO?
É um benchmark que publica como páginas reais na web produtos reescritos com técnicas de GEO, para medir a visibilidade deles quando acessados por buscadores com IA.
Qual estratégia teve o melhor desempenho?
A CORE teve a maior taxa de primeiro lugar na maioria dos avaliadores e dos buscadores que receberam os endereços, entre 66,3% e 76,3% nos buscadores.
A ordem dos links influencia o ChatGPT?
Sim. A taxa de primeiro lugar da CORE no ChatGPT foi de 73,8% e de 93,8% em duas ordens fixas opostas, e de 82,5% com a ordem aleatória.
Fonte: arXiv.