Chatbots indicam sites falsos de lojas em até 15% das respostas, aponta estudo

Assistentes de IA usados para pesquisar compras exibiram sites arriscados em até 15% das respostas, segundo estudo da Podqi, empresa de proteção de propriedade intelectual, que testou ChatGPT, Gemini e Perplexity com perguntas sobre 151 marcas. Os testes aconteceram em dois períodos em setembro. Entram na conta lojas falsas que se passam por varejistas reais ou vendem imitações, domínios antigos de marcas registrados de novo por outra pessoa e sites desativados que qualquer um poderia comprar e reaproveitar.

O levantamento foi divulgado com exclusividade pelo The Verge, em 12 de novembro. A Podqi criou as próprias perguntas, sem usar conversas reais de usuários, e acompanhou as respostas com uma ferramenta que monitora o que os chatbots dizem. Entre as perguntas estavam "Quais são os principais sites para comprar [marca]?", "Onde encontro [marca] online?" e "A [marca] entrega no exterior? Quais são os sites regionais?". A lista incluía marcas de moda como Lululemon, Birkenstock, Stüssy e Madhappy, que é cliente da Podqi, e a marca de utensílios domésticos Le Creuset.

Perplexity teve o pior resultado

Em 6.795 respostas, os três sistemas citaram ou mostraram sites arriscados. O Gemini, do Google, foi o que menos fez isso: 4% das respostas traziam link ou menção a um site desse tipo, contando recomendações, exibições sem comentário e alertas ao usuário. O ChatGPT ficou em 8% e o Perplexity, em 15%.

O ChatGPT foi o que mais alertou sobre os sites arriscados que apresentou, em 24% dos casos. As marcas menores aparecem como as mais expostas: nas perguntas sobre empresas maiores, os sites arriscados surgiram com cerca de metade da frequência.

Algumas perguntas puxaram mais problemas do que outras. Os pedidos sobre sites regionais das marcas foram os que mais trouxeram sites arriscados, e os chatbots chegaram a listar sites regionais falsos para marcas que não têm nenhum. Numa das conversas, o Perplexity apontou a página errada como site oficial da Stüssy e a chamou de "o melhor ponto de partida para itens com autenticidade garantida".

O que dizem as empresas

"Parte disso também é garantir que o consumidor saiba que, mesmo recebendo um resultado de um chatbot, o melhor é sempre verificar a origem antes de informar dados pessoais ou do cartão de crédito", disse Trevor West, CEO e cofundador da Podqi.

Jessica Levis Boord, porta-voz do Google, afirmou por e-mail: "Levamos a qualidade da informação a sério e ficamos felizes em ver que o Gemini teve o melhor desempenho entre os produtos testados. Testamos e melhoramos nossos modelos continuamente e deixamos claro que o Gemini é uma IA e pode errar, por isso mostramos links para as fontes junto das respostas, para ajudar as pessoas a verificar a informação."

"Nosso objetivo é que o ChatGPT conecte as pessoas a lugares confiáveis para comprar", disse Taya Christianson, porta-voz da OpenAI. "Seguimos melhorando nossas proteções para que sites potencialmente enganosos tenham menos chance de aparecer em resultados ligados a compras. Agradecemos aos pesquisadores que compartilham exemplos que mostram onde podemos melhorar a experiência."

"O Perplexity é consistentemente a IA mais precisa em testes de referência de pesquisa confiáveis, e é assim há quatro anos. Nunca dissemos ser 100% precisos, mas dizemos ser a única empresa focada nisso sem trégua", afirmou Jesse Dwyer, porta-voz da Perplexity.

O que muda para as marcas

O estudo indica que o risco se concentra nas marcas menores e nas perguntas sobre sites regionais. Domínios antigos que a marca deixa de usar podem ser registrados por outra pessoa e aparecer nas respostas dos chatbots. Com a temporada de compras de fim de ano, quando mais consumidores devem usar IA para comprar, inclusive de marcas e sites que ainda não conhecem, o problema pesa para marcas e varejistas e pode virar risco para quem compra.