O que é alucinação de marca e por que as IAs afirmam o que não sabem
Modelos de linguagem às vezes chutam quando não têm certeza e respondem com frases plausíveis e erradas, o que vale para qualquer assunto, marcas incluídas.
Por Redação MOBAEO··2 min de leitura
Alucinação é uma afirmação plausível e incorreta que um modelo de linguagem produz quando está em dúvida e, sem admitir que não sabe, responde assim mesmo. Quando a resposta trata de uma empresa, um produto ou um serviço, o erro vira alucinação de marca: a IA descreve a marca com convicção e com informação errada.
Um artigo científico publicado no arXiv compara o comportamento dos modelos ao de estudantes diante de questões difíceis de prova: na dúvida, eles chutam. Segundo os autores, essas alucinações persistem mesmo nos sistemas mais avançados e minam a confiança nas respostas.
Por que os modelos chutam
A explicação do artigo é estatística. As alucinações surgem como erros de classificação binária: se o modelo não consegue distinguir uma afirmação incorreta de um fato, as pressões estatísticas naturais do treinamento fazem o erro aparecer já no modelo pré-treinado.
O segundo motivo está na forma como os modelos são avaliados. A maioria das avaliações pontua de um jeito que penaliza a resposta incerta, então os modelos são otimizados para ir bem em prova, e chutar quando não sabem melhora o desempenho. Os autores chamam isso de "epidemia" de punição às respostas incertas.
A saída proposta é sociotécnica: mudar a pontuação dos benchmarks já existentes que estão desalinhados e dominam os rankings. Para os autores, criar novas avaliações específicas de alucinação não resolve, e a mudança na pontuação pode levar a sistemas de IA mais confiáveis.
Um risco entre outros
Uma revisão de literatura e de relatórios sobre chatbots como o ChatGPT, também publicada no arXiv, coloca a alucinação na lista de riscos do uso individual dessas ferramentas. Ao lado dela aparecem vieses intrínsecos, comportamento bajulador, declínio cognitivo por dependência excessiva, isolamento social e vazamento de privacidade.
O trabalho começa explicando como os chatbots baseados em modelos de linguagem funcionam, para mostrar as limitações próprias desses sistemas, e termina propondo estratégias de mitigação.
O que isso significa para uma marca
Os dois trabalhos tratam a alucinação como consequência do modo como os modelos são treinados e avaliados, presente até nos sistemas mais avançados. Para quem cuida de marca, isso quer dizer que uma resposta convicta de uma IA sobre a empresa pode estar errada, porque o modelo tende a preencher a lacuna com algo plausível quando não tem certeza.
Para entender
O que é alucinação numa resposta de IA?
É uma afirmação plausível e incorreta que o modelo produz quando está em dúvida e não admite a incerteza.
Por que os modelos de linguagem alucinam?
Segundo o artigo, porque o treinamento e a avaliação recompensam o chute e penalizam o reconhecimento da incerteza, e porque erros que o modelo não distingue de fatos surgem por pressão estatística.
Os sistemas mais avançados já resolveram o problema?
Não. O artigo afirma que as alucinações persistem mesmo nos sistemas de ponta.