ZAP // Rawpixel; Pixabay
À medida que a Inteligência Artificial generativa se tornou cada vez mais popular, às vezes distorce a verdade. As mentiras — ou alucinações, como são conhecidas na indústria tecnológica —, melhoraram, mas o modelos mais recentes estão a contrariar essa tendência.
Nos anos que se seguiram ao aparecimento do ChatGPT e à crescente integração de bots de IA numa série de tarefas, ainda não há forma de garantir que esses sistemas produzam informações precisas.
Com efeito, os bots de IA atuais não decidem — e não podem decidir — o que é verdadeiro e o que é falso, explica o The New York Times.
Em última análise, o problema das alucinações parece estar a piorar à medida que as tecnologias se tornam mais poderosas. Os modelos de raciocínio, considerados as “tecnologias mais recentes e poderosas” de empresas como a OpenAI, a Google e a startup chinesa DeepSeek, estão a “gerar mais erros, não menos“.
Segundo o The week, as competências matemáticas dos modelos “melhoraram notavelmente”, mas a sua “capacidade de lidar com os factos tornou-se mais instável. Não é totalmente claro porquê”.
Os modelos de raciocínio são um tipo de modelo de linguagem grande projetado para realizar tarefas complexas. Em vez de “apenas produzir texto com base em modelos estatísticos de probabilidade”, os modelos de raciocínio “dividem perguntas ou tarefas em etapas individuais semelhantes ao processo de pensamento humano”, disse a PC Gamer.
Durante os testes dos seus mais recentes sistemas de raciocínio OpenAI, a empresa descobriu que o seu sistema o3 alucinava 33% das vezes ao executar o teste de benchmark PersonQA, que envolve responder a perguntas sobre figuras públicas.
Este valor é mais do dobro da taxa de alucinação do sistema de raciocínio anterior da OpenAI, o o1. A ferramenta mais recente, o o4-mini, alucinava a uma taxa ainda mais elevada, de 48%.
A OpenAI rejeitou a ideia de que os modelos de raciocínio sofrem de taxas aumentadas de alucinação e afirmou que são necessárias mais pesquisas para compreender as conclusões.
As alucinações não são “intrinsecamente mais prevalentes nos modelos de raciocínio”. No entanto, a OpenAI está a “trabalhar ativamente para reduzir as taxas mais elevadas de alucinação que observámos no o3 e no o4-mini”, afirmou Gaby Raila, porta-voz da empresa. Demasiados “sonhos indesejados de robôs“.
Para alguns especialistas, as alucinações parecem inerentes à tecnologia. Apesar dos melhores esforços das empresas, a IA “sempre terá alucinações”, disse Amr Awadallah, diretor executivo da startup de IA Vectara e ex-executivo do Google. “Isso nunca vai desaparecer”.
Ainda assim, as alucinações causam um “problema sério para qualquer pessoa que use a tecnologia com documentos judiciais, informações médicas ou dados comerciais confidenciais”, disse o Times.
“Passa-se muito tempo a tentar descobrir quais as respostas que são factuais e quais as que não são“, disse Pratik Verma, cofundador e diretor executivo da Okahu, uma empresa que ajuda as empresas a lidar com problemas de alucinações. Não lidar com estes erros “elimina o valor dos sistemas de IA, que deveriam automatizar tarefas”.
As empresas estão “a lutar para descobrir exatamente por que razão os chatbots estão a gerar mais erros do que antes” — uma luta que “destaca o facto intrigante de que nem mesmo os criadores da IA compreendem bem como a tecnologia realmente funciona”, afirma a Futurism.
A recente tendência preocupante de alucinações “desafia a suposição generalizada da indústria de que os modelos de IA se tornarão mais poderosos e fiáveis à medida que forem ampliadas”.
Seja qual for a verdade, os modelos de IA precisam de “eliminar em grande parte o absurdo e as mentiras se quiserem ser tão úteis quanto os seus defensores atualmente imaginam”, afirmou PC Gamer.
Já é “difícil confiar nos resultados de qualquer LLM”, e quase todos os dados “têm de ser cuidadosamente verificados duas vezes“, isso é aceitável para algumas tarefas, mas quando o objetivo é “poupar tempo ou trabalho”, a necessidade de “verificar meticulosamente e confirmar os factos produzidos pela IA acaba por contrariar o objetivo da sua utilização”.
Não é claro se a OpenAI e o resto da indústria de LLM “conseguirão controlar todos esses sonhos indesejados com robôs”.
