Demência digital. IA mostra sinais de declínio cognitivo

ZAP // Dall-E-2

Os principais modelos de Inteligência Artificial demonstram deficiências cognitivas semelhantes aos sintomas iniciais de demência quando avaliados com o teste MoCA.

Um novo estudo revelou que quase todos os principais modelos de Inteligência Artificial (IA), ou “chatbots”, mostram sinais de comprometimento cognitivo leve quando testados com avaliações usadas para detetar demência precoce.

Segundo o SciTechDaily, os cientistas avaliaram as capacidades cognitivas dos principais modelos de grande linguagem (LLMs) disponíveis publicamente – ChatGPT versões 4 e 4o (desenvolvido pela OpenAI), Claude 3.5 “Sonnet” (desenvolvido pela Anthropic) e Gemini versões 1 e 1.5 (desenvolvido pela Alphabet) – usando o teste Montreal Cognitive Assessment (MoCA).

Este teste é muito usado para detetar comprometimento cognitivo e sinais precoces de demência, normalmente em adultos mais velhos. Através de uma série de tarefas e perguntas curtas, avalia cercas capacidades dos indivíduos, nomeadamente a atenção, memória, linguagem, capacidades visoespaciais e funções executivas.

A pontuação máxima é de 30 pontos, sendo que uma pontuação de 26 ou mais é, geralmente, considerada normal.

Na avaliação, o ChatGPT 4o obteve a pontuação mais alta no teste MoCA (26 de 30), seguido pelo ChatGPT 4 e Claude (25 de 30). Já o Gemini 1.0 obteve a pontuação mais baixa (16 de 30).

Todos os chatbots apresentaram um mau desempenho no que concerne às capacidades visuoespaciais e tarefas executivas, como ligar números e letras circulados em ordem crescente, e no teste de desenho de relógio. Os modelos Gemini falharam na tarefa de recordação tardia (lembrar uma sequência de cinco palavras).

Nos testes visuoespaciais que se seguiram, os chatbots não conseguiram demonstrar empatia ou interpretar com precisão cenas visuais complexas.

Além de estas descobertas serem apenas observacionais, é preciso ter em conta que existem inúmeras diferenças entre o cérebro humano e os grandes modelos de linguagem.

Contudo, a equipa salienta que a falha uniforme de todos os grandes modelos de linguagem em tarefas que exigem abstração visual e função executiva pode impedir o seu uso em ambientes clínicos.

O artigo científico com os resultados foi publicado no The BMJ.