ZAP // Dall-E-2
A investigação revela que a Inteligência Artificial generativa precisa de encontrar o equilíbrio certo entre muito e pouco cuidado antes de poder ajudar a comunidade médica.
Um novo estudo, levado a cabo pela Universidade da Califórnia, nos Estados Unidos, concluiu que se o ChatGPT fosse implementado em departamentos de emergência, poderia sugerir raios-X e antibióticos desnecessários e internamento de pacientes que não precisam de tratamento hospitalar.
“Esta é uma mensagem valiosa para os clínicos não confiarem cegamente nestes modelos”, salientou o investigador Chris Williams, em declarações ao site Medical Express.
“O ChatGPT consegue responder a perguntas relacionadas com exames médicos e ajudar a redigir notas clínicas, mas não foi projetado para situações que exigem várias considerações”, completou.
A equipa da universidade norte-americana mostrou que o ChatGPT, um grande modelo de linguagem que pode ser usado para pesquisar aplicações clínicas de IA, era um pouco melhor do que os humanos a determinar qual dos dois pacientes de emergência estava mais gravemente doente, uma escolha direta entre o paciente A e o paciente B.
Neste estudo, Williams desafiou o modelo de IA a realizar uma tarefa mais complexa: dar as recomendações que, normalmente, um médico dá depois de examinar inicialmente um paciente, como decidir se deve admitir o paciente, fazer exames ou prescrever antibióticos.
A equipa analisou respostas geradas após 251 mil visitas ao departamento de emergências da própria universidade e comparou as recomendações de dois modelos de ChatGPT com as dos médicos.
De um modo geral, os modelos de IA tendem a recomendar serviços com mais frequência do que o necessário. O ChatGPT-4 foi 8% menos preciso do que os médicos residentes, enquanto o ChatGPT-3.5 mostrou 24% menos precisão.
Esta tendência de a IA prescrever demais pode ser explicada pelo facto de os modelos serem treinados na internet, onde os sites legítimos de aconselhamento médico não são projetados para responder a perguntas médicas de emergência.
“Estes modelos são quase ajustados para dizer, ‘procure orientação médica’, o que é bastante correto de uma perspetiva geral de segurança pública”, disse Williams. “Mas pecar por excesso de cautela nem sempre é apropriado no cenário do departamento de emergências, onde intervenções desnecessárias podem causar danos aos pacientes, sobrecarregar os recursos e levar a custos mais altos.”
O artigo científico foi publicado, este mês, na Nature Communications.
