Num novo estudo, 94% das respostas a exames universitários, criadas com o ChatGPT, não foram detetadas como tendo sido geradas por IA. Estas respostas tendiam a obter pontuações mais elevadas do que os trabalhos de alunos reais.
Um novo estudo concluiu que os professores já não conseguem distinguir respostas que saem da cabeça dos alunos daquela que são dadas pelo ChatGPT, acabando por atribuir melhores notas à inteligência artificial (IA).
A investigação abrangeu respostas a 63 perguntas – de resposta curta e longa – de avaliação em cinco módulos dos cursos da licenciatura em psicologia da Universidade de Reading (Reino Unido).
Os alunos fizeram estes exames em casa, tendo-lhes sido permitido consultar notas e referências, embora o uso de IA fosse proibido.
Os resultados da investigação, publicados esta quarta-feira na PLoS One, revelaram que 94% das respostas a exames universitários criadas pelo ChatGPT passaram como tendo sido dadas pelos alunos.
Os 33 “alunos” inventados no ChatGPT representaram cerca de 5% do total das avaliações, sendo que os professores desconheciam que estavam a corrigir trabalhos de alunos fictícios.
Como detalha a New Scientist, surpreendentemente apenas 6% das respostas de IA foram consideradas suspeitas de não serem trabalho autêntico do aluno; e nalguns módulos, nenhuma resposta gerada por IA foi marcada como tal.
“Em média, as respostas da IA obtiveram notas mais altas do que as respostas dos alunos reais”, disse à New Scientist, o líder da investigação, Peter Scarfe. De acordo com a mesma revista, em todas as 63 submissões de IA, houve 83,4% de hipóteses de esse trabalho ter superado o dos estudantes.
Apesar de ter sido um estudo focado apenas no curso de psicologia, a equipa de investigação acredita que este é uma preocupação de todo o sector académico: “Não tenho razões para pensar que outras áreas disciplinares não tenham o mesmo tipo de problema”, disse Peter Scarfe.
O investigador diz que combater o problema na origem vai ser quase impossível. Por isso, convida também o sector a reavaliar a forma como avalia os estudantes: “Penso que será necessário que o sector, no seu conjunto, reconheça o facto de que temos de integrar a IA nas avaliações que fazemos aos estudantes“.
Têm é que aumentar o peso das notas dos exames. O aluno ou sabe ou não sabe. Não quero é ir a passar numa ponte e de repente ir parar ao fundo do rio.
Lá vão os explicadores perderem dinheiro !
Não se pode abusar desta ferramenta!