Modelo de linguagem da OpenAI estará a apresentar cada vez mais respostas erradas e a recusar cada vez mais comandos.
O modelo de linguagem de Inteligência Artificial mais famoso, o ChatGPT, está a enfrentar dificuldades.
Tem sido actualizado desde que foi lançado em Novembro, já vai no GPT-4, mas o seu desempenho estará a piorar.
Utilizadores do modelo de linguagem têm revelado que a performance do modelo de linguagem GPT-4 fornece cada vez mais respostas erradas e recusa cada vez mais responder a determinados comandos.
Um novo estudo da Universidade de Stanford e da UC Berkeley confirmou que o GPT-4 e o GPT-3.5 têm respondido de maneira diferente aos comandos, comparando com o que faziam há alguns meses.
De acordo com o estudo, o GPT-4 tem demonstrado dificuldades especialmente em perguntas matemáticas complexas.
Por exemplo, antes acertava quase sempre em perguntas sobre números primos em grande escala; mais recentemente, perante o mesmo prompt, acerta apenas em 2,4% das vezes.
E também não fornece um guia passo a passo para resolver os problemas.
We evaluated #ChatGPT‘s behavior over time and found substantial diffs in its responses to the *same questions* between the June version of GPT4 and GPT3.5 and the March versions. The newer versions got worse on some tasks. w/ Lingjiao Chen @matei_zaharia https://t.co/TGeN4T18Fd https://t.co/36mjnejERy pic.twitter.com/FEiqrUVbg6
— James Zou (@james_y_zou) July 19, 2023
Esta análise também mostrou que que a capacidade de codificação do GPT-4 tem baixado.
A questão da codificação (50% de acerto em Março, 10% agora) pode ser problemática para as empresas que querem que o ChatGPT seja essencial na sua codificação.
As mudanças ao longo do tempo no modelo de linguagem evidenciam os desafios – e a incerteza – para quem ficar (ou já esteja) muito dependente deste produto da Open AI.
A OpenAI, indicam alguns rumores, está a melhorar as capacidades do seu modelo GPT-3.5 mais pequeno – porque é muito mais barato de trabalhar o GPT-4 mais complexo.
No entanto, a OpenAI negou que tenha tornado o GPT-4 “mais estúpido”, cita o Gizmodo.
E, a julgar por este artigo (sim, foi construído com ajuda do GPT), realmente o modelo não está “mais estúpido”. Neste caso, não.
