Diverse Stock Photos / Flickr
O modelo de linguagem mais conhecido não é o melhor jogador de um dos jogos mais conhecidos.
O ChatGPT tornou-se útil para diversas pessoas, quer seja na vida pessoal, quer seja na sua profissão. Até salva cães.
Mas, como acontece sempre, o modelo de linguagem famoso da OpenAI não é infalível.
Michael G. Madden partilhou no The Conversation que resolveu testar o chatbot no Wordle, o famoso jogo de palavras comprado pelo jornal New York Times.
Para quem não se lembra, e porque não abordamos o assunto há algum tempo: o Wordle é um jogo de palavras – uma palavra por dia, sempre diferente da véspera – onde o jogador tem seis tentativas para adivinhar uma palavra de cinco letras. A cada palpite, o jogo indica quais são as letras, se houver, que estão nas posições correctas da palavra.
O ChatGPT-4 foi convidado a jogar e demonstrou que é… mau. De forma surpreendente, segundo Michael.
Estes modelos são “treinados” em texto. Só o ChatGPT-4 absorveu cerca de 500 mil milhões de palavras: toda a Wikipedia, todos os livros de domínio público, grandes volumes de artigos científicos e textos de muitos sites.
Mas, afinal, representar e trabalhar com palavras mostrou as limitações do modelo (que são visíveis noutros casos).
Primeiro teste: uma palavra onde o humano sabia onde estavam duas letras. A palavra era “MEALY” (farinhenta, em português). O que estava visível era: “#E#L#”. Em seis tentativas, o ChatGPT falhou cinco. Manteve as letras na posição certa mas não acertou na palavra.
Mas noutro teste, quando o padrão era “#R#F#”, o modelo tentou duas palavras que não tinham a letra F. E até escreveu uma palavra que nem existe nos dicionários: “Traff”.
A base do modelo
Uma rede neural profunda é a base do ChatGPT: uma função matemática complexa – ou regra – que mapeia entradas para saídas, que devem ser números. Mas o ChatGPT-4 trabalha com palavras, por isso devem ser “traduzidas” em números para que a rede neural possa trabalhar com as palavras.
A tradução é realizada por um programa de computador, o tokenizer, que tem uma enorme lista de palavras e sequências de letras – os tokens. Todos os tokens são identificados por números.
Ou seja, uma palavra é um número. Fica associado a um ID, fica com um número de identificação.
Sempre que alguém faz uma pergunta, as palavras são traduzidas em números antes que o ChatGPT-4 comece a processar a solicitação. A rede neural profunda não tem acesso às palavras como texto, por isso não consegue realmente raciocinar em relação às letras.
Por outro lado, quando lhe pedem para criar um poema, o ChatGPT-4 revelou ser um bom poeta. Provavelmente porque foi treinado também com apoio de muitos livros didácticos, com índices alfabéticos. Assim, o modelo associa palavras às suas primeiras letras.
