kentoh / Depositphotos
Um teste teste ARC-AGI traduz a capacidade de resolver com exatidão problemas previamente desconhecidos ou novos a partir de amostras limitadas de dados. Uma IA já o faz tão bem como nós.
A 20 de dezembro, o sistema o3 da OpenAI obteve 85% no teste de referência ARC-AGI, muito acima do anterior melhor resultado da IA de 55% e a par do resultado humano médio. Também obteve bons resultados num teste de matemática muito difícil.
Um teste ARC-AGI examina a “eficiência da amostra” de um sistema de IA na adaptação a algo novo — basicamente, quantos exemplos de uma situação nova o sistema precisa de ver para perceber como funciona, explica o The Conversation.
O parâmetro de referência ARC-AGI testa a adaptação eficiente de amostras utilizando pequenos problemas de grelha quadrada como o que se segue. A IA tem de descobrir o padrão que transforma a grelha da esquerda na grelha da direita.
Cada pergunta dá três exemplos para aprender.
O sistema de IA precisa então de descobrir as regras que “generalizam” dos três exemplos para o quarto. São muito parecidos com os testes de QI de que por vezes se realizam nas escolas.
Não se sabe ao certo como é que a OpenAI obteve os 85% no teste, mas os resultados sugerem que o modelo o3 é altamente adaptável. A partir de apenas alguns exemplos, encontra regras que podem ser generalizadas.
Sabe-se também que a OpenAI começou com uma versão de uso geral do modelo o3 (que difere da maioria dos outros modelos, porque pode passar mais tempo a “pensar” em questões difíceis) e depois treinou-o especificamente para o teste ARC-AGI.
O investigador francês de IA François Chollet, que concebeu o parâmetro de referência, acredita que o o3 procura através de diferentes “cadeias de pensamento” que descrevem os passos para resolver a tarefa. De seguida, escolheria a “melhor” de acordo com uma regra ou “heurística” vagamente definida.
De acordo com o The Conversation, apenas quando o o3 for finalmente lançado é que teremos uma ideia melhor se é aproximadamente tão adaptável como um ser humano comum.
Se assim for, poderá ter um impacto económico enorme e revolucionário, dando início a uma nova era de inteligência acelerada que se auto-aperfeiçoa. Serão necessários novos parâmetros de referência para a própria AGI e uma reflexão séria sobre o modo como deve ser governada.
