Ao contrário de sistemas como o ChatGPT, que usam toda a rede para responder a pedidos, o sistema chinês SpikingBrain 1.0 funciona de forma semelhante a um cérebro, ativando apenas partes específicas de acordo com a tarefa que lhe foi pedida.
Investigadores do Instituto de Automação da Academia Chinesa de Ciências, em Pequim, desenvolveram um novo sistema de inteligência artificial, o SpikingBrain 1.0, que descrevem como um modelo de linguagem de grande escala “semelhante ao cérebro”, concebido para a eficiência e independência do hardware externo.
Ao contrário dos sistemas tradicionais baseados em Transformers, como o ChatGPT, que exigem um enorme poder computacional e memória, o SpikingBrain 1.0 emprega um método chamado computação de picos. Inspirada no funcionamento dos neurónios biológicos, esta abordagem ativa apenas partes específicas da rede em resposta à entrada, em vez de manter todo o sistema em atividade. O resultado é um consumo de energia significativamente mais baixo e tempos de processamento mais rápidos.
De acordo com a equipa de investigação, o sistema executou determinadas tarefas até 100 vezes mais rápido do que os modelos convencionais, exigindo menos de 2% dos dados de treino habituais. Para demonstrar a tecnologia, a equipa construiu duas versões: uma com 7 mil milhões de parâmetros e outra com 76 mil milhões. Ambas foram treinadas com aproximadamente 150 mil milhões de tokens — um conjunto de dados modesto para os padrões da indústria.
Os ganhos de eficiência foram especialmente notáveis ao lidar com sequências de dados extremamente longas. Numa experiência, o modelo mais pequeno processou um prompt de 4 milhões de tokens mais de 100 vezes mais rápido do que um Transformer padrão. Outro teste mostrou uma melhoria de velocidade de 26,5 vezes ao gerar o primeiro token a partir de um contexto de um milhão de tokens.
Os investigadores destacaram também a estabilidade do modelo. O SpikingBrain 1.0 correu durante semanas centenas de chips MetaX, produzidos internamente pela MetaX Integrated Circuits Co., sediada em Xangai, marcando um passo importante para reduzir a dependência da empresa americana Nvidia, atual líder global em chips de IA.
As potenciais aplicações para o sistema incluem a análise de documentos jurídicos e médicos extensivos, a investigação em física de altas energias e a sequenciação de ADN. Todos estes campos exigem a gestão de vastos conjuntos de dados de forma rápida e eficiente, explica o Interesting Engineering.
“Os principais modelos de linguagem baseados no Transformer enfrentam estrangulamentos de eficiência significativos”, observaram os investigadores no seu artigo técnico, que ainda não foi revisto por pares. “O nosso trabalho inspira-se em mecanismos cerebrais.”
Os investigadores concluem que o SpikingBrain 1.0 “não só demonstra a viabilidade do treino eficiente de modelos de grande escala em plataformas não NVIDIA, como também delineia novas direções para a implantação e aplicação escaláveis de modelos inspirados no cérebro em futuros sistemas de computação”.
