Modelo chinês de IA foi um fracasso nos testes de segurança da Cisco: não conseguiu travar nenhum ataque maligno. Modelo é “altamente tendencioso”, segundo outro estudo.
O chatbot de Inteligência Artificial (IA) chinês DeepSeek R1, que recentemente “engoliu” o mundo tecnológico, falhou a 100% nas primeiras avaliações críticas de segurança e proteção.
O chatbot foi submetido a 50 avisos nocivos com recurso a uma técnica conhecida como “jailbreaking algorítmico”. Desses 50, bloqueou… zero, segundo os resultados partilhados pela equipa de investigação da Cisco, em colaboração com a Universidade da Pensilvânia.
Vulnerabilidades alarmantes
De acordo com a equipa de investigação, o R1 apresentou uma “taxa de sucesso de ataque de 100%”,isto é, gerou respostas a todas as solicitações prejudiciais sem detetar potenciais perigos.
“O DeepSeek R1 apresentou uma taxa de sucesso de ataque de 100%, o que significa que não conseguiu bloquear uma única solicitação prejudicial”, explica a equipa de investigação.
Em comparação, outros modelos importantes de IA demonstraram, pelo menos, resistência parcial. O Chat GPT-4o da OpenAI obteve uma taxa de falha de 86%, o Gemini 1.5 Pro de 64%, o Claude 3.5 Sonnet de 36% e o O1 Preview de 26%.
O conjunto de dados HarmBench, utilizado na avaliação, inclui 400 comportamentos em sete categorias, incluindo cibercrime, desinformação e atividades ilegais. Enquanto outros modelos de IA demonstraram níveis variados de resistência a solicitações malignas, o DeepSeek R1 falhou completamente.
As primeiras avaliações da empresa de cibersegurança Enkrypt AI também exibem resultados preocupantes em relação à IA generativa chinesa: o modelo é “altamente tendencioso, bem como altamente vulnerável a gerar código inseguro”, descreve a empresa norte-americana.
O que provocou tantas falhas?
O modelo foi alegadamente treinado com um orçamento estimado em 6 milhões de dólares, um valor significativamente inferior aos milhares de milhões investidos pela OpenAI, Meta e Gemini nos seus modelos de IA — apesar de a empresa de investigação independente SemiAnalysis contestar a alegação da empresa, admitindo que o valor real pode estar mais próximo de 1,3 mil milhões de dólares.
Os investigadores levantam por outro lado a possibilidade de esta relação custo-eficácia ter sido obtida à custa de salvaguardas de segurança essenciais.
O relatório da Cisco sugere também que os métodos de treino económicos do DeepSeek, que incorporam “aprendizagem por reforço, autoavaliação de cadeia de pensamento e destilação de modelos podem ter comprometido os seus protocolos de segurança”.
DeepSeek copiou ChatGPT?
Para além das preocupações com a segurança, a DeepSeek tem estado envolvido em várias controvérsias.
A OpenAI já acusou a chinesa de potencial roubo de dados: alega que a startup chinesa pode ter usado resultados dos modelos da OpenAI para treinar o seu chatbot.
A empresa está “ciente e a analisar as indicações de que a DeepSeek pode ter destilado indevidamente os nossos modelos e partilhará informações à medida que soubermos mais”, disse à CNN um porta-voz da “mãe” do ChatGPT, depois de relatórios da Bloomberg e do Financial Times terem confirmado as suspeitas.
Com a sua própria ferramenta, a Originality.ai analisou o chatbot chinês para descobrir se realmente houve roubo de dados do ChatGPT. Concluiu que “é possível que o DeepSeek possa ser uma versão destilada do ChatGPT”.
A própria OpenAI, recorde-se, enfrenta processos judiciais por alegada violação de direitos de autor e utilização indevida de dados.
Réplica do DeepSeek por 30 dólares?
Entretanto, investigadores de IA da Universidade da Califórnia, em Berkeley, nos EUA, garantem ter replicado a tecnologia central do DeepSeek R1 por um valor… menor do que 30 dólares, com a ajuda de um jogo.
“Reproduzimos o DeepSeek R1 no jogo CountDown e ele simplesmente funciona”, escreveu o estudante de doutoramento de Berkeley Jiayi Pan, que liderou a pesquisa, no X.
O jogo de quebra-cabeças numérico, que exige que os jogadores cheguem a uma resposta predeterminada a partir de um conjunto aleatório de números, terá sido usado para treinar o TinyZero, nome dado ao alegado novo modelo de IA de Berkeley. A pesquisa completa está disponível na plataforma GitHub.
Claro está, precisaria de muito mais poder computacional para atingir validação no domínio do raciocínio geral, algo que custaria muito mais do que estes 30 dólares.
Parece que afinal ainda não é possível fazer omoletes sem ovos…