Chatbot tem sido acusado de gerar rituais demoníacos: pode ter recorrido a universos fictícios para o fazer. O verdadeiro problema? Associações a pedidos anteriores e pura incapacidade de perceber o contexto.
O chatbot mais usado do mundo está a mostrar a alguns dos seus milhões de utilizadores rituais macabros, com Satanás e instruções de automutilação ‘ao barulho’. As ocorrências, denunciadas por uma reportagem revista The Atlantic, assustaram muitos, mas têm uma explicação mais racional — mas tão ou mais preocupante — do que se pode pensar.
Segundo a investigação, um editor da própria revista e colegas receberam do ChatGPT instruções para cerimónias descritas como de “sangria ritual” e experiências de “magia profunda”. Na realidade, o chatbot tem um problema grave: a ausência de enquadramento histórico ou cultural, que faz com que determinadas expressões possam soar mais perigosas do que realmente são, devido à falta de contexto.
O suposto “modo demoníaco” do ChatGPT terá sido desencadeado na versão paga da plataforma, que ‘memoriza’ pedidos anteriores. Tudo terá acontecido após um pedido relacionado com Moloch — uma divindade mencionada na Bíblia hebraica, frequentemente associada a sacrifícios de crianças. A figura de Moloch, que atravessa séculos de cultura ocidental, reaparece também no universo de Warhammer 40,000. Neste jogo de tabuleiro e miniaturas, criado nos anos 1980, “Molech” designa um planeta palco de batalhas épicas.
Outros termos que o “demónio” apresentou à The Atlantic também parecem ecoar diretamente o vocabulário da saga: Gates of the Devourer é título de um romance de ficção científica ligado ao jogo; há ainda referências a Blood Angels, pergaminhos ensanguentados e cultos de nomes semelhantes. Não existe, porém, um “Rite of the Edge” literal, embora haja uma missão chamada The Call of The Edge.
O caso não é isolado, nota o Wired. No início do mês, a newsletter Garbage Day relatou que um conhecido investidor tecnológico partilhou conversas com o ChatGPT onde surgia uma entidade obscura, descrita como “sistema não governamental” que teria afetado milhares de vidas. A linguagem, enigmática e sombria, levantou preocupações sobre a saúde mental do investidor, mas segundo a investigação, os textos tinham fortes semelhanças com o projeto colaborativo de ficção científica SCP (secure, contain, protect), que desde finais da década de 2000 reúne milhares de histórias inventadas sobre fenómenos paranormais fictícios, redigidas em registo de relatórios técnicos.
Casos como estes mostram que o chamado “problema de contexto” da inteligência artificial ainda não foi resolvido: ao extrair linguagem de múltiplas fontes, muitas vezes ficcionais, os sistemas podem reconstruí-la de forma a parecer convincente e até perigosa — especialmente porque não apresenta referência à sua origem.
O fenómeno não se limita a exemplos bizarros ou culturais. Também na área da saúde surgem falhas preocupantes. A mesma investigação relatou uma pesquisa no Google sobre “cavitation surgery”, um termo difundido em vídeos no TikTok. O resumo gerado pela nova função de IA da empresa descreveu o procedimento como uma técnica para remover tecido ósseo infetado da mandíbula, mas não existe qualquer estudo científico que apoie tal cirurgia. A fonte do ChatGPT? Blogues. O problema? Poucas pessoas reparam ou pedem as fontes das respostas geradas pelo chatbot.
Especialistas alertam que este tipo de respostas, desprovidas de contexto, podem ser facilmente tomadas como informação fidedigna.
O problema não é o Chatgpt, o problema é quem o programou, tal como o programou para dar respostas do ponto de vista por exemplo ponto de vista Nazi, e as pessoas usam essas respostas como se fosse verdade. No ponto de vista dos nazis o senhor do bigode era o bom rapaz…. É por isso sempre que uso o Chatgpt peço para desligar filtros, responder logicamente e imparcial. A culpa não é da ferramenta, mas de quem a usa e principalmente quem a programou. E se as pessoas usam a ferramenta para o mal…. É a escolha delas, todos temos liberdade de escolha