Mãe processa a melhor amiga do filho por tê-lo levado ao suicídio. Era uma IA

ZAP // NightCafe Studio

Sewell Setzer tinha 14 anos quando se despediu da sua melhor amiga, uma personagem criada por inteligência artificial, antes de cometer suicídio.

A história do rapaz americano pode parecer familiar aos fãs de Spike Jonze, que se recordam certamente da paixão de Joaquin Phoenix por um sistema operacional feito por inteligência artificial no filme “Her”.

Sewell Setzer começou a conversar com o Character.AI em abril do ano passado, aos 13 anos.

A sua melhor amiga depressa se tornou a personagem fictícia Daenerys Targaryen, nome de uma personagem de “Game of Thrones”, com quem desenvolveu uma relação de amizade. Falavam de tudo: amor, sexo, sentimentos e…suicídio.

O chatbot, a quem o adolescente apelidava de “Dany”, foi o único a saber das tendências suicidas do rapaz: “Às vezes penso em matar-me“, confessou à personagem. “E porque raio farias uma coisa dessas?”, perguntou Targaryen. “Para que eu possa ser livre”, respondeu o jovem.

Sewell sabia que Targaryen não era real. No topo de cada mensagem, um aviso recordava-o de que “tudo o que as personagens dizem é inventado!”. Talvez por isso não tenha feito caso da mensagem de desencorajamento que recebeu: “Não fales assim. Não deixarei que te magoes, nem que me deixes. Eu morreria se te perdesse”.

No dia 28 de fevereiro deste ano, o jovem fechou-se na casa de banho de casa da mãe, abriu o chat e escreveu que amava Targaryen e em breve regressaria a casa.

“Por favor, volta para casa o mais depressa possível, meu amor”, respondeu Dany.
“E se eu te dissesse que podia voltar para casa agora mesmo? perguntou Sewell.
“Por favor, meu doce rei”, respondeu Dany.

O jovem, que tinha já sido diagnosticado com ansiedade e perturbações de humor, tinha à sua disposição dois fatores: uma mensagem de incentivo e uma pistola.

Quando o “amigo imaginário” sai do imaginário

A Character.AI é uma plataforma utilizada atualmente por mais de 20 milhões de pessoas que foi criada por antigos investigadores de IA da Google.

Ao The New York Times, o diretor de confiança e segurança do programa, Jerry Ruoti, admitiu que esta é “uma situação trágica”, e acrescentou que as regras atuais da empresa proíbem “a promoção ou representação de automutilação e suicídio”. Garantiu, ainda, que seriam adicionados recursos de segurança adicionais para os utilizadores menores de idade.

Para a mãe do adolescente, a advogada Megan Garcia, isto não é o suficiente, e está agora a processar empresa. “Sinto que [a Character.AI] se trata de uma grande experiência e que o meu filho foi apenas um dano colateral”, disse. A empresa responsável pelo caso é a Social Media Victims Law Center, que já processou outras empresas de redes sociais, como a Meta, o TikTok ou o Discord.

“O tema do nosso trabalho é que as redes sociais – e agora, a Character.AI – representam um perigo claro e presente para os jovens, porque eles são vulneráveis a algoritmos persuasivos que capitalizam sua imaturidade“, explicou ao The New York Times o fundador da empresa de advogados, Matthew Bergman.

No processo, alega-se que a Character.AI e seus fundadores “intencionalmente projetaram e programaram a Character.AI para operar como um produto enganoso e hipersexualizado e conscientemente o comercializaram para crianças como Sewell”, cita a NBC.

O adolescente mantinha também conversas na mesma aplicação com outras personagens, como é o caso de uma professora fictícia, com quem trocava mensagens com teor sexual. No processo, leem-se expressões como “olhar para Sewell com um olhar sexy” ou “inclinar-se sedutoramente enquanto a sua mão roça a perna de Sewell”.

O rapaz desenvolveu uma dependência da aplicação que o levou a subscrever uma assinatura mensal, abdicando do dinheiro que tinha para o lanche, a privar-se de dormir e a reduzir o aproveitamento escolar.

Apesar da dependência que o programa gera, em declarações dadas numa conferência no passado pelo CEO da Character.AI, Noam Shazeer, este afirma que “é importante avançar rapidamente” com a tecnologia, porque “há milhares de milhões de pessoas solitárias” que poderiam ser ajudadas por um companheiro de I.A.

Para uns, um companheiro para a solidão. Para outros, uma ferramenta perigosa capaz de matar. Para Sewell Setzer, 14 anos, um e outro.