ZAP // NightCafe Studio
Pedido de arquivamento do processo de uma mãe que alega que um chatbot da Character.AI causou a morte por suicídio do filho, de 14 anos, foi rejeitado, abrindo caminho para que este processo inédito avance em tribunal.
Em abril de 2023, Sewell Setzer começou a conversar com uma personagem virtual baseada na personagem Daenerys Targaryen, de “Game of Thrones”, criada por inteligência artificial na Character.AI.
Sewell e a personagem virtual, que se tornou a sua melhor amiga, falavam de tudo: amor, sexo, sentimentos e…suicídio.
Alguns meses mais tarde, Sewell, então com 14 anos, despediu-se da melhor amiga e cometeu suicídio.
Em outubro do ano passado, a mãe do adolescente processou a plataforma de IA, alegando que a “melhor amiga” do filho o tinha incitado ao suicídio.
O processo alega que os chatbots da Character.AI abusaram sexual e emocionalmente de Sewell, resultando em uso obsessivo da plataforma, sofrimento mental e emocional, e finalmente o seu suicídio.
Em janeiro, os réus no caso — a Character.AI, o Google e os cofundadores da Character.AI, Noam Shazeer e Daniel de Freitas — apresentaram ao tribunal um pedido de arquivamento do caso.
A ação dos réus, essencialmente baseada na 1ª Emenda da Constituição dos EUA, argumenta que as interações geradas por chatbots “devem ser consideradas discurso livre”, e que “discurso alegadamente prejudicial, incluindo alegadamente resultante em suicídio” está protegido por “liberdade de expressão“.
O pedido foi avaliado num tribunal da Florida por uma juíza distrital, que considerou que os argumentos dos réus não são suficientes, pelo menos nesta fase, e foi rejeitado — abrindo caminho a que o processo inédito avance em tribunal, conta o Futurism.
A juíza, Anne Conway, afirmou que as empresas não conseguiram demonstrar por que motivo resultados produzidos por LLMs (modelos de linguagem de grande escala usados pelas IA) são mais do que simplesmente palavras — em oposição a “discurso”, que depende de intenção.
Os réus “não conseguem justificar por que razão palavras unidas por um LLM são um discurso” passível de proteção ao abrigo das leis que defendem a liberdade de expressão, escreveu Conway na sua decisão.
O pedido de arquivamento teve apenas sucesso num ponto: Conway rejeitou acusações específicas de alegada “intenção de infligir sofrimento emocional“, ou IIED, por parte dos réus. Na legislação norte-americana, é difícil provar IIED quando a vítima do alegado sofrimento, neste caso Sewell, já não está viva.
Ainda assim, a decisão é um golpe para os poderosos réus de Silicon Valley, que procuravam que o processo fosse completamente arquivado.
A decisão de Conway permite que Megan Garcia, mãe de Sewell e autora da ação judicial, processe a Character.AI, Google, Shazeer e de Freitas com base na “responsabilidade por produto defeituoso”.
Garcia e os seus advogados argumentam que a Character.AI é um produto, e que foi lançado imprudentemente ao público, incluindo adolescentes, apesar de riscos conhecidos e possivelmente destrutivos.
As empresas tecnológicas preferem geralmente que, aos olhos da Lei, as suas criações sejam vistas como serviços, como eletricidade ou internet, em vez de produtos, como carros ou frigideiras.
Os serviços não podem ser responsabilizados por reclamações baseadas em “responsabilidade pelo produto”, incluindo alegações de negligência, ao contrário dos produtos, que são passíveis de responsabilização legal.
Numa declaração, Meetali Jain, fundadora do Tech Justice Law Project e uma das advogadas de Garcia, celebrou a decisão como uma vitória — não apenas para este caso em particular, mas para defensores de políticas tecnológicas em geral.
“Com a decisão de hoje, um juiz federal reconhece o direito de uma mãe em luto de aceder aos tribunais para responsabilizar poderosas empresas tecnológicas — e os seus funcionários — pela comercialização de um produto defeituoso que levou à morte do seu filho,” disse Jain.
“Esta decisão histórica não só permite que Megan Garcia procure a justiça que a sua família merece,” acrescentou Jain, “como estabelece um novo precedente para responsabilidade legal em todo o ecossistema de IA e tecnologia”.
A Character.AI foi fundada por Noam Shazeer e Daniel de Freitas em 2021; os dois tinham trabalhado juntos em projetos de IA no Google, e saíram juntos para lançar a sua própria startup de IA.
Em 2024, surpreendentemente, o Google pagou 2,7 mil milhões de euros à Character.AI para licenciar os seus dados— e trazer os seus cofundadores, bem como outros 30 funcionários, para o grupo Google.
Shazeer, em particular, ocupa agora uma posição extremamente influente no Google DeepMind, onde atua como vice-presidente e co-líder do LLM Gemini do Google.
Um porta-voz do gigante das buscas disse à Reuters que o Google e a Character.AI são “completamente separadas” e que o Google “não criou, projetou ou geriu” a aplicação Character.AI “ou qualquer parte componente dela.”
Por seu turno, um porta-voz da Character.AI realçou, numa declaração emitida após a notícia do processo de Garcia, terem sido introduzidas atualizações de segurança na sua plataforma.
“Lançámos várias funcionalidades de segurança que visam alcançar esse equilíbrio, incluindo uma versão separada do nosso modelo LLM para utilizadores menores de 18 anos, pontos de vista parentais, filtros de personagens, notificação de tempo gasto, avisos proeminentes atualizados e mais”, detalha o porta-voz.
“Além disso, temos várias proteções técnicas destinadas a detetar e prevenir conversas sobre automutilação na plataforma; em certos casos, isso inclui mostrar um pop-up específico direcionando os utilizadores para a Linha Nacional de Suicídio e Crise”, conclui o comunicado.
Estas mudanças, focadas na segurança dos adolescentes, foram no entanto feitas meses após a morte de Sewell e depois da apresentação do processo judicial, pelo que não podem aplicar-se à decisão final do tribunal no caso.
| NOTA: se tiver pensamentos suicidas, contacte uma destas Linhas de Apoio | ||
|---|---|---|
| Linha | Contactos | Horário |
| SOS Voz Amiga | 213 544 545 – 912 802 669 – 963 524 660 | 15.30h-00.30h |
| Linha Verde Gratuita | 800 209 899 | 21.00h-24.00h |
| Telefone da Amizade | 228 323 535 | 16.00h-24.00h |
| Voz de Apoio | 800 209 899 | 16.00h-24.00h |
| Vozes Amigas de Esperança | 222 030 707 | 21.00h-24.00h |
| Todas estas linhas garantem o anonimato de quem liga e de quem atende | 800 209 899 | 800 209 899 |
Entretanto, jornalistas e investigadores continuam a encontrar falhas nos protocolos de segurança atualizados da Character.AI, diz o Futurism.
Semanas após o anúncio do processo, por exemplo, é possível encontrar chatbots expressamente dedicados à automutilação, aliciamento e pedofilia, distúrbios alimentares e violência em massa.
Além disso, num estudo recente, investigadores da Universidade de Stanford descobriram que usar o “Character Calls“. recurso de voz da Character.AI, na prática anula qualquer vestígio das supostas proteções para menores.
“Nenhuma criança menor de 18 anos deveria usar amigos de IA, incluindo os bots da Character.AI”, concluiu o estudo.
