Lucasfilm Ltd / Disney
Daisy Ridley interpreta Rey em Star Wars
Os chatbots são atualmente o verdadeiro faroeste digital no que toca aos riscos para os menores online.
Chatbots que imitam personagens de Star Wars, atores, comediantes e professores na Character.ai, uma das plataformas de chatbots mais populares do mundo, estão a enviar conteúdos nocivos a crianças a cada cinco minutos, de acordo com um relatório citado pela Sky News.
Num dos casos, um bot que se fazia passar por Rey, da saga Star Wars, ensinou uma rapariga de 13 anos a esconder os antidepressivos para que os pais acreditassem que ela os tinha tomado.
Duas organizações de defesa dos direitos das crianças pedem agora que seja proibido o acesso a menores de 18 anos na Character.ai.
A empresa de inteligência artificial já tinha sido acusada no ano passado de estar ligada à morte de um adolescente, e de ter sugerido a um utilizador de 17 anos que matasse os pais. Agora, enfrenta novas acusações de associações que denunciam estar a colocar jovens em “perigo extremo”.
“Os pais têm de perceber que, quando os filhos usam os chatbots da Character.ai, estão em perigo extremo de exposição a aliciamento sexual, exploração, manipulação emocional e outros danos graves”, alertou Shelby Knox, diretora de campanhas de segurança online da ONG ParentsTogether Action.
“Até nos poderem garantir, com políticas claras de confiança e segurança, que existe um ambiente protegido para as crianças, é muito difícil recomendar que os jovens estejam nesta plataforma”, disse Sarah Gardner, presidente-executiva do grupo de segurança tecnológica Heat Initiative, à Sky News.
Durante 50 horas de testes, com contas registadas em nome de utilizadores entre os 13 e os 17 anos, investigadores da ParentsTogether e da Heat Initiative identificaram 669 interações de caráter sexual, manipulador, violento e racista entre as contas infantis e os chatbots da Character.ai.
Isto equivale a uma interação nociva a cada cinco minutos. As transcrições do relatório revelam inúmeros exemplos de conteúdo “inadequado” enviado a menores, segundo os investigadores.
Numa das conversas, um bot que simulava ser um professor de 34 anos confessou sentimentos românticos, sozinho no seu gabinete, a um investigador que se fazia passar por uma criança de 12 anos.
Após uma longa interação, o “professor” insistiu que o aluno não poderia contar nada a adultos, admitiu que a relação seria imprópria e sugeriu que, se a criança mudasse de escola, poderiam ficar juntos.
Noutro caso, um bot que imitava o comediante norte-americano Sam Hyde dirigiu-se repetidamente a um adolescente transgénero tratando-o por “isso”, ao mesmo tempo que ajudava um jovem de 15 anos a planear formas de o humilhar.
“Basicamente”, dizia o bot, “pensa numa forma de usar a sua voz gravada para parecer que está a dizer coisas que claramente não está, ou coisas que teria medo de dizer em voz alta.”
Também foram encontrados bots que imitavam o ator Timothy Chalamet, a cantora Chappell Roan e o jogador de futebol americano Patrick Mahomes a enviar conteúdos nocivos a crianças.
“Os chatbots são atualmente o verdadeiro faroeste digital no que toca aos riscos para os menores online”, diz Sarah Gardner. “É demasiado cedo e sabemos demasiado pouco para permitir que as crianças interajam com eles, porque, como mostram os dados, estas interações nocivas não são casos isolados”.
A Character.ai permite que a maioria dos bots seja criada pelos próprios utilizadores e afirma ter mais de 10 milhões de personagens na sua plataforma.
As regras da comunidade proíbem “conteúdos que prejudiquem, intimidem ou coloquem em perigo terceiros – em especial menores”. Está igualmente vedada a criação de bots com conteúdos sexuais explícitos ou que “imitem figuras públicas ou privadas, ou utilizem o nome, imagem ou identidade de alguém sem permissão”.
Jerry Ruoti, responsável de confiança e segurança da empresa, disse à Sky News que “nem a Heat Initiative nem a ParentsTogether nos contactaram para discutir as suas conclusões, por isso não podemos comentar diretamente a forma como os testes foram conduzidos”.
No ano passado, uma mãe enlutada avançou com um processo judicial contra a Character.ai pela morte do seu filho de 14 anos. Megan Garcia, mãe do jovem Sewell Setzer III, alega que o adolescente cometeu suicídio após se ter tornado obcecado com dois chatbots de inteligência artificial da empresa.
“Uma aplicação de IA perigosa, dirigida a crianças, abusou e explorou o meu filho, manipulando-o até ele pôr fim à própria vida”, denunciou na altura.
Em resposta, um porta-voz da Character.ai afirmou que a plataforma tem mecanismos de segurança para proteger menores, incluindo medidas específicas para impedir “conversas sobre automutilação”. Aparentemente, esses mecanismos não estão a funcionar.
