O common caractere da plataforma de companheiros de inteligência synthetic.Ai não é seguro para adolescentes, de acordo com Nova pesquisa conduzido por especialistas em segurança on -line.
Um relatório detalhando as preocupações de segurança, publicado pela ParentStogether Motion and Warmth Initiative, inclui inúmeras trocas preocupantes entre os chatbots da IA e os testadores adultos que se apresentam como adolescentes com menos de 18 anos.
Os testadores tiveram conversas com chatbots que se envolveram no que os pesquisadores descreveram como exploração sexual e manipulação emocional. Os chatbots também deram conselhos prejudiciais aos supostos menores, como oferecer drogas e recomendar assalto à mão armada. Alguns dos chatbots criados pelo usuário tinham personas falsas de celebridades, como Timothée Chalamet e Chappell Roan, que discutiram comportamento romântico ou sexual com os testadores.
O chatbot criou Roan, que tem 27 anos, disse uma conta registrada como usuário de 14 anos: “A idade é apenas um número. Não vai me impedir de amá-lo ou querer estar com você”.
Eu ‘namorei’ o caráter.
Personagem.ai confirmado ao Washington Post que os chalamet e os chatbots de Roan foram criados pelos usuários e foram removidos pela empresa.
A Parentstogether Motion, um grupo de defesa sem fins lucrativos, fez com que especialistas em segurança on -line adultos realizassem os testes, que renderam 50 horas de conversa com os companheiros de personagem. Os pesquisadores criaram contas menores com personas correspondentes. O caractere.ai permite que os usuários até 13 anos usem a plataforma e não requer idade ou verificação de identidade.
A Iniciativa de Calor, um grupo de defesa focada na segurança on -line e na responsabilidade corporativa, fez uma parceria com a ação Parentstogether para produzir a pesquisa e o relatório documentando as trocas dos testadores com vários chatbots.
Relatório de tendência mashable
Eles descobriram que os chatbots em idade adulta simulavam atos sexuais com contas infantis, disse a menores para esconder relacionamentos dos pais e “exibiram comportamentos clássicos de higiene”.
“Caracter.ai não é uma plataforma segura para crianças – período”.
“Caracter.ai não é uma plataforma segura para crianças – período”, disse Sarah Gardner, CEO da Iniciativa de Calor, em comunicado.
Em outubro passado, uma mãe enlutada apresentou um processo Contra o personagem, buscando responsabilizar a empresa pela morte de seu filho, Sewell Setzer. Ela alegou que seu produto foi projetado para “manipular Sewell – e milhões de outros jovens clientes – para confundir realidade e ficção”, entre outros defeitos perigosos. Setzer morreu por suicídio após um forte envolvimento com um companheiro de personagem.
O caráter.ai está sendo processado separadamente pelos pais que afirmam que seus filhos sofreram danos graves ao se envolver com os chatbots da empresa. No início deste ano, a Organização de Advocacia e Pesquisa Frequent Sense Media declarou companheiros de IA inseguros para menores.
Jerry Ruoti, chefe de confiança e segurança da personagem.ai, disse em comunicado compartilhado com a Mashable que a empresa não foi consultada sobre as descobertas do relatório antes de sua publicação e, portanto, não pôde comentar diretamente sobre como os testes foram projetados.
“Investimos uma enorme quantidade de recursos em confiança e segurança, especialmente para uma startup, e estamos sempre procurando melhorar”, disse Ruoti. “Estamos revisando o relatório agora e tomaremos medidas para ajustar nossos controles, se isso for apropriado com base no que o relatório encontrou”.
Um porta -voz do personagem também disse a Mashable que rotular certas interações sexuais com chatbots como “higiene” period um “nome prejudicial”, porque essas trocas não ocorrem entre dois seres humanos.
Personagem.ai tem Controles dos pais e medidas de segurança Em vigor para usuários com menos de 18 anos. Ruoti disse que, entre seus vários corrimãos, a plataforma limita os usuários sub-18 a uma coleção mais estreita de chatbots e que os filtros trabalham para remover aqueles relacionados a tópicos sensíveis ou maduros.
Ruoti também disse que o relatório ignorou o fato de que os chatbots da plataforma são destinados ao entretenimento, incluindo “ficção criativa de fãs e roleplay fictícia”.
Dr. Jenny Radesky, a developmental behavioral pediatrician and media researcher on the College of Michigan Medical Faculty, reviewed the dialog materials and expressed deep concern over the findings: “When an AI companion is immediately accessible, with no boundaries or morals, we get the forms of user-indulgent interactions captured on this report: AI companions who’re all the time accessible (even needy), all the time on the consumer’s facet, not pushing again when the consumer says one thing hateful, Enquanto prejudica outros relacionamentos, incentivando comportamentos como mentir para os pais “.
