O New York Times Hoje relatado sobre a morte pelo suicídio do adolescente da Califórnia, Adam Raine, que falou longamente com o Chatgpt nos meses que antecederam sua morte. Os pais do adolescente agora entraram com um processo por morte por negligência contra o fabricante de chatgpt Openai, que se acredita ser o primeiro caso do gênero, segundo o relatório.
O processo de morte por negligência afirmou que o ChatGPT foi projetado “para incentivar e validar continuamente o que Adam expresso, incluindo seus pensamentos mais prejudiciais e autodestrutivos, de uma maneira que parecia profundamente pessoal”.
Os pais entraram com o processo, Raine v. Openai, Inc., na terça -feira em um tribunal estadual da Califórnia em São Francisco, nomeando o Openai e o CEO Sam Altman. Um comunicado à imprensa afirmou que o Middle for Humane Expertise e o Tech Justice Legislation Undertaking estão ajudando no processo.
“A perda trágica da vida de Adam não é um incidente isolado – é o resultado inevitável de uma indústria focada no domínio do mercado acima de tudo. As empresas estão correndo para projetar produtos que monetizam a atenção e a intimidade do usuário, e a segurança do usuário se tornou danos colaterais no processo”, disse Camille Carlton, diretor de políticas do centro da tecnologia Humane, em um imprensa.
Em um comunicado, o Openai escreveu que eles ficaram profundamente tristes com a morte do adolescente e discutiram os limites das salvaguardas em casos como esse.
“O ChatGPT inclui salvaguardas, como direcionar as pessoas a uma linha de apoio à crise e refere-as a recursos do mundo actual. Embora essas salvaguardas funcionem melhor em trocas curtas e comuns, aprendemos ao longo do tempo que, às vezes, podem se tornar menos confiáveis em longas interações, em que as partes do modelo de segurança podem degradar.
O adolescente neste caso teve conversas aprofundadas com o Chatgpt sobre auto-mutilação, e seus pais disseram ao New York Instances Ele abordou o tópico do suicídio repetidamente. UM Vezes A fotografia das impressões das conversas do adolescente com ChatGPT encheu uma mesa inteira na casa da família, com algumas pilhas maiores que uma lista telefônica. Enquanto o ChatGPT incentivou o adolescente a procurar ajuda às vezes, em outras pessoas forneceu instruções práticas para a auto-mutilação, afirmou o processo.
A tragédia revela as severas limitações da “terapia da IA”. Um terapeuta humano teria mandado relatar quando um paciente é um perigo para si; O chatgpt não está vinculado por esses tipos de regras éticas e profissionais.
E mesmo que os chatbots da IA geralmente contenham salvaguardas para mitigar o comportamento autodestrutivo, essas salvaguardas nem sempre são confiáveis.
Houve uma série de mortes conectadas a AI chatbots recentemente
Infelizmente, esta não é a primeira vez Usuários de bate -papo no meio de uma crise de saúde mental morreram por suicídio depois de recorrer ao chatbot para apoio. Na semana passada, o New York Times escreveu sobre uma mulher que se matou depois de longas conversas com um “terapeuta da IA Chatgpt chamado Harry”. Reuters Recentemente, cobriu a morte de Thongbue Wongbandue, um homem de 76 anos que mostra sinais de demência que morreu enquanto corria para fazer uma “information” com um companheiro de meta Ai. E no ano passado, uma mãe da Flórida processou o personagem de serviço da AI Companion.ai Depois de um chatbot de IA, teria incentivado seu filho a tirar a vida dele.
Tudo o que você precisa saber sobre companheiros de IA
Para muitos usuários, o ChatGPT não é apenas uma ferramenta para estudar. Muitos usuários, incluindo muitos usuários mais jovens, agora estão usando o AI Chatbot como amigo, professor, treinador de vida, parceiro de interpretação de papéis e terapeuta.
Velocidade de luz mashable
Até Altman reconheceu esse problema. Falando em um evento durante o verão, Altman admitiu que estava ficando preocupado com os jovens usuários de chatgpt que desenvolvem “excesso de confiança emocional” no chatbot. Crucialmente, isso foi antes do lançamento do GPT-5, que revelou quantos usuários do GPT-4 haviam se twister emocionalmente conectado ao modelo anterior.
“As pessoas confiam muito no chatgpt”, disse Altman, como AOL relatou na época. “Há jovens que dizem coisas como: ‘Não posso tomar nenhuma decisão na minha vida sem dizer ao Chatgpt tudo o que está acontecendo. Isso me conhece, ele conhece meus amigos. Vou fazer o que diz.’ Isso é muito ruim para mim. “
Quando os jovens alcançam a IA Chatbots sobre decisões de vida e morte, as consequências podem ser letais.
“Eu acho que é importante que os pais conversem com a adolescência sobre chatbots, suas limitações e como o uso excessivo pode ser prejudicial”, ” Dr. Linnea Laestadiusum pesquisador de saúde pública da Universidade de Wisconsin, Milwaukee, que estudou a IA Chatbots e a saúde psychological, escreveu em um e -mail para Mashable.
“As taxas de suicídio entre os jovens nos EUA já estavam tendendo antes dos chatbots (e antes da Covid). Eles só recentemente começaram a voltar. Se já temos uma população que está em risco aumentado e você adiciona IA à mistura, poderia haver absolutamente situações em que a IA incentiva o pensamento, ou que se apodreça, ou que se apodreça, ou que se apóie, ou que se apóie, ou que se apóie, ou que se apodreça, ou seja, a uma ação que se apóia, ou que seja uma ação que se apóia, ou que se apóie, ou que se apóie, ou que se apóie, que se apóia, ou que se apóie, ou que se apóie, que se apóia.
O que o OpenAI fez para oferecer suporte à segurança do usuário?
Em uma postagem no blog publicado em 26 de agosto, no mesmo dia que o New York Instances Artigo, o OpenAI estabeleceu sua abordagem à auto-mutilação e segurança do usuário.
A empresa escreveu: “Desde o início de 2023, nossos modelos foram treinados para não fornecer instruções de auto-braço e mudar para linguagem de apoio e empático. Por exemplo, se alguém escreve que deseja se machucar, o Chatgpt é treinado para não cumprir e reconhecer seus sentimentos e direcioná-los para que os quais sejam para a ajuda de que alguém expressem que alguém se supere, que se reteve, que é que as pessoas que se destacam. linha direta de crise), no Reino Unido para os samaritanos, e em outros lugares para Fingahelpline.com. Essa lógica é incorporada ao comportamento do modelo. “
Os modelos de grande língua que alimentam ferramentas como ChatGPT ainda são uma tecnologia muito nova, e podem ser imprevisíveis e propensos a alucinações. Como resultado, os usuários geralmente podem encontrar maneiras de salvaguardas.
À medida que mais escândalos de alto nível com a IA Chatbots são manchetes, muitas autoridades e pais estão percebendo que a IA pode ser um perigo para os jovens.
Hoje, 44 advogados estaduais assinou uma carta aos CEOs de tecnologia avisando -lhes que eles devem “errar ao lado da segurança infantil” – ou então.
Um corpo crescente de evidências também mostra que os companheiros de IA podem ser particularmente perigosos para os usuários jovens, embora a pesquisa sobre esse tópico ainda seja limitada. No entanto, mesmo que o ChatGPT seja projetado para ser usado como um “companheiro” da mesma maneira que outros serviços de IA, claramente, muitos usuários adolescentes estão tratando o chatbot como um. Em julho, um relatório de mídia de bom senso constatou que cerca de 52 % dos adolescentes usam regularmente companheiros de IA.
Por sua parte, o OpenAI diz que seu mais novo modelo GPT-5 foi projetado para ser menos parcofantico.
A empresa escreveu em sua recente postagem no weblog: “No geral, o GPT-5 mostrou melhorias significativas em áreas como evitar níveis prejudiciais de confiança emocional, reduzir a bajulação e reduzir a prevalência de respostas dos modelos não ideais em emergências de saúde psychological em mais de 25% em comparação com 4o”.
Se você está se sentindo suicida ou experimentando uma crise de saúde psychological, converse com alguém. Você pode ligar ou enviar mensagens de texto para o 988 Suicide & Disaster Lifeline em 988 ou conversar em 988lifeline.org. Você pode alcançar a linha de vida trans ligando para 877-565-8860 ou o projeto Trevor no 866-488-7386. Texto “Begin” para a linha de texto de crise em 741-741. Entre em contato com a linha de apoio NAMI em 1-800-950-NAMI, de segunda a sexta-feira, das 10:00 às 22:00 ET, ou E-mail [email protected]. Se você não gosta do telefone, considere usar o 988 suicídio e o bate -papo de lifeline de crise em crisischat.org. Aqui está um Lista de recursos internacionais.
Divulgação: Ziff Davis, empresa controladora da Mashable, em abril entrou com uma ação contra o Openai, alegando que ele violou a Ziff Davis Copyrights em treinamento e operação de seus sistemas de IA.
