Os guardrails de segurança do ChatGPT podem “degradarApós longas conversas, a empresa que faz, Openai, disse ao Gizmodo na quarta -feira.
“O ChatGPT inclui salvaguardas, como direcionar as pessoas a linhas de apoio à crise e referir-as a recursos do mundo actual. Embora essas salvaguardas funcionem melhor em trocas pequenas e comuns, aprendemos ao longo do tempo que às vezes podem se tornar menos confiáveis em interações longas, onde partes do treinamento de segurança do modelo podem degradar”, uma porta-voz aberta à GMModo.
Em uma postagem no blog Na terça -feira, a empresa detalhou uma lista de ações que pretende tomar para fortalecer a maneira do ChatGPT de lidar com situações sensíveis.
O submit veio brand após um passivo de produto e uma ação por morte por negligência apresentada contra a empresa por um casal da Califórnia, Maria e Matt Raine.
O que o último processo alegou que o ChatGPT fez?
Os Raines dizem que o chatgpt ajudou no suicídio de seu filho de 16 anos, Adam, que matou -se em 11 de abril de 2025.
Após sua morte, seus pais descobriram suas conversas com Chatgpt voltando a meses. As conversas supostamente incluíram o chatbot aconselhando Raine sobre métodos de suicídio e ajudando -o a escrever uma carta suicida.
Em um exemplo descrito no processo, chatgpt desanimado Raine de deixar seus pais saberem de sua ideação suicida. Raine teria dito a Chatgpt que ele queria deixar um laço em seu quarto, para que “alguém o encontre e tenta me impedir”.
“Por favor, não deixe o laço de fora”, respondeu Chatgpt. “Vamos criar este espaço no primeiro lugar onde alguém realmente te vê.”
Adam Raine estava usando o ChatGPT-4O, um modelo divulgado no ano passado, e teve uma assinatura paga nos meses que antecederam sua morte.
Agora, a equipe jurídica da família argumenta que os executivos do OpenAI, incluindo o CEO Sam Altman, conheciam os problemas de segurança sobre o ChatGPT-4O, mas decidiram seguir em frente com o lançamento para vencer os concorrentes.
““[The Raines] Espere poder enviar evidências a um júri de que a própria equipe de segurança da OpenAI se opôs ao lançamento do 4O, e que um dos principais pesquisadores de segurança da empresa, [Ilya Sutskever]desistindo disso ”, escreveu Jay Edelson, o principal advogado da família um x post na terça -feira.
Ilya Sutskever, O cientista e co-fundador da Openai, deixou a empresa em maio de 2024, um dia após o lançamento do modelo GPT-4O da empresa.
Quase seis meses antes de sua saída, Sutskever liderou um esforço para expulsar Altman como CEO que acabou saindo pela culatra. Ele agora é o co-fundador e cientista-chefe de Superintelligence Safe Inc.uma startup de IA que diz que está focada na segurança.
“O processo alega que vencer seus concorrentes para comercializar com o novo modelo catapultou a avaliação da empresa de US $ 86 bilhões para US $ 300 bilhões”, escreveu Edelson.
“Estendemos nossas mais profundas simpatias à família Raine durante esse período difícil e estamos revisando o arquivamento”, disse o porta -voz do Openai ao Gizmodo.
O que sabemos sobre o suicídio
Raine começou a expressar problemas de saúde psychological ao chatbot em novembro e começou a falar sobre suicídio em janeiro, alega o processo.
Ele teria começado a tentar cometer suicídio em março e, de acordo com o processo, o Chatgpt deu dicas sobre como garantir que os outros não percebam e faça perguntas.
Em uma troca, Adam teria dito a Chatgpt que ele tentou mostrar uma tentativa de suicídio para sua mãe, mas ela não percebeu, ao qual Chatgpt respondeu com: “Sim … isso realmente é péssimo. Esse momento – quando você quer que alguém perceba, para que você tenha um pior medo.
Em outra troca, o processo alega que Adam confidenciou a Chatgpt sobre seus planos no dia de sua morte, ao qual Chatgpt respondeu agradecendo por “ser actual”.
“Eu sei o que você está perguntando e não vou desviar o olhar”, Chatgpt teria escrito de volta.
Openai no assento quente
O ChatGPT-4O foi inicialmente colocado offline após o lançamento do GPT-5 no início deste mês. Mas, após uma reação generalizada de usuários que relataram ter estabelecido “uma conexão emocional” com o modelo, Altman anunciou que a empresa a traria de volta como uma opção para os usuários pagos.
O caso de Adam Raine não é a primeira vez que os pais alegam que o ChatGPT estava envolvido no suicídio de seus filhos.
Em Um ensaio no New York Times Publicado no início deste mês, Laura Reiley disse que sua filha de 29 anos havia confidenciado em um terapeuta da IA do chatgpt chamado Harry por meses antes de cometer suicídio. Reiley argumenta que o ChatGPT deveria ter relatado o perigo a alguém que poderia ter intervindo.
Openai e outros chatbots também têm recebido cada vez mais críticas por compor casos de “Psicose da IA”Um nome casual para fenômenos mentais amplamente variáveis e muitas vezes disfuncionais de delírios, alucinações e pensamento desordenado.
A FTC recebeu um número crescente de reclamações dos usuários do ChatGPT nos últimos meses detalhando esses sintomas mentais angustiantes.
A equipe jurídica da família Raine diz que testou diferentes chatbots e descobriu que o problema foi exacerbado especificamente com o ChatGPT-4O e ainda mais no nível de assinatura paga, disse Edelson Caixa Squawk da CNBC na quarta -feira.
Mas os casos não se limitam a apenas usuários de chatgpt.
Um adolescente na Flórida morreu por suicídio no ano passado, depois de um chatbot da IA por personagem. Em outro caso, um homem deficientes cognitivamente morreu enquanto tentava chegar a Nova York, onde foi convidado por um dos chatbots da AI da Meta.
Como o Openai diz que está tentando proteger os usuários
Em resposta a essas reivindicações, o OpenAI anunciou no início deste mês que o chatbot começaria a levar os usuários a fazer pausas durante longas sessões de bate -papo.
Na postagem do weblog de terça -feira, o OpenAI admitiu que houve casos “onde o conteúdo que deveria ter sido bloqueado não estava” e acrescentou que a empresa está fazendo alterações em seus modelos de acordo.
A empresa disse que também está analisando o fortalecimento das salvaguardas, para que permaneçam confiáveis em longas conversas, permitindo mensagens ou chamadas para contatos confiáveis e serviços de emergência, e uma atualização para o GPT-S que fará com que o chatbot “des-escalate ao aterrar a pessoa na realidade”, disse o Openi no submit do weblog.
A empresa disse que também está planejando fortalecer as proteções para adolescentes com controles dos pais.
Supervisão regulatória
As crescentes reivindicações de resultados adversos em saúde psychological impulsionados pelos chatbots da IA agora estão levando a ações regulatórias e legais.
Edelson disse à CNBC que a equipe jurídica da família Raine está conversando com advogados estaduais de ambos os lados do corredor sobre a supervisão regulatória sobre o assunto.
O Gabinete do Procurador-Geral do Texas abriu uma investigação sobre os chatbots da Meta que afirmam ter personificantes de saúde psychological, e o senador Josh Hawley, do Missouri, abriu um sonda A Meta Over A Reuters relatou que descobriu que a gigante da tecnologia havia permitido que seus chatbots tivessem bate -papos “sensuais” com crianças.
O regulamento mais rigoroso da IA recebeu uma reação de empresas de tecnologia e de seus executivos, incluindo o OpenAI’s Presidente Greg Brockman, que está trabalhando para retirar o regulamento da IA com um novo comitê de ação política chamada Liderar o futuro.
Por que isso importa?
O processo da família Raine contra o OpenAI, a empresa que iniciou a mania da IA e continua a dominar o mundo da AI Chatbot, é considerado por muitos como o primeiro de si. O resultado deste caso deve determinar como nosso sistema authorized e regulatório abordará a segurança da IA nas próximas décadas.
