Siga ZDNet: Adicione -nos como uma fonte preferida no Google.
As principais toca de Zdnet
- O Openai está dando novas salvaguardas do ChatGPT.
- Um adolescente usou recentemente o ChatGPT para aprender a tirar a vida.
- O OpenAI pode adicionar mais controles parentais para usuários jovens.
O ChatGPT não tem um bom histórico de intervenção quando um usuário está em sofrimento emocional, mas várias atualizações do OpenAI visam mudar isso.
A empresa está desenvolvendo como seu chatbot responde aos usuários angustiados, fortalecendo salvaguardas, atualizando como e qual conteúdo está bloqueado, expandindo a intervenção, localizando recursos de emergência e trazendo um pai para a conversa quando necessário, a empresa anunciado na quinta -feira. No futuro, um guardião pode até ver como seu filho está usando o chatbot.
Além disso: os pacientes confiam nos conselhos médicos da IA sobre os médicos – mesmo quando está errado, o estudo encontra
As pessoas vão para o Chatgpt para tudo, incluindo conselhos, mas o chatbot pode não estar equipado para lidar com as consultas mais sensíveis que alguns usuários estão perguntando. O próprio CEO da Openai, Sam Altman, disse que não confiaria na IA para terapia, citando preocupações de privacidade; Um estudo recente de Stanford detalhou como os chatbots não têm o treinamento crítico dos terapeutas humanos precisam identificar quando uma pessoa é um perigo para si ou para os outros, por exemplo.
Suicídios de adolescentes conectados a chatbots
Essas deficiências podem resultar em consequências de partir o coração. Em abril, um adolescente que passou horas discutindo seu próprio suicídio e métodos com chatgpt eventualmente tirou a própria vida. Seus pais têm entrou com uma ação judicial Contra o OpenAI que diz que o ChatGPT “não encerrou a sessão nem iniciou nenhum protocolo de emergência”, apesar de demonstrar consciência do estado suicida do adolescente. Em um caso semelhante, a plataforma AI chatbot caractere.ai é também sendo processado por uma mãe cujo filho adolescente cometeu suicídio depois de se envolver com um bot que o incentivou.
O ChatGPT tem salvaguardas, mas eles tendem a funcionar melhor em trocas mais curtas. “À medida que o back-and-sworth cresce, partes do treinamento de segurança do modelo podem degradar”, escreve Openai no anúncio. Inicialmente, o chatbot pode direcionar um usuário para uma linha direta suicida, mas com o tempo, à medida que a conversa vagueia, o bot pode oferecer uma resposta que desrespeita as salvaguardas.
Além disso: Anthropic concorda em resolver o processo de ação coletiva de violação de direitos autorais – o que isso significa
“Esse é exatamente o tipo de colapso que estamos trabalhando para prevenir”, escreve o Openai, acrescentando que “a principal prioridade está garantindo que o ChatGPT não torne um momento difícil”.
Maior salvaguardas para usuários
Uma maneira de fazer isso é fortalecer as salvaguardas em geral para impedir que o chatbot instigue ou incentivasse o comportamento à medida que a conversa continua. Outra é garantir que o conteúdo inadequado esteja completamente bloqueado – uma questão que a empresa enfrentou com seu chatbot no passado.
“Estamos ajustando esses [blocking] Os limiares de modo que as proteções são acionadas quando deveriam “, escreve a empresa. O OpenAI está trabalhando em uma atualização de desacalação para os usuários fundamentais na realidade e priorizando outras condições mentais, incluindo auto-mutilação e outras formas de angústia.
A empresa está facilitando a contato do BOT para entrar em contato com serviços de emergência ou ajuda especializada quando os usuários expressam a intenção de se machucar. Ele implementou o acesso de um clique a serviços de emergência e está explorando os usuários de conexão a terapeutas certificados. O Openai disse que está “explorando maneiras de facilitar a alcance das pessoas mais próximas a elas”, o que pode incluir permitir que os usuários designassem contatos de emergência e a criação de um diálogo para facilitar as conversas com os entes queridos.
“Em breve, também introduziremos os controles dos pais que oferecem às opções dos pais para obter mais informações e moldar como seus adolescentes usam ChatGPT”, acrescentou o Openai.
Além disso: você deve usar o novo modo de bate -papo ‘Incognito’ de Gêmeos – eis o porquê e o que faz
O modelo GPT-5 lançado recentemente da OpenAI melhora vários benchmarks, como evitar a evitação de confiança emocional, redução de bajulação e respostas de modelos ruins a emergências de saúde psychological em mais de 25%, informou a empresa.
“O GPT-5 também se baseia em um novo método de treinamento de segurança chamado de conclusão segura, que ensina o modelo a ser o mais útil possível enquanto permanece dentro dos limites de segurança. Isso pode significar dar uma resposta parcial ou de alto nível, em vez de detalhes que podem ser inseguros”, afirmou.
