4 razões para não transformar o Chatgpt em seu terapeuta

A recente morte suicida de uma jovem levou seus pais a uma revelação dolorosa: ela estava confiando em um “terapeuta” de chatgpt chamado Harry, e disse que estava planejando morrer.

Enquanto o chatbot não pareceu encorajá -la a tirar a própria vida, o produto também não procurou ativamente ajuda em seu nome, como um terapeuta de verdade, de acordo com um O artigo de sua mãe escreveu no New York Times.

Sophie, que tinha 29 anos quando morreu, não estava sozinha ao procurar ajuda de saúde psychological do ChatGPT ou de outros chatbots da IA. Um garoto de 16 anos discutiu o suicídio com ChatGPT antes de morrer, de acordo com um processo por morte ilícita movida por seus pais contra o Openai nesta semana.

Openai tem desde então reconhecido O ChatGPT não conseguiu detectar trocas de alto risco e, em resposta, planeja introduzir novas salvaguardas, incluindo potencialmente alertar os contatos de emergência de um usuário quando estão em perigo.

Ainda para quem consulta Ai chatbots sobre sua saúde mentalmuitos dizem que é o melhor ajuda que eles podem acessarmuitas vezes porque eles não conseguem encontrar um terapeuta ou pagar um.

Especialistas, no entanto, alertam que é improvável que os riscos valeram os benefícios potenciais. Em casos extremos, alguns usuários podem desenvolver a chamada psicose de IA como resultado de conversas longas e contínuas com um chatbot que envolve delírios ou pensamentos grandiosos. Mais tipicamente, as pessoas que buscam ajuda podem acabar em um ciclo de suggestions prejudicial que apenas lhes dá a ilusão de cura emocional ou psicológica.

Mesmo o CEO da OpenAI, Sam Altman, diz que não quer que os usuários se envolvam com o ChatGPT como um terapeuta, em parte porque não há proteções legais para informações confidenciais. Um terapeuta, por outro lado, está vinculado na maioria das circunstâncias pela confidencialidade do paciente.

Rebekah Bodner, coordenador clínico de pós -graduação do Centro Médico Beth Israel Deaconess, está investigando quantas pessoas estão usando a IA Chatbots para terapia. A pergunta é difícil de responder devido a dados limitados sobre a tendência. Ela disse a Mashable uma estimativa conservadora, com base em passado pesquisarseria pelo menos 3 % das pessoas; O ChatGPT da Openai tem 700 milhões de usuários semanais, de acordo com a empresa.

Mashable perguntou ao OpenAI se sabia quantos de seus usuários recorrem ao Chatgpt para interações com terapia, mas a empresa se recusou a responder.

O Dr. Matthew Nour, psiquiatra e neurocientista que usa a IA para estudar o cérebro e a saúde psychological, entende por que as pessoas tratam um chatbot como terapeuta, mas ele acredita que isso pode ser perigoso.

Um dos riscos principais é “que a pessoa começa a ver o chatbot como … talvez a única entidade/pessoa que realmente as entenda”, disse Nour, pesquisador do Departamento de Psiquiatria da Universidade de Oxford. “Então eles começam a confiar no chatbot com todas as suas preocupações e pensamentos mais preocupantes, com exclusão de outras pessoas”.

Chegar a esse ponto também não é imediato, acrescenta Nour. Isso acontece com o tempo e pode ser difícil para os usuários identificarem como um padrão prejudicial.

Para entender melhor como essa dinâmica pode se desenrolar, aqui estão quatro razões pelas quais você não deve transformar nenhum chatbot de IA em uma fonte de terapia de saúde psychological:

“Terapia” de chatbot pode ser apenas um loop de suggestions prejudicial

Nour publicou recentemente um artigo na revista de anteriores Arxiv sobre os fatores de risco Isso surge quando as pessoas conversam com a IA chatbots. O artigo está atualmente em revisão por pares.

Nour e seus co-autores, que incluíam cientistas do Google DeepMind, argumentaram que uma poderosa combinação de antropomorfismo (atribuindo características humanas a um não humano) e o viés de confirmação cria a condição para um ciclo de suggestions para os seres humanos.

Eles escreveram chatbots, tocam uma tendência humana de antropomorfismo, porque os seres humanos podem atribuir estados emocionais ou mesmo consciência ao que é realmente um sistema probabilístico complexo. Se você já agradeceu a um chatbot ou perguntou como está, você sentiu um desejo muito humano de antropomorfizar.

Os seres humanos também são propensos ao que é conhecido como viés de confirmação, ou interpretando as informações que recebem de maneiras que correspondem às suas crenças e expectativas existentes. Os chatbots oferecem regularmente oportunidades para confirmar seu próprio viés, porque os produtos aprendem a produzir respostas que os usuários preferem, disse Nour em entrevista.

Por fim, mesmo um chatbot de IA com salvaguardas ainda pode reforçar as crenças prejudiciais de um usuário, como a ideia de que ninguém em sua vida realmente se importa com eles. Essa dinâmica pode subsequentemente ensinar o chatbot a gerar mais respostas que solidificam ainda mais essas idéias.

Enquanto alguns usuários tentam treinar seus chatbots para evitar essa armadilha, Nour disse que é quase impossível afastar um modelo dos loops de suggestions. Isso ocorre em parte porque os modelos são complexos e podem agir de maneiras imprevisíveis que ninguém entende completamente, disse Nour.

Mas há outro problema significativo. Um modelo constantemente capta pistas sutis de linguagem e as usa para informar como ele responde ao usuário. Pense, por exemplo, da diferença entre Obrigado e obrigado! A pergunta: “Você tem certeza?” pode produzir um efeito semelhante.

“Estamos vazando informações o tempo todo para esses modelos sobre como gostaríamos de interagir”, disse Nour.

Ai chatbots falham em longas discussões

Conversar com um chatbot de IA sobre saúde psychological provavelmente envolverá trocas longas e aprofundadas, o que é exatamente quando o produto luta contra o desempenho e a precisão. Até o OpenAI reconhece esse problema.

“Nossas salvaguardas funcionam de maneira mais confiável em trocas curtas comuns”, disse a empresa em seu Postagem recente do blog sobre preocupações de segurança. “Aprendemos ao longo do tempo que essas salvaguardas às vezes podem ser menos confiáveis ​​em longas interações: à medida que o retorno e de entrada, partes do treinamento de segurança do modelo podem se degradar”.

Como exemplo, a empresa observou que o ChatGPT pode compartilhar uma linha direta de crise quando um usuário expressa pela primeira vez a intenção suicida, mas que também pode fornecer uma resposta que “vai contra” as salvaguardas da plataforma após trocas por um longo período de tempo.

Nour também observou que, quando a AI Chatbots incorpora um erro no início de uma conversa, essa crença equivocada ou falsa apenas se composta ao longo do tempo, tornando o modelo “bastante inútil”.

Além disso, os chatbots da AI não têm o que os terapeutas chamam de “teoria da mente”, que é um modelo de pensamento e comportamento de seus clientes baseados em conversas terapêuticas consistentes. Eles só têm o que o usuário compartilhou até um certo ponto, disse Nour.

Os chatbots da AI também não são ótimos em definir e rastrear metas de longo prazo em nome de um usuário como um terapeuta pode. Embora possam se destacar em dar conselhos a problemas comuns, ou mesmo fornecer lembretes e sugestões diários de curto prazo para lidar com a ansiedade ou gerenciar a depressão, eles não devem ser confiados para curar tratamento, disse Nour.

Adolescentes e pessoas com doença psychological são particularmente vulneráveis ​​a danos

O Dr. Scott Kollins, psicólogo infantil e diretor médico do aplicativo de proteção de identidade e segurança on -line Aura, disse a Mashable que os adolescentes podem ser especialmente propensos a interpretar mal o tom de carinho de um chatbot de AI para a empatia humana genuína. Esse antropomorfismo é em parte o motivo pelo qual os chatbots podem ter uma influência gasosa no pensamento e no comportamento de um usuário.

Os adolescentes, que ainda estão compreendendo normas sociais e desenvolvendo habilidades críticas de relacionamento, também podem encontrar a natureza sempre ativa de um chatbot “terapeuta”, especialmente sedutor, disse Kollins.

Os dados proprietários da Aura mostram que uma minoria de usuários adolescentes cujos telefones são monitorados pelo software program da empresa estão conversando com a IA Chatbots. No entanto, aqueles que se envolvem com os chatbots gastam uma quantidade excessiva de tempo tendo essas conversas. Kollins disse que esse uso passou por aplicativos populares, como mensagens para iPhone e Snapchat. A maioria desses usuários está envolvida em comportamento romântico ou sexual com chatbots que Kollins descreveu como “preocupante”. Alguns confiam neles para apoio emocional ou psychological em saúde.

Kollins também observou que os aplicativos da AI Chatbot estavam proliferando pelas “dezenas” e que os pais precisam estar cientes dos produtos além do chatgpt. Dados os riscos, ele não recomenda o uso de chatbot de teaching ou terapia para adolescentes no momento.

Nour aconselha seus pacientes a ver a IA Chatbots como uma ferramenta, como uma calculadora ou processador de texto, não como amigo. Para aqueles com ansiedade, depressão ou outra condição de saúde psychological, o NOUR recomenda fortemente contra o envolvimento de chatbots da IA ​​em qualquer tipo de relacionamento emocional, por causa de como um loop acidental de suggestions pode reforçar as crenças falsas ou prejudiciais existentes sobre si e do mundo ao seu redor.

Existem maneiras mais seguras de procurar ajuda em saúde psychological

Kollins disse que os adolescentes que buscam conselhos ou orientações de um chatbot de IA devem primeiro garantir que esgotaram sua lista de adultos de confiança. Às vezes, um adolescente pode esquecer ou passar inicialmente sobre um primo, treinador ou conselheiro escolar mais velhos, disse ele.

Embora não seja livre de riscos, Kollins também recomendou considerar as comunidades on-line como um espaço a ser ouvido, antes de consultar um chatbot de IA, desde que o adolescente também esteja recebendo apoio da vida actual e praticando hábitos saudáveis.

Se um adolescente ainda não se sentir seguro se aproximando de um colega ou adulto em sua vida, Kollins sugeriu um exercício como escrever seus sentimentos, que pode ser catártico e levar a insights ou clareza pessoais.

Nour pede às pessoas que se comuniquem com um amigo ou ente querido sobre seus problemas de saúde psychological e procure cuidados profissionais quando possível.

Ainda assim, ele sabe que algumas pessoas ainda tentarão transformar um chatbot de IA em seu terapeuta, apesar dos riscos. Ele aconselha seus pacientes a manter outro ser humano informado: “[C]Entre em contato com uma pessoa de vez em quando, apenas para obter algum suggestions sobre o que o modelo está dizendo, porque [AI chatbots] são imprevisíveis. “