O Linhas vermelhas ai Iniciativa lançada na Assembléia Geral das Nações Unidas na terça -feira – o local perfeito para uma declaração muito inespecífica.
Mais de 200 ganhos de Nobel e outros especialistas em inteligência artificial (incluindo o co-fundador do Openai, Wojciech Zaremba), além de 70 organizações que lidam com a IA (incluindo o Google DeepMind e Anthrópio), assinou uma carta pedindo que as linhas vermelhas globais para evitar riscos inaceitáveis de IA “. No entanto, foi marcado tanto pelo que não disse como o que fazia.
“Os sistemas de IA já exibiram comportamentos enganosos e prejudiciais, e ainda assim esses sistemas estão recebendo mais autonomia”, disse a carta, estabelecendo um prazo de 2026 para que sua recomendação seja implementada: “Um acordo internacional sobre linhas vermelhas claras e verificáveis é necessária para prevenir riscos universalmente inaceitáveis”.
Justo o suficiente, mas o que Linhas vermelhas, exatamente? A carta diz apenas que esses parâmetros “devem desenvolver e aplicar estruturas globais existentes e compromissos corporativos voluntários, garantindo que todos os fornecedores avançados de IA sejam responsáveis com os limites compartilhados”.
A falta de detalhes pode ser necessária para manter uma coalizão muito frouxa de signatários juntos. Eles incluem alarmistas da IA como Geoffrey Hinton, 77 anos, o chamado “padrinho da AI”, que passou os últimos três anos prevendo várias formas de destruição da chegada iminente da AGI (inteligência geral artificial); A lista também inclui céticos da IA, como o cientista cognitivo Gary Marcus, que passou os últimos três anos nos dizendo que AGI não é chegando em breve.
Com o que todos eles poderiam concordar? Por esse motivo, o que os governos já poderiam em desacordo com a IA, principalmente os EUA e a China, concordarem e confiarem um no outro para implementar? Boa pergunta.
Este tweet está atualmente indisponível. Pode estar carregando ou foi removido.
Provavelmente, a resposta mais concreta de um signatário veio de Stuart Russell, professor veterano de ciência da computação da UC Berkeley, após uma tentativa anterior de conversar sobre as linhas vermelhas na cúpula de segurança da IA global de 2023. Em um artigo intitulado “Torne a IA seguro ou faça a segurança segura?” Russell escreveu Que as empresas de IA oferecem “tentativas após o fato de reduzir o comportamento inaceitável quando um sistema de IA for construído”. Ele contrastava que, com a abordagem das linhas vermelhas: garanta a segurança interna no design desde o início, e “comportamento inaceitável” não será possível em primeiro lugar.
“Deveria ser possível que os desenvolvedores digam, com alta confiança, que seus sistemas não exibirão comportamentos nocivos”, escreveu Russell. “Um efeito colateral importante da regulação da linha vermelha será aumentar substancialmente os recursos de engenharia de segurança dos desenvolvedores”.
Em seu artigo, Russell chegou a quatro exemplos da linha vermelha: os sistemas de IA não devem tentar se replicar; Eles nunca devem tentar invadir outros sistemas de computador; Eles não devem ter instruções sobre a fabricação de biológicas. E sua produção não deve permitir “declarações falsas e prejudiciais sobre pessoas reais”.
Do ponto de vista de 2025, podemos adicionar linhas vermelhas que lidam com as atuais ameaças contínuas da psicose da IA e a IA Chatbots que podem ser manipuladas para dar conselhos sobre suicídio.
Todos nós podemos concordar com isso, certo?
O problema é que Russell também acredita que nenhum modelo de linguagem grande (LLM) é “capaz de demonstrar conformidade”, mesmo com seus quatro requisitos mínimos de linha vermelha. Por que? Porque são motores de palavras preditivos que fundamentalmente não entendem o que estão dizendo. Eles não são capazes de raciocinar, mesmo em quebra -cabeças lógicos básicos, e Cada vez mais “alucinar” respostas Para satisfazer seus usuários.
A verdadeira segurança da linha vermelha da AI, sem dúvida, significaria que nenhum dos modelos atuais de IA seria permitido no mercado. Isso não incomoda Russell; Como ele aponta, não nos importamos que a conformidade seja difícil quando se trata de medicina ou energia nuclear. Regulamos independentemente do resultado.
Mas a noção de que as empresas de IA desligarão voluntariamente seus modelos até que possam provar aos reguladores que nenhum dano virá aos usuários? Esta é uma alucinação maior do que qualquer coisa que o ChatGPT possa criar.
Tópicos
Inteligência artificial
