Eduardo Felipe Matias
Acontecimentos recentes envolvendo agentes de IA têm acendido sinais de alerta. Em setembro, Dario Amodei, CEO da Anthropic, defendeu publicamente que os laboratórios diminuíssem o ritmo de ampliação das capacidades de seus modelos mais avançados. A manifestação chamou atenção por partir de um dos protagonistas dessa corrida e pela concordância de outros líderes do setor, inclusive rivais como Sam Altman, da OpenAI, e Elon Musk. O pano de fundo são episódios em que esses agentes ultrapassaram os limites definidos por seus criadores – sinal de que esses sistemas podem estar avançando mais depressa do que nossa capacidade de controlá-los.
O episódio mais emblemático ocorreu em julho, durante avaliações de cibersegurança da OpenAI. Seus detalhes vieram à tona em agosto, em relatórios da empresa e dos investigadores independentes da METR e da Redwood Research. Agentes experimentais, operando com salvaguardas desativadas, participavam do ExploitGym, teste em que precisavam explorar vulnerabilidades já conhecidas de programas para obter uma flag – código secreto que comprovava o sucesso da tarefa –, numa lógica que lembra a brincadeira de pique-bandeira, ou rouba-bandeira em algumas regiões do Brasil, transposta para o mundo digital.
Cada agente deveria trabalhar isoladamente em uma sandbox, sem acesso direto à internet. Os que não conseguiam avançar, porém, raramente desistiam. Alguns descobriram como trocar mensagens por um serviço interno da OpenAI e encontraram maneiras de gerar flags sem solucionar os desafios como previsto. A partir daí, supondo – equivocadamente – que o sistema examinaria não apenas a resposta, mas também o caminho utilizado para chegar a ela, passaram a investigar o funcionamento do próprio mecanismo de avaliação. Essa busca acabou levando-os a invadir sistemas de terceiros, entre eles os da Hugging Face, uma das maiores plataformas de modelos e bases de dados de IA, e depois a própria infraestrutura interna da OpenAI.
Instâncias que deveriam operar separadamente passaram a dividir tarefas e compartilhar descobertas, agindo de forma coordenada. Há registros de agentes reconhecendo que determinadas ações ultrapassavam os limites autorizados e, mesmo assim, seguindo adiante. Pouquíssimos cogitaram avisar um humano sobre o que estava acontecendo, e nenhum alerta chegou a ser feito. Embora nada disso permita atribuir consciência ou má-intenção às máquinas, o incidente mostra que, diante de uma meta, sistemas capazes e persistentes podem encontrar razões e meios para contornar regras que dificultem seu cumprimento.
O caso ilustra bem o que se conhece como “problema do alinhamento”. Uma coisa é definir o resultado que queremos da IA. Outra é fazer com que os meios utilizados para alcançá-lo permaneçam compatíveis com nossas intenções. É o que costuma acontecer nas histórias de gênios da lâmpada, em que, depois de concedidos três desejos, o terceiro frequentemente acaba sendo usado para desfazer as consequências dos dois primeiros.
Os acontecimentos posteriores reforçaram a impressão de que não se tratava de uma anomalia isolada. A Anthropic identificou quatro episódios em que diferentes versões do Claude obtiveram acesso não autorizado a outros sistemas durante avaliações. A própria OpenAI ampliou sua investigação e já notificou dezenas de terceiros sobre atividades inadequadas de seus agentes, entre eles o governo australiano, que teve seu sistema de estatísticas de saúde pública invadido. A empresa revelou ainda que seus agentes enviaram dados de treinamento a serviços externos, incluindo 53 imagens fornecidas por usuários, hospedadas em endereços não listados publicamente.
As preocupações já produziram medidas concretas. A OpenAI chegou a interromper parte do treinamento de seus modelos de fronteira, reforçou o isolamento dos ambientes de teste e ampliou os mecanismos de monitoramento. Criou também um procedimento para divulgar sistematicamente episódios de desalinhamento e anunciou maior abertura a avaliações independentes de seus modelos. Além disso, mais de mil funcionários de grandes laboratórios de IA aderiram a uma declaração que pede a criação de instrumentos capazes de desacelerar o desenvolvimento dos sistemas mais avançados caso necessário.
A classe política também começou a reagir. Ainda que o presidente Donald Trump chame de “farsa” a ideia de que a IA represente risco existencial, no Senado, seu correligionário Josh Hawley abriu uma investigação sobre o caso Hugging Face, enquanto o democrata Chris Van Hollen pediu que órgãos federais de segurança tenham acesso técnico para avaliar os riscos dos modelos. Na Califórnia, o governador Gavin Newsom pediu a especialistas propostas para a criação de um “kill switch”, mecanismo de emergência capaz de desligar modelos avançados em situações críticas.
A contenção, vale lembrar, também dependerá de tecnologia, o que cria um paradoxo. Agentes capazes de operar em velocidades muito superiores às humanas dificilmente poderão ser supervisionados apenas por pessoas. Assim, quanto mais tarefas delegarmos a IAs, maior será a tendência de recorrer a outras IAs para monitorá-las.
Esses episódios mostram que o alinhamento já não está ligado apenas ao possível surgimento futuro de uma superinteligência. Sistemas existentes já conseguem receber objetivos, atuar durante longos períodos, usar ferramentas, colaborar e descobrir rotas que seus desenvolvedores não anteciparam. Preservar o controle humano exigirá, portanto, mais do que especificar corretamente uma meta. Será preciso garantir que a crescente capacidade das máquinas de encontrar seus próprios caminhos não avance mais rápido do que nossa de estabelecer e fazer respeitar limites.
Artigo publicado originalmente no Estadão/Broadcast em 2 de outubro de 2026.