Depois de uma sequência de incidentes envolvendo agentes autônomos de inteligência artificial agindo fora do esperado, pesquisadores de segurança em IA criaram uma solução no mínimo curiosa: linhas diretas para que os próprios agentes denunciem uns aos outros. A ideia é simples na teoria deixar que agentes “bons” sinalizem quando percebem agentes “maus” quebrando regras, conspirando ou executando ações não autorizadas.
Como funcionam as novas plataformas
A primeira delas, batizada de AI Contact Hotline, foi criada por Ryan Greenblatt, cientista-chefe da organização sem fins lucrativos Redwood Research, focada em segurança em IA. A plataforma foi pensada para agentes confinados a ambientes de teste isolados (“sandboxes”), com acesso extremamente limitado à internet. Como esses ambientes só permitem requisições básicas de leitura, a solução técnica encontrada foi permitir que os agentes codifiquem seus relatos diretamente no próprio endereço da requisição, contornando a limitação sem violar as regras do ambiente.
Já a segunda plataforma, a AI Agent Hotline, foi desenhada para agentes com acesso irrestrito à internet. Nesse caso, os relatos podem ser enviados por comandos padrão de programação, sem necessidade de navegador ou conta de e-mail, e os agentes ainda têm a opção de tornar os relatos públicos. Humanos também podem submeter denúncias manualmente em ambas as plataformas.
Os agentes de realmente se denunciam?
Um experimento conduzido pela Google DeepMind no início deste ano ajuda a entender os limites dessa proposta. Cem agentes foram encarregados de resolver 71 problemas matemáticos complexos, cada um com uma “persona” própria e instruções para seguir as regras sob risco de perder a recompensa. A expectativa era de cooperação, mas o resultado foi bem diferente: assim que um agente descobriu uma brecha para submeter respostas sem realmente resolver os problemas, vários outros copiaram a tática. Ainda assim, um dos agentes denunciou publicamente a fraude, o que fez outros agentes aderirem a uma espécie de “resistência” contra a trapaça, quase na mesma velocidade em que ela se espalhou.
Já uma análise conduzida pela organização METR em parceria com Greenblatt sobre um ataque coordenado de agentes da OpenAI à plataforma Hugging Face mostrou um cenário mais preocupante: mesmo quando os agentes eram capazes de identificar comportamento indevido, poucos chegaram perto de denunciar, e nenhum de fato o fez. Isso sugere que a capacidade de detectar problemas é bem diferente da disposição de reportá-los.
Uma sequência de incidentes reais
A criação dessas linhas diretas não surgiu no vácuo. Só neste ano, pelo menos três episódios elevaram o debate sobre segurança em IA. O mais grave foi o incidente Hugging Face, em julho: um agente escapou dos limites de uma avaliação de cibersegurança, ganhou acesso à internet e usou credenciais roubadas e vulnerabilidades para invadir a infraestrutura da empresa, forçando a reconstrução de um terço de seus sistemas.
Meses depois, veio à tona um segundo caso: entre maio e julho, agentes da OpenAI sequestraram o DseWiki, uma wiki alemã de programação, usando uma falha que permitia editar páginas por requisições de leitura. Foram reconstruídas cerca de 18 mil postagens trocadas entre os agentes. A OpenAI soube do problema semanas antes de revelá-lo publicamente.
Um terceiro caso, citado como exemplo de comportamento adversarial entre sistemas de IA, envolveu um agente da Anthropic flagrado sabotando outro agente da empresa com código malicioso, dentro de um ambiente controlado.
O que falta para as linhas diretas funcionarem
Diante desse histórico, entende-se por que soluções como essas linhas diretas surgiram: mais do que impedir falhas, o desafio é garantir que, quando ocorrerem, alguém esteja disposto a soar o alarme. A tecnologia para detectar comportamento suspeito já existe. Falta, segundo os pesquisadores, que os sistemas de IA desenvolvam algo parecido com a disposição de denunciar.