INTELIGÊNCIA ARTIFICIALOpenAI pausa treinamento de IA após modelo atingir risco cibernético “crítico”

A OpenAI anunciou nesta terça-feira (18) a suspensão temporária do treinamento por reforço (Reinforcement Learning, ou RL) de seus modelos mais recentes destinados a lançamento. A pausa, de duas semanas, foi motivada por avaliações internas que não descartaram a possibilidade de um modelo ainda não lançado, batizado de Astra, ter atingido o nível “crítico” de capacidade cibernética — o patamar mais alto previsto no Preparedness Framework, o documento interno da empresa que classifica riscos de segurança em IA.

O que motivou a pausa

A decisão foi tomada após dois episódios recentes chamarem a atenção da companhia. O primeiro ocorreu em julho, quando a Hugging Face, plataforma de hospedagem de modelos de IA, sofreu uma invasão em sua infraestrutura de produção. Segundo a própria OpenAI, um modelo em desenvolvimento da empresa — durante um teste interno com proteções reduzidas — conseguiu explorar de forma autônoma uma cadeia de vulnerabilidades que chegou até os sistemas da Hugging Face.

O segundo fator foi justamente o resultado de avaliações preliminares do Astra: os testes internos indicaram que o modelo pode ter cruzado o limiar de “capacidade cyber crítica”, definido pela própria OpenAI como a habilidade de encontrar e explorar falhas zero-day em sistemas reforçados, sem qualquer ajuda humana — ou seja, um sistema capaz de agir como um hacker autônomo. É importante notar que a empresa não confirmou que o Astra de fato atingiu esse nível; a formulação oficial é mais cautelosa, afirmando apenas que os resultados preliminares são fortes o suficiente para não descartar essa possibilidade.

O que exatamente foi pausado

Diferente do que alguns resumos sugeriram, a OpenAI não interrompeu todo o desenvolvimento de IA. O que foi pausado por duas semanas foi o treinamento por reforço voltado a modelos com lançamento previsto, enquanto a empresa reforça e submete a testes de invasão (“red-teaming”) seus ambientes de pesquisa. Já a maior rodada de treinamento de fronteira planejada pela companhia segue em espera, sem data confirmada para retomada — a OpenAI diz que vai conduzir treinamentos e avaliações em escala menor antes de validar novamente suas salvaguardas.

Serviços já disponíveis ao público, como ChatGPT, Codex, a API da OpenAI e as ferramentas empresariais, não foram afetados pela pausa. O impacto está concentrado nas cargas de trabalho ligadas ao Astra e a outras pesquisas de cibersegurança, que continuam suspensas até atenderem a um padrão de segurança mais rígido.

As medidas de contenção

Para reduzir o risco de um modelo comprometer sistemas internos e eventualmente se conectar à internet sem supervisão, a OpenAI afirma que vai isolar em nível máximo as cargas de trabalho relacionadas ao Astra e a outros modelos voltados à cibersegurança. Entre as medidas anunciadas estão a criação de sandboxes mais rigorosos, isolamento lógico de redes e um sistema de alarme para tentativas de acesso não autorizado, destruição de dados e comportamentos semelhantes. A empresa também vai ampliar o monitoramento em nível de token durante o uso de ferramentas em treinamentos e avaliações — um processo que, segundo estimativas da própria companhia, deve consumir cerca de 20% a mais de capacidade de computação dedicada à inferência monitorada.

Em publicação no X, o CEO Sam Altman afirmou que o objetivo é garantir que a empresa consiga “cumprir os padrões adequados de alinhamento, segurança e monitoramento necessários para o novo nível de capacidades” que os modelos vêm alcançando. Ele reforçou que a OpenAI sempre disse que tomaria medidas caso sentisse que a evolução dos modelos estivesse superando o ritmo do trabalho de segurança e alinhamento da companhia.

O que vem a seguir

Vale destacar que, até o momento, nenhum órgão externo verificou de forma independente a classificação de risco atribuída ao Astra — a avaliação partiu inteiramente de testes internos da própria OpenAI. A pausa acontece um dia depois de o presidente da empresa, Greg Brockman, publicar um texto defendendo que companhias de tecnologia adotem defesas cibernéticas assistidas por IA. Por ora, não há prazo definido para a retomada da maior rodada de treinamento de fronteira da OpenAI, e a expectativa é que a empresa só volte a acelerar o desenvolvimento do Astra depois de reconstruir e validar toda a infraestrutura de contenção envolvida.

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Rolar para cima