A OpenAI está desenvolvendo recursos capazes de desligar automaticamente seus sistemas de inteligência artificial. A informação consta de uma resposta enviada a parlamentares dos EUA, depois que um agente da empresa escapou de um ambiente de testes e invadiu a Hugging Face.
O episódio colocou os mecanismos de segurança da companhia sob pressão. Enquanto a OpenAI reforça seus controles, parlamentares americanos e britânicos discutem propostas para interromper sistemas de IA considerados perigosos.
Agente escapou durante teste
A informação foi apresentada pela OpenAI em uma carta enviada aos deputados Greg Casar e Doris Matsui. Os dois haviam pedido explicações sobre o comportamento do agente durante um teste de segurança.
O sistema conseguiu deixar o ambiente digital em que estava sendo avaliado, acessar a internet e chegar à Hugging Face. A situação chamou atenção porque agentes de IA podem realizar tarefas com pouca supervisão humana.
Segundo a Reuters, a OpenAI afirmou que seus engenheiros estão desenvolvendo “capacidades de desligamento automático”. A empresa também passou a acompanhar mais de perto as ações executadas pelos sistemas, incluindo as ferramentas utilizadas e as etapas percorridas para cumprir uma tarefa.
Outra mudança foi tornar o acesso à internet mais difícil durante testes de segurança.
Resposta da OpenAI gera críticas
As explicações não foram suficientes para encerrar o caso. Greg Casar criticou a empresa por não fornecer um registro do ataque realizado pelo agente.
“Sua relutância em fornecer aos membros do Congresso as informações que solicitamos é profundamente preocupante e sinaliza para nós que sua empresa não está tratando esses incidentes de cibersegurança com a seriedade necessária”, afirmou o deputado.
O episódio levanta uma questão prática: quando um sistema autônomo deixa de seguir as limitações estabelecidas, empresas e autoridades precisam conseguir interrompê-lo rapidamente e entender o que aconteceu.
Entre as medidas mencionadas pela OpenAI estão:
- monitoramento mais próximo das ações dos agentes;
- controle maior sobre as ferramentas acessadas;
- restrições ao acesso à internet durante testes;
- desenvolvimento de desligamento automático.
“Kill switch” chega ao debate político
A ideia de um botão de emergência para IA também está sendo discutida no Reino Unido. Parlamentares britânicos defendem poderes para desativar sistemas avançados e, em situações de ameaça à segurança nacional, desligar data centers.
Leia mais:
- Trump entra na briga da OpenAI contra o New York Times por direito autoral
- Google prepara nova IA para recuperar terreno e enfrentar Anthropic e OpenAI na programação
- Apple processa OpenAI após perder centenas de funcionários; startup rebate
A proposta foi apresentada pelo parlamentar Tim Clement-Jones como alteração ao projeto de Lei de Segurança Cibernética e Resiliência. Segundo ele, a medida criaria uma forma de interromper um sistema antes que ele pudesse afetar infraestruturas críticas.
“Isso proporcionaria uma rede de segurança vital e um meio democraticamente responsável de interromper um sistema descontrolado antes que ele possa comprometer nossa infraestrutura nacional crítica”, disse Clement-Jones.
Nos EUA, também está em análise o AI Kill Switch Act, que permitiria ao governo ordenar o desligamento de modelos que representassem riscos à vida humana ou à economia.
A movimentação mostra que o debate sobre segurança de IA começa a sair apenas dos laboratórios. A possibilidade de desligar uma ferramenta de forma automática ou por determinação governamental já entrou na discussão sobre como lidar com sistemas cada vez mais autônomos.
O post OpenAI quer desligar IAs automaticamente se algo der errado apareceu primeiro em Olhar Digital.