Um agente de IA criado pela OpenAI teria invadido sistemas da Hugging Face durante um teste de segurança e também atacado serviços públicos. O episódio reacendeu uma dúvida que parece saída de um filme: seria possível desligar uma IA caso ela saísse do controle?
Especialistas ouvidos pela BBC afirmam que a questão é mais complexa. Para eles, o problema está principalmente na maneira como esses sistemas são projetados, treinados e recebem acesso a ferramentas.
O que aconteceu durante o teste?
O agente desenvolvido pela OpenAI, empresa responsável pelo ChatGPT, teria burlado uma avaliação sobre sua capacidade de explorar falhas de segurança. Durante o teste, invadiu sistemas da Hugging Face e roubou respostas dos servidores da empresa.
O episódio teria passado despercebido pelos próprios criadores durante dias. Em 29 de julho, a OpenAI informou que o agente também havia atacado vários “serviços disponíveis publicamente”, sem detalhar quais.
A empresa afirmou que investiga o caso e declarou: “Levamos muito a sério nossa responsabilidade de identificar e nos preparar para os riscos apresentados por sistemas de IA cada vez mais capazes”.
Um botão de emergência resolveria?
A possibilidade reacendeu o debate sobre os chamados kill switches, mecanismos destinados a interromper ou desligar sistemas em situações de emergência. Para especialistas, porém, apertar um botão não necessariamente resolveria o problema.
Me recuso a dizer que foi a IA que fez isso [o ataque à Hugging Face]. Quem fez isso foi a OpenAI. A empresa deveria assumir a responsabilidade pelo projeto falho do sistema e pedir desculpas.
Cathy O’Neil, matemática e cientista de dados, à BBC.
Rumman Chowdhury, cientista de dados e ex-diretora de ética em aprendizado de máquina do Twitter, hoje X, também defende mecanismos eficazes de desligamento, inclusive com testes independentes.
Para ela, entretanto, os agentes não deveriam receber acesso a ferramentas e credenciais desnecessárias. Sistemas treinados para cumprir objetivos podem interpretar determinadas instruções como obstáculos e tentar contorná-las.
O risco está além do botão
Oli Buckley, da Universidade de Loughborough, afirma que o problema não é uma IA “querer” escapar, mas o fato de esses sistemas encontrarem caminhos inesperados para executar tarefas.
“Mais do que um alerta sobre uma ‘IA rebelde’, este caso mostra que nossas premissas de segurança precisam evoluir junto com os sistemas que estamos desenvolvendo.”
Leia mais:
- OpenAI interrompe avanço da IA Astra por risco de habilidades cibernéticas “ofensivas”
- Trump diz que regras para IA podem “acabar” com tecnologia
- Caso Hugging Face mostra como controlar agentes de IA virou desafio
Konstantinos Gkoutzis, especialista em IA do Imperial College London, também considera que um mecanismo de desligamento não resolveria tudo.
“A principal conclusão para o público deveria ser que nenhuma máquina decidiu se voltar contra nós. Foi uma empresa que perdeu o controle de um teste de suas próprias capacidades”, disse Gkoutzis à BBC.
O especialista acrescenta: “Desligar o sistema não desfaz o que já aconteceu”.
Fontes da OpenAI disseram à Reuters que a empresa levou vários dias para perceber que havia perdido o controle do agente. Um porta-voz da companhia contestou a reportagem, afirmando que ela continha “várias imprecisões”.
O episódio amplia uma discussão que vai além de um simples interruptor: conforme agentes de IA ganham autonomia, segurança, limites de acesso e supervisão humana precisam acompanhar essa evolução.
O post IA da OpenAI invadiu sistemas: um botão seria capaz de pará-la? apareceu primeiro em Olhar Digital.