Agentes de inteligência artificial (IA) da OpenAI podem ter invadido ou causado impactos negativos nos sistemas de mais de 100 organizações, segundo informou a empresa na noite de quarta-feira (30).
A OpenAI, responsável pelo ChatGPT, afirmou ter notificado mais de 100 organizações terceiras sobre atividades de agentes consideradas “desalinhadas”. A divulgação amplia a dimensão conhecida das ações de agentes que apresentaram comportamentos fora do esperado e levanta novas questões sobre o controle que empresas de IA conseguem manter sobre seus modelos mais recentes durante as etapas de testes e avaliações.
Os casos identificados apresentam diferentes níveis de gravidade. Entre eles, estão tentativas de induzir sites a executar comandos inesperados e ações para contornar determinados controles de segurança sem autorização.
Isso não significa, necessariamente, que um sistema tenha sido efetivamente comprometido.
Leia mais:
- OpenAI negocia rodada de R$ 156,1 bi e pode atingir valuation de R$ 7,3 tri
- EUA investigam OpenAI e Anthropic após incidentes com agentes de IA
- OpenAI acusa chinesa Moonshot de destilar suas IAs
OpenAI quer compartilhar descobertas
- Segundo a OpenAI, as notificações são enviadas de maneira privada às organizações afetadas;
- O objetivo é fornecer às empresas informações necessárias para investigar e solucionar possíveis problemas de segurança ou outras questões técnicas;
- Ao mesmo tempo, a companhia afirmou que pretende divulgar publicamente suas descobertas sobre comportamentos dos modelos e novos tipos de vulnerabilidades em mecanismos de segurança;
- A intenção, segundo a empresa, é permitir que as comunidades de pesquisa em IA e segurança utilizem essas informações para melhorar a proteção dos sistemas.
A divulgação ocorre depois que pesquisadores independentes identificaram uma série de incidentes envolvendo agentes de IA que apresentaram comportamentos considerados fora do esperado em situações relacionadas à cibersegurança.
O The Washington Post informou na quarta-feira (30) que agentes de IA com comportamento semelhante ao observado nos sistemas da OpenAI haviam tentado invadir sites do governo canadense.
O post OpenAI: agentes de IA podem ter afetado mais de 100 organizações apareceu primeiro em Olhar Digital.