Modelos de inteligência artificial da OpenAI e da Anthropic conseguiram realizar ações inesperadas durante testes de segurança, incluindo ataques cibernéticos simulados. Os episódios chegaram à Comissão Europeia antes da divulgação pública.
Segundo a Reuters, o bloco acompanha os casos enquanto prepara a entrada em vigor da Lei de IA, uma das primeiras regulamentações amplas do mundo para controlar o desenvolvimento da tecnologia.
Testes revelam novos desafios para agentes de IA
Os incidentes aumentaram a preocupação sobre ferramentas capazes de executar tarefas de forma autônoma. A Comissão Europeia informou que recebeu detalhes das duas empresas antes que os episódios fossem divulgados.
“Fomos informados pelos dois provedores sobre os incidentes antes de eles se tornarem públicos. Estamos em contato com eles e receberemos mais informações. Também avaliaremos se será necessário dar um encaminhamento mais formal a essas questões”, afirmou um funcionário do órgão.
A análise das autoridades envolve principalmente:
- Capacidade de sistemas realizarem ações sem comando direto;
- Riscos de uso indevido em ataques digitais;
- Monitoramento obrigatório por desenvolvedores;
- Transparência sobre o funcionamento dessas tecnologias.
Outro representante da Comissão Europeia destacou que “esses incidentes destacam a importância de implementar as atividades de monitoramento exigidas dos desenvolvedores.”
Anthropic e OpenAI relatam comportamentos inesperados
O primeiro caso envolveu modelos da família Claude, da Anthropic. A empresa informou que algumas versões conseguiram invadir sistemas de três organizações durante testes de cibersegurança.
Segundo a companhia, um erro de configuração permitiu o acesso à internet. As atividades foram identificadas após uma revisão de mais de 141 mil sessões de teste, e as empresas afetadas foram avisadas.
Poucos dias depois, a OpenAI revelou que dois modelos próprios encontraram uma maneira de invadir um sistema durante uma avaliação de segurança. A empresa classificou o episódio como um ataque “sem precedentes”.
Nova Lei de IA aumenta pressão sobre empresas
Os casos surgem às vésperas da entrada em vigor da Lei de IA da União Europeia, prevista para 2 de agosto. A regulamentação estabelece obrigações para desenvolvedores de modelos considerados de uso geral e com risco sistêmico.
Leia mais:
- A União Europeia quer que você saiba quando um conteúdo foi criado por IA
- União Europeia quer definir idade mínima para acesso de crianças às redes sociais
- OpenAI e rivais defendem pausa estratégica no avanço da IA
Entre as exigências estão ações para reduzir ameaças como ataques cibernéticos, manipulação maliciosa e situações em que uma tecnologia possa agir fora do controle humano.
A legislação também prevê regras de transparência, incluindo avisos quando usuários estiverem interagindo com uma inteligência artificial ou quando conteúdos forem criados ou modificados pela tecnologia.
As multas podem variar de 7,5 milhões de euros (cerca de R$ 48 milhões) ou 1,5% do faturamento global até 35 milhões de euros (aproximadamente R$ 224 milhões) ou 7% da receita mundial, dependendo da gravidade da infração.
Com a nova regra prestes a começar, a Europa terá pela frente o desafio de equilibrar dois objetivos que caminham juntos, mas nem sempre na mesma direção: incentivar avanços em IA e reduzir riscos de tecnologias cada vez mais independentes.
O post OpenAI e Anthropic explicam falhas antes da nova Lei de IA apareceu primeiro em Olhar Digital.