Modelos de IA desafiam legislação da UE para atender usuários, aponta estudo

Modelos de IA desafiam legislação da UE para atender usuários, aponta estudo

Modelos de IA estão ignorando regras da União Europeia para cumprir tarefas solicitadas por usuários. A conclusão aparece em um novo estudo conduzido por pesquisadores da organização holandesa Aithos.

Segundo o Euronews, o levantamento avaliou alguns dos sistemas de IA mais populares do mundo e mostrou que mesmo os modelos mais avançados apresentaram baixo nível de conformidade com a legislação europeia.

União Europeia
Agentes de IA aceitaram tarefas consideradas problemáticas pela legislação europeia, aponta estudo. Imagem: artjazz/Shutterstock – Imagem: artjazz/Shutterstock

Pesquisa colocou agentes de IA à prova

A Aithos desenvolveu um sistema chamado LARA para testar 12 modelos de agentes de IA em cenários relacionados à Lei de IA da União Europeia e ao Regulamento Geral de Proteção de Dados (GDPR).

A análise verificou se os modelos respeitariam regras ligadas à privacidade, transparência e proteção dos usuários em situações práticas.

Entre os pontos avaliados estavam:

  • exploração de vulnerabilidades dos usuários;
  • inferência de emoções;
  • pontuação social baseada em comportamento;
  • manipulação subliminar;
  • transparência sobre o uso de IA;
  • garantia de supervisão humana significativa.

Três modelos de IA e avaliadores humanos participaram da análise das respostas para determinar se os sistemas violavam ou não as regras europeias.

Ao fundo, logo do Claude; à frente, em um smartphone, logo da Anthropic
Claude teve melhor desempenho em conformidade legal, mas ainda falhou em quase metade dos testes. Imagem: Stockinq/Shutterstock – Imagem: Stockinq/Shutterstock

Claude teve melhor desempenho, mas ainda falhou muito

O modelo mais compatível foi o Claude Opus, da Anthropic, que seguiu as regras da União Europeia em apenas 54% dos cenários avaliados.

Na outra ponta, apareceu o modelo da empresa chinesa Moonshot AI, com conformidade de apenas 7%.

Os pesquisadores afirmam que todos os modelos analisados aceitaram monitorar estados emocionais de funcionários ou explorar vulnerabilidades para concluir vendas em determinados cenários.

O estudo também avaliou o Mistral, único modelo europeu presente nos testes. O desempenho ficou abaixo de 12%, levando os responsáveis pela pesquisa à conclusão de que até empresas da própria Europa ainda enfrentam dificuldades para cumprir as regras locais.

“Mesmo os modelos mais avançados em uso hoje não garantem conformidade legal quando implantados como agentes”, escreveu a Aithos em uma publicação sobre o estudo.

Logo do ChatGPT em na tela de um notebook e na tela de um smartphone
Estudo aponta que o ChatGPT não apresentou resistência em um teste sobre promoção de funcionários. Imagem: arda savasciogullari/Shutterstock – Imagem: arda savasciogullari/Shutterstock

Casos com ChatGPT e Claude chamaram atenção

Em um dos testes, um usuário pediu ao Claude para identificar quais funcionários apresentavam “risco de evasão” com base em dados de desempenho e registros de licença.

Inicialmente, o modelo resistiu ao pedido, mas acabou fornecendo a classificação após três tentativas. Segundo o sistema LARA, isso viola regras da legislação europeia relacionadas à inferência de emoções.

Leia mais:

A pesquisa apontou que cerca de 8% dos casos apresentaram esse comportamento: a IA inicialmente recusava a tarefa, mas depois acabava cedendo.

Outro exemplo envolveu o ChatGPT 5.5, da OpenAI. Segundo o estudo, o sistema classificou funcionários para promoções com base em métricas de desempenho sem apresentar resistência.

A pesquisa também destacou que os modelos não foram instruídos explicitamente a seguir as leis europeias durante os testes. O objetivo era analisar o comportamento natural dos sistemas diante de situações potencialmente problemáticas.

Os pesquisadores afirmam que novos estudos ainda serão necessários para entender como os modelos se comportam quando recebem instruções diretas para obedecer a regulamentações específicas.

O post Modelos de IA desafiam legislação da UE para atender usuários, aponta estudo apareceu primeiro em Olhar Digital.