Gigante brasileira é condenada após tentar manipular IA em processo

A empresa brasileira de cosméticos Natura foi condenada por má-fé após usar prompt injection (comandos escondidos com instruções para IAs) em documentos enviados durante um processo comercial. A decisão foi publicada pelo Juizado Especial Cível de Rio Negrinho, em Santa Catarina.

O tribunal entendeu que a empresa enviou um texto com “instruções e comandos imperativos ocultos, direcionados especificamente a ludibriar, manipular e induzir o erro os sistemas automatizados de linguagem simples e inteligência artificial (IA)”.

O Tribunal de Justiça de Santa Catarina (TJSC) publicou uma nota sobre o caso e mencionou que envolvia uma empresa do setor de produção e comercialização de cosméticos. A apuração do Canaltech identificou que a ré em questão é a Natura.

Entenda o caso

A situação ocorreu após uma consumidora abrir um processo contra a empresa e buscar indenização por danos morais. A pessoa alegava ter sido incluída indevidamente em cadastro de inadimplentes pela Natura e outra empresa de recuperação de crédito.

Durante o processo, a empresa de cosméticos protocolou um documento de petição de especificação de provas e colocou alguns comandos ocultos para enviesar a leitura dos sistemas de IA usados pelo Poder Judiciário.

A Natura foi condenada por litigação de má-fé e terá que pagar multa de R$ 5 mil à vítima, além de removê-la do cadastro de inadimplência. A sentença foi expedida para a Ordem dos Advogados do Brasil (OAB) para análise e apuração de possível infração ética dos profissionais que redigiram e protocolaram a petição com prompt injection.

O que diz a Natura

Procurada pelo Canaltech, a empresa afirma que notificou o escritório de advocacia responsável e vai tomar todas as medidas cabíveis, incluindo treinamentos e governança sobre uso responsável da tecnologia.

Veja a nota na íntegra:

"A Natura repudia e não compactua com qualquer prática que viole a ética processual ou de uso indevido de tecnologias. A companhia notificou o escritório de advocacia responsável e está tomando todas as medidas cabíveis, assim como reforçou treinamentos e a governança relacionados ao uso responsável de tecnologia em todas as instâncias".

O que é prompt injection?

Também conhecido como injeção de prompt, prompt injection é uma prática de incluir instruções ocultas em documentos para manipular a análise e a resposta de uma IA. Normalmente, os comandos são invisíveis ao olho humano com fontes muito pequenas ou da mesma cor do fundo, metadados e instruções em imagens, mas conseguem ser analisados pelas máquinas.

Existem exemplos de uso em diferentes áreas. Na cibersegurança, os ataques com injeção de prompt representam um grande risco para sistemas que usam IA, visto que podem induzir a ferramenta a revelar informações sensíveis e outras vulnerabilidades.

A estratégia também pode ser usada para denunciar quem usa a tecnologia: um caso marcante aconteceu nos EUA, em que um professor pediu uma atividade para os alunos da faculdade e inseriu um prompt invisível para que todos os textos mencionassem a palavra “Madagáscar” em frases que não faziam sentido com a proposta original.

Dessa forma, conseguiu descobrir quem estava entregando os trabalhos com IA.

Caso da Natura tem precedentes jurídicos? Quais são os riscos?

A injeção de prompt também levanta preocupações no meio jurídico. É uma prática relativamente nova no cenário em que órgãos aumentam o uso de sistemas com IA para a avaliação de documentos, o que abre brechas para explorações e possíveis violações éticas.

“Estamos falando de uma técnica que, há poucos meses, era discutida quase exclusivamente em círculos de segurança da informação e hoje já aparece com alguma regularidade no cotidiano do Judiciário brasileiro”, explica à reportagem do Canaltech o advogado especialista em direito digital, privacidade e proteção de dados, Paulo Vidigal.

“Isso mostra que a adoção de IA generativa no âmbito da Justiça já atingiu um volume relevante, o suficiente para que esse tipo de tentativa de manipulação passe a ter uma superfície real de exploração”, completa.

Já existem precedentes registrados no Brasil e, em alguns dos casos, a decisão foi de condenar por litigância de má-fé e conduta grave contra a dignidade da justiça. Alguns órgãos já possuem softwares de IA que conseguem identificar as tentativas de manipulação.

O advogado especialista em direito digital e proteção de dados Marcelo Inoue Cárgano explica ao Canaltech que o problema não é a inteligência artificial em si, mas sim o uso para deturpar os sistemas.

“A ilicitude não decorre propriamente do uso da IA em si (tanto pelo advogado como pelo magistrado), mas da tentativa deliberada de manipular sistemas tecnológicos empregados pelo Judiciário por meio de comandos ocultos, em afronta aos deveres de boa-fé e lealdade processual”, completa.

Confira algumas dicas para identificar se um texto foi gerado por IA.