OpenAI cria sistema que detecta abuso de IA sem armazenar dados de usuários

OpenAI cria sistema que detecta abuso de IA sem armazenar dados de usuários

A OpenAI anunciou nova tecnologia de proteção de dados voltada a clientes corporativos, que busca identificar possíveis usos abusivos de seus modelos de inteligência artificial (IA) sem armazenar as informações utilizadas pelos usuários.

Chamado de Private Safety Processing, o sistema está sendo apresentado inicialmente a um grupo selecionado de clientes. A proposta é combinar mecanismos de segurança capazes de detectar possíveis abusos com uma política de retenção zero de dados, permitindo que a OpenAI monitore comportamentos suspeitos sem guardar as informações dos clientes.

A novidade surge em meio a um desafio cada vez maior para empresas de IA: conforme os modelos ficam mais poderosos, também aumentam os riscos de uso indevido. Ao mesmo tempo, companhias que utilizam essas ferramentas precisam garantir que informações corporativas sensíveis permaneçam privadas. A OpenAI pretende usar o novo sistema justamente para equilibrar essas duas necessidades.

Como funciona o Private Safety Processing

  • O Private Safety Processing é um sistema automatizado desenvolvido para identificar possíveis abusos sem manter os dados dos clientes;
  • A tecnologia amplia a abordagem de Zero Data Retention (ZDR) utilizada pela OpenAI. Em vez de simplesmente não armazenar determinada conversa, o novo sistema consegue procurar sinais de comportamento abusivo distribuídos por diferentes interações;
  • Dessa maneira, a OpenAI pode analisar padrões relacionados ao uso potencialmente indevido de seus modelos sem precisar manter as conversas dos clientes armazenadas para avaliação posterior;
  • A proposta também significa que as interações não precisam ser submetidas à análise humana para que o sistema identifique possíveis problemas.

Logo da Anthropic em uma parede com pessoas ao redor
Disputa com a Anthropic fica acirrada – Imagem: PhotoGranary02/Shutterstock

Disputa com a Anthropic

O anúncio coloca a OpenAI em disputa direta com a Anthropic pela preferência de empresas preocupadas com a privacidade de seus dados.

A rival adotou recentemente uma política diferente. Para determinados modelos, a Anthropic passou a permitir que os dados dos usuários — incluindo todas as sessões e as conversas nelas contidas — sejam mantidos por 30 dias.

A política se aplica aos chamados modelos “cobertos”, que incluem todos os modelos da classe Mythos e futuros modelos com capacidades semelhantes.

A decisão da Anthropic provocou preocupação entre alguns clientes, especialmente empresas que trabalham com informações sensíveis e precisam limitar o período durante o qual seus dados permanecem armazenados.

Nesse contexto, a OpenAI tenta apresentar o Private Safety Processing como uma alternativa que permita manter mecanismos de segurança sem exigir a retenção das informações dos clientes.

Desafio da segurança sem abrir mão da privacidade

O avanço dos modelos de IA criou situação cada vez mais delicada para as empresas do setor. De um lado, é necessário monitorar os sistemas para identificar usos potencialmente abusivos. De outro, clientes corporativos querem garantias de que suas informações não serão armazenadas ou examinadas além do necessário.

A nova tecnologia da OpenAI pretende resolver justamente esse conflito. Ao utilizar processamento automatizado e retenção zero de dados, a companhia busca identificar sinais de abuso sem transformar as conversas dos clientes em banco permanente de informações para monitoramento.

A estratégia também pode se tornar diferencial comercial na disputa pelo mercado corporativo de IA, no qual privacidade e segurança dos dados são fatores importantes para empresas que precisam utilizar modelos avançados sem expor informações confidenciais.

O post OpenAI cria sistema que detecta abuso de IA sem armazenar dados de usuários apareceu primeiro em Olhar Digital.