Uma nova ferramenta em desenvolvimento na Nova Zelândia pretende identificar sinais de extremismo violento em usuários do ChatGPT e encaminhá-los a serviços de apoio especializados. A proposta combina inteligência artificial com atendimento humano para reduzir riscos de violência.
A iniciativa envolve a startup neozelandesa ThroughLine, que já presta serviços para empresas como OpenAI, Anthropic e Google. O sistema atua quando há indícios de risco, incluindo automutilação, violência doméstica e transtornos alimentares, conectando usuários a redes de suporte.
Pressão sobre segurança impulsiona nova iniciativa
O projeto surge em meio a pressões sobre empresas de IA relacionadas à segurança, especialmente diante de processos judiciais que acusam plataformas de não impedir — ou até incentivar — episódios de violência.
Em fevereiro, a OpenAI foi alvo de uma ameaça de intervenção pelo governo do Canadá, após a revelação de que o autor de um ataque em uma escola havia sido banido da plataforma sem notificação às autoridades. A empresa confirmou à Reuters a parceria com a ThroughLine, mas não detalhou a iniciativa. Anthropic e Google não responderam ao contato da agência.
Parceria busca ampliar prevenção ao extremismo
O fundador da ThroughLine, Elliot Taylor, afirmou à Reuters que a empresa estuda ampliar o serviço para incluir a prevenção ao extremismo violento. A startup negocia uma parceria com o The Christchurch Call, iniciativa criada após o ataque terrorista de 2019 na Nova Zelândia para combater o ódio online.
“É algo que gostaríamos de avançar e fazer um trabalho melhor em termos de cobertura, para então poder dar um suporte melhor às plataformas”, disse Taylor. Não há prazo definido para a implementação.
Atualmente, a ThroughLine mantém uma rede com 1.600 linhas de apoio em 180 países, conectando usuários a serviços locais com atendimento humano após a identificação de sinais de crise por sistemas de IA.
Como funciona o sistema híbrido de apoio
A tecnologia deve operar em um modelo híbrido, com chatbots treinados para interagir com usuários em risco e encaminhá-los para serviços presenciais de saúde mental.
Segundo Taylor, o sistema não utiliza dados de treinamento tradicionais de modelos de linguagem, mas sim orientações de especialistas. Hoje, o serviço ainda está restrito a algumas categorias, embora a empresa observe que o crescimento dos chatbots ampliou o tipo de problemas relatados online, incluindo o extremismo.
Leia mais:
- 5 dicas para usar o ChatGPT de maneira mais eficiente
- Como melhorar seu texto no ChatGPT: guia prático do básico ao avançado
- Por que o ‘modo adulto’ do ChatGPT preocupa conselheiros da própria OpenAI
Testes em andamento e desafios da implementação
A ferramenta segue em fase de testes e ainda não tem data de lançamento. O consultor de contraterrorismo Galen Lamphere-Englund, ligado ao The Christchurch Call, afirmou que o sistema pode ser utilizado por moderadores de fóruns de jogos e pais.
Para o pesquisador Henry Fraser, da Universidade de Tecnologia de Queensland, a proposta é relevante ao considerar não apenas o conteúdo, mas também a relação entre usuários e plataformas. Ele ressalta que o sucesso dependerá da qualidade do acompanhamento e dos serviços oferecidos.
Taylor afirmou que medidas como eventuais alertas às autoridades ainda estão em definição e levarão em conta o risco de agravar comportamentos. Segundo ele, usuários em sofrimento tendem a compartilhar online questões que evitariam em interações presenciais.
Um estudo de 2025 do Stern Center for Business and Human Rights, da Universidade de Nova York, aponta que o aumento da moderação pode levar usuários a migrar para plataformas menos reguladas, como o Telegram. Para Taylor, interromper conversas sem oferecer suporte pode deixar pessoas sem assistência.
O post ChatGPT testa sistema para identificar extremismo online apareceu primeiro em Olhar Digital.