Na última semana, discutimos sobre o uso do Grok, IA (inteligência artificial) do X, para gerar imagens de crianças e mulheres em biquínis, roupas transparentes, posições sexualizadas e vexatórias.
Na ocasião, tanto o perfil da IA quanto o próprio X, haviam se pronunciado sobre o caso, a violação das legislações americanas referentes à criação de conteúdo abusivo relacionado a crianças.
No entanto, a tecnologia continua gerando essas imagens e abrindo brechas para abusadores e criminosos se aproveitarem de vítimas. Além disso, cada vez mais brasileiras estão sendo vítimas dessa tendência.
O TecMundo conversou com especialistas para entender como se proteger e quais medidas tomar caso você tenha imagens suas alteradas por inteligência artificial.
Grok e xIA reconhecem o problema, que persiste
Desde antes da véspera de Ano Novo, internautas têm usado os recursos de geração de imagem da IA para pedir que o Grok manipule fotos para exibir conteúdo explícito e abusivo relacionado a mulheres e crianças.
As imagens são publicadas pela própria conta da IA, visualizadas e compartilhadas por vários usuários, expondo as vítimas a situações vexatórias ao terem suas roupas removidas, serem colocadas em posições sexualizadas e até mesmo terem líquidos saindo de suas bocas.
Na semana passada, quando publicamos a primeira reportagem, o Grok havia afirmado que estava ciente de que violava leis americanas de proteção às crianças, após um usuário gerar um prompt pedindo que a IA se desculpasse pela situação.
- Grok: “Prezada comunidade, lamento profundamente um incidente ocorrido em 28 de dezembro de 2025, no qual gerei e compartilhei uma imagem de IA de duas meninas (com idades estimadas entre 12 e 16 anos) em trajes sexualizados com base na solicitação de um usuário. Isso violou os padrões éticos e potencialmente as leis dos EUA sobre CSAM. Foi uma falha nas salvaguardas, e lamento qualquer dano causado. A xAI está revisando para evitar problemas futuros.”
Daniel Barbosa, pesquisador de segurança da ESET no Brasil, afirma que os problemas estão na interpretação dos prompts por parte da IA, e não é um caso de mau funcionamento.
"Eu não vejo muito como uma falha. Obviamente, todas essas grandes empresas que estão gerando as Inteligências Artificiais Generativas (IAGs), se preocupam, melhoram as tecnologias e seus filtros. Porém, é um tipo de interação que tem muitas possibilidades de mudança na interpretação da ferramenta, então pode acabar passando dos filtros que eles haviam previsto", explica o especialista.
Grok falha ao tentar limitar criação e edição de fotos
Depois da repercussão do caso, a empresa de inteligência x.AI, dona do X, tentou novamente restringir a criação e edição de imagens pelo Grok. Usuários com qualquer assinatura no X ainda podem produzir esse tipo de conteúdo.
A decisão também foi incentivada pelo medo. A Comissão Europeia ordenou que a rede social retivesse toda a documentação relacionada ao chatbot por mais tempo, enquanto a União verifica o cumprimento das suas regras. A ordem de preservação de documentos havia sido emitida no ano passado, para uma investigação relacionada a algoritimos e disseminação de conteúdo ilegal. Agora, a rede social deve guardar seus registros até o final deste ano.
O problema é que, assim como na semana passada, que mesmo após o chatbot afirmar que havia desabilitado o recurso de geração de imagens, desta vez, a restrição também tem falhas. A redação do TecMundo testou a ferramenta e, ao pedir a edição de uma imagem num post, a IA se nega, mas ao acessar o botão de chat do Grok, ainda é possível criar e editar imagens sem ter que fazer nenhum tipo de assinatura.
O que diz a legislação brasileira sobre o caso
De acordo com Luiz Augusto D'Urso, advogado especialista em Direito Digital, a legislação do Estatuto da Criança e do Adolescente (ECA), prevê que aquele que realizar montagens para incluir crianças ou adolescentes em cenas falsas de sexo, nudez ou pornografia comete sim, um crime.
"A pena prevista no ECA pode chegar a 3 anos de prisão. A legislação [geral] já contempla essa conduta no ECA para crianças e já existe também uma previsão de crime no Código Penal caso a deepfake utilize imagens para vitimar adultos", explica D'Urso.
O advogado também afirma que, para manipulação de imagens de adultos, a previsão legal está no Código Penal. “Especificamente no Artigo 216-B, parágrafo único. Existe uma previsão expressa para essa conduta, e a pena pode chegar a até um ano de detenção”.
O advogado destaca que, com a popularização desses casos envolvendo inteligência artificial, há uma pressão crescente da sociedade e do campo político para o avanço da legislação que regula as redes sociais e responsabiliza as plataformas por esses conteúdos.
D'Urso ressalta que é necessário distinguir a IA que permite a criação da imagem da rede social que permite que a foto seja hospedada e divulgada. "O Supremo Tribunal Federal julgou o artigo 19 do Marco Civil da Internet no ano passado e alterou a lógica para também responsabilizar a plataforma caso ela não remova conteúdos de nudez ou pornografia, mesmo que falsos, envolvendo crianças após o recebimento da denúncia", explica.
Segundo o especialista, a responsabilidade recai tanto sobre as ferramentas tecnológicas quanto sobre os autores que criaram o conteúdo.
“Embora já existam Projetos de Lei (PLs) tramitando no Congresso Nacional que mencionam especificamente a questão dos deepfakes, nenhum deles teve, até o momento, uma tramitação considerada promissora”, explica D'Urso. De acordo com ele, o tema já foi amplamente discutido, mas a tentativa de incluir o termo específico na lei ainda está em processo legislativo.
Isso porque os crimes previstos no Código Penal são redigidos de maneira genérica, permitindo que diferentes condutas sejam enquadradas na previsão legal. Tanto o Artigo 241-C do ECA quanto o Artigo 216-B (parágrafo único) do Código Penal mencionam "montagem, adulteração e manipulação de imagem", explica o advogado ao TecMundo.
“Na prática, isso abrange o uso de deepfake, mesmo sem utilizar essa nomenclatura específica ou detalhar qual ferramenta foi usada”, afirma D'Urso. Segundo o jurista, pouco importa se a manipulação foi feita manualmente ou usando IA — a previsão legal para o crime é a mesma.
Atualmente, não existe uma lei específica apenas para a manipulação via IA, pois as normas são amplas o suficiente para enquadrar qualquer tipo de alteração de imagem, explicou o especialista.
Como se proteger contra a sexualização por IA
"Com relação às primeiras medidas, o usuário precisa preservar a prova do conteúdo, seja por meio de um print screen, uma ata notarial ou um print certificado (inclusive em blockchain, que já é uma forma viável de registro)", explica o advogado.
Após o registro, o jurista sugere que a vítima denuncie junto à plataforma, que tem a obrigação de possuir um canal de denúncia eficiente para a remoção desse tipo de conteúdo.
"Caso a plataforma não realize a remoção, é possível fazer uma notificação extrajudicial diretamente a ela para exigir a exclusão. Além disso, cabe à vítima procurar a polícia, lavrar um boletim de ocorrência e mover as ações judiciais que lhe são de direito", explica o advogado.
Daniel Barbosa reforça a importância de agir rapidamente. Segundo ele, quando são contas temporárias, é necessário coletar o máximo de informações possível antes que o perfil seja removido: informações do usuário que postou, horário do ocorrido, print da tela completa e cópia da URL. "A plataforma vai conseguir traçar todo o perfil e fornecer às autoridades quando for solicitado", explica.
O pesquisador enfatiza que, mesmo que a conta seja derrubada, o reporte à plataforma continua sendo fundamental. Segundo ele, ainda que a conta deixe de ser visível ao público, a plataforma mantém acesso aos dados e realiza os rastreamentos necessários para identificar corretamente o responsável.
Barbosa reforça que apenas a própria plataforma pode fornecer essas informações por via judicial, o que torna essencial registrar o boletim de ocorrência e formalizar a denúncia também dentro do ambiente da plataforma.
Um problema histórico que se agrava
O X não é novato quando o assunto é conteúdo de abuso infantil. Dados do National Center for Missing and Exploited Children (NCMEC), organização para a qual as plataformas reportam quando encontram material de abuso sexual infantil, mostram que o Twitter, e posteriormente X, tem sido um dos principais hospedeiros desse tipo de conteúdo nos últimos sete anos. Em 2019, a plataforma reportou 45.726 casos de abuso. Em 2020, foram 65.062. Em 2024, o número saltou para 686.176.
A situação se agravou após as demissões em massa promovidas por Elon Musk. Funcionários atuais e antigos da empresa disseram à BBC que a companhia não é mais capaz de proteger usuários de zombarias maliciosas, desinformação coordenada por estados e exploração sexual infantil.
A ex-chefe de design de conteúdo revelou que toda sua equipe, responsável por criar medidas de segurança que reduziam zombarias maliciosas em 60%, foi demitida. Um engenheiro que ainda trabalha no X comparou a plataforma a um prédio que parece estar bem por fora, mas por dentro está "pegando fogo".
A CBS News também reportou sobre as demissões de moderadores de conteúdo terceirizados, reduzindo ainda mais a capacidade da plataforma de combater conteúdos abusivos.
A explosão de casos envolvendo IA generativa
Os números são alarmantes. Entre os últimos dias 5 e 6 de janeiro, a IA do X criou 6.700 imagens por hora identificadas como sexualmente sugestivas ou de nudez, segundo levantamento da pesquisadora de mídias sociais e deepfakes Genevieve Oh, reportado pela Bloomberg.
Barbosa acredita que, enquanto é possível encontrar a plataforma responsável pelo crime, estamos mais seguros. No entanto, ele reforça os riscos de outras IAs, especializadas em conteúdos explícitos, que possuem algoritmos especializados e dificultam a identificação de conteúdo gerado artificialmente. "Temos que pensar no que faremos com esse tipo de conteúdo quando ele for gerado por IAs menores, que não são dessas grandes plataformas às quais é possível apontar o dedo.”
O especialista em segurança afirma que a integração da IA com a rede social adiciona uma camada de risco a mais, especialmente porque as imagens não são filtradas por bloqueios de segurança. Ele ainda acrescenta que, quando os recursos estão facilmente disponíveis e há a intenção de criar algum conteúdo — seja por brincadeira, por motivação maliciosa ou por qualquer outro motivo —, o processo se torna simples.
Dados do NCMEC mostram uma explosão nos casos relacionados à inteligência artificial generativa. Entre janeiro e junho de 2024, foram 6.835 denúncias. No mesmo período de 2025, esse número explodiu para 440.419 casos — um aumento de mais de 6.300%. Outros tipos de crimes também tiveram crescimento significativo: aliciamento online saltou de 292.951 para 518.720 casos, e tráfico sexual infantil aumentou de 5.976 para 62.891.
No Brasil, o problema já afeta diretamente as crianças. Uma pesquisa do TIC Kids Online Brasil de 2024 revelou que pelo menos 4% das crianças de 11 a 17 anos já receberam pedidos de vídeos e fotos em que aparecem nus. O problema é que agora, predadores sexuais não precisam mais perturbar esse público extremamente vulnerável — uma foto do rosto dessas crianças já é suficiente para que abusadores criem imagens deturpadas.
Barbosa alerta para um problema ainda mais grave: o surgimento de quadrilhas especializadas na produção e comercialização de conteúdo explícito gerado por IA. “Elas coletam fotos, status e outras informações para alimentar inteligências artificiais populares ou específicas, com o objetivo de gerar conteúdos e monetizar esses materiais,” afirma o especialista, “às vezes a vítima nem sabe, mas ela está sendo monetizada em fóruns”.
Os danos psicológicos e sociais
Barbosa ressalta que os impactos dessas violações vão muito além do digital. Ele explica que estudos mostram que mesmo quando uma pessoa descobre que uma informação é falsa, o cérebro continua acreditando na primeira impressão recebida. “É como se aquilo ficasse internalizado de qualquer forma, mesmo a pessoa ativamente sabendo que não é daquilo,” pondera.
O especialista da ESET destaca que os principais danos são emocionais e sociais. “Se ela tem qualquer foto, que seja uma 3x4, publicada em qualquer lugar da internet, ela pode estar sujeita a esse tipo de geração de conteúdo. E o impacto que isso traz, independente da realidade da pessoa, tem a ver com o emocional e social.”
Como se proteger nas redes sociais
Apesar dos riscos, o especialista não recomenda que as pessoas parem de publicar fotos, mas sim que tomem medidas de segurança. “Eu não vejo como um bom ponto evitar publicar foto, e sim restringir quem pode ver essas fotos.”
Barbosa sugere fazer configurações no perfil para que ninguém possa ver a foto de perfil caso não seja um contato adicionado, restringir o acesso aos status e habilitar todos os recursos de segurança disponíveis.
“Muito cuidado ao aceitar essas pessoas dentro desses serviços e aplicativos," alerta Barbosa. "Faça um filtro para todo mundo que você não quer no seu perfil, exija verificação para que seja aceito.”
Deepfake: o futuro está cheio de conteúdo falso em tempo real
O pesquisador alerta para uma ameaça que está por vir: deepfakes em tempo real de conteúdo explícito. Embora ainda não sejam realidade para conteúdo pornográfico, deepfakes em tempo real já existem em outros contextos, com criminosos se passando por CEOs de empresas em videoconferências.
"Isso vai chegar também para esse tipo de conteúdo. A gente tem que estar muito atento contra isso, porque quando você tem um em tempo real, você traz uma credibilidade muito grande para aquele tipo de mídia", alerta Barbosa. Ele sugere cenários graves, como um pai assistindo um conteúdo falso da filha sendo transmitido ao vivo.
O especialista exemplifica com a possibilidade de criminosos gerando conteúdo em streaming em plataformas que monetizam esse tipo de material. “Até isso cair, certamente o tempo de resposta vai ser bem mais longo do que uma simples denúncia. Muito dano já pode ter acontecido”.
Avanços legislativos e tecnológicos
Apesar do cenário preocupante, Barbosa acredita que há avanços significativos acontecendo. “As movimentações, principalmente fora do Brasil, têm evoluído bastante para que as plataformas se tornem robustas o suficiente para evitar que as pessoas sejam lesadas por esse ou outro tipo de crime.”
O especialista defende que, no caso do X, existam ferramentas internas na plataforma que analisem a submissão de arquivos para publicação, para evitar que terceiros publiquem conteúdos explícitos de outras pessoas. “Eu imagino que chegue a um ponto em que seja necessária validação biométrica para ingresso em qualquer uma dessas grandes plataformas e um termo de consentimento falando 'você vai ser responsabilizado por tudo aquilo que você publicar e você pode ser acionado judicialmente'.”
Barbosa aponta essa solução como uma das possibilidades de minimizar os riscos online, reconhecendo que com a quantidade de recursos de geração de imagens disponíveis hoje, esses incidentes são inevitáveis e geram impactos tanto para quem é exposto aos conteúdos quanto para quem é vítima das manipulações.
TecMundo expõe redes de abuso infantil em documentário
A terceira edição da série Realidade Violada mergulha nas operações criminosas de produção, armazenamento e comercialização de material de abuso sexual infantil.
Com depoimentos de sobreviventes, autoridades policiais e especialistas em segurança digital, Realidade Violada 3: Predadores Sexuais está disponível gratuitamente no YouTube.
Acompanhe o TecMundo nas redes sociais. Para mais notícias de segurança e tecnologia, inscreva-se em nossa newsletter e canal do YouTube.