Apple apresenta IA capaz de criar avatares 3D realistas a partir de fotos

Apple apresenta IA capaz de criar avatares 3D realistas a partir de fotos

Pesquisadores da Apple apresentaram novo sistema de inteligência artificial (IA) chamado HeadsUp, capaz de gerar renderizações gaussianas 3D de cabeças humanas com alto nível de fidelidade a partir de fotografias capturadas simultaneamente por múltiplas câmeras.

O projeto foi detalhado em um artigo técnico assinado por 23 pesquisadores da companhia. Além de criar os modelos tridimensionais, o sistema também consegue animá-los por meio de blendshapes, técnica utilizada para deformar a malha de um modelo 3D e reproduzir expressões faciais.

Segundo o resumo do estudo, o método utiliza “uma arquitetura eficiente de codificador-decodificador que comprime as imagens de entrada em uma representação latente compacta”. Em seguida, essa representação “é então decodificada em um conjunto de gaussianas 3D parametrizadas em UV, ancoradas a um modelo neutro de cabeça”.

O artigo afirma ainda que a representação em UV “desacopla o número de gaussianas 3D do número e da resolução das imagens de entrada, permitindo o treinamento com muitas imagens de alta resolução”.

Vários exemplos de avatares lado a lado
Método utiliza arquitetura eficiente de codificador-decodificador que comprime as imagens de entrada em uma representação latente compacta – Imagem: Divulgação/Apple

Leia mais:

Detalhes do projeto da Apple

  • De acordo com os pesquisadores, o HeadsUp foi treinado com dados de mais de 10 mil participantes, número descrito como sem precedentes nesse segmento;
  • O objetivo do projeto era solucionar um dos principais desafios das reconstruções 3D: equilibrar qualidade visual e escalabilidade;
  • Ferramentas desse tipo normalmente levam alguns minutos para mapear um rosto, mas o sistema da Apple consegue gerar um modelo 3D inédito em menos de um segundo;
  • Segundo o estudo, o HeadsUp é até 40 vezes mais eficiente que o Avat3r, solução utilizada como referência nos testes comparativos;
  • Os pesquisadores também destacaram ganhos de qualidade em relação às soluções concorrentes. Utilizando uma GPU Nvidia A100, GPU voltada para data centers e aplicações de alto desempenho, o sistema levou apenas 0,33 segundo para gerar o modelo 3D de uma cabeça humana. Em testes realizados com quatro câmeras, o resultado foi obtido em 0,14 segundo.

Segundo o artigo, o HeadsUp consegue captar detalhes finos historicamente considerados difíceis para sistemas de reconstrução 3D, incluindo fios de cabelo, cílios, joias e textura da pele. A tecnologia também é capaz de gerar identidades completamente novas a partir de descrições em texto, ampliando as possibilidades de criação de personagens e avatares digitais.

Após a divulgação do estudo, começaram especulações sobre uma possível relação entre a tecnologia e as Personas do Apple Vision Pro, headset de realidade mista da Maçã. A hipótese ganhou força após a descoberta da aquisição da empresa de avatares de IA Animato pela Apple.

Riscos

Os próprios pesquisadores reconheceram os riscos associados à ferramenta. O estudo afirma que a tecnologia reduz barreiras para a criação de deepfakes convincentes, o que pode aumentar riscos de desinformação e fraude.

Como medida de mitigação, a Apple recomendou o uso de marcas d’água em materiais de demonstração produzidos com a tecnologia.

O estudo completo do HeadsUp foi disponibilizado pela Apple em sua página oficial.

O post Apple apresenta IA capaz de criar avatares 3D realistas a partir de fotos apareceu primeiro em Olhar Digital.