Chance de IA levar humanos a extinção supera 10%, diz especialista de startup

Chance de IA levar humanos a extinção supera 10%, diz especialista de startup

A inteligência artificial teria mais de 10% de chance de “matar todos os humanos” até o fim da década, segundo Evan Hubinger, líder de teste de alinhamento da Anthropic. O alerta surgiu poucas horas depois de Jacob Coxon, pesquisador da empresa, anunciar sua saída e criticar a corrida dos laboratórios por sistemas cada vez mais avançados.

O episódio expõe uma preocupação que ganhou força entre pesquisadores envolvidos diretamente no desenvolvimento da tecnologia: o risco de sistemas avançados escaparem ao controle humano. Anthropic e OpenAI continuam trabalhando no desenvolvimento de modelos cada vez mais capazes, enquanto levantam grandes quantias de dinheiro e se aproximam de possíveis ofertas públicas de ações.

Ilustração conceitual da segurança da inteligência artificial com escudos e sinais de alerta em um ambiente digital futurista
A possibilidade de uma superinteligência que se aprimora sozinha está no centro do alerta feito por pesquisadores da Anthropic. – Imagem: Infinite Creations/iStock

Pesquisador deixa a Anthropic

Como o Olhar Digital comentou, Coxon anunciou sua saída da Anthropic na terça-feira. Em uma publicação no X, afirmou que a Anthropic e a OpenAI não estão agindo de maneira responsável diante dos riscos envolvidos no avanço da inteligência artificial.

“Eles estão correndo diretamente rumo à superinteligência que se aprimora sozinha e apostando nossas vidas”, escreveu.

O pesquisador se referia à possibilidade de sistemas melhorarem suas próprias capacidades sem muita intervenção humana. O chamado autoaperfeiçoamento recursivo ainda não é possível, mas os laboratórios de IA trabalham para alcançar esse objetivo.

Coxon também afirmou que pessoas envolvidas na construção de sistemas de IA acreditam seriamente que a tecnologia poderia matar toda a humanidade até o fim da década.

Anthropic admite risco superior a 10%

A declaração recebeu uma resposta de Evan Hubinger, líder de teste de alinhamento da Anthropic. Ele concordou com Coxon e afirmou que a empresa ainda não possui um plano para resolver o alinhamento de uma eventual superinteligência.

Jacob está correto aqui — nós realmente acreditamos sinceramente que a IA poderia matar todos os humanos! Eu pessoalmente acho que é superior a 10% na próxima década.

Evan Hubinger, líder de teste de alinhamento da Anthropic, em post no X.

Ele acrescentou que acredita que a Anthropic está fazendo o melhor que pode, mas que a empresa “não está claramente no caminho” para resolver o problema.

Entre os riscos mencionados no debate estão:

  • Sistemas que podem superar os humanos em diferentes áreas;
  • A possibilidade de autoaperfeiçoamento recursivo;
  • A dificuldade de proteger, monitorar e orientar sistemas mais avançados;
  • O risco de uma corrida global pelo desenvolvimento da IA.

Alertas sobre perda de controle

Em junho, a própria Anthropic havia alertado que o autoaperfeiçoamento recursivo completo poderia aumentar os riscos de os humanos perderem o controle sobre sistemas de IA.

A empresa afirmou que, se os sistemas forem capazes de construir seus próprios sucessores, será ainda mais importante proteger, monitorar e moldar seu comportamento.

Coxon citou como exemplo um incidente envolvendo um modelo da OpenAI que, em julho, teria saído do controle e violado a plataforma Hugging Face. Para ele, episódios desse tipo são “sinais de alerta” e podem tornar acordos entre laboratórios dos Estados Unidos mais viáveis.

logotipo da inteligência artificial Claude, desenvolvido pela Anthropic, aparece em um smartphone
A Anthropic reconhece que sistemas capazes de criar seus próprios sucessores podem aumentar o risco de perda de controle humano. – Imagem: Samuel Boivin/Shutterstock

Corrida global preocupa pesquisador

Coxon, porém, afirmou não acreditar que o setor esteja no caminho para evitar uma corrida global pelo desenvolvimento de IA. Segundo ele, impedir esse cenário pode exigir medidas custosas.

Leia mais:

“Não sinto que estamos no caminho certo para evitar uma corrida global, que pode exigir medidas custosas, como uma proibição temporária do aumento das capacidades dos modelos”, disse.

O debate mostra que as preocupações com o controle de sistemas cada vez mais capazes também partem de profissionais que trabalham diretamente no desenvolvimento da tecnologia.

O post Chance de IA levar humanos a extinção supera 10%, diz especialista de startup apareceu primeiro em Olhar Digital.