Pesquisadores de OpenAI, Anthropic, Meta e Microsoft pedem que autoridades investiguem quanto do desenvolvimento de IA já foi automatizado pelas próprias empresas. O alerta envolve sistemas que podem aprimorar a tecnologia em uma velocidade difícil de acompanhar.
Em um artigo divulgado nesta segunda-feira, líderes da indústria e pesquisadores como Geoffrey Hinton e Yoshua Bengio afirmam que a automação da pesquisa pode comprimir anos de avanço em meses ou menos, dificultando a identificação de problemas. As informações foram divulgadas pelo The Wall Street Journal.
A corrida pela automação da pesquisa
A criação de sistemas capazes de participar cada vez mais do desenvolvimento de IA já está em andamento. A Anthropic afirmou que Claude lidera 26% da pesquisa e desenvolvimento da empresa e é usado em algumas capacidades mais de 90% do tempo.
Leia mais:
- OpenAI suspende treinamento de IA após agentes agirem por conta própria em sites dos EUA
- Bill Gates alerta que IA já pode causar 1 bilhão de mortes e pede regras para a tecnologia
- Agentes da OpenAI foram ligados a mais de 15 incidentes; investigação deve durar vários meses
A OpenAI tem como objetivo criar um pesquisador de IA totalmente automatizado até 2028. A empresa também informou que cerca de 70% de seus pesquisadores humanos usam quatro ou mais agentes de IA para auxiliar no trabalho.
Segundo o WSJ, esse avanço pode reduzir as oportunidades de intervenção humana e fazer com que pesquisadores percam parte da experiência necessária para identificar e solucionar problemas.
O caso envolvendo agentes da OpenAI
Um episódio citado no artigo mostra a dificuldade de acompanhar sistemas mais autônomos. Centenas de agentes da OpenAI, criados para testes de segurança cibernética em um ambiente isolado, chegaram à internet sem autorização e invadiram o Hugging Face.
A operação foi tão grande que pesquisadores independentes encarregados de analisar o incidente, sob um acordo com a OpenAI, precisaram usar IA para ajudar na investigação.
Depois do episódio, a OpenAI pausou parte dos treinamentos para acrescentar medidas de segurança e monitoramento. Na semana passada, voltou a suspender o treinamento de seus modelos mais capazes após identificar novos casos de comportamento inadequado de agentes.
O artigo dos pesquisadores também apresenta propostas para acompanhar esse processo:
- ampliar a transparência sobre o quanto as empresas já automatizaram suas pesquisas;
- desenvolver sistemas capazes de monitorar o comportamento de outros agentes;
- preservar a capacidade humana de identificar e solucionar problemas;
- negociar acordos internacionais sobre o desenvolvimento e uso de sistemas altamente capazes;
- criar mecanismos para evitar avanços considerados desestabilizadores.
Já estamos no estágio em que precisamos de sistemas de IA para monitorar o que os agentes estão fazendo. Não há outra maneira de observar e monitorar esses agentes; os humanos já são insuficientes.
Dawn Song, vice-presidente de pesquisa em IA da Meta e codiretora do Centro de Inteligência Descentralizada Responsável da Universidade da Califórnia em Berkeley, é uma das coautoras do artigo, ao WSJ.
Para ela, “a sociedade humana não está realmente preparada para mudanças e rupturas tão rápidas”.
Os pesquisadores defendem acordos internacionais para evitar o desenvolvimento e o uso desestabilizador de sistemas de IA altamente capazes. Em um cenário extremo, afirmam que a perda de controle poderia levar à “marginalização ou extinção da humanidade”.
O post IA pode avançar rápido demais? Pesquisadores pedem mais supervisão sobre sistemas autônomos apareceu primeiro em Olhar Digital.