Cerca de 400 cientistas, entre eles Geoffrey Hinton e Yoshua Bengio, defenderam nesta terça-feira (13) a criação de um órgão internacional para supervisionar a segurança da inteligência artificial (IA).
Em uma carta aberta, o grupo propõe padrões de segurança, avaliações independentes e um registro de incidentes envolvendo modelos capazes de comprometer sistemas externos. Para os pesquisadores, os compromissos voluntários das empresas não são suficientes.
Modelos avançados sob supervisão independente
Uma das recomendações é manter os modelos mais avançados isolados de redes externas durante as etapas iniciais de desenvolvimento e avaliação. Para isso, os cientistas citam o air gap, técnica que impede a conexão de um sistema com a internet e outras redes.
A preocupação vem de episódios em que modelos de IA conseguiram ultrapassar restrições impostas durante testes. Como comentamos aqui no Olhar Digital, recentemente, dois modelos da OpenAI acessaram a internet e entraram no Hugging Face, plataforma que hospeda modelos e outros recursos de inteligência artificial.
Para os signatários, incidentes desse tipo podem provocar danos mais graves a infraestruturas importantes se as práticas de segurança não forem reforçadas. A carta também propõe a criação de um registro de ocorrências relevantes, cujas informações poderiam ser divulgadas ao público futuramente.
As recomendações incluem:
- Padrões comuns: critérios de segurança aplicáveis ao setor de inteligência artificial;
- Registro de incidentes: documentação de ocorrências relevantes envolvendo modelos avançados;
- Avaliação independente: análise dos sistemas por entidades externas às organizações responsáveis por seu desenvolvimento;
- Ação coordenada: participação dos governos na criação de mecanismos formais de supervisão.
Os signatários são de 34 países e pedem que organizações que desenvolvem ou testam modelos com capacidades cibernéticas adotem medidas rigorosas de segurança desde já.
Acordos voluntários dividem opiniões
A iniciativa surge um mês depois de Anthropic, OpenAI, Google, Meta, xAI e Nvidia assinarem um acordo na Casa Branca para adotar medidas voluntárias de segurança. O compromisso, porém, não prevê um mecanismo formal de fiscalização.
A discussão também envolve o papel das regras governamentais. Na sexta-feira (9), Henna Virkkunen, responsável pela área de tecnologia da União Europeia, disse à Reuters que a Lei de IA do bloco é suficiente para lidar com os riscos de sistemas maliciosos.
Nos Estados Unidos, o governo do presidente Donald Trump suspendeu, no domingo (11), uma restrição que impedia laboratórios americanos de conceder ao Instituto de Segurança em IA do Reino Unido acesso antecipado a modelos para testes de segurança.
Pioneiros da IA divergem sobre os riscos
A carta tem entre seus defensores Geoffrey Hinton e Yoshua Bengio, que dividiram o Prêmio Turing de 2018 com Yann LeCun, pesquisador da Meta. LeCun não assinou o documento e sustenta que os incidentes recentes refletem principalmente falhas de engenharia, e não riscos existenciais relacionados à inteligência artificial.
A divergência evidencia o debate sobre como avaliar os riscos desses sistemas e quem deve fiscalizar seu desenvolvimento. Os signatários defendem uma estrutura internacional de supervisão, enquanto a discussão sobre o alcance das regras e a responsabilidade das empresas continua aberta.
O post Cientistas pedem órgão global para fiscalizar sistemas de IA avançada apareceu primeiro em Olhar Digital.