CEO da Microsoft diz que IA precisa de freio controlado por humanos

CEO da Microsoft diz que IA precisa de freio controlado por humanos

Satya Nadella, presidente do conselho e CEO da Microsoft, defendeu em uma publicação no X neste sábado (10) que sistemas avançados de inteligência artificial (IA) tenham mecanismos de contenção e um botão de emergência controlado por humanos. A proposta prevê que pessoas autorizadas possam interromper ou desligar um modelo durante a execução de uma tarefa, como parte de uma estrutura de segurança para tecnologias capazes de acessar dados sensíveis e realizar operações importantes.

O executivo argumenta que empresas não devem depender apenas das garantias oferecidas pelos desenvolvedores de IA. Em vez disso, precisam estabelecer limites de acesso, monitorar as ações dos modelos e manter controles externos que permitam intervir quando necessário. As recomendações foram apresentadas em meio a alertas de executivos e pesquisadores sobre os riscos associados ao avanço da tecnologia e à insuficiência de mecanismos de segurança.

Microsoft propõe novos controles para sistemas de IA

Na publicação, Satya Nadella afirma que os modelos atuais não permitem compreender completamente como determinadas respostas e comportamentos são produzidos. Segundo ele, diferentemente dos softwares tradicionais, nem sempre é possível relacionar as ações de um modelo a entradas específicas dos dados de treinamento ou a configurações dos parâmetros internos.

O CEO defende que sistemas de IA sejam tratados como possíveis riscos internos às organizações, não necessariamente por serem maliciosos, mas porque podem cometer erros ou ser comprometidos quando têm acesso a recursos importantes. A abordagem proposta prevê a separação entre o modelo e a estrutura responsável por organizar sua execução, além da definição externa das ações que ele pode realizar.

Nadella também afirma que os controles de segurança não devem ficar sob responsabilidade do próprio modelo. Na avaliação do executivo, as organizações precisam ter autonomia para determinar quais informações podem ser acessadas e quais operações podem ser executadas, sem permitir que a IA altere ou contorne as regras estabelecidas.

Sete princípios para aumentar a segurança da IA

O executivo apresentou uma série de princípios para orientar o desenvolvimento e a operação de sistemas avançados. A lista inclui a utilização de modelos diferentes para tarefas importantes, o registro verificável das ações realizadas e a realização contínua de testes que contemplem falhas, ataques e situações extremas.

Outro ponto é a auditabilidade independente. Para Satya Nadella, a validação de um sistema não deve depender exclusivamente da mesma inteligência artificial que está sendo avaliada. A proposta também prevê que cada ação relevante deixe registros legíveis por humanos e protegidos contra alterações, permitindo reconstruir como determinado resultado foi alcançado.

O princípio de contenção estabelece que as empresas devem partir do pressuposto de que um modelo pode estar comprometido. Por isso, uma pessoa autorizada precisa conseguir pausar ou desligar o sistema durante uma tarefa. Nadella acrescenta que modelos mais avançados exigirão tecnologias de contenção mais sofisticadas, que deverão ser padronizadas.

A lista inclui ainda a divulgação rápida de incidentes às partes afetadas. Quando um sistema falhar ou for comprometido, as organizações deverão informar o ocorrido, explicar quais mecanismos de controle falharam e compartilhar aprendizados que ajudem a prevenir novos problemas.

Executivos alertam para os riscos do avanço da IA

As declarações de Satya Nadella ocorrem em meio a discussões sobre a velocidade de desenvolvimento da inteligência artificial e a necessidade de ampliar as medidas de segurança. Entre os nomes que já se manifestaram sobre o tema estão Bill Gates, cofundador da Microsoft, Dario Amodei, CEO da Anthropic, Sam Altman, CEO da OpenAI, e Elon Musk, CEO da SpaceX.

Em setembro, Amodei defendeu uma desaceleração no desenvolvimento de sistemas avançados de IA. Segundo as informações reunidas pela CNBC, a proposta recebeu apoio de Altman e Musk. Pesquisadores também manifestaram preocupação com os riscos da tecnologia e com a capacidade das empresas de manter o controle sobre seus modelos.

A posição contrasta com a do presidente dos Estados Unidos, Donald Trump, que tem rejeitado alertas sobre possíveis riscos de extinção relacionados à IA e enfatizado a necessidade de manter o país à frente da China no setor. Em outubro, o governo Trump também apresentou uma iniciativa chamada AI Force, liderada pelo diretor de Inteligência Nacional, Jay Clayton, com o objetivo de facilitar as atividades do setor e identificar agentes mal-intencionados.

Para Nadella, a segurança não deve depender da confiança depositada em um modelo específico. O executivo defende uma arquitetura na qual os sistemas possam ser observados, testados e limitados por mecanismos independentes, permitindo que as organizações mantenham o controle sobre as ações executadas em seu nome.

O post CEO da Microsoft diz que IA precisa de freio controlado por humanos apareceu primeiro em Olhar Digital.