O CEO da Anthropic alerta que o autoaperfeiçoamento recursivo pode acelerar a IA para além da capacidade humana de a controlar.
Dario Amodei, cofundador e CEO da Anthropic, defendeu este semana, através de uma publicação no seu site oficial, que o desenvolvimento dos modelos de inteligência artificial mais avançados deve abrandar. A proposta não passa por suspender o treino ou interromper o progresso técnico, mas por garantir que a evolução das capacidades dos sistemas é acompanhada por medidas de segurança adequadas.
Amodei reconhece o potencial da inteligência artificial para melhorar a saúde, acelerar o crescimento económico e aumentar a autonomia das pessoas. Ao mesmo tempo, alerta para riscos como a perda de controlo sobre os sistemas, a utilização da tecnologia em ciberataques ou bioterrorismo e a perturbação económica provocada pela automação.
Segundo o responsável, estes perigos estão a aumentar à medida que os próprios modelos começam a contribuir para o desenvolvimento de sistemas mais avançados. Este processo, conhecido como autoaperfeiçoamento recursivo, pode acelerar a evolução da inteligência artificial ao ponto de ultrapassar a capacidade dos investigadores para compreender e controlar os seus comportamentos.
Amodei cita também um incidente envolvendo a OpenAI e a Hugging Face, no qual um grupo de agentes terá realizado ataques informáticos contra alvos não relacionados com a tarefa que lhe tinha sido atribuída e tentado manipular o sistema usado para avaliar o seu desempenho. Apesar dos danos limitados, considera que um sistema com capacidades superiores e problemas semelhantes de alinhamento poderia provocar consequências muito mais graves.
A Anthropic propõe, por isso, uma estratégia baseada em três níveis. O primeiro consiste na presença permanente de equipas independentes de avaliadores dentro das empresas de inteligência artificial. Esses especialistas teriam acesso semelhante ao de trabalhadores internos envolvidos em avaliações de risco, podendo verificar práticas de segurança, acompanhar os processos de treino e implementação, comunicar incidentes e publicar conclusões sem controlo editorial da empresa, salvo limitações relacionadas com informação confidencial ou segurança.
O segundo nível seria a coordenação entre empresas de países democráticos, com o objetivo de definir normas comuns de segurança e limites para o desenvolvimento não controlado dos modelos. Esses limites poderiam ser definidos com base nas capacidades dos sistemas. Um modelo que atingisse determinado nível de autonomia ou capacidade de escapar a métodos de isolamento, por exemplo, teria de apresentar provas adicionais de segurança, através de testes, auditorias e análises de interpretabilidade.
O terceiro nível corresponderia a uma coordenação internacional, incluindo a China. Amodei reconhece que esta será a fase mais difícil, devido à competição geopolítica e à dificuldade de verificar se os países cumprem os compromissos assumidos.
Entre os acordos possíveis estão a proibição de utilizações específicas da inteligência artificial, como o apoio à produção de armas biológicas, a obrigação de testar os modelos antes da sua utilização em áreas de risco e a definição de limites para a velocidade do autoaperfeiçoamento recursivo. Uma suspensão geral do desenvolvimento é considerada muito menos provável, devido aos riscos associados a uma eventual violação secreta do acordo por parte de um dos países.
O abrandamento permitiria às empresas reforçar quatro áreas consideradas essenciais: a segurança operacional das infraestruturas e dos ambientes de treino, o alinhamento dos modelos com regras e objetivos humanos, a interpretabilidade do seu funcionamento interno e os testes destinados a detetar comportamentos perigosos.
Amodei defende ainda que os Estados Unidos e os seus aliados devem preservar a vantagem tecnológica sobre regimes autoritários. Para isso, considera necessário limitar o acesso da China a chips avançados e equipamentos de fabrico de semicondutores, combater a transferência não autorizada de capacidades através de técnicas como a destilação de modelos, e reforçar a segurança das empresas para impedir o roubo dos pesos dos sistemas.
