Um investigador sénior da Anthropic, empresa responsável pelo Claude, anunciou a sua demissão com um aviso extremamente preocupante sobre o futuro da inteligência artificial.
Jacob Coxon afirmou que já não conseguia continuar a exercer o cargo “de consciência tranquila” e acusou algumas das maiores empresas de inteligência artificial do mundo de estarem a “apostar com as nossas vidas”.
Segundo Coxon, os sistemas de inteligência artificial que estão atualmente a ser desenvolvidos poderão tornar-se tão poderosos que, num cenário extremo, “podem matar-nos a todos até ao final da década”.
“Demiti-me hoje da Anthropic”
Coxon anunciou a decisão através de uma longa publicação na rede social X, a 9 de setembro.
O investigador revelou que passou os últimos três anos a trabalhar em investigação relacionada com o treino de modelos tanto na OpenAI como na Anthropic.
A conclusão a que chegou foi particularmente dura.
“Passei os últimos três anos a fazer investigação na OpenAI e na Anthropic. Nenhuma das empresas está a agir de forma responsável.”
Na sua opinião, as duas organizações estão envolvidas numa corrida para desenvolver sistemas cada vez mais inteligentes sem garantias suficientes de que serão seguros.
“Estão a correr diretamente para uma superinteligência”
Coxon acusa as empresas de estarem a tentar chegar rapidamente a sistemas capazes de se melhorar a si próprios.
É aquilo que descreve como uma futura superinteligência.
“Estão a correr diretamente para uma superinteligência capaz de se autoaperfeiçoar e a apostar com as nossas vidas.”
Segundo o investigador, o problema não está apenas no facto de os sistemas se tornarem mais inteligentes.
O perigo surgiria se adquirissem capacidades muito superiores às humanas em áreas com impacto direto no mundo real.
Coxon avisa que futuros sistemas poderão “hackear qualquer coisa”
Entre os exemplos que deixou estão capacidades avançadas de cibersegurança, investigação científica e aquisição de recursos.
Na sua previsão, os futuros modelos poderão tornar-se suficientemente poderosos para “hackear qualquer coisa”, transformar áreas inteiras da ciência em períodos muito curtos e obter influência ou recursos reais.
Coxon considera que os sinais desta evolução já estão visíveis.
“Todos assistimos ao progresso em cada uma destas áreas e esse progresso não está a abrandar.”
“As pessoas que constroem IA acreditam realmente que isto nos pode matar”
Uma das declarações mais graves do antigo investigador está relacionada com aquilo que, segundo ele, é discutido dentro das próprias empresas.
Coxon afirma que existem investigadores e responsáveis do setor que acreditam genuinamente na possibilidade de a inteligência artificial provocar uma catástrofe existencial.
“As pessoas que estão a construir IA acreditam sinceramente que ela poderá matar-nos a todos até ao fim da década.”
O investigador garantiu que isto não é, na sua opinião, uma estratégia de marketing destinada a aumentar o interesse na tecnologia.
Executivos seriam mais cautelosos em público
Segundo Coxon, alguns executivos e investigadores seniores utilizam uma linguagem mais moderada quando falam publicamente.
Mas, em privado, diz ouvir as mesmas pessoas expressarem receios muito mais profundos.
Para o investigador, isso torna ainda mais difícil compreender porque continuam a acelerar o desenvolvimento destes sistemas.
“Nenhuma outra atividade humana representa este nível de perigo”
Coxon utiliza palavras extremamente fortes para descrever aquilo que considera estar em jogo.
“Nenhuma outra atividade humana representa este nível de perigo.”
A afirmação reflete a visão de uma parte da comunidade dedicada à segurança da inteligência artificial, que considera possível que sistemas futuros ultrapassem a capacidade humana de controlo.
Se acreditam que é tão perigoso, porque continuam?
Esta é precisamente a pergunta que Coxon diz ouvir com frequência.
Se investigadores acreditam realmente que existe risco de extinção humana, porque continuam a desenvolver sistemas cada vez mais poderosos?
Segundo ele, a resposta é diferente na OpenAI e na Anthropic.
Na OpenAI, diz que muitos ainda não interiorizaram o risco
Coxon afirma que, durante a sua experiência na OpenAI, muitas pessoas não teriam compreendido verdadeiramente aquilo que considera serem as possíveis consequências para a civilização.
Na Anthropic, porém, a situação seria diferente.
Anthropic estaria presa numa corrida para “chegar primeiro”
Segundo o investigador, na Anthropic existe uma consciência muito maior dos riscos.
O problema, na sua opinião, é que a empresa acredita que não pode simplesmente parar.
Coxon descreve uma lógica semelhante a uma corrida armamentista.
Cada empresa receia que, caso abrande, outra chegue primeiro a sistemas muito mais poderosos.
Por isso, mesmo reconhecendo os riscos, continuam a avançar.
“Acreditam que ninguém será responsável, por isso têm de ser eles”
Segundo Coxon, a lógica dentro da Anthropic seria essencialmente esta: se outras empresas vão construir superinteligência de qualquer forma, então a Anthropic precisa de ser a primeira a fazê-lo de forma segura.
Mas o investigador deixou de acreditar que esta estratégia seja aceitável.
Na sua visão, entrar voluntariamente nessa corrida é precisamente aquilo que aumenta o perigo.
“O fim do jogo não pode ser decidido no Slack de uma empresa privada”
Coxon criticou ainda a possibilidade de decisões com consequências globais serem tomadas dentro de empresas privadas.
O investigador considera que desenvolver sistemas potencialmente superinteligentes não deveria depender apenas de executivos, investigadores e discussões internas.
Segundo ele, trata-se de uma decisão demasiado importante para toda a humanidade.
Também critica a tentativa de resolver rapidamente o problema do alinhamento
Uma das áreas onde Coxon trabalhou foi precisamente o chamado alinhamento da inteligência artificial.
Este campo tenta garantir que sistemas avançados continuem a agir de acordo com objetivos e valores humanos.
O problema, segundo ele, é que algumas empresas poderão estar a tentar desenvolver sistemas cada vez mais poderosos ao mesmo tempo que procuram resolver rapidamente os problemas de segurança.
Para Coxon, essa abordagem é demasiado arriscada.
Pede acordos entre empresas para abrandar desenvolvimento
Apesar do tom pessimista, o investigador diz acreditar que ainda existe possibilidade de coordenação.
Coxon considera que as principais empresas norte-americanas de inteligência artificial poderiam chegar a acordos para limitar ou abrandar temporariamente o desenvolvimento de capacidades mais avançadas.
Na sua opinião, determinados incidentes de segurança recentes poderão ajudar a convencer o setor de que essa cooperação é necessária.
Chega a admitir uma suspensão temporária
Coxon vai ainda mais longe e sugere que poderá ser necessário considerar medidas extremamente fortes.
Entre elas estaria uma suspensão temporária do desenvolvimento de modelos ainda mais capazes.
O objetivo seria criar tempo para desenvolver sistemas de controlo, regras e mecanismos de segurança antes de continuar a aumentar as capacidades da tecnologia.
Deixa uma mensagem direta aos investigadores de IA
No final da publicação, Coxon dirigiu-se diretamente às pessoas que atualmente trabalham nos principais laboratórios de inteligência artificial.
Pediu-lhes que pensassem seriamente sobre aquilo que poderão ser chamados a fazer nos próximos anos.
Uma das perguntas que colocou foi particularmente direta.
“Queres iniciar um sistema superinteligente sem uma compreensão rigorosa da sua mente?”
Coxon questiona também a ideia de continuar simplesmente porque “alguém acabará por fazê-lo”.
Anthropic nasceu precisamente com uma imagem de segurança
A polémica torna-se particularmente relevante porque a Anthropic apresenta-se como uma empresa fortemente dedicada à segurança e investigação responsável em inteligência artificial.
A companhia foi fundada em 2021 por Dario Amodei e outros antigos funcionários da OpenAI.
O seu principal produto, Claude, compete diretamente com modelos de outras grandes empresas do setor.
Por isso, a demissão de um investigador ligado à área de alinhamento e segurança ganhou rapidamente enorme atenção.
Mas significa isto que a IA vai matar toda a humanidade?
Não.
É fundamental distinguir entre o alerta de Jacob Coxon e uma previsão científica consensual.
Não existe consenso entre investigadores de inteligência artificial de que a tecnologia irá destruir a humanidade até ao final desta década.
A probabilidade de cenários de extinção provocados por IA é profundamente debatida.
Há especialistas que consideram estes cenários demasiado especulativos
Uma parte da comunidade de investigação leva os chamados riscos existenciais muito a sério.
Outros especialistas consideram que cenários de superinteligência fora de controlo continuam demasiado especulativos e defendem que deveria existir maior atenção aos problemas que já acontecem atualmente.
Entre eles estão fraude, desinformação, ciberataques, perda de empregos, vigilância, enviesamentos e concentração de poder tecnológico.
O aviso é grave precisamente por vir de dentro da indústria
Aquilo que torna as declarações de Coxon particularmente marcantes não é uma certeza de que o cenário se concretizará.
É o facto de o alerta partir de alguém que trabalhou diretamente no desenvolvimento de sistemas avançados tanto na OpenAI como na Anthropic.
Depois de três anos dentro de duas das empresas mais importantes da inteligência artificial mundial, Coxon decidiu abandonar a carreira que tinha nessas organizações.
E a razão que apresenta é inequívoca: acredita que a corrida para sistemas superinteligentes está a avançar mais depressa do que a capacidade da humanidade para garantir que esses sistemas serão seguros.
“Estão a apostar com as nossas vidas”
A frase resume toda a posição do investigador.
Coxon não afirma saber que a humanidade será destruída.
O que diz é que as consequências possíveis são tão graves que não deveriam ser tratadas como uma competição comercial entre empresas privadas.
Para ele, esperar para descobrir quem tinha razão poderá ser demasiado tarde.
E foi precisamente por já não querer participar nessa corrida que decidiu abandonar a Anthropic.