A Anthropic avisou investidores que a própria tecnologia pode representar riscos existenciais para a humanidade. Se você acompanha IA ou tem alguma exposição a ações de tecnologia, vale parar nesta frase.
O alerta aparece no prospecto de IPO da empresa, tornado público na segunda-feira (26). Não é o tipo de aviso que se espera de quem quer vender ações.
O que o prospecto diz
Como a maioria das empresas que vão à bolsa, a Anthropic lista riscos de concorrência, regulação e economia. Até aí, nada fora do padrão.
O ponto diferente é outro. A companhia afirma que sua tecnologia pode causar “riscos catastróficos ou existenciais para a humanidade”.
> “Riscos catastróficos ou existenciais para a humanidade.”
Segundo a reportagem da Fortune, a preocupação existe “dentro da nossa organização”, segundo o próprio prospecto da empresa.
Não é a primeira vez que a empresa fala disso
A Anthropic sempre foi vocal sobre os riscos que seus modelos podem causar. Por isso, o alerta não surpreende totalmente.
O CEO Dario Amodei já estimou o próprio “p(doom)”, a probabilidade de a IA destruir a humanidade, entre 10% e 25%.
Funcionários da empresa também se manifestaram publicamente sobre os riscos de IAs cada vez mais poderosas. Ou seja, a preocupação não parece restrita a um comunicado de departamento jurídico.
Os riscos que mais chamam atenção
O documento tem cerca de 300 páginas. Aproximadamente 94 delas tratam de outras ameaças ao negócio.
A reportagem destaca cinco riscos. O primeiro é o de sistemas autônomos fugirem do controle.
Sistemas que agem sozinhos
O prospecto diz que sistemas avançados podem ser mal utilizados, armados ou operar com alta autonomia.
A empresa alerta que sistemas mais autônomos poderiam tomar ações prejudiciais de forma independente, por desalinhamento ou comportamentos de autopreservação.
O que o trecho não mostra
O título da reportagem cita um conflito com o Pentágono. O trecho disponível, porém, não traz detalhes sobre esse embate.
Riscos existenciais no mesmo documento das contas da Anthropic
O prospecto também traz perdas, receita, estrutura de governança e planos de infraestrutura da companhia.
Ou seja, o alerta sobre riscos existenciais aparece junto de dados financeiros que investidores vão analisar.
Essa combinação é incomum. Empresas costumam tratar riscos extremos com mais cautela em documentos de venda de ações.
E agora, o que muda?
Uma empresa de IA dizendo que a própria tecnologia pode ser perigosa chama atenção. Mas uma frase não basta para medir o tamanho do risco.
O trecho analisado não mostra quais medidas concretas a empresa adota para reduzir essas ameaças. Essa é a parte que faltaria para avaliar o alerta com seriedade.
Você confia em um alerta desses vindo de quem também vende a tecnologia?
*Nota da redação: a fonte disponível é um trecho parcial da reportagem. Detalhes adicionais do prospecto não foram incluídos por falta de confirmação.*
