US$ 40 milhões. Esse é o valor que a startup Gray Swan acaba de captar para colocar 15 mil hackers à prova.
A empresa quer garantir que modelos como o GPT-5 e o Gemini sejam seguros antes de chegarem ao público.
Se você achava que a IA já era segura, os bastidores mostram um cenário bem diferente.
O exército de 15 mil hackers
> "O objetivo é convencer modelos da OpenAI e Anthropic a se comportarem de forma nefasta antes do lançamento."
A Gray Swan não utiliza apenas algoritmos para testar a segurança das IAs. Ela conta com uma rede humana massiva.
São cerca de 15.000 hackers focados em encontrar falhas em modelos de IA de ponta.
Esses profissionais participam de desafios na plataforma Arena, onde tentam "quebrar" as regras das inteligências artificiais.
De acordo com a fonte original, o objetivo é identificar vulnerabilidades críticas.
O que muda para as empresas
A rodada de investimento marca uma nova fase para a startup fundada em 2023.
Os fundadores, Matt Fredrikson e Zico Kolter, querem expandir as ferramentas de proteção para o setor corporativo.
A ideia é vender segurança para empresas que estão criando seus próprios agentes de IA.
Essa expansão é necessária porque o mercado está saindo dos simples chatbots para sistemas autônomos.
Vulnerabilidades encontradas nos testes
Os testes realizados pela Gray Swan revelam problemas que as empresas tentam mitigar antes do lançamento comercial.
Confira os principais focos de ataque dos hackers:
- Dados sensíveis: Tentativas de vazar registros médicos ou informações privadas.
- Direitos autorais: Extração de letras de músicas ou textos protegidos por copyright.
- Jailbreak: Técnicas para burlar as travas éticas e de segurança do sistema.
- Comportamento nocivo: Instruções para atividades ilegais ou perigosas.
O desafio de domar o GPT-5 e o Gemini
A Gray Swan trabalha hoje com quase todos os grandes laboratórios de IA do mundo.
Isso inclui gigantes como OpenAI, Anthropic e Google, testando modelos como o Claude e o Gemini.
A Forbes destaca que até o ainda não lançado GPT-5 está no radar desses testes.
Na prática, isso significa submeter a IA a milhares de cenários de estresse simultâneos.
> "Ver o modelo falhar era algo engraçado para mim às vezes", diz Kameron Bettridge, um dos hackers da rede.
Além dos chatbots: o risco dos agentes
O grande diferencial desta nova fase da Gray Swan é o foco nos agentes de IA.
Diferente de um chat comum, agentes podem tomar decisões e acessar sistemas internos de grandes corporações.
Isso cria um risco de segurança sem precedentes para o mundo empresarial.
Um agente manipulado pode apagar bancos de dados ou vazar segredos industriais em segundos.
A Gray Swan quer ser a camada de proteção que impede que esses agentes sejam enganados.
O veredito
A segurança da IA não é mais um detalhe, mas o coração do desenvolvimento tecnológico atual.
Com 15 mil mentes tentando burlar o sistema, a Gray Swan espera tornar o futuro digital mais resiliente.
O investimento de US$ 40 milhões mostra que o mercado confia nessa abordagem de "ataque para defender".
Qual dessas vulnerabilidades você acha que é a mais perigosa para as empresas hoje?
