Imagine um futuro onde agentes de IA poderiam substituir ferramentas tradicionais de segurança cibernética. Essa é a questão central de um estudo recente que avalia a eficiência de modelos de linguagem de código aberto em comparação com ferramentas de teste de segurança de aplicações estáticas (SAST).
A pesquisa, conduzida por Derek Yohn e colegas, investiga se agentes baseados em modelos GenAI poderiam efetivamente substituir ferramentas como o Bandit em testes de segurança. Os resultados do estudo, publicados no arXiv, são claros: os agentes de IA não são adequados para essas tarefas, segundo os pesquisadores Fonte original.
Desempenho dos agentes de IA
> "A pesquisa refuta a ideia de que agentes de IA baseados em LLM são adequados para SAST em condições realistas."
Os pesquisadores testaram três modelos de código aberto hospedados pela Ollama, usando métricas como precisão, recall e contagem de falsos positivos. A ideia era verificar se esses agentes poderiam igualar ou superar o desempenho de ferramentas como o Bandit.
Metodologia e resultados
Critérios de avaliação
Foram utilizados critérios rigorosos para avaliar os agentes.
- Precisão: Qualidade na identificação de vulnerabilidades
- Recall: Capacidade de detectar todas as vulnerabilidades
- Falsos Positivos: Número de alertas incorretos
Comparação com SAST
Os modelos de IA foram comparados com o Bandit, uma ferramenta já estabelecida no mercado. Apesar das promessas, os agentes de IA falharam em atingir o mesmo nível de eficácia.
O que os pesquisadores concluíram
A conclusão do estudo é que, embora os agentes de IA tenham potencial, eles ainda não são confiáveis para substituir ferramentas de segurança tradicionais. O estudo destaca a importância de continuar investindo em SAST, enquanto as soluções de IA ainda precisam evoluir.
Segundo o artigo, a tecnologia de modelo de linguagem ainda não está pronta para lidar com complexidades envolvidas em testes de segurança cibernética Fonte original.
Reflexões sobre o futuro
O estudo levanta questões importantes sobre o papel das IAs na segurança cibernética. A pesquisa sugere que, embora promissoras, essas tecnologias ainda precisam amadurecer para serem aplicáveis em cenários reais.
O que muda pra você?
Apesar dos avanços, a substituição total de ferramentas SAST por agentes de IA ainda parece distante. Se você trabalha com segurança cibernética, é importante continuar utilizando ferramentas tradicionais, enquanto observa as evoluções no campo das IAs.
A tecnologia avança rapidamente, mas a questão permanece: quando as IAs estarão prontas para este desafio?
