Google anuncia aceleração de quase 3x nos modelos abertos Gemma com otimizações do Gemini 4 Argon

Você provavelmente já rodou um modelo aberto em GPU e sentiu aquela espera pela resposta. Pois é exatamente esse gargalo que a Google atacou.

A empresa anunciou que o Gemini 4 Argon está sendo usado para acelerar os modelos abertos Gemma, tornando-os quase três vezes mais rápidos.

Em apenas alguns dias, a equipe otimizou o Gemma 4 E2B para alcançar um ganho de 2,85x na velocidade de inferência em GPU A100, usando o framework vLLM.

Mas será que o ganho veio com alguma perda de qualidade?

Segundo a empresa, não.

Os números divulgados mostram um salto expressivo de desempenho. O throughput passou de cerca de 37.900 tokens por segundo para mais de 108.000 tokens por segundo.

E o detalhe que importa: todo esse ganho foi obtido com 100% de paridade de tokens e zero queda de qualidade.

Na prática, isso significa que as respostas geradas permanecem idênticas às do modelo original. Apenas consideravelmente mais velozes.

Para demonstrar a capacidade, a Google publicou uma demonstração em que o sistema otimizado gera 64 simulações em Python simultaneamente e em tempo real.

Além da demonstração, o anúncio também reforça a estratégia da Google no segmento de modelos abertos. Nesse mercado, os Gemma competem com alternativas de outras grandes empresas de tecnologia.

Ganhos de eficiência em inferência são relevantes para o setor porque reduzem custos de operação e latência. Com isso, modelos abertos podem rodar de forma mais econômica em infraestrutura de GPU.

A empresa não detalhou, porém, se as mesmas otimizações serão estendidas a outros modelos da família Gemma.

E você, já testou os Gemma em produção? Conta nos comentários como está sua experiência com inferência em modelos abertos.