Google lança modelo de geração de texto mais rápido

A Google DeepMind acaba de lançar o DiffusionGemma, um modelo experimental de geração de texto que promete ser até 4x mais rápido do que os modelos autoregressivos tradicionais em GPUs dedicadas. Isso é possível graças à abordagem de difusão de texto, que gera blocos inteiros de texto simultaneamente, em vez de processar token por token.

O DiffusionGemma é baseado na família de modelos Gemma 4 e na pesquisa Gemini Diffusion, e integra uma nova cabeça de difusão projetada para maximizar a velocidade de geração. Embora os modelos autoregressivos Gemma 4 sejam ainda o padrão para produções de alta qualidade, o DiffusionGemma é projetado para pesquisadores e desenvolvedores que exploram fluxos de trabalho interativos e locais, como edição em linha, iteração rápida e geração de estruturas de texto não lineares.

Um dos principais benefícios do DiffusionGemma é a capacidade de melhorar o desempenho em tarefas específicas por meio de fine-tuning. Por exemplo, a Unsloth fine-tuneou o DiffusionGemma para jogar Sudoku, uma tarefa que os modelos autoregressivos têm dificuldade em realizar devido à dependência de cada token em relação a tokens futuros. A atenção bidirecional do DiffusionGemma torna essa tarefa muito mais fácil.

A comunidade de pesquisa em IA há anos explora a geração de texto baseada em difusão, mas aplicá-la a modelos grandes era um desafio. O DiffusionGemma muda isso, alterando a forma como os modelos utilizam o hardware. Em vez de gerar palavras sequencialmente, o DiffusionGemma cria um parágrafo inteiro de 256 tokens simultaneamente. Isso permite que o processador do computador trabalhe em uma carga mais pesada de uma vez, utilizando o hardware ao máximo.

Isso significa que o DiffusionGemma é projetado para inferência local e de baixa concorrência. Em servidores de nuvem de alta concorrência, os modelos autoregressivos podem ser implantados para saturar a capacidade de computação de forma eficiente, então o DiffusionGemma não oferece vantagens significativas e pode resultar em custos de servir mais altos. A vantagem de throughput é mais forte em tamanhos de lote baixo a médio em um único acelerador.

Semelhante aos geradores de imagens de IA que começam com estática visual e refinam-na iterativamente em uma imagem clara, o DiffusionGemma aplica essa abordagem ao texto. Como o modelo pode processar o parágrafo inteiro enquanto gera, ele desbloqueia novos padrões de comportamento do modelo, como fechar formatação de markdown complexa perfeitamente ou gerar e renderizar código em quase tempo real.

No entanto, é importante notar que essa aceleração depende da exploração da alta intensidade aritmética dos aceleradores, então as arquiteturas de memória unificada, como as dos Macs Apple Silicon, que têm uma razão de largura de banda de computação para memória mais baixa, podem não ver a mesma aceleração sobre os modelos autoregressivos como o Gemma 4.

Em resumo, o DiffusionGemma é um modelo de geração de texto mais rápido e eficiente que pode ser útil para pesquisadores e desenvolvedores que exploram fluxos de trabalho interativos e locais. No entanto, é importante considerar as limitações e trade-offs do modelo, especialmente em relação à concorrência e ao hardware.