Google Desenvolve Arquitetura de Treinamento de IA Mais Resiliente

A Google DeepMind desenvolveu uma nova arquitetura de treinamento de inteligência artificial (IA) chamada Decoupled DiLoCo, que visa aumentar a resiliência e flexibilidade no treinamento de modelos de IA. Essa arquitetura permite que os modelos sejam treinados em diferentes locais, com menor largura de banda e maior tolerância a falhas de hardware.

A Decoupled DiLoCo é baseada em duas tecnologias anteriores: Pathways e DiLoCo. A Pathways introduziu um sistema de IA distribuído com fluxo de dados assíncrono, enquanto a DiLoCo reduziu significativamente a largura de banda necessária entre centros de dados distribuídos. A combinação dessas tecnologias permite que a Decoupled DiLoCo treine modelos de IA de forma mais flexível e escalável.

Um dos principais benefícios da Decoupled DiLoCo é sua capacidade de isolamento de falhas. Se um chip falhar em um local, o treinamento do modelo pode continuar em outros locais sem interrupção. Além disso, a arquitetura é autossuficiente, permitindo que os locais afetados sejam reintegrados ao treinamento após a resolução da falha.

A Google testou a Decoupled DiLoCo com modelos Gemma 4 e obteve resultados promissores. A arquitetura manteve um nível de disponibilidade de clusters de aprendizado maior do que os métodos tradicionais de treinamento, mesmo com falhas de hardware. Além disso, a Decoupled DiLoCo alcançou o mesmo nível de desempenho de aprendizado de máquina (ML) que os métodos tradicionais.

A Decoupled DiLoCo também é prática para execução de pré-treinamento totalmente distribuído em nível de produção. A Google treinou com sucesso um modelo de 12 bilhões de parâmetros em quatro regiões dos EUA, utilizando 2-5 Gbps de rede de área ampla. O sistema alcançou esse resultado mais de 20 vezes mais rápido do que os métodos de sincronização convencionais.

A abordagem da Google para o treinamento de IA é baseada em uma abordagem de pilha completa, abrangendo hardware, infraestrutura de software e pesquisa. A Decoupled DiLoCo é um exemplo disso, permitindo que os trabalhos de treinamento sejam executados em largura de banda de internet, aproveitando recursos de computação ociosos e transformando recursos estragados em capacidade útil.

Além da eficiência e resiliência, a Decoupled DiLoCo também desbloqueia a capacidade de misturar diferentes gerações de hardware em uma única execução de treinamento. Isso não apenas estende a vida útil do hardware existente, mas também aumenta a capacidade de computação total disponível para o treinamento de modelos. Nos experimentos da Google, chips de diferentes gerações executados em velocidades diferentes ainda alcançaram o mesmo nível de desempenho de ML que as execuções de treinamento de um único tipo de chip.

Em resumo, a Decoupled DiLoCo é uma arquitetura de treinamento de IA mais resiliente e flexível, que permite que os modelos sejam treinados em diferentes locais com menor largura de banda e maior tolerância a falhas de hardware. Isso pode ser especialmente útil para empresas brasileiras que buscam desenvolver modelos de IA mais avançados e escaláveis, pois pode ajudar a reduzir os custos e aumentar a eficiência do treinamento de IA. Além disso, a capacidade de misturar diferentes gerações de hardware pode ser especialmente útil para empresas que possuem infraestrutura de hardware heterogênea.