Amazon SageMaker HyperPod Reduz Tempo de Inicialização com Cache de Modelo

A Amazon SageMaker HyperPod, plataforma de inferência de machine learning da Amazon, acaba de receber uma importante atualização: o suporte a cache de modelo para inferência. Isso significa que os modelos de machine learning podem ser pré-carregados nos nós do cluster, reduzindo significativamente o tempo de inicialização dos pods. Com isso, os usuários podem começar a servir tráfego em segundos, em vez de minutos.

Antes, quando um usuário solicitava um pod, havia um atraso significativo entre o momento em que o pod era solicitado e o momento em que ele estava pronto para servir tráfego. Esse atraso era causado por dois downloads sequenciais: o download da imagem do contêiner do servidor de inferência e o download dos pesos do modelo. Para modelos menores, isso podia levar alguns minutos, mas para modelos maiores, como o DeepSeek-R1, que tem mais de 600 GB, o tempo de inicialização podia chegar a 30 minutos ou mais.

Agora, com o cache de modelo, os pesos do modelo e a imagem do contêiner são pré-carregados nos nós do cluster antes de os pods serem solicitados. Isso significa que, quando um pod é iniciado, ele pode ler os dados do cache local em vez de baixá-los pela rede. Com isso, o tempo de inicialização dos pods é reduzido para segundos, em vez de minutos.

O cache de modelo é composto por duas capacidades independentes: o cache de pesos e o cache de imagem. O cache de pesos baixa os pesos do modelo para o armazenamento local NVMe em cada nó do cluster, enquanto o cache de imagem pré-carrega a imagem do contêiner do servidor de inferência nos nós do cluster. Ambas as capacidades podem ser habilitadas juntas ou separadamente.

A Amazon SageMaker HyperPod também introduz dois Custom Resource Definitions (CRDs) para gerenciar o ciclo de vida do cache de modelo. O ModelDataCacheConfig gerencia o ciclo de vida do cache de pesos, enquanto o ModelImageCache gerencia o ciclo de vida do cache de imagem. Esses CRDs são criados e gerenciados automaticamente quando o cache de modelo é habilitado.

Para habilitar o cache de modelo, os usuários precisam adicionar uma seção de configuração de cache de modelo ao seu recurso InferenceEndpointConfig ou JumpStartModel existente. Não é necessário configurar infraestrutura adicional.

Os benchmarks mostram que o cache de modelo pode reduzir o tempo de escalabilidade em até 60% para modelos que variam de 57 a 145 GB. Além disso, o cache de imagem pode remover mais de dois minutos de tempo de inicialização da imagem, alcançando uma redução de até 97% no tempo de inicialização.

Essa atualização é importante para as empresas brasileiras que utilizam a Amazon SageMaker HyperPod para suas necessidades de inferência de machine learning. Com o cache de modelo, elas podem reduzir significativamente o tempo de inicialização dos pods e melhorar a escalabilidade de suas aplicações. Além disso, a redução do tempo de inicialização pode ajudar a melhorar a experiência do usuário e reduzir os custos de operação.

Em resumo, a Amazon SageMaker HyperPod com cache de modelo é uma solução poderosa para as empresas que precisam de inferência de machine learning escalável e eficiente. Com sua capacidade de pré-carregar modelos e imagens, ela pode reduzir significativamente o tempo de inicialização dos pods e melhorar a escalabilidade das aplicações. As empresas brasileiras que utilizam a Amazon SageMaker HyperPod devem considerar habilitar o cache de modelo para melhorar a eficiência e escalabilidade de suas aplicações.