Meta Lança Modelo de Aprendizado de Máquina Muse Spark Open na Amazon SageMaker

A Meta lançou recentemente seu modelo de aprendizado de máquina Muse Spark Open na Amazon SageMaker, permitindo que os desenvolvedores deployem o modelo em um endpoint de AI da SageMaker em sua própria conta da AWS. O Muse Spark Open é um modelo de peso aberto otimizado para fluxos de trabalho de codificação, treinado em workflows de desenvolvedores reais, como refatoração de múltiplos arquivos e sessões de depuração prolongadas.

Com a capacidade de processar uma janela de contexto de 1 milhão de tokens, o modelo pode lidar com projetos inteiros, incluindo dependências, código legado e milhares de arquivos. Além disso, o Muse Spark Open é um modelo de raciocínio que aceita texto, imagens, documentos, áudio e áudio-vídeo como entrada e retorna texto. O modelo utiliza uma arquitetura de mistura de especialistas (MoE) com 816 bilhões de parâmetros totais, dos quais 42 bilhões são ativos para cada token.

A Meta descreve o Muse Spark Open como um modelo de codificação otimizado treinado para fluxos de trabalho de codificação agente, com foco em precisão de primeira tentativa, chamada de ferramentas e compreensão de grandes bases de código. O modelo é capaz de planejar, agir, observar o resultado e corrigir-se ao longo de horizontes longos, em vez de fazer chamadas de ferramentas únicas. Além disso, o modelo pode navegar na web, coordenar subagentes para trabalhos que podem ser divididos e operar computadores em ambientes de desktop, mobile e navegador.

A Amazon SageMaker JumpStart oferece duas variantes do modelo: BF16 (Muse-Spark-Open-816B-A42B) e NVFP4 quantizado (Muse-Spark-Open-816B-A42B-NVFP4). A variante NVFP4 armazena os pesos no formato de ponto flutuante de 4 bits da NVIDIA, que requer aproximadamente um quarto da memória dos pesos BF16. Isso torna a variante NVFP4 a opção a ser tentada primeiro ao dimensionar para custo.

Com os pesos abertos na SageMaker AI, os desenvolvedores também controlam o deploy. O endpoint é executado na conta da AWS do desenvolvedor, permitindo que o código-fonte e os prompts sejam processados em infraestrutura configurada e controlada pelo desenvolvedor. Além disso, os desenvolvedores podem anexar o endpoint à sua própria Amazon Virtual Private Cloud (Amazon VPC), criptografar o volume de armazenamento com uma chave do AWS Key Management Service (AWS KMS) e ativar o isolamento de rede para o contêiner.

O Muse Spark Open pode ser utilizado em uma ampla gama de aplicações, incluindo codificação e fluxos de trabalho agente. A Meta destaca que o modelo é adequado para use cases como codificação, depuração e refatoração de código. Além disso, o modelo pode ser utilizado em aplicações que requerem compreensão de grandes bases de código e precisão de primeira tentativa.

Para deployar o Muse Spark Open, os desenvolvedores podem utilizar o SageMaker Studio ou o SageMaker Python SDK. Cada caminho cria um endpoint de AI da SageMaker em tempo real na conta do desenvolvedor. O deploy do modelo typically leva 15-20 minutos, enquanto a SageMaker AI provisiona a instância e carrega os pesos. Quando o status do endpoint muda para InService, o endpoint está pronto para receber requisições.

Em resumo, o lançamento do Muse Spark Open na Amazon SageMaker oferece uma oportunidade para os desenvolvedores utilizarem um modelo de aprendizado de máquina avançado e otimizado para fluxos de trabalho de codificação. Com sua capacidade de processar grandes conjuntos de dados e realizar tarefas complexas, o Muse Spark Open tem o potencial de revolucionar a forma como os desenvolvedores trabalham e criam software.