NVIDIA Lança Nemotron 3.5 Lightning no Amazon SageMaker JumpStart

A NVIDIA acaba de lançar o Nemotron 3.5 Lightning, um modelo de inteligência artificial (IA) de código aberto, no Amazon SageMaker JumpStart. Este modelo é projetado para executar tarefas de alta volume e especializadas, com até 4x mais throughput e 30% mais rapidez na conclusão de tarefas em comparação com outros modelos. Com 30 bilhões de parâmetros, sendo 3 bilhões ativos, o Nemotron 3.5 Lightning pode ser executado em uma única unidade de processamento gráfico (GPU) suportada.

O Nemotron 3.5 Lightning é baseado em uma arquitetura híbrida de Mixture-of-Experts (MoE) e é treinado especificamente para uso em ferramentas de agentes em diferentes harnesses de agentes. Além disso, o modelo é treinado em conjuntos de dados abertos e é liberado como um modelo de código aberto, permitindo que os usuários o personalizem, mantenham o controle dos pesos resultantes e o deployem em qualquer lugar onde os agentes sejam executados.

A disponibilidade do Nemotron 3.5 Lightning no Amazon SageMaker JumpStart permite que os usuários o deployem sem precisar configurar a infraestrutura de servidores manualmente. Além disso, o modelo pode ser personalizado com o NVIDIA NeMo para ferramentas, fluxos de trabalho e políticas específicas de domínio, e então deployado no ambiente escolhido.

O Nemotron 3.5 Lightning é projetado para trabalhar com agentes que executam tarefas contínuas, como coletar contexto, observar o ambiente, raciocinar sobre o que sabem e agir. Muitas dessas etapas podem envolver chamadas de modelo, mas nem todas requerem o mesmo nível de capacidade. Com o Nemotron 3.5 Lightning, os usuários podem criar um sistema de modelos que roteie cada etapa para um modelo adequado para a tarefa.

A combinação do Nemotron 3.5 Lightning com o Amazon SageMaker JumpStart oferece uma solução poderosa para empresas que precisam executar tarefas de alta volume e especializadas com rapidez e eficiência. Com o modelo disponível no SageMaker JumpStart, os usuários podem aproveitar a escalabilidade e a flexibilidade da nuvem para deployar e gerenciar seus modelos de IA.

Além disso, o Nemotron 3.5 Lightning pode ser usado em uma variedade de setores, incluindo assistentes pessoais, serviços financeiros, operações de segurança, telecomunicações e varejo. Com a capacidade de personalizar o modelo para atender às necessidades específicas de cada empresa, o Nemotron 3.5 Lightning é uma ferramenta valiosa para qualquer organização que busque melhorar a eficiência e a eficácia de suas operações.

No entanto, é importante notar que o deploy do Nemotron 3.5 Lightning no Amazon SageMaker JumpStart cria um endpoint de IA que incurre em custos enquanto estiver em execução. Portanto, é fundamental deletar o endpoint quando não estiver mais em uso para evitar custos desnecessários.

Em resumo, o lançamento do Nemotron 3.5 Lightning no Amazon SageMaker JumpStart é uma grande notícia para empresas que buscam melhorar a eficiência e a eficácia de suas operações com a ajuda da IA. Com sua arquitetura híbrida de MoE, capacidade de personalização e escalabilidade na nuvem, o Nemotron 3.5 Lightning é uma ferramenta poderosa para qualquer organização que busque aproveitar o potencial da IA.