NVIDIA Lança Modelo de IA Nemotron 3.5 Super VL na AWS

A NVIDIA acaba de lançar o modelo de IA Nemotron 3.5 Super VL na Amazon Web Services (AWS), oferecendo uma solução de inteligência artificial mais avançada e escalável para os clientes. Esse modelo é uma versão mais recente da família de modelos Nemotron, que combina capacidades de raciocínio e uso de ferramentas com compreensão multimodal de texto, imagem, documento e vídeo.

Com 120 bilhões de parâmetros, o Nemotron 3.5 Super VL é um modelo de mistura de especialistas (MoE) que ativa 12 bilhões de parâmetros por token, permitindo que um único modelo sirva tanto para tarefas de texto quanto para tarefas visuais. Além disso, o modelo é open-source, permitindo que os clientes customizem o modelo para suas necessidades específicas e o executem em infraestrutura própria.

A NVIDIA relata que o Nemotron 3.5 Super VL alcançou resultados impressionantes em benchmarks de desempenho, incluindo 63,44% no Hermes Bench e 87,05% no LangChain agent evaluations. Além disso, o modelo alcançou 80,8% no benchmark de raciocínio de gráficos CharXiv.

A arquitetura do Nemotron 3.5 Super VL é baseada em uma arquitetura híbrida Mamba-Transformer MoE, que intercala camadas Mamba-2, atenção e especialistas. A rotação esparsa ativa 12 bilhões dos 120 bilhões de parâmetros por token, permitindo que o cálculo por token seja equivalente a um modelo muito menor, enquanto a memória da GPU ainda mantém os pesos completos do modelo.

O Nemotron 3.5 Super VL é compatível com fluxos de trabalho de agente que combinam raciocínio com compreensão visual e pode ser integrado a frameworks de agente abertos e sistemas de orquestração por meio de implementações de referência da NVIDIA. Além disso, o modelo pode ser implantado na AWS utilizando o Amazon Elastic Kubernetes Service (EKS), o EKS Auto Mode e o SageMaker HyperPod EKS com a NVIDIA Dynamo.

A implantação do Nemotron 3.5 Super VL na AWS é relativamente simples e pode ser realizada utilizando a referência de implementação fornecida pela NVIDIA. A arquitetura de implantação é baseada em um cluster de Kubernetes que inclui um plano de controle que hospeda a API do Kubernetes e um plano de dados que inclui nós de CPU e GPU. Os nós de CPU executam pods de sistema e teste, enquanto os nós de GPU executam o modelo.

A NVIDIA também fornece ferramentas para medir o desempenho do modelo implantado, incluindo o NVIDIA aiperf, que pode ser utilizado para medir a latência e o throughput do modelo. Além disso, a NVIDIA fornece um conjunto de ferramentas para automatizar a visualização da utilização da GPU e da EFA, bem como a execução de aiperf e varreduras de concorrência com comandos simples.

Em resumo, o lançamento do Nemotron 3.5 Super VL na AWS oferece uma solução de inteligência artificial mais avançada e escalável para os clientes, com capacidades de raciocínio e uso de ferramentas combinadas com compreensão multimodal de texto, imagem, documento e vídeo. A implantação do modelo é relativamente simples e pode ser realizada utilizando a referência de implementação fornecida pela NVIDIA. Além disso, a NVIDIA fornece ferramentas para medir o desempenho do modelo implantado e automatizar a visualização da utilização da GPU e da EFA.