Hugging Face lança Granite Switch 4.1

A Hugging Face acaba de lançar a versão 4.1 do Granite Switch, um projeto que permite uma abordagem modular para o desenvolvimento de modelos de inteligência artificial. Com essa nova versão, os modelos do Granite Switch 4.1 podem se mover eficientemente entre respostas de linguagem natural, decisões gerais e especializadas, e tarefas de reconhecimento de fala, tudo a partir de um único endpoint.

Essa capacidade de realizar múltiplas tarefas a partir de um único endpoint é possível graças à composição de três tecnologias - respostas de linguagem natural, decisões e reconhecimento de fala - em um único modelo, que ocupa aproximadamente a mesma quantidade de memória de vídeo (VRAM) em uma GPU que o modelo base sozinho. Isso significa que é possível realizar mais tarefas com menos GPUs, o que pode ser benéfico para empresas que buscam reduzir os custos de infraestrutura.

Além disso, os adaptadores do Granite Switch foram projetados para ser eficientes em termos de cache, o que permite que o cache criado a partir de uma geração de modelo base possa ser reutilizado para decisões subsequentes baseadas em adaptadores. Isso, combinado com as contribuições recentes da equipe para acelerar a inferência de adaptadores de baixo rank, permite que os modelos do Granite Switch 4.1 mudem rapidamente entre solicitações de chat, decisões e solicitações de fala.

Um exemplo prático disso pode ser visto no espaço de demonstração da Hugging Face, onde o modelo granite-switch-4.1-8b transcreve áudio, gera resumos, verifica conteúdo prejudicial e testa 15 outras bandeiras definidas pelo usuário, tudo em tempo real e a partir de um único endpoint.

Os modelos de decisão não são novidade, mas a capacidade de compor modelos personalizados com adaptadores especializados é uma característica única do Granite Switch. Além disso, os adaptadores especializados podem superar os modelos de decisão generalistas em tarefas de classificação especializadas, o que pode ser benéfico para empresas que buscam melhorar a precisão de suas decisões.

A Hugging Face também realizou um teste comparativo entre o modelo Granite-Switch-4.1-30B e o modelo Jev-27B, e o resultado mostrou que o primeiro foi capaz de completar um fluxo de trabalho de 5 etapas em um ambiente real muito mais rápido do que o segundo.

Os modelos Granite-Switch-4.1-8B e -30B são lançados com "baterias incluídas", ou seja, são modelos pré-compilados com um conjunto pré-definido de adaptadores úteis. No entanto, os usuários também têm a opção de compor seus próprios modelos do Granite Switch, misturando e combinando adaptadores da biblioteca Granite Libraries para atender às suas necessidades específicas.

Em termos de futuro, a Hugging Face vê uma grande oportunidade para a comunidade compor e estender os modelos do Granite Switch com adaptadores personalizados e de terceiros. Além disso, a empresa planeja lançar um kit de desenvolvimento de adaptadores (Adapter SDK) para treinar adaptadores em Mellea, juntamente com outros tutoriais e suporte para o Granite Switch.

Um exemplo interessante disso é a capacidade de usar adaptadores personalizados para ensinar um modelo de 3B parâmetros do Granite a jogar o jogo clássico Doom. O modelo foi capaz de tomar decisões em frações de segundo para navegar pelo jogo, e também pode narrar e responder a perguntas enquanto joga. Isso demonstra a flexibilidade e a capacidade do Granite Switch de realizar tarefas complexas de IA de forma eficiente e personalizada.