NVIDIA Lança Nemotron 3.5 Transcribe para Transcrição Inteligente de Áudio

A NVIDIA acaba de lançar o Nemotron 3.5 Transcribe, um modelo de transcrição de áudio multilíngue e adaptável que pode ser utilizado em diversas aplicações, desde reuniões e aulas até dictação médica. O modelo é capaz de transcrever 40 idiomas, traduzir 31 deles para ou do inglês e atribuir falantes em 13 idiomas. Além disso, pode lidar com gravações de até uma hora de duração e etiquetar até oito falantes.

O Nemotron 3.5 Transcribe é um modelo de peso aberto, o que significa que os desenvolvedores podem adaptá-lo às suas necessidades específicas. Ele também é compatível com a plataforma Hugging Face e ModelScope, o que facilita a integração em diferentes aplicações. Além disso, o modelo pode ser executado localmente em dispositivos como o RTX Spark, DGX Spark ou Jetson AGX Thor, ou escalado em servidores de dados Blackwell.

Um dos principais benefícios do Nemotron 3.5 Transcribe é sua capacidade de lidar com áudio multilíngue e atribuir falantes de forma precisa. Isso é especialmente útil em situações em que há várias pessoas falando ao mesmo tempo, como em reuniões ou aulas. O modelo também pode ser adaptado para lidar com vocabulário específico de domínio e sotaques, o que o torna mais preciso em diferentes contextos.

O Nemotron 3.5 Transcribe também é compatível com a ferramenta Granary v2, que fornece uma pipeline de curação de dados multilíngues e reutilizáveis. Isso permite que os desenvolvedores definam a forma como o modelo deve ser treinado e adaptado às suas necessidades específicas. Em um estudo de caso médico, o uso da Granary v2 reduziu a taxa de erro de palavra em 45,8% em relação ao melhor prompt.

O modelo também é capaz de realizar questionamento de áudio, o que permite que os desenvolvedores criem aplicações que possam responder a perguntas baseadas em áudio. Além disso, o Nemotron 3.5 Transcribe é compatível com a plataforma Agora, que fornece uma solução de voz e vídeo em tempo real para aplicações.

Em termos de desempenho, o Nemotron 3.5 Transcribe é líder em várias líderes de desempenho, incluindo a Hugging Face Open ASR Leaderboard e a Artificial Analysis Speech-to-Text Leaderboard. Ele também é o primeiro colocado em dois benchmarks de atribuição de falantes, o David AI DAI-ASR-I18N e o VoiceArena Diarization-Bench.

No entanto, é importante notar que o Nemotron 3.5 Transcribe é um modelo de peso aberto, o que significa que os desenvolvedores precisam ter conhecimento técnico para adaptá-lo às suas necessidades específicas. Além disso, o modelo pode requerer recursos computacionais significativos para ser executado, especialmente em grandes volumes de áudio.

Em resumo, o Nemotron 3.5 Transcribe é um modelo de transcrição de áudio multilíngue e adaptável que pode ser utilizado em diversas aplicações. Sua capacidade de lidar com áudio multilíngue e atribuir falantes de forma precisa, além de sua compatibilidade com a plataforma Hugging Face e ModelScope, o tornam uma ferramenta poderosa para os desenvolvedores. No entanto, é importante considerar os recursos computacionais necessários para executar o modelo e a necessidade de conhecimento técnico para adaptá-lo às necessidades específicas.