Nvidia 28. októbra uvoľnila Nemotron 3.5 Transcribe — otvorený rečový model s otvorenými váhami, ktorý v jednom balíku rieši prepis zvuku, označovanie rečníkov, časové značky slov aj preklad. Pre tímy, ktoré dnes skladajú prepis z Whisperu, diarizácie a prekladateľa, môže ísť o výrazné zjednodušenie.
Čo model dokáže
- Prepíše nahrávky do 1 hodiny v 40 jazykoch.
- Rozozná až 8 rečníkov a označí ich priamo v prepise (diarizácia v 13 jazykoch).
- Prekladá medzi angličtinou a ďalšími 31 jazykmi.
- Ovláda sa prirodzeným jazykom: „prepiš a označ rečníkov“, „prelož do angličtiny“ alebo „aké rozhodnutia na stretnutí padli“. Výstup vie byť doslovný prepis aj upravená písaná forma.
- Vie časové značky na úrovni slov a dokáže vymazať osobné údaje.
Architektúra je hybrid Mamba-2/Transformer typu mixture-of-experts: z celkových ~34 miliárd parametrov je aktívnych len ~4,3 miliardy na token, takže model v BF16 beží na jednej H100 80 GB a vo verzii NVFP4 podľa MarkTechPost stačí aj RTX 5090.
Ako je na tom v presnosti
Nvidia uvádza prvé miesto medzi otvorenými modelmi na Open ASR leaderboardu Hugging Face (priemerné WER 5,33 % v angličtine, 4,62 % v priemere siedmich jazykov). Nezávislé meranie Artificial Analysis hlási 2,8 % AA-WER — delené prvé miesto medzi otvorenými modelmi s Voxtral Small, ktorý má približne šesťkrát viac aktívnych parametrov. Uzavreté komerčné API sú podľa dostupných porovnaní stále lepšie.
Praktický trik z model karty: ak do promptu vypíšete zoznam názvov (firmy, produkty, domény), chybovosť vlastných mien klesne z 12,21 % na 2,20 %.
Ako ho vyskúšať
- Demo: najrýchlejšie cez oficiálne online demo Nvidia — nahrajte nahrávku a skúste prompt „prepiš a označ rečníkov“.
- Váhy: Hugging Face alebo ModelScope, licencia OpenMDW-1.1 povoluje komerčné použitie. Dostupné vo BF16, FP8 aj NVFP4.
- Prevádzka: runtime NeMo 26.06+; vstup musí byť mono. Hostovaný endpoint ponúka DeepInfra — Artificial Analysis namerala rýchlosť ~75× (minúta zvuku pod sekundu) za cca 2 USD / 1000 minút.
- Ladění domény: k modelu sú otvorené aj dataset Granary v2 (463 062 hodín v 48 jazykoch) a nástroje na fine-tuning; v medicínskej štúdii Nvidia znížila fine-tuningom WER o ďalších ~46 %.
Na čo si dať pozor
- Model je offline — na živé streamovanie je určený menší súrodenec Nemotron 3.5 ASR (0,6B, 40 lokalít, natívny streaming).
- Audio otázky-odpovede sú trénované len v angličtine; podpora jazykov sa líši podľa úlohy (40 pre prepis, 31 pre preklad, 13 pre rečníkov).
- Mandarínčina a miešanie jazykov v jednej nahrávke patria podľa MarkTechPost k slabším miestam.
- Mená, zmenu rečníka a odpovede si vždy overte voči nahrávke.
