Введение
NVIDIA Parakeet TDT 0.6B v3 — мощная многоязычная модель автоматического распознавания речи (ASR) от NVIDIA, предназначенная для высокопроизводительного преобразования речи в текст. Модель является развитием версии parakeet-tdt-0.6b-v2, которая поддерживала только английский язык. Ключевым усовершенствованием v3 стало расширение языковой поддержки до 25 европейских языков, что делает её универсальным решением для мультиязычных задач транскрипции.
Модель относится к семейству Parakeet TDT (Transducer with Timestamps), которое отличается встроенной функцией расстановки знаков препинания и заглавных букв, а также способностью выдавать точные временные метки на уровне слов. Это позволяет использовать её в широком спектре приложений: от автоматической генерации субтитров и стенограмм конференций до голосовых интерфейсов и анализа звонков в контакт-центрах. Благодаря высокой пропускной способности и автоматическому определению языка, одна модель способна заменить несколько узкоспециализированных ASR-систем.
Технические характеристики и архитектура
Основные параметры
- Количество параметров: ~600 миллионов
- Архитектура: FastConformer (энкодер) + TDT (декодер)
- Энкодер: FastConformer с 24 слоями и размерностью скрытого состояния 1024
- Декодер: TDT (Transducer with Timestamps), состоящий из 2-слойной LSTM и объединённой сети (joint network)
- Токенизатор: SentencePiece BPE (Byte Pair Encoding) с размером словаря 8192 токенов
Языковая поддержка
Модель поддерживает 25 европейских языков:
- Славянские: болгарский (bg), хорватский (hr), чешский (cs), польский (pl), русский (ru), словацкий (sk), словенский (sl), украинский (uk)
- Германские: английский (en), датский (da), голландский (nl), немецкий (de), шведский (sv)
- Романские: французский (fr), итальянский (it), португальский (pt), румынский (ro), испанский (es)
- Балтийские: латышский (lv), литовский (lt)
- Финно-угорские: эстонский (et), финский (fi), венгерский (hu)
- Греческий (el), Мальтийский (mt)
Модель поддерживает автоматическое определение языка — пользователю не нужно указывать язык аудио заранее.
Ключевые особенности
- Встроенная пунктуация и капитализация: модель автоматически расставляет знаки препинания и заглавные буквы без необходимости в отдельном модуле пост-обработки
- Временные метки: точное прогнозирование временных меток на уровне слов, символов и сегментов
- Поддержка длинных аудио: возможность обработки аудио длиной до 24 минут за один проход (при использовании полного внимания на A100 80GB) или до 3 часов с локальным вниманием
- Высокая пропускная способность: достигает RTFx (Real Time Factor) 2940 на лидерборде HF-Open-ASR (при размере батча 128)
- Робастность: отличная точность при работе с шумом, различными акцентами, а также при транскрипции произнесённых чисел и текстов песен
Дата выхода и статус
Модель была опубликована на платформе Hugging Face 12 марта 2026 года. По состоянию на апрель 2026 года модель включена в состав NVIDIA Speech NIM Microservices (выпуск 26.02.0), где представлена как мультиязычная ASR-модель с автоматическим определением языка. Коллекция Parakeet TDT 0.6B на NVIDIA NGC была обновлена 24 марта 2026 года.
Обучение и данные
Модель обучена на корпусе Granary — мультиязычном наборе данных NVIDIA, содержащем записи речи на 25 европейских языках. Точный объём обучающих данных не раскрывается, однако известно, что модели семейства Parakeet обучаются на десятках тысяч часов размеченной речи (например, версия Parakeet CTC 0.6B обучена на более чем 28 000 часах).
Технический отчёт с подробным описанием архитектуры, методологии обучения, составом датасетов и результатами оценки доступен по ссылке: arXiv:2509.14128.
Производительность
Модель демонстрирует высокие показатели точности на мультиязычных бенчмарках. Согласно оценкам NVIDIA, Parakeet TDT 0.6B v3 стабильно занимает лидирующие позиции в тестах ASR, значительно превосходя более лёгкие модели FastConformer (объёмом ~100 МБ) за счёт большей ёмкости в 600 миллионов параметров.
Оценка качества проводилась для 24 поддерживаемых языков (исключая латышский, который не поддерживается некоторыми сравниваемыми моделями). Основной метрикой качества является WER (Word Error Rate) — частота ошибок на уровне слов.
Развёртывание и использование
Модель доступна в нескольких форматах для различных сред выполнения:
| Формат | Платформа | Описание |
|---|---|---|
NeMo .nemo |
NVIDIA NeMo | Исходный формат от NVIDIA |
| Hugging Face | Transformers | Стандартный формат для экосистемы PyTorch |
| Safetensors | Modular MAX | Конвертированная версия для фреймворка MAX |
| MLX | Apple Silicon | Оптимизированная версия для чипов Apple |
| ONNX | ONNX Runtime | Для использования с onnx-asr |
| Core ML | Apple | Для интеграции в приложения iOS/macOS |
| ExecuTorch | PyTorch | С бэкендом XNNPACK для CPU |
| NIM | NVIDIA | Готовый микросервис для промышленного развёртывания |
Требования к входным данным:
- Формат аудио: моно, частота дискретизации 16 кГц
- Поддерживаемые форматы: WAV, а также M3U8 (с возможностью указания начального и конечного времени для обработки фрагмента)
Пример использования через API (Modular MAX):
max serve --model-path pherber3/NVIDIA Parakeet TDT 0.6B v3 --devices cpu curl http://localhost:8000/v1/audio/transcriptions -F file=@audio.wav -F "model=pherber3/NVIDIA Parakeet TDT 0.6B v3"Лицензия и условия использования
Модель распространяется под лицензией Creative Commons Attribution 4.0 International (CC BY 4.0). Это разрешительная лицензия, позволяющая использовать модель как в коммерческих, так и в некоммерческих целях при условии указания авторства.
Экосистема NVIDIA
Модель NVIDIA Parakeet TDT 0.6B v3 является частью более широкой экосистемы NVIDIA Speech AI, которая включает:
- NeMo — фреймворк для обучения и тонкой настройки ASR-моделей
- Riva — платформа для развёртывания речевых AI-сервисов
- NIM (NVIDIA Inference Microservices) — готовые контейнеры для промышленного развёртывания
В составе Speech NIM Microservices модель доступна с типом multi для автоматического определения языка. В комплекте с моделью поставляются также компоненты для Voice Activity Detection (VAD) на основе Silero и Speaker Diarization на основе Sortformer для идентификации разных говорящих.
Официальный сайт: https://www.nvidia.com/en-us/ai/
