Введение
Qwen3-Embedding-8B — флагманская модель для генерации текстовых эмбеддингов от компании Alibaba, входящая в семейство Qwen3 Embedding. Она предназначена для преобразования текста в плотные векторные представления, которые используются в задачах семантического поиска, информационного поиска (Retrieval-Augmented Generation, RAG), классификации, кластеризации и оценки семантической близости. Модель является частью серии, включающей также версии на 0.6B и 4B параметров. Официальный сайт: https://qwenlm.github.io.
Модель базируется на плотной трансформерной архитектуре Qwen3 и наследует её выдающиеся многоязычные способности, навыки понимания длинных текстов и рассуждения. Ключевой особенностью Qwen3-Embedding-8B является её способность генерировать эмбеддинги по пользовательским инструкциям, что позволяет адаптировать векторное представление под конкретную задачу или домен. На момент выхода модель заняла первое место в многоязычном лидерборде MTEB (Massive Text Embedding Benchmark), что подтверждает её статус одного из лучших решений в своей области.
Технические характеристики
Основные параметры
- Количество параметров: 8 миллиардов (8.19B)
- Архитектура: Плотный трансформер (dense transformer) на базе Qwen3
- Количество слоёв: 36
- Максимальная длина контекста: 32 000 токенов
- Размерность эмбеддинга: До 4096 (по умолчанию); поддерживается настройка в диапазоне от 32 до 4096
- Тип модели: Только кодировщик (pure encoder), дискриминативная модель
Поддержка языков
Модель поддерживает более 100 языков, включая различные языки программирования. Это обеспечивает robust-многоязычные, кросс-языковые возможности и поиск по коду.
Ключевые особенности
- Поддержка инструкций (Instruction-Aware): Модель позволяет передавать текстовые инструкции, описывающие задачу или домен, что направляет процесс генерации эмбеддинга и повышает точность на 1-5%.
- Matryoshka Representation Learning (MRL): Технология, позволяющая на этапе вывода запрашивать эмбеддинги пониженной размерности (например, 256, 512, 1024) без необходимости пересчёта. Это даёт гибкость в управлении вычислительными затратами и хранилищем.
- Поддержка длинных документов: Контекстное окно в 32 000 токенов позволяет обрабатывать целые документы без необходимости их разбиения на части.
- Универсальность: Модель показывает высокую эффективность в различных задачах: поиск текста, поиск кода, классификация, кластеризация, извлечение параллельных текстов (bitext mining).
Дата выхода и статус
Модель была опубликована на платформе Hugging Face 6 июня 2025 года. По состоянию на апрель 2026 года это актуальная флагманская модель эмбеддингов от Alibaba. Технический отчёт с подробным описанием архитектуры, методологии обучения и результатами оценки доступен по ссылке: arXiv:2506.05176.
Обучение и данные
Процесс обучения Qwen3-Embedding-8B состоит из двух основных этапов:
- Этап I: Масштабное предварительное обучение с weak-супервизией: На этом этапе модель обучается на больших объёмах синтетических и реальных данных с использованием контрастного обучения для изучения базовых семантических представлений.
- Этап II: Контролируемая донастройка: Модель дополнительно обучается на размеченных данных с использованием контрастного обучения и техник синтеза данных, управляемых инструкциями, а также продвинутых стратегий слияния моделей (model merging) для достижения максимальной производительности.
Ключевую роль в генерации высококачественных и разнообразных обучающих данных сыграла большая языковая модель Qwen3.
Производительность
Qwen3-Embedding-8B демонстрирует передовую производительность, подтверждённую лидерством в бенчмарках:
- MTEB Multilingual Leaderboard: По состоянию на 5 июня 2025 года модель занимает 1-е место с результатом 70.58 баллов. Этот бенчмарк оценивает модели по широкому спектру задач, включая поиск текста, поиск кода, классификацию, кластеризацию и извлечение параллельных текстов.
- Сравнение с конкурентами: По утверждениям, модель превосходит многие коммерческие API, включая Gemini-Embedding от Google.
- Клинические исследования: В одном из исследований модель
Qwen3-Embedding-8Bпоказала нулевое количество направленных ошибок при сравнении семантических сдвигов в клинических заметках, в то время как другие модели, напримерmultilingual-E5-large, ошибались в 13.8% случаев.
Развёртывание и использование
Модель доступна в различных форматах и через различные платформы:
| Формат/Платформа | Описание |
|---|---|
| Hugging Face | Оригинальная модель доступна по адресу: Qwen3 Embedding 8B |
| GGUF (квантованные) | Доступны квантованные версии (например, Q6_K, Q8_0) для эффективного локального запуска, например, через Ollama или llama.cpp |
| API | Модель доступна через API-совместимые с OpenAI провайдеры, такие как OVHcloud, SiliconFlow, Fireworks AI, OpenRouter |
| FuriosaAI | Специализированная сборка (FXB) для запуска на аппаратном обеспечении FuriosaAI RNGD |
| Sentence Transformers | Поддерживается через библиотеку sentence-transformers |
Требования к входным данным:
- Текстовые данные до 32 000 токенов
- Поддерживается пакетная обработка для масштабной генерации эмбеддингов
Пример использования через OpenAI-совместимый API (curl):
curl http://localhost:8000/v1/embeddings \ -H "Content-Type: application/json" \ -d '{ "model": "Qwen3 Embedding 8B", "input": ["Hello, world!", "How are you?"] }'Настройка размерности: При запросе можно указать параметр dimensions для получения эмбеддинга нужной размерности (например, 256, 512, 1024).
Лицензия и условия использования
Модель распространяется под лицензией Apache 2.0. Это разрешительная лицензия, позволяющая использовать, модифицировать и распространять модель как в коммерческих, так и в некоммерческих целях при соблюдении условий лицензии.
Экосистема Qwen
Qwen3-Embedding-8B является частью более широкой экосистемы Qwen от Alibaba, которая включает:
- Qwen3-Embedding Series: Модели эмбеддингов размером 0.6B, 4B и 8B
- Qwen3-Reranker Series: Модели для переранжирования результатов поиска
- Qwen3 (LLM): Базовые большие языковые модели, на которых основаны эмбеддинг-модели
- Qwen-VL: Мультимодальные модели для работы с изображениями
Официальный сайт: https://qwenlm.ai/
