Meta выпустила Muse Spark Open — открытую по весам мультимодальную модель с архитектурой Mixture-of-Experts. По данным карточки, общее число параметров составляет около 816 млрд, из них примерно 42 млрд активны на токен, а контекстное окно достигает 1 млн токенов.
Модель принимает на вход текст, изображения, аудио и видео, а генерирует текст. В каждом MoE-слое 256 экспертов, роутер выбирает 8 экспертов на токен; на экспертов приходится около 97% всех параметров. Языковая часть включает 62 слоя, скрытую размерность 8192, 128 query-голов и 16 key-value голов (grouped-query attention). Perception-энкодер имеет 1,8 млрд параметров, 50 слоев, скрытую размерность 1536 и 16 голов внимания. Аудиоэнкодер выдаёт один аудиотокен каждые 80 мс — 12,5 токена в секунду.
Чекпоинты опубликованы в форматах BF16 и NVFP4 в репозиториях Muse-Spark-Open-816B-A42B и Muse-Spark-Open-816B-A42B-NVFP4. BF16-версия занимает около 1,5 ТБ в формате safetensors; NVFP4 хранит параметры в 4-битной точности для GPU NVIDIA Blackwell. В transformers BF16-чекпоинт запускается на 4 узлах по 8 GPU H200 с tensor parallelism (TP=32), NVFP4 — на одном узле B200. По заявлению Meta, модель оптимизирована под агентное программирование: чтение кодовой базы, написание и отладку кода, вызов инструментов.
KV-кэш добавляет около 250 КБ на токен в BF16 и около 266 ГБ для полного контекста в 1 млн токенов. Muse Spark Open — полноразмерная модель серии Muse; вышедшая в августе Muse Glimmer является небольшой dense-моделью той же серии с тем же токенизатором. Независимые результаты бенчмарков, условия лицензии, дата общественной доступности и региональные ограничения в материале не приводятся.
Источник события: huggingface.co. Дата источника (UTC): 2026-10-15 00:00:00.