IBM представила семейство моделей Granite Switch 4.1 — Granite-Switch-4.1-8B и Granite-Switch-4.1-30B. Анонс опубликован в блоге Hugging Face 15 октября 2026 года. По описанию, модели объединяют чат, принятие решений общего назначения и распознавание речи в одной hosted-точке, занимая примерно столько же VRAM на GPU, сколько базовая модель сама по себе.
В состав входят новый Decision aLoRA для решений общего назначения и специализированный Guardian aLoRA. IBM заявляет, что Guardian в среднем превосходит Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions и Clef-Flash на задачах решений, связанных с безопасностью, однако методика и условия этих сравнений не приведены. Также встроена Granite-Speech-5.0-Turbo-CTC, названная IBM самой быстрой ASR-моделью в OpenASR Leaderboard; независимого подтверждения в материале нет.
Switch-адаптеры реализованы как cache-efficient Activated LoRAs, что позволяет переиспользовать KV-кэш базовой генерации для последующих решений. Указано, что вклад команды в vLLM ускоряет инференс low rank адаптеров, а co-located ASR encoder обеспечивает переключение между чатом, решением и речью.
IBM планирует выпустить Adapter SDK для обучения адаптеров в Mellea, а также туториалы и поддержку Granite Switch. Сроки и статус релиза SDK не уточнены.
Демонстрации и заявленные сравнения
В демо Speech-to-Decisions на Hugging Face используется granite-switch.1-8b для транскрипции аудио, генерации summary, проверки на вредный контент и тестирования 15 других пользовательских флагов на одном endpoint в реальном времени. IBM также заявляет, что в «гонке» между Granite-Switch-4.1-30B (frozen base Granite и 4 специализированных aLoRA) и Jev-27B (frozen base Qwen и 1 generic decision LoRA) её модель завершила реальный 5-шаговый RAG-процесс быстрее конкурента. Кроме того, заявлено, что кастомная 3B-параметрическая Granite Switch модель принимала решения в игре Doom со скоростью 60–100 решений/с против заявленных у Jev 10 решений/с и, в отличие от Jev, могла комментировать и отвечать на вопросы. Эти результаты — заявления разработчика, независимая проверка отсутствует.
Открытые вопросы
Общедоступность и лицензионные условия Granite-Switch-4.1-8B и -30B явно не указаны. Не раскрыты датасеты, метрики и конфигурации запуска для сравнений с Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions и Clef-Flash. Первенство Granite-Speech-5.0-Turbo-CTC в OpenASR Leaderboard независимо не подтверждено. Не уточнены дата и статус релиза Adapter SDK для Mellea, а также доступность SDK и GitHub-репозитория Granite Switch для внешних пользователей на момент публикации.
Источник события: huggingface.co. Дата источника (UTC): 2026-10-15 20:34:01.