NVIDIA совместно с IIT Madras и AI4Bharat представила корпус Nemotron-pretraining-Indic-v1 объёмом около 2,8 трлн токенов для 22 языков Конституции Индии, а также открытый GPU-ускоренный пайплайн генерации данных. Об этом сообщается в блоге NVIDIA на Hugging Face от 16 октября 2026 года; релиз корпуса и пайплайна анонсирован как предстоящий («releasing soon»).
По данным карточки, корпус включает 2 601,0 млрд токенов в нативной письменности и 224,6 млрд токенов в романизированной записи; подсчёт токенов выполнен токенизатором Gemma-4. Данные охватывают 22 языка в 34 конфигурациях язык-письменность: нативная письменность — для всех 22 языков, романизированная — для 12 (бенгальский, гуджарати, хинди, каннада, малаялам, маратхи, непальский, ория, панджаби, тамильский, телугу, урду).
Источником послужили документы из 15 подмножеств Nemotron-CC-v2, включая веб-текст, вопросы-ответы, математику и код. Пайплайн реализован на NeMo Data Designer — открытом фреймворке NVIDIA для генерации синтетических данных; он включает перевод на уровне документов, оценку качества и целевой ремонт с проверкой сохранности формул, таблиц и кода. Каждая запись прослеживается до исходного документа, а выходные данные проверяются относительно входа.
В работе участвовали исследователи AI4Bharat (Мохаммед Сафи Ур Рахман Хан, Митеш Кхапра, Ануп Кунчукуттан) и NVIDIA. Корпус, по данным карточки, использовался при continued pretraining модели Nemotron 3.5 Super VL: добавлено 10 млрд индийских токенов из подмножества на 12 языках и естественного индийского текста.
Источник события: huggingface.co. Дата источника (UTC): 2026-10-16 01:44:47.