Microsoft и Hugging Face представили ThinkingBox — подход к оценке AI-агентов по конечному состоянию рабочих систем. Проверяется не только то, что агент написал в ответе, но и какие записи он изменил и какие побочные действия совершил.
Описанный набор включает 507 сценариев бизнес-процессов, каждый запускается 20 раз из одинакового начального состояния. Такое повторение позволяет различать единичный успех и устойчивое выполнение задачи.
Авторы приводят пример, где агент корректно использует инструменты, но закрывает обращение вместо перевода в ожидание. По тексту диалога работа может выглядеть завершённой, тогда как проверка поля в базе фиксирует ошибку. ThinkingBox доступен через Hugging Face и интеграцию с OpenEnv.
Первоисточник: Microsoft / Hugging Face — The Agent Said It Was Done. The Database Disagreed.. Дата публикации источника: .