Hugging Face упростила проверку моделей Transformers на обычных процессорах

Hugging Face предложила transformers-mic — стандарт для упаковки интеграционных тестов моделей в библиотеке Transformers. Контракт включает уменьшенную версию модели, неизменённые файлы токенизатора и процессора, исполняемый сценарий использования и эталоны результатов, проверенные человеком.

Такие фикстуры запускаются на недорогих CPU-раннерах и должны проверять не только загрузку модели и прямой проход, но также генерацию, обучение, градиенты и обновление весов. Для UMT5 экспериментальная версия занимала 66 МБ против 1 227 МБ у исходного чекпойнта. При воспроизведении изменений в Transformers она выявила ошибку в механизме внимания SDPA, из-за которой декодер мог видеть будущие токены.

Контракты подбираются для каждого pull request по изменённым файлам. На 1 ноября 2026 года проверки в CI уже сообщали о сбоях, но ещё не блокировали публикацию изменений: разработчики оценивают количество реальных ошибок, ложных срабатываний и трудозатраты на проверку эталонов.