Strata научилась показывать, какие эксперты ИИ-модели чаще используют видеопамять
Автор добавил в интерфейс Strata карту 24 576 узлов Qwen3.8-Flash-Next и режим стабильности резидентности в VRAM. Тесты показали различия между кодом и поэзией.
В Strata появилась вкладка Experts с визуализацией работы экспертов модели Qwen3.8-Flash-Next. Автор статьи подключил её к уже существующему файлу профиля: карта показывает слои и экспертов, а рамкой отмечает узлы, которые находятся в видеопамяти. Для этого не потребовалось менять сам движок.
Strata запускает MoE-модель на видеокарте с ограниченной памятью: наиболее востребованные эксперты остаются в VRAM, остальные подгружаются из оперативной памяти или с SSD. При этом первоначальная карта окрашивала клетки по текущему рангу, а не по абсолютной частоте обращений. Из-за затухающего счётчика редко используемые узлы могли заметно менять положение даже при почти неизменной активности.
Чтобы отделить этот шум от реального сигнала, автор добавил режим Residency stability. Он считает, как часто узел оставался физически размещённым в VRAM после открытия вкладки или сброса окна. В тесте с 18 запросами о Python-коде постоянно резидентными были 207 узлов, в тесте с поэзией — 193. В обоих наборах совпали 169 узлов.
По выводу автора, ядро экспертов зависит от тематики, но большая его часть остаётся общей для разных задач. Он также отметил, что кэшу требуется прогрев на одном домене: при чередовании тем стабильное ядро оказывалось меньше. Изменения оформлены в виде issue для основного проекта, а готовый релиз доступен в форке до решения мейнтейнеров.
