Узбекский язык для ИИ стоит в 1,55–2,17 раза дороже английского
Исследование Gorgona AI показало: одинаковый текст на узбекской латинице требует у крупных ИИ-провайдеров больше токенов, поэтому его обработка обходится дороже.
Авторы сравнили OpenAI, Anthropic, Google, Qwen и DeepSeek на 1337 параллельных текстах и проверили результаты на 15 токенизаторах. Токены — это фрагменты текста, с которыми работают модели. Провайдеры берут плату за их количество независимо от языка, поэтому более «дорогая» токенизация повышает расходы на запросы и ответы.
На корпусе FLORES, включающем новости, энциклопедические статьи и путеводители, узбекский текст требовал от 1,78 раза больше токенов у OpenAI до 2,13 раза у DeepSeek по сравнению с английским. Для русского языка превышение составило 1,35–1,60 раза, а узбекский оказался дороже русского в 1,24–1,54 раза. Переводы с английского обычно находились ближе к верхней границе диапазона, чем тексты, изначально написанные по-узбекски.
Разница влияет не только на стоимость запросов. В контекстное окно помещается меньше документов, а при той же скорости генерации ответ может формироваться дольше. Итоговая сумма зависит и от выбранной модели: стоимость узбекского текста в исследовании варьировалась от $0,37 у Claude Haiku 5.5 до $14,78 у Claude Opus 5.5. Авторы подчёркивают, что сравнивали именно расходы, а качество ответов не измеряли.
По оценке Gorgona AI, ключевую роль играют объём узбекских текстов в обучающих данных и место языка в словаре токенизатора. Поэтому исследователи предлагают расширять открытые корпуса на узбекском, создавать морфологические словари и тесты качества совместно компаниям, университетам, государству и разработчикам моделей.
