AI uchun oʻzbek tili ingliz tilidan 1,55–2,17 baravar qimmatroq

Mualliflar OpenAI, Anthropic, Google, Qwen va DeepSeekʼni 1337 ta parallel matn asosida taqqoslab, natijalarni 15 ta tokenizator yordamida tekshirdi. Tokenlar — modellar ishlaydigan matn boʻlaklaridir. Provayderlar tilidan qatʼi nazar, tokenlar soni boʻyicha haq oladi. Shu sababli tokenizatsiyaning «qimmatroq» boʻlishi soʻrovlar va javoblar xarajatini oshiradi.

Yangiliklar, ensiklopedik maqolalar va yoʻlkoʻrsatkichlarni oʻz ichiga olgan FLORES korpusida oʻzbekcha matn ingliz tiliga nisbatan OpenAIʼda 1,78 baravar, DeepSeekʼda esa 2,13 baravargacha koʻproq token talab qilgan. Rus tilida bu koʻrsatkich 1,35–1,60 baravarni tashkil etgan, oʻzbek tili esa rus tilidan 1,24–1,54 baravar qimmatroq boʻlgan. Ingliz tilidan qilingan tarjimalar odatda dastlab oʻzbek tilida yozilgan matnlarga qaraganda diapazonning yuqori chegarasiga yaqinroq boʻlgan.

Farq nafaqat soʻrovlar narxiga taʼsir qiladi. Kontekst oynasiga kamroq hujjat sigʻadi, generatsiya tezligi bir xil boʻlsa, javobni shakllantirish koʻproq vaqt olishi mumkin. Yakuniy summa tanlangan modelga ham bogʻliq: tadqiqotda oʻzbekcha matn narxi Claude Haiku 5.5’da $0,37 dan Claude Opus 5.5’da $14,78 gacha oʻzgargan. Mualliflar aynan xarajatlarni taqqoslaganini, javoblar sifatini esa oʻlchamaganini taʼkidlaydi.

Gorgona AI bahosiga koʻra, bunda oʻzbekcha matnlarning oʻquv maʼlumotlaridagi hajmi va tilning tokenizator lugʻatidagi oʻrni muhim rol oʻynaydi. Shu bois tadqiqotchilar oʻzbek tilidagi ochiq korpuslarni kengaytirish, morfologik lugʻatlar va sifat testlarini kompaniyalar, universitetlar, davlat hamda model ishlab chiquvchilar hamkorligida yaratishni taklif qilmoqda.