CWE-bench v2: kengaytirilgan qamrov, yuqori sifat va shaffoflik

Collinear AI kiberxavfsizlik sohasidagi AI-agentlarni baholash uchun moʻljallangan ochiq benchmark — CWE-benchʼning ikkinchi versiyasini taqdim etdi. Har bir topshiriq ochiq manbali real repozitoriyga asoslangan: agent qisqa yoʻriqnoma oladi va loyiha ishlash qobiliyatini saqlagan holda zaiflikni bartaraf etishi kerak.

Toʻplam 91 ta zaiflik sinfini qamrab olgan topshiriqlardan iborat. Natijalarni tekshirish avtomatlashtirilgan boʻlib, ayni natijani qayta olish mumkin, topshiriqlarning oʻzi hamda baholash vositalari esa qoʻlda tekshirilgan. Taraqqiyotni kuzatish uchun modellar koʻrmagan yopiq topshiriqlar toʻplami ham mavjud.

Eʼlon qilingan natijalarga koʻra, sinovdan oʻtkazilgan 11 ta model orasida Gemini 4 Argon yetakchilik qilmoqda: pass@1 rejimida 67,8%, pass@4 rejimida esa 81,0% natija qayd etgan. Vaznlari ochiq modellar natijalari dataset sahifasida, API-modellar bilan taqqoslash esa CWE-benchʼning alohida reytingida eʼlon qilinadi.