CWE-bench v2: расширенное покрытие, высокое качество и прозрачность

Collinear AI представила вторую версию CWE-bench — открытого бенчмарка для оценки ИИ-агентов в сфере кибербезопасности. Каждая задача основана на реальном репозитории с открытым исходным кодом: агент получает краткую инструкцию и должен устранить уязвимость, сохранив работоспособность проекта.

В набор вошли задачи, охватывающие 91 класс уязвимостей. Проверка результатов автоматизирована и воспроизводима, а сами задания и инструменты оценки прошли ручную проверку. Для отслеживания прогресса также есть закрытый набор задач, которых модели не видели.

По опубликованным результатам, среди 11 протестированных моделей лидирует Gemini 4 Argon с показателями 67,8% в режиме pass@1 и 81,0% в режиме pass@4. Результаты моделей с открытыми весами публикуются на странице датасета, а сравнение с API-моделями — в отдельном рейтинге CWE-bench.