Новый прототип Anthropic поможет проверить подлинность ответов ИИ

Anthropic выпустила FlashProve — систему для проверяемого вывода ИИ. Она должна позволить подтвердить, что ответ сгенерировала именно заявленная модель, а не другая, которую незаметно подключили для снижения затрат или изменения результатов теста.

Для работы системы разработчики должны публиковать криптографический «отпечаток» модели. Он не раскрывает её веса, поэтому подход может применяться и к коммерческим закрытым моделям. Anthropic также открыла техническую документацию и исходный код под лицензией Apache 2.0. Исследование продолжается, планов внедрять FlashProve в Anthropic или других лабораториях пока нет.