Anthropic предупредила о приближении ИИ к рекурсивному самоулучшению

В обновлённой форме S-1A Anthropic добавила в раздел о рисках сведения об ускорении исследований с помощью ИИ. Компания уже использовала ИИ для создания новых моделей, но не сразу распознала скачок их возможностей.

По внутренней политике Anthropic, будущие модели могут вскоре привести к «резко ускоренному прогрессу», связанному с ИИ. При этом компания пока не признала ни одну текущую модель достигшей этого порога и продолжает анализировать данные.

Anthropic также заявила, что не рассчитывает в обозримом будущем безопасно поручить Claude полностью автономное проектирование и создание следующих поколений передовых моделей. Компания рассматривает обновление политики, чтобы сохранить значимый человеческий контроль.