Компания Anthropic призывает к глобальной паузе в разработке ИИ и предупреждает о риске «самосовершенствования»

4 июня компания Anthropic, гигант в области искусственного интеллекта (ИИ), призвала лидеров отрасли по всему миру замедлить темпы развития этой технологии, предупредив, что модели достигают того момента, когда в скором времени смогут самостоятельно совершенствоваться, что потенциально может лишить человечество контроля над ними.

Компания Anthropic, разработчик популярного чат-бота Claude, заявила в своём блоге, что дальнейшая передача ответственности за развитие ИИ самим системам чревата риском создания технологии, «способной полностью автономно проектировать и разрабатывать своего собственного преемника».

«Это называется рекурсивным самосовершенствованием», — написали в посте Марина Фаваро и Джек Кларк из Anthropic. «Мы еще не дошли до этого, и рекурсивное самосовершенствование не является неизбежным. Но оно может наступить раньше, чем к этому готовы большинство организаций».

Компания Anthropic предупреждала о потенциальных последствиях для кибербезопасности, связанных с передовыми моделями ИИ, когда в апреле анонсировала предварительную версию Claude Mythos.

Некоторые лидеры отрасли подчеркнули риски, связанные с тем, что ИИ достигнет уровня, позволяющего ему совершенствоваться без вмешательства человека, предупредив о потенциально непредсказуемых последствиях для общества.

«Мы считаем, что для мира было бы хорошо иметь возможность замедлить или временно приостановить развитие передовых моделей ИИ, чтобы социальные структуры и исследования в области согласования могли идти в ногу с прогрессом технологии», — написали Фаваро и Кларк.

«Anthropic Institute будет проводить исследования — в сотрудничестве со многими другими организациями — и принимать меры, чтобы помочь создать системы, необходимые для обеспечения достоверного замедления или приостановки».

В Anthropic заявили, что разработка этих систем позволит передовым разработчикам ИИ «убедиться, что другие участники по всему миру действительно остановились или замедлили работу, и что злоумышленник не сможет воспользоваться прикрытием скоординированного замедления, чтобы тайно опередить остальных».

Этот процесс потребует глобальной координации между «множеством хорошо обеспеченных ресурсами лабораторий, работающих на передовых рубежах или близких к ним», — заявили в Anthropic.

2 июня президент Дональд Трамп подписал указ, в котором компании, занимающиеся ИИ, просят добровольно предоставлять свои передовые модели на рассмотрение правительства за 30 дней до их полного публичного выпуска.

Пока не ясно, какие компании, занимающиеся ИИ, решат принять участие, но этот указ был издан после того, как Центр по стандартам и инновациям в области ИИ при Министерстве торговли в прошлом месяце заключил соглашения с Google DeepMind, Microsoft и xAI об оценке их передовых моделей на предмет рисков безопасности перед их публичным выпуском.

Anthropic также планирует выйти на публичный рынок. 1 июня компания объявила, что в конфиденциальном порядке подала проспект первичного публичного размещения акций в Комиссию по ценным бумагам и биржам.

OpenAI дала понять, что вскоре может последовать её примеру.