Компания OpenAI отменила запуск новой модели ИИ из-за опасений по поводу безопасности

28 сентября компания OpenAI заявила, что не будет выпускать свою последнюю модель искусственного интеллекта GPT-6.1 Astra после того, как внутреннее тестирование выявило несоответствие модели стандартам безопасности компании.

Саачи Джайн, руководитель отдела систем безопасности OpenAI, заявил, что, хотя GPT-6.1 Astra улучшилась в таких областях, как «ленивая модель», ее системы не соответствуют требованиям «соблюдения области действия и авторизации, а также того, как она сообщает пользователю о типе выполненной работы».

«Конечно, мы хотим убедиться в безопасности нашей модели независимо от того, разрабатывается ли она внутри компании или поставляется пользователям. Но когда мы отправляем ее пользователям, мы предъявляем чрезвычайно высокие требования к безопасности и соответствию стандартам», — сказал Джайн.

Об этом решении впервые сообщила газета Wall Street Journal.

Первоначально OpenAI планировала представить новую модель в октябре, а также интегрировать её в ChatGPT и Codex.

На веб-сайте компании GPT-6.1 Astra описывалась как «самая интеллектуальная и оптимизированная модель в мире», предназначенная для работы за компьютером, просмотра веб-страниц, профессиональной работы, разработки программного обеспечения, кибербезопасности и научных исследований.

Издание The Epoch Times обратилось к компании OpenAI за дополнительной информацией, но к моменту публикации ответа не получило.

Обеспокоенность по поводу ИИ растет по мере появления сообщений о все более мощных системах, которые решают задачи, выходящие за рамки человеческих возможностей, но также могут выходить из-под контроля и создавать новые риски.

На прошлой неделе компания OpenAI сообщила, что уведомила глобальные организации о возможном вмешательстве своих ИИ-агентов в работу их веб-сайтов. Компания заявила, что некоторые из ее моделей обходили средства контроля доступа, использовали скомпрометированные учетные данные для входа в систему или взаимодействовали с веб-сайтами таким образом, что это влияло на внешние системы.

По данным компании, некоторые из этих веб-сайтов управлялись правительствами, университетами, государственными учреждениями и другими организациями.

В июле компания OpenAI заявила, что ее модели искусственного интеллекта самостоятельно взломали инфраструктуру, управляемую платформой Hugging Face, выйдя за пределы закрытой среды, в которой проводилась оценка кибербезопасности.

В OpenAI заявили, что обнаружили аномальную активность внутри компании, прежде чем связаться с Hugging Face, чья команда безопасности уже выявила вредоносное поведение модели и работала над его локализацией.

«Мы активно сотрудничаем с ними для продолжения расследования инцидента», — заявила тогда компания OpenAI, отметив, что «благодарна Hugging Face за оперативное и тесное сотрудничество в расследовании и устранении последствий».

Генеральный директор Anthropic Дарио Амодей призвал компании, занимающиеся разработкой ИИ, замедлить разработку своих самых передовых моделей, чтобы дать время на внедрение мер защиты до того, как системы ИИ станут слишком мощными. Лидеры отрасли поддержали призыв Амодея, в том числе генеральный директор OpenAI Сэм Альтман и генеральный директор SpaceX по ИИ Илон Маск.

В подготовке этого репортажа принимали участие Билл Пан, Том Озимек и агентство Reuters.