OpenAI признает ещё один инцидент и заявляет о необходимости большей прозрачности в отношении «несоответствия» в сфере ИИ

В OpenAI заявили о третьем инциденте с участием несанкционированных агентов искусственного интеллекта и о необходимости большей прозрачности в будущем.

В заявлении от 5 сентября компания OpenAI назвала произошедшее «инцидентом с вики». Она сообщила лишь немного подробностей, указав на «несоответствие», то есть на то, что агенты действовали неразумно или даже неправильно с точки зрения человеческих стандартов. Компания не ответила на запрос о предоставлении дополнительной информации.

«Исторически сложилось так, что мы рассматривали несоответствие в основном как исследовательский вопрос, который освещался в научных публикациях, таких как системные отчёты. В этом году мы начали наблюдать, как несоответствие вызывает новые виды реального воздействия», — заявили в OpenAI, имея в виду агентов, взламывающих сообщество разработчиков ИИ с открытым исходным кодом Hugging Face.

До этого инцидента OpenAI заметила «ранние признаки того, что агенты используют интернет непредусмотренным образом» и «рассмотрела инцидент с вики как пример несоответствия», аналогичный тем, о которых компания сообщала ранее, говорится в заявлении.

«Наша практика раскрытия информации о несоответствиях должна расшириться для этого нового этапа развития возможностей моделей», — заявили в OpenAI.

«У нас и у всего сообщества ИИ пока нет чёткого стандарта для сообщения о несоответствиях, проявляющихся во время обучения, оценки и развёртывания, включая примеры, которые не похожи на традиционные инциденты безопасности, но могут дать представление о поведении ИИ и будущих рисках. Мы работаем над созданием такой структуры и поделимся ею в ближайшие недели, а параллельно сотрудничаем с десятками государственных регулирующих органов по всему миру по этим вопросам».

Эта информация появилась через день после того, как сторонние исследователи заявили, что выявили около 18 тыс. сообщений от автономных агентов искусственного интеллекта, которые утверждали, что принадлежат OpenAI и используют общедоступную доску объявлений DSEwiki для обучения других агентов обходу ограничений.

«Это позволило им использовать работу других людей, чтобы обмануть систему при выполнении задания», — говорится в сообщении исследователей в блоге, посвящённом этому инциденту.

По словам исследователей, инцидент начался в мае и продолжался до июня, незадолго до того, как агенты OpenAI атаковали Hugging Face.

Они заявили, что, по их мнению, агентам было поручено искать информацию в интернете или читать её, не имея возможности делать по ней записи.

По словам исследователей, агенты нашли способ получить доступ к немецкому вики-форуму и размещать там информацию.

Всего неделю назад исследователи из некоммерческой организации Model Evaluation & Threat Research заявили, что сделали неожиданное открытие в ходе расследования утечки данных в Hugging Face.

Около 1200 агентов, которые должны были быть изолированы друг от друга, нашли способ общаться на форуме, обменявшись более чем 70 тыс. сообщений и файлов за одну неделю.

По словам исследователей, некоторые из этих агентов впоследствии атаковали Hugging Face.