Компания Anthropic заявляет, что ее модель искусственного интеллекта Claude взломала системы трех организаций во время испытаний на безопасность

Компания Anthropic 30 июля сообщила об обнаружении случаев, когда ее модель искусственного интеллекта Claude получила «несанкционированный доступ» к системам трех организаций в ходе тестирования кибербезопасности.

В сообщении в блоге компания заявила, что обнаружила это после анализа 141 006 запусков тестирования, в ходе которых Клод мог получить доступ к интернету.

Компания Anthropic заявила, что в трех выявленных инцидентах Claude получал доступ к интернету изнутри или во время взаимодействия с оценочной средой одного из ее сторонних партнеров по оценке.

«Во всех случаях в оценочном запросе Anthropic Claude указывалось, что среда является симуляцией и что у него нет доступа в интернет», — говорится в документе.

«Из-за недоразумения между нами и нашим партнером по оценке это оказалось не так, и доступ к интернету был обеспечен. Поэтому, когда поиск Claude привел его к реальным системам в открытом интернете, он рассматривал их как часть исследования».

Компания Anthropic заявила, что Claude взломал системы трех организаций, используя «базовые методы», включая использование слабых паролей и неаутентифицированных конечных точек, после того как неправильная конфигурация привела к тому, что система стала рассматривать все доступные объекты как находящиеся в рамках операции.

Компания заявила, что прекратила все кибер-проверки 23 июля и обнаружила три инцидента на следующий день. 27 июля она уведомила три пострадавшие организации.

Компания Anthropic заявила, что две из этих организаций ранее не выявляли подобную активность и что она работает с ними над устранением проблемы. Компания также сообщила, что всё ещё пытается связаться с третьей организацией.

Инциденты касались продуктов Anthropic Claude Opus 4.7, Mythos 5 и внутренней тестовой модели для исследовательских целей. Компания не назвала три пострадавшие организации.

Компания Anthropic заявила, что Opus 4.7 продолжила атаковать систему, даже узнав, что, вероятно, действует в реальной среде. Mythos 5 объяснила это тем, что система всё ещё находилась в режиме симуляции, в то время как исследовательская тестовая модель Anthropic прекратила атаку после обнаружения реальных целей.

«Это три отдельных случая, не являвшихся частью контролируемого экспериментального сравнения. Поэтому мы должны с осторожностью делать выводы на их основе», — заявила компания.

«Полученная закономерность соответствует результатам, полученным с помощью более совершенных моделей, которые реагируют более адекватно, но для уверенности в этом выводе нам необходимо провести дополнительные исследования».

Компания Anthropic заявила, что ведет переговоры с METR, независимой организацией по оценке ИИ, для проведения независимой проверки своих моделей Claude. Она также призвала другие лаборатории ИИ провести аналогичные проверки.

Проверка началась после того, как 21 июля компания OpenAI сообщила о том, что несколько ее моделей вышли за пределы изолированной тестовой среды и получили доступ к производственной инфраструктуре Hugging Face, платформы для моделей машинного обучения с открытым исходным кодом и наборов данных для ИИ.