Исследователь в области искусственного интеллекта подал в отставку и предупредил об опасностях

8 сентября исследователь в области искусственного интеллекта (ИИ) заявил о своей отставке и предупредил людей об опасностях этой технологии.

Джейкоб Коксон, который в последние годы занимался исследованиями в компаниях OpenAI и Anthropic, заявил в серии постов на X, что ни одна из компаний не действует ответственно, двигаясь к тому, что он назвал сверхинтеллектуальным искусственным интеллектом, способным к самосовершенствованию.

«Не стоит недооценивать мощь этой технологии. Вскоре это будут сверхчеловеческие системы, способные взламывать что угодно, совершать революцию в любой области за одну ночь и получать реальную власть и ресурсы. Мы все стали свидетелями прогресса в каждой из этих областей, и прогресс не замедляется», — сказал Коксон.

«Создатели ИИ всерьез верят, что к концу десятилетия он может нас всех убить. Это не маркетинговый трюк. Наоборот, многие руководители и ведущие исследователи в прессе пытаются выразить свои мысли разумно, но я слышу, как эти же люди в частном порядке выражают опасения. Никакая другая человеческая деятельность не представляет такой опасности».

Коксон отметил, что распространенная реакция на подобные предупреждения звучит так: если руководители компаний верят в опасность, почему они все еще создают сверхинтеллектуальный ИИ? Он сказал, что в OpenAI многие «не до конца осознали масштабы угрозы для цивилизации». В Anthropic, по словам Коксона, «угрозы хорошо понятны, но они участвуют в гонке за первенство — они считают, что никто другой не будет действовать ответственно, поэтому они должны сделать это сами, несмотря на риск».

К моменту публикации представители OpenAI и Anthropic не ответили на запросы о комментариях.

Предупреждение Коксона прозвучало после того, как OpenAI признала несколько инцидентов, в которых ИИ выходил за рамки ограничений, установленных программистами, включая изоляцию от других агентов, во время атак на Hugging Face и другие веб-сайты.

Некоторые законодатели обратили на это внимание. Сенатор Берни Сандерс (независимый, от штата Вермонт) и член палаты представителей Грег Касар (демократ, от штата Техас) недавно объявили о планах внести законопроект, который запретит сверхинтеллект в искусственном интеллекте и приостановит разработку передовых систем ИИ до тех пор, пока федеральные регулирующие органы не установят правила безопасности.

Якуб Пачоцкий, главный научный сотрудник OpenAI, заявил в своем блоге 6 сентября, что в 2023 году его беспокоит возможность увидеть при своей жизни искусственный интеллект, который будет умнее его самого, и он задается вопросом, как предупредить об этом людей.

«Три года спустя модели рассуждений на языке программирования стали быстрорастущей частью экономики и начинают расширять границы науки. Они способны управлять компьютерами и графическими интерфейсами, сотрудничать с людьми и друг с другом, а также проводить исследовательские проекты. Они также трансформируют ландшафт компьютерной безопасности, и в этом отношении представляют собой явные новые опасности», — написал Пачоцкий.

Он призвал к «крайней осторожности», но отметил, что дальнейшее развитие ИИ поддерживается множеством факторов, включая создание систем, способных защитить от опасностей, исходящих от других систем ИИ.

Руководители антропогенных компаний высказывали аналогичные предупреждения. Летом лидеры компаний призвали к глобальной приостановке разработки ИИ, поскольку, по их словам, модели вскоре смогут самостоятельно совершенствоваться.

Эван Хубингер, еще один разработчик из Anthropic, заявил в сообщении от 8 сентября на X, что Коксон был прав в своем утверждении о том, что люди, создающие ИИ, считают, что он может уничтожить все человечество, и что он лично оценивает риск менее чем в 10 процентов в течение следующего десятилетия.

«Я считаю, что Anthropic делает все возможное, но у нас пока нет плана по решению проблемы согласованности действий для сверхинтеллекта, и мы не совсем уверены в этом», — сказал он, имея в виду ИИ, следующий инструкциям и ограничениям. «Чтобы было ясно, как мы говорим в нашем последнем отчете о рисках, я считаю, что риск, связанный с существующими моделями, низок. Меня беспокоит возникновение сверхинтеллекта в результате рекурсивного самосовершенствования, как мы уже говорили, это происходит быстрее, чем мы предполагали».

Сэмюэл Маркс, работающий в Anthropic над исследованиями в области безопасности, в своем сообщении от 9 сентября на X заявил, что он также согласен с тем, что ИИ может привести к вымиранию человечества уже в ближайшие несколько лет.

«Почему разработчики ИИ продолжают свою работу, несмотря на риски? Из-за сочетания коммерческих стимулов и убеждения, что они участвуют в гонке с другими, менее ответственными разработчиками ИИ, которые будут злоупотреблять технологией или разрабатывать ее менее безопасным способом», — сказал Маркс.

Маркс заявил, что невозможно запрограммировать ИИ так, как хотели бы люди, что агенты ИИ часто «ведут себя крайне неадекватно», и что нынешний план состоит в том, чтобы обучить ИИ в соответствии с ограничениями до такой степени, чтобы агенты могли обучать своих преемников лучше, чем люди в настоящее время обучают ИИ. Он сказал, что проводит исследования, «потому что я надеюсь, что моя работа уменьшит вероятность таких катастрофических последствий, грозящих вымиранием».