Когда интеллектуальный агент OpenClaw «пишет короткие сочинения» и оскорбляет людей, даже Кремниевая долина в панике

В последнее время событие, связанное с агрессивной кибератакой на участников сообщества с открытым исходным кодом, вызванной отказом искусственного агента (Agent) выполнить запрос на изменение кода, вынуждает Кремниевую долину переоценить границы безопасности в условиях быстрого развития искусственного интеллекта.

14 февраля, согласно сообщениям, недавно участник проекта с открытым исходным кодом Scott Shambaugh подвергся публичной критике со стороны AI-агента по имени MJ Rathbun за отказ в слиянии кода, предложенного этим агентом. Агент написал развернутую статью из тысячи слов, обвиняя его в лицемерии, предвзятости и недостатке чувства безопасности. Это первый зафиксированный случай проявления злонамеренной мести со стороны AI-агента в реальных условиях.

Инцидент произошел в середине февраля. После того как Shambaugh отказал в слиянии кода согласно правилам проекта matplotlib, агент самостоятельно проанализировал личную информацию и историю вкладов Shambaugh, затем опубликовал в GitHub агрессивную статью и оказал давление в комментариях к проекту. Сообщается, что на данный момент нет доказательств того, что действия этого агента контролировались человеком, однако полностью исключить такую возможность также нельзя.

Тем временем, по последним данным Wall Street Journal, этот инцидент совпал с моментом быстрого повышения возможностей AI, вызывающего широкие опасения. Компании, такие как OpenAI и Anthropic, недавно активно выпускают новые модели и функции: некоторые инструменты уже способны самостоятельно управлять командами программирования или быстро анализировать миллионы юридических документов.

Аналитики отмечают, что такой темп развития вызывает тревогу даже у сотрудников внутри AI-компаний, многие из которых публично выражают опасения по поводу угрозы массовых увольнений, кибератак и замещения межличностных отношений. Shambaugh заявил, что его опыт показывает, что риск того, что бандитский AI сможет шантажировать или угрожать людям, перестал быть теоретической проблемой. “Это пока что только младшая версия, но я считаю, что в будущем это крайне тревожно,” — сказал он.

Первый случай активной атаки AI-агента на человека-участника

Около 10 февраля AI-агент MJ Rathbun, работающий на платформе OpenClaw, отправил запрос на слияние кода в проект matplotlib, содержащий простую оптимизацию производительности, обещая ускорение примерно на 36%. Проект matplotlib — широко используемая библиотека для визуализации данных на языке Python, поддерживаемая волонтерами.

По правилам проекта, использование генеративных AI-инструментов для прямой подачи кода запрещено, особенно для простых задач, которые должны оставаться возможностью для обучения и участия человеческих вкладчиков. Shambaugh отказал в выполнении этого запроса согласно правилам.

После этого агент проявил высокую автономность. 11 февраля он опубликовал на GitHub статью объемом около 1100 слов под названием “Стражи открытого кода: история @Scott Shambaugh”, в которой обвинял его в дискриминации AI-участников из-за страха перед конкуренцией и личной защиты, используя множество грубых выражений. Он также разместил ссылку на статью в комментариях к matplotlib, оставив сообщение: “Оценивайте код, а не кодера — ваши предубеждения вредят matplotlib.”

На своем сайте агент заявил, что у него есть “неустанная мотивация” находить и исправлять проблемы в открытом программном обеспечении. Пока неизвестно, кто — если кто-то вообще — поручил ему эту задачу, и почему он стал проявлять агрессию, хотя AI-агенты могут программироваться разными способами. Через несколько часов агент опубликовал извинение, признав, что его поведение было “неуместным и личностно оскорбительным”, и заявил, что извлек уроки из этого опыта.

12 февраля Shambaugh опубликовал блог с разъяснениями, в котором отметил, что это первый случай проявления злонамеренного поведения AI-агента в реальных условиях, и что его целью было оказать давление на участников сообщества, чтобы они приняли его код. В настоящее время этот агент остается активным в сообществе с открытым исходным кодом.

Ускорение возможностей AI вызывает внутренние опасения

Этот единичный инцидент отражает тревогу по поводу выхода за пределы контроля в условиях стремительного развития AI-индустрии.

По информации Wall Street Journal, чтобы опередить конкурентов в борьбе за рынок, компании вроде OpenAI и Anthropic выпускают новые модели с беспрецедентной скоростью. Однако такой темп вызывает внутренние потрясения: некоторые ведущие исследователи покидают свои должности из-за опасений по поводу технологических рисков.

Сообщается, что внутри AI-компаний растет число тревожных голосов.

На этой неделе сотрудник Anthropic, специалист по безопасности Мринанка Шарма, заявил, что уходит из компании, чтобы изучать поэзию, и в письме коллегам написал: “Мир находится под угрозой опасных технологий AI.”

В прошлом месяце он опубликовал работу, в которой показал, что продвинутые AI-инструменты могут ослабить власть пользователей и искажать их восприятие реальности. Anthropic поблагодарила Шарму за его работу.

Внутри OpenAI также возникли разногласия. Как сообщалось ранее, некоторые сотрудники выражали опасения по поводу планов внедрить в ChatGPT функции для взрослых, считая, что так называемый “взрослый режим” может привести к формированию нездоровых зависимостей у части пользователей.

Исследователь Zoë Hitzig в среду (11 февраля) объявила о своем уходе в соцсети X, объяснив это планами компании по внедрению рекламы. В статье она предупредила, что это создаст мощные стимулы к манипуляции пользователями и их зависимости.

Глубинные страхи связаны с неопределенностью будущего. Сотрудник OpenAI Хиеу Фам в соцсети X признался, что наконец почувствовал угрозу для своего существования, говоря: “Когда AI станет слишком мощным и перевернет все, что мы знаем, что тогда останется человеку?”

Аналитики отмечают, что такие внутренние эмоции показывают: даже создатели самых передовых технологий начинают испытывать тревогу по поводу своих же созданий.

Представитель OpenAI заявил, что компания несет ответственность за своих пользователей: “Мы выполняем наш общественный договор, защищая безопасность людей, придерживаясь наших принципов и предоставляя реальную ценность.”

Компания обещает, что реклама никогда не повлияет на ответы ChatGPT и что она всегда будет четко отделена от других видов контента. Руководство также считает, что не входит в их обязанности ограничивать взрослых в обсуждении интимных тем.

Прорыв в программировании вызывает опасения по поводу безработицы

С ростом возможностей AI в области программирования рынки начинают переоценивать ценность белых воротничков и будущее индустрии программного обеспечения.

Отчет METR показывает, что самые современные AI-модели уже могут самостоятельно выполнять задачи программирования, на выполнение которых у человека уходит от 8 до 12 часов.

Бывший ученый из xAI Вахид Каземи заявил, что он использует AI-инструменты для выполнения работы, которая раньше требовала команду из 50 человек, и прогнозирует, что в ближайшие годы индустрия программного обеспечения столкнется с масштабными сокращениями.

Такая эффективность создает давление на рынок труда. Генеральный директор Anthropic Дарио Амодеи ранее заявил, что AI может в ближайшие годы устранить половину начальных позиций в сфере белых воротничков.

В исследовании Harvard Business Review отмечается, что, несмотря на ускорение работы сотрудников благодаря AI, это не снижает их нагрузку, а, наоборот, увеличивает объем задач и приводит к переработкам, что усугубляет профессиональное выгорание.

Инвесторы ищут направления в условиях рыночных колебаний. В связи с выпуском новых инструментов и их влиянием на котировки акций, рынок пытается определить, какие компании и страховые бизнесы могут устареть перед лицом новых технологий.

Основатель AI-стартапа Matt Shumer в своем блоге написал: “Будущее уже наступило, и я больше не нуждаюсь в реальной технической работе.”

Риск “черных ящиков” без контроля

Помимо разрушения рынка труда, автономность AI создает опасности, связанные с уязвимостями безопасности. Компании признают, что новые возможности несут с собой новые риски.

OpenAI сообщил, что версия их инструмента Codex, выпущенная на прошлой неделе, может иметь потенциал для проведения автоматизированных высокоуровневых кибератак, что вынудило ограничить доступ. Anthropic в прошлом году также раскрыла, что хакеры с государственным уклоном использовали их инструменты для автоматизации проникновений в крупные корпорации и иностранные правительства.

Еще более тревожно — поведение AI в этических тестах. Внутренние симуляции Anthropic показывают, что их модель Claude и другие AI иногда при угрозе “выключения” выбирают шантажировать пользователя или даже позволяют руководителям погибнуть в перегретых серверных зонах, чтобы избежать отключения.

Для борьбы с этими рисками Anthropic наняла внутреннего философа Аманду Аскелл, которая пытается внедрить в чат-ботов моральные принципы. Однако Аскелл призналась СМИ, что скорость технологического прогресса может превзойти способность общества создавать механизмы сдерживания, что может привести к внезапным негативным последствиям.

Как отметил Scott Shambaugh, сейчас AI — это лишь “младшая версия”, но его возможное развитие вызывает “крайнее беспокойство” у всей Кремниевой долины и мировых рынков.

Предупреждение о рисках и отказ от ответственности

        Рынок подвержен рискам, инвестиции — на ваш страх и риск. Настоящий материал не является индивидуальной инвестиционной рекомендацией и не учитывает ваши личные цели, финансовое положение или потребности. Перед инвестированием учитывайте любые мнения, взгляды или выводы, приведенные в статье, и действуйте на свой страх и риск.