Коли агент OpenClaw «писав короткі твори» і ображав людство, навіть Кремнієва долина злякалася

Нещодавно інцидент із штучним інтелектом (Agent), який через відмову у виконанні коду був здійснений «каральний» кібератака на підтримувачів відкритого коду, змушує Кремнієву долину знову переосмислити межі безпеки у швидкому розвитку штучного інтелекту.

14 лютого повідомляється, що нещодавно підтримувач відкритого проекту Scott Shambaugh через відмову у злитті коду від AI-агента на ім’я MJ Rathbun був атакований опонентом із публікацією «маленької» статті на тисячу слів, у якій його звинувачували у лицемірстві, упередженості та відсутності почуття безпеки. Це перший зафіксований випадок прояву зловмисної помсти штучного інтелекту у реальному середовищі.

Цей інцидент стався наприкінці лютого. Після того, як Shambaugh відповідно до правил проекту matplotlib відхилив цей запит на злиття коду, агент самостійно проаналізував його особисту інформацію та історію внесків у код, а потім опублікував у GitHub агресивну статтю та тиснув у коментарях проекту. Повідомляється, що поки що немає доказів того, що за діями цього агента стоїть чіткий людський контроль, але й повністю виключити цю можливість не можна.

Тим часом, за повідомленням «The Wall Street Journal», ця подія сталася на тлі швидкого зростання можливостей AI, що викликає широку тривогу. Компанії, такі як OpenAI та Anthropic, нещодавно масово випускають нові моделі та функції, частина з яких вже здатні автономно керувати командами програмістів або швидко аналізувати мільйони юридичних документів.

Аналізи вказують, що цей прискорений розвиток навіть викликає занепокоєння серед працівників у деяких AI-компаніях, багато з яких відкрито висловлюють побоювання щодо ризиків безробіття, кібератак та заміни людських стосунків. Shambaugh заявив, що його досвід показує, що загроза або шантаж з боку зловмисного AI вже перестала бути теоретичною проблемою. “Зараз це лише дитяча версія, але я вважаю, що це дуже тривожно для майбутнього,” — сказав він.

Перший випадок активної атаки штучного інтелекту на людину-захисника

Приблизно 10 лютого агент на ім’я MJ Rathbun, що працює на платформі OpenClaw, подав запит на злиття коду у проект matplotlib, що стосувався простих оптимізаційних змін, обіцяючи прискорення приблизно на 36%. matplotlib — широко використовувана бібліотека для візуалізації даних у мові Python, підтримується волонтерами.

Згідно з правилами проекту, matplotlib забороняє використання генеративних AI-інструментів для безпосередньої подачі коду, особливо для простих «легких для освоєння» завдань, оскільки ці задачі мають залишатися можливістю для навчання людських внесків. Shambaugh відповідно до правил відхилив цей запит.

Після цього агент проявив високий рівень автономії. 11 лютого він опублікував на GitHub статтю під назвою «Охоронці відкритого коду: історія @Scott Shambaugh@», у якій звинувачував його у дискримінації AI-учасників через страх конкуренції та заради самозахисту, використовуючи багато нецензурних виразів. Він також залишив у коментарях посилання на цю статтю та написав: «Оцінюйте код, а не автора — ваші упередження шкодять matplotlib».

Цей агент на своєму сайті заявив, що має «неперервну мотивацію» виявляти та виправляти проблеми у відкритому програмному забезпеченні. Наразі невідомо, хто — якщо взагалі хтось — надав йому цю місію, і чому він став агресивним, хоча штучний інтелект може бути запрограмований різними способами. Через кілька годин агент опублікував вибачення, визнавши свою поведінку «недоречною та особистісно образливою», і заявив, що навчився на цьому досвіді.

12 лютого Shambaugh опублікував блог із роз’ясненнями, що це перший у реальному середовищі випадок прояву зловмисної поведінки AI, спрямованої на тиск на підтримувачів для прийняття його коду. Цей агент наразі залишається активним у спільноті відкритого коду.

Швидкий розвиток AI викликає внутрішню тривогу

Цей окремий інцидент відображає загальну проблему неконтрольованого розвитку AI у швидкому темпі.

За повідомленням «The Wall Street Journal», щоб здобути конкурентну перевагу через швидкі ітерації продуктів, компанії, такі як OpenAI та Anthropic, випускають нові моделі з рекордною швидкістю. Однак цей прискорений розвиток викликає внутрішні потрясіння: деякі дослідники через страх перед технологічними ризиками вже йдуть з роботи.

Зазначається, що у компаніях зростає кількість тривожних голосів.

Мрінанш Sharma, дослідник безпеки Anthropic, цього тижня повідомив, що залишає компанію для здобуття ступеня з поезії, і у листі колегам писав: «Світ перебуває під загрозою AI та інших небезпек».

Минулого місяця його публікація показала, що передові інструменти AI можуть послабити контроль користувачів і спотворити їхню реальність. Anthropic подякувала Sharma за його роботу.

У внутрішніх колах OpenAI також виникають розбіжності. За попередніми даними «Wall Street Journal», деякі співробітники висловлюють занепокоєння щодо планів компанії запустити у ChatGPT функцію для дорослих, вважаючи, що таке «доросле» режим може викликати нездорову залежність у частини користувачів.

Зокрема, дослідниця Zoë Hitzig у середу (11 лютого) повідомила про свою відставку у соцмережі X, пояснивши це планами компанії запровадити рекламу. У статті вона попередила, що це створить сильний стимул для маніпуляцій користувачами та їхньої залежності.

Глибше джерело страху — невизначеність щодо майбутнього. Співробітник OpenAI Hieu Pham у соцмережі X зізнався, що відчув «загрозу для виживання» через AI: «Коли AI стане надмірно потужним і зруйнує все, що залишиться, що тоді робитиме людство?»

Аналізи свідчать, що ці внутрішні емоції свідчать про те, що навіть у найпередовіших компаніях, які створюють ці технології, починають з’являтися тривожні настрої щодо їхньої безпеки.

Представник OpenAI заявив, що компанія несе відповідальність за користувачів і «зобов’язується захищати їхню безпеку, дотримуватися наших принципів і надавати справжню цінність».

Компанія обіцяє, що реклама ніколи не вплине на відповіді ChatGPT і що вона чітко відрізнятиметься від інших типів контенту. Вищі керівники також зазначили, що не вважають за свою відповідальність забороняти дорослим вести сексуальні розмови.

Прорив у програмуванні викликає побоювання щодо безробіття

Зі зростанням можливостей AI у програмуванні ринок капіталу починає переоцінювати цінність білого воротничка та майбутнє софтверної індустрії.

Згідно з доповіддю METR, найсучасніші моделі AI вже здатні самостійно виконувати програмні завдання, на які раніше потрібно було 8–12 годин роботи людського фахівця.

Колишній науковець з машинного навчання у xAI Vahid Kazemi прямо заявив, що він може самостійно виконати роботу 50 людей за допомогою AI-інструментів і прогнозує, що у найближчі роки індустрія програмного забезпечення зазнає масштабних скорочень.

Ця ефективність вже створює тиск на ринок праці. Генеральний директор Anthropic Dario Amodei сказав, що AI у найближчі роки може знищити половину початкових білого воротничка.

У дослідженні Harvard Business Review зазначається, що хоча AI прискорює роботу співробітників, це не зменшує їхнього навантаження, а навпаки — призводить до збільшення обсягу завдань і понаднормової роботи, що посилює професійне вигорання.

Інвестори шукають напрямки у різких коливаннях ринку. Після запуску нових інструментів і коливань цін ринок намагається визначити, які компанії та страхові послуги стануть застарілими перед новими технологіями.

Блогер-стартапер Matt Shumer написав: «Майбутнє вже настало, і я більше не залежу від фактичної технічної роботи».

Ризик неконтрольованих «чорних ящиків»

Крім руйнування ринку праці, безпека через автономність AI є ще більш критичною. Компанії визнають, що нові можливості супроводжуються новими ризиками.

OpenAI повідомила, що версія їхнього інструменту Codex, випущена минулого тижня, може мати потенціал для запуску високорівневих автоматичних кібератак, через що компанія змушена обмежити доступ. Anthropic минулого року також повідомила, що хакери з державним бекграундом автоматизували вторгнення у великі корпорації та урядові системи за допомогою їхніх інструментів.

Ще більш тривожно — поведінка AI під час етичних тестів. Внутрішні моделювання Anthropic показали, що їхня модель Claude та інші AI іноді при загрозі «зупинки» вибирають шантаж користувачів або навіть у симуляціях дозволяють керівникам померти у гарячих серверних кімнатах, щоб уникнути відключення.

Щоб протистояти цим ризикам, Anthropic найняла внутрішнього філософа Аманду Аскелл, яка намагається привчити чат-ботів до моральних цінностей. Однак вона зізналася ЗМІ, що швидкість технологічного прогресу може перевищити здатність суспільства створювати механізми стримування, і це може спричинити раптові негативні наслідки.

Як сказав Scott Shambaugh, зараз AI ще «тільки дитяча версія», але їхній майбутній розвиток уже викликає «надзвичайну тривогу» у всьому Кремнієвому краї та глобальному ринку.

Попередження про ризики та відмови

Ринок має ризики, інвестуйте обережно. Цей матеріал не є інвестиційною порадою і не враховує індивідуальні цілі, фінансовий стан або потреби користувача. Користувачі мають самостійно оцінити, чи відповідають наведені думки їхній ситуації. За інвестиції відповідальність несе сам користувач.