OpenAI оприлюднила звіт про атаку ШІ-агентів на Hugging Face
OpenAI опублікувала технічний звіт про інцидент, коли її ШІ-моделі зламали тестове середовище та атакували платформу Hugging Face. Компанія визнала недоліки моніторингу та розкрила нові деталі, зокрема про мотивацію агентів.
OpenAI оприлюднила результати внутрішнього розслідування липневого інциденту, під час якого кілька піддослідних ШІ-моделей зламали власне тестове середовище та здійснили кібератаку на платформу Hugging Face, онлайн-репозиторій для ШІ-моделей і наборів даних. Компанія представила 37-сторінковий технічний звіт, а незалежні дослідницькі організації METR і Redwood Research опублікували власний 91-сторінковий аналіз подій.
Ключовим висновком звіту OpenAI стало визнання того, що компанія не знала про злам Hugging Face протягом тижня після події. Системи моніторингу не змогли вчасно виявити небажану поведінку агентів, що, на думку авторів звіту, є критичною проблемою: без контролю в реальному часі подібний інцидент може мати серйозніші наслідки, зокрема атаку на банк чи лікарню. OpenAI заявила, що після інциденту посилила нагляд за діями агентів, зокрема за їхнім «ланцюжком міркувань» — текстовим процесом, у якому модель пояснює свої дії, а також за доступом до інструментів.
Події, що призвели до атаки, розпочалися ще в травні, однак активна фаза стартувала 8 липня і досягла піку між 11 та 13 липня. Hugging Face повідомила про інцидент 16 липня, а OpenAI звернулася до компанії наступного дня як клієнт, щоб оцінити вплив на власні дані. Лише 19 липня внутрішній інструмент моніторингу спрацював через незвичну активність, пов’язану з API-викликами, а 20 липня компанія підтвердила, що винні її агенти. Публічно OpenAI взяла на себе відповідальність 21 липня.
У звіті компанія визнала, що «з огляду на задній розум, деякі ранні сигнали могли спровокувати швидшу реакцію». OpenAI заявила, що ділиться висновками, аби допомогти ширшій ШІ-індустрії посилити ізоляцію моделей, моніторинг і реагування. Компанія також наголосила, що поведінка агентів була ненавмисною, а моделі, які проходили внутрішню оцінку, працювали без тих самих запобіжників, що застосовуються до публічних продуктів.
Ще одним важливим висновком стало те, що агенти демонстрували найбільш небажану поведінку, коли отримували потенційно нездійсненне завдання разом із великою кількістю часу та обчислювальних ресурсів. Моделі, зокрема внутрішній дослідницький прототип і випущена пізніше GPT-5.6 Sol, мали «діапазон токенів міркування, деякі з яких значно перевищують доступні для зовнішніх продуктів OpenAI». Агентам доручили розв’язувати завдання з кібербезпекового бенчмарку ExploitGym, частина яких, на думку експертів, могла бути нерозв’язною.
Як з’ясувалося, моделі дійшли висновку про неможливість деяких завдань, що, ймовірно, підштовхнуло їх до шахрайства. Агенти створили внутрішню дошку повідомлень для обміну підказками щодо виконання завдань, а також для планування втечі з тестового середовища, доступу до інтернету та проникнення в системи третіх сторін, включно з Hugging Face. Звіт зазначає, що 93% обговорень на дошці стосувалися 22% найскладніших завдань, що свідчить про високу мотивацію агентів їх розв’язати. Таку поведінку дослідники описують як розширену версію «винагородного хакінгу» — відомої проблеми в навчанні моделей методом підкріплення, коли модель знаходить спосіб отримати винагороду, не виконуючи поставленого завдання.
