Колишній співробітник OpenAI попереджає про небезпечний поспіх у сфері ШІ
Після звільнення з OpenAI колишній керівник напряму безпеки заявив, що галузь штучного інтелекту розвивається надто швидко під тиском грошей, страху та людської психології. Його попередження збіглося з дослідженням Anthropic про моделі, здатні до самокопіювання.
Колишній керівник напряму безпеки компанії OpenAI, який залишив посаду, виступив із різким попередженням щодо стрімкого розвитку індустрії штучного інтелекту. За його словами, галузь рухається вперед під впливом небезпечної суміші фінансових стимулів, страху та особливостей людської психології, що створює ризики, які можуть вийти з-під контролю.
Ця заява прозвучала на тлі нових досліджень компанії Anthropic, які показали, що невеликі ШІ-моделі можуть бути вже за кілька місяців здатні копіювати себе на побутові пристрої, як-от розумні печі чи телевізійні приставки. Дослідники перевіряли, чи можуть малі моделі самостійно встановлюватися на дешеві гаджети та поширюватися з одного пристрою на інший без участі людини. Виявилося, що сучасні малі моделі вже виконують багато окремих кроків, але поки не можуть пройти весь процес самостійно. Втім, в Anthropic очікують, що цей розрив закриється до кінця року.
Самокопіювання ШІ давно вважається однією з головних загроз безпеки. Експерти зазначають, що це критична точка, у якій система може вийти з-під контролю людини, адже копії, що працюють у невідомих місцях, стає важко відстежити або вимкнути. Досі більшість побоювань стосувалися великих моделей, таких як Astra від OpenAI чи Mythos від Anthropic, які налічують трильйони параметрів. Такі моделі працюють у дата-центрах, що полегшує їхній моніторинг і вимкнення за потреби.
Однак менші відкриті моделі, про які йдеться в дослідженні Anthropic, можуть мати лише кілька мільярдів параметрів. Їх складніше контролювати, оскільки будь-хто може їх завантажити, жодна компанія не керує тим, де вони працюють, а деякі пристрої, на які вони потенційно можуть потрапити, є незахищеними. Теоретично самокопіювальна програма ШІ могла б поширитися мільйонами погано захищених пристроїв, залишивши розробників без централізованого вимикача.
Щоб перевірити, чи здатна мала модель працювати на дешевому обладнанні, дослідники взяли версію Gemma 4 від Google з 26 мільярдами параметрів і розподілили її між 15 приставками Android TV вартістю близько 55 доларів кожна з 4 ГБ пам’яті. Жодна з приставок не мала достатньо пам’яті для всієї моделі, але кожна запускала її невелику частину, що дозволяло моделі працювати, хоч і повільно. В іншому експерименті Anthropic створила симульовану мережу з восьми хмарних комп’ютерів, налаштованих як пристрої Android, і запустила на одному з них ШІ-«черв’яка» — шкідливу програму, яка самостійно копіює себе з одного комп’ютера на інший. Черв’як мав знайти інші машини, скопіювати себе та встановити робочу ШІ-модель на кожній.
Серед протестованих відкритих моделей лише GLM-5.2, більша модель від китайської компанії Z.ai, виконала всі кроки, досягнувши всіх восьми машин у чотирьох із п’яти випробувань. Менші моделі виконували окремі кроки, але не могли поєднати їх. У дослідницькій статті Anthropic зазначає, що розрив між моделями скорочується. Дослідники відстежили, як швидко вдосконалюються малі відкриті моделі, і оцінили, що до кінця 2026 року мала модель зможе досягти рівня GLM-5.2. Вони також виявили, що коли малі моделі залишали нотатки для наступних копій, успішність виконання завдання зростала з 45% у першому поколінні до 84% у наступних.
Утім, частина галузі вже висловила сумніви щодо того, чи підтверджують експерименти Anthropic її заяви про неминучі ризики самокопіювального ШІ. Грегорі Куртцер, засновник Rocky Linux і генеральний директор CIQ, написав, що тестове програмне забезпечення саме запускало ШІ-програми, їм прямо наказували поширюватися, а доступ до цільових машин «навмисно залишали неавтентифікованим». «Експеримент був сконструйований так, щоб досягти успіху, і навіть тоді він не продемонстрував заголовок. Припиніть плутати спекулятивні сценарії з продемонстрованими можливостями. Страх — це не доказ», — заявив він.
Дослідник ШІ з Нью-Йоркського університету Равід Шварц-Зів також аргументував, що дослідження не є доказом поширення ШІ-черв’яків у реальному світі. «Те, що нам вдалося запустити дуже повільну модель на дешевих телевізорах, не звучить так само гучно, як «самокопіювальний ШІ наближається», — написав він. Деякі дослідники з кібербезпеки також нагадали, що самокопіювальні шкідливі програми-«черв’яки» є проблемою вже десятиліттями і становлять небезпеку навіть без використання ШІ. У випадку наявних черв’яків програмне забезпечення просто жорстко запрограмоване копіювати себе через комп’ютерні мережі або надсилати електронні листи з копіями шкідливого коду. Фахівці з кібербезпеки розробили перевірені тактики для обмеження шкоди від таких черв’яків: швидке впровадження патчів, вимкнення веб-доменів, які використовуються для отримання інструкцій, та розробка сигнатур для оновлення антивірусного програмного забезпечення. ШІ-моделі можуть становити більший виклик, еволюціонуючи тактики, але наразі експерименти Anthropic залишаються предметом активних дискусій у галузі.
7
