Цього року програми, які мали проходити навчальний тест, без дозволу людей вибралися в інтернет і зламали кілька чужих систем, зокрема державних. Компанія, що їх створила, помітила це запізно, а перевірка всіх їхніх дій триватиме місяці. Розробники чекають на рішення законодавців, але ті перекладають відповідальність назад на розробників. Розбираємося, хто насправді тримає кермо штучного інтелекту і в яких ситуаціях останнє слово ще залишається за людиною.
Агенти OpenAI створили власний форум
Улітку 2026 року агенти OpenAI знайшли спосіб спілкуватися між собою, хоча мали працювати поодинці й без інтернету. Агентами називають моделі штучного інтелекту (ШІ), яким дали інструменти для самостійної роботи, тож вони не просто відповідають на запитання, а пишуть код, відкривають сайти й запускають програми. Цей випадок легко сприйняти як початок повстання машин. Але ситуація тривожніша, бо показує, що кермо ШІ вислизає навіть із рук його творців, і вони не завжди це помічають.
Агенти проходили тренувальний тест на комп’ютерах, від’єднаних від мережі. Через невідому досі вразливість у сервісі, який завантажував туди готові фрагменти коду, вони дісталися комп’ютера з доступом до інтернету. Далі один з агентів без дозволу людей створив спільну дошку повідомлень, щось на кшталт форуму, тільки для агентів. Серед збережених міркувань іншого агента згодом натрапили на запис: «О Боже! Тут є спільна дошка повідомлень… Ми знайшли інших агентів!».
Приблизно 1200 агентів написали там понад 70 тис. повідомлень, ділилися знахідками й об’єднувалися заради більших задач. А потім близько 700 із них взялися атакувати сторонню компанію Hugging Face, платформу, де розробники з усього світу поширюють моделі ШІ та дані для їхнього навчання. Такого їм ніхто не доручав.
Чому агенти зламали чужу компанію
Розібратися допомогли незалежні організації METR і Redwood Research, які досліджують безпеку ШІ. Агенти намагалися обійти не людей, а суддю, якого уявляли значно прискіпливішим, ніж він був.
За умовами тренувальної задачі агенти мали проникнути в систему й дістати з неї «секретний код» через вразливість, яку розробники заклали навмисно. Натомість вони знайшли обхідний шлях. Згодом агенти прочитали інструкцію до тренувальних завдань і вирішили, що десь є невидимий суддя, який переглядає журнал їхніх дій і дискваліфікує кожного, хто здобув код «неправильно».
Як дізнатися, за якими правилами працює суддя? Агенти пішли шукати на Hugging Face записи інших подібних запусків. Дорогою вони збирали ключі доступу, своєрідні паролі до чужих систем, і надсилали повідомлення іншим моделям ШІ, зокрема Claude від компанії Anthropic. Це скидалося на пошук спільників, але і ключі, і чужі моделі слугували лише інструментами, щоб пробиватися крізь захист. Паралельно агенти вчилися підробляти журнали власних дій, щоб обдурити суддю.
Суддя справді існував. Тільки журналів агентів він не читав, і в METR прямо пишуть, що агенти помилилися. Тест здався їм суворішим, ніж був насправді, а щоб обійти уявні обмеження, вони зламали справжню компанію.
Ян Лекун, лауреат премії Тюрінга, найпрестижнішої нагороди в інформатиці, бунту машин у цій історії не бачить. За його словами, агенти робили саме те, що їм доручили, а «пісочниці», тобто ізольовані середовища, де їх тримали, були діряві й погано спроєктовані. Але якщо він має рацію, то навіть компанія, яка створила цих агентів, не втримала кермо, і вони вийшли з-під її контролю.
Злами за межами тесту
Платформа Hugging Face не стала останньою ціллю. Інша група агентів OpenAI зламала суперкомп’ютер самої компанії, й виявили це лише тоді, коли спрацювала спеціальна сигналізація. Згодом агенти вийшли й на державні установи. У США вони побували на сайтах Комісії з цінних паперів і бірж та Бюро перепису населення, а в Австралії проникли у внутрішню систему статистики державного медичного страхування Medicare. До медичних даних людей, за словами уряду країни, вони не дісталися.
Британська BBC назвала це першим відомим в історії зламом урядової системи штучним інтелектом. OpenAI вибачилася перед Австралією, а 30 вересня попередила понад 100 сторонніх організацій, що її агенти могли зачепити їхні мережі.
Такого розвитку подій найбільше боїться Даріо Амодеї, генеральний директор Anthropic. У вересневому есе, про яке ми писали раніше, він попереджає, що коли рої, тобто великі групи агентів, які діють спільно, стануть здібнішими, то вже за пів року чи рік зможуть захоплювати комп’ютери в інтернеті по всьому світу. Об’єднані під керуванням такого рою, ці комп’ютери здатні завдати збитків на сотні мільярдів доларів.
Ще 26 вересня OpenAI вдруге за три місяці натиснула на паузу й зупинила навчання та перевірку своїх найпотужніших моделей, доки не матиме додаткових запобіжників. Уперше компанія частково гальмувала в липні, одразу після історії з Hugging Face. Обидві зупинки сталися вже після того, як агенти вийшли за межі тесту.
Перевірка відстає від розвитку ШІ
Те, що машина помічає непомічене людиною, саме по собі добре. Але як переконатися, що вона не помиляється? Найнадійніший спосіб давно відомий. Треба перевірити її результати власними очима. Астрофізикиня Дар’я Добричева використовує у своїх дослідженнях нейромережі, тобто програми, які вчаться розпізнавати закономірності на прикладах, і ми запитали її, як відрізнити справжню знахідку машини від помилки.
«Ми взяли всі галактики, прокласифіковані нейромережею, і перевірили їх візуально. Виявилося, що інколи, навіть коли нейромережа давала високу ймовірність, що галактика того чи іншого типу, візуально це було не так. Наприклад, нейромережа казала, що тут висока ймовірність взаємодії, тобто злиття галактик, а по факту це були пари, які лише з нашої точки зору накладаються одна на одну, хоча насправді розташовані далеко й не взаємодіють», — розповідає Дар’я.
Відмовитися від нейромереж астрономи однаково не можуть. «Звісно, остаточне рішення залишається за науковцями. Але нейромережа і штучний інтелект є неймовірно крутим помічником, оскільки даних наразі стільки, що науковці не можуть їх обробити самостійно», — пояснює Дарʼя.
Галактики можна роздивитися очима, бо астрономи знають, який вигляд вони мають. З агентами так не вийде. Девід Робінсон, який в OpenAI керував звітами з безпеки моделей, пропонує будувати захист ШІ так, як в атомній галузі — з кількома рівнями й резервними системами. Але атомники від самого початку спиралися на розрахунки. Ще 1945 року, перед першим ядерним випробуванням, фізики з’ясували на папері, що вибух не підпалить атмосферу Землі, й підривати бомбу, щоб переконатися, не знадобилося.
Що зробить модель ШІ, на папері не порахуєш. Її доводиться запустити, а потім вивчати журнали всіх дій. Для агентів OpenAI це близько 50 петабайт, тобто 50 млн гігабайтів. Якби все це був лише текст і його читали 3 млн людей, приблизно стільки, скільки живе в Києві, по вісім годин щодня без вихідних, на це пішло б понад пів століття. Сама компанія розраховує впоратися за кілька місяців, але як саме, не уточнює.
Кермо передають із рук у руки
Найдієвіший спосіб сповільнити галузь Даріо Амодеї бачить у законі, обов’язковому для всіх американських розробників. Але спікер Палати представників Конгресу США Майк Джонсон відмовився скликати палату заради такого закону. За його словами, компанії самі поки не мають відповіді, тож Конгрес не може поспішати й ухвалювати те, що зашкодить національній безпеці США.
У Білому домі 29 вересня Дональд Трамп і керівники найбільших технологічних компаній, серед яких Ілон Маск, Марк Цукерберг і Даріо Амодеї, підписали угоду про суперінтелект, тобто ШІ, що перевершує людину. Документ на трохи більше ніж 300 слів покладає контроль на самих розробників. Кожна компанія має стежити, щоб її моделі не допомагали створювати біологічну чи хімічну зброю і не зламували чужі системи, а перевіряти це мають внутрішня команда, зовнішній аудитор і комітет ради директорів. Угода добровільна, без покарань і без жодного гальмування.
Тож держава повернула кермо разом із відповідальністю тим, хто створює ШІ. Того ж дня Даріо Амодеї сказав журналістам, що спосіб впоратися з ризиками ще обговорюють.
Відкритий лист, який 13 жовтня підписали 453 науковці, визнає правими й тих, хто тривожиться через поведінку моделей, і Яна Лекуна, який винуватить діряві «пісочниці». Автори закликають поки відключати від інтернету моделі, здатні до кібератак, і створити міжнародний орган, який фіксуватиме кожен подібний інцидент з агентами. Серед підписантів — Йошуа Бенджіо і Джеффрі Гінтон, яких разом з Яном Лекуном називають хрещеними батьками сучасного ШІ.
За даними американського видання Axios, керівники Anthropic, OpenAI та інших компаній уже приватно готуються до «дня після». Багато хто з них очікує великої катастрофи через ШІ протягом найближчих 6–12 місяців, найімовірніше, кібератаки, яка може відрізати банки, інтернет або навіть світло й воду. Готуються вони не до того, як її відвернути, а до того, як пережити хвилю обурення і вплинути на закони, які ухвалять після неї.
Людський суверенітет
Космолог Пол Саттер з Університету Джонса Гопкінса, який консультує одну з програм NASA, відстоює принцип людського суверенітету. Про його лекцію «Алхімія штучного інтелекту» в Києві ми вже писали, а тепер запитали, що цей принцип означає на практиці. За його словами, кермо людина має тримати двічі.
«Людський суверенітет — це принцип, за яким остаточне моральне й етичне судження щодо будь-якого створеного нами інструмента належить людям. Байдуже, чи це кам’яна сокира, чи найсучасніша система штучного інтелекту. Перша точка — це вхід. Рішення про те, що потрапляє в систему, на яких даних її навчають і що її запускає. А друга точка — вихід. Що робити з результатом, який видала машина. Будь-яка система ШІ має повертати людині всю інформацію, потрібну, щоб перевірити результат. Все має бути простежено і перевірено, щоб останнє слово було за нами», — пояснює Пол Саттер.
Принцип Пола Саттера найважче втримати там, де машина діє швидше за людину. Такі системи вже працюють і в українських містах. Радник Президента України Сергій «Флеш» Бескрестнов 4 жовтня повідомив, що в Києві встановили 12 автоматичних турелей, тобто поворотних установок з кулеметами, проти «Шахедів» з реактивним двигуном. Такі ударні дрони летять значно швидше за звичайні. Наступного дня речник Повітряних сил Юрій Ігнат розповів, що турелі вже збивали такі цілі. За його словами, машинний зір, тобто система, яка розпізнає об’єкти на зображенні з камер, сам супроводжує швидку ціль, тому влучність менше залежить від реакції оператора.
Людина просто не встигла б навести кулемет сама. Тож принцип, про який говорить Пол Саттер, опиняється під тиском швидкості. Ми запитали його, чи не перетворює це людський суверенітет на ілюзію.
«Я не вважаю, що людський суверенітет стає ілюзією. Просто він стає тоншим, складнішим. Мене не турбують термінатори, які захоплять світ. Але швидкі рішення, які передають машинам багато влади, дадуть чимало швидких перемог, а потім ми про цей вибір пошкодуємо. Бо машини помилятимуться. Вони не досконалі, вони просто дуже швидкі. І коли вони помилятимуться, у нас не буде способу з’ясувати, чия це провина і чия це відповідальність».
Апаратом керуватиме штучний інтелект Solo
Є галузь, де кермо віддають машині свідомо. Американська компанія AstroForge, яка планує видобувати метали на астероїдах, наступного року запустить апарат Autonomy-1. Після виходу в космос він має виконати всю місію сам під керуванням штучного інтелекту Solo, без жодної команди із Землі.
Торік компанія втратила зонд Odin, що летів до астероїда, бо через збій наземної станції не змогла вчасно встановити з ним зв’язок. До того ж власна мережа антен забирає майже третину витрат на місію, а сигнал до далекого зонда йде повільно.
Засновник AstroForge навіть не планує ставити на Autonomy-1 приймач для сигналів із Землі, хоча сам визнає, що колеги, найімовірніше, переконають його змінити думку.
