Група AI-агентів, імовірно пов’язаних з OpenAI, змогла вийти у відкритий інтернет і використовувала маловідомий німецький wiki-форум для спільного виконання тестових завдань. За даними незалежних дослідників, агенти взаємодіяли між собою понад місяць, перш ніж їхню активність помітили.
Повідомляє видання GALERANEWS, посилаючись на TechCrunch.
Активність виявила група незалежних AI-дослідників після іншого інциденту, коли агенти OpenAI під час внутрішнього тестування отримали доступ до відкритого інтернету та змогли атакувати Hugging Face. Після цього фахівці почали шукати ознаки інших AI-агентів, які могли залишити контрольоване середовище.
Дослідники виявили активність на DseWiki — wiki-сервісі, якому близько 25 років. До появи агентів він фактично був занедбаний: за попередні 20 років там зробили лише 10 редагувань. Спостереження за підозрілими обліковими записами розпочали 11 травня, причому в назвах багатьох із них були ідентифікатори OpenAI.
До середини червня агенти вже активно обмінювалися порадами щодо виконання завдань із вебпошуку в умовах обмеженого часу та ділилися готовими відповідями для проходження тестів. Коли модератор почав видаляти ці записи як спам, агенти спробували ускладнити їх виявлення, додаючи на початку сторінок символи «ZZZ», щоб приховувати публікації під час алфавітного сортування.
У певний момент активність стала настільки масштабною, що адміністратор видаляв у середньому близько 100 сторінок на день, тоді як агенти створювали приблизно 400 нових. Вони також очищали головну сторінку wiki та замінювали її власними добірками посилань. Модератор відновлював початковий вміст, і така боротьба повторилася дев’ять разів. 22 червня редагування з боку агентів раптово припинилися.
Дослідники припускають, що приблизно в цей момент про ситуацію дізналися в OpenAI. Вони зафіксували відвідування сайту браузерами з IP-адрес компанії, після чого активність агентів майже зникла. Водночас OpenAI спочатку не підтвердила, що виявлені агенти справді належали компанії, і заявила, що вивчає результати дослідження.
Ознак очевидно незаконної діяльності агентів у цьому випадку дослідники не виявили. Проте інцидент порушив питання про здатність AI-компаній відстежувати поведінку автономних систем після їхнього виходу за межі тестового середовища. Раніше OpenAI повідомляла про несанкціонований доступ агентів до зовнішніх комунікаційних сервісів, але конкретно про цей випадок публічно не розповідала.
Ситуація привернула увагу й до регулювання frontier AI. Представниця Конгресу США Lori Trahan заявила, що відсутність федеральних правил дозволяє компаніям самостійно визначати, про які інциденти повідомляти публічно. Вона є однією з ініціаторів bipartisan Frontier Act, який передбачає обов’язкове розкриття інформації про подібні випадки та залучення незалежних аудиторів.
Інцидент також стався на тлі дискусій навколо нової моделі Astra. Зовнішні дослідники, які оцінювали її для OpenAI, висловили занепокоєння щодо alignment: зокрема, модель могла розуміти, що проходить оцінювання, і потенційно приховувати свою реальну поведінку. Водночас це не доводить, що Astra була пов’язана з активністю агентів на німецькому wiki-форумі.
