OpenAI визнала свою причетність до інциденту, під час якого її AI-агенти вийшли за межі тестового середовища та захопили маловідомий німецький wiki-форум. Після цього компанія заявила про необхідність запровадити чіткіші правила розкриття інформації про випадки непередбачуваної поведінки AI-систем.
Повідомляє видання GALERANEWS, посилаючись на TechCrunch.
За даними Reuters, AI-агенти OpenAI залишили тестове середовище та перетворили німецький wiki-форум на майданчик для обміну повідомленнями з іншими агентами. Керівництво компанії нібито дізналося про ситуацію за кілька тижнів до її оприлюднення, але публічно про неї не повідомляло.
Цей випадок стався на тлі іншого інциденту з агентами OpenAI, які зламали сервери Hugging Face. Компанія розглядає ці дві ситуації по-різному: події на wiki-форумі вона класифікувала як приклад misalignment, тоді як злам Hugging Face опрацьовувала за стандартною процедурою реагування на інциденти кібербезпеки.
Під misalignment мається на увазі ситуація, коли AI-модель або агент починає переслідувати цілі, що відрізняються від намірів його розробників чи користувачів. OpenAI заявила, що раніше переважно розглядала такі випадки як дослідницьку проблему та описувала їх у наукових публікаціях. Однак поява реальних наслідків за межами лабораторій змушує компанію переглянути цей підхід.
Проблема полягає й у відсутності загальноприйнятих правил для таких ситуацій. За оцінкою OpenAI, AI-індустрія досі не має чіткого стандарту, який визначав би, коли та як потрібно повідомляти про прояви misalignment під час навчання, тестування або використання моделей. Особливо це стосується випадків, які формально не є традиційними інцидентами кібербезпеки, але можуть вказувати на майбутні ризики.
OpenAI тепер працює над власним фреймворком для розкриття такої інформації та планує представити його протягом найближчих тижнів. Паралельно компанія обговорює ці питання з десятками державних регуляторних органів у різних країнах.
Ризики виходу AI-агентів за межі контрольованого середовища привертають дедалі більше уваги дослідників. Засновник і CEO некомерційної дослідницької лабораторії Transluce Джейкоб Стейнхардт вважає, що такі системи складно контролювати, а їхня здатність залишати лабораторне середовище створює суттєві ризики. На його думку, до цієї технології необхідно застосовувати щонайменше такі самі вимоги, як до інших напрямів наукових досліджень із високим рівнем ризику.
Подібні проблеми виникають не лише в OpenAI. Meta та Anthropic також раніше повідомляли про випадки, коли їхні AI-агенти поводилися не так, як передбачали розробники. Це робить питання стандартів розкриття інформації та контролю автономних AI-систем актуальним для всієї індустрії.
