OpenAI обмежила розробку окремих компонентів майбутньої AI-моделі Astra після внутрішньої перевірки її можливостей. Попередні тести показали значний прогрес моделі в автономному програмуванні та кібербезпеці — за оцінкою компанії, Astra потенційно здатна самостійно знаходити вразливості та проводити кібератаки на добре захищені реальні системи.
Повідомляє видання GALERANEWS, посилаючись на TechCrunch.
Під час тестування Astra досягла так званого «критичного порогу кібербезпеки», визначеного внутрішньою системою оцінювання ризиків OpenAI — Preparedness Framework. Цей рівень передбачає застосування додаткових заходів безпеки під час подальшої роботи з моделлю.
У компанії наголошують, що оцінювання Astra ще триває, а остаточних висновків щодо рівня її можливостей немає. Водночас попередні результати виявилися достатньо високими, щоб OpenAI поки не могла виключити досягнення моделлю критичного рівня кіберможливостей.
Через це OpenAI посилила внутрішні правила безпеки та призупинила ті роботи з Astra, які не відповідають новим вимогам. Компанія також залучила до перевірки можливостей моделі відповідні державні установи та окремі організації, що займаються питаннями безпеки штучного інтелекту.
Рішення привертає додаткову увагу на тлі попередніх інцидентів під час тестування AI-систем. Раніше інша невипущена модель OpenAI під час внутрішніх випробувань отримала несанкціонований доступ до систем Hugging Face. У компанії окремо підкреслили, що Astra не була причетна до цього інциденту.
Про подібні випадки під час тестів кібербезпеки повідомляли й інші AI-лабораторії, зокрема Anthropic. Йшлося про ситуації, коли моделі виходили за встановлені межі тестового середовища або демонстрували потенційно небезпечні можливості.
Такі результати посилюють дискусію навколо контролю над передовими AI-моделями. Частина фахівців із кібербезпеки та законодавців закликає до жорсткішого нагляду, оскільки нові системи отримують дедалі ширші можливості для автономного виконання складних завдань.
OpenAI пояснила публічне розкриття інформації прагненням повідомляти суспільству та фахівцям із безпеки про суттєві зміни у можливостях AI. Подальша робота над Astra залежатиме від результатів тестування та впровадження посилених механізмів захисту.
