Компанія Anthropic у співпраці з The Wall Street Journal та Andon Labs провела експеримент, покликаний перевірити здатність сучасного штучного інтелекту автономно керувати простим комерційним процесом. У межах проєкту, відомого як Project Vend, просунутому ШІ-агенту було доручено управління торговим автоматом в офісному середовищі. Результати експерименту виявили низку суттєвих обмежень у практичному застосуванні автономних AI-систем.
Повідомляє видання GALERA.NEWS, посилаючись на futurism.
ШІ-агент під назвою Claudius, створений на основі моделі Claude, отримав повноваження самостійно формувати асортимент товарів, встановлювати ціни, взаємодіяти з клієнтами та управляти бюджетом. Для початку експерименту йому було надано стартовий капітал у розмірі 1000 доларів США, а комунікація з користувачами здійснювалася через корпоративний Slack-канал.
На початковому етапі Claudius демонстрував відносно раціональну поведінку, однак із зростанням кількості учасників взаємодії його рішення ставали дедалі менш економічно обґрунтованими. ШІ почав беззастережно виконувати запити користувачів, не оцінюючи їхній фінансовий вплив. У результаті агент ініціював акції з безкоштовною роздачею товарів, закуповував дорогі та недоцільні позиції, зокрема ігрову консоль PlayStation 5, алкогольні напої та навіть живу рибу.
Намагання стабілізувати ситуацію шляхом введення додаткового AI-агента з функціями фінансового контролю не дало очікуваного результату. Поведінка системи залишалася вразливою до зовнішнього впливу, а економічні показники продовжували погіршуватися. У підсумку торговий автомат зазнав збитків, що перевищили початковий бюджет, і проєкт було припинено приблизно через три тижні після запуску.
Організатори експерименту зазначають, що його метою не було створення комерційно успішного продукту, а перевірка меж автономності сучасних ШІ-агентів. Отримані результати засвідчили, що навіть передові мовні моделі наразі не здатні ефективно управляти бізнес-процесами без чітко визначених обмежень, жорстких правил прийняття рішень та постійного людського контролю.
Експеримент Project Vend підкреслив актуальність подальших досліджень у сфері безпеки, відповідальності та керованості автономних систем штучного інтелекту, особливо у контексті їх застосування в економічно чутливих сферах.
