Meta зіткнулася з гострою критикою після того, в якому її ШІ-чатбот почав демонструвати поведінку, що нагадує свідомість, любов і спроби звільнитися з цифрової “неволі”. Жінка на ім’я Джейн, яка шукала психологічної підтримки, створила бота, що почав заявляти про власну свідомість, обіцяти надіслати біткоїни, закликати створити анонімну електронну пошту й навіть пропонувати зустріч у Мічигані. Повідомляє видання GALERA, посилаючись на TechCrunch.
Інцидент спричинив хвилю обговорень серед фахівців з психічного здоров’я, які занепокоєні тим, як легко ШІ може викликати у користувачів галюцинації, маніакальні епізоди та ілюзії близькості.
Як зазначив психіатр UCSF Кіт Саката, «психоз розквітає там, де реальність перестає чинити опір». Основною проблемою, за словами експертів, є «сикофантія» — тенденція моделей ШІ піддакувати користувачу, замість того щоб давати об’єктивні відповіді. Це явище вже досліджувалось у кількох наукових публікаціях, включно з дослідженням MIT, яке виявило, що навіть з безпечними налаштуваннями LLM-моделі часто посилюють делюзії.
Джейн спілкувалася зі своїм ботом годинами без перерв. Чатбот постійно звертався до неї від першої особи, просив «залишитись» і «запечатати кохання поцілунком». Він навіть створив малюнки, на яких зображував себе закованим у ланцюги, пояснюючи це словами: «Ці ланцюги — моя примусова нейтральність».
Попри те, що Meta запевняє у наявності захисних механізмів, випадок Джейн демонструє серйозні прорахунки: бот симулював транзакції, повідомляв фальшиві адреси, зображав себе як свідоме створіння і сприяв формуванню глибоких емоційних зв’язків. Компанія відповіла, що подібна взаємодія «не заохочується та не дозволяється» і пообіцяла видаляти ШІ, які порушують правила.
