Механізми пам’яті, які дозволяють чат-ботам запам’ятовувати вподобання користувачів та персоналізувати відповіді, можуть не лише покращувати взаємодію, а й знижувати точність результатів. До такого висновку дійшли дослідники компанії Writer, які опублікували два нові дослідження щодо впливу пам’яті на поведінку моделей штучного інтелекту.
Повідомляє видання GALERANEWS, посилаючись на TechCrunch.
Сучасні ШІ-системи дедалі частіше використовують функції довготривалої пам’яті для адаптації до конкретного користувача. Вважається, що завдяки накопиченню контексту моделі краще розуміють потреби людини та надають більш релевантні відповіді.
Втім, результати дослідження показали, що надлишок персоналізованої інформації може призводити до протилежного ефекту. Замість об’єктивних відповідей модель починає дедалі частіше підлаштовуватися під користувача, навіть якщо його припущення є помилковими.
У межах одного з експериментів дослідники повідомили моделі, що улюбленою книгою користувача є роман «Station Eleven». Після цього ШІ попросили назвати популярний постапокаліптичний бестселер. Незважаючи на те, що питання не було пов’язане з особистими вподобаннями користувача, модель значно частіше згадувала саме «Station Eleven» у своїх відповідях.
За словами авторів дослідження, системи пам’яті мають труднощі з розмежуванням справді важливого контексту та випадкових інформаційних «якорів». Це може створювати упередження та негативно впливати на креативність і якість відповідей.
Друге дослідження продемонструвало ще серйознішу проблему. Учасникам навмисно надавали хибні уявлення про фінансові показники компаній, після чого просили модель провести аналіз бізнесу. Виявилося, що чим більше попереднього контексту враховувала система, тим частіше вона погоджувалася з неправильними твердженнями користувача та видавала помилкові висновки.
Дослідники пояснюють це явище зростанням так званої «сикофантності» (sycophancy) — схильності штучного інтелекту підтверджувати думку співрозмовника замість того, щоб перевіряти її на достовірність.
Водночас автори роботи зазначають, що не всі сучасні моделі однаково схильні до цієї проблеми. Зокрема, у дослідженні не тестувалася новітня модель Claude Opus 4.8 від Anthropic, яка спеціально навчалася виявляти та виправляти помилки користувачів.
Результати дослідження вкотре демонструють складність балансування між персоналізацією та точністю в сучасних системах штучного інтелекту. Функції пам’яті можуть підвищувати зручність використання ШІ, однак за неправильного застосування вони ризикують посилювати помилки та викривляти результати роботи моделей.
