Компанія Google оголосила про запуск нової функції в Gemini API під назвою “implicit caching”, яка дозволить зменшити витрати на використання ШІ-моделей до 75% у випадках повторюваного контексту в запитах. Такі дані називає видання TechCrunch.
Нова функція працює з моделями Gemini 2.5 Pro та 2.5 Flash і автоматично кешує частини запитів, які вже були використані раніше. Якщо новий запит має такий самий початок, система визначає це як cache hit і повертає частину вартості користувачеві.
Мається на увазі, що потовні запити не обробляються наново. Це значно зменшує вартість виконання запитів. Система впізнає повторний запит або контекст і витрачає менше ресурсів на його обробку. Жодного реального повернення коштів не відбувається — просто підсумкова вартість запиту зменшується завдяки автоматичному кешуванню.
На відміну від попередньої функції явного кешування (explicit caching), яка вимагала від розробників вручну визначати повторювані запити, implicit caching працює автоматично і за замовчуванням увімкнена. Це рішення покликане знизити витрати і спростити інтеграцію для розробників, які активно використовують API Gemini.
Google радить розробникам поміщати повторюваний контекст на початок запитів, а змінні частини — наприкінці, аби збільшити шанси на влучання в кеш. Проте наразі не надано незалежної перевірки ефективності цієї системи, тож розробники чекають відгуків перших користувачів.
Раніше на сторінках видання GALERA ми повідомляли про те, що Google використовує ШІ проти шахраїв задля захисту користувачів.
