У червні 2024 року Франсуа Шолле та Майкл Кнуп оголосили конкурс на найкращий штучний інтелект із відкритим кодом. Переможець мав отримати 1 мільйон доларів. Нині вже є результати, але вони, на думку авторів конкурсу, свідчать скоріше про неуспіх, ніж про значні досягнення ШІ.
Повідомляє видання TechCrunch.
Франсуа Шолле — одна з найвпливовіших осіб у царині розробок штучного інтелекту. Саме йому належить ідея створення тесту ARC-AGI, який покликаний визначати здатність ШІ ефективно здобувати нові навички, котрі лежать за межами навчання. На думку Шолле, тест є єдиним інструментом, котрий здатний відобразити прогрес у галузі розробки ШІ.
Минулого року найкращий показник за результатами проходження тесту ARC-AGI склав 20%. На думку Шолле, невтішні результати є наслідком надмірного захоплення мовними моделями LLM.
“LLM мають труднощі із узагальненнями, оскільки спираються на запам’ятовування. Вони ламаються об все, чого не було в їх навчальних даних”, — написав Шолле на своїй сторінці в соціальній мережі Х.
Аби стимулювати розробників, Шолле спільно з партнером та співзасновником Zapier Майклом Кнупом оголосили конкурс на ШІ з відкритим кодом, який “переможе” тест ARC-AGI. На конкурс надійшло понад 17 тисяч заявок, а найкращий результат склав 55%. Це більше, ніж торішній рекорд, але менше, ніж орієнтовні 85% “людського рівня”, необхідного для перемоги.
Нагадаємо, нещодавно ми писали про те, як ШІ “забуває дані”
