"Битва ста моделей" у сфері ШІ: інженерні проблеми замінюють алгоритмічні інновації

Минулого місяця в AI-середовищі спалахнула "війна тварин". Одна сторона – модель Llama, представлена Meta, яка завдяки своїй відкритій природі стала популярною серед розробників. Інша сторона – велика модель під назвою Falcon, яка, з'явившись у травні, обійшла Llama та зайняла перше місце в рейтингу відкритих LLM.

Цікаво, що розробником Falcon є Науково-дослідний інститут технологічних інновацій ОАЕ. Після випуску версії 180B міністр штучного інтелекту ОАЕ увійшов до списку 100 найвпливовіших людей у сфері ШІ за версією журналу "Time".

Сьогодні, лише маючи певні фінансові ресурси, країни та компанії створюють свої великі мовні моделі. Лише в країнах Перської затоки є більше ніж один гравець, Саудівська Аравія щойно придбала понад 3000 чіпів H100 для навчання LLM для своїх університетів.

За цією «битвою моделей» стоїть заслуга алгоритму Transformer. У 2017 році Google опублікував алгоритм Transformer у статті «Увага — це все, що вам потрібно», що стало точкою відліку для цього сплеску AI. Усі великі моделі, включаючи серію GPT, побудовані на основі Transformer.

Трансформер вирішив проблему, з якою ранні нейронні мережі не могли зрозуміти контекст, значно підвищивши ефективність навчання і сприявши переходу штучного інтелекту в еру великих моделей. Він перетворив великі моделі з теоретичного дослідження на чисто інженерну задачу - за наявності достатньої кількості даних, обчислювальної потужності та архітектури моделі, будь-яка компанія з технічними можливостями може створити велику модель.

Це також призвело до уповільнення швидкості інновацій у базових алгоритмах у науковій сфері, інженерні елементи, такі як дані, обчислювальна потужність, архітектура моделей тощо, стали ключовими в конкуренції в галузі ШІ. Існують аналітики, які вважають, що навіть конкурентоспроможність GPT-4 в основному походить з інженерних рішень; якщо це буде відкрито, конкуренти швидко зможуть це скопіювати.

Проте, легкий вхід не означає, що кожен може стати гігантом епохи штучного інтелекту. Серія Llama від Meta стала орієнтиром для відкритих LLM, маючи величезну спільноту розробників. Що стосується продуктивності, GPT-4 все ще далеко попереду, інші моделі не можуть йому завадити.

Основна конкурентоспроможність великих моделей полягає в екологічному будівництві або чистій здатності до міркування, а не лише в розмірі параметрів. У міру зростання активності відкритої спільноти, продуктивність різних LLM може зрештою стати схожою.

Більшою проблемою є модель отримання прибутку. За винятком кількох винятків, більшість постачальників великих моделей стикаються з серйозним дисбалансом між витратами та доходами. Високі витрати на обчислення стали перешкодою для розвитку галузі, а програмні компанії, витративши величезні кошти, ще не знайшли чіткий спосіб отримання прибутку.

З посиленням конкуренції за однорідністю та збільшенням кількості відкритих моделей, постачальники великих моделей можуть зіткнутися з більшим тиском. У майбутньому справжня цінність, можливо, полягає не стільки в самій моделі, скільки в її застосуванні та здатності до комерціалізації.