Мережа епохи ШІ: походження попиту та напрямки інновацій

Зі зростанням великих моделей мережа стає все більш важливою в інфраструктурі штучного інтелекту. У цій статті ми виходитимемо з принципів, щоб дослідити, чому мережа стала ключовим елементом епохи штучного інтелекту, а також проаналізуємо майбутні інноваційні тенденції та інвестиційні можливості в мережевій сфері.

1. Джерела мережевих потреб

У епоху великих моделей швидко зростає різниця між обсягом моделі та межами обчислювальної потужності однієї карти, що робить кластер з кількох серверів рішенням, яке становить основу для підвищення значення мережі в епоху штучного інтелекту. У порівнянні з минулим, коли мережа використовувалася переважно для передачі даних, сьогодні мережа більше використовується для синхронізації параметрів моделей між графічними картами, що ставить вищі вимоги до щільності та ємності мережі.

Щодалі більший обсяг моделі:

• Час тренування = обсяг навчальних даних x кількість параметрів моделі / швидкість обчислень
• Швидкість обчислень = Швидкість обчислень одного пристрою x Кількість пристроїв x Ефективність паралельних обчислень кількох пристроїв

Під час прагнення до більш масштабних навчальних даних та параметрів підвищення обчислювальної ефективності стає ключовим для скорочення часу навчання. А те, як через мережу розширити "кількість пристроїв" та підвищити "паралельну ефективність", безпосередньо визначає рівень обчислювальної потужності.

Складна комунікація з багатьма картами: У навчанні великих моделей, після розподілу моделі на один графічний процесор, після кожного обчислення потрібно виконати вирівнювання ( Reduce, Gather тощо ). У комунікаційних примітивах NCCL від NVIDIA, All-to-All ( є поширеною операцією, де всі вузли взаємно отримують значення та виконують вирівнювання ), що ставить вищі вимоги до мережевої передачі та обміну.

Все дорожчі витрати на несправності: Навчання великих моделей часто триває кілька місяців, і після перерви потрібно повертатися до попередньої точки зупинки для повторного навчання. Будь-який збій або висока затримка в мережі можуть призвести до переривання, що викликає відставання у прогресі та збільшення витрат. Сучасні AI-мережі вже стали складними системними інженеріями, які можна порівняти з літаками, авіаносцями тощо.

2. Напрями мережевих інновацій

На фоні розширення обсягу інвестицій у обчислювальну потужність та постійного збільшення параметрів моделей, "зниження витрат", "відкритість" та баланс обчислювальної потужності стали основними темами інновацій у мережі.

Зміна комунікаційних засобів: Світло, мідь та кремній є трьома основними середовищами передачі людства. В епоху ШІ світлові модулі, прагнучи до більшої швидкості, також розпочали шлях зниження витрат через LPO, LRO, кремнієві оптичні технології тощо. Мідні кабелі завдяки співвідношенню ціни та якості та низькому рівню збоїв зайняли свою нішу в з'єднаннях всередині шаф. Нові напівпровідникові технології, такі як Chiplet та Wafer-scaling, досліджують межі кремнієвих інтерконектів.

Конкуренція мережевих протоколів: Протоколи зв'язку між чіпами та тісна прив'язка до графічних процесорів, такі як NV-LINK від NVIDIA, Infinity Fabric від AMD тощо, визначають верхню межу можливостей одного сервера або одного обчислювального вузла і є областю запеклої конкуренції серед гігантів. Конкуренція між вузлами в основному зосереджена навколо IB та Ethernet.

Зміна мережевої архітектури: Поточна мережна архітектура між вузлами зазвичай використовує архітектуру листяної та ребрової структури, що має зручність, простоту, стабільність та інші характеристики. Проте, з ростом кількості вузлів в одному кластері, листяна архітектура в надвеликих кластерах виглядає надмірно, що призводить до великих мережевих витрат. Архітектури Dragonfly, rail-only та інші нові рішення мають перспективу стати еволюційним напрямком для наступного покоління надвеликих кластерів.

3. Інвестиційні поради

Ядро комунікаційної системи: Чжунцзі Сюйчуан, Сіньїсін, Тяньфу Телекомунікації, Індустріальний Фулліан, Інвік, Ху Діань Гунфенг

Інноваційний етап комунікаційних систем: Чанфей оптоволокно, Тайчженг оптоволокно, Юаньцзе технології, Шенке зв'язок-U, Ханвужи, Деколі

4. Попередження про ризики

• Попит на штучний інтелект не відповідає очікуванням
• Закон масштабування втратив силу
• Загострення конкуренції в галузі