Еволюція мережі в епоху штучного інтелекту: від потреб до інновацій

З прибуттям епохи великих моделей мережа стала ключовим елементом в системах штучного інтелекту. У цій статті ми виходитимемо з принципів, щоб дослідити, чому мережа стала "центральною фігурою" епохи ШІ, а також обговоримо інновації та інвестиційні можливості в майбутньому в сфері мереж.

Джерела потреби в мережі

1. Обсяги моделей постійно зростають, межа обчислювальної потужності одного графічного процесора і розміру моделі все більше віддаляються, що потребує рішення проблеми навчання за допомогою кластерів з декількох серверів.

2. Мережа використовується не тільки для передачі даних, але й для синхронізації параметрів моделей між відеокартами, що висуває вищі вимоги до щільності та ємності мережі.

3. Час навчання тісно пов'язаний зі швидкістю обчислень, а швидкість обчислень залежить від швидкості одного пристрою, кількості пристроїв та ефективності паралельних обчислень на кількох пристроях. Мережа відіграє ключову роль у двох останніх аспектах.

4. У процесі навчання з кількома картами після кожного обчислення необхідно виконати вирівнювання параметрів, що висуває високі вимоги до мережевої передачі та обміну.

5. Тренування великих моделей триває кілька місяців, мережеві збої можуть призвести до величезних втрат, тому вимоги до стабільності системи є надзвичайно високими.

Напрямки інновацій в мережі

1. Заміна комунікаційних середовищ: оптика, мідь і кремній мають свої переваги, розвиваючись у напрямку зниження витрат на LPO, LRO, кремнієву оптику та ін.

2. Конкуренція мережевих протоколів: внутрішній комунікаційний протокол вузлів прив'язаний до графічних процесорів, а міжвузлове спілкування в основному здійснюється за допомогою IB та Ethernet.

3. Зміни в мережевій архітектурі: еволюція від архітектури Leaf-Spine до архітектури Dragonfly, rail-only та інших напрямків для задоволення потреб надвеликих кластерів.

Інвестиційні поради

1. Увага на ключові елементи комунікаційних систем: Zhongji Xuchuang, Xinyi Sheng, Tianfu Communication тощо.

2. Увага інноваційним етапам комунікаційних систем: Zhang Fei оптоволокно, Tai Chen Guang, Sheng Ke комунікації тощо.

3. Зосередьтеся на балансі між інноваціями для зниження витрат, відкритою екосистемою та масштабами обчислювальних потужностей.

4. Слідкуйте за новими технологічними тенденціями, щоб зрозуміти зміни в попиті на компоненти, які з цим пов'язані.

Мережеве системне проектування є спільною інновацією та зусиллями багатьох етапів, його інвестиційні можливості є більш чіткими та зрозумілими. Окрім того, що слід зосередитися на основних етапах, також важливо активно звертати увагу на нові можливості, які приносить інновація.