AI時代のネットワーク:需要と革新

AI大規模モデルの時代において、ネットワークは重要な役割を果たしています。モデルの規模が拡大するにつれて、複数のサーバークラスターがトレーニングの問題を解決する主要な方法となり、これによりAI時代のネットワークの「上位」基盤が築かれました。過去に単にデータを転送するために使用されていたネットワークは、現在では主にGPU間のモデルパラメータの同期に使用され、ネットワークの密度と容量に対する要求が高まっています。

ネットワークの需要は主に3つの側面から来ています:

1. 大きなモデルサイズ: トレーニングにかかる時間はモデルのパラメータ量に比例し、単一デバイスの計算速度は限られているため、ネットワークを利用して"デバイス数"と"並列効率"を拡大する方法が計算能力を直接決定します。

2. 多カードの同期に関する複雑なコミュニケーション: モデルが単一カードに分割された後、各計算ごとに整合が必要であり、ネットワークの伝送および交換に対してより高い要求が課されます。

3. 高価な故障コスト: 大規模モデルのトレーニングは数ヶ月続き、中断は巨大な損失を引き起こす可能性があります。ネットワークは飛行機や航空母艦に匹敵する複雑なシステムエンジニアリングとなっています。

ネットワークイノベーションは主に以下の方向に集中しています:

1. 通信媒体の更新: 光、銅、シリコンの三大媒体はそれぞれの利点があり、LPOやシリコン光などの新技術がコスト削減を支援します。

2. ネットワークプロトコルの競争: NV-LINK、Infinity Fabricなどのチップ間通信プロトコルがIB、イーサネットなどのノード間通信プロトコルと競い合っています。

3. ネットワークアーキテクチャの変化: 葉脊アーキテクチャの他に、Dragonfly、rail-onlyなどの新しいアーキテクチャが超大規模クラスターの進化の方向性として期待されている。

投資の提案は、通信システムのコア部分とイノベーション部分に関連する企業に注目する。今後のネットワークイノベーションは「コスト削減」、「オープン」、および計算能力の規模の間でバランスを求める。