La red en la era de la IA: origen de la demanda y direcciones de innovación

Con el surgimiento de los grandes modelos, la red se vuelve cada vez más importante en la infraestructura de IA. Este artículo explorará desde los principios por qué la red se ha convertido en un eslabón clave en la era de la IA y analizará las tendencias de innovación y oportunidades de inversión en el lado de la red en el futuro.

1. Origen de la demanda de red

En la era de los grandes modelos, la diferencia en el tamaño del modelo y el límite de capacidad de cálculo de una sola tarjeta se está ampliando rápidamente, lo que hace que los clústeres de múltiples servidores se conviertan en la solución, constituyendo la base para el aumento de la importancia de la red en la era de la IA. En comparación con el pasado, cuando la red se utilizaba simplemente para la transmisión de datos, hoy en día la red se utiliza más para sincronizar los parámetros del modelo entre las tarjetas gráficas, lo que plantea mayores exigencias en cuanto a la densidad y capacidad de la red.

Tamaño de modelo en constante crecimiento:

• Tiempo de entrenamiento = Tamaño de datos de entrenamiento x Cantidad de parámetros del modelo / Tasa de cálculo
• Tasa de cálculo = Tasa de cálculo por dispositivo x Número de dispositivos x Eficiencia de paralelización de múltiples dispositivos

Al buscar datos de entrenamiento y parámetros a mayor escala, mejorar la eficiencia computacional se convierte en la clave para reducir el tiempo de entrenamiento. La forma en que se amplía el "número de dispositivos" y se mejora la "eficiencia paralela" determina directamente el nivel de capacidad de cómputo.

Comunicación compleja de múltiples tarjetas en sincronización: En el entrenamiento de grandes modelos, después de dividir el modelo en una sola tarjeta, es necesario realizar la alineación después de cada cálculo ( Reduce, Gather, etc. En los primitivos de comunicación NCCL de Nvidia, el All-to-All ) donde todos los nodos obtienen valores entre sí y realizan la alineación ( es una operación bastante común, lo que plantea mayores requisitos para la transmisión y el intercambio de datos en la red.

Costos de fallo cada vez más altos: El entrenamiento de modelos grandes a menudo dura meses y, después de una interrupción, es necesario volver al punto de interrupción anterior para reentrenar. Cualquier falla o alta latencia en cualquier parte de la red puede causar interrupciones, lo que resulta en retrasos y aumentos de costos. Las redes de IA modernas se han desarrollado en sistemas de ingeniería complejos que rivalizan con aviones, portaaviones y otros.

2. Dirección de la innovación en la red

En el contexto de la expansión de la escala de inversión en potencia de cálculo y la continua expansión de los parámetros del modelo, la "reducción de costos", "apertura" y el equilibrio de la escala de potencia de cálculo se han convertido en los principales temas de innovación en la red.

Cambio de medio de comunicación: La luz, el cobre y el silicio son los tres grandes medios de transmisión de la humanidad. En la era de la IA, los módulos ópticos, al buscar tasas de velocidad más altas, también han comenzado el camino hacia la reducción de costos con LPO, LRO y silicio fotónico. Los cables de cobre han dominado la conexión en los armarios gracias a su relación calidad-precio y baja tasa de fallos. Nuevas tecnologías semiconductoras como Chiplet y Wafer-scaling están explorando el límite de la interconexión basada en silicio.

Competencia de protocolos de red: Los protocolos de comunicación entre chips y la fuerte vinculación con las tarjetas gráficas, como NV-LINK de Nvidia e Infinity Fabric de AMD, determinan el límite de capacidad de un solo servidor o nodo de computación, siendo un área de intensa competencia entre los gigantes. La comunicación entre nodos se centra principalmente en la competencia entre IB y Ethernet.

Cambio en la arquitectura de la red: La arquitectura de red entre nodos actuales generalmente adopta una arquitectura de hoja y espina, que presenta características como conveniencia, simplicidad y estabilidad. Sin embargo, a medida que aumenta el número de nodos en un solo clúster, la arquitectura de hoja y espina se vuelve redundante en clústeres de gran escala, lo que conlleva un alto costo de red. Nuevas soluciones como la arquitectura Dragonfly y la arquitectura solo de rieles tienen el potencial de convertirse en la dirección de evolución para la próxima generación de clústeres de gran escala.

3. Sugerencias de inversión

Núcleo del sistema de comunicación: Zhongji Xuchuang, Xinyi Sheng, Tianfu Comunicación, Industria Fulin, Yingweike, Hu Dian Co.

Innovación en el sistema de comunicación: Changfei Fiber, Taicheng Technology, Yuanjie Technology, Shengke Communication-U, Cambricon, Dekoli

4. Advertencia de Riesgos

• La demanda de IA no cumple con las expectativas
• La ley de escalado ha fallado
• La competencia en la industria se intensifica