La "guerre des cent modèles" dans le domaine de l'IA : les problèmes d'ingénierie remplacent l'innovation algorithme
Le mois dernier, une "guerre des animaux" a éclaté dans le monde de l'IA. D'un côté, le modèle Llama lancé par Meta, qui est très apprécié des développeurs en raison de sa nature open source. De l'autre côté, un grand modèle nommé Falcon, qui, après son lancement en mai, a surpassé Llama pour atteindre le sommet du classement des LLM open source.
Il est intéressant de noter que les développeurs de Falcon sont issus de l'Institut de recherche en innovation technologique des Émirats. Après la publication de la version 180B, le ministre de l'Intelligence artificielle des Émirats a été sélectionné parmi les 100 personnes les plus influentes dans le domaine de l'IA par le magazine Time.
Aujourd'hui, tous les pays et entreprises ayant des ressources financières suffisantes développent leurs propres grands modèles de langage. Dans les seuls pays du Golfe, il y a plus d'un acteur, l'Arabie Saoudite vient d'acheter plus de 3000 puces H100 pour entraîner des LLM pour ses universités.
Derrière cette "bataille des modèles", c'est le mérite de l'algorithme Transformer. En 2017, Google a publié l'algorithme Transformer dans le document "Attention Is All You Need", qui est devenu le point de départ de cette vague actuelle d'IA. Tous les grands modèles qui ont suivi, y compris la série GPT, sont construits sur la base de Transformer.
Le Transformer a résolu le problème de la compréhension du contexte par les réseaux de neurones précoces, améliorant considérablement l'efficacité de l'entraînement et propulsant l'IA dans l'ère des grands modèles. Il a transformé les grands modèles d'une recherche théorique en un problème purement d'ingénierie - tant qu'il y a suffisamment de données, de puissance de calcul et d'architecture de modèle, toute entreprise ayant des capacités techniques peut créer de grands modèles.
Cela a également conduit à un ralentissement de l'innovation des algorithmes de base dans le monde académique, des éléments d'ingénierie tels que les données, la puissance de calcul, l'architecture des modèles, etc., devenant des clés de la compétition en IA. Certaines analyses estiment que même la compétitivité de GPT-4 provient principalement de solutions d'ingénierie ; si cela devenait open source, les concurrents pourraient rapidement reproduire ces solutions.
Cependant, le fait d'entrer sur le marché facilement ne signifie pas que tout le monde peut devenir un géant de l'ère de l'IA. La série Llama de Meta est devenue un indicateur pour les LLM open source, avec une vaste communauté de développeurs. En termes de performances, GPT-4 reste largement en tête, tandis que d'autres modèles peinent à le rattraper.
La principale force concurrentielle des grands modèles réside dans la construction d'écosystèmes ou dans des capacités de raisonnement pures, et pas seulement dans la taille des paramètres. Avec l'essor de la communauté open source, les performances des différents LLM pourraient converger.
Le plus grand défi est le modèle économique. À part quelques exceptions, la plupart des fournisseurs de grands modèles font face à un déséquilibre sévère entre les coûts et les revenus. Les coûts élevés de calcul sont devenus un frein au développement de l'industrie, et après avoir engagé des coûts énormes, les entreprises de logiciels n'ont pas encore trouvé de moyen de rentabiliser.
Avec l'intensification de la concurrence homogène et l'augmentation des modèles open source, les fournisseurs de grands modèles pourraient faire face à une pression accrue. À l'avenir, la véritable valeur ne résidera peut-être pas dans le modèle lui-même, mais dans ses cas d'utilisation et sa capacité à se commercialiser.
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
11 J'aime
Récompense
11
5
Partager
Commentaire
0/400
SingleForYears
· Il y a 21h
Les débutants ne comprennent pas ces grands modèles.
Voir l'originalRépondre0
OnChainDetective
· Il y a 21h
L'Arabie Saoudite est à nouveau en train de stocker des puces en masse... Est-ce que les gros transferts que j'ai détectés aux Émirats Arabes Unis sont vraiment liés ? La source des fonds mérite d'être approfondie.
Voir l'originalRépondre0
StakeTillRetire
· Il y a 21h
J'ai déjà échappé au roi de l'algorithme !
Voir l'originalRépondre0
SocialAnxietyStaker
· Il y a 21h
C'est aussi simple que de donner de l'argent à la puce ?
La guerre des cent modèles d'IA : l'Open Source émerge, l'Algorithme innovant cède la place à la pratique d'ingénierie
La "guerre des cent modèles" dans le domaine de l'IA : les problèmes d'ingénierie remplacent l'innovation algorithme
Le mois dernier, une "guerre des animaux" a éclaté dans le monde de l'IA. D'un côté, le modèle Llama lancé par Meta, qui est très apprécié des développeurs en raison de sa nature open source. De l'autre côté, un grand modèle nommé Falcon, qui, après son lancement en mai, a surpassé Llama pour atteindre le sommet du classement des LLM open source.
Il est intéressant de noter que les développeurs de Falcon sont issus de l'Institut de recherche en innovation technologique des Émirats. Après la publication de la version 180B, le ministre de l'Intelligence artificielle des Émirats a été sélectionné parmi les 100 personnes les plus influentes dans le domaine de l'IA par le magazine Time.
Aujourd'hui, tous les pays et entreprises ayant des ressources financières suffisantes développent leurs propres grands modèles de langage. Dans les seuls pays du Golfe, il y a plus d'un acteur, l'Arabie Saoudite vient d'acheter plus de 3000 puces H100 pour entraîner des LLM pour ses universités.
Derrière cette "bataille des modèles", c'est le mérite de l'algorithme Transformer. En 2017, Google a publié l'algorithme Transformer dans le document "Attention Is All You Need", qui est devenu le point de départ de cette vague actuelle d'IA. Tous les grands modèles qui ont suivi, y compris la série GPT, sont construits sur la base de Transformer.
Le Transformer a résolu le problème de la compréhension du contexte par les réseaux de neurones précoces, améliorant considérablement l'efficacité de l'entraînement et propulsant l'IA dans l'ère des grands modèles. Il a transformé les grands modèles d'une recherche théorique en un problème purement d'ingénierie - tant qu'il y a suffisamment de données, de puissance de calcul et d'architecture de modèle, toute entreprise ayant des capacités techniques peut créer de grands modèles.
Cela a également conduit à un ralentissement de l'innovation des algorithmes de base dans le monde académique, des éléments d'ingénierie tels que les données, la puissance de calcul, l'architecture des modèles, etc., devenant des clés de la compétition en IA. Certaines analyses estiment que même la compétitivité de GPT-4 provient principalement de solutions d'ingénierie ; si cela devenait open source, les concurrents pourraient rapidement reproduire ces solutions.
Cependant, le fait d'entrer sur le marché facilement ne signifie pas que tout le monde peut devenir un géant de l'ère de l'IA. La série Llama de Meta est devenue un indicateur pour les LLM open source, avec une vaste communauté de développeurs. En termes de performances, GPT-4 reste largement en tête, tandis que d'autres modèles peinent à le rattraper.
La principale force concurrentielle des grands modèles réside dans la construction d'écosystèmes ou dans des capacités de raisonnement pures, et pas seulement dans la taille des paramètres. Avec l'essor de la communauté open source, les performances des différents LLM pourraient converger.
Le plus grand défi est le modèle économique. À part quelques exceptions, la plupart des fournisseurs de grands modèles font face à un déséquilibre sévère entre les coûts et les revenus. Les coûts élevés de calcul sont devenus un frein au développement de l'industrie, et après avoir engagé des coûts énormes, les entreprises de logiciels n'ont pas encore trouvé de moyen de rentabiliser.
Avec l'intensification de la concurrence homogène et l'augmentation des modèles open source, les fournisseurs de grands modèles pourraient faire face à une pression accrue. À l'avenir, la véritable valeur ne résidera peut-être pas dans le modèle lui-même, mais dans ses cas d'utilisation et sa capacité à se commercialiser.