AI領域的"百模大戰":工程問題取代算法創新

上個月,AI界爆發了一場"動物之爭"。一方是Meta推出的Llama模型,因其開源特性深受開發者喜愛。另一方是名爲Falcon的大模型,5月問世後力壓Llama登頂開源LLM排行榜。

有趣的是,Falcon的開發者是阿聯酋的科技創新研究所。180B版本發布後,阿聯酋人工智能部長入選了《時代周刊》AI領域最具影響力100人。

如今,只要有一定財力的國家和企業,都在打造自己的大語言模型。僅海灣國家就不止一個玩家,沙特剛剛爲國內大學購買了3000多塊H100芯片用於訓練LLM。

這場"百模大戰"的背後,是Transformer算法的功勞。2017年,谷歌在《Attention Is All You Need》論文中公開了Transformer算法,這成爲了此輪AI熱潮的引爆點。此後的所有大模型,包括GPT系列,都是基於Transformer構建的。

Transformer解決了早期神經網路難以理解上下文的問題,大大提升了訓練效率,推動AI進入大模型時代。它讓大模型從理論研究變成了純粹的工程問題 - 只要有足夠的數據、算力和模型架構,任何有技術能力的公司都能打造大模型。

這也導致學術界的底層算法創新速度放緩,工程要素如數據、算力、模型架構等成爲AI競賽的關鍵。有分析認爲,即便是GPT-4的競爭力也主要源自工程解決方案,如果開源,競爭對手很快就能復制。

然而,入場容易不代表人人都能成爲AI時代的巨頭。Meta的Llama系列已成爲開源LLM的風向標,擁有龐大的開發者社區。而在性能方面,GPT-4仍遙遙領先,其他模型難以望其項背。

大模型的核心競爭力在於生態建設或純粹的推理能力,而不僅僅是參數規模。隨着開源社區日益活躍,各個LLM的性能可能會趨同。

更大的挑戰是盈利模式。除了少數例外,大多數大模型提供商都面臨成本與收入嚴重失衡的問題。高昂的算力成本已成爲行業發展的阻力,而軟件公司在付出巨大成本後,還沒有找到清晰的盈利方式。

隨着同質化競爭加劇和開源模型增多,單純的大模型供應商可能面臨更大壓力。未來,真正的價值或許不在於模型本身,而在於其應用場景和商業化能力。