7月3日，摩爾線程宣布其AI旗艦產品夸娥（KUAE）智算集群解決方案實現重大升級，從當前的千卡級別大幅擴展至萬卡規(guī)模。摩爾線程夸娥（KUAE）萬卡智算集群目標是打造能夠承載萬卡規(guī)模、具備萬P級浮點運算能力的國產通用加速計算平臺。此外，當天摩爾線程聯合中國移動青海公司、中國聯通青海公司、北京德道信科集團、中國能源建設股份有限公司總承包公司、桂林華崛大數據科技有限公司分別就三個萬卡集群項目進行了戰(zhàn)略簽約，多方聚力共同構建好用的國產GPU集群。

會議期間，《中國電子報》記者就AI大模型發(fā)展趨勢以及破解我國算力瓶頸等問題對摩爾線程創(chuàng)始人兼CEO張建中進行了專訪。

大模型演進呼喚高性能算力

關于業(yè)界熱議的大模型未來走向，張建中認為，有三方面演進趨勢值得關注。

一是Scaling Law（標度律）將持續(xù)奏效。Scaling Law自2020年提出以來，已揭示了大模型發(fā)展背后的“暴力美學”，即通過算力、算法、數據的深度融合與經驗積累，實現模型性能的飛躍，這也成為業(yè)界公認的將持續(xù)影響未來大模型的發(fā)展趨勢。Scaling Law將持續(xù)奏效，需要單點規(guī)模夠大并且通用的算力才能快速跟上技術演進。

二是Transformer架構不能實現大一統(tǒng)，會和其他架構持續(xù)演進并共存，形成多元化的技術生態(tài)。生成式人工智能的進化并非僅依賴于規(guī)模的簡單膨脹，技術架構的革新同樣至關重要。Transformer架構雖然是當前主流，但新興架構如Mamba、RWKV和RetNet等不斷刷新計算效率，加快創(chuàng)新速度。隨著技術迭代與演進，Transformer架構并不能實現大一統(tǒng)，從稠密到稀疏模型，再到多模態(tài)模型的融合，技術的進步都展現了對更高性能計算資源的渴望。

三是AI、3D和HPC跨技術與跨領域融合不斷加速，推動著空間智能、物理AI和AI4Science、世界模型等領域的邊界拓展，使得大模型的訓練和應用環(huán)境更加復雜多元，市場對于能夠支持AI+3D、AI+物理仿真、AI+科學計算等多元計算融合發(fā)展的通用加速計算平臺的需求日益迫切。

萬卡已是模型訓練主戰(zhàn)場的標配

“多元趨勢下，AI模型訓練的主戰(zhàn)場，萬卡已是標配。”張建中強調，隨著計算量不斷攀升，大模型訓練亟需超級工廠，即一個“大且通用”的加速計算平臺，以縮短訓練時間，實現模型能力的快速迭代。當前，國際科技大廠都在通過積極部署千卡乃至超萬卡規(guī)模的計算集群，以確保大模型產品的競爭力。隨著模型參數量從千億邁向萬億，模型能力更加泛化，大模型對底層算力的訴求進一步升級，萬卡甚至超萬卡集群成為這一輪大模型競賽的入場券。

然而，構建萬卡集群并非一萬張GPU卡的簡單堆疊，而是一項高度復雜的超級系統(tǒng)工程。它涉及超大規(guī)模的組網互聯、高效率的集群計算、長期穩(wěn)定性和高可用性等諸多技術難題。這是難而正確的事情，摩爾線程希望能夠建設一個規(guī)模超萬卡、場景夠通用的加速計算平臺，并優(yōu)先解決大模型訓練的難題。

中國如何突破算力瓶頸？

“當前，我們正處在生成式人工智能的黃金時代，技術交織催動智能涌現，GPU成為加速新技術浪潮來臨的創(chuàng)新引擎。”張建中表示，“中國的人工智能落地場景相比國外來說更加廣泛，因為中國在人工智能應用領域里面開發(fā)者數量很多，落地速度也更快。”

他認為，目前國內大模型行業(yè)發(fā)展面臨的主要問題，不是中國公司的研發(fā)人員技術水平比國外差，歸根結底還是缺少充足的算力。而這個問題不是光靠堆積GPU的數量就能解決的。“集中力量辦大事，打造好用的萬卡級別的算力集群，才能讓用戶真正地使用好大模型。”張建中說道。

張建中強調，在技術層面，中國企業(yè)完全有信心有能力去追趕全球頂級GPU企業(yè)，做出更先進、性價比更高的芯片。但光有技術還不夠，更重要的是生態(tài)環(huán)境的完善，這需要政府及產業(yè)上下游全行業(yè)共同努力。