NVIDIA H100從2022年9月量產(chǎn)投入市場，至今供不應(yīng)求

2023年科技產(chǎn)業(yè)備受關(guān)注的人物與企業(yè)，莫非NVIDIA與其執(zhí)行長黃仁勳莫屬。2月間，黃仁勳宣稱“AI的iPhone時刻”已經(jīng)到來，半年之后，外界用連續(xù)2季的財報業(yè)績檢視NVIDIA，NVIDIA也在抱回外界難以想像的獲利。

NVIDIA公布的2024會計年度第2季（2QFY24）財報數(shù)據(jù)，揭示營收年增101%、淨(jìng)利年增422%、毛利率高達71.2%的炸裂式業(yè)績，各項指標(biāo)均遠超預(yù)期，而H100系列晶片在AI熱潮推動的大型語言模型訓(xùn)練（LLM）市場中一卡難求。

AI算力需求呈現(xiàn)爆炸式成長，對云端業(yè)者而言，只能不斷採購AI伺服器；然對于LLM開發(fā)廠商來說，NVIDIA的資料中心業(yè)務(wù)瘋狂吸金，而客戶卻還未實現(xiàn)獲利。眼前LLM大浪未至，錢卻都被NVIDIA賺走了。

在財報公布前，NVIDIA高階AI GPU不斷傳出漲價聲，Barrron's引述分析師報告，H100制造成本為3,320美元，而售價則高達2.5萬~3萬美元，利潤接近成本的10倍；毛利率超過70%，對晶片產(chǎn)品而言，有些不可思議。

對此黃仁勳強調(diào)，NVIDIA提供的是軟體生態(tài)系統(tǒng)和硬體平臺，具備軟體生態(tài)架構(gòu)的靈活性、多功能性，再加上廣大的安裝基礎(chǔ)及涵蓋范圍，程式碼數(shù)量和應(yīng)用程式組合的類型相當(dāng)瘋狂，簡單說，賣的是“準(zhǔn)系統(tǒng)”而非“單一晶片”，但NVIDIA花了20年才走到這一步。

外界分析，NVIDIA構(gòu)建的CUDA軟體生態(tài)，不僅讓旗下GPU受青睞，也是客戶無法輕易轉(zhuǎn)向超微（AMD）等競爭對手的主因。原因在于，AI算力的配置絕非簡單的硬體堆疊，即便把重達30多公斤、多達3.5萬個零件組成的NVIDIA HGX平臺層層堆起來，也堆不出LLM必須的AI算力。

要把1,000張加速卡、100臺AI伺服器放在一起，跑同一個LM訓(xùn)練或推論任務(wù)，還需要大量的配套軟體、通訊網(wǎng)路，還不包括客戶的大量數(shù)據(jù)。這是一系列軟硬體聯(lián)合調(diào)用的複雜過程，黃仁勳把H100這類AI GPU稱為“技術(shù)奇蹟”，并非沒有原因。

H100從2022年9月量產(chǎn)投入市場，至今供不應(yīng)求，甚至上一代的A100至今仍是搶手貨。NVIDIA聚焦于系統(tǒng)級伺服器產(chǎn)品，最新款DGX產(chǎn)品GH200集結(jié)256塊H100和Grace CPU，預(yù)料會在2023年下半量產(chǎn)后將躍居業(yè)績新推手。　

至于H100為何價格高昂？在硬體層面上，H100採用了四大先進技術(shù)。第一是臺積電4奈米制程（N4），要讓這一顆長26.8公分、寬11.1公分、含有800億個電晶體的H100發(fā)揮前所未有的效能，舉世當(dāng)今非臺積電代工莫屬。

第二是連接技術(shù)，每張H100包含3個NVLink連接，這是NVIDIA獨家的資料傳輸技術(shù)，第四代NVlink可提供每秒900GB的GPU對GPU互連頻寬，以便將更多H100互連使用，獲得倍增的效能。

第三是80GB的HBM2e高頻寬記憶體，目前僅SK海力士（SK Hynix）、三星電子（Samsung Electroics）可供應(yīng)，值得注意的是，NVIDIA剛剛宣布將最新的HBM3e植入最新GH200，是全球第一個支援HBM3e的GPU產(chǎn)品。

第四是臺積電的CoWoS封裝技術(shù)，臺積電正積極擴建CoWoS產(chǎn)能，但供不應(yīng)求情況恐將持續(xù)到2024年。

這四大技術(shù)每一項均屬尖端領(lǐng)域，付出代價所費不貲，如果說LLM推動AI GPU加速運算時代來臨，但讓NVIDIA站在當(dāng)前科技舞臺上獨舞的關(guān)鍵，卻是黃仁勳領(lǐng)導(dǎo)團隊的長期押注與心血累積。