6月13日消息，英偉達(dá)的RTX 40系列顯卡已經(jīng)發(fā)到RTX 4060系列了，主要有三款，RTX 4060 Ti 16GB、RTX 4060 Ti 8GB及RTX 4060 8GB三款，售價(jià)3899、3199及2399元起。

不過首批上市的是RTX 4060 Ti 8GB，其他兩款要到7月份才上市。

2023年了，3000多的顯卡配8GB顯存夠不夠？這個(gè)話題也引發(fā)了很多爭議，畢竟上代的RTX 3060后來都給了12GB顯存，4K分辨率下還能打，而8GB的RTX 4060 Ti顯卡被吐槽為1080p戰(zhàn)神。


1、從砍單到加購，同時(shí)內(nèi)部騰挪

今年春節(jié)后，擁有云計(jì)算業(yè)務(wù)的中國各互聯(lián)網(wǎng)大公司都向英偉達(dá)下了大單。字節(jié)今年向英偉達(dá)訂購了超過10億美元的GPU，另一家大公司的訂單也至少超過10億元人民幣。僅字節(jié)一家公司今年的訂單可能已接近英偉達(dá)去年在中國銷售的商用GPU總和。

僅字節(jié)一家公司今年的訂單可能已接近英偉達(dá)去年在中國銷售的商用 GPU 總和。去年 9 月，美國政府發(fā)布對(duì) A100、H100（英偉達(dá)最新兩代數(shù)據(jù)中心商用 GPU） 的出口限制時(shí)，英偉達(dá)曾回應(yīng)稱這可能影響去年四季度它在中國市場的 4 億美元（約合 28 億元人民幣）潛在銷售。以此推算，2022 年全年英偉達(dá)數(shù)據(jù)中心 GPU 在中國的銷售額約為 100 億元人民幣。

相比海外巨頭，中國大科技公司采購 GPU 更為急迫。過去兩年的降本增效中，一些云計(jì)算平臺(tái)減少了 GPU 采購，儲(chǔ)備不足。此外，誰也不敢保證，今天能買的高性能 GPU，明天會(huì)不會(huì)就受到新的限制。

阿里也曾在 2018-2019 年積極采購 GPU。一位阿里云人士稱，當(dāng)時(shí)阿里的采購量至少達(dá)到上萬塊規(guī)模，購買的型號(hào)主要是 V100 和英偉達(dá)更早前發(fā)布的 T4。不過這批 GPU 中只有約十分之一給到了達(dá)摩院用作 AI 技術(shù)研發(fā)。2021 年發(fā)布萬億參數(shù)大模型 M6 后，達(dá)摩院曾披露訓(xùn)練 M6 使用了 480 塊 V100。

阿里當(dāng)時(shí)購買的 GPU，更多給到了阿里云用于對(duì)外租賃。但包括阿里云在內(nèi)，一批中國云計(jì)算公司都高估了中國市場的 AI 需求。一位科技投資人稱，大模型熱潮之前，國內(nèi)主要云廠商上的 GPU 算力不是緊缺，而是愁賣，云廠商甚至得降價(jià)賣資源。去年阿里云先后降價(jià) 6 次，GPU 租用價(jià)下降超兩成。

在降本增效，追求 “有質(zhì)量的增長” 與利潤的背景下，據(jù)了解，阿里在 2020 年之后收縮了 GPU 采購規(guī)模，騰訊也在去年底砍單一批英偉達(dá) GPU。

然而沒過多久后的 2022 年初，ChatGPT 改變了所有人的看法，共識(shí)很快達(dá)成：大模型是不容錯(cuò)過的大機(jī)會(huì)。

各公司創(chuàng)始人親自關(guān)注大模型進(jìn)展：字節(jié)跳動(dòng)創(chuàng)始人張一鳴開始看人工智能論文；阿里巴巴董事局主席張勇接手阿里云，在阿里云峰會(huì)發(fā)布阿里大模型進(jìn)展時(shí)稱，“所有行業(yè)、應(yīng)用、軟件、服務(wù)，都值得基于大模型能力重做一遍”。

一名字節(jié)人士稱，過去在字節(jié)內(nèi)部申請(qǐng)采購 GPU 時(shí)，要說明投入產(chǎn)出比、業(yè)務(wù)優(yōu)先級(jí)和重要性。而現(xiàn)在大模型業(yè)務(wù)是公司戰(zhàn)略級(jí)別新業(yè)務(wù)，暫時(shí)算不清 ROI 也必須投入。

研發(fā)自己的通用大模型只是第一步，各公司的更大目標(biāo)是推出提供大模型能力的云服務(wù)，這是真正可以匹配投入的大市場。


2、英偉達(dá)是最大的人工智能芯片生產(chǎn)商

英偉達(dá)目前生產(chǎn)用于AI開發(fā)的絕大多數(shù)GPU，由于AI工具需要大量數(shù)據(jù)和強(qiáng)大的處理能力，而僅構(gòu)建一個(gè)AI系統(tǒng)可能需要數(shù)千個(gè)芯片，因此英偉達(dá)的需求急劇上升。

雖然英偉達(dá)最初專注于為視頻游戲行業(yè)制造GPU，但近年來，這家芯片制造商已擴(kuò)展到人工智能和加密貨幣挖掘領(lǐng)域，擴(kuò)大了其產(chǎn)品和服務(wù)范圍。

最近，英偉達(dá)的人工智能芯片幫助其數(shù)據(jù)中心部門的收入超過了游戲部門。這甚至促使英偉達(dá)為數(shù)據(jù)中心提供新一代AI芯片，承諾大幅提升性能。

5月英偉達(dá)宣布了DGX H100系統(tǒng)。英偉達(dá)表示，該產(chǎn)品采用八個(gè)通過NVLink連接的H100張量核心GPU，以及雙英特爾至強(qiáng)白金8480C處理器，2TB系統(tǒng)內(nèi)存和30tb NVMe固態(tài)硬盤。

盡管努力滿足不斷增長的需求，但英偉達(dá)仍發(fā)現(xiàn)需求超過供應(yīng)。


3、全世界都在搶算力

對(duì)英偉達(dá)數(shù)據(jù)中心 GPU 的競賽也發(fā)生在全球范圍。不過海外巨頭大量購買 GPU 更早，采購量更大，近年的投資相對(duì)連續(xù)。

2022 年，Meta 和甲骨文就已有對(duì) A100 的大投入。Meta 在去年 1 月與英偉達(dá)合作建成 RSC 超級(jí)計(jì)算集群，它包含 1.6 萬塊 A100。同年 11 月，甲骨文宣布購買數(shù)萬塊 A100 和 H100 搭建新計(jì)算中心。現(xiàn)在該計(jì)算中心已部署了超 3.27 萬塊 A100，并陸續(xù)上線新的 H100。

微軟自從 2019 年第一次投資 OpenAI 以來，已為 OpenAI 提供數(shù)萬塊 GPU。今年 3 月，微軟又宣布已幫助 OpenAI 建設(shè)了一個(gè)新計(jì)算中心，其中包括數(shù)萬塊 A100。Google 在今年 5 月推出了一個(gè)擁有 2.6 萬塊 H100 的計(jì)算集群 Compute Engine A3，服務(wù)想自己訓(xùn)練大模型的公司。

中國大公司現(xiàn)在的動(dòng)作和心態(tài)都比海外巨頭更急迫。以百度為例，它今年向英偉達(dá)新下的 GPU 訂單高達(dá)上萬塊。數(shù)量級(jí)與 Google 等公司相當(dāng)，雖然百度的體量小得多，其去年?duì)I收為 1236 億元人民幣，只有 Google 的 6%。

據(jù)了解，字節(jié)、騰訊、阿里、百度這四家中國投入 AI 和云計(jì)算最多的科技公司，過去 A100 的積累都達(dá)到上萬塊。其中字節(jié)的 A100 絕對(duì)數(shù)最多。不算今年的新增訂單，字節(jié) A100 和前代產(chǎn)品 V100 總數(shù)接近 10 萬塊。

成長期公司中，商湯今年也宣稱，其 “AI 大裝置” 計(jì)算集群中已總共部署了 2.7 萬塊 GPU，其中有 1 萬塊 A100。連看似和 AI 不搭邊的量化投資公司幻方之前也購買了 1 萬塊 A100。

僅看總數(shù)，這些 GPU 供各公司訓(xùn)練大模型似乎綽綽有余——據(jù)英偉達(dá)官網(wǎng)案例，OpenAI 訓(xùn)練 1750 億參數(shù)的 GPT-3 時(shí)用了 1 萬塊 V100 ，訓(xùn)練時(shí)長未公開；英偉達(dá)測算，如果用 A100 來訓(xùn)練 GPT-3 ，需要 1024 塊 A100 訓(xùn)練 1 個(gè)月，A100 相比 V100 有 4.3 倍性能提升。但中國大公司過去采購的大量 GPU 要支撐現(xiàn)有業(yè)務(wù)，或放在云計(jì)算平臺(tái)上售賣，并不能自由地用于大模型開發(fā)和對(duì)外支持客戶的大模型需求。

這也解釋了中國 AI 從業(yè)者對(duì)算力資源估算的巨大差別。清華智能產(chǎn)業(yè)研究院院長張亞勤 4 月底參加清華論壇時(shí)說，“如果把中國的算力加一塊，相當(dāng)于 50 萬塊 A100，訓(xùn)練五個(gè)模型沒問題。”AI 公司曠視科技 CEO 印奇接受《財(cái)新》采訪時(shí)則說：中國目前可用作大模型訓(xùn)練的 A100 總共只有約 4 萬塊。

主要反映對(duì)芯片、服務(wù)器和數(shù)據(jù)中心等固定資產(chǎn)投資的資本開支，可以直觀說明中外大公司計(jì)算資源的數(shù)量級(jí)差距。

最早開始測試類 ChatGPT 產(chǎn)品的百度，2020 年以來的年資本開支在 8 億到 20 億美元之間，阿里在 60-80 億美元之間，騰訊在 70-110 億美元之間。同期，亞馬遜、Meta、Google、微軟這四家自建數(shù)據(jù)中心的美國科技公司的年資本開支最少均超過 150 億美元。

疫情三年中，海外公司資本開支繼續(xù)上漲。亞馬遜去年的資本開支已來到 580 億美元，Meta、Google 均為 314 億美元，微軟接近 240 億美元。中國公司的投資在 2021 年之后則在收縮。騰訊、百度去年的資本開支均同比下滑超 25%。

訓(xùn)練大模型的 GPU 已不算充足，各家中國公司如果真的要長期投入大模型，并賺到給其它模型需求 “賣鏟子” 的錢，未來還需要持續(xù)增加 GPU 資源。


3、走得更快的 OpenAI 已遇到了這一挑戰(zhàn)

5 月中旬，OpenAI CEO SamAltman 在與一群開發(fā)者的小范圍交流中說，由于 GPU 不夠，OpenAI 現(xiàn)在的 API 服務(wù)不夠穩(wěn)定，速度也不夠快，在有更多 GPU 前，GPT-4 的多模態(tài)能力還無法拓展給每個(gè)用戶，他們近期也不準(zhǔn)備發(fā)布新的消費(fèi)級(jí)產(chǎn)品。技術(shù)咨詢機(jī)構(gòu) TrendForce 今年 6 月發(fā)布報(bào)告稱，OpenAI 需要約 3 萬塊 A100 來持續(xù)優(yōu)化和商業(yè)化 ChatGPT。

與 OpenAI 合作頗深的微軟也面臨類似情境：今年 5 月，有用戶吐槽 New Bing 回答速度變慢，微軟回應(yīng)，這是因?yàn)?GPU 補(bǔ)充速度跟不上用戶增長速度。嵌入了大模型能力的微軟 Office 365 Copilot 目前也沒有大規(guī)模開放，最新數(shù)字是有 600 多家企業(yè)在試用——Office 365 的全球總用戶數(shù)接近 3 億。

中國大公司如果不是僅把訓(xùn)練并發(fā)布一個(gè)大模型作為目標(biāo)，而是真想用大模型創(chuàng)造服務(wù)更多用戶的產(chǎn)品，并進(jìn)一步支持其它客戶在云上訓(xùn)練更多大模型，就需要提前儲(chǔ)備更多 GPU。