南方財經(jīng)全媒體記者 吳立洋 上海報道

(資料圖片僅供參考)

近日，南方財經(jīng)全媒體記者注意到，國內諸多主流公有云服務商，均出現(xiàn)一定程度云端GPU算力缺貨的情況。

有下游GPU需求方向記者表示，近期受AI熱潮影響，GPU云服務市場確實存在短期內供不應求的情況。

GPU算力的相對短缺一方面源自上游供給的不足，2022年8月芯片設計公司英偉達宣稱，被美國政府要求限制向中國出口兩代旗艦GPU計算芯片A100和H100；另一方面，在由Chat GPT掀起的“全業(yè)大模型”AI熱潮下，應用需求進一步擴張，缺乏GPU儲備的企業(yè)不得不轉向云端尋求算力支持。

面對市場供需差，服務商和應用商都在尋求各自的解決方案。在供應端，服務商們正想方設法優(yōu)化自身的供應方案，4月14日，騰訊云正式發(fā)布面向大模型訓練的新一代HCC高性能計算集群，該集群搭載了英偉達H800GPU，后者是英偉達為應對美國禁令為中國市場開發(fā)的H100特供版，華為等相關廠商也在積極探索算力并網(wǎng)等方面的優(yōu)化方案。

在需求端，人工智能公司、游戲公司等GPU需求大戶也在尋求最佳的算力購買方案，綜合考慮成本、穩(wěn)定性等因素選擇服務商或購置多路云服務。

“一卡難求”

GPU即圖形處理器，是專門為圖像和圖形相關運算工作的微處理器，由于擅長大規(guī)模并發(fā)計算，因此也被應用于AI訓練等需要大規(guī)模并發(fā)計算場景。OpenAI的研究表明，2012至2018年6年間，在最大規(guī)模的人工智能模型訓練中所使用的計算量呈指數(shù)級增長。

但由于GPU產(chǎn)品售價高昂，且對相關算力需求往往以項目制方式進行，因而搭配自身算力資源或完全購買云服務商的GPU算力是很多中小規(guī)模應用商的選擇。

目前，在AI帶來的算力需求下，相關云服務商的GPU供給存量正被快速消耗。

南方財經(jīng)全媒體記者查詢騰訊云官網(wǎng)發(fā)現(xiàn)，提供英偉達A100 GPU的云產(chǎn)品已顯示售罄狀態(tài)，包含其他區(qū)域在內，可提供相關服務的僅有英偉達P4、T4、V100等型號的GPU。

在京東云官網(wǎng)，提供GPU云算力的華北-北京與華東-上海區(qū)域也同樣缺少A100 GPU服務，但隨后京東云官方客服聯(lián)系南財記者表示，官網(wǎng)顯示只有P40型號的GPU，如果需要更高的算力配置，可以聯(lián)系運營人員提供定制化服務。

而在阿里云商店界面，仍有少量A100可供選購，但阿里云客服人員在與記者的交流中也坦言：官網(wǎng)只要顯示可購買，機房就可以足額進行虛擬化，但如果購買產(chǎn)品到期后沒有續(xù)費算力被釋放，也不能保證二次購買時有貨。

“能買到就說明還有貨。其他的就不方便透露了?！睂τ谀县斢浾哧P于阿里云GPU供給情況的問詢，阿里云相關負責人如此回應道。

“從去年8月美國對中國實施A100與H100禁運后，GPU的供給就一直處于相對緊張的狀態(tài)，價格也隨之水漲船高。”上海某互聯(lián)網(wǎng)公司云服務業(yè)務從業(yè)者向記者表示，在AI熱潮算力需求暴漲的背景下，無論是市場上流通的GPU還是云端算力，在短期內都面臨一定的供不應求境況。

供應端的壓力首先來自于GPU成品的禁運封鎖。2022年8月31日，芯片設計公司英偉達宣稱，美國政府要求其限制向中國出口兩款旗艦GPU計算芯片A100和H100。但很快，英偉達就給出了特供中國市場的產(chǎn)品A800，在A100基礎上將GPU高速互聯(lián)總線帶寬從600GB/s降低至400GB/s，在不影響單卡性能的基礎上，限制了GPU大規(guī)模拓展互聯(lián)。

今年3月，英偉達宣布H100顯卡全面投產(chǎn)，并針對AI市場推出了新的雙GPU產(chǎn)品H100 NVL，可提供高達188GB HBM3顯存，單卡顯存容量達94GB，適用于運行大型語言模型(LLM)。

此外，英偉達也同步宣布將基于H100為中國市場開發(fā)第二款特供版GPU H800，且H800在限制帶寬后依然符合美國政府的限制出口規(guī)定。彼時據(jù)媒體報道，阿里巴巴、騰訊、百度三家國內廠商均已使用H800產(chǎn)品。

而在國內自研GPU方面，由于被列入美國實體清單等因素影響，華為晟騰、寒武紀思元、壁仞科技BR100等GPU產(chǎn)品在設計和量產(chǎn)等方面仍多處受到掣肘。

“GPU一般都是數(shù)字芯片，制程相對先進，有賴于高速開關技術，因而相較于其他產(chǎn)品的研發(fā)難度要更高。”無錫某半導體行業(yè)從業(yè)者向記者表示，相關數(shù)字芯片往往規(guī)模龐大，完全的正向設計很困難，目前部分公司的做法是購買相關電路模塊設計版權然后進行復制。但即便能夠購買到相關版權，由于當前芯片設計往往采用了憶阻器的“黑盒子”技術，進行高效復制同樣困難重重。

云端算力方面，在A100與H100被禁運后，很長一段時間內大部分云服務商所能提供的云服務主要還是依賴此前儲備的GPU存量，雖然A800等特供版產(chǎn)品和國產(chǎn)GPU也能提供一定算力支撐，但數(shù)量和并網(wǎng)能力等方面的限制依然困擾著供需雙方。

供需變局

而在本輪GPU供給短缺發(fā)生前，國內廠商其實一直在進行算力“過冬”的準備。

“包括游戲公司在內，國內大部分IT企業(yè)在美國禁令正式執(zhí)行前，都一直在購買GPU?！弊鳛樗懔ο拇髴簦虾Ｄ秤螒蚬鞠嚓P負責人告訴記者，對于中小開發(fā)者而言，小體量的產(chǎn)品開發(fā)可能靠4090等消費級顯卡即可完成，少數(shù)需要使用A100以上級別的場景也并不難解決，因而受到相關供需關系變化影響相對有限。

某上市游戲公司技術負責人也向記者表示，由于企業(yè)自身是云服務商大客戶，合作關系相對穩(wěn)定，因而目前算力供給也并未受到過多波及。

但供需市場的變化也在促使相關廠商不斷調整算力支撐方案。上述上海游戲公司負責人向記者表示，公司早在數(shù)個月前就購入了A100的多路國內云服務，并用阿里、騰訊、華為、AWS、GCP等多家供應商的云服務，還在不久前加入了微軟Azure。

以近日風頭正盛的微軟Azure為例，據(jù)其官方發(fā)布的信息顯示，借助OpenAI的GPT大模型,微軟已經(jīng)能夠面向企業(yè)推出Azure OpenAI云服務,幫助企業(yè)發(fā)掘大規(guī)模的AI與商業(yè)場景結合的潛力。而在Azure的官網(wǎng)界面，“將高級編碼和語言模型應用于各種用例”被高調地放置于“精選”產(chǎn)品頁。

一位游戲AI創(chuàng)業(yè)企業(yè)負責人告訴記者，他們的公司正是在這兩個月從阿里云和AWS全量遷移到了Azure。

“他們給了很多優(yōu)惠，資源也很足。”該負責人坦言。

上述上海游戲企業(yè)負責人也表示，提供GPT的API接口是Azure的優(yōu)勢之一，但也存在并發(fā)能力差的問題，當前對于不同體量、不同算力需求的公司，GPU供給還未能收斂到特定標準化解決方案，這也正是很多企業(yè)在實際業(yè)務中采用不同供應商并行策略的原因。

“因為不同供應商提供的服務各有其擅長領域，且在市場競爭下，也給需求方留下充分的議價空間。”他進一步表示。

而在需求端不斷調整算力獲取方案的同時，國內供給方也在積極進行著優(yōu)化與迭代。

4月11日，浙江移動宣布通過與華為合作，旗下算力網(wǎng)絡與杭州人工智能計算中心成功對接,實現(xiàn)了基于昇騰GPU的AI算力并網(wǎng)，全面降低了模型訓練時間、推理時間和使用成本。

三天后，騰訊云正式發(fā)布新一代HCC高性能計算集群，搭載英偉達H800 GPU。據(jù)騰訊方面表示，騰訊云新一代集群的算力性能較前代提升高達3倍，是國內性能最強的大模型計算集群。

阿里云CTO周靖人曾在公開發(fā)言中表示，GPU很重要但不是全部：“大模型的訓練往往需要幾千甚至上萬張GPU卡共同協(xié)作來完成，卡與卡之間的連接，機器與機器之間的連接，如何構建一個高吞吐、低延遲的網(wǎng)絡，以及高效的存儲，都是智算基礎設施的重要環(huán)節(jié)。如果沒有這些環(huán)節(jié)，光有GPU的卡，就很難跑出規(guī)模超級大的模型?！?/p>

同樣是在最近，微軟開源了一個可在模型訓練中加入完整RLHF（人類反饋強化學習）流程的系統(tǒng)框架——DeepSpeed Chat，據(jù)介紹，該框架通過混合引擎，支持在2.1天內訓練一個OPT-66B的模型，且成本僅為1620美元——該方式比現(xiàn)有系統(tǒng)快15倍以上，消耗的算力成本大幅下降。受該消息影響，當天股市數(shù)據(jù)中心板塊一度下挫2%左右。

“除了加快研發(fā)光刻機從芯片供給層面解決問題，從云服務供給優(yōu)化到需求端市場的自發(fā)調整，都在為應對短期的算力供需問題進行探索與嘗試，這需要整個供應量上下游的共同努力?！鄙鲜鰺o錫半導體行業(yè)從業(yè)者說。

更多內容請下載21財經(jīng)APP

關鍵詞：