ChatGPT大火不僅將全球眼光吸往AI，更做了回半導(dǎo)體硬件的“賣水人”
用戶激增的ChatGPT，在互聯(lián)網(wǎng)領(lǐng)域也有著廣闊的應(yīng)用前景。有“美版頭條”之稱的數(shù)字媒體公司BuzzFeed，在1月份就已宣布計(jì)劃用于協(xié)助內(nèi)容創(chuàng)作，股價(jià)隨后也連續(xù)大漲；OpenAI的合作伙伴及投資方微軟，在2月7日推出的新的必應(yīng)搜索引擎，引入了比ChatGPT更強(qiáng)大的OpenAI下一代大語言模型。
而隨著微軟將相關(guān)的技術(shù)用于搜索引擎，早已意識(shí)到可能威脅到他們核心業(yè)務(wù)的谷歌，也加快了相關(guān)技術(shù)的應(yīng)用步伐。在微軟推出新必應(yīng)搜索引擎和Edge瀏覽器之后一天，谷歌的競品Bard也在巴黎迎來了首秀，雖然被外界發(fā)現(xiàn)有問題給出了錯(cuò)誤的答案，導(dǎo)致母公司Alphabet的市值在隨后兩個(gè)交易日蒸發(fā)超過2000億美元，但谷歌還是在推進(jìn)Bard的研發(fā)及應(yīng)用，最新的報(bào)道顯示，CEO皮查伊已請求員工參與測試。
除了谷歌和微軟，國內(nèi)的相關(guān)廠商也在推進(jìn)相關(guān)的人工智能聊天機(jī)器人的研發(fā)及應(yīng)用。奇虎360的周鴻祎在與張朝陽的對話中，表示他覺得ChatGPT可能代表著在人工智能的發(fā)展歷史上可能是一場真正革命的開始，360不會(huì)放棄對這一技術(shù)的研究和跟蹤。
無論ChatGPT更廣泛的應(yīng)用，還是多家巨頭推出類似的人工智能聊天機(jī)器人，處理數(shù)據(jù)和維持相關(guān)服務(wù)的運(yùn)行，都需要大量的服務(wù)器，這也就給半導(dǎo)體的多個(gè)領(lǐng)域帶來了新的發(fā)展契機(jī)，尤其是GPU和DRAM這兩大領(lǐng)域。
AI 帶動(dòng)算力新需求
根據(jù)太平洋證券介紹，人工智能三大要素主要包括數(shù)據(jù)，算法，以及算力。
由于機(jī)器學(xué)習(xí)中的監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)都要用標(biāo)注好的數(shù)據(jù)進(jìn)行訓(xùn)練，數(shù)據(jù)標(biāo)注是人工智能產(chǎn)業(yè)的上游產(chǎn)業(yè)；算法方面，當(dāng)前最具代表性的深度學(xué)習(xí)算法模型有深度神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)。其中深度神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的基礎(chǔ)。
算力是算法和數(shù)據(jù)的基礎(chǔ)設(shè)施，算力大小決定了數(shù)據(jù)處理能力的強(qiáng)弱，芯片則是決定算力的硬件基礎(chǔ)。
其中，OpenAI帶動(dòng)算力新需求。OpenAI的研發(fā)主要依托AIGC（利用人工智能技術(shù)來生成內(nèi)容）技術(shù)。根據(jù)OpenAI近日發(fā)布的數(shù)據(jù)，自2012年以來人工智能訓(xùn)練任務(wù)中使用的算力呈指數(shù)級增長，其增長速度為每3.5個(gè)月翻一倍。截止目前人們對算力的需求已增長了超過30萬倍，摩爾定律已然失效。
近年來，我國算力規(guī)模保持持續(xù)增長態(tài)勢，經(jīng)信通院測算2021年我國計(jì)算設(shè)備算力總規(guī)模達(dá)到202EFlops,增速約50%，高于全球增速。
《新型數(shù)據(jù)中心發(fā)展三年行動(dòng)計(jì)劃（2021-2023年）》強(qiáng)調(diào)到2023年底，全國數(shù)據(jù)中心機(jī)架規(guī)模年均增速保持在20%左右，平均利用率力爭提升到60%以上，總算力超過200EFLOPS，高性能算力占比達(dá)到10%。國家樞紐節(jié)點(diǎn)算力規(guī)模占比超過70%。此外，計(jì)劃還提出新型數(shù)據(jù)中心應(yīng)具備高技術(shù)、高算力、高能效、高安全等特征。太平洋證券指出，“四高”已經(jīng)成為未來數(shù)據(jù)中心的必備條件，而相應(yīng)的服務(wù)器市場或?qū)⒂瓉磔^快增長。
GPU有望迎來新一輪需求高峰
在ChatGPT這一人工智能聊天機(jī)器人大火之后，就有外媒在報(bào)道中提到，英偉達(dá)被分析師和業(yè)內(nèi)人士認(rèn)為會(huì)是一大受益者。外媒在報(bào)道中稱，為了創(chuàng)建和維持ChatGPT所需的人工智能分析數(shù)據(jù)的龐大數(shù)據(jù)庫，開發(fā)者使用了10000個(gè)英偉達(dá)的GPU進(jìn)行相關(guān)的訓(xùn)練。而為了滿足當(dāng)前服務(wù)器的需求，ChatGPT的開發(fā)商OpenAI已使用了約2.5萬個(gè)英偉達(dá)的GPU。
而隨著ChatGPT應(yīng)用范圍的擴(kuò)大，他們對英偉達(dá)GPU的需求也就還會(huì)增加，其他廠商研發(fā)相關(guān)的技術(shù)及應(yīng)用，還將進(jìn)一步拉升對GPU的需求。已有外媒預(yù)計(jì)，如果將當(dāng)前的技術(shù)應(yīng)用到每一次的谷歌搜索中，需要512,820臺(tái)A100 HGX服務(wù)器，將需要超過410萬個(gè)A100 GPU。
對英偉達(dá)來說，如果相關(guān)的應(yīng)用拉升了對GPU的需求，就將推升他們的業(yè)績。在2023財(cái)年第一財(cái)季，也就是在截至去年5月1日的那一個(gè)財(cái)季實(shí)現(xiàn)82.88億美元的營收之后，他們的營收已連續(xù)兩個(gè)季度環(huán)比下滑，在消費(fèi)電子產(chǎn)品需求不樂觀的情況下，ChatGPT等人工智能聊天機(jī)器人相關(guān)的需求，有望為他們帶來新的增長動(dòng)力。
不過，也有外媒認(rèn)為，ChatGPT等人工智能聊天機(jī)器人進(jìn)行訓(xùn)練和提供相關(guān)的服務(wù)對GPU需求的增加，全球可能再次面臨GPU短缺的挑戰(zhàn)，出現(xiàn)短缺的時(shí)間可能還會(huì)早于預(yù)期。
高帶寬存儲(chǔ)器需求已在增加
除了高性能GPU，ChatGPT等人工智能聊天機(jī)器人，也拉升了高帶寬存儲(chǔ)器（HBM）的需求。
韓國媒體在本周早些時(shí)候的報(bào)道中就表示，從今年年初開始，三星電子和SK海力士的高帶寬存儲(chǔ)器訂單就大幅增加，相關(guān)廠商已在要求SK海力士供貨。
與其他DRAM相比，HBM通過垂直連接多個(gè)DRAM，顯著提高了數(shù)據(jù)處理速度，與CPU和GPU協(xié)同工作，可以大幅提高服務(wù)器的學(xué)習(xí)和計(jì)算性能。但性能更出色的高帶寬存儲(chǔ)器，也有更高的價(jià)格，至少是DRAM的3倍。而在需求增加的情況下，SK海力士HBM3的價(jià)格，已增至高性能DRAM的5倍。
同英偉達(dá)和臺(tái)積電一樣，三星電子和SK海力士這兩大存儲(chǔ)芯片制造商，也面臨消費(fèi)電子產(chǎn)品需求下滑的挑戰(zhàn)，SK海力士的營收在去年三季度和四季度是同比環(huán)比雙雙下滑，四季度更是出現(xiàn)了3.5萬億韓元的凈虧損，全年的凈利潤也降至2.4萬億韓元，同比下滑75%。三星電子存儲(chǔ)業(yè)務(wù)的營收，在去年三季度和四季度也是同比環(huán)比雙雙下滑，所在部門的營業(yè)利潤也是如此，也導(dǎo)致全年的營收和營業(yè)利潤下滑。
仍在增長的AI巨浪
從主要的工作流程來看，ChatGPT的分為訓(xùn)練和推理，二者對于算力有著不同的需求。
相比于回答用戶問題的推理階段，ChatGPT的日常訓(xùn)練對于GPU算力的要求更高。在訓(xùn)練階段，ChatGPT需要反復(fù)地進(jìn)行前向傳播和反向傳播操作，用來優(yōu)化模型參數(shù)。
前向傳播是指從輸入數(shù)據(jù)開始，按照神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)逐層計(jì)算，直到得到輸出結(jié)果的過程。具體到ChatGPT的訓(xùn)練中，前向傳播是就根據(jù)當(dāng)前的網(wǎng)絡(luò)參數(shù)和輸入文本，計(jì)算出每個(gè)單詞的概率分布。
反向傳播是指通過計(jì)算損失函數(shù)關(guān)于每個(gè)參數(shù)的梯度，從輸出結(jié)果開始向網(wǎng)絡(luò)輸入逐層傳播，更新神經(jīng)網(wǎng)絡(luò)的權(quán)重和偏置值，提高網(wǎng)絡(luò)的準(zhǔn)確率。
在ChatGPT的訓(xùn)練過程中，前向傳播和反向傳播一般會(huì)以百萬次甚至上億次多次迭代執(zhí)行，因此只有大量的、高算力的GPU集中運(yùn)算，才能達(dá)到要求。公開數(shù)據(jù)顯示，GPT-3單次訓(xùn)練成本就高達(dá)460萬美元。
根據(jù)中信證券研究部數(shù)據(jù)，此前GPT-3在訓(xùn)練中使用了微軟專門建設(shè)的Al計(jì)算系統(tǒng)，由1萬枚英偉達(dá)GPU組成高性能網(wǎng)絡(luò)集群。
目前英偉達(dá)主流的AI芯片中，A100芯片單顆市場售價(jià)約為8萬元。而A100的升級版，最新的H100芯片單顆售價(jià)約為人民幣24萬元。這意味著，僅僅是采購芯片一項(xiàng)，ChatGPT就需要向英偉達(dá)支付10億元以上。
據(jù)Investing.com報(bào)道，GPT-3時(shí)代1萬枚的英偉達(dá)GPU，已經(jīng)隨著ChatGPT升級到GPT-3.5，增至2.5 萬枚，且增長仍在繼續(xù)。隨著谷歌、百度以及更多的類ChatGPT項(xiàng)目入局，以ChatGPT為代表的AI算力和GPU相關(guān)需求，將會(huì)繼續(xù)提高。
