英偉達(dá)獨(dú)霸時(shí)代結(jié)束了？在醞釀數(shù)年后，微軟的人工智能芯片或?qū)⒃谙聜€(gè)月露面。

10月6日，媒體援引知情人士消息稱(chēng)，微軟計(jì)劃在下個(gè)月的年度開(kāi)發(fā)者大會(huì)上推出首款為人工智能設(shè)計(jì)的芯片，來(lái)降低成本并減少對(duì)英偉達(dá)的依賴(lài)。

報(bào)道稱(chēng)，微軟芯片用于數(shù)據(jù)中心服務(wù)器，為訓(xùn)練大語(yǔ)言模型（LLM）等軟件而設(shè)計(jì)，同時(shí)可支持推理，能為ChatGPT背后的所有AI軟件提供動(dòng)力。

知情人士稱(chēng)，微軟內(nèi)部仍在爭(zhēng)論是否會(huì)將這款芯片提供給微軟Azure云客戶(hù)，不過(guò)如果微軟自研芯片亮相開(kāi)發(fā)者大會(huì)，這表明其正在試圖吸引未來(lái)云客戶(hù)的興趣。

運(yùn)行ChatGPT的微軟數(shù)據(jù)中心服務(wù)器目前用了上萬(wàn)塊英偉達(dá)A100 GPU，為云客戶(hù)提供先進(jìn)的LLM，包括OpenAI和Intuit，并支持微軟應(yīng)用程序中的一些列人工智能功能。

微軟希望其Athena芯片能夠與英偉達(dá)供不應(yīng)求的H100 GPU相媲美。 此前有消息爆出 ，微軟秘密組建的300人團(tuán)隊(duì)，在2019年時(shí)就開(kāi)始研發(fā)一款名為"雅典娜"（Athena）的定制芯片。今年開(kāi)始，微軟加快了推出專(zhuān)為L(zhǎng)LM設(shè)計(jì)的AI芯片的時(shí)間軸。

媒體分析指出，在谷歌、微軟和亞馬遜的芯片大戰(zhàn)中，微軟一直處在落后的位置，在推出Athena后，微軟將基本趕上亞馬遜和谷歌。


想逐步擺脫英偉達(dá)？

為了發(fā)展ChatGPT，微軟已經(jīng)搶購(gòu)了不少GPU，隨著算力需求的增加，微軟在后續(xù)或許需要更多的芯片支持。如果一如既往地購(gòu)買(mǎi)英偉達(dá)GPU，這對(duì)微軟來(lái)說(shuō)將是一筆昂貴的支出，于是，對(duì)于微軟的自研AI芯片市場(chǎng)上出現(xiàn)了更多探討。

根據(jù)最初的計(jì)劃，“雅典娜”會(huì)使用臺(tái)積電的5nm工藝打造，預(yù)計(jì)可以將每顆芯片的成本降低1/3。如果在明年能夠大面積實(shí)裝，微軟內(nèi)部和OpenAI的團(tuán)隊(duì)便可以借助「雅典娜」同時(shí)完成模型的訓(xùn)練和推理。這樣一來(lái)，就可以極大地緩解專(zhuān)用計(jì)算機(jī)緊缺的問(wèn)題。

據(jù)報(bào)道，微軟認(rèn)為自己的 AI 芯片并不能直接替代英偉達(dá)的芯片，但隨著微軟繼續(xù)推動(dòng)在Bing、Office、GitHub和其他地方推出AI 驅(qū)動(dòng)的功能，自研芯片可能會(huì)大幅削減成本。

研究公司 SemiAnalysis 的分析師Dylan Patel指出，如果Athena具有競(jìng)爭(zhēng)力，與英偉達(dá)的產(chǎn)品相比，它可以將每芯片的成本降低三分之一。

OpenAI：這兩家，我都不想要

對(duì)于OpenAI來(lái)說(shuō)，能同時(shí)減少對(duì)微軟和英偉達(dá)芯片的依賴(lài)，顯然是最好的。

據(jù)OpenAI網(wǎng)站上的幾則招聘信息顯示，公司正在招聘能夠幫助其評(píng)估和共同設(shè)計(jì)AI硬件的人員。路透社也報(bào)道，OpenAI正在計(jì)劃下場(chǎng)生產(chǎn)自己的AI芯片。此前，CEO Sam Altman曾將獲得更多AI芯片作為公司的首要任務(wù)。

一方面，OpenAI所需的GPU十分短缺，另外，運(yùn)行這些硬件時(shí)產(chǎn)生的成本「令人瞠目結(jié)舌」。如果算力成本一直居高不下，長(zhǎng)遠(yuǎn)來(lái)看于整個(gè)AI行業(yè)來(lái)說(shuō)可能并不是一個(gè)好消息。

畢竟如果掘金的「鏟子」賣(mài)的比金子本身都貴，那么還會(huì)有人去做挖金子的人嗎？

根據(jù)Stacy Rasgon的分析，ChatGPT每次查詢(xún)大約需要4美分。如果ChatGPT的查詢(xún)量增長(zhǎng)到谷歌搜索規(guī)模的十分之一，那么就將需要價(jià)值約481億美元的GPU，并且每年需要價(jià)值約160億美元的芯片來(lái)維持運(yùn)行。

目前還不清楚OpenAI是否會(huì)推進(jìn)定制芯片的計(jì)劃。

據(jù)業(yè)內(nèi)資深人士分析，這將是一項(xiàng)投資巨大的戰(zhàn)略舉措，其中每年的成本可能高達(dá)數(shù)億美元。而且，即使OpenAI將資源投入到這項(xiàng)任務(wù)中，也不能保證成功。除了完全的自研之外，還有一種選擇是像亞馬遜在2015年收購(gòu)Annapurna Labs那樣，收購(gòu)一家芯片公司。據(jù)一位知情人士透露，OpenAI已經(jīng)考慮過(guò)這條路，并對(duì)潛在的收購(gòu)目標(biāo)進(jìn)行了盡職調(diào)查。

但即使OpenAI繼續(xù)推進(jìn)定制芯片計(jì)劃（包括收購(gòu)），這項(xiàng)工作也可能需要數(shù)年時(shí)間。在此期間，OpenAI還是將依賴(lài)于英偉達(dá)和AMD等GPU供應(yīng)商。

因?yàn)榫退銖?qiáng)如蘋(píng)果，在2007年收購(gòu)了P.A. Semi和Intristy，到2010年推出第一款芯片A4，也經(jīng)歷了3年的時(shí)間。而OpenAI，自己本身都還是一家初創(chuàng)公司，這個(gè)過(guò)程也許走得會(huì)更加艱難。而且英偉達(dá)GPU最重要的護(hù)城河，就是它基于CUDA的軟硬件生態(tài)的積累。

OpenAI不但要能設(shè)計(jì)出性能上不落后的硬件，還要在軟硬件協(xié)同方面趕超CUDA，絕對(duì)不是一件容易的事情。

但是，另一方面，OpenAI做芯片也有自己獨(dú)特的優(yōu)勢(shì)。

OpenAI要做的芯片，不需要向其他巨頭推出的芯片一樣，服務(wù)于整個(gè)AI行業(yè)。他只需滿(mǎn)足自己對(duì)模型訓(xùn)練的理解和需求，為自己定制化的設(shè)計(jì)一款A(yù)I芯片。這和谷歌、亞馬遜這種將自己的AI芯片放在云端提供給第三方使用的芯片會(huì)有很大的不同，因?yàn)閹缀醪挥每紤]兼容性的問(wèn)題。這樣就能在設(shè)計(jì)層面讓芯片能更高效地執(zhí)行Transformer模型和相關(guān)的軟件棧。

而且，OpenAI在模型訓(xùn)練方面的領(lǐng)先優(yōu)勢(shì)和規(guī)劃，能讓它真正做到在未來(lái)把模型訓(xùn)練相關(guān)的硬件問(wèn)題，用自己獨(dú)家設(shè)計(jì)的芯片來(lái)解決。

不用擔(dān)心自己的芯片在「滿(mǎn)足自己需要」的性能上，相比與英偉達(dá)這樣的行業(yè)巨頭會(huì)有后發(fā)劣勢(shì)。


都是成本的問(wèn)題

設(shè)計(jì)自己的AI芯片，與英偉達(dá)直接「剛正面」如此之難，為什么巨頭們還要紛紛下場(chǎng)？

最直接的原因就是，英偉達(dá)的GPU太貴了！

加上云提供商在中間還要再賺一筆。這樣，包括OpenAI在內(nèi)，使用英偉達(dá)GPU+云提供商的基礎(chǔ)模型企業(yè)成本肯定居高不下。

有國(guó)外媒體算過(guò)這樣一筆賬：

現(xiàn)在，購(gòu)買(mǎi)一個(gè)使用英偉達(dá)H100 GPU的人工智能訓(xùn)練集群，成本約為10億美元，其FP16運(yùn)算能力約為20 exaflops（還不包括對(duì)矩陣乘法的稀疏性支持）。而在云上租用三年，則會(huì)使成本增加2.5倍。

這些成本包括了集群節(jié)點(diǎn)的網(wǎng)絡(luò)、計(jì)算和本地存儲(chǔ)，但不包括任何外部高容量和高性能文件系統(tǒng)存儲(chǔ)。購(gòu)買(mǎi)一個(gè)基于Hopper H100的八GPU節(jié)點(diǎn)可能需要花費(fèi)近30萬(wàn)美元，其中還包括InfiniBand網(wǎng)絡(luò)（網(wǎng)卡、電纜和交換機(jī)）的分?jǐn)傎M(fèi)用。

同樣的八GPU節(jié)點(diǎn)，在AWS上按需租用的價(jià)格為260萬(wàn)美元，預(yù)留三年的價(jià)格為110萬(wàn)美元，在微軟Azure和谷歌云上的價(jià)格可能也差不多。

因此，如果OpenAI能夠以低于50萬(wàn)美元的單價(jià)（包括所有成本）構(gòu)建系統(tǒng)，那么它的成本將減少一半以上，同時(shí)還能掌握自己的「算力自由」。

將這些費(fèi)用削減一半，在投入資源不變的情況下，OpenAI的模型規(guī)模就會(huì)擴(kuò)大一倍；如果成本能夠減少四分之三，則翻四倍。在模型規(guī)模每?jī)傻饺齻€(gè)月翻倍的市場(chǎng)中，這一點(diǎn)非常重要。

所以長(zhǎng)遠(yuǎn)來(lái)看，也許任何一個(gè)有野心的AI大模型公司，都不得不面對(duì)的一個(gè)最基本問(wèn)題就是——如何盡可能的降低算力成本。

而擺脫「金鏟子賣(mài)家」英偉達(dá)，使用自己的GPU，永遠(yuǎn)都是最有效的方法。