自去年年底大模型“熱潮”席卷而來，半導(dǎo)體業(yè)內(nèi)對于大模型需要什么樣的硬件的問題眾說紛紜。當(dāng)前國內(nèi)外大模型的數(shù)量已發(fā)展到以百千計(jì)，大模型參數(shù)量也發(fā)展到千億級。在這種趨勢下，算力芯片究竟該如何適應(yīng)大模型不斷增長的算力需求？


從集群的角度看問題：提高帶寬與存儲(chǔ)

“大模型時(shí)代，從單卡效率看問題的視角已經(jīng)落伍了，對硬件設(shè)備的審視要更多地從集群的角度去看。” 燧原科技產(chǎn)品市場總經(jīng)理高平在接受《中國電子報(bào)》采訪時(shí)說道。

在當(dāng)前計(jì)算機(jī)采用的馮·諾依曼的體系架構(gòu)下，計(jì)算和存儲(chǔ)是分離的。一項(xiàng)任務(wù)的完成，既需要高算力，又需要大存儲(chǔ)量和高效互聯(lián)作為支持。長期以來，廠商對于處理器效率提升的關(guān)注點(diǎn)都放在算力上。而大模型訓(xùn)練，動(dòng)輒需要上千張甚至上萬張算力芯片組成的集群。這使得原本沒有特別受到重視的存儲(chǔ)量和帶寬一下子成為制約集群效率的瓶頸，也成為各廠商最為關(guān)注的技術(shù)指標(biāo)。

沐曦集成電路（上海）有限公司聯(lián)合創(chuàng)始人、CMO孫爾俊在接受《中國電子報(bào)》記者采訪時(shí)表示，大模型需要緩存上千億的參數(shù)量，單個(gè)芯片的存儲(chǔ)量越大，整個(gè)集群所需要的芯片數(shù)量就越少，片間花費(fèi)的傳輸時(shí)間就相應(yīng)地會(huì)更低，從而更有利于提高整個(gè)集群的計(jì)算效率。這意味著，如果單卡存儲(chǔ)容量不夠，原本用1000張卡就能完成加速的工作，需要擴(kuò)展到更多的芯片上完成，卡間互聯(lián)所需要的時(shí)間會(huì)被拉長，整個(gè)系統(tǒng)的效率也由此降低。

片間帶寬是另一個(gè)備受關(guān)注的指標(biāo)。芯片存儲(chǔ)量和片間互聯(lián)帶寬，就像是支撐大模型硬件基礎(chǔ)的一體兩面。如果把大模型訓(xùn)練比作貨物運(yùn)輸?shù)倪^程，存儲(chǔ)量就像是每輛卡車的裝載量，而帶寬就像是高速公路的并行車道數(shù)。二者共同決定了整個(gè)訓(xùn)練任務(wù)多久才能完成。

由此，如何提高算力芯片的單片存儲(chǔ)和片間帶寬，成為算力芯片廠商需要考慮的問題。

在提高芯片存儲(chǔ)量方面，業(yè)界采取的依然是提升晶體管密度和加大存儲(chǔ)面積兩種思路。一方面采用更先進(jìn)的工藝，另一方面采用3D封裝，將存儲(chǔ)貼在芯片上。

相比之下，帶寬提升更困難一些。高平表示：“帶寬提升在很長時(shí)間內(nèi)都是芯片設(shè)計(jì)領(lǐng)域的難點(diǎn)。相比于算力成倍數(shù)的提升，帶寬的提升一直不大。工藝功耗等因素限制了數(shù)據(jù)傳輸?shù)臅r(shí)鐘頻率，成本與芯片面積限制了傳輸?shù)耐ǖ罃?shù)量。”因此，業(yè)界出現(xiàn)了許多另辟蹊徑的討論，例如通過使存儲(chǔ)與計(jì)算模塊靠得更近以縮短傳輸距離，或者采取改變計(jì)算與存儲(chǔ)排列方式的存算一體的架構(gòu)等。

天數(shù)智芯副總裁鄒翾分享了天數(shù)的經(jīng)驗(yàn)——通過優(yōu)化算法、片間通訊協(xié)議和通訊物理層來系統(tǒng)化的緩解帶寬瓶頸：“流行的大模型算法在硬件工程化中還有很多的調(diào)優(yōu)空間，框架層有多種拓?fù)浣Y(jié)構(gòu)可以平衡單點(diǎn)計(jì)算與傳輸速度，有效降低帶寬需求；互聯(lián)技術(shù)方面，我們在協(xié)議層也采用了私有的協(xié)議，可以提高有效數(shù)據(jù)傳輸?shù)男剩辉谖锢韺游磥砜晒┻x擇的非電技術(shù)也有進(jìn)一步提升帶寬的空間。”他還提到，未來應(yīng)用的性能需要在系統(tǒng)架構(gòu)上優(yōu)化。一來大模型的工作負(fù)載可以結(jié)合節(jié)點(diǎn)配置的情況和傳輸能力進(jìn)行調(diào)整，二來傳輸方式可以不僅限于電互聯(lián)，還可以利用光互聯(lián)等其他技術(shù)。軟硬件系統(tǒng)級聯(lián)合調(diào)優(yōu)還有很大的空間，可以進(jìn)一步壓縮對于芯片硬件帶寬的需求。


提升“軟”實(shí)力：優(yōu)化工具與云服務(wù)

“對于很多客戶來說，硬件就是個(gè)黑盒子，他們并不關(guān)心芯片內(nèi)部的架構(gòu)是什么樣的。他們直接接觸的，是產(chǎn)品的軟件。”一位算力芯片領(lǐng)域資深專家告訴《中國電子報(bào)》記者，“與全球算力芯片領(lǐng)軍企業(yè)相比，算力芯片的后起之秀們在硬件上實(shí)現(xiàn)趕超相對容易，軟件反而是短板。”

“好用”，是大模型對算力芯片軟件棧最基礎(chǔ)的要求。

這個(gè)要求在大模型出現(xiàn)之前便已經(jīng)存在。大模型的“遍地開花”對于軟件的要求并沒有根本性的變化，仍需要相適配的軟件持續(xù)調(diào)優(yōu)。

軟件的優(yōu)化，最需要客戶與算力芯片企業(yè)的協(xié)同。作為算力芯片軟件配套方面的“老大哥”，英偉達(dá)CUDA的制勝秘訣，就是擁有相當(dāng)數(shù)量的客戶群體，并充分了解客戶需求。通過與客戶溝通，持續(xù)進(jìn)行軟件調(diào)優(yōu)，使產(chǎn)品更好用、更易用。

而對于國內(nèi)算力芯片企業(yè)而言，不少企業(yè)接到的單個(gè)訂單量比較大，足夠維持企業(yè)的正常運(yùn)轉(zhuǎn)，但客戶數(shù)量較少，這對于發(fā)展企業(yè)自己的軟件棧并不是一件好事。“從軟件的角度來說，一個(gè)客戶無論買100張卡還是買10張卡，能夠給我們帶來的反饋是一樣的。我們希望有更多的企業(yè)給我們具體的反饋，這樣軟件迭代優(yōu)化的速度也會(huì)更快。” 某算力芯片企業(yè)表示。

能不能做得像英偉達(dá)CUDA一樣？這是算力芯片企業(yè)最常被問到的問題。

對于獨(dú)立開發(fā)軟件的企業(yè)而言，由于客戶已經(jīng)形成了使用CUDA的習(xí)慣，為了幫助客戶盡快適應(yīng)從CUDA軟件向新環(huán)境的遷移，在自研軟件的界面設(shè)計(jì)上，會(huì)主動(dòng)選擇貼合客戶使用習(xí)慣的設(shè)計(jì)，從而幫助客戶更輕松地完成遷移。

“加大在軟件上的投入，已經(jīng)是一個(gè)共識。幾乎所有AI芯片公司軟件團(tuán)隊(duì)一定比硬件團(tuán)隊(duì)人更多、投入更大。芯片公司越來越像軟件公司，將研發(fā)的重點(diǎn)放在軟件棧上面。”業(yè)界專家表示。

此外，提供云服務(wù)也是算力芯片企業(yè)提升影響力、拓展客戶面的重要實(shí)現(xiàn)方式。成本低是云服務(wù)的核心優(yōu)勢。對于一些初創(chuàng)企業(yè)或者是規(guī)模較小的團(tuán)隊(duì)而言，購買算力芯片需要的成本較高，而通過云租賃的方式獲得算力資源，可以以較低的成本緩解算力不足的問題。當(dāng)前，谷歌、英偉達(dá)、阿里云、金山云等都已經(jīng)具備為大模型提供云端算力的能力。

大算力芯片的核心能力：通用、通用，還是通用

1、系統(tǒng)越來越大，對通用靈活性的要求遠(yuǎn)高于對性能的要求

在云和邊緣數(shù)據(jù)中心，都是清一色的服務(wù)器。這些服務(wù)器，可以服務(wù)各行各業(yè)、各種不同類型的場景的服務(wù)端工作任務(wù)的處理。CSP每年投入數(shù)以億計(jì)資金，上架數(shù)以萬計(jì)的各種型號、各種配置的服務(wù)器的時(shí)候，嚴(yán)格來說，它并不知道，具體的某臺(tái)服務(wù)器最終會(huì)售賣給哪個(gè)用戶，這個(gè)用戶到底會(huì)在服務(wù)器上面跑什么應(yīng)用。并且，未來，這個(gè)用戶的服務(wù)器資源回收之后再賣個(gè)下一個(gè)用戶，下一個(gè)用戶又用來干什么，也是不知道的。因此，對CSP來說，最理想的狀態(tài)是，存在一種服務(wù)器，足夠通用，即不管是哪種用戶哪種應(yīng)用運(yùn)行其上，都足夠高效快捷并且低成本。只有這樣，系統(tǒng)才夠簡單而穩(wěn)定，運(yùn)維才能簡單并且高效。然后要做的，就是把這種服務(wù)器大規(guī)模復(fù)制（大規(guī)模復(fù)制意味著單服務(wù)器成本的更快速下降）。

云和邊緣服務(wù)器場景，對系統(tǒng)的靈活性的要求遠(yuǎn)高于對性能的要求，需要提供的是綜合性的通用解決方案。最直接的例子就是以CPU為核心的服務(wù)器：CPU通用靈活性是最好的，如果CPU的性能夠用，大家絕對不喜歡用各種加速；如今是CPU性能不夠，逼迫著大家不得不去使用各種硬件加速。

數(shù)據(jù)中心硬件加速最大的教訓(xùn)是：在提升性能的同時(shí)，最好不要損失系統(tǒng)的靈活性。其言下之意就是：目前各類加速芯片的優(yōu)化方案損失了靈活性，從而使得芯片的落地很困難。這是目前全行業(yè)的痛點(diǎn)所在。


2、集群計(jì)算，對芯片的彈性可擴(kuò)展能力提出了更高的要求

傳統(tǒng)的情況下，一個(gè)芯片對應(yīng)一個(gè)系統(tǒng)。我們關(guān)注業(yè)務(wù)常見的需求，并把它實(shí)現(xiàn)在芯片的功能和特征里。但在集群計(jì)算，特別是目前云網(wǎng)邊端不斷融合的超大集群計(jì)算形式下，則需要關(guān)注的是“以不變應(yīng)萬變”，即足夠通用的、數(shù)以萬計(jì)的計(jì)算設(shè)備組成的大規(guī)模計(jì)算集群，如何去覆蓋數(shù)以百萬計(jì)的眾多計(jì)算場景的問題。

這樣，對芯片內(nèi)的資源彈性和芯片的可擴(kuò)展性就提出了很高的要求，我們需要把數(shù)以萬計(jì)的計(jì)算芯片的計(jì)算資源合并到一個(gè)計(jì)算資源池，然后還可以非常方便的快速切分和重組，供不同規(guī)格計(jì)算任務(wù)的使用。

3、芯片研發(fā)成本越來越高，需要芯片的大規(guī)模落地，來攤薄研發(fā)成本

摩爾定律預(yù)示了：芯片工藝的發(fā)展，會(huì)使得晶體管數(shù)量大約每兩年提升一倍。雖然工藝的進(jìn)步逐步進(jìn)入瓶頸，但Chiplet越來越成為行業(yè)發(fā)展的重點(diǎn)，這使得芯片的晶體管數(shù)量可以再一次數(shù)量級的提升。

在先進(jìn)工藝的設(shè)計(jì)成本方面，知名半導(dǎo)體研究機(jī)構(gòu)Semiengingeering統(tǒng)計(jì)了不同工藝下芯片所需費(fèi)用（費(fèi)用包括了）：

28nm節(jié)點(diǎn)開發(fā)芯片只需要5130萬美元；

16nm節(jié)點(diǎn)則需要1億美元；

7nm節(jié)點(diǎn)需要2.97億美元；

到了5nm節(jié)點(diǎn)，費(fèi)用高達(dá)5.42億美元；

3nm節(jié)點(diǎn)的研發(fā)費(fèi)用，預(yù)計(jì)將接近10億美元。

就意味著，大芯片需要足夠通用，足夠大范圍落地，才能在商業(yè)邏輯上成立。做一個(gè)保守的估算：

終端場景，（大）芯片的銷售量至少需要達(dá)到數(shù)千萬級才能有效攤薄一次性的研發(fā)成本；

在數(shù)據(jù)中心場景，則需要50萬甚至100萬以上的銷售量，才能有效攤薄研發(fā)成本。


最后

全新的AI時(shí)代正呼嘯而來，海量數(shù)據(jù)洪流和大模型應(yīng)用需求爆發(fā)將繼續(xù)拉動(dòng)算力規(guī)模成倍增長。

盡管目前主流的算力方案仍是英偉達(dá)一騎絕塵，但從長遠(yuǎn)計(jì)，我國通用GPU企業(yè)大有可為。對算力需求的激增提供了一個(gè)巨大市場，此時(shí)國外計(jì)算芯片供應(yīng)緊張和出口限制，又將為國內(nèi)芯片公司提供更多的機(jī)會(huì)。

這對于國產(chǎn)芯努力構(gòu)建自主創(chuàng)新架構(gòu)、滿足市場對性價(jià)比和能效比的多元需求，無疑是一個(gè)極佳的時(shí)間窗口。誰能率先拿出完善的國產(chǎn)化替代方案，誰便能從龐大的AI算力市場分一杯羹。