大模型端側(cè)部署正加速！AI PC等新物種熱度暴增，企業(yè)對于AI加速卡的關(guān)注度也水漲船高。

但是AI PC等端側(cè)設(shè)備中的AI加速卡如何做到可用、好用是一大難題，其需要兼顧體積小、性能強、功耗低才能使得端側(cè)設(shè)備承載大模型能力成為現(xiàn)實。

近日，清華系A(chǔ)I芯片創(chuàng)企芯動力科技面向大模型推出了一款新產(chǎn)品——AzureBlade L系列M.2加速卡。M.2加速卡是目前國內(nèi)最強的高性能體積小的加速卡，其強大的性能使其能夠順利運行大模型系統(tǒng)。

M.2加速卡的大小僅為80mm（長）x22mm（寬），并已經(jīng)實現(xiàn)與Llama 2、Stable Diffusion模型的適配。具備體積小、性能強，且有通用接口的M.2加速卡成為助推大模型在PC等端側(cè)設(shè)備上部署的加速器。

體積小、性能強、功耗低，端側(cè)跑大模型三大關(guān)鍵

AI PC已經(jīng)成為大模型落地端側(cè)設(shè)備的一個重要載體。

從去年年底至今，AI PC的熱潮正在涌起。前有英特爾啟動AI PC加速計劃、高通推出專為AI研發(fā)的PC芯片驍龍X Rlite、上周英偉達發(fā)布全新一代RTX 500和1000顯卡，支持筆記本電腦等端側(cè)設(shè)備上運行生成式AI應(yīng)用……

根據(jù)市研機構(gòu)IDC發(fā)布的最新報告，預(yù)估AI PC出貨量2024年逼近5000萬臺，到2027年將增長到1.67億臺，占全球PC總出貨量的60%左右。

AI PC這一新物種正在加速大模型的規(guī)模化落地。與此同時，擁有龐大參數(shù)規(guī)模的大模型也對端側(cè)設(shè)備可承載的算力提出了更高的需求。

在端側(cè)往往只有一個獨立設(shè)備。以PC為例，作為人們?nèi)粘Ｉ睢⒐ぷ鞯某Ｓ迷O(shè)備，其體積并不大且足夠輕便，因此需要AI加速卡足夠小且不會因體積犧牲性能上的優(yōu)勢。以M.2加速卡的形式進入AI PC的市場就是很有優(yōu)勢的產(chǎn)品形態(tài)。

可以看到，當下大模型的發(fā)展路線不再唯參數(shù)論，越來越多參數(shù)規(guī)模小性能強大的模型出現(xiàn)，如開源的Llama 2模型系列參數(shù)在70億到700億不等，為大模型在端側(cè)的落地提供了機會。

即便如此，大模型想要成功部署在端側(cè)對于芯片玩家而言仍然具有挑戰(zhàn)，需要其突破端側(cè)設(shè)備有限的計算和存儲能力，因此芯片玩家亟需找到芯片體積小與性能強大的平衡點。

李原談道，端側(cè)設(shè)備還有一大特點是，GPU是其最主要的元件。這背后的風險在于，企業(yè)全部圍繞GPU來做設(shè)備，就會造成一旦產(chǎn)品的開發(fā)周期變長，其未來的開發(fā)路線會受到一定限制。由于邊緣設(shè)備上接口的可選擇性不多，很多設(shè)備需要針對不同的芯片進行接口定制，企業(yè)就需要承擔接口受限的風險。

這些新的變化及需求為這家GPGPU創(chuàng)企帶來了新的機遇。

GPGPU：提高模型訓練效率的AI產(chǎn)業(yè)發(fā)展利器

算力的迅猛發(fā)展，離不開芯片、數(shù)據(jù)中心和云計算等產(chǎn)業(yè)鏈的完善，特別是GPU，作為三大算力芯片之一，已經(jīng)是國家、產(chǎn)業(yè)高度重視的戰(zhàn)略高地。其中，GPGPU架構(gòu)憑借極強的通用計算能力，正在成為AI算力時代的最優(yōu)解。

GPU的技術(shù)路線有多種，比如GPGPU、FPGA、ASIC等等，其中GPGPU 是人工智能領(lǐng)域最主要的協(xié)處理器解決方案，占據(jù)人工智能90%以上的市場份額。

GPGPU比其他路線具有更好的通用性，因此應(yīng)用領(lǐng)域非常廣泛，在科學計算、數(shù)據(jù)分析、機器學習、深度學習、密碼學、圖像處理等各種領(lǐng)域均起到重要作用。

通過利用GPU的并行處理能力，GPGPU可以加速這些領(lǐng)域中的計算任務(wù)，提高計算效率，縮短計算時間；尤其是在云端運行模型訓練算法時，使用GPGPU可以縮短海量訓練數(shù)據(jù)的訓練時長，減少能源消耗，從而進一步降低人工智能的應(yīng)用成本，這對人工智能領(lǐng)域的發(fā)展是非常關(guān)鍵的。

當下，GPGPU芯片在火熱的AI市場中已經(jīng)供不應(yīng)求。未來幾年內(nèi)，中國人工智能芯片市場規(guī)模將保持年均40%至50%的增長速度，GPGPU通用性好和軟件生態(tài)系統(tǒng)完善的優(yōu)勢會進一步展現(xiàn)出來，擁有更加廣闊的市場前景。


技術(shù)著眼深度，走出自己的道路

我國芯片產(chǎn)業(yè)較其他國家起步較晚，在李原看來，國產(chǎn)替代的時代已經(jīng)過去了。

“國外企業(yè)已經(jīng)形成了技術(shù)壁壘，我們不應(yīng)該去做一個純國產(chǎn)替代的產(chǎn)品，尤其在芯片這個競爭激烈的行業(yè)，很多龍頭企業(yè)沉淀多年，靠追趕是很難的。”李原表示，“我們要在某一個方向上進行突破，走出一條自己的路子。”

就芯動力而言，目前雖然廣度不足以媲美行業(yè)龍頭，但在深度方面的積累，已經(jīng)超過當前技術(shù)領(lǐng)先的公司。李原舉例，芯動力產(chǎn)品從效率方面來說，比當前任何一款類似的芯片效率都要高，“我們的14納米的芯片甚至比某國際知名品牌的7納米A100的芯片效率更高，這讓我們在某些產(chǎn)品上具有了絕對競爭優(yōu)勢”。

“作為一家技術(shù)型初創(chuàng)公司，技術(shù)和創(chuàng)新是為商業(yè)服務(wù)的。”李原認為，“客戶的需求我們要仔細分析，找出真正的痛點并加以解決。”當前，芯動力的產(chǎn)品已經(jīng)在邊緣計算領(lǐng)域、銀行、通訊領(lǐng)域、醫(yī)療超聲波方向、AI方向的高性能計算等領(lǐng)域?qū)崿F(xiàn)應(yīng)用。

當前，芯動力研發(fā)團隊核心成員有平均年限超15年的資深半導體從業(yè)背景，且均來自英特爾、高通、德州儀器等知名半導體企業(yè)，研發(fā)人員占比超過80%，每年的研發(fā)投入超過90%。

基于深厚的技術(shù)積累和完善的人才儲備，芯動力核心成員研究并提出了在并行計算的領(lǐng)域里的可重構(gòu)并行處理器架構(gòu)（Reconfigurable Parallel Processor）。該架構(gòu)不去涉及通用計算領(lǐng)域，而是專注于并行計算領(lǐng)域。可以用基于CUDA的高級語言進行原代碼編程，利用自有的指令集作為底層匯編，使得在高性能計算領(lǐng)域內(nèi)最廣泛使用的語言進行支持。

具體來看，RPP創(chuàng)新架構(gòu)主要具備三大優(yōu)勢：一是更強的處理能力。RPP設(shè)計的計算中心用芯片可以達到目前最先進處理器10倍的處理能力。英偉達最新推出的GPGPU，GP100是目前芯片面積最大，計算能力最強的芯片。它已達到了600平方毫米芯片面積，300W功率。RPP的設(shè)計目標是10倍于GP100的計算能力，降低服務(wù)器的成本且提高服務(wù)器性能。

二是更短的處理遲延。RPP的計算方法和GPGPU的計算架構(gòu)非常不同，這樣的架構(gòu)使得計算的處理時延低，并使得計算平臺能夠應(yīng)用在實時的處理計算之中。這在要求低遲延的系統(tǒng)，比如通訊系統(tǒng)中可以得到良好的應(yīng)用。

三是低功耗。在許多系統(tǒng)之中，低功耗成為了主要的性能指標，比如說手機，平板電腦等，電池的壽命往往非常有限，低功耗而高性能的計算，成為了必需。而在計算中心之中，服務(wù)器的功耗是散熱的主要部分。1/10的功耗，將意味著1/10的電費。這意味著大大降低運營成本。

總的來說，這款芯片可以幫助客戶加快Time to Market的步伐，降低他們的開發(fā)周期和產(chǎn)品成本，實現(xiàn)低成本及快速的遷移。

據(jù)悉，目前以RPP技術(shù)研發(fā)的第一代RPP-R8芯片已經(jīng)成功流片，基于全新自研架構(gòu)，RPP-R8是一款為并行計算設(shè)計的高端通用異構(gòu)芯片。