國(guó)產(chǎn)大模型芯片，又有了好消息。

作為“中國(guó)科技第一展”，深圳高交會(huì)正在如火如荼的舉辦，4295家企業(yè)展出了琳瑯滿目的高精尖科技成果，歷來(lái)在高交會(huì)發(fā)布重磅產(chǎn)品的AI企業(yè)云天勵(lì)飛，一如既往上了盤“硬菜”——國(guó)產(chǎn)Chiplet大模型推理芯片DeepEdge10。

這是云天勵(lì)飛迄今算力最強(qiáng)的旗艦AI芯片SoC，內(nèi)置自研新一代神經(jīng)網(wǎng)絡(luò)處理器NNP400T，通過(guò)D2D高速互聯(lián)Chiplet技術(shù)、C2CMesh互聯(lián)架構(gòu)實(shí)現(xiàn)算力擴(kuò)展，能夠支持千億級(jí)參數(shù)大模型，落地于邊緣設(shè)備和邊緣服務(wù)器。

而“國(guó)產(chǎn)”，當(dāng)屬這顆芯片最吸睛的標(biāo)簽。

制程工藝是國(guó)產(chǎn)，基板是國(guó)產(chǎn)，D2D Chiplet先進(jìn)封裝架構(gòu)是國(guó)產(chǎn)，RISC-V CPU IP、GPU IP是國(guó)產(chǎn)，云天勵(lì)飛自研的NNP更是國(guó)產(chǎn)。

波譎云詭的國(guó)際環(huán)境中，中國(guó)企業(yè)采用海外先進(jìn)芯片技術(shù)的可能性不斷受限。今天，在國(guó)產(chǎn)供應(yīng)鏈的襄助下，云天勵(lì)飛證明了通過(guò)多重創(chuàng)新技術(shù)的組合拳，自主可控的AI芯片能夠滿足高算力、大內(nèi)存的大模型推理需求。


大模型創(chuàng)新爆發(fā)時(shí)代，

需要什么樣的邊緣推理芯片？

大模型正在顛覆生產(chǎn)力，海量數(shù)據(jù)和參數(shù)的運(yùn)算需求、日趨豐富的應(yīng)用場(chǎng)景帶來(lái)了全新的計(jì)算泛式和計(jì)算要求，給AI芯片提出新的挑戰(zhàn)。

一方面，多模態(tài)大模型成為大勢(shì)所趨，帶動(dòng)推理算力需求激增；另一方面，OpenAI、微軟等接連開(kāi)放自定義GPT能力，掀起新一股生成式AI應(yīng)用模型創(chuàng)新熱潮，更加分散泛化的多元場(chǎng)景，需要大量邊緣推理算力的支撐。

據(jù)云天勵(lì)飛副總裁、芯片產(chǎn)品線總經(jīng)理李愛(ài)軍回憶，在推進(jìn)芯片落地的過(guò)程中，云天勵(lì)飛深刻體會(huì)到邊緣計(jì)算場(chǎng)景存在算力碎片化、算法長(zhǎng)尾化、產(chǎn)品非標(biāo)化、規(guī)模碎片化的痛點(diǎn)。

追求單一場(chǎng)景極致PPA（性能、功耗、面積）的傳統(tǒng)芯片方式，已經(jīng)難以適應(yīng)邊緣計(jì)算場(chǎng)景下AI落地的需求。大模型的出現(xiàn)，為行業(yè)提供了算法層面的解決之道，因而日漸成為大勢(shì)所趨。

那么讓大模型在邊緣計(jì)算場(chǎng)景實(shí)際落地，需要怎樣的AI推理芯片？

一些方向已經(jīng)是業(yè)界共識(shí)：既要有更高算力，又要增加更多的內(nèi)存容量、更大的內(nèi)存帶寬，這樣才能存得下、搬得快足夠多的數(shù)據(jù)。同時(shí)，邊緣計(jì)算對(duì)低功耗、低成本的要求更為苛刻。

除了支持大模型等AI計(jì)算任務(wù)，AI邊緣推理芯片還承擔(dān)了“落地應(yīng)用最后一公里”的職責(zé)，需要具備較強(qiáng)的通用算力。

針對(duì)這些需求，云天勵(lì)飛自主研發(fā)并推出了面向邊緣計(jì)算全場(chǎng)景、基于國(guó)產(chǎn)工藝的大模型推理芯片平臺(tái)——DeepEdge10。


布局AI應(yīng)用落地“最后一公里”

人工智能芯片從功能上可以分為訓(xùn)練芯片和推理芯片，前者注重絕對(duì)的計(jì)算能力，而后者更注重綜合指標(biāo)，是實(shí)現(xiàn)AI應(yīng)用落地終端的“最后一公里”。

“訓(xùn)練不是目的，生產(chǎn)大模型不是目的，千行百業(yè)的落地和應(yīng)用才是最終的目的。”陳寧表示，不論是機(jī)器人、無(wú)人駕駛汽車智能傳感，還是各類智能硬件，甚至腦機(jī)接口芯片，都需要大模型的推理芯片，當(dāng)前國(guó)內(nèi)這個(gè)領(lǐng)域還處于“百家爭(zhēng)鳴”階段，云天勵(lì)飛聚焦在邊緣推理計(jì)算發(fā)力。

本次云天勵(lì)飛推出的DeepEdge10，就定位于邊緣計(jì)算全場(chǎng)景應(yīng)用，內(nèi)置公司最新的第四代神經(jīng)網(wǎng)絡(luò)處理器，打造了Edge10C、Edge10 標(biāo)準(zhǔn)版和Edge10Max 三款系列芯片；出貨形態(tài)包括芯片、板卡、盒子、加速卡、推理服務(wù)器等，可廣泛應(yīng)用于AIoT邊緣視頻、移動(dòng)機(jī)器人等場(chǎng)景。

云天勵(lì)飛副總裁、芯片產(chǎn)品線總經(jīng)理李愛(ài)軍表示，由于邊緣計(jì)算的場(chǎng)景呈現(xiàn)出算力碎片化、算法長(zhǎng)尾化、產(chǎn)品非標(biāo)化、規(guī)模碎片化的特征，傳統(tǒng)的算法開(kāi)發(fā)和芯片都難以適應(yīng)新一代人工智能邊緣計(jì)算場(chǎng)景的產(chǎn)品化需求。大模型的出現(xiàn)，為行業(yè)提供了算法層面的解決之道；但大模型在邊緣計(jì)算場(chǎng)景要面向?qū)崙?zhàn)發(fā)揮作用，則需要AI大模型推理芯片的支持。

簡(jiǎn)而言之，AI邊緣推理芯片不僅要支持大模型等AI計(jì)算任務(wù)，還需要具備較強(qiáng)的通用算力。其中，Transformer作為語(yǔ)言視覺(jué)多模態(tài)大模型的最核心架構(gòu)，云天勵(lì)飛從2015年開(kāi)始研發(fā)神經(jīng)網(wǎng)絡(luò)處理器，在2021年指令集已經(jīng)實(shí)現(xiàn)兼容基于Transformer 架構(gòu)的新型計(jì)算范式。

依托 Deep Edge10創(chuàng)新的 D2D chiplet架構(gòu)打造的X5000推理卡，已適配并可承載SAM CV大模型、Llama2等百億級(jí)大模型運(yùn)算。


構(gòu)建國(guó)產(chǎn)推理芯片生態(tài)

目前，云天勵(lì)飛已向國(guó)內(nèi)頭部的AIoT芯片設(shè)計(jì)廠商、智慧汽車芯片設(shè)計(jì)廠商、服務(wù)機(jī)器人廠商、國(guó)家重點(diǎn)實(shí)驗(yàn)室等提供神經(jīng)網(wǎng)絡(luò)處理器的IP授權(quán)。而邊緣計(jì)算市場(chǎng)將迎來(lái)高速發(fā)展。根據(jù)IDC預(yù)測(cè)，到2023年底，全球的邊緣計(jì)算市場(chǎng)將達(dá)到2000億美金的規(guī)模；預(yù)計(jì)到2026年，邊緣計(jì)算市場(chǎng)將突破3000億美金。

為了布局龐大的邊緣計(jì)算市場(chǎng)，就需要構(gòu)建自主可控的推理芯片生態(tài)。

作為云天勵(lì)飛AI芯片重要技術(shù)特點(diǎn)，DeepEdge10采用了 D2D Chiplet技術(shù)和C2C Mesh擴(kuò)展架構(gòu)，可實(shí)現(xiàn)算力的靈活擴(kuò)展，可支持千億大模型，相較總體性能要比上一代1000系列的芯片提升，整體性能提升20倍以上超過(guò)20倍。

陳寧介紹，通常百億級(jí)、千億級(jí)的大模型需要極強(qiáng)的計(jì)算能力和超低功耗、超低成本，對(duì)工藝需求提升到7納米、5納米甚至2納米；結(jié)合國(guó)產(chǎn)生產(chǎn)工藝現(xiàn)狀，云天勵(lì)飛與合作伙伴從三年前就開(kāi)始聯(lián)合技術(shù)攻關(guān)，定制系列IP，實(shí)現(xiàn)在14納米節(jié)點(diǎn)上生產(chǎn)多顆不同計(jì)算規(guī)格的AI的推理芯片，運(yùn)營(yíng)大模型的功能。

在軟件棧、工具鏈方面，云天勵(lì)飛打造了開(kāi)放的算法應(yīng)用平臺(tái)，提供超過(guò)100多種的算法。通過(guò)自研芯片，公司沉淀了 “算法芯片化”的核心能力，完成了3代指令集架構(gòu)、4代神經(jīng)網(wǎng)絡(luò)處理器架構(gòu)的研發(fā)，目前自研神經(jīng)網(wǎng)絡(luò)處理器已經(jīng)獲得國(guó)內(nèi)頂尖的芯片設(shè)計(jì)公司采用，生態(tài)合作伙伴擴(kuò)大到近30家，芯片也大規(guī)模應(yīng)用到安防模塊等領(lǐng)域。

“我們將立足國(guó)產(chǎn)工藝，打造自主可控的AI芯片，雖然這條路非常艱難，但是我們還會(huì)堅(jiān)定不移地走下去。”李愛(ài)軍表示。


國(guó)產(chǎn)最強(qiáng)算力模型亮相

11月16日，百川智能與鵬城實(shí)驗(yàn)室宣布攜手探索大模型訓(xùn)練和應(yīng)用，雙方展示了合作研發(fā)的基于國(guó)產(chǎn)算力的128K長(zhǎng)窗口大模型“鵬城-百川·腦海33B”，該模型基于“鵬城云腦”國(guó)產(chǎn)算力平臺(tái)訓(xùn)練，未來(lái)可升級(jí)至192K，是基于國(guó)產(chǎn)算力訓(xùn)練的最長(zhǎng)上下文窗口。

眾所周知，訓(xùn)練大模型需要海量的算力，并且大模型參數(shù)數(shù)量的增長(zhǎng)與算力的平方成正比。大模型性能的競(jìng)爭(zhēng)，一定程度上是算力的比拼。在復(fù)雜多變的國(guó)際環(huán)境下，國(guó)內(nèi)算力供給與需求之間的“鴻溝”持續(xù)擴(kuò)大，國(guó)產(chǎn)化算力已經(jīng)成為國(guó)內(nèi)大模型企業(yè)的必要選擇。雖然國(guó)內(nèi)諸多企業(yè)在通用AI芯片方面早有布局，在芯片量產(chǎn)、生態(tài)構(gòu)建、應(yīng)用拓展領(lǐng)域也取得了不錯(cuò)進(jìn)展，但基于國(guó)產(chǎn)算力訓(xùn)練大模型，仍面臨著生態(tài)建設(shè)、成本控制、能效比優(yōu)化等阻礙。因此算力完全自主，仍需要芯片廠商、大模型企業(yè)、學(xué)術(shù)科研機(jī)構(gòu)等多方共同努力。

據(jù)了解，鵬城實(shí)驗(yàn)室是網(wǎng)絡(luò)通信領(lǐng)域新型科研機(jī)構(gòu)，作為國(guó)家戰(zhàn)略科技力量的一部分，鵬城實(shí)驗(yàn)室在國(guó)產(chǎn)算力大模型研發(fā)和應(yīng)用等方面一直處于國(guó)內(nèi)領(lǐng)先位置。此次其與百川智能合作研發(fā)“鵬城-百川·腦海33B”長(zhǎng)窗口大模型，是國(guó)產(chǎn)算力大模型技術(shù)創(chuàng)新和落地的一次突破。

上下文窗口長(zhǎng)度對(duì)模型理解和生成與特定上下文相關(guān)的文本至關(guān)重要，是大模型的核心技術(shù)之一。通常而言，更長(zhǎng)的上下文窗口可以提供更豐富的語(yǔ)義信息、消除歧義，能夠讓模型生成的內(nèi)容更準(zhǔn)確、更流暢。

為了更好地提升“鵬城-百川·腦海33B”上下文窗口長(zhǎng)度和模型整體性能，研發(fā)人員對(duì)模型進(jìn)行了全流程優(yōu)化。在數(shù)據(jù)集構(gòu)建方面，采用精細(xì)的數(shù)據(jù)構(gòu)造，實(shí)現(xiàn)了段落、句子粒度的自動(dòng)化數(shù)據(jù)過(guò)濾、選擇、配比，提升了數(shù)據(jù)質(zhì)量；在訓(xùn)練架構(gòu)上，通過(guò)NormHead、max-Z-Loss、dynamic-LR等自研或業(yè)界領(lǐng)先的模型訓(xùn)練優(yōu)化技術(shù)，對(duì)Transformer模塊進(jìn)行深度優(yōu)化，確保模型穩(wěn)定的同時(shí)，全面提升了模型優(yōu)化效率和最終效果；此外，還在全生命周期的模型工具集中，通過(guò)與北京大學(xué)王亦洲、楊耀東老師團(tuán)隊(duì)的合作，首創(chuàng)了帶安全約束的RLHF對(duì)齊技術(shù)，有效提升模型內(nèi)容生成質(zhì)量和安全性。