近年來(lái)，伴隨著Transformer與大模型的發(fā)展，AI模型的普適性、多模態(tài)支持，以及模型微調(diào)效率都有了質(zhì)的突破，加上低功耗的AI加速器和專用芯片被集成到終端設(shè)備中，邊緣智能正變得越來(lái)越自主和強(qiáng)大。

邊緣AI潛力巨大，有望助力多個(gè)領(lǐng)域的持續(xù)智能化演進(jìn)與轉(zhuǎn)型。Arm的客戶與生態(tài)伙伴在智能家居、智能零售與智能制造等領(lǐng)域不斷創(chuàng)新，進(jìn)而實(shí)現(xiàn)感知、決策與行動(dòng)的閉環(huán)，提高自動(dòng)化水平。為了加速AI系統(tǒng)的快速落地，Arm近日推出了全新AI微加速器Arm Ethos-U85，以及全新的智能物聯(lián)網(wǎng)參考設(shè)計(jì)平臺(tái)Corstone-320。

Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健(Chloe Ma)介紹道，Arm為了實(shí)現(xiàn)AI算子延展與部署簡(jiǎn)化，在過(guò)去十年中進(jìn)行了大量投資并優(yōu)化性能。

Arm在邊緣AI領(lǐng)域的厚積薄發(fā)

圖1：Arm賦能邊緣AI持續(xù)創(chuàng)新

起初，Arm聚焦在優(yōu)化各類傳感器必需的嵌入式處理器上，致力于實(shí)現(xiàn)超低成本、低功耗和小面積，并支持控制級(jí)代碼的開(kāi)發(fā)；隨著萬(wàn)物互聯(lián)的發(fā)展，連接使邊緣算力和安全性變得越來(lái)越重要，該公司順勢(shì)推出了Armv8-M和Arm TrustZone等技術(shù)來(lái)增強(qiáng)算力與安全；當(dāng)邊緣與端側(cè)AI推理需求增長(zhǎng)， Arm在嵌入式領(lǐng)域引入了Armv8.1-M，Arm Helium技術(shù)使CPU能夠執(zhí)行更多計(jì)算密集型的AI推理算法；緊接著，Arm又推出了業(yè)界首款 AI 微加速器 Arm Ethos NPU，來(lái)滿足更高性能和更復(fù)雜的AI工作負(fù)載。

馬健評(píng)價(jià)說(shuō)：“Arm在AI時(shí)代的演進(jìn)中起到了至關(guān)重要的作用。諸多基于Arm架構(gòu)的邊緣AI解決方案的成功部署，讓我們更加堅(jiān)信AI需要硬件和軟件之間的緊密結(jié)合。”當(dāng)然，當(dāng)系統(tǒng)變得愈加強(qiáng)大，其復(fù)雜度也隨之提升。軟硬件必須協(xié)同工作才能釋放AI處理的最大潛能。因此，Arm不僅聚焦處理器IP，也在軟件與工具鏈方面加強(qiáng)投資，確保滿足高性能邊緣AI系統(tǒng)的開(kāi)發(fā)需求。

為了達(dá)成“軟硬件緊密結(jié)合”的目標(biāo)，Arm與生態(tài)合作伙伴正齊心協(xié)力合作。據(jù)馬健介紹，目前在 Arm軟硬件計(jì)算平臺(tái)上涌現(xiàn)了大量創(chuàng)新，包括：恩智浦半導(dǎo)體(NXP)的i.M系列、瑞薩電子(Renesas)的RA8系列、英飛凌(Infineon)的PSoC Edge、Alif Semiconductor的Ensemble等邊緣AI芯片方案。同時(shí)，Arm也在與一系列軟件算法與工具伙伴合作，以確保為邊緣AI系統(tǒng)開(kāi)發(fā)者提供工具和技術(shù)支持。

為了進(jìn)一步推動(dòng)邊緣 AI 的落地，Arm近日又更新了智能物聯(lián)產(chǎn)品組合，此次的新產(chǎn)品組合包括——全新AI微加速器Arm Ethos-U85和全新智能物聯(lián)網(wǎng)參考設(shè)計(jì)平臺(tái)Corstone-320。

·全新AI微加速器Arm Ethos-U85

Arm Ethos-U NPU系列是業(yè)界首款A(yù)I微加速器，英飛凌、恩智浦半導(dǎo)體、奇景光電(Himax)、Alif Semiconductor和Synaptics等企業(yè)均已推出搭載Ethos-U的量產(chǎn)芯片。全新的Arm Ethos-U85屬于Arm Ethos-U NPU系列，它為高性能邊緣AI應(yīng)用帶來(lái)了四倍的性能提升，20%的能效提升，并保持了一致工具鏈，可實(shí)現(xiàn)無(wú)縫的開(kāi)發(fā)者體驗(yàn)。Arm Ethos-U85支持從128到2048個(gè)MAC單元的配置，在最高性能配置下提供4TOPs的AI算力。據(jù)介紹，Ethos-U85的目標(biāo)應(yīng)用場(chǎng)景是智能家居、零售、工業(yè)等新興邊緣AI應(yīng)用場(chǎng)景。

圖2：Arm Ethos-U85提供卓越的神經(jīng)網(wǎng)絡(luò)加速功能

此外，Ethos-U85增加了Transformer架構(gòu)網(wǎng)絡(luò)的支持，這是優(yōu)化大模型邊緣落地微調(diào)時(shí)間、提升模型泛化的一個(gè)關(guān)鍵特性。具體來(lái)看，Ethos-U85不僅提供卷積神經(jīng)網(wǎng)絡(luò)(CNN)所需的權(quán)重矩陣乘的運(yùn)算，還支持矩陣相乘——這是Transformer架構(gòu)網(wǎng)絡(luò)的一個(gè)基本組成部分。基于Transformer的模型具有優(yōu)異的泛化功能，它將更快地驅(qū)動(dòng)新AI應(yīng)用的發(fā)展。

Transformer在視覺(jué)和生成式AI用例中，比如視頻理解、圖文結(jié)合、圖像增強(qiáng)與生成、圖像分類和目標(biāo)檢測(cè)等方面都極有價(jià)值。Transformer架構(gòu)網(wǎng)絡(luò)的注意力機(jī)制容易利用并行計(jì)算來(lái)實(shí)現(xiàn)，提高硬件使用效率，這些模型能夠部署在計(jì)算資源有限的邊緣設(shè)備上。開(kāi)發(fā)者可通過(guò)選用針對(duì)Transformer架構(gòu)網(wǎng)絡(luò)優(yōu)化的設(shè)計(jì)，使邊緣AI應(yīng)用享有更快的推理、更優(yōu)化的模型性能和可擴(kuò)展性。

Ethos-U85不僅支持低功耗MCU系統(tǒng)中的AI加速，還支持在高性能邊緣計(jì)算系統(tǒng)中的應(yīng)用處理器、標(biāo)準(zhǔn)操作系統(tǒng)和高級(jí)開(kāi)發(fā)語(yǔ)言的部署，這種模式更有利于云原生開(kāi)發(fā)和云邊端負(fù)載調(diào)度。而Arm Ethos-U85和Armv9 Cortex-A CPU的組合，可為基于應(yīng)用處理器的智能物聯(lián)網(wǎng)平臺(tái)上運(yùn)行的AI任務(wù)實(shí)現(xiàn)加速，給工業(yè)機(jī)器視覺(jué)、邊緣網(wǎng)關(guān)、可穿戴設(shè)備和消費(fèi)類機(jī)器人等應(yīng)用帶來(lái)高效能的邊緣推理。

·全新智能物聯(lián)網(wǎng)參考設(shè)計(jì)平臺(tái)Arm Corstone-320

Arm為了幫助合作伙伴簡(jiǎn)化系統(tǒng)開(kāi)發(fā)進(jìn)而加快上市時(shí)間，還推出了最新的具備Ethos-U85的邊緣AI參考設(shè)計(jì)平臺(tái)——Arm Corstone-320。

Corstone-320包含了嵌入式處理器Cortex-M85，以及全新的Ethos-U85 NPU AI加速器。由于視覺(jué)在多模態(tài)感知中起到了關(guān)鍵作用，許多邊緣MCU和傳感器系統(tǒng)越來(lái)越依賴于視覺(jué)和圖像感知，Corstone-320還包含了Arm Mali-C55 ISP，以實(shí)現(xiàn)為視覺(jué)應(yīng)用優(yōu)化的低功耗系統(tǒng)。據(jù)悉，該參考設(shè)計(jì)針對(duì)實(shí)際工作負(fù)載開(kāi)發(fā)，其參考用例包括部署在智能家居中的電池供電攝像系統(tǒng)，以及在工業(yè)和零售系統(tǒng)中的低幀率網(wǎng)絡(luò)攝像頭。

另外，Corstone-320參考設(shè)計(jì)還提供有安全保證的軟硬件組合，使得在此參考設(shè)計(jì)基礎(chǔ)上開(kāi)發(fā)的合作伙伴，可順利地通過(guò)PSA Certified Level 2認(rèn)證，實(shí)現(xiàn)對(duì)區(qū)域和全球安全標(biāo)準(zhǔn)的合規(guī)。馬健強(qiáng)調(diào)說(shuō)：“通過(guò)Corstone-320預(yù)先集成、預(yù)先驗(yàn)證的參考設(shè)計(jì)模版，Arm能幫助合作伙伴節(jié)省邊緣智能芯片的開(kāi)發(fā)成本和時(shí)間。”

值得注意的是，Corstone-320不僅提供芯片計(jì)算子系統(tǒng)IP組合，還附帶了軟件、AI模型庫(kù)和開(kāi)發(fā)工具，以實(shí)現(xiàn)軟件的復(fù)用。它附帶了仿真Corstone-320完整系統(tǒng)的Arm虛擬硬件，以及單獨(dú)的CPU和NPU的固定虛擬平臺(tái)(FVP)模型，以簡(jiǎn)化開(kāi)發(fā)并加速產(chǎn)品設(shè)計(jì)，支持軟硬件并行協(xié)同開(kāi)發(fā)。馬健評(píng)價(jià)道，這種提供邊緣AI和智能物聯(lián)網(wǎng)計(jì)算子系統(tǒng)全套軟硬件和工具鏈的方法，使得其合作伙伴能夠在一系列性能點(diǎn)上，快速開(kāi)發(fā)并聚焦于打造差異化價(jià)值。

助力生態(tài)伙伴加速邊緣AI設(shè)備部署

圖3：Arm助力加速邊緣AI設(shè)備部署進(jìn)程

簡(jiǎn)單易用才更適于普及推廣，隨著邊緣AI的持續(xù)擴(kuò)展，物聯(lián)網(wǎng)生態(tài)鏈上下游的芯片與系統(tǒng)供應(yīng)商、算法軟件開(kāi)發(fā)者與集成商們?cè)絹?lái)越匯聚在Arm計(jì)算平臺(tái)。

馬健認(rèn)為，是因?yàn)锳rm計(jì)算平臺(tái)能提供AI從云到端、現(xiàn)代敏捷開(kāi)發(fā)和部署流程中所需的特性和功能，實(shí)現(xiàn)基于量產(chǎn)驗(yàn)證的一致架構(gòu)，并采用統(tǒng)一工具鏈的AI轉(zhuǎn)型。包括開(kāi)發(fā)者、數(shù)據(jù)科學(xué)家、學(xué)術(shù)界在內(nèi)的AI研究開(kāi)發(fā)社區(qū)，不僅持續(xù)受益于Arm生態(tài)系統(tǒng)與合作伙伴提供的豐富信息與知識(shí)，也圍繞Arm計(jì)算平臺(tái)構(gòu)建日益增長(zhǎng)的軟件和工具生態(tài)系統(tǒng)，以及開(kāi)源軟件庫(kù)和AI框架。又得益于Arm特有的IP授權(quán)許可模式和開(kāi)放生態(tài)，OEM和ODM可以有多種基于Arm架構(gòu)和計(jì)算平臺(tái)的芯片與模組選擇，更靈活地開(kāi)發(fā)適于最終應(yīng)用的系統(tǒng)方案。

當(dāng)下市場(chǎng)上邊緣用例繁多，傳統(tǒng)物聯(lián)網(wǎng)市場(chǎng)存在碎片化，為了更好地統(tǒng)一多樣化的應(yīng)用要求，達(dá)到規(guī)模化效益，軟件定義和適于軟件移植的標(biāo)準(zhǔn)必不可少。全新的Ethos-U85和Corstone-320參考設(shè)計(jì)平臺(tái)，滿足了邊緣AI用例對(duì)更高性能計(jì)算的需求，為最新的AI模型、框架提供了原生支持，并沿用Arm軟件與AI開(kāi)發(fā)者已經(jīng)熟知的工具鏈，具有投資復(fù)用、上手容易等優(yōu)勢(shì)。這些最新的產(chǎn)品與參考設(shè)計(jì)加入了Arm豐富的IP產(chǎn)品和技術(shù)組合中，使Arm技術(shù)能夠覆蓋更廣泛、多樣化的智能物聯(lián)網(wǎng)應(yīng)用，并滿足最新邊緣AI市場(chǎng)的性能、成本和能效需求。

邊緣AI還將隨著大模型和生成式AI崛起，用戶體驗(yàn)的持續(xù)提升、數(shù)據(jù)量激增，以及企業(yè)對(duì)數(shù)據(jù)價(jià)值的認(rèn)可，將使行業(yè)經(jīng)歷巨大變化，例如在設(shè)備上實(shí)現(xiàn)實(shí)時(shí)語(yǔ)言翻譯等。隨著大模型持續(xù)通過(guò)量化、剪枝和聚類技術(shù)來(lái)縮減優(yōu)化模型，使大模型適于在邊緣和超級(jí)終端設(shè)備部署，大小模型云邊端結(jié)合成為未來(lái)AI產(chǎn)品的重要發(fā)展趨勢(shì)，也是AI應(yīng)用賦能行業(yè)發(fā)展的重要方向。

馬健最后指出，邊緣部署大模型和生成式AI用例指日可待，而Arm已經(jīng)為此做好準(zhǔn)備，來(lái)挑戰(zhàn)物聯(lián)網(wǎng)與大模型、多模態(tài)AI結(jié)合的性能與效率極限。