根據(jù)市場研究公司 Gartner 的最新預測，2023 年全球用于 AI 的硬件銷售收入預計將同比增長 20.9%，達到 534 億美元（當前約 3887.52 億元人民幣）。

Gartner 表示，生成式 AI 的發(fā)展和各種基于 AI 的應用在數(shù)據(jù)中心、邊緣基礎設施和端點設備中的廣泛使用，需要部署 GPU 和“優(yōu)化的半導體設備”，這將推動 AI 芯片的生產(chǎn)和部署。

Gartner 預計，AI 半導體收入將在預測期內繼續(xù)保持兩位數(shù)增長，2024 年將增長 25.6%，達到 671 億美元（IT之家備注：當前約 4884.88 億元人民幣），到 2027 年，AI 芯片收入預計將比 2023 年的市場規(guī)模增長一倍以上，達到 1194 億美元（當前約 8692.32 億元人民幣）。

Gartner 表示，隨著企業(yè)中 AI 工作負載使用的成熟，許多更多的行業(yè)和 IT 組織將部署包含 AI 芯片的系統(tǒng)。消費電子市場方面，Gartner 估計，到 2023 年底，用于設備的 AI 啟用的應用處理器的價值將達到 12 億美元（當前約 87.36 億元人民幣），而 2022 年為 5.58 億美元（當前約 40.62 億元人民幣）。


ChatGPT催生算力新機遇

云邊端AI芯片熱戰(zhàn)大模型

ChatGPT掀起生成式AI熱潮后，大算力芯片迎來前所未有的發(fā)展機遇，新的挑戰(zhàn)也接踵而來。

高通AI產(chǎn)品技術中國區(qū)負責人萬衛(wèi)星分享了高通對生成式AI未來發(fā)展趨勢的觀察：隨著云端處理生成式AI的成本不斷提升，未來云經(jīng)濟將難以支撐生成式AI的規(guī)模化發(fā)展。此外，基礎模型正在向多模態(tài)擴展，模型能力越來越強大，而垂直領域模型的參數(shù)量也正在變得越來越小。未來，豐富的生成式AI模型將在終端側運行，讓大眾享受到生成式AI帶給生活、工作、娛樂上的變革。

NVIDIA解決方案與架構技術總監(jiān)張瑞華認為：“生成式AI和大模型是人工智能目前最重要的領域，也是對算力資源需求最高的人工智能應用。由于模型的訓練和推理的計算范式都發(fā)生了變革，所以現(xiàn)實算力資源和模型發(fā)展所需要的理想算力資源之間還有很大的差距。隨著用戶空間的巨量增長，還需考慮成本、實時性等問題。這是生成式AI和大模型時代所面臨的計算挑戰(zhàn)。”

芯片巨頭AMD在MI Instinct GPU方面擁有大量的技術積累以及基于CDNA3的架構創(chuàng)新。AMD人工智能事業(yè)部高級總監(jiān)王宏強談道，AMD在單個GPU能做到上千T的浮點算力規(guī)模，通過多節(jié)點橫向擴展，更是能達到每秒百億億次浮點計算能力（EFLOPS），并提供額外的超大內存容量及帶寬，可實現(xiàn)700億參數(shù)級大模型在單個GPU上的部署，并達到更高的TCO（總擁有成本）。

王宏強也特別強調了易用AI軟件以及強大的開放軟件生態(tài)的重要性，它是釋放這些創(chuàng)新硬件性能的關鍵。AMD通過統(tǒng)一AI軟件實現(xiàn)跨平臺AI部署，以開放和模塊化的方式構建軟件解決方案，從而擁抱更高層次的抽象，并與最重要的生態(tài)系統(tǒng)（PyTorch, ONNX, Triton HuggingFace等）合作對接推動開箱即用的用戶體驗。

云端AI芯片獨角獸企業(yè)燧原科技也在積極備戰(zhàn)大模型算力需求。其創(chuàng)始人兼COO張亞林談道，參數(shù)量高達數(shù)千億的大模型，依賴分布式計算、更大的內存容量和帶寬、更高算力、更實惠的成本或性價比，對AI芯片生態(tài)提出更高要求。

他打了一個形象的比喻：Transformer正通過統(tǒng)一的大模型，濃縮出一個“大樹型”的AIGC平臺生態(tài)，算力是“樹根”，大模型是“樹干”，行業(yè)模型庫是“樹枝”，應用是“樹葉”。相比原來碎片化的CV、NLP中小模型，大模型的“大樹型”生態(tài)的算力需求更加明確和聚焦。對此，他倡導聯(lián)合生態(tài)伙伴，通過統(tǒng)一的大模型技術生態(tài)棧解決算力瓶頸問題。

奎芯科技聯(lián)合創(chuàng)始人兼副總裁王曉陽談道，大模型推理的關鍵瓶頸在于內存帶寬，目前主流的AI大算力芯片均采用HBM作為內存首選，采用HBM離不開先進封裝，在散熱、工藝、產(chǎn)能等方面均受到一定限制。據(jù)他分享，采用基于UCle接口的AI大算力芯片架構可突破HBM的互聯(lián)的局限。

作為存算一體AI大算力芯片企業(yè)的代表，億鑄科技的創(chuàng)始人、董事長兼CEO熊大鵬分享道，AI應用進入2.0時代， 一大突出問題是大模型帶來巨量數(shù)據(jù)搬運，大算力芯片的競爭核心會逐漸轉向破除“存儲墻”，存算一體超異構成為“換道超車”的可行路徑。

端側和邊緣側的芯片企業(yè)同樣看到大模型的機遇與需求。面向日益增長的算力需求，在邊緣和中心側，鯤云科技用可重構數(shù)據(jù)流技術路徑來解決大模型算力需求攀升的問題，通過芯片底層架構革新，將芯片利用率大幅提升，這種方法能滿足架構內海量數(shù)據(jù)的計算需求，提供高性能、高性價比、低延時的實時處理。

高通萬衛(wèi)星談道，與云端相比，終端側跑大模型擁有諸多優(yōu)勢，包括成本、能耗、可靠性、時延和性能、隱私和安全，以及個性化等。而終端側AI與云端AI相互配合的混合AI架構，是讓生成式AI實現(xiàn)全球規(guī)模化擴展的關鍵。“目前我們能夠支持參數(shù)超過10億的模型在終端上運行，未來幾個月內超過100億參數(shù)的模型將有望在終端側運行。”他分享說，高通不斷提升端側AI能力，從而提高終端支持大模型的參數(shù)閾值，讓更多云端生成式AI用例向邊緣側和端側遷移，這將真正釋放生成式AI的潛力。


IC大廠加速布局AI芯片

有初創(chuàng)公司表示，已感受到來自聯(lián)發(fā)科、聯(lián)詠和瑞昱等IC設計廠商的壓力，這些廠商均在加緊開發(fā)AI芯片。消息人士稱，AI處理器針對不同的應用有不同的等級，邊緣AI芯片的性能要求已能夠與中高端智能手機AP（應用處理器）相媲美。

意法半導體（ST）推出了邊緣AI加速微處理器——第二代STM32 MPU。該處理器提高了工業(yè)和物聯(lián)網(wǎng)邊緣應用的性能和安全性，預計將于2024上半年批量生產(chǎn)。

意法半導體執(zhí)行副總裁Ricardo De Sa Earp表示：“新的微處理器進一步加大了公司在應用處理器方面的投資，將64位內核與邊緣AI加速、高級多媒體功能、圖形處理和數(shù)字連接相結合。”

同樣瞄準邊緣AI芯片領域的大廠還有英飛凌。日前，英飛凌宣布收購初創(chuàng)公司Imagimob，后者是一家邊緣設備機器學習解決方案提供商，專注于邊緣AI市場。公告提到，通過此次收購，英飛凌將顯著補強其AI產(chǎn)品。

除了芯片端，大模型玩家也在加速布局移動/邊緣端的相關應用。日前舉辦的谷歌I/O大會上，谷歌宣布其PaLM2大模型的最輕量化版本Gecko可在移動端運行，開拓了AI模型在邊緣側推理的場景。對此，民生證券表示，在邊緣側推理的輕量化大語言模型有望帶動邊緣AI計算成長，加速邊緣硬件市場更新迭代。

事實上，隨著以ChatGPT為代表的AI大模型的衍生應用不斷推出，許多終端開始實現(xiàn)智能化體驗的升級，從而產(chǎn)生了海量的終端數(shù)據(jù)分析處理需求。在此背景下，邊緣端AI應運而生。此外，邊緣算力還具備低時延、高安全、隱私性較好等優(yōu)勢，符合未來AIGC時代，對于AI創(chuàng)作所有權及隱私權的要求。

在本月初DIGITIMES的相關報道中，有業(yè)內人士指出，AI應用的關鍵在于邊緣化。ChatGPT等文本大模型以及MidJourney、Stable Diffusion等文生圖大模型的相關功能，如果能夠直接在邊緣運算中實現(xiàn)，其帶來的芯片商機就會非常龐大。


國產(chǎn)邊緣SoC芯片即將量產(chǎn)

8月28日，在“第三屆滴水湖中國RISC-V產(chǎn)業(yè)論壇”上，國內知名人工智能技術廠商云天勵飛介紹了其新一代邊緣大算力AP級邊緣SoC芯片Edge10V，目前已經(jīng)接近量產(chǎn)狀態(tài)。

作為國內首批人工智能（AI）技術廠商，成立于2014年的云天勵飛最初是主攻AI算法，通過攝像頭、端云協(xié)同的架構來做海量圖片的分析與處理，因此算法的泛化能力相對較弱，所以對于設備的調試要求就比較高，需要到各地去幫助客戶調試，這在當時耗費了云天勵飛很大的一部分精力。這也促使了云天勵飛開始來做自研芯片，將自己的AI算法芯片化。

2018年，云天勵飛就成功推出了自研的第一代面向嵌入式端的邊緣AI芯片DeepEye1000，并且在當年8月一次性流片成功，在2019年正式商用。DeepEye1000基于國產(chǎn)高性能RISC-V CPU內核IP，內置了自主產(chǎn)權的神經(jīng)網(wǎng)絡處理器，支持靈活可編程計算流，搭載云天勵飛自主研發(fā)的深度定制指令集，可以實現(xiàn)高性能、低功耗的CNN網(wǎng)絡模型推理計算加速，滿足視覺AI算法實時性處理的性能要求。

從2015年至今，云天勵飛已經(jīng)完成了三代指令集架構，4代神經(jīng)網(wǎng)絡處理器架構的研發(fā)。2022年，云天勵飛自研的新一代邊緣AI SoC芯片——Edge10V流片成功，今年開始在做產(chǎn)品化相關的工作，目前已經(jīng)接近準量產(chǎn)狀態(tài)。

據(jù)介紹，Edge10V是一款采用自主可控的純國產(chǎn)工藝，內置國產(chǎn)RISC-V內核（主頻1.2GHz），內置云天勵飛第四代自主知識產(chǎn)權 NPU NNP400T（int8算力可達12Tops）的AI SoC芯片，其中還包括GPU和MM，支持雙顯等各類外設，支持邊緣CV大模型的推理部署,因而可以獨立完成各邊緣計算場景的任務。

“ Edge10V的芯片實際上是系列化的芯片。有兩大特色：1、支持Chiplet多芯粒擴展、支持大算力。作為國內首顆D2D高速互聯(lián)Chiplet商用芯片，滿足國產(chǎn)Chiplet UCIE標準。2、純國產(chǎn)AI芯片。我們采用了國產(chǎn)的工藝、國產(chǎn)的封裝，由國內工廠完成國內生產(chǎn)制造交付。作為一款AP級邊緣AI SoC，Edge10V不僅可以支持AI計算，也可以支持雙千兆網(wǎng)口，支持不同傳感器的接入。另外，我們是有X8 PCle3.0接口可以支持不同的外設擴展。在CPU的部分，我們也是選擇了帶矢量處理器的這么一個RISC-V CPU。”云天勵飛芯片BD總監(jiān)張福林進一步解釋道。

另外，云天勵飛也為Edge10V配套了相對應的軟件棧，其中核心的一個部分就是與異構的芯片架構有匹配的軟件設計，可以很好的去做一些調度。另外，對于計算資源，也能通過合理的分配到不同的硬件加速器里面去運行。同時，Edge10V還有比較豐富的中間件的支持。包括：機器人行業(yè)用的比較多的ROS、ROS2等相關的東西。可以支持比較好的面向不同場景的邊緣計算應用，以及低速自動駕駛方向的機器人應用。

在AI工具鏈、模型的支持方面，Edge10V可以支持Pytorch/Onnx/Caffe等主流模型框架，支持CNN/RNN/Transformer/GNN等深度學習網(wǎng)絡模型。

在商業(yè)模式方面，云天勵飛不僅可以直接對外提供Edge10V芯片，同時也可以對外提供一些列的模組產(chǎn)品，包括針對嵌入式設備的Mini PCle加速卡，可廣泛應用于AIoT邊緣視頻、移動機器人等場景。也可以應用到一些邊緣服務器的產(chǎn)品，做一些高密視頻的推理。