關于手機里的芯片及其組成，我們比較熟知的有CPU、GPU、基帶、NPU和ISP，甚至連射頻芯片和PMIC也都有人聽過。但其實除此以外，有一類芯片正在手機中扮演重要角色，那就是視覺處理器。

而之所以會催生這樣一個芯片需求，源于當下手機芯片架構和有限的性能提升已經(jīng)無法滿足手機應用（尤其是游戲）高速發(fā)展對硬件性能的迫切需求。


視覺處理器，彌補手機性能差距

回看智能手機過去十幾年的發(fā)展，廠商除了在顯示分辨率和性能上持續(xù)更新以外，拍照能力以及音頻表現(xiàn)力在近年也成為了大家關注的焦點。雖然在有些消費者看來，現(xiàn)在的手機性能過剩，但其實在視覺方面，手機廠商們正在面臨一個新的挑戰(zhàn)——手機游戲。

正如逐點半導體COO白農(nóng)先生在日前的一個演講中指出，現(xiàn)在的移動設備領域興起了一個新的趨勢，那就是游戲開發(fā)者也正在努力把桌面級的3A游戲搬到智能手機等移動設備上。隨之而來的問題就是，傳統(tǒng)的手機系統(tǒng)面臨嚴峻的挑戰(zhàn)。

“如果我們再往前看，網(wǎng)絡的內(nèi)容很快也會進入3D化，再加上空間計算的內(nèi)容和未來AI大模型提供的內(nèi)容會更加豐富，對系統(tǒng)的要求就會更高?！卑邹r(nóng)進一步指出。

逐點半導體CEO熊挺先生也在同場的演講中說道，游戲在很多場合正在成為一個手機性能的標桿。隨著手游精品化的發(fā)展，其在算力方面會對手機的CPU和GPU提出一個比較高的算力要求，這也將體現(xiàn)在在空間分辨率（圖像分辨率）和時間分辨率（幀率）方面，還有細節(jié)的呈現(xiàn)以及畫質(zhì)調(diào)優(yōu)等等諸多的方面。

據(jù)熊挺所說，近來一些高負載的技術（包括光追也逐漸得到應用），對手機的渲染算力要求越來越大。他同時也坦言，在一個系統(tǒng)中，游戲體驗的提升永遠聚焦在算力、功耗、散熱及續(xù)航能力等幾個方面的取舍和博弈。例如，受限于手機本身的尺寸限制，更強的GPU，往往會帶來更大的發(fā)熱，而手機的散熱面積有限，這必然會引致性能的下降。也正是因為這些制衡，使得手機旗艦芯片和PC獨立顯卡之間算力的差距高達24倍。

于是，如何彌補手機上的這個差距，就成為了行業(yè)的工作重點。而在熊挺看來，在手機視覺處理的計算架構上做出改變會是一個不錯的答案。

熊挺表示，在多年前，逐點半導體就率先地提出了系統(tǒng)級的分布式計算概念。簡而言之，就是GPU僅處理少部分的渲染運算,具體做法就是基于模型的渲染，輸出一個相對低幀率的圖像。然后，再利用渲染加速引擎做一個基于圖像渲染的二級處理?！斑@種渲染具備低功耗和高效率的特性，讓整個系統(tǒng)的功耗得到了降低?！毙芡娬{(diào)。

其中，渲染加速引擎正是逐點半導體近年來專注的方向之一，公司也推出了多代的視覺處理器來更高效地提升手游的渲染效率。

提升手游體驗的唯一辦法

“直接影響移動游戲體驗的有四個維度?！蓖昝朗澜缬螒蚋笨偛眯斓ぶ赋?，“第一個是比較直觀的幀率，包括交互的流暢性。第二個是畫質(zhì)和效果。第三個是續(xù)航和待機。對于長時間玩游戲的玩家來說，握持穩(wěn)控也非常重要。”

這四個維度之下，是對手機SoC處理能力以及功能的要求。隨著手游市場的快速增長，手機SoC的性能也在不斷升級，特別是旗艦級手機SoC，大幅升級CPU和GPU，還增加光線追蹤以實現(xiàn)媲美PC端和游戲機的游戲體驗。

與此同時，手游制作也呈現(xiàn)了精品化的趨勢，空間分辨率，時間的分辨率（幀率）更高，光線追蹤的應用，都需要更強的CPU和GPU。

“圖像的處理最終會變成像素級的處理，涉及大量的數(shù)據(jù)。手游制作的越來越精良，屏幕的素質(zhì)越來越高，即便手機SoC的GPU有很強的并行能力，也面臨很大壓力?！敝瘘c半導體資深市場總監(jiān)房軍表示，“我們公司專門做視頻和圖像處理，看待這個事情的角度和傳統(tǒng)的CPU、GPU、手機應用處理器公司不太一樣。”

“我們沒有包袱，要以一個全新的視角解決這個問題?！狈寇娺M一步表示，“我們提出的渲染加速就是要對像素并行處理，利用我們的算法，加上固化的芯片，整個計算的范式不太一樣，可以實現(xiàn)效率的大幅提升?！?/span>

以最新發(fā)布的逐點X7 Gen 2視覺處理器來看，集成了三大引擎，包括第四代的運動引擎、人工智能超分引擎以及多層畫質(zhì)引擎，能夠提供4倍的幀率，4倍空間分辨率，以及更精準的色彩表現(xiàn)和身臨其境的HDR效果。

X7 Gen 2視覺處理器是逐點首次引入基于高效神經(jīng)網(wǎng)絡算法的AI游戲超分技術。

“這個引擎建立在我們多年對運動、圖像處理的認知之上，自主研發(fā)了高效的深度學習架構，內(nèi)置神經(jīng)網(wǎng)絡處理器，通過模型的訓練得到AI超分的效果?！毙芡μ貏e強調(diào)，“三個引擎可以同時打開，效果也非常顯著，可以讓手機SoC上的CPU和GPU只需要做1/16的渲染工作，大幅節(jié)省功耗?！?/span>

在當下非常流行的某大型沉浸式游戲上面一個簡單的測試，在1080P分辨率和60幀的幀率下，在逐點X7 Gen 2視覺處理器的渲染加速支持下，整機的功耗可以節(jié)省2瓦，2瓦對于非常在意功耗的手機來說是一個非常大的數(shù)字。


愈發(fā)明確的市場現(xiàn)狀

索尼在2020年5月推出了兩款“智能視覺傳感器”——IMX500與IMX501。該公司宣稱，這是全球最早加入了AI處理能力的圖像傳感器。這兩顆芯片的傳感器部分，是比較典型的背照式CMOS；而集成的邊緣AI處理部分，包含了DSP的邏輯芯片，也包括了AI模型所需的臨時存儲空間，屬于比較典型的邊緣AI系統(tǒng)。更嚴謹?shù)卣f，IMX500/501恐怕不應僅定義為“傳感器”。

這兩顆芯片在配合云服務的情況下，在數(shù)據(jù)處理階段僅獲取元數(shù)據(jù)作為輸出，這樣能夠降低數(shù)據(jù)傳輸延遲，減少功耗與通訊的成本。這類設計的本質(zhì)是：將部分“后處理”的能力集成到圖像傳感器上。這樣一來，錄制視頻時就能進行更高精度、實時的對象追蹤。目前，這兩款傳感器主要應用于零售、工業(yè)設備。

2020年中，Yole Developpement發(fā)布了一份題為《2019圖像信號處理器與視覺處理器市場與技術趨勢》的報告。該報告明確提到：“AI徹底改變了視覺系統(tǒng)中的硬件，對整個行業(yè)都造成了影響。”

“圖像分析增加了很多價值。圖像傳感器供應商們開始對將軟件層集成到系統(tǒng)中感興趣。如今圖像傳感器必須跳出單純的捕獲圖像這一能力之外，再對圖像做分析?！?/span>

“但要跑這樣的軟件，就意味著高算力和存儲需求，也就有了視覺處理器的出現(xiàn)。ISP市場2018-2024年的年復合增長率穩(wěn)定在3%，即ISP的市場價值到2024年會達到42億美元。與此同時，視覺處理器市場也會迎來爆發(fā)增長，2018-2024年的年復合增長率為18%，到2024年，其市場價值會達到145億美元?！?/span>

這個值當然仍未達到COMS年度總價值，上述兩個市場相加才大約超過今年的COMS市場規(guī)模（今年COMS行業(yè)產(chǎn)值預計為172億美元）。這還需要注意，COMS市場的增速正在放緩以及此處并未考慮視覺處理芯片配套的軟件市場。起碼索尼認定，其長期的市場發(fā)展?jié)摿Υ笥贑OMS市場本身。Yole Developpement的預測數(shù)據(jù)顯示，ISP在市場中所占比重將逐步降低，而更注重計算的視覺處理器顯然更為緊俏。

值得注意的是，很多傳統(tǒng)的行業(yè)參與者，在應對AI趨勢時顯得比較局促。這也讓其他更多參與者加入到業(yè)務競爭中，比如蘋果、華為，Mobileye這樣的初創(chuàng)公司，甚至其他領域的企業(yè)，像是英偉達。這是成像市場擴展了縱深的表現(xiàn)。