近日，上海交通大學(xué)集成電路學(xué)院（信息與電子工程學(xué)院）周林杰教授、陸梁軍教授團(tuán)隊(duì)在片上集成光子計(jì)算領(lǐng)域取得新進(jìn)展。團(tuán)隊(duì)提出一種基于時(shí)-波-空交織的集成光子3D張量處理引擎（3D-TPE），通過微環(huán)光開關(guān)陣列和可調(diào)延時(shí)線陣列芯片的協(xié)同調(diào)控，在光域內(nèi)實(shí)現(xiàn)了數(shù)據(jù)緩存、通道時(shí)鐘同步與張量計(jì)算，具備靈活時(shí)鐘頻率調(diào)控能力，在20 GHz主頻下執(zhí)行激光雷達(dá)3D點(diǎn)云圖推理任務(wù)，達(dá)97.06%識別準(zhǔn)確度。相關(guān)成果以“Integrated photonic 3D tensor processing engine” 為題發(fā)表于國際期刊《Light: Science & Applications》。

研究背景

隨著人工智能技術(shù)的飛速發(fā)展，深度學(xué)習(xí)任務(wù)對現(xiàn)有計(jì)算體系的算力吞吐量、處理延遲和能效比提出了極高要求。然而，現(xiàn)有電子計(jì)算架構(gòu)受限于“馮·諾依曼瓶頸”與“存儲墻”效應(yīng)，其功耗與算力難以進(jìn)一步提升。光子計(jì)算憑借其高帶寬、低延遲、高并發(fā)性以及豐富的物理調(diào)控自由度等優(yōu)勢，被廣泛視為解決未來超大規(guī)模算力需求，實(shí)現(xiàn)高吞吐量和高能效計(jì)算新范式的強(qiáng)有力的候選者之一。然而，當(dāng)前大多光子硬件加速器多聚焦于2D矩陣-向量乘法計(jì)算的優(yōu)化，面對神經(jīng)網(wǎng)絡(luò)中作為基本數(shù)據(jù)結(jié)構(gòu)的高維張量的計(jì)算處理時(shí)，現(xiàn)有的2D架構(gòu)面臨顯著挑戰(zhàn)。首先，高階張量需根據(jù)光子硬件規(guī)模在電域進(jìn)行頻繁的結(jié)構(gòu)重塑與中間計(jì)算結(jié)果的緩存，引入了額外的計(jì)算開銷、存儲開銷與時(shí)間延遲。其次，多通道數(shù)據(jù)的時(shí)序同步高度依賴外部電子時(shí)鐘，缺乏在光域內(nèi)直接進(jìn)行數(shù)據(jù)緩存和時(shí)序?qū)R的能力，隨著光子陣列規(guī)模的擴(kuò)大，電控同步系統(tǒng)的復(fù)雜度急遽增加，難以發(fā)揮出光子計(jì)算在超高主頻下的算力潛力與實(shí)時(shí)處理能力。

研究內(nèi)容

研究團(tuán)隊(duì)提出了一種基于時(shí)間-波長-空間交織的集成光子3D張量處理引擎（3D-TPE），如圖1所示。該光子引擎通過深度協(xié)同光計(jì)算單元（OCU）與光緩存單元（OMU），在光域內(nèi)實(shí)現(xiàn)了數(shù)據(jù)緩存、通道時(shí)鐘同步與張量計(jì)算，并具備靈活的時(shí)鐘頻率適配能力。光計(jì)算單元（OCU）由雙耦合微環(huán)交叉陣列芯片構(gòu)成，光緩存單元（OMU）采用可調(diào)時(shí)間延遲線陣列實(shí)現(xiàn)。輸入數(shù)據(jù)經(jīng)調(diào)制器順序加載到多波長光載波上并饋入多路光計(jì)算通道，實(shí)現(xiàn)輸入信號在波長域和空間域的多樣本復(fù)制；通過精準(zhǔn)調(diào)控不同光計(jì)算路徑中信號副本的延遲量，實(shí)現(xiàn)多通道信號的光域數(shù)據(jù)緩存與通道間時(shí)序?qū)R；通過光計(jì)算單元完成并發(fā)的加權(quán)乘法計(jì)算，并經(jīng)光電探測器實(shí)現(xiàn)輸出功率的線性累加。通過OCU與OMU芯片的協(xié)同調(diào)配，片上光子矩陣計(jì)算規(guī)模也從傳統(tǒng)的2D矩陣-向量乘法計(jì)算拓展為3D矩陣-矩陣乘法計(jì)算。該3D-TPE通過將數(shù)據(jù)緩存、通道時(shí)鐘同步任務(wù)從電域移至光域，進(jìn)一步釋放了光子計(jì)算系統(tǒng)中外部電子高速調(diào)控的需求，充分釋放了光在高速、高并行度下的計(jì)算優(yōu)勢，其自適應(yīng)的時(shí)鐘頻率調(diào)控能力也使其在其能夠靈活應(yīng)對時(shí)間密集型或時(shí)間稀疏型任務(wù)。

圖1 集成光子3D張量處理引擎：(a) 傳統(tǒng)2D MVM光子加速器與本文提出的3D-TPE對比；(b) 3D-TPE結(jié)構(gòu)概念示意圖

光計(jì)算單元（OCU）基于雙耦合微環(huán)交叉陣列芯片，與傳統(tǒng)方案單微環(huán)權(quán)重元素相比，雙耦合微環(huán)權(quán)重元素具有更平坦的光譜響應(yīng)與更大的光學(xué)帶寬，能減小高碼率下的信號失真，并提升對激光波長漂移的魯棒性。圖2展示了團(tuán)隊(duì)所制備的光計(jì)算芯片，權(quán)重元素的3 dB帶寬達(dá)50 GHz，通道間串?dāng)_小于-25 dB，通過簡單的查表法，即可實(shí)現(xiàn)任意權(quán)重組合下穩(wěn)定超過7 bit的權(quán)重部署精度。

圖2 基于3D雙耦合微環(huán)光交叉陣列的光計(jì)算單元(OCU)：(a)芯片光鏡圖；(b)權(quán)重單元；(c)光譜特性；(d) 權(quán)重調(diào)控；(e)權(quán)重電壓映射曲線；(f-g)任意權(quán)重組合下的權(quán)重部署(f)實(shí)驗(yàn)與理論對比散點(diǎn)圖以及(g)精度

光緩存單元（OMU）由一個(gè)8通道可調(diào)時(shí)間延遲線陣列芯片構(gòu)成，如圖3所示。單個(gè)可調(diào)時(shí)間延遲線由7個(gè)級聯(lián)MZI光開關(guān)及連接延遲波導(dǎo)組成，延遲分辨率為4.93 ps（對應(yīng)約200 GHz的自適應(yīng)時(shí)鐘頻率），最大延遲時(shí)間達(dá)310.59 ps，延遲誤差被嚴(yán)格控制在0.6 ps以內(nèi)。通過調(diào)配不同光學(xué)路徑的時(shí)間延遲量，團(tuán)隊(duì)進(jìn)行了10 Gbaud到30 Gbaud碼率下的系統(tǒng)計(jì)算能力評估，系統(tǒng)測試表明，在固定權(quán)重組合下的4通道并發(fā)計(jì)算精度為4.1至4.8 bits之間。

圖3 用于時(shí)鐘頻率調(diào)控的光緩存單元(OMU): (a) 實(shí)驗(yàn)裝置圖；(b)光緩存單元芯片光鏡圖；(c-d)10G至30G碼率下的理論計(jì)算與實(shí)驗(yàn)(c)波形對比與(d)等效計(jì)算精度

在概念驗(yàn)證實(shí)驗(yàn)中，團(tuán)隊(duì)使用該3D-TPE光子計(jì)算引擎執(zhí)行了3D CNN中卷積層的卷積計(jì)算，如圖4所示。在20 GHz的系統(tǒng)時(shí)鐘頻率下，執(zhí)行了激光雷達(dá)3D點(diǎn)云圖像識別推理任務(wù)，達(dá)到97.06% 的識別準(zhǔn)確率，其結(jié)果與數(shù)字計(jì)算結(jié)果相當(dāng)。

圖 4 激光雷達(dá)3D點(diǎn)云圖像推理任務(wù)：(a) CNN架構(gòu)；(b-d) 數(shù)字計(jì)算與光計(jì)算實(shí)驗(yàn)結(jié)果對比(b)不同角度下的點(diǎn)云特征圖對比，(c) 特征圖波形對比以及(d)識別混淆矩陣對比

論文作者信息

上海交通大學(xué)集成電路學(xué)院（信息與電子工程學(xué)院）博士生吳月、博士畢業(yè)生倪子恒為共同第一作者。上海交通大學(xué)集成電路學(xué)院（信息與電子工程學(xué)院）陸梁軍教授、周林杰教授為通訊作者。該工作得到了學(xué)院陳建平教授的悉心指導(dǎo)。學(xué)院博士畢業(yè)生李鑫、碩士畢業(yè)生王媛荀也為本工作做出了重要貢獻(xiàn)。此外，該工作得到了上海交通大學(xué)光子傳輸與通信全國重點(diǎn)實(shí)驗(yàn)室、上海交通大學(xué)–平湖智能光電研究院、國家重點(diǎn)研發(fā)計(jì)劃、國家自然科學(xué)基金的支持。

陸梁軍，教授，主要研究方向?yàn)楣杌怆娮蛹尚酒跋到y(tǒng)應(yīng)用。主持重點(diǎn)研發(fā)計(jì)劃項(xiàng)目、基金委面上等項(xiàng)目10余項(xiàng)。在Nat. Commun., Light Sci &Appl., PhotoniX, Optica等國內(nèi)外一流期刊發(fā)表論文90余篇，持有中國發(fā)明專利30余項(xiàng)，美國專利5項(xiàng)。入選國家高層次青年人才、上海市啟明星計(jì)劃，曾獲中國電子學(xué)會科技進(jìn)步二等獎等。

周林杰，教授，國家級高層次人才，主要從事光電子器件與集成方面研究工作。主持各類國家級科研項(xiàng)目20余項(xiàng)，在Nature Photonics、Nature Communications、Physics Review Letters、Light Science & Applications、Advanced Photonics等期刊發(fā)表論文200余篇，Google Scholar統(tǒng)計(jì)引用超過8000次。入選愛思唯爾中國高被引學(xué)者榜單、英國皇家學(xué)會牛頓高級學(xué)者。曾獲中國光學(xué)“十大進(jìn)展”、中國產(chǎn)學(xué)研合作創(chuàng)新獎、華為優(yōu)秀合作獎、中興優(yōu)秀項(xiàng)目獎等。