電子發燒友網報道（文/梁浩斌）“純視覺”的概念在近幾年的智能駕駛領域被提到的次數不少，特斯拉、小鵬、以及傳聞準備重組的極越，都早已全面押注到“純視覺”的智能駕駛技術。一些智駕方案商為了推動產品落地，也正在加速推出純視覺的方案，以降低系統成本。

而在機器人領域，傳感器的應用一直都是業界研究的核心，包括3D ToF相機、激光雷達、毫米波雷達、觸覺傳感器、各種力矩傳感器等，在目前主流的機器人領域都有廣泛應用。

然而最近刊登在Nature主刊上的一篇論文，展示了一個機器人“純視覺”方案。

傳統機器人控制方案

傳統機器人是由高剛度材料精密加工部件構成，在結構上，通過低公差關節連接，可以簡化為理想化的剛性連桿運動學鏈。而為了讓系統了解目前機器人的狀態，就需要使用多種傳感器進行監測，比如在每個關節配備高精度的傳感器，像角度編碼器等，實時測量關節的狀態變化，這些數據可以用于完整重建機器人的3D位姿，再通過基于動力學模型設計控制算法（如PID、MPC），將期望運動軌跡轉換為執行器指令。

論文中提到，傳統的機器人控制方案存在局限性。首先是依賴機器人預設的結構和傳感器，要求機器人必須具有離散關節和嵌入式傳感器，無法適用于缺乏傳感器的軟體或混合材料機器人。

其次，在使用柔性結構的機器人中，需要解決大變形、粘彈性、材料疲勞等復雜問題，傳統的基于連續介質力學的模型計算成本過高，很難實現實時控制。同時，傳統的模型無法處理關節間隙或者制造公差導致的非線性動態。

另外，因為模型對于機器人公差的要求非常高，依賴精密制造和高性能材料，成本過高，開發周期長，不利于機器人的普及。

“純視覺”機器人控制方案有什么優勢？

該論文由麻省理工學院（MIT）的多位研究人員合作完成，其中論文前三作分別是李思哲、張安南和陳博遠，均于MIT計算機科學與人工智能實驗室（CSAIL）攻讀博士學位。

那為什么會想到用“純視覺”來構建機器人控制系統？論文團隊提到，這項工作的靈感是來自于人類感知，人類通過用游戲控制器來控制機器人，可以在幾分鐘內就學會拾取和放置物體，而我們唯一用到的傳感器就是眼睛。

在論文中，該“純視覺”機器人控制方案是使用了名為Visuomotor Jacobian Field（視覺運動雅可比場）的技術。這是一種機器學習方法，可以使用單個視頻攝像頭獲得的數據來控制機器人。

首先，團隊使用12個消費級RGB-D視頻攝像頭捕獲的、執行隨機生成命令的多視圖視頻訓練了框架，無需人工注釋或專家定制即可學習控制新機器人。在進行訓練后，這個方法僅使用單個視頻攝像頭就能控制機器人執行期望的動作。

其中，視覺運動雅可比場的框架主要包含兩個關鍵部分，首先是一個基于深度學習的狀態評估模型，這個模型可以僅通過單一視頻流就可以推斷出機器人的三維狀態，編碼了它的三維幾何形狀和微分運動學，即可以確認在任何可能得指令下，機器人在三維空間中任何點的移動方式。

其次是一個逆動力學控制器，在二維圖像空間或三維空間中一密集的方式將期望的運動參數化，實時計算并輸出機器人控制指令。研究團隊發現，將演示軌跡參數化為密集的點運動是控制各種類型機器人系統的關鍵，因為可變形和靈巧機器人的運動不能被單個三維框架上指定的剛性變換很好地約束，參數化使得廣泛的系統可以模仿基于視頻的演示。

最終，通過該方法獲得了跨平臺的機器人控制能力。團隊在使用16自由度的商用Allegro靈巧手進行測試時，關節角度誤差可以小于3°，指尖位置誤差小于4mm；使用3D打印的15氣動通道軟體手時，可以實現精準抓取工具，并具備抗遮擋能力；在采用剪切拉脹材料的HSA柔性腕平臺上應用時，附加350g負重后仍實現7.3 mm精度；采用3D打印的Poppy教育機械臂，零部件公差較大的情況下，誤差可以小于6 mm。

另外該方案能夠實現無專家干預以及機器人的泛化能力，可以自動發現機器人的運動學結構，無需標注執行器與部件的對應關系。同時訓練數據雖然僅包含隨機的命令，但可以泛化到未被訓練的運動。

采用該方案進行機器人控制，可以顯著降低機器人自動化的門檻，降低機器人控制成本。其中關鍵創新在于將傳統機器人控制的建模問題轉化為基于視覺的自監督學習問題，為生物啟發式機器人的實際部署開辟了新路徑。