基于自主研發(fā)的NE-D163A主控SoC人工智能視覺芯片，肇觀電子今日面向機(jī)器人、安防、AR/VR、無感智能門禁、機(jī)器視覺、物聯(lián)網(wǎng)、智能交通（客流統(tǒng)計(jì)）等行業(yè)推出內(nèi)嵌AI智能深度相機(jī)Feynman系列，提供SDK，賦能客戶部署差異化算法，支持客戶深度定制，以滿足各種智能設(shè)備定位、避障和智能分析等需求。Feynman系列深度相機(jī)的主控芯片內(nèi)嵌幾何和深度引擎DEP，AI加速引擎NPU與視覺加速引擎DSP，采用主動(dòng)雙目視覺技術(shù)，在室內(nèi)外各種場(chǎng)景，均能生成高幀率和高精度的深度圖，同時(shí)支持端側(cè)實(shí)時(shí)智能AI算法的部署。整機(jī)具有深度圖精度高、幀率高、AI算力強(qiáng)、ISP成像質(zhì)量好、集成度高、功耗低、體積小等諸多優(yōu)點(diǎn)。

▲ 內(nèi)嵌AI的智能深度相機(jī)Feynman M1

    Feynman相機(jī)搭載了散斑結(jié)構(gòu)光、雙目紅外攝像頭IR模組、彩色攝像頭RGB全局曝光模組以及慣性測(cè)量單元 （IMU）。這些豐富的傳感器組合提供了多維度的信息，使得Feynman相機(jī)能夠幫助機(jī)器人構(gòu)建強(qiáng)大的環(huán)境感知和理解能力。

▲ Feynman M1結(jié)構(gòu)圖

    01. Feynman深度相機(jī)的卓越性能

    ▲ Feynman M1 Depth+CNN演示效果

    深度距離的精確程度取決于深度圖的精度。Feynman相機(jī)具有強(qiáng)大的深度視覺處理能力，它無需外掛其他處理器，就可以產(chǎn)生性能高達(dá)720P 30FPS的深度圖，且具有極低的空洞率。實(shí)測(cè)數(shù)據(jù)表明，在同一物品和同一光照條件的情況下，某國(guó)際巨頭R* D435 的空洞率在1%附近，F(xiàn)eynman空洞率為0.2%。

▲ Feynman M1深度圖效果

    Feynman的深度圖具有90°對(duì)角的廣角視場(chǎng)，可以幫助智能設(shè)備看得更廣，實(shí)現(xiàn)更好的避障和路徑規(guī)劃。下圖可以看出，F(xiàn)eynman所看到的場(chǎng)景比常規(guī)深度相機(jī)看到的視野更寬廣。

    ▲ 市面常規(guī)相機(jī)深度圖58° x 45°（左）vs Feynman M1深度圖84° x 60°（右）

    Feynman相機(jī)內(nèi)置的NE-D163A芯片還具有業(yè)內(nèi)創(chuàng)新的自學(xué)習(xí)ISP流水線架構(gòu)，從而在各種復(fù)雜光照環(huán)境下均能獲得優(yōu)質(zhì)的圖像。Feynman相機(jī)傳感器支持極高動(dòng)態(tài)的HDR，并且在低照度場(chǎng)景下依然能清晰成像。

▲ 不同光照環(huán)境下的圖像處理對(duì)比圖

    在與市場(chǎng)上高端3D深度相機(jī)的性能指標(biāo)進(jìn)行比較之后（下表），可以看出Feynman 3D+AI深度相機(jī)的競(jìng)爭(zhēng)優(yōu)勢(shì)，尤其在智能方面的亮點(diǎn)更加突出。相機(jī)的結(jié)構(gòu)非常緊湊，尺寸為89.8mm x 25mm x 30.8mm，和市面主流深度相機(jī)的大小兼容。

▲ 某國(guó)際巨頭R* D435 （左）與Feynman M1 （右）

▲ 某國(guó)際巨頭R* D435 vs Feynman M1性能參數(shù)比較

    機(jī)器人、安防、AR/VR、無感智能門禁、機(jī)器視覺、物聯(lián)網(wǎng)、智能交通

    02. 主控SoC AI 視覺芯片 NE-D163A

    這顆主控SoC芯片NE-D163A是由肇觀電子自主研發(fā)，擁有高性能深度視覺處理獨(dú)立硬件IP，專門應(yīng)用于機(jī)器人、AR/VR、工業(yè)檢測(cè)等領(lǐng)域的芯片，已在客戶產(chǎn)品中通過了人臉支付、活體檢測(cè)的BCTC增強(qiáng)級(jí)認(rèn)證。下表是芯片的各項(xiàng)參數(shù)：

▲ NE-D163A視覺AI芯片

▲肇觀電子視覺AI芯片NE-D163A參數(shù)

    NE-D163A包含的NPU具有業(yè)界領(lǐng)先的硬件利用率。根據(jù)每TOPS下對(duì)典型網(wǎng)絡(luò)的推理幀率，NE-D163A的性能比業(yè)界其它AI芯片相比要高2-3倍。其自帶的AI編譯器Infer Studio? 支持Caffe，Tensorflow，NCNN，ONNX等框架以及CNN，RNN，LSTM，Transformer等網(wǎng)絡(luò)類型。同時(shí)，NE-D163A的NPU重點(diǎn)支持FP16和INT8兩種精度類型，F(xiàn)P16精度無損、INT8精度損失在1%以內(nèi)，提供了更高的算法部署的準(zhǔn)確度。

▲ 不同芯片跑幾種經(jīng)典網(wǎng)絡(luò)模型每秒處理的圖片幀數(shù)對(duì)比

    ▲ 經(jīng)典網(wǎng)絡(luò)模型在PC端和NE-D163A芯片上推理結(jié)果的精度實(shí)測(cè)對(duì)比，精度損失在1%以內(nèi)

    03. Feynman深度相機(jī)的應(yīng)用場(chǎng)景

    Feynman相機(jī)不僅適用于室內(nèi)，場(chǎng)景復(fù)雜的室外仍然適用，在陽光下也可以獲得好的深度圖。市面上常見的深度相機(jī)，其主動(dòng)光在太陽光下容易受到干擾，從而無法獲得良好的深度圖。Feynman相機(jī)采用獨(dú)特的光學(xué)設(shè)計(jì)，在室外陽光下應(yīng)用時(shí)，能在降低太陽光干擾的同時(shí)，保持信噪比，從而保證深度圖的準(zhǔn)確性和完整性。

    ▲ Feynman M1室外陽光下深度圖

    除了在機(jī)器人領(lǐng)域的廣泛應(yīng)用，F(xiàn)eynman相機(jī)也在工業(yè)場(chǎng)景有諸多應(yīng)用，針對(duì)工業(yè)場(chǎng)景，F(xiàn)eynman提供了具有千兆以太網(wǎng)，電源和控制信號(hào)航插的擴(kuò)展款。

▲ Feynman M1擴(kuò)展款

    04. 易于開發(fā)者二次開發(fā)

    Feynman出廠自帶標(biāo)定參數(shù)，支持固件升級(jí)。為了方便開發(fā)者快速評(píng)測(cè)和集成，肇觀電子還提供了豐富的軟件工具和SDK支持：

    主機(jī)端SDK源碼，包括Windows/Ubuntu(ROS)/Android平臺(tái)的SDK支持。該SDK用于主機(jī)訪問和控制相機(jī)設(shè)備端，代碼開源在Github和Gitee上面。對(duì)于需要利用端側(cè)AI和DSP算力的產(chǎn)品和深度定制的客戶，F(xiàn)eynman提供了設(shè)備端SDK。

▲ 各平臺(tái)SDK支持

    Feynman Viewer是Windows應(yīng)用，可以通過USB接口進(jìn)行相機(jī)訪問，實(shí)時(shí)控制相機(jī)，并完成各類圖像獲取及展示等功能。

▲ Feynman Viewer應(yīng)用程序界面

    Feynman符合人眼安全相關(guān)認(rèn)證標(biāo)準(zhǔn) IEC60825 Class I、IEC62471、防塵防水等級(jí)IP54，通過了第三方可靠性及EMC相關(guān)測(cè)試。

▲ Feynman 紅外激光人眼安全等級(jí)

    05. 結(jié)語

    肇觀電子結(jié)合自身的高性能芯片研發(fā)能力，3D視覺能力和系統(tǒng)整合能力，推出具有大廣角、高幀率、高精度的Feynman 3D+AI 相機(jī)來滿足各種智能設(shè)備定位、避障和智能分析等需求。另外一方面，由于消耗大量計(jì)算力視覺計(jì)算的任務(wù)轉(zhuǎn)移到Feynman相機(jī)里面來完成，智能設(shè)備對(duì)外圍芯片的算力需求隨之降低，因而廠商可以選擇低成本的外圍芯片，這有助于降低智能設(shè)備的整體硬件成本。

    近年來，伴隨工業(yè) 4.0、人工智能、機(jī)器人等產(chǎn)業(yè)的蓬勃發(fā)展，3D視覺感知成為了限制目前包括機(jī)器人、安防、AR/VR、無感智能門禁、機(jī)器視覺、物聯(lián)網(wǎng)、智能交通等眾多領(lǐng)域發(fā)展的瓶頸，深度相機(jī)的需求迅速增長(zhǎng)。尤其在移動(dòng)服務(wù)機(jī)器人行業(yè)，包括送餐機(jī)器人、酒店服務(wù)機(jī)器人，商場(chǎng)機(jī)器人，巡檢機(jī)器人、工廠AGV自主移動(dòng)機(jī)器人、特種移動(dòng)機(jī)器人等，機(jī)器人廠商不斷尋求性能卓越，可靠，價(jià)格合適的深度相機(jī)。目前，F(xiàn)eynman系列相機(jī)已在諸多機(jī)器人產(chǎn)品中批量商用。