產(chǎn)品概述

       機(jī)器視覺作為一門發(fā)展很快的新興學(xué)科，正在越來越多的領(lǐng)域得到普遍的運(yùn)用。在過去，通常是用人眼對目標(biāo)進(jìn)行識別、跟蹤和分析。現(xiàn)在，由于視覺識別技術(shù)的發(fā)展，可以用攝像機(jī)和計(jì)算機(jī)代替人眼實(shí)現(xiàn)生產(chǎn)較高程度的自動(dòng)化。隨著電子計(jì)算機(jī)科學(xué)，圖像處理技術(shù)，模式識別技術(shù)與理論的發(fā)展，機(jī)器視覺的實(shí)際研究與應(yīng)用價(jià)值正日益得到重視，并不斷在許多領(lǐng)域取得驕人的成果。

       該系統(tǒng)主要是由目標(biāo)檢測、3D定位系統(tǒng)、通訊服務(wù)系統(tǒng)三個(gè)部分組成；采用NVIDIA  Jetson AI邊緣計(jì)算開發(fā)套件，搭配Realsense D4系列的RGBD相機(jī)，來對特定物體進(jìn)行識別和定位。平臺視覺系統(tǒng)采用深度學(xué)習(xí)視覺技術(shù)，針對不同種類的目標(biāo)對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練，可以支持大多數(shù)的物體檢測和定位；而且此伺服視覺系統(tǒng)，可擴(kuò)展作為一個(gè)獨(dú)立模塊應(yīng)用在不同研究領(lǐng)域，如機(jī)械臂抓取的視覺定位，無人駕駛周圍環(huán)境感知和定位、傳送帶物體分揀、智能倉儲的視覺等部分。此外還可以針對不同的應(yīng)用場景，擁有多種模式的檢測功能：第一種模式對實(shí)時(shí)性無要求，擁有高識別率的檢測模式；第二種模式對識別率無要求，擁有高的檢測速度；并且在算法和底層控制程序完全開源，集成多種功能于一體為教學(xué)和科研提供優(yōu)越的開放性支撐。

產(chǎn)品特點(diǎn)

1. 高度模塊化，可以自由搭配各種視覺場景的使用。

2. 支持視覺算法的硬件加速

3. 采用主流深度學(xué)習(xí)框架pytorch,有利于學(xué)術(shù)研究。

4. 可以支持多種視覺傳感器

5. 對外提供多種方式的控制接口

6. 支持tensorrt模型的加速推理

7. 針對不同的應(yīng)用場景，支持多種檢測模式

8. 實(shí)驗(yàn)案例內(nèi)容豐富詳細(xì)，包含大篇幅的技術(shù)及知識點(diǎn)介紹

9. 資料完全開放，支持二次開發(fā)，提供二次開發(fā)技術(shù)支撐

應(yīng)用案例

1. 基于深度學(xué)習(xí)的水果采摘應(yīng)用

       2D和3D數(shù)據(jù)融合在機(jī)械臂抓取方向應(yīng)用十分廣泛，利用2D圖像進(jìn)行定位然后結(jié)合深度圖像來得到物體的三維信息，從而使得機(jī)器能夠感知三維環(huán)境中分物體的位置和姿態(tài)。

       水果采摘在實(shí)現(xiàn)農(nóng)業(yè)自動(dòng)化有著重要意義，此應(yīng)用能夠?qū)崿F(xiàn)基本場景的水果抓取，識別率能夠達(dá)到99%。

2. 基于深度學(xué)習(xí)的車道線檢測應(yīng)用

      車道線檢測是自動(dòng)駕駛中的一個(gè)基礎(chǔ)模塊，其實(shí)也是一個(gè)由來已久的任務(wù)，語義上車道線存在位置的檢測，即使它是模糊的、被光照影響的、甚至是完全被遮擋的，基于傳統(tǒng)圖像處理的方法幾乎無法實(shí)現(xiàn)檢測，而基于一種最直接的深度學(xué)習(xí)方案——把車道線檢測視為分割任務(wù)。利用視覺傳感器獲取圖像數(shù)據(jù)，經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)的處理得到車道線的結(jié)果。

3. 基于深度學(xué)習(xí)的雙臂咖啡機(jī)應(yīng)用

       雙臂協(xié)作咖啡機(jī)器人采用2臺Jaka Zu3機(jī)械臂，融合深度學(xué)習(xí)技術(shù)和視覺技術(shù)，并搭配相機(jī)、夾爪、膠囊咖啡機(jī)和咖啡制作用品，實(shí)現(xiàn)自動(dòng)化、智能化的咖啡制作。

       用戶只需在相機(jī)前做出相應(yīng)手勢，咖啡機(jī)器人就會(huì)自動(dòng)拾取用戶指定口味的膠囊，完成放置咖啡杯、啟動(dòng)咖啡機(jī)、端送至用戶面前等一系列動(dòng)作，不需要等待很久便將一杯咖啡遞入用戶手中。

       一方面，咖啡機(jī)器人減輕了咖啡師的勞動(dòng)強(qiáng)度，讓人從繁瑣的操作中解脫出來。另一方面，咖啡機(jī)器人制作咖啡的品質(zhì)更加穩(wěn)定，不考慮換料的話，它始終穩(wěn)定地保持相關(guān)動(dòng)作，保證品質(zhì)不走樣。

應(yīng)用專業(yè)

（1）機(jī)器人專業(yè)

（2）人工智能專業(yè)

支撐科研方向

1.  傳統(tǒng)的圖像處理方法應(yīng)用

2.  視覺標(biāo)定技術(shù)

3.  三維空間測量技術(shù)

4.  點(diǎn)云數(shù)據(jù)處理和三維重建

5.  深度學(xué)習(xí)圖像分類算法

6.  深度學(xué)習(xí)圖像細(xì)粒度分類算法

7.  深度學(xué)習(xí)目標(biāo)檢測算法研究

8.  深度學(xué)習(xí)語義分割算法研究

9.  深度學(xué)習(xí)實(shí)例分割算法研究

10. 機(jī)械臂視覺抓取應(yīng)用研究