概述

      該系統(tǒng)主要是由目標檢測、3D定位系統(tǒng)、web服務系統(tǒng)三個部分組成；采用NVIDIA  Jetson AI邊緣計算開發(fā)套件，搭配Realsense D4系列的RGBD相機，來對特定物體進行識別和定位。平臺視覺系統(tǒng)采用學習視覺技術(shù)，針對不同種類的目標對網(wǎng)絡(luò)結(jié)構(gòu)進行訓練，可以支持大多數(shù)的物體檢測和定位；而且此伺服視覺系統(tǒng)，可擴展作為一個獨立模塊應用在不同研究領(lǐng)域，如機械臂抓取的視覺定位，無人駕駛周圍環(huán)境感知和定位、傳送帶物體分揀、智能倉儲的視覺等部分。此外還可以針對不同的應用場景，擁有多種模式的檢測功能：第一種模式對實時性無要求，擁有j較高識別率的檢測模式；第二種模式對識別率無要求，擁有較高的檢測速度；并且在算法和底層控制程序開源，集成多種功能于一體為教學和科研提供較優(yōu)越的開放性支撐。

產(chǎn)品特點

? 高度模塊化，可以自由搭配各種視覺場景的使用。

? 支持視覺算法的硬件加速

? 采用主流學習框架pytorch,有利于學術(shù)研究。

? 可以支持多種視覺傳感器

? 對外提供多種方式的控制接口

? 支持tensorrt模型的加速推理

? 針對不同的應用場景，支持多種檢測模式

? 實驗案例內(nèi)容豐富詳細，包含大篇幅的技術(shù)及知識點介紹

? 資料開放，支持二次開發(fā)，提供二次開發(fā)技術(shù)支撐

平臺結(jié)構(gòu)

應用技術(shù)

應用領(lǐng)域

案例應用

1、基于學習的水果采摘應用

      2D和3D數(shù)據(jù)融合在機械臂抓取方向應用十分廣泛，利用2D圖像進行定位然后結(jié)合圖像來得到物體的三維信息，從而使得機器能夠感知三維環(huán)境中分物體的位置和姿態(tài)。

水果采摘在實現(xiàn)農(nóng)業(yè)自動化有著重要意義，此應用能夠?qū)崿F(xiàn)基本場景的水果抓取，識別率能夠達到99%。

2、基于學習的車道線檢測應用

      車道線檢測是自動駕駛中的一個基礎(chǔ)模塊，其實也是一個由來已久的任務，語義上車道線存在位置的檢測，即使它是模糊的、被光照影響的、甚至是被遮擋的，基于傳統(tǒng)圖像處理的方法幾乎無法實現(xiàn)檢測，而基于一種最直接的學習方案——把車道線檢測視為分割任務。利用視覺傳感器獲取圖像數(shù)據(jù)，經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)的處理得到車道線的結(jié)果。

3、基于學習的雙臂咖啡機應用

      雙臂協(xié)作咖啡機器人采用2臺Jaka Zu3機械臂，融合學習技術(shù)和視覺技術(shù)，并搭配相機、夾爪、膠囊咖啡機和咖啡制作用品，實現(xiàn)自動化、智能化的咖啡制作。

      用戶只需在相機前做出相應手勢，咖啡機器人就會自動拾取用戶指定口味的膠囊，完成放置咖啡杯、啟動咖啡機、端送至用戶面前等一系列動作，不需要等待很久便將一杯咖啡遞入用戶手中。

      一方面，咖啡機器人減輕了咖啡師的勞動強度，讓人從繁瑣的操作中解脫出來。另一方面，咖啡機器人制作咖啡的品質(zhì)更加穩(wěn)定，不考慮換料的話，它穩(wěn)定地保持相關(guān)動作，保證品質(zhì)不走樣。

開發(fā)概圖