隨著機器視覺的迅速發(fā)展，工業(yè)現(xiàn)場中越來越多的人工檢測被替代，比如物料的外觀、計數(shù)、缺陷等的檢測。機器視覺的發(fā)展解決了傳統(tǒng)人工檢測速度慢、勞動強度大和容易漏檢的問題。為了適應(yīng)市場需求，高校需要培養(yǎng)機器視覺相關(guān)的工程應(yīng)用型人才。

       為了滿足這些需求，中科深谷最新推出的一套基于視覺識別+三軸協(xié)作機器人的整體解決方案，實現(xiàn)從識別到分揀的全自動化作業(yè)。

       三軸協(xié)作機器人+圖像處理與機器視覺實驗平臺主要由計算機（運行圖像處理程序）、工業(yè)相機、鏡頭、光源、視覺標定板（非對稱圓網(wǎng)格樣式）和視覺識別目標組成。 本產(chǎn)品作為計算機視覺與機器視覺的教學(xué)產(chǎn)品，不僅提供實驗教學(xué)所需的軟硬件平臺、實驗案例、實驗指導(dǎo)書，并能基于已學(xué)習(xí)的案例進行配套的項目實戰(zhàn)，兼顧教學(xué)與應(yīng)用，其中提供三軸機械臂的手眼標定和視覺抓取程序案例，讓學(xué)生能掌握機器視覺的知識及其應(yīng)用。

PART 01  產(chǎn)品特點五大視覺識別算法 

       機器視覺是用機器來代替人眼進行目標對象識別、判斷和測量的技術(shù)。機器視覺通過計算機模擬人的視覺功能，主要技術(shù)涉及目標圖像獲取技術(shù)、圖像信息處理技術(shù)、目標對象測量與識別技術(shù)。典型機器視覺系統(tǒng)主要由視覺感知單元、圖像信息處理與識別單元、處理結(jié)果顯示單元和視覺系統(tǒng)控制單元組成。

01 顏色識別

       平臺使用eye-to-hand的模式，通過OpenCV識別物塊顏色，并計算目標顏色物塊的質(zhì)心與像素長寬，基于手眼標定實現(xiàn)物塊從像素坐標系到機械臂世界坐標系的轉(zhuǎn)換。機械臂根據(jù)預(yù)設(shè)動作，將不同顏色物塊分類揀選。

02  形狀識別

       物體的形狀識別是模式識別的重要方向，在計算機中物體的形狀有多種表示方式，基于不同的形狀表示方式，提出了多種形狀識別方法，如基于傅里葉描述子、主分量分析、不變性距等方法。在形狀識別中，識別所基于的模式特征非常重要。

       形狀識別的一般流程：形狀提取、形狀特征提取和分類識別。

03  特征點識別

       FAST角點檢測，通過考察像素點與周圍領(lǐng)域內(nèi)的16個像素點的差異來確定特征點，并且通過分割測試算法對檢測效率做了極大的提升。

04  yolov5識別

       傳統(tǒng)的目標檢測系統(tǒng)利用分類器來執(zhí)行檢測。為了檢測對象，這些系統(tǒng)在測試圖片的不同位置不同尺寸大小采用分類器對其進行評估。如deformable parts models (DPM)方法、R-CNN類方法。

        新平臺將目標檢測問題轉(zhuǎn)換為直接從圖像中提取bounding boxes和類別概率的單個回歸問題，（you only look once，YOLO）即可檢測目標類別和位置。

05  AR二維碼識別

       在特征提取模塊中，新平臺使用紋理特征提取算法從原始輸入圖像中提取出多分辨率直方圖特征、局部二值模式特征和邊緣方向直方圖特征，這三種紋理特征的表達形式均為一維數(shù)組。新平臺將這 3 個數(shù)組連接為 1 個一維數(shù)組，作為后續(xù)分類模塊的輸入。

產(chǎn)品優(yōu)勢

1、提供多個經(jīng)典的圖像處理算法和實驗樣例源碼；

2、相機設(shè)備支持跨平臺開發(fā)，提供Windows，Linux上的開發(fā)接口；

3、相機設(shè)備支持多種開發(fā)語言，包括C++、Matlab主流編程語言；

4、可以方便的接入ROS系統(tǒng)以完成機器人視覺系統(tǒng)的搭建和集成；

5、實驗案例內(nèi)容豐富詳細，包含大篇幅的技術(shù)及知識點介紹；

6、資料完全開放，支持二次開發(fā)，提供二次開發(fā)技術(shù)支撐。

PART 02 適配中科深谷開源三軸協(xié)作機器人系統(tǒng)平臺

       開源三軸協(xié)作機器人系統(tǒng)平臺是基于CSPACE實時仿真控制系統(tǒng)開發(fā)的教科研平臺。機器人系統(tǒng)使用全自主研發(fā)的關(guān)節(jié)驅(qū)動器及運動控制器，軟硬件全開源，提供豐富的實驗案例，涵蓋運動學(xué)、動力學(xué)、Simscape建模仿真等。

       從仿真測試到實踐操作，從理論算法到工程應(yīng)用，專注先進控制算法與應(yīng)用，賦能人才培養(yǎng)，可支撐機器人工程專業(yè)、機械電子工程專業(yè)、人工智能專業(yè)、智能制造工程專業(yè)等相關(guān)本科教學(xué)專業(yè)實驗或研究生科研實驗。

01  手眼標定

       手眼標定即相機內(nèi)參和外參的標定，用于矯正圖像和后續(xù)數(shù)據(jù)推算。內(nèi)參即與相機安裝位置無關(guān)的本身硬件參數(shù)（如焦距、像素大小等），內(nèi)參標定功能包為 camera-calibration ；外參即相機在世界坐標系中的參數(shù)（如相機的位置、旋轉(zhuǎn)方向等），外參標定的功能包easy_handeye 。

02  實現(xiàn)物體識別與定位

       視覺抓取的第一步自然是對于目標物體的識別和定位，目前可以借助開源視覺庫OpenCV的內(nèi)置庫以及ROS開源包進行實現(xiàn)。不論是通過二維圖像的深度信息或是物體的顏色形狀 還是三維點云的識別分析，相機需要傳回目標物體在世界坐標系中的位置和姿態(tài)》。

PART 03  算法和軟件平臺

       平臺提供圖像處理中圖像色彩調(diào)節(jié)、融合、直方圖、圖像的腐蝕和膨脹、圖像濾波、圖像邊緣提取、圖像反轉(zhuǎn)等算法、軟件和實驗，并提供應(yīng)用于三軸機械臂的手眼標定算法、示例樣品的識別和抓取功能及其源碼。并提供OpenCV（C++開發(fā)）、MATLAB的軟件案例。

PART 04  可開展的實驗教學(xué)內(nèi)容

一、OpenCV類實驗

機器視覺基礎(chǔ)實驗

機器視覺綜合實驗

二、Matlab類實驗

機器視覺基礎(chǔ)實驗

綜合實驗

高校案例

       機器視覺，正在越來越多的領(lǐng)域得到普遍的運用。在過去，通常是用人眼對目標進行識別、跟蹤和分析。

       三軸協(xié)作機器人+圖像處理與機器視覺實驗平臺的出現(xiàn)，極大的釋放了開發(fā)者創(chuàng)造力，面向工業(yè)視覺場景大有可為。未來，中科深谷將持續(xù)研發(fā)創(chuàng)新，在機器人的基礎(chǔ)上，進一步整合其在工業(yè)等產(chǎn)業(yè)自動化領(lǐng)域的深厚能力，為用戶提供定制化、智能化解決方案，并將工業(yè)等產(chǎn)業(yè)裝備的硬件、軟件、算法等開源開放出來，秉持開源開放、技術(shù)創(chuàng)新，產(chǎn)學(xué)研用通力融合，努力推動人工智能·機器人技術(shù)的高速發(fā)展及產(chǎn)業(yè)應(yīng)用。