《基于機(jī)器視覺的工件智能抓取技術(shù)研究薈萃資料》由會(huì)員分享，可在線閱讀，更多相關(guān)《基于機(jī)器視覺的工件智能抓取技術(shù)研究薈萃資料（20頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、基于機(jī)器視覺的工業(yè)機(jī)器人工件搬運(yùn)技術(shù)研究1.1研究背景自 19 世紀(jì) 60 年代問世以來，工業(yè)機(jī)器人不斷發(fā)展和完善，現(xiàn)已得到廣泛應(yīng)用，機(jī)器人產(chǎn)業(yè)也逐漸成熟。目前，全世界已擁有 100 多萬臺(tái)工業(yè)機(jī)器人廣泛應(yīng)用在焊接、搬運(yùn)、裝配、噴涂、修邊、拾料、包裝、堆垛和上下料等單調(diào)或復(fù)雜的作業(yè)中，為企業(yè)節(jié)約了大量的勞動(dòng)成本，大大提高了勞動(dòng)生產(chǎn)率。工業(yè)機(jī)器人是面向工業(yè)領(lǐng)域的多關(guān)節(jié)機(jī)械手或多自由度的機(jī)器人，它在穩(wěn)定產(chǎn)品品質(zhì)、提高生產(chǎn)效率和改善勞動(dòng)條件等方面有著十分重要的作用，它的應(yīng)用能夠使企業(yè)大大縮短新產(chǎn)品的換產(chǎn)周期和節(jié)約勞動(dòng)成本，從而提高了產(chǎn)品的市場(chǎng)競(jìng)爭(zhēng)力。隨著當(dāng)代工業(yè)革命深入發(fā)展，工業(yè)生產(chǎn)日益趨向自動(dòng)化，

2、工業(yè)機(jī)器人技術(shù)也正朝著智能、柔性的方向發(fā)展。許多發(fā)達(dá)國家對(duì)于智能工業(yè)機(jī)器人的研究都較為重視，我國也早已將其納入國家高科技發(fā)展規(guī)劃。國家層面的重視也必將給工業(yè)機(jī)器人技術(shù)帶來新的跨越式發(fā)展，機(jī)器人的發(fā)展也必將對(duì)社會(huì)經(jīng)濟(jì)和生產(chǎn)力的發(fā)產(chǎn)生更加深遠(yuǎn)的影響1.2 研究目的和意義對(duì)于工作在自動(dòng)化生產(chǎn)線上或柔性制造系統(tǒng)中的工業(yè)機(jī)器人來說，其完成最多的一類操作是“抓取放置”動(dòng)作，比如流水線上的工件搬運(yùn)、裝配以及各工位之間的工件轉(zhuǎn)移和上下料。機(jī)器人要完成這類操作是經(jīng)過復(fù)雜計(jì)算的：首先，機(jī)器人必須知道怎么抓，其次機(jī)器人應(yīng)該知道怎么放；同時(shí)在這個(gè)過程還要伴隨著機(jī)器人運(yùn)動(dòng)學(xué)分析的過程。傳統(tǒng)的工業(yè)機(jī)器人完成這類操作，必須

3、經(jīng)過精確的逐點(diǎn)示教后，才能一步一步的按照固定程序執(zhí)行。在這個(gè)過程中，工件相對(duì)于機(jī)器人的初始位姿（位置和姿態(tài)）和終止位姿是事先規(guī)定的，但很多情況下，特別是流水線場(chǎng)合，工件的位姿常常是不固定的。這就導(dǎo)致實(shí)際目標(biāo)工件的位姿與理想工件位姿總是有偏差的，這種偏差哪怕很小都會(huì)導(dǎo)致機(jī)器人操作任務(wù)的失敗。這種由于環(huán)境的變化而導(dǎo)致機(jī)器人不能很好地完成任務(wù)的情況極大地限制了機(jī)器人的實(shí)際應(yīng)用。這就要求工業(yè)機(jī)器人具備一定的環(huán)境適應(yīng)能力，即工業(yè)機(jī)器人智能化。智能工業(yè)機(jī)器人的智能特征在于它具有與外部世界、對(duì)象、環(huán)境和人相互協(xié)調(diào)的工作機(jī)能，具體表現(xiàn)在機(jī)器視覺、接近覺、觸覺和力覺等方面。機(jī)器視覺是用機(jī)器代替人眼來做測(cè)量和判斷

4、的，其本質(zhì)是使計(jì)算機(jī)具有認(rèn)知周圍環(huán)境信息的能力。這種能力不僅使機(jī)器能感知周圍物體的形狀、位置、姿態(tài)、運(yùn)動(dòng)等等信息，而且能相應(yīng)地對(duì)這些信息進(jìn)行描述、理解和識(shí)別。將機(jī)器視覺與機(jī)器人結(jié)合到一起，也就產(chǎn)生了機(jī)器人視覺。機(jī)器人視覺技術(shù)是用來模擬人類視覺，使機(jī)器人通過獲取視覺信息從而對(duì)操作環(huán)境進(jìn)行判別，給機(jī)器人賦予更強(qiáng)大的應(yīng)對(duì)能力，大大增強(qiáng)了機(jī)器人的柔性。因而基于視覺引導(dǎo)的機(jī)器人擁有著廣闊的發(fā)展空間，具有重要的科研和應(yīng)用價(jià)值。1.3 國內(nèi)外現(xiàn)狀目前，機(jī)器視覺技術(shù)已經(jīng)從最初的實(shí)驗(yàn)室階段逐漸走向成熟，并且在工業(yè)生產(chǎn)線上已經(jīng)有實(shí)際應(yīng)用。德國、日本、美國和韓國處在智能工業(yè)機(jī)器人領(lǐng)域應(yīng)用研究的前沿。日本從最初的模仿

5、到現(xiàn)在的獨(dú)創(chuàng)，找到了自己的技術(shù)創(chuàng)新之路。德國西門子公司也緊跟著時(shí)代的步伐，將機(jī)器視覺滲透到各個(gè)領(lǐng)域，應(yīng)用到汽車發(fā)動(dòng)機(jī)裝配，生產(chǎn)線工件分揀等領(lǐng)域。美國更是機(jī)器人技術(shù)的創(chuàng)新發(fā)源地，其機(jī)器視覺廣泛應(yīng)用在工業(yè)和軍事上，機(jī)械手經(jīng)銷商，包括 Fanuc 公司，Motman 公司和 Staubli 公司都推出了“揀選”系統(tǒng)。如圖 1.1 所示，日本川崎設(shè)計(jì)的工業(yè)機(jī)器人主要應(yīng)用在基于視覺系統(tǒng)的大型物品裝卸、樹脂成形機(jī)械抓取和汽車車門的邊角打磨工程等領(lǐng)域。這種機(jī)器人可以結(jié)合具體的實(shí)際應(yīng)用和目標(biāo)方法，配置不同的選裝件和相關(guān)參數(shù)，能夠適應(yīng)各種應(yīng)用場(chǎng)合。通過使用機(jī)器人內(nèi)部搭載標(biāo)準(zhǔn)的機(jī)器人語言，它還可以實(shí)現(xiàn)高性能的動(dòng)作

6、控制和時(shí)序控制。圖 1.1基于視覺系統(tǒng)的大型物品裝卸圖 1.2所示的是美國普渡大學(xué)研究的一種基于視覺控制的 Bin-picking 系統(tǒng)，該系統(tǒng)可以從多種零件中分揀出圓形零件，它是通過簡(jiǎn)單的圓弧邊界特征來識(shí)別圓形零件的。圖 1.3 所示的是瑞典 ABB 公司最新推出的第二代拾取機(jī)器人 FlexPicker IRB360，該機(jī)器人擁有有效載荷大、操作速度快、簡(jiǎn)單有效等優(yōu)點(diǎn)，能夠在 2D 視覺的幫助下，以高達(dá) 2 次/秒的速度撿取傳送帶上的物品?？偟膩碚f，美國、日本、歐洲一些發(fā)達(dá)國家在機(jī)器人視覺技術(shù)有著豐富的經(jīng)驗(yàn)，已經(jīng)開發(fā)出多款成熟產(chǎn)品，廣泛應(yīng)用在微裝配、空間和軍事領(lǐng)域。圖1.2 Bin-Pick

7、ing機(jī)器人 圖1.3 ABB Flex-Picker機(jī)器人我國對(duì)工業(yè)機(jī)器人的研究起步較晚，從 90 年代初期起，我國在工業(yè)機(jī)器人領(lǐng)域才取得一定的進(jìn)展。隨著近幾年科技的進(jìn)步，我國在這方面發(fā)展迅速，取得了不少科研成果，機(jī)器人的結(jié)構(gòu)和控制理論不斷得到創(chuàng)新，生產(chǎn)制造工藝也逐漸成熟，不斷有自主知識(shí)產(chǎn)權(quán)的機(jī)器人產(chǎn)品相繼問世，此外還相繼建立了 20 多個(gè)機(jī)器人產(chǎn)業(yè)化基地，實(shí)施了 100 多項(xiàng)機(jī)器人應(yīng)用工程，機(jī)器人產(chǎn)業(yè)不斷壯大和發(fā)展。 新松機(jī)器人自動(dòng)化股份有限公司研制機(jī)器人是擁有自主知識(shí)產(chǎn)權(quán)和核心技術(shù)的工業(yè)搬運(yùn)機(jī)器人，它可用于鍛造生產(chǎn)和鑄件落砂等工作條件惡劣的場(chǎng)合，降低工人的勞動(dòng)強(qiáng)度。北京航空航天大學(xué)于 1

8、994 年成功研制了七自由度機(jī)器人操作臂，并且研制出一系列改進(jìn)型的冗余自由度機(jī)器人實(shí)驗(yàn)樣機(jī)。方躍提出了采用靈活角來度量操作器靈活程度，將機(jī)器人的工作空間根據(jù)靈活程度的不同劃分為相應(yīng)的有限靈活工作空間，高同以梯度投影法為基礎(chǔ)，采用線性加權(quán)法，研究冗余度機(jī)器人的多指標(biāo)融合優(yōu)化問題。冗余自由度機(jī)器人另一個(gè)研究重點(diǎn)是運(yùn)動(dòng)學(xué)逆解，如圖 1.5所示，為深圳眾為興技術(shù)股份有限公司生產(chǎn)的四自由度分揀機(jī)器人。該機(jī)器人在分類分揀的應(yīng)用中具有視覺導(dǎo)引功能，重點(diǎn)介紹了眾為興 SCARA 機(jī)器人及視覺系統(tǒng)，并在現(xiàn)場(chǎng)用實(shí)物生動(dòng)展示了具有視覺功能的眾為興機(jī)器人在分類分揀的應(yīng)用。眾為興公司開發(fā)研制的 SCARA 機(jī)器人，可應(yīng)

9、用在搬運(yùn)、分揀一些較小的規(guī)則工件。圖1.5眾為興展出的SCARA機(jī)器人1.4 本課題的研究?jī)?nèi)容本文是針對(duì)基于視覺引導(dǎo)的工業(yè)機(jī)器人工件搬運(yùn)技術(shù)進(jìn)行的研究，簡(jiǎn)單的講，就是在一臺(tái) 6 軸的工業(yè)機(jī)器人的基礎(chǔ)上引入機(jī)器視覺，利用機(jī)器人對(duì)視覺的理解，完成工業(yè)生產(chǎn)中工件的抓取和放置操作。在這個(gè)操作過程中，工件識(shí)別與定位和機(jī)器人運(yùn)動(dòng)學(xué)反解是兩個(gè)關(guān)鍵環(huán)節(jié)。工件識(shí)別與定位是為機(jī)器人提供操作和如何操作的信息，而機(jī)器人運(yùn)動(dòng)學(xué)反解的準(zhǔn)確性直接影響到操作能否完成和相應(yīng)的操作精度。整個(gè)工件搬運(yùn)的具體流程是：在機(jī)器人工作之前，先通過上方攝像機(jī)實(shí)時(shí)地采集工件圖像，并送到圖像處理系統(tǒng)，以便確定所感興趣的工件以及該工件相對(duì)于機(jī)器人

10、的位姿，最后將位姿信息反解成工業(yè)機(jī)器人熟悉的關(guān)節(jié)角度和角度控制信息，從而實(shí)現(xiàn)利用視覺引導(dǎo)機(jī)器人準(zhǔn)確地抓取工件。同時(shí)根據(jù)已抓取工件的放置要求，進(jìn)一步引導(dǎo)機(jī)器人完成工件的定點(diǎn)放置，從而實(shí)現(xiàn)機(jī)器人搬運(yùn)操作。本課題的研究?jī)?nèi)容圍繞物體識(shí)別這個(gè)中心展開，主要包括以下幾個(gè)方面：1. 如何獲取圖像 獲取圖像是進(jìn)行本課題研究的前提，順利的通過攝像頭設(shè)備獲取到原始圖像是一切研究的根本2. 如何對(duì)圖像進(jìn)行預(yù)處理視覺系統(tǒng)中直接使用的圖像，必須在進(jìn)行灰度校正、噪聲過濾等圖像預(yù)處理。將圖像中感興趣的特征有選擇地突出，衰減其不需要的特征，預(yù)處理后的輸出圖像并不需要去逼近原圖像。3. 如何對(duì)預(yù)處理以后的圖像進(jìn)行特征識(shí)別和特征

11、提取已經(jīng)把待測(cè)目標(biāo)工件進(jìn)行過圖像預(yù)處理，接下來要針對(duì)靜態(tài)工件的特征提取，最后要根據(jù)已經(jīng)提取的目標(biāo)工件的特征進(jìn)行分類。特征提取的意義于要區(qū)分不同種類的工件就要把它們之間不同的信息提取出來，作為識(shí)別的前提條件。一般來說，提取普通特征包括周長(zhǎng)、邊緣、面積、曲率、角度和物體質(zhì)心等4. 如何根據(jù)提取的特征對(duì)目標(biāo)進(jìn)行分類和目標(biāo)定位目標(biāo)分類是指對(duì)得到的不同目標(biāo)進(jìn)行區(qū)分并將其歸為某一已知類的過程。對(duì)于圖像目標(biāo)來說通常利用圖像特征來對(duì)目標(biāo)進(jìn)行描述，然后對(duì)其分類。通過模版匹配計(jì)算目標(biāo)上空間點(diǎn)和像素點(diǎn)之間的對(duì)應(yīng)關(guān)系。然后創(chuàng)建模版，對(duì)后續(xù)的圖像進(jìn)行目標(biāo)定位。5. 如何跟蹤目標(biāo)對(duì)于運(yùn)動(dòng)的目標(biāo)，通過跟蹤能夠得到目標(biāo)的速度

12、和加速度，并可以對(duì)將來目標(biāo)出現(xiàn)的位置進(jìn)行預(yù)測(cè)6.如何將目標(biāo)在圖像中的位置轉(zhuǎn)化到機(jī)器人基坐標(biāo)系中并進(jìn)行機(jī)器人運(yùn)動(dòng)學(xué)反解通過相機(jī)標(biāo)定得到圖像坐標(biāo)與機(jī)器人基坐標(biāo)之間的轉(zhuǎn)換關(guān)系，將目標(biāo)在圖像中的位置信息轉(zhuǎn)化為機(jī)器人基坐標(biāo)系中的具體坐標(biāo)，并通過該坐標(biāo)進(jìn)行機(jī)器人運(yùn)動(dòng)學(xué)逆解，得到關(guān)節(jié)運(yùn)動(dòng)信息7. 如何規(guī)劃路徑并控制機(jī)器人進(jìn)行目標(biāo)抓取通過前面得到的運(yùn)動(dòng)學(xué)逆解，合理的設(shè)置機(jī)器人抓取運(yùn)動(dòng)規(guī)劃，包括路徑規(guī)劃和手部抓取規(guī)劃，路徑規(guī)劃是研究按照何種路徑，將機(jī)器人手部坐標(biāo)系的原點(diǎn)和目標(biāo)抓取坐標(biāo)系的原點(diǎn)重合的問題，抓取點(diǎn)規(guī)劃是針對(duì)不同形狀的物體，如何選擇合適夾持點(diǎn)位置的問題。1.5本課題的研究方法1.5.1獲取圖像1)硬件

13、介紹一個(gè)穩(wěn)定的視覺系統(tǒng)的構(gòu)建需要根據(jù)任務(wù)的特點(diǎn)和現(xiàn)場(chǎng)環(huán)境的特點(diǎn)進(jìn)行，例如精度，目標(biāo)尺寸，檢測(cè)速度，安裝空間大小等要求，都將影響系統(tǒng)硬、軟件的選擇。典型的視覺系統(tǒng)包括的硬件很多，但最重要的最基本的三件設(shè)備是：光源、鏡頭和相機(jī)。本節(jié)主要給出本系統(tǒng)所用硬件的參數(shù)并對(duì)其進(jìn)行簡(jiǎn)單介紹1.光源由于所有非發(fā)光物體都是通過反射光才能在傳感器上留下影像，所以光源的正確選擇是保證視覺系統(tǒng)正常工作的基礎(chǔ)。在選擇視覺系統(tǒng)光源時(shí)要注意，使用的光源要把感興趣目標(biāo)和背景區(qū)分開來，削減非關(guān)心目標(biāo)或噪聲的干擾，并且光源本身不會(huì)帶來額外的干擾，2. 鏡頭鏡頭與人眼的晶狀體具有類似的功能，如果沒有安裝鏡頭進(jìn)行拍攝，得到的圖像將是花

14、白色，不包含任何場(chǎng)景信息。所以鏡頭的作用是匯聚目標(biāo)反射回的光，在感光原件上產(chǎn)生細(xì)節(jié)豐富，銳利的圖像。鏡頭的參數(shù)選擇一般是根據(jù)配用的攝像機(jī)感光原件的大小來進(jìn)行的，如果二者的參數(shù)不合適，將出現(xiàn)圖像記錄不完整，視場(chǎng)角不符合要求或者畫面在焦點(diǎn)外的問題本文選擇的是COMUPTAR公司的M0814-MP2型號(hào)的鏡頭，參數(shù)如表所示：性能指標(biāo)參數(shù)靶面尺寸2/3焦距8最大成像尺寸8.8*6.6控制光圈手動(dòng)聚焦手動(dòng)變焦手動(dòng)接口C-接口尺寸33.5*28.23. 攝像機(jī)本系統(tǒng)使用的是Basler公司的acA2500-14gm型號(hào)的工業(yè)相機(jī)，如圖所示，該相機(jī)的性能指標(biāo)和參數(shù)如表所示：圖3 Basler acA2500

15、-14gm型號(hào)工業(yè)相機(jī)性能指標(biāo)參數(shù)傳感器類型Aptina MT9P CMOS, rolling shutter有效圖像元素2592*1944像素尺寸2.2 x 2.2數(shù)據(jù)位數(shù)12鏡頭接口C-mount, CS-mount傳輸方式Gigabit Ethernet幀率14供電要求Via Power over Ethernet (802.3af) or + 12VDC ( 10%) via the cameras 6-pin Hirose connector外形尺寸42 x 29 x 29表1 Basler acA2500-14gm型號(hào)工業(yè)相機(jī)參數(shù)5. 拍攝參數(shù)設(shè)定為了提高圖像處理速度并兼顧分辨率，

16、選擇的拍攝參數(shù)如下表：圖像尺寸待定色彩待定ISO速度待定幀頻待定記錄頻率待定2）軟件介紹OpenCV的全稱是：Open Source Computer Vision Library。OpenCV是一個(gè)基于（開源）發(fā)行的跨平臺(tái)計(jì)算機(jī)視覺庫，可以運(yùn)行在Linux、Windows和Mac OS操作系統(tǒng)上。它輕量級(jí)而且高效由一系列 C 函數(shù)和少量 C+ 類構(gòu)成，同時(shí)提供了Python、Ruby、MATLAB等語言的接口，實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺方面的很多通用算法，它可以完成以下工作：1.圖像數(shù)據(jù)操作（內(nèi)存分配與釋放，圖像復(fù)制、設(shè)定和轉(zhuǎn)換）2.圖像/視頻的輸入輸出（支持文件或攝像頭的輸入，圖像/視頻文

17、件的輸出）3.矩陣/向量數(shù)據(jù)操作及線性代數(shù)運(yùn)算（矩陣乘積、矩陣方程求解、特征值、奇異值分解）支持多種動(dòng)態(tài)數(shù)據(jù)結(jié)構(gòu)（鏈表、隊(duì)列、數(shù)據(jù)集、樹、圖）4.基本圖像處理（去噪、邊緣檢測(cè)、角點(diǎn)檢測(cè)、采樣與插值、色彩變換、形態(tài)學(xué)處理、直方圖、圖像金字塔結(jié)構(gòu)）5.結(jié)構(gòu)分析（連通域/分支、輪廓處理、距離轉(zhuǎn)換、圖像矩、模板匹配、霍夫變換、多項(xiàng)式逼近、曲線擬合、橢圓擬合、狄勞尼三角化）6.攝像頭定標(biāo)（尋找和跟蹤定標(biāo)模式、參數(shù)定標(biāo)、基本矩陣估計(jì)、單應(yīng)矩陣估計(jì)、立體視覺匹配）7.運(yùn)動(dòng)分析（光流、動(dòng)作分割、目標(biāo)跟蹤）8.目標(biāo)識(shí)別（特征方法、HMM模型）HALCON軟件介紹HALCON是一款來自德國慕尼黑的世界頂級(jí)機(jī)器視覺

18、編程環(huán)境，該軟件以面向問題為基礎(chǔ)，涉及工業(yè)領(lǐng)域中光學(xué)工程、精密制造、包裝、半導(dǎo)體、印刷、機(jī)械等行業(yè)。使用它可以迅速構(gòu)建一個(gè)準(zhǔn)確、穩(wěn)定、高效率的視覺解決方案。該軟件具有強(qiáng)大的函數(shù)庫，能導(dǎo)出C+、C、VB等語言，縮短了代碼編寫時(shí)間，為構(gòu)建獨(dú)立的視覺系統(tǒng)提供了方便。利用HALCON軟件構(gòu)建一個(gè)獨(dú)立視覺系統(tǒng)分為三個(gè)步驟：該軟件最大特點(diǎn)是模范化和模塊化，所有的算子都具有同一的輸入輸出格式，下面是一個(gè)典型的算子結(jié)構(gòu)：Operator(iconic input:iconic output:control input:control output)HALCON語言的數(shù)據(jù)有兩種：一種是控制參數(shù)，包含數(shù)字、數(shù)組，

19、字符串等；另一種是圖形參數(shù)，包含圖像，區(qū)域和邊緣數(shù)據(jù)等。從典型算子結(jié)構(gòu)可以看出，圖形參數(shù)首先輸入的參數(shù)，然后是控制參數(shù)，并且順序是輸入數(shù)據(jù)和輸出數(shù)據(jù)相間隔，也即是：Operator(輸入圖形參數(shù)：輸出圖形參數(shù)：輸入控制參數(shù)：輸出控制參數(shù)）。1.5.2圖像預(yù)處理1） 圖像灰度化將RGB彩色圖像轉(zhuǎn)化為單通道圖像，灰度范圍為0-255，可以很大程度上提高運(yùn)算的速度Image cam_gray=cam.Convert();Cam是攝像機(jī)采集的彩色圖像2） 直方圖均衡化對(duì)于工件和背景灰度相差不大的情況，可以通過直方圖均衡化增加圖像的對(duì)比度，使工件在背景中更突出cvEqualizeHist函數(shù)可以增大圖像

20、灰度的動(dòng)態(tài)范圍，從而增加對(duì)比度3） 圖像濾波消除噪聲信息對(duì)于環(huán)境中的各種干擾，相機(jī)的成像噪聲，可以通過預(yù)處理階段消除或者削弱噪聲的影響，具體可以使用各種濾波算子，如中值濾波，高斯平滑濾波，均值濾波，在OpenCV中都有對(duì)應(yīng)的函數(shù)可以調(diào)用1.5.3圖像識(shí)別模式識(shí)別應(yīng)用與圖像信號(hào)處理領(lǐng)域就成為了圖像識(shí)別，它是一種利用計(jì)算機(jī)對(duì)圖像進(jìn)行描述和分類的技術(shù)，在機(jī)器視覺中具有廣泛的應(yīng)用，涉及文字，條碼，車牌識(shí)別，目標(biāo)分類等應(yīng)用場(chǎng)合，識(shí)別的過程其實(shí)是一個(gè)分類的過程，將滿足判斷條件的對(duì)象歸為一類，而不滿足條件的劃分為其他類，首先對(duì)目標(biāo)圖像進(jìn)行特征提取，然后將它和已知的模式向量進(jìn)行比較，比較的過程是函數(shù)計(jì)算的過程

21、，通過計(jì)算得到相似程度值，根據(jù)該值判斷目標(biāo)是否與已知庫中的目標(biāo)相似，從而得到相應(yīng)的識(shí)別或者不識(shí)別信號(hào)，根據(jù)分類標(biāo)準(zhǔn)選擇的不同，可以將識(shí)別方法分為：基于概率統(tǒng)計(jì)方法的識(shí)別，基于模版匹配方法的識(shí)別，基于多傳感器信息融合方法的識(shí)別等。通常，圖像識(shí)別有以下三步，如圖所示圖3 圖像識(shí)別的步驟主要有三個(gè)任務(wù)：圖像分割、目標(biāo)分類、圖像匹配1） 圖像分割要將圖像分割為區(qū)域，就要有分割的標(biāo)準(zhǔn)，這個(gè)標(biāo)準(zhǔn)就叫做閾值，獲取合適閾值的方法很多，通?？梢苑譃槭謩?dòng)獲取和自動(dòng)獲取，當(dāng)進(jìn)行手動(dòng)獲取時(shí)，通常借鑒圖像灰度直方圖的分布來幫助選擇，最簡(jiǎn)單的自動(dòng)全局閾值的方法是：首先選擇一個(gè)初始閾值估計(jì)值（然后利用該閾值對(duì)圖像進(jìn)行初始分

22、割得到G1和G2區(qū)域。對(duì)G1和G2區(qū)域中所有像素計(jì)算灰度平均值，計(jì)算得到的新閾值為T=，利用新閾值對(duì)圖像進(jìn)行重新分割，然后重復(fù)前面兩步，直至前后兩次T值之差小于設(shè)定值時(shí)停止。然后利用最終得到的最佳閾值將區(qū)域分割為兩部分，從而得到二值圖像：對(duì)于本系統(tǒng)，由于拍攝到的目標(biāo)圖像和背景灰度差別較大，可以直接確定閾值范圍，此方法進(jìn)行分割的結(jié)果如圖所示，從圖中可以看出，目標(biāo)區(qū)域和背景區(qū)域分割的較好，但是有許多非目標(biāo)的區(qū)域也被劃分為一類（主要是傳送帶的邊緣），所以還需要后續(xù)的區(qū)域標(biāo)記方法，利用區(qū)域的連通性將這些目標(biāo)區(qū)域和非目標(biāo)區(qū)域給分開來區(qū)域聯(lián)通標(biāo)記是建立在像素點(diǎn)鄰接性的基礎(chǔ)之上的，鄰接性是一種相似性的度量方

23、法，常用的類型有4-鄰接、8-鄰接、和對(duì)角鄰接XXPX X4-鄰接 XXXXPXX XX8-鄰接XXPX X對(duì)角鄰接提取連通成分的過程實(shí)際上也是標(biāo)記連通成分的過程，通常的做法是給圖像中的每個(gè)連通區(qū)域分配一個(gè)唯一的編號(hào)，這樣的圖像成為標(biāo)注圖像。得到各個(gè)編號(hào)區(qū)域，就能計(jì)算區(qū)域的面積，中重心，圓度，外接/內(nèi)切圓半徑等特征參數(shù)，以供所需區(qū)域的選擇，本例采用面積特征進(jìn)行選擇，得到目標(biāo)模版圖像2. 目標(biāo)分類目標(biāo)分類是對(duì)得到的不同目標(biāo)進(jìn)行區(qū)分并將其歸為某一已知類的過程。對(duì)于圖像目標(biāo)來說通常利用圖像特征來對(duì)目標(biāo)進(jìn)行描述，然后再對(duì)其分類，目標(biāo)分類是目標(biāo)識(shí)別過程中的重要步驟目前已經(jīng)廣泛應(yīng)用于圖像分割，目標(biāo)識(shí)別，變

24、化檢測(cè)，字符識(shí)別等場(chǎng)合。根據(jù)待分類目標(biāo)的外形，可將分類任務(wù)分為兩類。第一類是針對(duì)搜索目標(biāo)外形固定，并且不同類型目標(biāo)的特征區(qū)域明顯，這種情況可以采用模版匹配的方法對(duì)其進(jìn)行分類，第二類是針對(duì)目標(biāo)外形不是特別明顯，人工無法選擇出合適的分類方法對(duì)其進(jìn)行分類，這種情況下就需要利用已知類型信息的目標(biāo)圖像對(duì)分類器進(jìn)行訓(xùn)練，讓分類器對(duì)后續(xù)的圖像進(jìn)行分類。常用的分類器有三種，分別是基于多層感知分類器MLP，基于支持向量機(jī)分類器SVM，基于高斯混合模型分類器GMM，本文采用MLP分類器，具體步驟為：圖X 目標(biāo)分類的一般步驟首先創(chuàng)建某一類型的分類器，然后對(duì)一直目標(biāo)進(jìn)行分析，得到描述該類型目標(biāo)的特征向量，然后利用特征

25、向量對(duì)分類器進(jìn)行訓(xùn)練，得到判別函數(shù)，這時(shí)分類器就獲得了分類的原則，然后對(duì)后續(xù)的未知目標(biāo)進(jìn)行分類，同樣也需要對(duì)目標(biāo)進(jìn)行特征提取得到特征向量，然后利用分類器對(duì)向量進(jìn)行計(jì)算，得到分類結(jié)果。這里使用的是OpenCV或者Halcon中提供的分類器3圖像匹配 用創(chuàng)建模版圖像的方法可以用于檢測(cè)圖像來確定目標(biāo)的位置，但是通過圖像分割的方法來得到一個(gè)穩(wěn)定的目標(biāo)識(shí)別系統(tǒng)是非常困難的。例如背景發(fā)生拜年話，目標(biāo)被部分遮擋，目標(biāo)與攝像機(jī)間距離變化，多個(gè)目標(biāo)出現(xiàn)等都導(dǎo)致分割的困難，而圖像匹配可以解決這些問題。圖像匹配是指利用已知的目標(biāo)模式，對(duì)不同時(shí)刻或視角下拍攝的兩幅圖像間尋找相同或相近的目標(biāo)模式，使期望的目標(biāo)建立起對(duì)應(yīng)

26、關(guān)系的過程，圖像匹配算法按照特征選擇層次的不同分為兩大類， 基于灰度值相關(guān)的匹配是利用圖像的直接灰度值特征，其計(jì)算過程為：移動(dòng)模版至待匹配圖像的各個(gè)位置，計(jì)算每個(gè)位置時(shí)模版本身與所覆蓋區(qū)域的相似性計(jì)算值，將得到的一系列計(jì)算值進(jìn)行比較，極值處便是目標(biāo)所在的位置。這種方法計(jì)算量大，達(dá)不到實(shí)時(shí)性要求，并且不能適應(yīng)光照條件變化、尺度變化，遮擋等情況，為了解決實(shí)時(shí)性要求，采用基于圖像特征的匹配方法，這種匹配方法有很好的魯棒性，基于特征的匹配是指，對(duì)模版圖像和匹配圖像分別進(jìn)行特征提取，用相似性度量函數(shù)計(jì)算對(duì)應(yīng)特征之間的相似程度的匹配方法，特征的選擇有很多，一般來說灰度變化大的地方是信息量最豐富的地方，比如

27、，角點(diǎn)，輪廓，邊緣，直線，紋理等。本文采用的是基于形狀匹配的方法，該方法是多種技術(shù)的綜合，既用到了金字塔匹配模型，也用到了圖像的輪廓特征，該方法的一般流程如圖，匹配后得到目標(biāo)在圖像中的位置坐標(biāo)如下表：序號(hào)目標(biāo)個(gè)數(shù)坐標(biāo)角度準(zhǔn)確度11（289.042，311.058）-0.0005298.36521（145.325，178.698）6.3254199.452.圖X.基于形狀匹配的步驟4. 目標(biāo)跟蹤目標(biāo)跟蹤是一個(gè)對(duì)運(yùn)動(dòng)目標(biāo)或者運(yùn)動(dòng)相機(jī)采集到的圖像序列進(jìn)行連續(xù)確定目標(biāo)位置的過程，目標(biāo)定位是目標(biāo)跟蹤的基礎(chǔ)，通過跟蹤能夠得到目標(biāo)的運(yùn)動(dòng)軌跡從而可以對(duì)將來目標(biāo)出現(xiàn)的位置進(jìn)行預(yù)測(cè)，通過軌跡能夠得到目標(biāo)的速度和加

28、速度，從而可以為運(yùn)動(dòng)學(xué)研究提供一種測(cè)量手段。此外，通過目標(biāo)跟蹤可以對(duì)預(yù)先設(shè)定好出現(xiàn)范圍和形狀的目標(biāo)進(jìn)行監(jiān)視，如果其出現(xiàn)范圍或者形狀發(fā)生變化時(shí)，便發(fā)出相應(yīng)的報(bào)警信號(hào)。目標(biāo)跟蹤可以分為兩大方法：第一類是基于邊緣特征的方法;第二類是基于目標(biāo)內(nèi)部投影點(diǎn)信息的方法，如光流法，模版匹配法。本位采用第二類中的模版匹配方法，由于匹配計(jì)算量較大，可采用以下途徑減少運(yùn)算量：首先計(jì)算第一副圖像中目標(biāo)的位姿，由于目標(biāo)運(yùn)動(dòng)的連續(xù)性，對(duì)得到的位姿進(jìn)行限制，定義一個(gè)跟蹤范圍圓（下一個(gè)目標(biāo)可能出現(xiàn)的區(qū)域），然后在指定范圍內(nèi)對(duì)后續(xù)圖像進(jìn)行目標(biāo)匹配。由于本文采用的傳送帶運(yùn)動(dòng)狀態(tài)為勻速直線運(yùn)動(dòng)，因此只要計(jì)算出目標(biāo)的速度和位置便能寫

29、出軌跡方程來。定義參考坐標(biāo)系：在傳送帶上定義參考坐標(biāo)系的目的，是為了將目標(biāo)位姿與機(jī)器人基坐標(biāo)系聯(lián)系起來。參考坐標(biāo)系的X軸與傳送帶中線重合，方向指向目標(biāo)運(yùn)動(dòng)方向，y軸指向機(jī)器人一側(cè)，Z軸垂直于傳送帶平面向上。左側(cè)方框區(qū)域代表相機(jī)的視野范圍，右側(cè)外圓區(qū)域?yàn)闄C(jī)器人工作空間范圍，內(nèi)圓區(qū)域代表機(jī)器人工作空間與傳送帶在平面相交區(qū)域。工件從左側(cè)進(jìn)入，在計(jì)時(shí)起點(diǎn)處開始計(jì)時(shí)。相機(jī)對(duì)經(jīng)過計(jì)時(shí)起點(diǎn)的目標(biāo)進(jìn)行連續(xù)拍照，估算出目標(biāo)重心在參考坐標(biāo)系中的坐標(biāo)和速度。在進(jìn)行實(shí)驗(yàn)之前通過離線測(cè)量的方法，得到參考坐標(biāo)系與機(jī)器人基座之間的相對(duì)位姿，同樣可以計(jì)算出參考坐標(biāo)系在攝像機(jī)坐標(biāo)系下的位姿由離線測(cè)量得到的位姿關(guān)系和，可以計(jì)算出

30、機(jī)器人基座于攝像機(jī)之間的位姿矩陣。然后通過目標(biāo)定位得到目標(biāo)的位姿，再計(jì)算出目標(biāo)重心相對(duì)于參考坐標(biāo)系的位姿，由可以得到目標(biāo)重心的坐標(biāo)（），過重心點(diǎn)做一條平行于參考坐標(biāo)系x軸的直線，與機(jī)器人工作空間區(qū)域相交與兩點(diǎn)：，。這兩點(diǎn)便是目標(biāo)進(jìn)出工作空間的坐標(biāo)點(diǎn)。由這兩點(diǎn)結(jié)合運(yùn)動(dòng)速度就可以計(jì)算出目標(biāo)何時(shí)進(jìn)入和離開機(jī)器人的工作空間范圍，在這個(gè)時(shí)間段中選擇任一時(shí)刻即可對(duì)目標(biāo)進(jìn)行抓取。目標(biāo)速度V的計(jì)算，可以在攝像機(jī)視野內(nèi)，取間隔10張的兩幅圖像，計(jì)算目標(biāo)中心在運(yùn)動(dòng)方向的位移，除以拍攝這10張圖像所經(jīng)歷的時(shí)間，即可得到目標(biāo)的速度。1.5.6IRB120型機(jī)器人控制工業(yè)機(jī)器人的控制方法分類：分類依據(jù)類型特點(diǎn)根據(jù)控制量

31、所處空間關(guān)節(jié)空間運(yùn)動(dòng)規(guī)劃和控制對(duì)象為各個(gè)關(guān)節(jié)角，是其他控制方法的基礎(chǔ)笛卡爾空間在關(guān)節(jié)空間控制的基礎(chǔ)上實(shí)現(xiàn)通過給定路徑上各點(diǎn)出的位姿，來保證運(yùn)動(dòng)的確定性根據(jù)控制量位置以末端執(zhí)行器的位置為被控對(duì)象，在三維空間或者關(guān)節(jié)空間對(duì)機(jī)器人進(jìn)行控制速度使任務(wù)動(dòng)作以指定的速度進(jìn)行，例如目標(biāo)跟蹤過程加速度考慮到機(jī)器人的慣性負(fù)載，對(duì)加速段和減速段之間的過度進(jìn)行規(guī)劃，使之運(yùn)行平穩(wěn)力（力矩）考慮到目標(biāo)抓取時(shí)的握緊力或者使用工具時(shí)的力矩等因素根據(jù)控制算法PID控制由比例、積分和微分單元構(gòu)成，理論成熟自適應(yīng)控制系統(tǒng)的舒服發(fā)生變化或者收到干擾時(shí)，系統(tǒng)通過改變自身參數(shù)來自我調(diào)節(jié)，使輸出仍滿足性能要求神經(jīng)網(wǎng)絡(luò)控制屬于黑箱控制，具

32、有較好的學(xué)習(xí)能力本研究所完成的內(nèi)容屬于較為簡(jiǎn)單的抓取任務(wù)，所以使用位置控制方法就能滿足要求2. 機(jī)器人抓取運(yùn)動(dòng)規(guī)劃 機(jī)器人抓取運(yùn)動(dòng)規(guī)劃包括路徑規(guī)劃和手部抓取方式規(guī)劃。路徑規(guī)劃是研究按照何種路徑，將機(jī)器人手部坐標(biāo)系原點(diǎn)與目標(biāo)抓取坐標(biāo)系原點(diǎn)重合的問題；抓去店規(guī)劃是針對(duì)不同形狀的物體，如何選擇合適夾持點(diǎn)位置的問題路徑點(diǎn)動(dòng)作目標(biāo)P0INIT初始位置P1MOVE到達(dá)P1GRASP抓取P2MOVE提升P3MOVE移至待放置位置上方P4MOVE到達(dá)放置位置P4RELEASE松開P5MOVE提升P0MOVE回位 1.6本課題的重點(diǎn)難點(diǎn)實(shí)時(shí)性是在線抓取的一項(xiàng)重要指標(biāo)，算法的速度是必須考慮的，因?yàn)樵诠I(yè)生產(chǎn)線中，

33、速度性能是最重要的指標(biāo)，工件分揀的要求更是嚴(yán)格，要求算法識(shí)別的速度相當(dāng)快，這樣才能帶來經(jīng)濟(jì)效益，所以如何在傳送帶速度比較高的情況下仍然保持識(shí)別定位的準(zhǔn)確性是本課題的一個(gè)難點(diǎn)，定位精度也是一個(gè)重點(diǎn)，這直接關(guān)系到機(jī)械手能否在正確的時(shí)間間隔內(nèi)運(yùn)動(dòng)到指定位置進(jìn)行有效抓取，如何對(duì)算法進(jìn)行優(yōu)化從而提高定位算法的定位精度，也是本次研究的一個(gè)重點(diǎn)和難點(diǎn)參考文獻(xiàn)1 畢勝.國內(nèi)外工業(yè)機(jī)器人的發(fā)展現(xiàn)狀.機(jī)械工程師，2008，07：57.2 吳振彪，王正家（第一版）.工業(yè)機(jī)器人.武漢：華中科技大學(xué)出版社，2006.79.3 蔡鶴皋.機(jī)器人技術(shù)的發(fā)展與在制造業(yè)中的應(yīng)用.機(jī)械制造與自動(dòng)化，2004，33(1)674 張廣

34、軍.機(jī)器視覺.北京:科學(xué)出版社，2005.1，3436，38455 權(quán)歡歡，張洛平.裝配線零件圖像識(shí)別與系統(tǒng)實(shí)現(xiàn)：(碩士學(xué)位論文). 河南：河南科技大學(xué)，2008.6 Rahardja K. Kosaka A. Vision-based bin-picking: recognition and localization of multiple complex objects using simple visual cues. Robot Vision Lab., Purdue Univ., West Lafayette, IN;7 徐方.工業(yè)機(jī)器人產(chǎn)業(yè)現(xiàn)狀與發(fā)展.機(jī)器人技術(shù)與應(yīng)用，2007. 5：24.8 趙臣，王剛.我國工業(yè)機(jī)器人產(chǎn)業(yè)發(fā)展的現(xiàn)狀調(diào)研報(bào)告.機(jī)器人技術(shù)與應(yīng)用，2009，2：813.9 徐方，鄒風(fēng)山，鄭春暉.新松機(jī)器人產(chǎn)業(yè)發(fā)展及應(yīng)用.機(jī)器人技術(shù)與應(yīng)用，2011，(5)：1418.10 倪受東，袁祖強(qiáng)，文巨峰.冗余自由度機(jī)器人機(jī)構(gòu)學(xué)研究現(xiàn)狀.南京工業(yè)大學(xué)學(xué)報(bào)，2002,24(4)：107110.11楊賀然.基于機(jī)器視覺的移動(dòng)目標(biāo)機(jī)器人抓取研究 （碩士學(xué)位論文）北京：北京化工大學(xué)200812吳源遠(yuǎn).高速分揀機(jī)械手視覺識(shí)別技術(shù)研究D.無錫：江南大學(xué)，200920驕陽書屋#