基于視覺的工業(yè)機械手定位抓取系統(tǒng)虛擬實驗開發(fā),基于,視覺,工業(yè),機械手,定位,抓取,系統(tǒng),虛擬,實驗,試驗,開發(fā) 摘要 工業(yè)機器人是面向工業(yè)領(lǐng)域的，集多學科先進技術(shù)于一體的機電一體化自動化裝備。工業(yè)機器人的設計與制造是一個非常復雜的過程，涉及的技術(shù)和領(lǐng)域很多，主要包括系統(tǒng)化、感知技術(shù)、識別處理能力、傳動技術(shù)等。 本文首先介紹國內(nèi)外工業(yè)機器人的發(fā)展過程、現(xiàn)狀及趨勢，簡單介紹機器人仿真系統(tǒng)的應用。介紹了六自由度關(guān)節(jié)式機器人組件和結(jié)構(gòu)類型，建立了機器人結(jié)構(gòu)模型，給出設計方案，以及機械結(jié)構(gòu)三維設計。其次研究六自由度關(guān)節(jié)式機器人仿真系統(tǒng)的開發(fā)，選擇較優(yōu)的仿真開發(fā)平臺---Labview，并建立工業(yè)機械手模型，完成仿真動作，并舉例實現(xiàn)這一研究。 再者完成視覺技術(shù)的開發(fā)，建立目標物的位姿坐標系，在 LabVIEW 環(huán)境下搭建模擬仿真機械手定位抓取平臺， 并結(jié)合 LabVIEW 環(huán)境中 mathscript 添加了圖像處理，邊緣檢測，矩形標定法以及幾何計算等 MATLAB 算法程序，對于規(guī)則三維物體，根據(jù)識別出的目標物的形狀、尺寸和位置信息；搭建工作臺需要一款工業(yè)相機及目標物組成的實驗平臺。對該系統(tǒng)建立坐標系，進行攝像標定、目標物形狀尺寸和位姿識別。最后利用matlab 工具箱求解雅克逆矩陣解，求得各個關(guān)節(jié)的運動角度完成抓取過程。本文研究成果為工業(yè)自動化中應用 視覺引導機器人識別抓 取三維物體提供了實踐意義的借鑒。 關(guān)鍵詞： 位置標定；圖像處理； 視覺識別；Labview 仿真開發(fā) I ABSTRACT Industrial robots are mechanical and electrical integration automation equipment that is oriented to the industrial field and incorporates multidisciplinary and advanced technologies. The design and manufacture of industrial robots is a very complex process involving many technologies and areas, including systematization, sensing technology, identification processing capabilities, and transmission technologies. This article first introduces the development process, status and trends of industrial robots at home and abroad, and briefly introduces the application of robot simulation systems. The six-degree-of-freedom articulated robot components and structure types are introduced. The robot structure model is established, the design scheme is given, and the three-dimensional design of the mechanical structure is presented. Secondly, the development of the six-degree-of-freedom articulated robot simulation system was studied. Labview, the best simulation development platform, was selected. The industrial manipulator model was established, the simulation was completed, and an example was implemented. In addition, the development of vision technology was completed, the coordinate system of the object's pose was established, and a simulation robot's positioning and grabbing platform was set up in the LabVIEW environment. In addition, image processing, edge detection, rectangular calibration method, and geometric calculation were added to mathscript in the LabVIEW environment. Such as MATLAB algorithm program, for the regular three-dimensional objects, according to the shape, size and position information of the identified target object; to build a work table requires an experimental platform composed of an industrial camera and a target object. A coordinate system is established for the system to perform camera calibration, object shape size and pose recognition. Finally, using the Matlab toolbox to solve Jaco's inverse matrix solution, the motion angle of each joint is completed. The research results of this paper provide a practical reference for the application of vision guided robots in industrial automation to capture three-dimensional objects. Keywords: 3D simulation; position calibration; image processing; industrial robot II 目錄 摘要 I ABSTRACT II 1. 緒論 1 1.1 概述 1 1.2 發(fā)展前景及方向 1 1.3 機器人的視覺引導控制 3 1.4 本文設計內(nèi)容 3 2. 2 抓取機器人設計 1 2.1 控制系統(tǒng)構(gòu)成 2 2.2 機械結(jié)構(gòu)三維設計 3 2.3 定位抓取結(jié)構(gòu)設計 3 2.4 機械手視覺抓取系統(tǒng)原理 4 2.5 基于視覺抓取硬件選型 5 3. 3 仿真系統(tǒng)開發(fā) 9 3.1 開發(fā)平臺選擇 9 3.2 工業(yè)機械手模型的建立 9 3.3 動作控制的實現(xiàn) 10 4. 4 視覺識別技術(shù)的開發(fā) 14 4.1 視覺識別技術(shù)理論研究 14 4.2 位置坐標系的建立 18 4.3 基于 Matlab 的開發(fā)技術(shù) 20 5. 5 結(jié)論 23 參考文獻 24 致謝 42 I 基于視覺的機械手定位抓取研究虛擬實驗開發(fā) 1. 緒論 1.1 概述 機械手是一種模擬人手操作的自動機械。它可按固定程序抓取、搬運物件或操持工具完成某些特定操作。應用機械手可以代替人從事單調(diào)、重復或繁重的體力勞動，實現(xiàn)生產(chǎn)的機械化和自動化，代替人在有害環(huán)境下的手工操作，改善勞動條件，保證人身安全，因而廣泛應用于機械制造、冶金、電子、輕工和原子能等部門。 20 世紀 40 年代后期，美國在原子能實驗中，首先采用機械手搬運放射性材料，人在安全間操縱機械手進行各種操作和實驗。50 年代以后，機械手逐步推廣到工業(yè)生產(chǎn)部門，用于在高溫、污染嚴重的地方取放工件和裝卸材料，也作為機床的輔助裝置在自動機床、自動生產(chǎn)線和加工中心中應用，完成上下料或從刀庫中取放刀具并按固定程序更換刀具等操作。 機械手主要由手部和運動機構(gòu)組成。手部是用來抓持工件（或工具）的部件， 根據(jù)被抓持物件的形狀、尺寸、重量、材料和作業(yè)要求而有多種結(jié)構(gòu)形式，如夾持型、托持型和吸附型等。運動機構(gòu)，使手部完成各種轉(zhuǎn)動（擺動）、移動或復合運動來實現(xiàn)規(guī)定的動作，改變被抓持物件的位置和姿勢。運動機構(gòu)的升降、伸縮、旋轉(zhuǎn)等獨立運動方式，稱為機械手的自由度。為了抓取空間中任意位置和方位的物體，需有 6 個自由度 。自由度是機械手設計的關(guān)鍵參數(shù) 。自由 度越多， 機械手的靈活性越大，通用性越廣，其結(jié)構(gòu)也越復雜。一般專用機械手有 2～3 個自由度。 機械手的種類，按驅(qū)動方式可分為液壓式、氣動式、電動式、機械式機械手； 按適用范圍可分為專用機械手和通用機械手兩種；按運動軌跡控制方式可分為點位控制和連續(xù)軌跡控制機械手等。 機械手通常用作機床或其他機器的附加裝置，如在自動機床或自動生產(chǎn)線上裝卸和傳遞工件，在加工中心中更換刀具等，一般沒有獨立的控制裝置。有些操作裝置需要由人直接操縱，如用于原子能部門操持危險物品的主從式操作手也常稱為機械手。 1.2 發(fā)展前景及方向 工業(yè)機器人已廣泛應用于汽車及汽車零部件制造業(yè)、機械加工行業(yè)、電子電氣行業(yè)、橡膠及塑料工業(yè)、食品工業(yè)、木材與家具制造業(yè)等領(lǐng)域中;并開始擴大 5 到國防軍事、醫(yī)療衛(wèi)生、生活服務等領(lǐng)域，如無人偵察機、警備機器人、醫(yī)療機器人、家政服務機器人等均有應用實例，當前我國工業(yè)機器人產(chǎn)業(yè)已初具規(guī)模。其主要發(fā)展方向： 1 重復高精度 精度是指機器人、機械手到達指定點的精確程度, 它與驅(qū)動器的分辨率以及反饋裝置有關(guān)。重復精度是指如果動作重復多次, 機械手到達同樣位置的精確程度。重復精度比精度更重要, 如果一個機器人定位不夠精確, 通常會顯示一個固定的誤差, 這個誤差是可以預測的, 因此可以通過編程予以校正。重復精度限定的是一個隨機誤差的范圍, 它通過一定次數(shù)地重復運行機器人來測定。隨著微電子技術(shù)和現(xiàn)代控制技術(shù)的發(fā)展,機械手的重復精度將越來越高, 它的應用領(lǐng)域也將更廣闊, 如核工業(yè)和軍事工業(yè)等。 2 模塊化 有的公司把帶有系列導向驅(qū)動裝置的機械手稱為簡單的傳輸技術(shù), 而把模塊化拼裝的機械手稱為現(xiàn)代傳輸技術(shù)。模塊化拼裝的機械手比組合導向驅(qū)動裝置更具靈活的安裝體系。它集成電接口和帶電纜及油管的導向系統(tǒng)裝置, 使機械手運動自如。模塊化機械手使同一機械手可能由于應用不同的模塊而具有不同的功能, 擴大了機械手的應用范圍, 是機械手的一個重要的發(fā)展方向。 3 機電一體化 由“可編程序控制器- 傳感器- 液壓元件”組成的典型的控制系統(tǒng)仍然是自動化技術(shù)的重要方面;發(fā)展與電子技術(shù)相結(jié)合的自適應控制液壓元件, 使液壓技術(shù)從“開關(guān)控制”進入到高精度的“反饋控制”; 省配線的復合集成系統(tǒng), 不僅減少配線、配管和元件, 而且拆裝簡單, 大大提高了系統(tǒng)的可靠性。而今, 電磁閥的線圈功率越來越小, 而 PLC 的輸出功率在增大, 由 PLC 直接控制線圈變得越來越可能。 隨著科學與技術(shù)的發(fā)展, 機械手的應用領(lǐng)域也不斷擴大.目前, 機械手不僅應用于傳統(tǒng)制造業(yè)如采礦,冶金,石油,化學,船舶等領(lǐng)域,同時也已開始擴大到核能, 航空,航天,醫(yī)藥,生化等高科技領(lǐng)域以及家庭清潔,醫(yī)療康復等服務業(yè)領(lǐng)域中.如,水下機器人,拋光機器人,打毛刺機器人,擦玻璃機器人,高壓線作業(yè)機器人,服裝裁剪機器人,制衣機器人,管道機器人等特種機器人以及掃雷機器人,作戰(zhàn)機器人,偵察機器人,哨兵機器人,排雷機器人,布雷機器人等軍用機器人都是機械手應用的典型。機械手廣泛應用于各行各業(yè).而且,隨著人類生活水平的提高及文化生活的日益豐富多彩,未來各種專業(yè)服務機器人和家庭用消費機器人將不斷貼近人類生活, 其市場將繁榮興旺 1.3 機器人的視覺引導控制 工業(yè)機器人產(chǎn)品，由于其成熟的設計理論，各種機器人的優(yōu)劣就取決于各自的硬件控制。而相關(guān)的控制器在目前的技術(shù)理論條件下已經(jīng)能夠提供各種安全有保證的控制策略，比如直線插補、關(guān)節(jié)插補、圓弧插補等運動，這類運動可以使我們更好的規(guī)劃機器人的動作軌跡，使其在運動過程中更加美觀。只要給定執(zhí)行件需要的運動方位及其相關(guān)參數(shù)，如速度，時間等信息，控制器就能夠相應的控制機器人做出我們預期的目標動作。因而在設計機器人的動作抓取時，研究者不用擔心如何改進和調(diào)整這些成熟的運動控制技術(shù)。主要的研究難點集中于以下三個方面: （1） 如何從攝像機捕獲的圖像中分辨出我們需要獲得的被檢測物的三維 信息; （2） 如何快速的確定被抓取物與機械手之間的相互位置以及被抓取物的 位姿狀態(tài); （3） 如何規(guī)劃機械手手爪的抓取動作，保證其穩(wěn)定性和可靠性。 簡單地講，第一點就是需要設計如何讓機器人知道將要抓取的是何種形狀的物體， 第二點就是需要讓機器人知道將要抓取的物體在何種位置，第三點就是控制機器人如何穩(wěn)定地抓取物件。計算機視覺具有可以處理大量信息，可以實現(xiàn)無損檢測，檢測范圍廣，精度高等特點，隨著近年來其在工業(yè)機器人領(lǐng)域的廣泛應用， 較大地推動了機械生產(chǎn)的自動化、智能化。目前的檢測手段有很多種，機器視覺以其接近人類觀察特性的特點，被研究者廣為青睞，尤其是在識別、檢測領(lǐng)域更是發(fā)展迅速。 1.4 本文設計內(nèi)容 首先，了解國內(nèi)外工業(yè)機器人的發(fā)展過程、現(xiàn)狀及趨勢，簡單介紹機器人仿真系統(tǒng)的應用。了解六自由度關(guān)節(jié)式機器人組件和結(jié)構(gòu)類型，建立了機器人結(jié)構(gòu)模型，給出設計方案，以及機械結(jié)構(gòu)三維設計。并研究六自由度關(guān)節(jié)式機器人仿真系統(tǒng)開發(fā)， 選擇較優(yōu)的仿真開發(fā)平臺，建立工業(yè)機械手模型，完成仿真動作，并舉例實現(xiàn)這一研究。然后完成視覺技術(shù)的開發(fā)，建立目標物的位姿坐標系，利用 MATLAB 完成對圖像的采集和特征提取處理。 最后完成對本次論文內(nèi)容的總結(jié) （1） 機器人設計 u 完成機械手結(jié)構(gòu)設計，了解其工作原理，畫出 SolidWorks 圖。 u 完成機械手控制系統(tǒng)設計，利用 Labview 完成仿真。 （2） 工業(yè)機器人相關(guān)理論研究 u 完成視覺特征提取模型 u 控制系統(tǒng)流程圖 u 控制系統(tǒng)硬件選擇 (3) 軟件系統(tǒng)的開發(fā)： u 控制系統(tǒng)設計及虛擬仿真 u Matlab 對視覺的預處理 u MATLAB 程序編寫 基于視覺的工業(yè)機械手定位抓取系統(tǒng)虛擬實驗開發(fā) 2. 抓取機器人設計 本文設計的工業(yè)器人應用于抓取工業(yè)零件來增加效率，機器人在工作時需要滿足在其活動范圍內(nèi)能達到任意的位姿，通過收集各種類型抓取機器人的資料并分享比較的其優(yōu)缺點后，確定選擇六自由度關(guān)節(jié)型機器人，其機械結(jié)構(gòu)如圖 2.1 所機器人具有六個自由度。 ? 圖 2.1 六自由度機器人 其中自由度分別是腰關(guān)節(jié)的移動和轉(zhuǎn)動、大臂的擺動、小臂的擺動和腕部的轉(zhuǎn)動，都為關(guān)節(jié)連接，采用六自由度串聯(lián)關(guān)節(jié)式結(jié)構(gòu)，其結(jié)構(gòu)如圖 2.2 所示。機器人的六個關(guān)節(jié)均為轉(zhuǎn)動關(guān)節(jié)，第二、三、五關(guān)節(jié)作俯仰運動，第一、四、六關(guān)節(jié)作回轉(zhuǎn)運動。機器人后三個關(guān)節(jié)軸線相交與一點，為腕關(guān)節(jié)的原點，前 3 個關(guān)節(jié)可以確 定腕關(guān)節(jié)原點的位置，后 3 個關(guān)節(jié)可以確定末端執(zhí)行器的位姿。第 6 關(guān)節(jié)預留適配接口，用來安裝不同的工具或接頭(如手爪)以適應不同的工業(yè)需求和任務。 圖 2.2 六自由度機器人機構(gòu) 43 2.1 控制系統(tǒng)構(gòu)成 完整的機器人結(jié)構(gòu)由三大部分和六個子系統(tǒng)組成如 2.3 所示。三大部分分別是機械、傳感和控制部分。六個子系統(tǒng)是驅(qū)動、機械結(jié)構(gòu)、感受、機器人環(huán)境交換、人機交換和控制系統(tǒng)。驅(qū)動系統(tǒng)，主要功能要機器人運作起來，各需各個關(guān)節(jié)即每個運動自由度安置傳動裝置。 圖 2.3 機器人構(gòu)成 控制系統(tǒng)的任務是根據(jù)機器人的作業(yè)指令程序以及傳感器反饋回來的信號支配機器人的執(zhí)行機構(gòu)去完成規(guī)定的運動和功能。其組成為 CPU、示教盒:、操作面板、硬盤和軟盤存儲存 、數(shù)字和模擬量輸入輸出、打印機接口 、傳感器接口、軸控制器 、輔助設備。機器人控制系統(tǒng)多采用分布式結(jié)構(gòu)，即上一級主控計算機負責整個系統(tǒng)管理以及坐標變換和軌跡插補運算等;下一級由許多微處理器組成，每一個微處理器控制一個關(guān)節(jié)運動，它們并行地完成控制任務。因而能提高整個控制系統(tǒng)的工作速度和處理能力。分布式控制系統(tǒng)具有開放性特點，可以根據(jù)需要增加更多的處理器，以滿足傳感器處理和通信的需要。如圖 2.4 所示。 圖 2.4 總控制流程圖 2.2 機械結(jié)構(gòu)三維設計 機器人型號選擇是實現(xiàn)機器人完成任務準確定位的重要因素之一，由實際的工業(yè)生產(chǎn)效況中抓取零件的幾何尺寸和物理化學性能以及抓取的速率和效果來選取較優(yōu)的機械臂和機械手。其中按機器人結(jié)構(gòu)形式一般工業(yè)機器人為 6 個自由度前三個稱為手臂機構(gòu),后三個稱為手腕機構(gòu)。根據(jù)手臂機構(gòu)的運動不同形式的組合得到不同的機器人機構(gòu)形式?？煞譃椋褐苯亲鴺耸?PPP)，圓柱坐標式(RPP），球坐標式(RRP)。根據(jù)實際零件大小以及抓取條件。本系統(tǒng)使用的是六自由度關(guān)節(jié)機器人如SolidWorks 圖 2.5 所示。 圖 2.5 SolidWorks 三維圖 其中機械臂的運動性能如下: S 旋轉(zhuǎn)軸 動作范圍 -90°到 +90°最大速度 185°/秒L 下臂軸 動作范圍 +50°到 -100°最大速度 185°/秒U 上臂軸 動作范圍 +5°到 +163°最大速度 185°/秒 R 手腕旋轉(zhuǎn)軸動作范圍 -360°到 +360°最大速度 360°/秒B 手腕擺動軸動作范圍 -360°到 +360°最大速度 410°/秒T 手腕回轉(zhuǎn)軸動作范圍 -360°到 +360°最大速度 500°/秒 2.3 定位抓取結(jié)構(gòu)設計 執(zhí)行機構(gòu)的設計。執(zhí)行機構(gòu)是機器人完成工作任務的機械實體。機械手臂：由桿件機構(gòu)和關(guān)節(jié)機構(gòu)組成空間開鏈機構(gòu)，又可以分為機座腰部臂部肩和肘腕部。機器人末端執(zhí)行器的種類有很多, 以適應機器人的不同作業(yè)及操作要求。 在 設計末端執(zhí)行器時,應注意如下幾點: 1) 機械爪是根據(jù)機器人作業(yè)要求來設計的。新的機械爪的出現(xiàn)可以增加一種機 器人新的應用場所，可以拾取不同種目標物。 2) 要求機械爪重量輕結(jié)構(gòu)緊湊，滿足工作強度需求。 3) 要求在夾持工件時，應有一定的形狀約束，保證工件在夾緊過程中停止和加載且不改變姿態(tài)。當松開工件時，應完全松開。機械爪可分為圓弧開口式 圓弧平行開閉式和直線平行開閉式。本設計選用弧形開閉型。這種類型是由傳動機構(gòu)驅(qū)動的。指尖的運動軌跡是圓弧，兩只手是圓弧圍繞分支點移動。這種夾持器對工件夾持部的尺寸有嚴格的要求，否則會使工件處于無序狀態(tài)。其結(jié)構(gòu)如圖 2.6 所示。 圖 2.1 雙齒輪爪 2.4 機械手視覺抓取系統(tǒng)原理 機械手視覺抓取系統(tǒng)是指利用動態(tài)視頻每一幀獲取圖像信息，在將獲取的每一幀圖像經(jīng)過系統(tǒng)的處理，提取有用的特征，同時完成對這些特征信息的分析處理， 并根據(jù)最終的結(jié)果來控制外界機械動作。本文設計的機器視覺的工作原理為:首先通過照明系統(tǒng)將目標物成像到攝像機上;然后將像機將圖像傳感器接收到的光學圖像轉(zhuǎn)化為計算機能夠處理的電信號，并整合給圖像處理系統(tǒng);接著系統(tǒng)對這些電信號進行處理得到特征信息;最后將得到的電信號輸出給計算機。具體見圖 2.7。 圖 2.7 總流程圖 由機械手視覺抓取系統(tǒng)的工作原理知，典型的基于視覺的機器人應用系統(tǒng)如下圖 2.8 所示：1 光源 2 TS、3 像機、4 HDMI、5 處理系統(tǒng)、6 控制單元、7 執(zhí)行機構(gòu)、 8 光電傳感器（觸發(fā)圖像采集器）,9 物件。其中圖 2.8 為總流程框架。 圖 2.8 機械手系統(tǒng)原理圖 2.5 基于視覺抓取硬件選型 在經(jīng)典的基于視覺的機械手抓取系統(tǒng)中，關(guān)鍵技術(shù)包括光源照明技術(shù)，相機， TS，圖像處理算法和執(zhí)行系統(tǒng)。光源照明技術(shù)在 機器視覺產(chǎn)品中，優(yōu)良的照明方案是整個系統(tǒng)完成既定任務的關(guān)鍵因素。優(yōu)良的光源和照明解決方案都具有以下特點： 盡可能地突出物體的特征。 （1）照明方案影響機器視覺系統(tǒng)采集的輸入數(shù)據(jù)的質(zhì)量。由于目前沒有通用 的機器視覺照明設備，所以對每個應用都有不同的照明方案。光源可分為可見光和不可見光，常見的幾種可見光源有白熾燈、水銀燈和鈉光燈等。從表 1 可以看出， LED：良好的顯色性，光譜范圍寬，穩(wěn)定時間長，光強度高。另外，高頻熒光燈具 有高發(fā)光強度和良好的性價比，并且經(jīng)常用于某些特殊場合。見表 2.1 光源特點比較。 表 2.1 光源對比 種類 顏色 壽命/h 亮度 特點 鹵素燈 白色/淺 5000~7000 很亮 發(fā)熱多 黃 熒光燈 白色/淺綠 LED燈 紅 / 黃 / 綠， HID燈 白色/淺藍  5000~7000 亮 便宜 60000~100000 較亮 發(fā)熱少 3000~7000 亮 持續(xù)光 2） 攝像機 CCD 技術(shù)具有體積小、重量輕、壽命長且抗沖擊、清晰度高等特點，在機器視覺中得到廣泛應用。見圖 2,9. 圖 2.9 CCD 攝像機 本文使用的是大華公司的 A5131CG75 工業(yè)相機，如圖 2.2 所示，其性能參數(shù)， 如表 2.2 所示。 表 2.2 CCD 工業(yè)相機參數(shù) 性能指標 參數(shù) 芯片 PYTHON 400 像素數(shù) 250萬 分辨率 1280*1024 幀率 100幀/秒 拉伸 7/10 顏色 彩色 供電方式 直流6-24V 尺寸 30mm*30mm*30mm 3） 光學鏡頭 本文選取 Pomeas 公司的特寫變倍鏡頭，如圖 2.10 所示，其參數(shù)如表 2.3 所示。 圖 2.10 特寫變倍鏡頭 表 2.3 鏡頭參數(shù)表 性能指標 參數(shù) 靶面尺寸 2/3 焦距(mm) 12 接口 C-接口 光圈 手動 變焦 手動 尺寸 33.5*28.2 4） 圖像采集卡 圖像采集卡是把攝像頭、VHS、DVD 機等模擬設備的信號導入的計算機內(nèi)；電腦攝像頭一般是 USB 接口，像素、線數(shù)、照度等參數(shù)達不到監(jiān)控級別，所以采集卡與監(jiān)控攝像頭做監(jiān)控；采集卡除了保存圖像信號，主要還是不同的采集卡有不同的壓縮算法，配合軟件，可以在保持高分辨率的前提下，壓縮數(shù)據(jù)料。使用圖像采集卡的原因是由于圖像信號數(shù)據(jù)量大，傳輸速度非常高，通用傳輸接口難以滿足要求。 其功能主要有:圖像信號接 收和 A / D 轉(zhuǎn)換模塊主要放大和數(shù)字化圖像信號主要是控制攝像頭實現(xiàn)同步或?qū)崿F(xiàn)異步復位拍照時等;總線接口主要通過 PC 的內(nèi)部總線， 高速傳輸數(shù)字數(shù)據(jù),并占用較少的 CPU 時間;實時顯示高質(zhì)量圖像的顯示模塊;通信接口完成相機和 PC 之間的通信。采集卡還有一個 DSP 數(shù)字處理模塊，可以進行高速圖像預處理。 3. 仿真系統(tǒng)開發(fā) 3.1 開發(fā)平臺選擇 隨著科技力量的壯大現(xiàn)階段的設計項目以及科學實驗的都需要借助虛擬儀器， 來減少實驗成本和準確性。虛擬儀器是軟件將計算機硬件資源與儀器硬件有機的融合為一體實現(xiàn)對數(shù)據(jù)的顯示、存儲以及分析處理。其特點具有開放性、靈活，可與計算機技術(shù)保持同步發(fā)展。本文開發(fā)的實驗平臺需要完成與 MATLAB 交互以及可以利用 SolidWorks 三維圖完成三維運動仿真。經(jīng)選擇比較后，本文選用 Labview 仿真平臺。LabVIEW 軟件是一種程序開發(fā)環(huán)境，由美國國家儀器公司研制開發(fā)，使用的是圖形化編輯語言 G 編寫程序，產(chǎn)生的程序是框圖的形式，系統(tǒng)性能升級方便，通過網(wǎng)絡下載升級程序既可，用戶可定義儀器功能。其簡潔的圖形化開發(fā)環(huán)境以及高可靠性和時間確定性等優(yōu)點得到了廣泛的應用。圖 3.1 為啟動界面 圖 3.1 啟動界面 3.2 工業(yè)機械手模型的建立 （1） 在運用 Labview 建立仿真平臺，需要將設計出來的機械手的零件圖：大臂，底板，底座，關(guān)節(jié) 1,2，小臂，爪頭，爪頭座：然后在 SolidWorks 形式下的文件另存為.wrl 形式如圖 3.2 轉(zhuǎn)為圖 3.3，并且儲存在開發(fā)的控制平臺之下。 圖 3.2 機械臂SolidWorks 版 圖 3.3 wrl 版 （2） 將 wrl 文件放入 labview 中仿真?zhèn)溆萌鐖D 3.4 （3） 從文件導入模型見圖 3.5 圖 3.4 導入后 圖 3.5 導入摸型 3.3 動作控制的實現(xiàn) （1） 添加各個 3D 控件從屬關(guān)系見下圖 3.6. 圖 3.6 從屬關(guān)系部件 （2） 添加各個 3D 控件位置關(guān)系關(guān)系，見下圖 3.7。 圖 3.7 空間位置控件 （3） 確定關(guān)節(jié)的各種運動，見下圖 3.8 圖 3.8 運動控件 （4） 添加角度控制控制旋鈕，見下圖 3.9 圖 3.9 角度數(shù)值控制按鈕 （5） 或者將第四章的 MATLAB 程序計算的結(jié)果，直接連接利用 LabVIEW MathScript 接口，完成對位置角度的確定。見下圖 3.10 (6)仿真系統(tǒng)實例，見圖 3.11 圖 3.10 圖 3.11 labview 仿真圖 （7） 鏈接好控制線路見圖 3.12. 圖 3.12 總控制圖 （8） 運動測試，見下圖 3.13. 圖 60 度 圖 90 度 圖 270 度 圖 330 度 圖 3.13 運動測試圖 （9） 機械手控制系統(tǒng)總綱，見下圖 3.14 機械手控制系統(tǒng) 移動系統(tǒng) 視覺系統(tǒng) 夾取系統(tǒng) 其它 照明控制 電源控制 圖像采集處理 電機控制器1 伺服驅(qū)動器 電機控制器2 電機控制器3 圖 3.14 機械手控制系統(tǒng) 4. 視覺識別技術(shù)的開發(fā) 4.1 視覺識別技術(shù)理論研究 本文選用 LabVIEW 作為核心的開發(fā)軟件進行三維運動的仿真，同時利用 Matlab 強大的運算能力完成復雜的運算和圖像處理。為驗證機器人運動學、軌跡規(guī)劃算法的正確性，首先解決圖像處理，通常的原圖像受現(xiàn)場環(huán)境的隨機干擾，需要對圖像進行二值化、濾波處理、提取邊緣等圖像處理。預處理后的圖像是為了便于計算機對圖像的分析和處理。流程圖見下圖 4.1 圖 4.1 流程圖 1）二值化:圖像的像素由 0（白）—255（黑）組成，將圖像上的像素點的值設置為 0 或 255，黑白化后圖像減少不必要的干擾數(shù)據(jù)，使圖像呈現(xiàn)出明顯的黑白效果，凸顯出目標物的形狀。原圖與處理結(jié)果見下圖 26-27 圖 4.2 原圖 圖 4.3 二值化圖 （2） 濾波平滑: 能夠抑制圖像中的噪聲或失真，抽出對象的特征，有效的克服波動干擾，當參數(shù)變量變化時將不適用。 （3） 邊緣提取: 基于邊緣灰度變分析，過濾掉不需要的信息，優(yōu)化圖像信息， 簡化處理工作。缺點是圖像上提取的邊緣易被破壞理想的目標圖像特征。而每一種傳統(tǒng)檢測算子在特定的環(huán)境下都有其獨特的優(yōu)點，因為攝像機拍攝的圖像為黑白， 不需要灰度處理，但檢側(cè)算子的微分計算處理易受噪聲等外界因素影響。圖像像素會有突變，提取邊緣與實際邊界不等同。，三維圖像到二維圖像可能會丟失部分重要信息。常用方法處理結(jié)果見圖 4.4，方法對比圖見表 4.1 所示。 圖 4.4 各種檢測算法對比 表 4.1 各種邊緣檢測算法對比表 算子 特點 適用范圍 Robert 定位精度高，對噪聲敏感 低噪聲 Prewitt 采用均值濾波，邊緣較寬 弧度漸變，低噪聲 Sobel 加權(quán)濾波，邊緣較寬 灰度漸變，低噪聲 LOG 各向同性，線性，位移不變 屋頂型邊緣檢測 Canny 小波邊緣檢測 高定位精度，低誤判斷高定位精度，低誤判斷 高噪聲圖像高噪聲圖像 (4) 矩形現(xiàn)實標定 中心點定位:圖像的矩是通過一定的公式計算出來的，一個矩除以其零階矩稱為中心矩。利用工具箱中的一個高級函數(shù) iblobs（Center）求最小外接矩形方法，可以 得到外接矩形在原坐標系下四個坐標點 P0 ,?P1,?P2 ,?P3 如圖 4.5 所示。類比質(zhì)心法，由 公式 1 可求得工件質(zhì)心 Center(X, Y) 。其中，n 表示坐標總數(shù)，x 表示第 i 個坐標點在 x 軸上的值，p 表示第 i 個坐標點在 y 軸上的值。 n ? Pi x X= i=0 n  n （4.1） ? Pi y X= i=0 n 圖 4.5 原圖標記 （5）MATLAB 程序求解并且標定矩形，見圖 4.6 圖 4.6 最小外接矩形 首先介紹圖像矩概念，圖像矩是一個內(nèi)涵豐富且可減少計算量的圖像特征類， 用它可以描述圖像區(qū)域的大小，形狀，和位置。圖像 I 的矩是一個標量。 mpq = ? (u,v)?I u pvq I[u, v]  （4.2） m10 其中，（p+q）是矩的階數(shù) 如果把一個函數(shù)圖像看成一個質(zhì)量分布體，則可以給圖像矩一個物理解釋。 假想圖像區(qū)域是一片金屬箔制作，其每一個元素都具有單位面積和單位質(zhì)量。區(qū)域的總質(zhì)量是質(zhì)量中心或區(qū)域形心是 uc = m10 m , vc = m01 m 00 00 其中m01 和m10 是一階矩。 利用上文處理后的圖像，結(jié)合本小節(jié)理論介紹，編寫 MATLAB 程序如下： Clear；clc [filename,pathname]=uigetfile({'*.jpg';'*bmp';'*gif';'*png'},'5.png'); I = imread([pathname,filename]); I=rgb2gray(I); I(I>200)=255; I(I~=255)=0; figure(1); subplot(121); imshow(I); title('原圖') [r c]=find(I==255); [rectx,recty,area,perimeter] = minboundrect(c,r,'a'); % 'a'是按面積算的最小矩形， 如果按邊長用'p' subplot(122) imshow(I);hold on; line(rectx,recty); title('二值化后畫最小外接矩形') (5) 結(jié)合本文研究的具體內(nèi)容，首先將獲取的圖像進行二值化處理，其次用濾波平滑過濾掉圖中噪點，再選擇合適的算子提取出圖像邊緣，最后通過圖像矩找出圖像中心點完成定位。對得到的數(shù)據(jù)進一步處理加工獲取符合實際生產(chǎn)需要的工件位置矢量信息。 4.2 位置坐標系的建立 抓取系統(tǒng)的設計以及任務的實現(xiàn)離不開位置的確定和坐標系的建立。其中坐標系中的位置和方向總稱為位姿，圖形上表示為一組坐標軸。位姿表示一個非常有用的屬性是其代數(shù)運算能力。本文采用文獻[3]方式建立相機坐標系、圖像坐標系、現(xiàn)實坐標系這三個坐標系且位置關(guān)系如圖 32 所示。我們的最終目的是要實現(xiàn)圖像坐標系和世界坐標系之間的轉(zhuǎn)換，將目標在圖像坐標系中的位置，轉(zhuǎn)換為目標在世界坐標系中的位置，見圖 4.7 圖 4.7 坐標系建立 為實現(xiàn)機器人的抓取操作，需要將圖像的像素坐標與物理坐標進行轉(zhuǎn)化。兩個 坐標軸 X 軸、Y 軸分別與 U 軸、V 軸平行，圖像中的任一像素點在圖像坐標系和物理坐標系下的變換關(guān)系方程如公式(4-4>所示 ìu = ? í x + u ü dx 0 ? y y  （4.5） ?v = + v0 ? ?? dy ?t ? 1 0 u ? éuù ? dx 0 ÷ éxù ? ÷ êv ú = ? 0 1 v ÷ êyú （4.6） ê ú ? dy 0 ÷ ê ú ê?1 ú? ? 0 0 1 ÷ ê?1 ú? ? ÷ è ? 本文研究建立的機器人的坐標系，分為以下四種: 1 機械手坐標系 以機械手為參考的坐標系，也稱機器人位姿坐標系，用來描述機器人抓手的位姿。 2. 機座坐標系：以機座為參考的坐標系 3. 桿件坐標系；以指定桿件為參考的坐標系，如圖 4.8. 圖 4.8 桿件坐標系 4. 實際坐標系：以實際工作環(huán)境為參考的坐標系，整個系統(tǒng)的絕對坐標系。 除了各個坐標系的表示方法，還需要有坐標系中各個分量的表示。本文研究平 臺工業(yè)機器人的直角坐標系 P(x, y, z, a, b, c, d)的各個分量的表示如下: x: X 軸距離((P 點 X 軸分量); y: Y 軸距離((P 點 Y 軸分量); z: Z 軸距離((P 點 Z 軸分量); 4.3 基于 Matlab 的開發(fā)技術(shù) 根據(jù) D-H 參數(shù)法 確定六自由度機械臂的 運動學方程，結(jié)合平面幾何法和歐拉角變換法將機械臂的逆運動學求解問題分為兩部分，一通過平面幾何法確定機械臂腕部點的坐標與前三個關(guān)節(jié)角的關(guān)系，二通過歐拉角變換法確定機械臂末端姿態(tài)與后三個關(guān)節(jié)角的關(guān)系，根據(jù)逆運動解的選取原則從八組解中選取最優(yōu)解；利用MATLAB 中的 Robotics 建立機械臂的正運動學模型，通過多組位姿下的正逆運動解對比驗證逆運動學求解算法的準確性；常用逆運動算法比較見表 4.2 表 4.2 逆運動學算法對比 NO 算法 計算速度 解的數(shù)量 實時性 精確性 對機械結(jié) 構(gòu)的要求 編程角度 1 幾何法 快 多解 差 精確 滿足Piper 準 則 難 2 代數(shù)法 快 多解 差 精確 滿足Piper 準 則 難 3 雅可比迭 代法 較快 唯一解 好 有誤差 無 容易 其中實現(xiàn)上述內(nèi)容的 Matlab 程序如下： function p = axis6_fkine3(theta0,theta1,theta2,theta3,theta4,theta5,x,y,z)%T1 t1 = [ cosd(theta0) -sind(theta0) 0 0; sind(theta0) cosd(theta0) 0 0; 0 0 1 0; 0 0 0 1 ];%T2 t2 = [0 0 1 0; -sind(theta1) -cosd(theta1) 0 0; cosd(theta1) -sind(theta1) 0 0.178;0 0 0 1 ]; %T3 t3 = [ cosd(theta2) -sind(theta2) 0 0.205; sind(theta2) cosd(theta2) 0 0; 0 0 1 0; 0 0 0 1 ]; %T4 t4 = [ 0, 0, 1, 0.105; -cosd(theta3) sind(theta3) 0 0.000; -sind(theta3) -cosd(theta3) 0 0; 0 0 0 1 ];%T5 t5 = [ sind(theta4) cosd(theta4) 0 0; 0 0 1 0; cosd(theta4) -sind(theta4) 0 0.105; 0 0 0 1];%T6 t6 = [ 0 0 1 0.1315; cosd(theta5) -sind(theta5) 0 0; sind(theta5) cosd(theta5) 0 0; 0 0 0 1 ];temp = t1*t2*t3*t4*t5*t6; P1 = [0 0 0]; %關(guān)節(jié) 1 位置 P2 = [0 0 0.178]; %關(guān)節(jié) 2 位置 P3 = t1*t2*[0.205;0;0;1]; %關(guān)節(jié) 3 位置 P4 = t1*t2*t3*[0.105;0.00;0;1]; %關(guān)節(jié) 4 位置 P5 = t1*t2*t3*t4*[0;0;0.105;1]; %關(guān)節(jié) 5 位置 P6 = t1*t2*t3*t4*t5*[0.1315;0;0;1]; %關(guān)節(jié) 6 位置 P7 = t1*t2*t3*t4*t5*t6*[0;0;0;1]; %關(guān)節(jié) 7 夾具位置plot3([P1(1) P2(1)],[P1(2) P2(2)],[P1(3) P2(3)],'b','LineWidth',3); axis([-0.8 0.8 -0.8 0.8 0 0.8]);hold on; plot3([P2(1) P3(1)],[P2(2) P3(2)],[P2(3) P3(3)],'b','LineWidth',3); plot3([P3(1) P4(1)],[P3(2) P4(2)],[P3(3) P4(3)],'b','LineWidth',3); plot3([P4(1) P5(1)],[P4(2) P5(2)],[P4(3) P5(3)],'b','LineWidth',3); plot3([P5(1) P6(1)],[P5(2) P6(2)],[P5(3) P6(3)],'b','LineWidth',3); plot3([P6(1) P7(1)],[P6(2) P7(2)],[P6(3) P7(3)],'b','LineWidth',3); plot3(P1(1),P1(2),P1(3),'r+','markersize',20); plot3(P2(1),P2(2),P2(3),'r+','markersize',20); plot3(P3(1),P3(2),P3(3),'r+','markersize',20); plot3(P4(1),P4(2),P4(3),'r+','markersize',20); plot3(P5(1),P5(2),P5(3),'r+','markersize',20); plot3(P6(1),P6(2),P6(3),'r+','markersize',20); plot3(P7(1),P7(2),P7(3),'r.','markersize',20); plot3([0 0.6],[0 0],[0 0],'--b'); plot3([0 0],[0 0.6],[0 0],'--r'); plot3([0 0],[0 0],[0 0.6],'--g'); plot3([P6(1) P6(1)+0.2*temp(1,1)],[P6(2) P6(2)+0.2*temp(2,1)],[P6(3) P6(3)+0.2*temp(3,1)],'--b','LineWidth',2); plot3([P6(1) P6(1)+0.2*temp(1,2)],[P6(2) P6(2)+0.2*temp(2,2)],[P6(3) P6(3)+0.2*temp(3,2)],'--r','LineWidth',2); plot3([P6(1) P6(1)+0.2*temp(1,3)],[P6(2) P6(2)+0.2*temp(2,3)],[P6(3) P6(3)+0.2*temp(3,3)],'--g','LineWidth',2); Pm = t1*[0;-0.15;0;1]; plot3([P1(1) Pm(1)],[P1(2) Pm(2)],[P1(3) Pm(3)],'k','LineWidth',3); hold off; grid on; 運行結(jié)果圖見圖 33. 圖 4.8 運行結(jié)果圖 求得各關(guān)節(jié)旋轉(zhuǎn)弧度為： -0.641383877391340 -0.187692611953257 0.743907390231213 .424233567703187 -0.687906911880818 -0.288653461910877-0.665930371370357 -0.342589086649037 0.339721654312831 -0.9388560392014470.0560226315512221 0.203233903312256 基于視覺的工業(yè)機械手定位抓取系統(tǒng)虛擬實驗開發(fā) 5. 結(jié)論 在了解工業(yè)機械手和定位很工業(yè)不系統(tǒng)結(jié)構(gòu)的基礎上，對工業(yè)機械手進行了系統(tǒng)設計，主要由三部分組成：機械結(jié)構(gòu)、傳感系統(tǒng)和控制系統(tǒng)。在機械結(jié)構(gòu)設計中，應用 SolidWorks 軟件，建立本次設計的研究對象，工業(yè)機械手三維模型。該機械手主要由三個部分組成，有六個自由度，能夠完成抓取任務。設計的抓取系統(tǒng)機械結(jié)構(gòu)為串聯(lián)式。在選取仿真的工具過程中經(jīng)比較分析，選用了 Labview 軟件進行虛擬實驗開發(fā)平臺。利用該軟件的 3D 控件仿真功能，將已建好的工業(yè)機械手導入該實驗平臺中。又利用 其中 3D 控件組功能，開發(fā)了使工業(yè)機械手各關(guān)節(jié)運動的仿真功能，進行了虛擬實驗開發(fā)。 視覺定位對于工業(yè)機械手的任務具有重要的作用，本設計對工業(yè)機械零件定位抓取系統(tǒng)進行了研究，首先建立了機械手坐標系，機座坐標系，桿件坐標系， 實際坐標系，再用 Matlab 對位姿進行了數(shù)學分析， 求的各個關(guān)節(jié)轉(zhuǎn)動角度。 本次畢業(yè)設計建立的工業(yè)機械手定位虛擬實驗平臺，可用于對工業(yè)機械手的運動情況進行模擬仿真，了解其工作空間和自由度等，有助于較全面的了解工業(yè)機械手整體系統(tǒng)。 參考文獻 [1] 李傳朋. 基于機器視覺和深度學習的目標識別與抓取定位研究 [D]. 中北大學, 2017. [2] 盧冠男. 基于機器視覺的工業(yè)機器人抓取系統(tǒng)的研究[D]. 合肥工業(yè)大學,2017. [3] 廖毅洲. 視覺引導工業(yè)機器人定位抓取系統(tǒng)設計 [J]. 電子世界, 2017,No.511 77-78+88. [4] 夏菠. 基于雙目視覺的動態(tài)目標定位與抓取研究 [D]. 西南科技大學, 2016. [5] 劉念. 基于視覺機器人的目標定位技術(shù)研究 [D]. 華南農(nóng)業(yè)大學, 2016. [6] 忽正熙. 基于模式識別與機器視覺工件的識別及分揀 [D]. 昆明理工大學, 2016. [7] 周衍超. 基于視覺引導的機器人智能抓取技術(shù)研究 [D]. 廣東工業(yè)大學, 2015. [8] 翟敬梅, 董鵬飛, 張鐵. 基于視覺引導的工業(yè)機器人定位抓取系統(tǒng)設計 [J]. 機械設計與研究, 2014,30(153), 05 53-57. [9] 夏群峰,彭勇剛. 基于視覺的機器人抓取系統(tǒng)應用研究綜述 [J]. 機電工程, 2014,31(232), 06 25-29+38. [10] 許凡. 視覺引導的抓取機器人控制技術(shù)的研究與開發(fā) [D]. 江南大學, 2014. [11] 周中偉. 機器人智能抓取的視覺引導技術(shù)研究 [D]. 江西理工大學, 2014. [12] 楊揚. 基于機器視覺的服務機器人智能抓取研究 [D]. 上海交通大學, 2014. [13] 黃浩乾. 采摘機械手的設計及其控制研究 [D]. 南京農(nóng)業(yè)大學, 2010. [14] 鄒月偉. 基于機器視覺的目標識別及其路徑優(yōu)化的研究 [D]. 西安理工大學, 2009. [15] 王紅濤. 基于視覺的工業(yè)機器人目標識別定位方法的研究 [D]. 西安理工大學, 2007. [16] 黨薛夢霞, 劉士榮, 王堅. 基于機器視覺的動態(tài)多目標識別[J]. 上海交通大學學報, 2017, 51(6):727-733. [17] Peter Findlay. Intelligent System for Automated Components Recognition and Handling[D].Johannesburg: Mechanical and Manufacturing Engineering Department， Rand Afrikaans University，2002. [18] Hager G D, HutchinsonS，Corke P I. A tutorial on visual servo control[J].IEEE Transaction on Robotics and Automation，2007，12 (5):651-670. [19] Chaumette F, Malis E.A possible solution to image-based and position-based and position-based visual servoings by 2D 1/2 visual servoing [C〕.San Francisco: IEEE International Conference on Robotics and Automation，2000. 附錄 1：外文翻譯 摘要 本文介紹了機器人視覺伺服控制的入門教程，由于該課題涉及許多學科，我們的目標僅限于提供一個基本的概念框架工作。首先，我們從機器人學和計算機視覺的前提條件，包括坐標變換，速度表示，以及圖像形成過程的幾何方面的描述進行簡要回顧。然后，我們提出了視覺伺服控制系統(tǒng)的分類。然后詳細討論了基于位置和基于圖像的系統(tǒng)的兩大類。由于任何視覺伺服系統(tǒng)必須能夠跟蹤圖像序列中的圖像特征，所以我們還包括基于特征和基于相關(guān)性的跟蹤方法的概述。我們結(jié)束了教程與一些服務的當前方向的研究領(lǐng)域的視覺伺服控制 當今絕大多數(shù)增長的機器人人口都在工廠里工作，在那里工廠可以制造出適合機器人的環(huán)境。在工作環(huán)境和物體放置不能精確控制的應用中，機器人的影響要小得多。這種局限性很大程度上是由于現(xiàn)代商業(yè)機器人系統(tǒng)固有的感覺能力不足。人們早已認識到，傳感器集成是提高機器人的通用性和應用領(lǐng)域的基礎，但迄今為止，這還沒有證明在制造業(yè)中大量的機器人應用是有效的。 機器人在日常生活中的“前沿”為這項研究提供了新的動力。與制造業(yè)的應用不同，重新設計“我們的世界”并不適合于機器人。視覺是一種有用的機器人傳感器，因為它模仿人類的視覺，并允許對環(huán)境進行非接觸測量。自從 Shirai 和伊努埃（1）的早期工作（誰描述了如何使用視覺反饋回路來校正機器人的位置以提高任務精度），大量的 EORT 一直致力于機器人的視覺控制。機器人控制器 完全集成的視覺系統(tǒng)現(xiàn)在可以從多個供應商獲得。通常，視覺感知和操作以開環(huán)的方式組合，“看”然后“移動”。所得到的操作的精度直接取決于視覺傳感器和機器人末端 Ecter 的精度。增加這些子系統(tǒng)的精度的一個替代方法是使用視覺反饋控制回路，這將增加系統(tǒng)的整體精度，這是大多數(shù)應用中的一個主要問題。極端地，機器視覺可以為機器人端部控制器提供閉環(huán)位置控制。這被稱為視覺伺服。這個詞似乎已經(jīng)被 RHT 和 Park（2）在 1979 中介紹了，以區(qū)別他們的方法與先前的“塊世界”實驗，其中系統(tǒng)在拍照和移動之間交替。在引入這個術(shù)語之前， 一般使用較少的視覺術(shù)語視覺反饋。為了這篇文章的目的，視覺伺服中的任務是使用視覺信息來控制機器人的末端 ECT 相對于目標