科技導(dǎo)報(bào) 2015 ，33（23） www.kjdb.org基于視覺(jué)的多機(jī)器人協(xié)作 SLAM 問(wèn)題呂強(qiáng)，林輝燦，張洋，馬建業(yè)裝甲兵工程學(xué)院控制工程系， 北京 100072視覺(jué) SLAM 僅采用圖像作為外部信息， 用于估計(jì)機(jī)器人位置的同時(shí)構(gòu)建環(huán)境地圖。 SLAM 是機(jī)器人自主性的基本前提， 如今在小動(dòng)態(tài)環(huán)境采用激光或者聲吶傳感器構(gòu)建 2D 地圖得到較好地解決。然而動(dòng)態(tài)、復(fù)雜和大范圍下的 SLAM 仍存在問(wèn)題， 使用視覺(jué)作為基本的外部傳感器是解決問(wèn)題的一個(gè)新穎熱門(mén)的研究方法。在視覺(jué) SLAM 中使用計(jì)算機(jī)視覺(jué)技術(shù)， 如特征檢測(cè)、特征描述和特征匹配， 圖像識(shí)別和恢復(fù)，還存在很多改善的空間。本文在視覺(jué) SLAM 領(lǐng)域的最新技術(shù)的基礎(chǔ)上， 對(duì)基于視覺(jué)的多機(jī)器人協(xié)作 SLAM 領(lǐng)域的前沿技術(shù)進(jìn)行綜述。移動(dòng)機(jī)器人的自主導(dǎo)航問(wèn)題可以 部的閉鎖現(xiàn)象。視覺(jué) SLAM系統(tǒng)成功 器人 SLAM 系統(tǒng)可以提升構(gòu)圖的速度分為定位、地圖構(gòu)造和路徑規(guī)劃 3 個(gè)部的關(guān)鍵是具備處理上述困難的能力。 和精度，有利于路徑規(guī)劃等探索研究。分1 。定位的任務(wù)是確定機(jī)器人在當(dāng)前 該領(lǐng)域的核心問(wèn)題是多機(jī)器人之間的近10年來(lái)，從發(fā)表的論文可以看出一環(huán)境中的位姿，地圖構(gòu)建的任務(wù)是將對(duì) 個(gè)清晰的趨勢(shì)，就是使用視覺(jué)作為唯一 通信拓?fù)?、任?wù)規(guī)劃和地圖融合。任務(wù)環(huán)境的零碎分布觀測(cè)整合為一個(gè)聯(lián)系 的外部傳感器的感知系統(tǒng)用于解決 規(guī)劃：當(dāng)多個(gè)機(jī)器人用于共同探索同一的模型，路徑規(guī)劃的任務(wù)是確定最佳路徑并導(dǎo)航機(jī)器人通過(guò)環(huán)境。711 。之所以會(huì)有這樣的趨SLAM問(wèn)題勢(shì)，是因?yàn)榛跀z像頭的系統(tǒng)既能夠獲個(gè)環(huán)境進(jìn)行研究時(shí)， 需要處理好各個(gè)機(jī)器人的任務(wù)規(guī)劃問(wèn)題。做好任務(wù)規(guī)劃起初定位和地圖構(gòu)建是分開(kāi)研究 取尺度信息又能夠恢復(fù)環(huán)境的外觀、 顏 可以節(jié)省探索整個(gè)研究環(huán)境的時(shí)間。的，后來(lái)學(xué)者們意識(shí)到二者是相互關(guān)聯(lián) 色和紋理，使得機(jī)器人能夠完成更高級(jí) 通信拓?fù)涫侵笝C(jī)器人之間的通信結(jié)構(gòu)，的。同時(shí)定位與地圖構(gòu)建 （simultane?的功能，如在環(huán)境中識(shí)別人員。進(jìn)一步 有完全連接和部分連接等多種通信拓ous localization and mapping，SLAM）是指機(jī)器人在未知環(huán)境中運(yùn)動(dòng)時(shí)增量地說(shuō)，攝像頭更便宜、 更輕且功耗更低。不幸的是相機(jī)數(shù)據(jù)存在誤差， 由于相機(jī)撲結(jié)構(gòu)。對(duì)于完全連接需要使用外部設(shè)備以克服通信帶寬和距離的限制， 外構(gòu)建周?chē)h(huán)境地圖， 同時(shí)運(yùn)用此地圖對(duì) 分辨率不足、 光線變化、表面缺乏紋理 部設(shè)備用于將一個(gè)機(jī)器人的數(shù)據(jù)發(fā)送機(jī)器人自身位姿進(jìn)行估計(jì) 2 。SLAM是和快速運(yùn)動(dòng)引起圖像模糊等因素。許 給所有的機(jī)器人 15。部分連接采用兩 多學(xué)者對(duì)上述問(wèn)題進(jìn)行研究并取得不 個(gè)機(jī)器人之間的一對(duì)一通信解決通信移動(dòng)機(jī)器人系統(tǒng)最基本、 最重要的一項(xiàng)能力，隨著未知環(huán)境探測(cè)的日趨復(fù)雜和 帶寬和距離的限制問(wèn)題， 機(jī)器人僅能使少成果，比較典型的有 Klein 等基于 BA非結(jié)構(gòu)化，SLAM 已成為自主移動(dòng)機(jī)器 （bundle adjustmen）t 的 實(shí) 時(shí) SLAM 算用通信范圍內(nèi)的其他機(jī)器人的信息。法，即并行跟蹤和構(gòu)圖 （parallel track? 地圖融合是解決多機(jī)器人 SLAM 的關(guān) 人亟待解決的重要基礎(chǔ)性難題 3,4，并被視為移動(dòng)機(jī)器人領(lǐng)域的 “圣杯”5。當(dāng)攝像頭作為唯一的感知外部環(huán)境的傳感9，Engel 等采ing and mapping，PTAM）用直接的方法構(gòu)建大范圍內(nèi)的半稠密鍵問(wèn)題，運(yùn)用共享的信息改進(jìn)全局地圖的精度和構(gòu)圖范圍， 全局地圖通過(guò)聯(lián)合器用于 SLAM，就稱(chēng)為視覺(jué) SLAM。準(zhǔn) 地圖，即 LSD- SLAM12，以及 RGB- D所有機(jī)器人的局部地圖獲得。當(dāng)機(jī)器確的環(huán)境地圖有助于實(shí)現(xiàn)高精度的定位，而精確定位則有利于建立更加真實(shí)可信的環(huán)境地圖 6，兩者相輔相成。13 和 ORB SLAM14 等。RGB- DSLAMSLAM采用一種能夠同時(shí)獲取環(huán)境彩色信息（RGB）和 深度信息（depth）的人之間的相對(duì)位置關(guān)系已知， 只需要根據(jù)每個(gè)機(jī)器人的定位和構(gòu)圖進(jìn)行拼接地圖；而當(dāng)機(jī)器人之間的相對(duì)位置未知許多視覺(jué) SLAM 系統(tǒng)在如下的環(huán)境中容易失敗： 外部環(huán)境、動(dòng)態(tài)環(huán)境、顯RGB-D 傳感器。對(duì)于單個(gè)機(jī)器人的 SLAM 系統(tǒng)已時(shí)，需要對(duì)每個(gè)機(jī)器人的地圖進(jìn)行轉(zhuǎn)換才能進(jìn)行拼接地圖。 經(jīng)有不少的解決方案， 然而多機(jī)器人的 總之，雖然需要處理上述難題， 但著特征太多或太少的環(huán)境、 大尺度環(huán)是多機(jī)器人 SLAM 能夠以更快的速度、 境，以及當(dāng)攝像頭運(yùn)動(dòng)不穩(wěn)和部分或全SLAM相較而言還是一個(gè)新領(lǐng)域， 多機(jī)1102015 世界機(jī)器人大會(huì)報(bào)道特刊 www.kjdb.org更高的精度探索未知環(huán)境。而且， 多機(jī)器人 SLAM具有更強(qiáng)的容錯(cuò)能力， 環(huán)境構(gòu)建就顯得尤為重要。1.2 相機(jī)在 SLAM 中的應(yīng)用RGB-D 圖像序列和真實(shí)攝像機(jī)軌跡的數(shù)據(jù)集用于評(píng)估 SLAM 系統(tǒng)的性能 33。條件的惡劣或者變化、 由于錯(cuò)誤的數(shù)據(jù) 第一個(gè)視覺(jué)導(dǎo)航的作品采用雙目 基于該數(shù)據(jù)集進(jìn)行了大量的實(shí)驗(yàn)， 結(jié)果關(guān)聯(lián)或假設(shè)模型引起的算法失敗等問(wèn) 立體結(jié)構(gòu)相機(jī) 21,22，然而，多數(shù)情況下由 表明其位姿估計(jì)平均精度為 9.7 cm和題，可以通過(guò)多機(jī)器人系統(tǒng)克服。因此，近幾年相對(duì)單個(gè)機(jī)器人的 SLAM應(yīng)于價(jià)格昂貴，很難獲取雙目或者三目立體相機(jī)。另一種解決方法是使用一對(duì)3.95 ，平均°每幀的處理時(shí)間為 0.35 s，基本滿(mǎn)足實(shí)時(shí)運(yùn)行的要求。用研究，多機(jī)器人的 SLAM 應(yīng)用研究更 自從單目 SLAM的出現(xiàn) 34，僅用一單目相機(jī)，導(dǎo)致需要考慮不懂方面的困加吸引人和熱門(mén)。 難：采用硬件或軟件的方式實(shí)現(xiàn)相機(jī)同 個(gè)相機(jī)實(shí)現(xiàn)同時(shí)定位和地圖構(gòu)建的方步；每個(gè) CCD傳感器對(duì)顏色或光線的法就變得越來(lái)越流行。這是因?yàn)橥ㄟ^(guò)1 視覺(jué) SLAM響應(yīng)略有不同；采取何種幾何結(jié)構(gòu)進(jìn)行 手機(jī)、數(shù)碼相機(jī)或筆記本等可以輕松獲校準(zhǔn)等。 得相機(jī)，比立體相機(jī)更加容易獲取。單 1.1 同時(shí)定位和地圖構(gòu)建在 19851990 期 間 ，Chatila 和不管采用什么類(lèi)型的相機(jī)， 在使用 目方法的硬件簡(jiǎn)單靈活經(jīng)濟(jì)， 數(shù)據(jù)處理Smith提出地圖構(gòu)建和定位同時(shí)進(jìn)行研究的問(wèn)題。不久之后， 該問(wèn)題有了專(zhuān)業(yè)之前都必須校準(zhǔn) （手動(dòng)或者自動(dòng) ），校 準(zhǔn)需要估計(jì)相機(jī)的內(nèi)部參數(shù)和外部參數(shù)，時(shí)間也較短。僅依靠單目并不能直接獲得足夠的信息計(jì)算航標(biāo)的深度， 因此名 稱(chēng) SLAM（simultaneous localization前者依賴(lài)于相機(jī)的幾何結(jié)構(gòu) （焦距和光 需要處理航標(biāo)的初始化問(wèn)題，通常有兩種and mapping）。有關(guān) SLAM 的歷史可以參閱 Durrant和Bailey撰寫(xiě)的有關(guān) SLAM點(diǎn)），后者由相機(jī)在空間中的位置決定（某個(gè)坐標(biāo)系統(tǒng)中的旋轉(zhuǎn)和位移） 。根解決方案35,36。為了從一個(gè)相機(jī)獲取環(huán)境的三維信息，需要處理多個(gè)觀測(cè)圖像發(fā)展歷程的文章 16,17。SLAM 指移動(dòng)平據(jù)多視角棋盤(pán)校準(zhǔn)圖像， 關(guān)聯(lián)圖像坐標(biāo)的特征跟蹤問(wèn)題。 與真實(shí)世界坐標(biāo)可獲取參數(shù) 23，也有許多臺(tái)（機(jī)器人、運(yùn)輸載體等 ）能夠構(gòu)建所探工具能夠?qū)崿F(xiàn)相機(jī)的校準(zhǔn)： OpenCV的索環(huán)境的全局地圖， 同時(shí)利用地圖進(jìn)一 2 圖像數(shù)據(jù)關(guān)聯(lián)校準(zhǔn)函數(shù)、 Matlab 的相機(jī)校準(zhǔn)工具箱 步確定自身位置。最先進(jìn)的 RGB-D SLAM 系統(tǒng)大多等。為了對(duì)環(huán)境構(gòu)建地圖， 機(jī)器人必須 數(shù)都采用迭代最近點(diǎn) （iterative closest擁有用于感知和獲取外部環(huán)境觀測(cè)的傳感器，可分為外部傳感器和內(nèi)部傳感使用多相機(jī)帶有或者不帶有視角重疊的研究 24,25，使用特殊鏡頭的相機(jī)point，ICP）算法去匹配點(diǎn)特征， 這些點(diǎn)特征的空間位置是根據(jù)匹配的傳感器 如廣角 26 或者全向 27 相機(jī)增加視覺(jué)范器兩種。外部傳感器包括聲吶、 激光掃深度數(shù)據(jù)計(jì)算得到的。然而， 特征的深描儀、相機(jī)以及 GPS等，這些傳感器都圍，進(jìn)而一定程度上減小累積誤差。近度測(cè)量數(shù)據(jù)經(jīng)常被噪聲所干擾， 因?yàn)橐晭啄瓿霈F(xiàn)的 RGB-D 傳感器應(yīng)用于室內(nèi) 存在噪聲和距離受限的問(wèn)題。此外， 前覺(jué)特征傾向于在實(shí)物的邊緣。為了減3 種傳感器只能獲得環(huán)境的局部視圖。激光傳感器和聲吶傳感器可以獲環(huán)境的地圖構(gòu)建，已被驗(yàn)證是一種非常有前途的方法 28,29。小估計(jì)誤差，高翔等37采用了可靠的深度數(shù)值提取和選擇特征的方法， 如平面德國(guó)弗萊堡大學(xué)的 Engelhard和慕 取精確而稠密的環(huán)境結(jié)構(gòu)信息， 然而，點(diǎn)特征。平面點(diǎn)特征有利于提高傳統(tǒng)尼黑技術(shù)大學(xué)的 Sturm等30提出了一種 存在的問(wèn)題是：在復(fù)雜性高的環(huán)境以及的ICP 的精度和魯棒性， 同時(shí)保持合理基于 RGB- D 傳感器的實(shí)時(shí) 3D 視覺(jué) 物體識(shí)別方面均不可用， 質(zhì)量大、體積的實(shí)時(shí)應(yīng)用的計(jì)算消耗。通過(guò)公開(kāi)數(shù)大使得難以在飛行機(jī)器人或者人型機(jī)器人上應(yīng)用。另一方面， GPS在狹窄街SLAM 方法，主要包括特征提取和匹配、位姿估計(jì)、位姿修正、位姿圖優(yōu)化 4據(jù)集的軌跡跟蹤和構(gòu)圖結(jié)果以及實(shí)物機(jī)器人的實(shí)際試驗(yàn)， 驗(yàn)證了一個(gè)基于平個(gè)步驟。該方法對(duì) Henry等提出的方道、城市峽谷、 水下和室內(nèi)等環(huán)境的定 面的RGB-D SLAM的系統(tǒng)的有效性。法進(jìn)行了 3 點(diǎn)改進(jìn)：首先在特征提取時(shí) 位精度不能滿(mǎn)足要求。內(nèi)部傳感器能在單目視覺(jué) SLAM中，絕大多數(shù)采將SIFT特征替換為 SURF特征，其次在 夠測(cè)量機(jī)器人的速度、 位置變化和加速用基于特征的地圖表示， 因此此處主要位姿圖優(yōu)化時(shí)使用 g2o方案代替 TO? 度，例如編碼器、加速度計(jì)和磁羅盤(pán)等，對(duì)基于特征的運(yùn)動(dòng)估計(jì)方法進(jìn)行分但由于存在累積誤差， 并不能保證足夠的估計(jì)精度。RO，最后在環(huán)境地圖的表示時(shí)將點(diǎn)云地圖轉(zhuǎn)換成 3D 占據(jù)柵格地圖。文獻(xiàn)析。對(duì)該問(wèn)題的研究， 是計(jì)算機(jī)視覺(jué)領(lǐng)域中經(jīng)典的從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu) （SFM）問(wèn)在文獻(xiàn) 1820 中得到證實(shí)， 為了獲得機(jī)器人位置的高精度且魯棒性好 3231中進(jìn)一步對(duì) SIFT、SURF和ORB 3種不同的特征描述方法進(jìn)行了研究和題，也有學(xué)者將其等同于視覺(jué)里程計(jì)研究。基于 2D 圖像特征的運(yùn)動(dòng)估計(jì)一般 實(shí)驗(yàn)分析對(duì)比，而且針對(duì)著色點(diǎn)云地圖的估計(jì)，需要使用信息融合技術(shù)處理多包括特征檢測(cè)、特征匹配和運(yùn)動(dòng)估計(jì)。個(gè)傳感器的數(shù)據(jù)。然而， 傳感器增加引 存儲(chǔ)量大和計(jì)算量大的問(wèn)題， 使用基于2.1 特征提取起的系統(tǒng)的造價(jià)過(guò)高、 重量增加和功耗過(guò)大等問(wèn)題， 因此，探索如何僅僅依靠Octree的地圖構(gòu)建框架 OctoMap將點(diǎn)云地圖體素化轉(zhuǎn)換成 3D 占據(jù)柵格地特征提取對(duì)于視覺(jué) SLAM 是最為關(guān)鍵也最為基礎(chǔ)的一個(gè)環(huán)節(jié)， 因?yàn)楹罄m(xù)相機(jī)作為傳感器實(shí)現(xiàn)同時(shí)定位和地圖 圖。此外，他們還首次構(gòu)建了一個(gè)包含的所有處理都以此為基礎(chǔ)進(jìn)行。 SIFT38111科技導(dǎo)報(bào) 2015 ，33（23） www.kjdb.org方法在 10 多年的應(yīng)用中驗(yàn)證其良好的方法的優(yōu)點(diǎn)是能夠適用于幀間的變化 多機(jī)器人系統(tǒng)需要解決的重要難題。性能，成功應(yīng)用于視覺(jué)特征、 目標(biāo)識(shí)別、 較大的情況，缺點(diǎn)是計(jì)算效率較低及存 有關(guān)通信拓?fù)浞矫娴木C述， 可以參閱文圖像匹配和視覺(jué)構(gòu)圖等方面 32。但由 在匹配不一致。對(duì)于匹配不一致的問(wèn) 獻(xiàn)49，本文主要關(guān)注多機(jī)器人系統(tǒng)的于采用 128 維向量，相較而言在計(jì)算和 題可以采用文獻(xiàn) 38和43的方法提高地圖融合問(wèn)題。匹配過(guò)程中運(yùn)算速度較慢， 不利于在實(shí) 匹配一致性。 多機(jī)器人系統(tǒng)中， 每個(gè)機(jī)器人在進(jìn)時(shí)性 要求很高的 SLAM 系統(tǒng)中的應(yīng) 行SLAM 的過(guò)程中都有自己的坐標(biāo)系， 2.3 運(yùn)動(dòng)估計(jì)用。SURF39能夠在保持與 SIFT相同性能的辨別率的情況下， 提高運(yùn)算和匹配Structure from Motion（SFM）技術(shù)能夠從一系列圖像中計(jì)算場(chǎng)景中的 3D 結(jié)因此由不同機(jī)器人創(chuàng)建的地圖不能夠直接用于融合。學(xué)者們已經(jīng)研究出一的效率，然而該描述符使用了 64 維向構(gòu)和相機(jī)位置 44。標(biāo)準(zhǔn)的流程是提取 些實(shí)現(xiàn)地圖融合的方法， 通常情況下，量的浮點(diǎn)數(shù)據(jù)即 256位，當(dāng)需要存儲(chǔ)數(shù)輸入圖像的特征， 進(jìn)而特征匹配， 采用 在獲取兩類(lèi)必備條件的情況下就能夠以百萬(wàn)計(jì)的描述符時(shí)也是不能滿(mǎn)足要 一種稱(chēng)為捆綁調(diào)整 （bundle adjustment，實(shí)現(xiàn)地圖融合。一是機(jī)器人之間互相求的。 BRIEF40 使用二進(jìn)制流作為關(guān)鍵點(diǎn)特征的描述符， 該方法使用較少的B A）的非線性?xún)?yōu)化方法， 最小化重投影誤差45。解決 SLM遞增問(wèn)題的一種方清楚對(duì)方的相對(duì)位置， 如當(dāng)機(jī)器人相遇時(shí)使用全向相機(jī)獲得機(jī)器人之間的距位數(shù)就能夠獲得高性能且計(jì)算簡(jiǎn)單， 文 法是視覺(jué)里程計(jì)，該方法僅使用序列圖 離，進(jìn)而計(jì)算地圖的轉(zhuǎn)換矩陣 50。二是獻(xiàn)40驗(yàn)證該方法在獲得與 SURF相當(dāng) 像就可以實(shí)時(shí)計(jì)算相機(jī)的位姿。 Klein機(jī)器人之間不清楚互相之間的位置， 但或者更好性能的情況下， 需要的時(shí)間更 等發(fā)表的稱(chēng)為 PTAM 的單目方法， 基于是各自構(gòu)建的地圖之間有公共的區(qū)域，少。ORB32 是一種基于 BRIEF 的快速 文獻(xiàn)51匹配地圖的點(diǎn)特征。關(guān)鍵幀，采用兩個(gè)平行的處理線程， 第二進(jìn)制描述符，該方法具有旋轉(zhuǎn)不變性和抗干擾性能， 更加適用于視覺(jué) SLAM一個(gè)線程執(zhí)行的任務(wù)是魯棒地跟蹤很多特征，另一線程的任務(wù)是生成 3D 地52 則使用 RBPF 濾波對(duì)地圖Gil 等進(jìn)行融合。 Vidal-Calleja 等53使用一個(gè)系統(tǒng)對(duì)實(shí)時(shí)性和精度的要求。 ORB-圖點(diǎn)。該方法在動(dòng)態(tài)環(huán)境中和存在相飛行器與一個(gè)地面機(jī)器人進(jìn)行合作， 在14 是一個(gè)滿(mǎn)足大、 小范圍，室內(nèi)外SLAM環(huán)境的實(shí)時(shí)單目 SLAM系統(tǒng)，且可以完全的自動(dòng)初始化， 采用適者生存的方法選擇重構(gòu)點(diǎn)和關(guān)鍵幀， 生成稠密地圖，似紋理環(huán)境中出現(xiàn)跟蹤失敗 9。46 證實(shí)為了提高 單目Strasdat等SLAM系統(tǒng)的位置精度， 增加特征的數(shù)量比增加幀的方式更為有效， 同時(shí)，BA半結(jié)構(gòu)化的地形中構(gòu)建地圖。 Bene?54 讓 各個(gè)機(jī)器人 獨(dú)立進(jìn)行dettelli 等SLAM，生成獨(dú)立的地圖。在機(jī)器人相遇時(shí)，計(jì)算地圖的相似處， 進(jìn)行合并生該地圖僅當(dāng)場(chǎng)景內(nèi)容改變時(shí)才更新， 加 優(yōu)化的方法比濾波器的方法效果更好， 成全局地圖， 然后，每個(gè)機(jī)器人通過(guò)開(kāi)強(qiáng)了終生地圖構(gòu)建的能力。 然而，該文章指出濾波器的方法在較高 發(fā)融 合的地圖 開(kāi)始單個(gè)機(jī) 器人的2.2 特征匹配特征匹配的性能對(duì) SLAM 效果具有決定性的影響， 為快速獲得高精度的不確定的 情況下更 有利。理 想的SLAM系統(tǒng)將同時(shí)利用 SFM技術(shù)和概率濾波器的優(yōu)點(diǎn) 47。55 對(duì)地震中毀SLAM 算法。 Michael 等壞的建筑里采用地面和空中機(jī)器人進(jìn)行協(xié)作建圖進(jìn)行研究， 通過(guò)采集多層結(jié)匹配，主要有兩類(lèi)算法 41：一是灰度匹 構(gòu)的環(huán)境構(gòu)建 3D 地圖。他們提供了協(xié)配，使用統(tǒng)計(jì)模型尋找點(diǎn)匹配； 二是基 3 多機(jī)器人協(xié)作 SLAM作建圖方法的細(xì)節(jié)， 并且報(bào)告了試驗(yàn)中于特征的方法，該方法基于從圖像檢測(cè)多機(jī)器人方案相對(duì)單個(gè)機(jī)器人方 分別由單個(gè)機(jī)器人和機(jī)器人團(tuán)隊(duì)構(gòu)建得到的特征（點(diǎn)、線或面）。兩種方法各案有許多優(yōu)點(diǎn)， 例如，隨著機(jī)器人數(shù)量 的地圖。有千秋，灰度匹配的方法具有更高的精度但同時(shí)消耗更多的計(jì)算資源， 目前來(lái)的增加，整個(gè)系統(tǒng)執(zhí)行任務(wù)需要的時(shí)間縮短，對(duì)錯(cuò)誤的容忍度增加且地圖的精56 通過(guò)微型飛行器的單Forster等目相機(jī)對(duì)準(zhǔn)由地面機(jī)器人的深度傳感看并不滿(mǎn)足視覺(jué) SLAM的實(shí)時(shí)性要求，度得到提高。 Marjovi 等48對(duì)多機(jī)器人 器構(gòu)建的地圖， 得到稠密的 3D 重構(gòu)地另一方面，基于特征的方法需要的計(jì)算在時(shí)間上的優(yōu)勢(shì)做了闡述， 在不同環(huán)境 圖，如圖 1 所示。他們提出一種用于微資源較少且抗干擾性能好?；谔卣髦惺褂貌煌瑪?shù)量的機(jī)器人， 以獲得滿(mǎn)意 型飛行器聯(lián)合地面機(jī)器人的定位方法，的方法需要先從圖像中提取特征， 在上的構(gòu)圖結(jié)果。兩個(gè)機(jī)器人的系統(tǒng)用于 解決了通過(guò)多個(gè)機(jī)器人上的不同傳感一節(jié)中已經(jīng)介紹過(guò)方法。基于特征的器計(jì)算得到的 3D 地圖的配準(zhǔn)問(wèn)題， 由 構(gòu)建地圖，需要的時(shí)間是單個(gè)機(jī)器人的方法計(jì)算兩個(gè)幀間的特征匹配， 有兩種思路：一是先提取前一幀圖像的特征，然后在局部范圍內(nèi)的圖像檢索尋找對(duì)1/2，盡管存在一些優(yōu)勢(shì)， 但是多機(jī)器人SLAM系統(tǒng)需要探索由多個(gè)機(jī)器人帶來(lái)的問(wèn)題，例如在線路徑規(guī)劃、 同時(shí)定微型飛行器上的單目相機(jī)得到的稠密的3D 重構(gòu)與地面機(jī)器人上的深度傳感器得到的地圖配準(zhǔn)。一旦配準(zhǔn)， 微型飛應(yīng)點(diǎn)42，該方法具有的優(yōu)點(diǎn)是算法速度位和地圖構(gòu)建、 特征提取和數(shù)據(jù)關(guān)聯(lián)。 行器上的稠密重構(gòu)將用于擴(kuò)充由地面快，局限性是僅在兩幀圖像變化較小的然而，這些問(wèn)題在單個(gè)機(jī)器人 SLAM 系機(jī)器人計(jì)算得到的地圖， 使用航空視角時(shí)候適用；二是對(duì)兩幅圖像都進(jìn)行特征統(tǒng)已經(jīng)得到研究并取得一定的成果， 此 所傳遞的信息進(jìn)行擴(kuò)充。整體的方法提取，在根據(jù)提取的特征建立聯(lián)系， 該外，任務(wù)分配、 通信拓?fù)浜偷貓D融合是 是新穎的，由移動(dòng)相機(jī)得到的現(xiàn)場(chǎng)稠密1122015 世界機(jī)器人大會(huì)報(bào)道特刊 www.kjdb.org重構(gòu)，解決了空地聯(lián)合定位問(wèn)題。 57 使用神經(jīng)網(wǎng)絡(luò)拼合地Saeedi等圖。他們先從網(wǎng)格地圖中提取特征， 根據(jù)特征計(jì)算兩個(gè)地圖間的旋轉(zhuǎn)與平移。對(duì)于增強(qiáng)的自主性的機(jī)器人來(lái)說(shuō)，在沒(méi)有 GPS信號(hào)的環(huán)境中導(dǎo)航是一項(xiàng)非常重要的要求。雖然在一些單個(gè)機(jī)器人的場(chǎng)景中已經(jīng)得到解決， 但是下一步的挑戰(zhàn)是為多個(gè)機(jī)器人設(shè)計(jì)有效的構(gòu)圖和導(dǎo)航算法。實(shí)現(xiàn)編隊(duì)自主性的圖 1 空中和地面機(jī)器人的定位和構(gòu)圖關(guān)鍵需求是提供給機(jī)器人協(xié)作去精確的構(gòu)建環(huán)境地圖的能力， 這個(gè)問(wèn)題和協(xié)作的同時(shí)定位和地圖構(gòu)建密切相關(guān)， 他們研究的構(gòu)圖過(guò)程擴(kuò)展到多機(jī)器人新的占有柵格地圖融合算法。地圖融合通過(guò)轉(zhuǎn)換若干單個(gè)地圖到 Hough空間得到，Hough空間里地圖用一種抽象的形式描述。 Hough變換的特性用于找 圖2 3 個(gè)子地圖融合成 1 個(gè)全局地圖到各個(gè)地圖之間的公共區(qū)域， 進(jìn)而用于計(jì)算地圖之間的未知變換。他們亦提 完成相應(yīng)的目標(biāo)任務(wù)。 容錯(cuò)能力也值得進(jìn)一步研究。出使用 Hough峰來(lái)拼合地圖的算法 58，融合的結(jié)果如圖 2 所示，其中圖 2（a），1）聯(lián)合空中多旋翼飛行器和地面機(jī)器人，搭載 RGB-D 、單目或多目等不3）深度學(xué)習(xí)技術(shù)能夠讓機(jī)器自主理解圖像中存在的特征， 并以此為基礎(chǔ)（b）和（c）分別為子地圖， （d）為融合得同的視覺(jué)傳感器，充分發(fā)揮各自的優(yōu)點(diǎn) 去辨別圖像的相似性， 完成閉環(huán)檢測(cè)的到的全局地圖。 任務(wù)。然而深度學(xué)習(xí)技術(shù)在 SLAM 研獲取更多的環(huán)境信息， 構(gòu)建適用于室內(nèi)外復(fù)雜動(dòng) 態(tài)環(huán)境的 多機(jī)器人 視覺(jué) 究領(lǐng)域中，遠(yuǎn)沒(méi)有得到應(yīng)用， 僅僅在一4 發(fā)展趨勢(shì)機(jī)器人在進(jìn)入未知環(huán)境時(shí)， 需要對(duì)所處環(huán)境進(jìn)行有效地探測(cè)和感知， 獲取SLAM系統(tǒng)。2）在多機(jī)器人系統(tǒng)的地圖融合工作中，在子地圖的重疊部分可在優(yōu)化地些物體識(shí)別中得到應(yīng)用 59,60。下一步可以基于視覺(jué)的 SLAM 系統(tǒng)中的大量圖像信息，應(yīng)用深度學(xué)習(xí)知識(shí)在閉環(huán)檢測(cè) 圖精度方面進(jìn)一步研究， 可用于閉環(huán)檢 以及目標(biāo)識(shí)別等高級(jí)別任務(wù)中。其在環(huán)境中的姿態(tài)信息， 同時(shí)還要構(gòu)建出環(huán)境地圖。只有在了解環(huán)境真實(shí)信 測(cè)提高整體系統(tǒng)性能。另外， 對(duì)部分機(jī)息的基礎(chǔ)上才能進(jìn)行避障、 路徑規(guī)劃并 器人構(gòu)圖失敗的情況， 如何提高系統(tǒng)的參考文獻(xiàn) （References ）1 Stachniss C. Robotic mapping and explorationM. Springer Tracts in Advanced Robotics, 2009.2 Durrant-Whyte H, Bailey T. Simultaneous localization and mapping:part IJ. Robotics & Automation Magazine, IEEE, 2006, 13(2): 99-110.3 陳衛(wèi)東 , 張飛. 移動(dòng)機(jī)器人的同步自定位與地圖創(chuàng)建研究進(jìn)展 J. 控制理論與應(yīng)用 , 2005(3): 455-460.4 張亮 . 移動(dòng)機(jī)器人同步定位與地圖重建算法研究 D. 杭州 : 浙江大學(xué) , 2009.5 Bailey T, Durrant-Whyte H. Simultaneous localization and mapping (SLAM): Part IIJ. Robotics & Automation Magazine, IEEE, 2006, 13(3): 108-117.6 于金霞 , 王璐, 蔡自興 . 未知環(huán)境中移動(dòng)機(jī)器人自定位技術(shù) M. 北京: 電子工業(yè)出版社 , 2011.7 Paz L M, Pini P, Téarsd J Dó, est al. Large-scale 6-DOF SLAM with stereo-in-handJ. Robotics, IEEE Transactions on, 2008, 24(5): 946-957.8 Davison A J, Reid I D, Molton N D, et al. MonoSLAM: Real-time single camera SLAMJ. Pattern Analysis and Machine Intelligence, IEEE Transactionson, 2007, 29(6): 1052-1067.9 Klein G, Murray D. Parallel tracking and mapping for small AR workspacesC/Mixed and Augmented Reality, 2007. ISMAR 2007. 6th IEEE and ACMInternational Symposium on. IEEE, 2007: 225-234.10 S á J Me z, Escolano F. 6dof entropy minimization slamC/Robotics and Automation, 2006. ICRA 2006. Proceedings 2006 IEEE International Conferenceon. IEEE, 2006: 1548-1555.11 Pini P, Téa rsd J Dó. Lsarge-scale slam building conditionally independent local maps: Application to monocular visionJ. Robotics, IEEE Transactionson, 2008, 24(5): 1094-1106.113科技導(dǎo)報(bào) 2015 ，33（23） www.kjdb.org12 Engel J, Sch?ps T, Cremers D. LSD-SLAM: Large-scale direct monocular SLAMM/Computer Vision-ECCV 2014. Springer International Publishing,2014: 834-849.13 Endres F, Hess J, Sturm J, et al. 3-d mapping with an rgb-d cameraJ. Robotics, IEEE Transactions on, 2014, 30(1): 177-187.14 Mur-Artal R, Montiel J M M, Tardos J D. ORB-SLAM: A versatile and accurate monocular SLAM systemJ. arXiv preprint arXiv:1502.00956, 2015.15 Ferranti E, Trigoni N, Levene M. Brick& Mortar: an on-line multi-agent exploration algorithmC/Robotics and Automation, 2007 IEEE InternationalConference on. IEEE, 2007: 761-767.16 Whyte H, Baliey T. Simultaneous Localization and Mapping (SLAM) Part 1 The Essential AlgorithmsJ. IEEE Robotics & Automation Magazine, 2006,13(2): 99-110.17 Bailey T, Durrant-Whyte H. Simultaneous localization and mapping (SLAM): Part IIJ. IEEE Robotics & Automation Magazine, 2006, 13(3): 108-117.18 Castellanos J A, Neira J, Tard J Dó. Ms ultisensor fusion for simultaneous localization and map buildingJ. Robotics and Automation, IEEE Transactionson, 2001, 17(6): 908-914.19 Majumder S, Scheding S, Durrant-Whyte H F. Sensor fusion and map building for underwater navigationC/ Proceedings of Australian Conferenceon Ro?botics and Automation. 2000: 25-30.20 N ü G,tzWi eiss S, Scaramuzza D, et al. Fusion of IMU and vision for absolute scale estimation in monocular SLAMJ. Journal of intelligent & robotic sys?tems, 2011, 61(1-4): 287-299.21 Se S, Lowe D, Little J. Mobile robot localization and mapping with uncertainty using scale-invariant visual landmarksJ. The International Journal of Ro?botics Research, 2002, 21(8): 735-758.22 Olson C F, Matthies L H, Schoppers M, et al. Rover navigation using stereo ego-motionJ. Robotics and Autonomous Systems, 2003, 43(4): 215-229.23 Hartley R, Zisserman A. Multiple view geometry in computer visionM. Cambridge: Cambridge University Press, 2003.24 Kaess M, Dellaert F. Probabilistic structure matching for visual SLAM with a multi-camera rigJ. Computer Vision and Image Understanding, 2010, 114(2): 286-296.25 Carrera G, Angeli A, Davison A J. SLAM-based automatic extrinsic calibration of a multi-camera rigC/Robotics and Automation (ICRA), 2011 IEEEInternational Conference on. IEEE, 2011: 2652-2659.26 Davison A J, Cid Y G, Kita N. Real-time 3D SLAM with wide-angle visionC/Proc. IFAC/EURON Symp. Intelligent Autonomous Vehicles. 2004: 31-33.27 Scaramuzza D, Siegwart R. Appearance-guided monocular omnidirectional visual odometry for outdoor ground vehiclesJ. Robotics, IEEE Transactionson, 2008, 24(5): 1015-1026.28 Huang A S, Bachrach A, Henry P, et al. Visual odometry and mapping for autonomous flight using an RGB-D cameraC/International Symposium onRobotics Research (ISRR). 2011: 1-16.29 Hu G, Huang S, Zhao L, et al. A robust rgb-d slam algorithmC/Intelligent Robots and Systems (IROS), 2012 IEEE/RSJ International Conference on.IEEE, 2012: 1714-1719.30 Engelhard N, Endres F, Hess J, et al. Real-time 3D visual SLAM with a hand-held RGB-D cameraC/OL. 2015-09-31. http:/vision.informatik.tu-muenchen.de/_media/spezial/bib/engelhard11euron.pdf.31 Endres F, Hess J, Engelhard N, et al. An evaluation of the RGB-D SLAM systemC/Robotics and Automation (ICRA), 2012 IEEE International Confer?ence on. IEEE, 2012: 1691-1696.32 Rublee E, Rabaud V, Konolige K, et al. ORB: An efficient alternative to SIFT or SURFC/Computer Vision (ICCV), 2011 IEEE International Confer?ence on. IEEE, 2011: 2564-2571.33 Sturm J, Magnenat S, Engelhard N, et al. Towards a benchmark for RGB-D SLAM evaluationC. Proc. of the RGB-D Workshop on Advanced Reason?ing with Depth Cameras at Robotics: Science and Systems Conf.(RSS), Los Angeles, USA. 2011, 2: 3.34 Davison A J. Real-time simultaneous localisation and mapping with a single cameraC/Computer Vision, 2003. Proceedings. Ninth IEEE InternationalConference on. IEEE, 2003: 1403-1410.35 Lemaire T, Berger C, Jung I K, et al. Vision-based slam: Stereo and monocular approachesJ. International Journal of Computer Vision, 2007, 74(3):343-364.36 Vidal-Calleja T, Bryson M, Sukkarieh S, et al. On the observability of bearing-only SLAMC/Robotics and Automation, 2007 IEEE International Confer?ence on. IEEE, 2007: 4114-4119.37 Gao X, Zhang T. Robust RGB-D simultaneous localization and mapping using planar point featuresJ. Robotics & Autonomous Systems, 2015, 72:1-14.38 Lowe D G. Distinctive image features from scale-invariant keypointsJ. International Journal of Computer Vision, 2004, 60(2): 91-110.39 Bay H, Tuytelaars T, Gool L V. SURF: Speeded up robust featuresJ. Computer Vision & Image Understanding, 2006, 110(3): 404-417.40 Lepetit V, Ozuysal M, Trzcinski T, et al. BRIEF: Computing a local binary descriptor very fastJ. IEEE Transactions on Software Engineering, 2011, 34(7): 1281-1298.41 Huijuan Z, Qiong H. Fast image matching based-on improved SURF algorithmC/Electronics, Communications and Control (ICECC), 2011 InternationalConference on. IEEE, 2011: 1460-1463.42 Chli M, Davison A J. Active matching for visual trackingJ. Robotics and Autonomous Systems, 2009, 57(12): 1173-1187.43 Fischler M A, Bolles R C. Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartographyJ.Communications of the ACM, 1981, 24(6): 381-395.44 Pollefeys M, Van Gool L, Vergauwen M, et al. Visual modeling with a hand-held cameraJ. International Journal of Computer Vision, 2004, 59(3): 207-232.1142015 世界機(jī)器人大會(huì)報(bào)道特刊 www.kjdb.org45 Engels C, Stew éH, Ninstius D. Béu nrdle adjustment rulesJ. Photogrammetric computer vision, 2006, 2: 124-131.46 Strasdat H, Montiel J M M, Davison A J. Real-time monocular slam: Why filter?C/Robotics and Automation (ICRA), 2010 IEEE International Confer?ence on. IEEE, 2010: 2657-2664.47 Fuentes-Pacheco J, Ruiz-Ascencio J, Rend ó n-MJ aMn.c hVai s u a l simultaneous localization and mapping: a surveyJ. Artificial Intelligence Review,2015, 43(1): 55-81.48 Marjovi A, Nunes J G, Marques L, et al. Multi-Robot Exploration and Fire SearchingC/ IEEE/RSJ International Conference on Intelligent Robots andSystems (IROS). IEEE, 2009:1929-1934.49 張國(guó)良 , 湯文俊 , 曾靜 , 等. 考慮通信狀況的多機(jī)器人 CSLAM 問(wèn)題綜述 J. 自動(dòng)化學(xué)報(bào) , 2014, 40(10): 2073-2088.50 Michael N, Shen S, Mohta K, et al. Collaborative mapping of an earthquake-damaged building via ground and aerial robotsJ. Journal of Field Robotics,2012, 29(5): 832-841.51 Lee H C, Lee S H, Choi M H, et al. Probabilistic map merging for multi-robot RBPF-SLAM with unknown initial posesJ. Robotica, 2012, 30(2): 205-220.52 Gil A, Reinoso O, Ballesta M, et al. Multi-robot visual slam using a rao-blackwellized particle filter. Robotics and Autonomous Systems, 2010, 58(1):68-80.53 Vidal-Calleja T A, Berger C, Sola J, et al. Large scale multiple robot visual mapping with heterogeneous landmarks in semi-structured terrain. Roboticsand Autonomous Systems, 2011, 59(9): 654-674.54 Benedettelli D, Garulli A, Giannitrapani A. Cooperative SLAM using M-Space representation of linear featuresJ. Robotics and Autonomous Systems,2012, 60(10): 1267-1278.55 Zhou X S, Roumeliotis S. Multi-robot SLAM with unknown initial correspondence: The robot rendezvous caseC/Intelligent Robots and Systems, 2006IEEE/RSJ International Conference on. IEEE, 2006: 1785-1792.56 Forster C, Pizzoli M, Scaramuzza D. Air-ground localization and map augmentation using monocular dense reconstructionC/Intelligent Robots and Sys?tems (IROS), 2013 IEEE/RSJ International Conference on. IEEE, 2013: 3971-3978.57 Saeedi S, Paull L, Trentini M, et al. Neural network-based multiple robot simultaneous localization and mappingJ. IEEE Transactions on Neural Net?works, 2011, 22(12): 2376-2387.58 Saeedi S, Paull L, Trentini M, et al. Map merging for multiple robots using Hough peak matchingJ. Robotics and Autonomous Systems, 2014, 62(10):1408-1424.59 Kostavelis I, Gasteratos A. Learning spatially semantic representations for cognitive robot navigationJ. Robotics and Autonomous Systems, 2013, 61(12):1460-1475.60 Bo L, Ren X, Fox D. Learning hierarchical sparse features for rgb-d object recognitionJ. International Journal of Robotics Research, 2014, 33(4): 581-599.A survey on the cooperative SLAM problem of multi-robots systemsbased on visualL üQiang, LIN Huican, ZHANG Yang, MA JianyeDepartment of Control Engineering, Academy of Armored Forces Engineering, Beijing 100072, ChinaAbstract Visual SLAM using only images as external information estimates the robot position while building the environment map.SLAM is a basic prerequisite for autonomousrobots. Now it has been solved by using a laser or sonar sensor to build 2D map in asmall dynamic environment. However, in a dynamic, wide range and complex environment there are still problems to be solved, andthe use of vision as the basic external sensor is a new area of research. The use of computer vision techniques in visual SLAM, suchas feature detection, characterization, feature matching, image recognition and recovery, has still much room for improvement. Thepaper offers a brief overview on visual SLAM about the latest and easy to understand technologies in the field. Multi-robot systemshave many advantages over a single robot, which can improve the precision of SLAM system, and better adapt