畢業(yè)設(shè)計(jì)開題報(bào)告 Research on Algorithms of Vision-based Lane Recognition 基于視覺(jué)的車道線識(shí)別算法研究 題 目 基于視覺(jué)的車道線識(shí)別算法研究 學(xué)生姓名 學(xué)號(hào) 班級(jí) 電 班 專業(yè) 自動(dòng)化 一、本課題的研究背景、國(guó)內(nèi)外研究現(xiàn)狀 隨著城市化的發(fā)展和汽車的普及，交通環(huán)境日趨惡劣，交通擁擠加劇，交通事故頻發(fā)，交通 問(wèn)題已經(jīng)成為全球范圍內(nèi)人們普遍關(guān)注的社會(huì)問(wèn)題。基于 21 世紀(jì)信息和計(jì)算機(jī)技術(shù)的高速發(fā)展， 對(duì)待道路交通問(wèn)題上，人們?cè)絹?lái)越傾向于依靠高科技尋求解決之路，世界各國(guó)都競(jìng)相開展智能車 路系統(tǒng)和智能交通系統(tǒng)。隨之，智能車輛導(dǎo)航的概念應(yīng)運(yùn)而生。在車輛視覺(jué)導(dǎo)航系統(tǒng)中最為關(guān)鍵 的技術(shù)就是計(jì)算機(jī)視覺(jué)，計(jì)算機(jī)視覺(jué)的主要任務(wù)是完成道路的識(shí)別和跟蹤。國(guó)內(nèi)外許多學(xué)者對(duì)視 覺(jué)導(dǎo)航進(jìn)行了研究，有試圖用雙目或多目視覺(jué)完成導(dǎo)航任務(wù)，但面臨的最大難點(diǎn)是不能較好的解 決多目視覺(jué)系統(tǒng)的匹配問(wèn)題且設(shè)備的成本較高；也有致力于單視目視覺(jué)技術(shù)的研究，但其方法缺 少實(shí)時(shí)性；有嘗試用三維重建的方法識(shí)別車道線，但由于其算法復(fù)雜度高難以滿足實(shí)時(shí)性的要求。 提高算法實(shí)時(shí)性和魯棒性是目前急需解決的問(wèn)題。 二、主要工作和所采用的方法、手段 根據(jù)對(duì)車道線識(shí)別算法的要求，研究幾種算法的實(shí)時(shí)性和魯棒性，并且用軟件編程，仿真算 法在道路圖像中的檢測(cè)效果，在眾多算法的研究中，提出具有一定實(shí)時(shí)性和魯棒性的識(shí)別算法。 并用語(yǔ)言實(shí)現(xiàn)該算法，得到仿真結(jié)果。 在算法選定中，通過(guò)對(duì)比實(shí)驗(yàn)仿真的結(jié)果，可以看出用彩色通道提取法灰度化道路圖像更能 增強(qiáng)車道標(biāo)記線的白色部分，融合瀝青路面區(qū)域信息和車道線邊緣信息獲取車道線像素點(diǎn)，具有 克服虛假邊界的優(yōu)點(diǎn)。最后，通過(guò)簡(jiǎn)化車道線模型，提出直線型車道線模型假設(shè)，并用 hough 變 換及其改進(jìn)算法和中值截距法提取車道線，分別通過(guò) MATLAB 仿真得到實(shí)驗(yàn)結(jié)果。 三、預(yù)期達(dá)到的結(jié)果 通過(guò)對(duì)算法的研究,預(yù)期提出的最優(yōu)算法在結(jié)構(gòu)化道路的情況下能夠檢測(cè)出車道線，同時(shí)具 有一定的實(shí)時(shí)性和魯棒性。 指導(dǎo)教師簽字 時(shí) 間 2009 年 3 月 10 日 摘 要 目前，許多國(guó)家有計(jì)劃地開展了視覺(jué)導(dǎo)航系統(tǒng)的研究，其中道路檢測(cè)是視覺(jué)導(dǎo) 航系統(tǒng)的重要組成部分,檢測(cè)的精度直接關(guān)系到智能車輛行駛的安全性，因此備受關(guān) 注。本設(shè)計(jì)研究基于視覺(jué)的道路識(shí)別算法。首先分析了已有的圖像預(yù)處理算法，并 根據(jù)本設(shè)計(jì)中圖像處理的具體要求，選取了合適的圖像預(yù)處理算法。提出對(duì)獲得的 彩色圖像，采用彩色通道提取法使其灰度化更能增強(qiáng)車道標(biāo)記線的白色部分；根據(jù) 車道線傾斜的特征，自定義差分模板處理灰度化后的圖像，得到車道線的邊緣；為 了提高道路識(shí)別的實(shí)時(shí)性和抗干擾能力，論文提出了區(qū)域生長(zhǎng)法，選取合適的種子 點(diǎn)生長(zhǎng)出路面區(qū)域。然后，根據(jù)邊緣和區(qū)域信息所表示的道路邊界線，應(yīng)該在空間 上占據(jù)相同或相近的位置，論文提出用融合邊緣和路面區(qū)域兩種信息獲取車道線像 素點(diǎn)。在獲取車道線像素點(diǎn)后，論文采用直線道路模型假設(shè)作為約束條件，分別用 hough 變換及其改進(jìn)算法和中值截距算法提取車道線，并用 MATLAB 對(duì)算法進(jìn)行了 仿真，得出了改進(jìn)后的 hough 變換在車道線檢測(cè)上具有較好的實(shí)時(shí)性和魯棒性的結(jié) 論。 關(guān)鍵詞：圖像預(yù)處理 彩色通道提取 區(qū)域生長(zhǎng) 改進(jìn)的 hough 變換 Abstract Recent the research on Visual navigation systems have been developed in many countries. And a lane-detection system is an important component of many visual navigation systems. There has been active research on the lane-detection, because it closely relates to the safety of intelligent vehicles. In this thesis, the road positioning algorithms based on image are researched. At first, the current algorithms of image preprocessing are analyzed. By the specific requirements of the image processing in this thesis, the appropriate algorithm is chosen. For example, in order to get a greylevel image from a colour one, we introduced a method called getting from multicolor channel. As the result, the white line on the road image can be intensified stronger than the other ways. Then given the features of road line, a difference cyclostyle is defined to extract the edge. At the same, in order to improve the real-time performance of roads and anti-jamming capability, regional growth ways is introduced, through it we can chose a proper seed to get a regional road image. Then edge extraction and integration of regional growth way is used to identify the road edge according to marginal and regional information should occupy space in the same or similar position. After getting the road line points, straight road model is considered as the constraints and three algorithms, such as hough transform, improved hough transform algorithm and median of the intercepts algorithm, are established for linear feature extraction. Then there is a comparsion between their advantages and disadvantages by using MATLAB. Finally, a conclusion is drawed that the improved hough transform algorithm can improve the real-time performance of roads better and its robust is also prior to them. Key words: Image preprocessing Getting from multicolor channel Regional growth way Improved hough transform 目 錄 第 1 章 緒論 .1 1.1 課題研究的背景和意義 .1 1.2 國(guó)內(nèi)外研究現(xiàn)狀 .2 1.3 論文的研究?jī)?nèi)容 .2 第 2 章 單目視覺(jué)系統(tǒng) .4 2.1 引言 .4 2.2 單目視覺(jué)導(dǎo)航系統(tǒng)成像模型 .4 2.3 本章小結(jié) .6 第 3 章 道路圖像預(yù)處理 .7 3.1 引言 .7 3.2 道路圖像灰度化 .7 3.2.1 常用的灰度化方法 .7 3.2.2 彩色通道提取灰度化 .9 3.3 圖像灰度變換 .10 3.3.1 圖像灰度線性變換 .11 3.3.2 圖像灰度非線性變換 .11 3.3.3 基于直方圖的灰度變換 .12 3.4 圖像濾波 .14 3.4.1 線性平滑濾波 .14 3.4.2 非線性平滑濾波 .15 3.5 圖像邊緣增強(qiáng) .17 3.5.1 圖像的梯度和邊緣檢測(cè)算子 .17 3.5.2 自定義差分算子 .20 3.5.3 加入噪聲圖像檢測(cè)實(shí)驗(yàn) .21 3.6 本章小結(jié) .22 第 4 章 道路邊緣的識(shí)別 .24 4.1 引言 .24 4.2 道路檢測(cè)方法簡(jiǎn)介 .24 4.3 邊緣與區(qū)域相結(jié)合的道路檢測(cè)方法 .25 4.3.1 區(qū)域生長(zhǎng)法的基本概念 .25 4.3.2 融合兩種信息提取的仿真實(shí)驗(yàn) .28 4.4 基于模型的道路識(shí)別 .29 4.4.1 道路模型假設(shè) .29 4.4.2 道路圖像特征直線提取 .30 4.4.2.1 傳統(tǒng)霍夫變換提取直線 .30 4.4.2.2 隨機(jī)霍夫變換提取直線 .32 4.4.2.3 中值截距法提取車道線 .34 4.5 算法比較 .36 4.6 隨機(jī)霍夫變換提取直線的檢驗(yàn) .37 4.7 本章小結(jié) .43 第 5 章 結(jié)論和展望 .44 參考文獻(xiàn) .45 致謝 .46 附錄 .47 1 第 1 章 緒論 1.1 課題研究的背景和意義 隨著城市化的發(fā)展和汽車的普及，交通環(huán)境日趨惡劣，交通擁擠加劇，交通事 故頻發(fā)，交通問(wèn)題已經(jīng)成為全球范圍內(nèi)人們普遍關(guān)注的社會(huì)問(wèn)題。近年來(lái)，為解決 交通問(wèn)題世界各國(guó)都競(jìng)相開展智能車路系統(tǒng)和智能交通系統(tǒng)等領(lǐng)域的研究。智能系 統(tǒng)的發(fā)展為改善交通環(huán)境狀況，提高車輛行駛的安全性與可靠性，減少駕駛員人為 因素造成的交通事故等開辟了廣闊的前景。隨之，智能車輛導(dǎo)航(Intelligent Vehicle Guidance)的概念應(yīng)運(yùn)而生?；谝曈X(jué)的智能車輛導(dǎo)航可追溯到 19 世紀(jì) 70 年代初期 的移動(dòng)機(jī)器人研究，但由于當(dāng)時(shí)的硬件水平還比較低，而圖像處理的計(jì)算量非常大， 研究者的精力也就過(guò)多地耗費(fèi)在硬件平臺(tái)的設(shè)計(jì)、實(shí)現(xiàn)和測(cè)試上。但隨著計(jì)算機(jī)硬 件水平的飛速發(fā)展，該問(wèn)題得到了很好的解決。在智能車輛導(dǎo)航諸多復(fù)雜且具有挑 戰(zhàn)性的任務(wù)中，最受重視之一的是基于視覺(jué)的道路檢測(cè)問(wèn)題。 從理論上分析，在道路檢測(cè)中，要獲得道路環(huán)境的三維信息，需要采用雙目或 多目立體視覺(jué)系統(tǒng) 1。但是，雙目或多目立體視覺(jué)系統(tǒng)在實(shí)際應(yīng)用中所需計(jì)算量很 大，而且雙目或多目立體視覺(jué)系統(tǒng)在視覺(jué)匹配問(wèn)題上很難解決，而智能車輛在較高 速度下的圖像處理速度比一般情況下要高，目前的微處理器計(jì)算能力還不能完全滿 足其實(shí)時(shí)性的要求，所以目前雙目或多目立體視覺(jué)系統(tǒng)還不適合在較高速度下智能 車輛視覺(jué)導(dǎo)航中應(yīng)用。當(dāng)前，智能車輛視覺(jué)系統(tǒng)主要是獲取道路平面的二維路徑信 息，而道路中的其它車輛和障礙物信息可以通過(guò)視覺(jué)系統(tǒng)、激光雷達(dá)測(cè)距儀及避障 傳感器系統(tǒng)進(jìn)行信息融合得到。這就極大的提高了信息獲取的可靠性，所以單目視 覺(jué)系統(tǒng)仍然能夠滿足較高速度情況下視覺(jué)導(dǎo)航的要求。實(shí)際上，世界范圍內(nèi)大多數(shù) 智能車輛視覺(jué)導(dǎo)航系統(tǒng)都采用單目視覺(jué)來(lái)獲取道路環(huán)境信息。在單目或多目視覺(jué)導(dǎo) 航系統(tǒng)中最為關(guān)鍵的技術(shù)就是計(jì)算機(jī)視覺(jué)。計(jì)算機(jī)視覺(jué)的主要任務(wù)是完成道路的識(shí) 別和跟蹤，對(duì)于信息采集處理的實(shí)時(shí)性、行駛過(guò)程控制的魯棒性以及自主運(yùn)行決策 的可行性都有很高的要求。這些要求就使所設(shè)計(jì)的系統(tǒng)必須在理論算法上給予強(qiáng)大 的支持，針對(duì)計(jì)算機(jī)視覺(jué)部分就是要有實(shí)時(shí)高效的圖像處理算法。 對(duì)基于視覺(jué)的車道線識(shí)別研究意義在于能實(shí)現(xiàn)智能車輛乃至機(jī)器人的自主導(dǎo)航， 提高駕駛的安全性，改善交通環(huán)境和駕駛的舒適性。識(shí)別技術(shù)用于車輛的路徑偏離 預(yù)警系統(tǒng)，大部分由于車輛偏離車道造成的事故可以避免。用于駕駛員預(yù)警系統(tǒng)同 樣具有重要意義。其次，識(shí)別技術(shù)可以用來(lái)提高智能巡航控制中跟蹤引導(dǎo)車輛的精 2 度。最后，識(shí)別技術(shù)可廣泛應(yīng)用于公路、碼頭、倉(cāng)庫(kù)等的自動(dòng)運(yùn)輸系統(tǒng)中，實(shí)現(xiàn)車 輛運(yùn)輸?shù)淖詣?dòng)化。 1.2 國(guó)內(nèi)外研究現(xiàn)狀 目前為止，國(guó)內(nèi)外智能車輛無(wú)一例外地使用機(jī)器視覺(jué)作為其重要的感知方式， 基于計(jì)算機(jī)視覺(jué)系統(tǒng)的導(dǎo)航技術(shù)具有價(jià)格低廉、結(jié)構(gòu)簡(jiǎn)單、方便與其他傳感器進(jìn)行 數(shù)據(jù)融合等優(yōu)點(diǎn)，所以利用機(jī)器視覺(jué)識(shí)別公路上的車道線實(shí)現(xiàn)自主導(dǎo)航是現(xiàn)階段智 能車輛常用的方法。該方法己經(jīng)被實(shí)際系統(tǒng)證明是最有效的外部環(huán)境感知方式，道 路的識(shí)別是視覺(jué)導(dǎo)航的關(guān)鍵技術(shù)，因其較大的復(fù)雜性和挑戰(zhàn)性而備受關(guān)注。 一部分學(xué)者致力于用多目視覺(jué)技術(shù)來(lái)解決這個(gè)問(wèn)題。德國(guó)學(xué)者利用立體視覺(jué)方 法來(lái)提高系統(tǒng)的魯棒性，可是，多目視覺(jué)中存在一個(gè)無(wú)法回避的難題是圖像匹配的 實(shí)時(shí)性問(wèn)題。日本通過(guò)當(dāng)前圖像與參考圖像之間像素的迅速匹配，解決了巨大運(yùn)算 量的實(shí)時(shí)處理的困難。與此同時(shí)，許多學(xué)者試圖用單目技術(shù)來(lái)實(shí)現(xiàn)道路檢測(cè)，而且 目前也已經(jīng)取得了豐富的成果。其中法國(guó)學(xué)者提出一種視覺(jué)方法，僅利用一臺(tái)攝像 機(jī)得到路面的信息，就能夠正確地跟蹤有路標(biāo)和無(wú)路標(biāo)情況下的道路。該方法從圖 像中提取出道路的邊緣特征，定位機(jī)器所在車道的位置，再采用車道的統(tǒng)計(jì)模型進(jìn) 行精確匹配，結(jié)果較為準(zhǔn)確。美國(guó)也采用單目攝像機(jī)，通過(guò)圖像序列測(cè)取道路環(huán)境 的信息。 目前基于視覺(jué)導(dǎo)航的智能車輛 2中比較有成效的是：美國(guó) Carnegie Mellon University 研制的 Navlab 系列智能車，可識(shí)別和跟蹤 S 形曲線和道路行車線，平均 速度達(dá)到 88.5km/h；日本豐田公司 1993 年研制的智能車，安裝了 2/3 英寸 CCD 鏡 頭，普通高速公路上的實(shí)驗(yàn)車速為 60km/h；德國(guó)的 UBM 大學(xué)研制了裝有 4 個(gè)彩色 CCD 構(gòu)成雙目視覺(jué)系統(tǒng)跟蹤車道白線、避障和自動(dòng)超車；法國(guó)帕斯卡大學(xué)與雪鐵龍 技術(shù)中心合作研究的 Peugeot 智能車，能判別引導(dǎo)線是否漏檢或丟失，車速達(dá) 130km/h；清華大學(xué)研制的 THMR 智能車輛系統(tǒng)集成了二維彩色攝像機(jī)、GPS 、超 聲等傳感器，系統(tǒng)可完成白線跟蹤、路標(biāo)識(shí)別、道路識(shí)別等任務(wù)；吉林大學(xué)智能車 輛課題組研制的視覺(jué)導(dǎo)航的智能車輛實(shí)現(xiàn)了對(duì)路面鋪設(shè)的條帶狀路標(biāo)的視覺(jué)識(shí)別以 及車輛自主導(dǎo)航的功能。 1.3 論文的研究?jī)?nèi)容 當(dāng)智能車輛在公路高速行駛，視覺(jué)系統(tǒng)作為最重要的感知手段之一時(shí)，圖像在 識(shí)別外界信息中扮演著重要角色，如何通過(guò)圖像提取車道線，目前有許多算法，例 3 如像素掃描、模板匹配、霍夫變換和邊緣跟蹤等常用的車道線邊緣像素提取方法， 其中像素掃描是普遍采用的一種提取方法，具有靈活、高效、抗干擾能力強(qiáng)的特點(diǎn)。 在研究不同的算法在道路圖像的應(yīng)用過(guò)程中，圖像的預(yù)處理至關(guān)重要。首先對(duì) 一些圖像的預(yù)處理算法，如圖像灰度化、圖像濾波、圖像邊緣增強(qiáng)等，用 MATLAB 進(jìn)行仿真，比較它們的處理結(jié)果。因?yàn)椴煌念A(yù)處理方法影響檢測(cè)的實(shí)時(shí)性和正確 性，其中為了更多的利用彩色圖像提供的車道標(biāo)記線和瀝青路面色彩的信息，本設(shè) 計(jì)用彩色通道提取法得到灰度化圖像。由于實(shí)際情況復(fù)雜多變，如遇到雨、雪天氣， 因此加入椒鹽噪聲模擬實(shí)際情況，并用各種常用的濾波模板處理圖像。從處理后圖 像再現(xiàn)清晰度的效果中，選出最優(yōu)的濾波方法。一般獲得的道路圖像中包含的信息 都有車道線和路面兩種信息，而由于車道線作為圖像中的一種邊緣，根據(jù)邊緣的屬 性，可以用差分算子將邊緣檢測(cè)出來(lái)。通過(guò)對(duì)常見的差分檢測(cè)算子和自定義的差分 算子比較，可以看出后者更能增強(qiáng)車道線標(biāo)記部分。在圖像邊緣增強(qiáng)后，不僅車道 線得到了增強(qiáng)，許多樹木、行人、車輛等也得到了增強(qiáng)，由此增加了許多虛假的邊 界。為獲得更準(zhǔn)確的車道線邊界，本設(shè)計(jì)用融合邊緣和區(qū)域信息的方法定位車道線， 并且與自適應(yīng)二值化圖像比較，可以看出前者克服虛假邊界的能力更強(qiáng)。最后，建 立并提取車道線模型是最為關(guān)鍵的部分，本設(shè)計(jì)假設(shè)在結(jié)構(gòu)化道路上，智能車輛僅 采集的是前方不遠(yuǎn)處的道路圖像，提出直線型車道線模型，而且該模型計(jì)算量小， 在一定程度上能適應(yīng)車輛在高速行駛過(guò)程中對(duì)實(shí)時(shí)性的要求?；谥本€型車道線的 假設(shè)，在圖像中提取特征直線時(shí)，用 hough 變換及其改進(jìn)的算法和中值截距法進(jìn)行 提取。通過(guò)比較，改進(jìn)的 hough 變換隨機(jī) hough 變換實(shí)時(shí)性最好，并且對(duì)其它 圖像進(jìn)行檢測(cè)，一定程度上隨機(jī) hough 變換的魯棒性也符合要求。 4 第 2 章 單目視覺(jué)系統(tǒng) 2.1 引言 為了準(zhǔn)確識(shí)別道路環(huán)境，視覺(jué)導(dǎo)航系統(tǒng)理應(yīng)獲得車輛前方道路的三維信息，包 括車輛與道路的位置關(guān)系和道路中障礙物信息。要正確的理解三維世界環(huán)境，理論 上應(yīng)該采用雙目或者多目視覺(jué)系統(tǒng)，但從立體視覺(jué)的角度來(lái)解決環(huán)境重建問(wèn)題，因 為從現(xiàn)有的研究結(jié)果來(lái)看，直接通過(guò)對(duì)圖像進(jìn)行三維恢復(fù)獲取環(huán)境信息有以下幾個(gè) 方面的困難：首先，計(jì)算量巨大。其次，匹配點(diǎn)尋找困難。另外，遮擋問(wèn)題。例如, 左右視野的部分場(chǎng)景不匹配、左右視野環(huán)境光的不同都使得戶外環(huán)境下的基于像素 的視野景物深度恢復(fù)困難重重，如今的立體視覺(jué)研究者多數(shù)簡(jiǎn)化了這些不利因素的 影響。即使這樣，雙目或者多目視覺(jué)系統(tǒng)需要的計(jì)算量仍是比較大的，目前計(jì)算機(jī) 的計(jì)算能力還不足以滿足車輛導(dǎo)航系統(tǒng)的實(shí)時(shí)性要求，因此雙目或者多目視覺(jué)系統(tǒng) 一般用于復(fù)雜、未知環(huán)境下低速行駛的智能車輛，并且雙目或者多目視覺(jué)系統(tǒng)也會(huì) 提高系統(tǒng)成本。對(duì)于道路檢測(cè)來(lái)說(shuō)，需要獲得道路方向和車輛與道路的位置關(guān)系， 也沒(méi)有必要一定要完全理解整個(gè)三維世界環(huán)境。目前基于視覺(jué)導(dǎo)航的智能車輛多采 用單目視覺(jué)系統(tǒng)完成道路檢測(cè)及跟蹤，而采用多目視覺(jué)系統(tǒng)完成道路上的障礙物檢 測(cè)。當(dāng)采用單目視覺(jué)系統(tǒng)檢測(cè)道路時(shí)，由于從三維的世界環(huán)境轉(zhuǎn)換到圖像的二維信 息，在這個(gè)轉(zhuǎn)換過(guò)程中，損失了三維環(huán)境中的深度信息，而且這個(gè)過(guò)程是不可逆的。 通常為了從單目視覺(jué)系統(tǒng)中獲得道路的三維信息，對(duì)此提出了一些合理的假設(shè)，如 道路平坦假設(shè)、道路邊緣連續(xù)性假設(shè)、道路模型假設(shè)等。從國(guó)內(nèi)外實(shí)驗(yàn)情況來(lái)看， 采用了一些合理假設(shè)后，單目視覺(jué)系統(tǒng)進(jìn)行道路檢測(cè)是可行的。 2.2 單目視覺(jué)導(dǎo)航系統(tǒng)成像模型 為了得到圖像中的像素和實(shí)際道路區(qū)域點(diǎn)的對(duì)應(yīng)關(guān)系，必須知道二維圖像信息 和三維世界信息的關(guān)系模型。由于單目視覺(jué)系統(tǒng)損失了三維世界中的深度信息，這 個(gè)過(guò)程是不可逆的，在實(shí)際應(yīng)用中，根據(jù)需要作了一些假設(shè)和已知一定的信息，從 而從二維圖像中估計(jì)出三維的道路信息。具體的做法如下：假設(shè)車輛前方的道路是 平坦的,設(shè)定攝像機(jī)的安裝位置固定(安裝的高度、俯視角、偏離角)，攝像機(jī)的固有 參數(shù)為常數(shù)(攝像機(jī)焦距、孔徑張角)。由于在道路檢測(cè)的過(guò)程中，只需要得到道路 延伸方向、車輛的偏移距離，并不需要將道路的三維信息完全恢復(fù)，以上的假設(shè)是 5 可以滿足實(shí)際需要的。在攝像機(jī)成像幾何模型中最常用最簡(jiǎn)單的是線性模型針 孔模型 3。下面就攝像機(jī)成像模型進(jìn)行介紹。 攝像機(jī)成像的實(shí)質(zhì)是將三維道路場(chǎng)景信息變換成二維圖像信息，這個(gè)變換可以 用一個(gè)從三維空間(3D) 到二維空間 (2D)的映射如式 (2-1)：),(,:23 yxzRf 來(lái)表示。上述的這種映射關(guān)系可以用透視投影針孔成像模型來(lái)近似解釋。透視投影 成像模型的特點(diǎn)是所有來(lái)自場(chǎng)景的光線均通過(guò)一個(gè)投影中心，它對(duì)應(yīng)于透視的中心。 圖 2-1(a)中經(jīng)過(guò)投影中心 o且垂直于圖像平面的直線為攝像機(jī)光軸 o， xyz為世 界坐標(biāo)系， xyo為圖像平面坐標(biāo)系，f 為攝像機(jī)焦距。由幾何關(guān)系可知，世界坐標(biāo) 系中的點(diǎn) p經(jīng)投影中心 點(diǎn)在圖像平面坐標(biāo)系中的投影點(diǎn)為 p，可以看出其成像是 倒立的。為了避免這種倒立圖像，現(xiàn)在假定圖像平面位于 Z軸正半軸且與投影中心 的垂直距離為焦距 f處，此時(shí)點(diǎn) p經(jīng)投影中心 o點(diǎn)在圖像平面坐標(biāo)系中的投影點(diǎn) 為 ，如圖 2-1(b)所示，可以看出 位于點(diǎn) 和點(diǎn) 之間，其投影大小與 p完全相 同，但是此時(shí)為正立的投影圖像，這種現(xiàn)象在計(jì)算機(jī)視覺(jué)中也稱為視網(wǎng)膜成像。 (a) 透視投影倒立成像圖 (b) 透視投影倒立成像圖 圖 2-1 透視投影圖像 由于這種成像模型最簡(jiǎn)單，計(jì)算量小，在作了一些假設(shè)之后，適應(yīng)于實(shí)際情況， 因此本設(shè)計(jì)將單視目成像的針孔模型作為二維圖像信息和三維世界信息的關(guān)系模型。 由圖 2-1(a)或圖 2-1(b)均可以得到 ),(zyxp點(diǎn)與其在圖像平面上的投影點(diǎn)),(yxp 或 ),(的映射關(guān)系，由圖中幾何關(guān)系可以得到透視投影方程式(2-2)所示： ZfYX (2-1) (2-2) 6 即世界坐標(biāo)系中 ),(zyxp點(diǎn)與其在圖像平面上投影點(diǎn) ),(yxp或 ),(的映射關(guān)系 如式(2-3)所示： YZfyXfx 2.3 本章小結(jié) 本章簡(jiǎn)單介紹了兩種道路信息的獲得方法，即采用雙目或多目視覺(jué)系統(tǒng)和采用 單目視覺(jué)系統(tǒng)。由于單視目系統(tǒng)在實(shí)時(shí)性，系統(tǒng)成本上優(yōu)于前者，所以目前常用的 是單視目導(dǎo)航系統(tǒng)。從三維世界坐標(biāo)得到二維圖像坐標(biāo)的方法中，簡(jiǎn)要討論了單目 視覺(jué)系統(tǒng)中最簡(jiǎn)單、常用的成像幾何模型針孔模型，由于在實(shí)際應(yīng)用中，一些 假設(shè)和已知一定信息的存在，該模型應(yīng)用在車道線識(shí)別中是可行的。 (2-3) 7 第 3 章 道路圖像預(yù)處理 3.1 引言 智能車輛視覺(jué)系統(tǒng)完成圖像采集后，需要對(duì)獲取的圖像進(jìn)行各種處理與識(shí)別。 而視覺(jué)系統(tǒng)在圖像的生成、采樣、量化、傳輸、變換等過(guò)程中，由于 CCD 傳感器的 噪聲、隨機(jī)大氣湍流、光學(xué)系統(tǒng)的失真等原因會(huì)造成 CCD 攝像機(jī)成像質(zhì)量的降低。 另外，由于車輛行駛時(shí)視覺(jué)系統(tǒng)與道路環(huán)境之間存在相對(duì)運(yùn)動(dòng)，輸出圖像的質(zhì)量也 會(huì)降低，常產(chǎn)生運(yùn)動(dòng)模糊等現(xiàn)象。為了改善視覺(jué)系統(tǒng)圖像的質(zhì)量，需要突出道路圖 像中的有用信息并盡可能消除其它環(huán)境信息的干擾，因此需要對(duì)原始圖像進(jìn)行圖像 的預(yù)處理操作。 圖像預(yù)處理是指按特定的需要突出一幅圖像的某些信息，同時(shí)，削弱或去除某 些不需要的信息的處理方法。其目的是使處理后的圖像對(duì)于某種特定的應(yīng)用，比原 始圖像更便于人和機(jī)器對(duì)圖像的理解和分析。 3.2 道路圖像灰度化 大部分道路圖像是通過(guò)彩色 COMS 圖像傳感器采集的，原始圖像為彩色圖像。 其中顏色模型為 RGB 模型，圖像中的任何顏色都是通過(guò)紅(Red)、藍(lán)(Green)、綠 (Blue)三種基本顏色按照不同的比例混合得到的。在 RGB 模型中，如果 R=G=B 時(shí)， 則彩色表示一種灰度顏色，其中 R=G=B 的值叫灰度值。因此，灰度圖像每個(gè)像素 只需一個(gè)字節(jié)存放灰度值，一般將白色的灰度值定義為 255，黑色的灰度值定義為 0，而由黑到白之間的明亮度均勻的劃分為 256 個(gè)等級(jí)。在道路圖像提取車道線過(guò)程 中，很多算法沒(méi)有利用圖像的彩色信息而是將其灰度化。雖然，灰度化圖像無(wú)可避 免的丟失一些信息，但是對(duì)灰度圖像的處理，從其存放方式可以看出速度相對(duì)較快。 而對(duì)彩色圖像的處理，就是分別對(duì)三個(gè)分量處理，可見速度相對(duì)較慢。于是將彩色 圖像轉(zhuǎn)換為灰度圖像，下面就常用的四種方法 4進(jìn)行介紹。 3.2.1 常用的灰度化方法 (1)分量法 將彩色圖像中三個(gè)分量的亮度分別作為三個(gè)灰度圖像的灰度值如式(3-1)所示， 可根據(jù)需要選取一種灰度圖像。 8 圖 3-1 三分量法灰度化 ),(),(),(),(),(),( 321 jiBjifjiGjifjiRjif 其中 32),(kjifk為轉(zhuǎn)換后的灰度圖像在 處的灰度值。 (2)最大值法 將彩色圖像中三個(gè)分量亮度的最大值，作為灰度圖像的灰度值如式(3-2)所示。 ),(,),(max),( jiBGjiRjif (3)平均值法 將彩色圖像中三個(gè)分量的亮度求平均，得到一個(gè)灰度圖像如式(3-3)所示。 3/),(,),(),( jiBjijiRjif (4)加權(quán)平均法 根據(jù)重要性及其它指標(biāo)，將三個(gè)分量以不同的權(quán)值進(jìn)行加權(quán)平均。由于人眼對(duì) 綠色的敏感度最高，對(duì)藍(lán)色敏感度最低，因此，按式(3-4)對(duì) RGB 三分量進(jìn)行加權(quán)平 均能得到亮度較合理的灰度圖像。 ),(1.0),(59.0),(3.),( jiBjiGjiRjif 用 MATLAB 對(duì)分量法、最大值法、平均值法、加權(quán)平均法四種常用灰度化方 法，對(duì)一幅道路圖像進(jìn)行仿真，結(jié)果如圖 3-1、圖 3-2： (3-1) (3-3) (3-2) (3-4) 9 通過(guò)圖 3-2 圖像灰度化的結(jié)果可以看出：在處理道路圖像時(shí)，平均值灰度化彩 色圖像效果最差，因?yàn)閳D像大部分區(qū)域是路面，灰度化后，道路標(biāo)記線被弱化。其 它看來(lái)，感覺(jué)差別不大，原因在于所選圖像的色彩差別不是很大，選用色彩差別明 顯的圖像，可以看出加權(quán)平均法混合后可以得到更符合人類視覺(jué)的灰度值。由于篇 幅有限，這里不再用其它圖像說(shuō)明。 通過(guò)方法的介紹可以看出，以上的灰度化方法，并沒(méi)有更多的利用彩色圖像提 供的色彩信息，而是大致通用的一些方法，沒(méi)有考慮到圖像的特征。本設(shè)計(jì)采用的 是下面一種彩色通道提取 5的方法。 3.2.2 彩色通道提取灰度化 彩色通道提取的主要目的是根據(jù)車道標(biāo)志線的色彩信息，提取一定的顏色通道， 形成突出車道標(biāo)志線塊狀結(jié)構(gòu)的灰度圖像。車道標(biāo)志線一般為黃色或白色，而路面 多為瀝青表面。在彩色圖像中車道標(biāo)志線上的點(diǎn)成像后，其 R 和 G 通道的顏色值相 對(duì)大于 B 通道，而瀝青表面的成像以灰色為主，其 RGB 三通道的顏色比較平均而 且相對(duì)較小。因此試圖通過(guò)提取 R、G 通道的方法突出車道標(biāo)志線的塊狀結(jié)構(gòu)是可 行的。 為了從提取的通道合成灰度圖像，在此將R、G通道的顏色值相加。具體是 R、G通道顏色值之和在一定的閾值之上的像素點(diǎn)直接取灰度最大值255。而低于這 個(gè)閾值的像素點(diǎn)，則被弱化。其在灰度圖像中的像素值取(R+G)/2。綜上所述，其變 換原理如式(3-5)： 圖 3-2 圖像灰度化比較 10 otherwisGRCifgray2/)(/)(5 式中，C 閾值； R像素顏色值的Red分量； G像素顏色值的Green分量。 從式(3-5)中可以看出，對(duì)于R、G通道顏色值較大的車道邊緣點(diǎn)在灰度圖像中其 灰度值得到強(qiáng)化。而對(duì)于R、G通道顏色值較小的瀝青路面其灰度值將被弱化。從而 經(jīng)過(guò)R+G處理后，得到的是車道邊界強(qiáng)化的灰度圖像。對(duì)于閾值C的選取，目前沒(méi) 有固定的方法，本設(shè)計(jì)的做法是，在車輛采集到的圖像下方取一塊條形區(qū)域，搜索 B通道相對(duì)大的像素點(diǎn)，并計(jì)算出它們平均的(R+G)/2值，把該值作為整個(gè)圖像處理 時(shí)的閾值，使整個(gè)圖像尤其是遠(yuǎn)方的車道線得到增強(qiáng)。用MATLAB 對(duì)彩色通道提取 法對(duì)道路圖像進(jìn)行仿真如圖3-3： 圖3-3 彩色通道提取灰度化 從圖3-3 中可以看出，車道邊緣部分在灰度圖像中得到了有效的增強(qiáng)，由于255 表示灰度圖像中的白色，因此圖中車道標(biāo)記部分基本都被染成了白色，起到了增強(qiáng) 邊界的作用。本設(shè)計(jì)選用彩色通道提取的方法灰度化道路圖像。 3.3 圖像灰度變換 道路圖像灰度化后，灰度值通常只是集中在某個(gè)范圍，為使圖像的動(dòng)態(tài)范圍加大， 圖像對(duì)比度擴(kuò)展，清晰度提高，特征明顯，進(jìn)行圖像灰度變換 6是必要的?；叶茸?換可以是線性變換，也可以是非線性變換。 3.3.1 圖像灰度線性變換 (2-3) 11 首先，介紹線性變換。使用一個(gè)線性單值函數(shù)，對(duì)圖像中的每個(gè)像素點(diǎn)做線性 擴(kuò)展，將有效的改善圖像的視覺(jué)效果，增強(qiáng)對(duì)比度，而且計(jì)算復(fù)雜度低，易于實(shí)現(xiàn)。 基本原理如式(3-6)：令原始圖像 ),(jif的灰度范圍為 a,b，線性變換后的圖像),(jif 的灰度范圍為 a,b， 和 之間存在下列關(guān)系： ),(),( ajifabjif 另外一種情況，圖像中大部分像素的灰度值在a,b范圍內(nèi)，少部分像素在小于 a 和大于 b 的區(qū)間。此時(shí)，可以做如式(3-7) 所示的變換： bjifajifbjifajif ),(,)(,),( 這種兩端“截取式”的變換使小于灰度級(jí) a 和大于灰度級(jí) b 的像素強(qiáng)行壓縮為 a和 b，顯然這樣將會(huì)造成一部分信息的丟失。不過(guò)，有時(shí)為了某種特殊的應(yīng)用，這 種“犧牲”是值得的。道路圖像的大部分信息是路面，可以預(yù)見灰度值集中在某個(gè) 區(qū)間，進(jìn)行該變換是具有實(shí)際意義的。但是在道路圖像處理中，壓縮區(qū)間范圍的不 確定性，沒(méi)有得到很好的解決，因此該方法是今后進(jìn)一步研究的重點(diǎn)。 3.3.2 圖像灰度非線性變換 圖像灰度非線性變換：原始圖像 ),(jif的灰度范圍是a,b，可以通過(guò)自然對(duì)數(shù) 變換到區(qū)間a,b上如式(3-8)，從而求得圖像 ,jif： )ln,(lnl),( aabajif 這一變換擴(kuò)展了輸入圖像的中低灰度區(qū)域的對(duì)比度，而壓縮了高灰度值。由于 道路圖像大部分信息是路面，其灰度值主要集中在相對(duì)較高的范圍內(nèi)，所以采用此 種方法，在處理道路圖像時(shí)可以預(yù)見效果是比較差的。灰度變換法圖像對(duì)比度增強(qiáng) 的結(jié)果用 MATLAB 仿真如圖 3-4： (3-8) (3-7) (3-6) 12 通過(guò)此例可以看出雖然灰度線性變換可以增強(qiáng)圖像的對(duì)比度，但是對(duì)于一些道 路圖像增強(qiáng)效果是不明顯的。根據(jù)圖3-4道路圖像灰度直方圖的特點(diǎn)可以看出灰度值 是集中分布但范圍廣，從0-255灰度級(jí)范圍內(nèi)均有對(duì)應(yīng)的像素存在。因此若對(duì)直方圖 均衡化，可以預(yù)見圖像對(duì)比度能夠得到較大程度的增強(qiáng)。下面介紹直方圖變換 7。 3.3.3 基于直方圖的灰度變換 直方圖是表達(dá)一幅圖像灰度級(jí)分布情況的統(tǒng)計(jì)圖，表示出具有某一灰度的像素 數(shù)，并不表示像素在圖像的具體位置。直方圖的橫坐標(biāo)是灰度，一般用 r表示，對(duì) 于數(shù)字圖像信號(hào)，直方圖的縱坐標(biāo)是某一灰度值 ir的像素個(gè)數(shù) in。對(duì)于數(shù)字圖像有 如式(3-9) 、式(3-10)所示關(guān)系： nrpiii)( 110kii 式中， ir圖像的第 i級(jí)灰度值；n 圖像中第 級(jí)灰度的像素個(gè)數(shù)；k 圖像對(duì)應(yīng)的總灰度級(jí)數(shù)。 直方圖均衡化技術(shù)是通過(guò)變換將原圖像的直方圖調(diào)整為平坦的直方圖，然后用 此均衡的直方圖校正原圖像，增加圖像灰度值的動(dòng)態(tài)范圍，從而達(dá)到增強(qiáng)圖像整體 對(duì)比度的效果。直方圖均衡化增強(qiáng)了靠近直方圖極大值附近的亮度的對(duì)比度，減少 了極小值附近的對(duì)比度。變換函數(shù)如式(3-11)： 圖 3-4 灰度線性變換 (3-9) (3-10) 13 1,0,)()(00i kjrpnrTSjijiii 其中 rTS),(是變換函數(shù)。由于變換函數(shù)需要滿足 2 個(gè)條件： (1) 范 圍 內(nèi) 是 個(gè) 單 調(diào) 函 數(shù) 。在 10k (2) 。有對(duì) -)(rT 可以證明 r 的累積分布函數(shù)滿足上述兩個(gè)條件，能將 r 的分布轉(zhuǎn)換為 s 的均勻 分布。用 MATLAB 仿真直方圖均衡化技術(shù)如圖 3-5： 通過(guò)此例可以發(fā)現(xiàn)，圖像的灰度值在變換后概率分布由于得到了歸一化均勻分 布(在直方圖中有明顯的體現(xiàn))，圖像的對(duì)比度得到了增強(qiáng)。在主觀評(píng)價(jià)上，可以看 出經(jīng)過(guò)變換之后突出了原圖像的細(xì)節(jié)，將使其具有更好的邊緣檢測(cè)效果。因此本設(shè) 計(jì)采用直方圖均衡化技術(shù)增強(qiáng)圖像的對(duì)比度。 圖 3-5 直方圖均衡化 (3-11) 14 3.4 圖像濾波 任何一幅未經(jīng)處理的原始圖像，都存在著一定程度的噪聲干擾。噪聲會(huì)惡化圖 像質(zhì)量，使圖像模糊，甚至淹沒(méi)需要檢測(cè)的特征，給圖像的分析帶來(lái)困難。在進(jìn)行 進(jìn)一步的邊緣檢測(cè)、圖像分割、特征提取、模式識(shí)別等處理之前，采用適當(dāng)?shù)姆椒?盡量減少噪聲的干擾就顯的非常重要的。道路圖像濾波 8主要有兩大類方法：一類 方法是在圖像空間域?qū)D像進(jìn)行各種濾波處理，即空域處理法；另一類方法是把空 間域圖像 ),(yxf經(jīng)過(guò)正交變換，如經(jīng)過(guò)傅立葉變換，得到頻率域的變換圖像 ),(vuF， 在頻率域進(jìn)行各種濾波處理后得到頻率域處理圖像 ),(yxG。然后再變換到圖像的空 間域，形成處理后的圖像,即頻域處理法。顯然，頻域處理法附加了圖像正交變換的 正變換和反變換，對(duì)于數(shù)據(jù)量較大的二維道路圖像需要較大的內(nèi)存，且運(yùn)算時(shí)間也 較長(zhǎng)，不能滿足視覺(jué)系統(tǒng)實(shí)時(shí)處理的要求。因此，本設(shè)計(jì)采用空間域圖像濾波處理 方法。下面就常用的幾種空域?yàn)V波算法進(jìn)行介紹。 3.4.1 線性平滑濾波 圖像平滑濾波處理分為線性濾波與非線性濾波，線性濾波方法提出較早且具有 較完備的理論基礎(chǔ)。針對(duì)線性濾波處理，本設(shè)計(jì)主要嘗試了均值濾波、均值濾波是 對(duì)圖像進(jìn)行局部均值運(yùn)算，每一個(gè)像素值用其局部鄰域內(nèi)所有值的均值置換如式(3- 12)，即： syxfMyxg,),(1),( 式中， S濾波窗口；M 鄰域 中的像素點(diǎn)數(shù)。 窗口在水平和垂直兩個(gè)方向上都必須為奇數(shù)，否則圖像會(huì)產(chǎn)生偏移。均值濾波 器可以通過(guò)卷積模板的等權(quán)值卷積運(yùn)算來(lái)實(shí)現(xiàn)，本設(shè)計(jì)采用了 3、 5、 7、9 模板進(jìn)行濾波比較。該算法在去除麻點(diǎn)噪聲方面比較有效，但它不能區(qū)分有效 信號(hào)和噪聲信號(hào)，噪聲和圖像細(xì)節(jié)同時(shí)被削弱。為了改善鄰域平均法中圖像細(xì)節(jié)模 糊問(wèn)題，提出了一些改進(jìn)方法，如選擇平均法和加權(quán)平均法，選擇平均法只對(duì)灰度 值相同或接近的像素進(jìn)行平均，加權(quán)平均法則按照灰度值的特殊程度來(lái)確定對(duì)應(yīng)像 素的權(quán)值，模板中的權(quán)值并不相同，其數(shù)學(xué)表達(dá)式如式(3-13)： ),(),),( ynxmfywnmgNyMx (3-12) (3-13) 15 式中， ),(yxw對(duì)應(yīng)像素需要加權(quán)的值?？梢愿鶕?jù)需要進(jìn)行修正，為了使處理后 的圖像的平均灰度值不變，模板中的各個(gè)系數(shù)之和為 1。雖然這種改進(jìn)方法，可以 在一定程度上改善細(xì)節(jié)模糊的問(wèn)題，但是模板中的權(quán)值的確定，由于道路圖像的多 樣性，復(fù)雜性而沒(méi)有固定的算法，因此具有很大的局限性。 3.4.2 非線性平滑濾波 理論和實(shí)驗(yàn)證明，雖然線性濾波具有良好的抑制噪聲能力，但是對(duì)圖像平滑會(huì) 造成圖像中的細(xì)節(jié)信息損失，從而使處理后的圖像產(chǎn)生模糊。所以本設(shè)計(jì)也嘗試了 采用非線性平滑濾波處理的方法中值濾波，中值濾波是一種非線性的圖像濾波方 法，它于 1971 年由 J.W.Jukey 提出的，并首先應(yīng)用于一維信號(hào)處理技術(shù)中，后來(lái)被 二維圖像處理技術(shù)所采用。中值濾波的基本思想是用像素點(diǎn)鄰域灰度值的中值來(lái)代 替該像素點(diǎn)的灰度值，該方法在去除脈沖噪聲、椒鹽噪聲的同時(shí)又能保留圖像邊緣 細(xì)節(jié)，在一定條件下可以克服線性濾波所帶來(lái)的圖像細(xì)節(jié)模糊問(wèn)題，同時(shí)在實(shí)際運(yùn) 算過(guò)程中并不需要圖像的統(tǒng)計(jì)特征，也給計(jì)算帶來(lái)不少方便，數(shù)學(xué)表示為式(3-14)： ),(),(yxfSmedianyxf 式中， ),(yxfS當(dāng)前點(diǎn)的鄰域。 用 MATLAB 對(duì)加入椒鹽噪聲的圖像應(yīng)用平滑濾波法去噪，進(jìn)行 仿真如圖 3-6： (3-14) 16 用 MATLAB 對(duì)加入椒鹽噪聲的圖像應(yīng)用中值濾波法去噪，進(jìn)行 仿真如圖 3-7： 對(duì)不同的濾波方法，如平滑濾波法、選擇平均平滑濾波法、中值濾波法，分別 用 MATLAB 進(jìn)行仿真，結(jié)果如圖 3-8 所示： 通過(guò)對(duì)比可以看出，平滑濾波的道路圖像細(xì)節(jié)變得模糊，使用改進(jìn)的選擇平均 法平滑濾波，使濾波圖像得到了改善，但是針對(duì)不同道路圖像灰度值相同或接近的 概念不能明確化，具有一定的模糊性，需要進(jìn)一步研究。而中值濾波，可以看出對(duì) 圖 3-6 平滑濾波 圖 3-7 中值濾波 圖 3-8 濾波比較 17 圖像邊緣有保護(hù)作用，且去噪聲的同時(shí)可以較好地保留邊緣的銳度和圖像的細(xì)節(jié)。 顯然,這一方法是比較適合本課題要求的,因?yàn)樵诤罄m(xù)的處理中我們將要提取物體的 邊緣特征,所以在去噪的同時(shí)較好地保留邊緣的銳度和圖像細(xì)節(jié)是難能可貴的。但在 實(shí)際應(yīng)用中，窗口大小選擇要適宜，因?yàn)閺膱D 3-7 中可以看出，隨著窗口的擴(kuò)大， 也可能破壞了圖像的某些細(xì)節(jié)，從仿真結(jié)果中以選擇 3模板中值濾波為宜。 3.5 圖像邊緣增強(qiáng) 道路圖像濾波后，對(duì)要識(shí)別車道線來(lái)講仍存在大量的無(wú)用信息。一般有白色標(biāo) 記的車道線對(duì)路面而言有較強(qiáng)的邊緣，體現(xiàn)在灰度或紋理結(jié)構(gòu)等信息。道路圖像的 邊緣種類大致可以分為兩種 9：一種是階躍性邊緣，兩邊的像素灰度值有明顯的不 同，另一種是屋頂狀邊緣，它位于灰度值從增加到減少的轉(zhuǎn)折點(diǎn)。由于 CCD 攝像機(jī) 傳感器具有低頻特性,所以圖像中的邊緣灰度值的變化不是瞬間的,而是跨越一定距 離的，圖 3-9 分別給出了這兩種邊緣的示意圖及相應(yīng)的一階方向?qū)?shù)和二階方向?qū)?數(shù)。 圖 3-9 兩種常見邊緣一階導(dǎo)數(shù)和二階導(dǎo)數(shù) 基于邊緣導(dǎo)數(shù)的特點(diǎn)，可以用微分算子檢測(cè)出來(lái)，通常用一階或二階導(dǎo)數(shù)來(lái)檢 測(cè)邊緣。如 算 子 等算 子 和算 子 、算 子 、算 子 、 CanyLogewitSoblRobertsPr ,這幾種 邊緣檢測(cè)算子的共同特點(diǎn)都是以梯度為基礎(chǔ)的，首先介紹圖像梯度的概念。 3.5.1 圖像的梯度和邊緣檢測(cè)算子 梯度算子 7是一階導(dǎo)數(shù)算子。對(duì)于一幅圖像 ),(yxf，它的梯度定義為一個(gè)向量 如式(3-15) ： 理想信號(hào) 實(shí)際信號(hào) 一階導(dǎo)數(shù) 二階導(dǎo)數(shù) 18 yfxfGyxfyx),( 其幅值如式(3-16)： 2/12)()yxfmag 該向量的方向角為式(3-17)： )arctn(),(xyGy 數(shù)字圖像的離散性，計(jì)算 yxG和 時(shí)，常用差分來(lái)代替微分，為計(jì)算方便，常用 小區(qū)域模板和圖像卷積來(lái)近似計(jì)算梯度值。采用不同的模板計(jì)算 yxG和 時(shí)可以產(chǎn)生 不同的邊緣檢測(cè)算子。設(shè)圖像的模板鄰域如圖 3-10 所示：1Z23456789 圖 3-10 圖像的鄰域Roberts 邊緣檢測(cè)算子用如圖 3-11 所示模板，來(lái)近似計(jì)算圖像 ),(yxf對(duì) 和 的 偏導(dǎo)數(shù)： 1 0 0 -1 59ZGx0 -11 0 68ZGy 圖 3-11 Roberts邊緣檢測(cè)算子Sobel 邊緣檢測(cè)算子用如圖 3-12 所示模板，來(lái)近似計(jì)算圖像 ),(yxf對(duì) 和 的偏 導(dǎo)數(shù)： -1 -2 -1 0 0 0 1 2 1 )()( 32987ZZGx -1 0 1 -2 0 2 -1 0 1 )()(74963ZZGy (3-15) (3-17) (3-16) 19 圖 3-12 Sobel邊緣檢測(cè)算子 ewitPr邊緣檢測(cè)算子用如圖 3-13 所示模板，來(lái)近似計(jì)算圖像 ),(yxf對(duì) 和 的 偏導(dǎo)數(shù)： )()( 321987 ZZGx )()(741963ZZGy 圖 3-13 ewitPr邊緣檢測(cè)算子Log 邊緣檢測(cè)算子是二階導(dǎo)數(shù)算子，它是一個(gè)標(biāo)量，無(wú)方向的，因而只需一個(gè) 模板就行了。在進(jìn)行二階導(dǎo)數(shù)微分計(jì)算時(shí)，常用的兩個(gè)模板如圖 3-14： 圖 3-14 Log邊緣檢測(cè)算子Cany 考察了以往邊緣檢測(cè)算子的應(yīng)用，發(fā)現(xiàn)盡管這些應(yīng)用出現(xiàn)在不同的領(lǐng)域， 但都有一些共同的要求，歸納為三條準(zhǔn)則：好的檢測(cè)結(jié)果，好的邊緣定位精度，對(duì) 同一個(gè)邊緣有低的響應(yīng)次數(shù)。根據(jù)這三條準(zhǔn)則， Cany給出了三條準(zhǔn)則的表達(dá)式， MATLAB 中集成了上述邊緣檢測(cè)算子函數(shù)，仿真邊緣檢測(cè)圖像如圖 3-15： -1 0 1 -1 0 1 -1 0 1 -1 -1 -1 0 0 0 1 1 1 1 1 1 1 -8 1 1 1 1 0 1 0 1 -4 1 0 1 0 20 圖 3-15 傳統(tǒng)差分算子檢測(cè) 由實(shí)驗(yàn)結(jié)果可以看出： ewitPr邊緣檢測(cè)算子和 Sobel邊緣檢測(cè)算子因具有非各 向同性而在檢測(cè) 45的道路線方面有一定優(yōu)勢(shì)。 Rrts邊緣檢測(cè)算子計(jì)算相對(duì)簡(jiǎn) 單，但圖像處理后，車道線出現(xiàn)斷點(diǎn)現(xiàn)象?？紤]到 l算子是利用水平和垂直兩個(gè) 方向的梯度閾值來(lái)檢測(cè)道路邊緣的，而道路圖像中車道線與水平方向約成 45和 135，因此許多學(xué)者提出了針對(duì)車道線方向的模板，自設(shè)計(jì)差分算子。下面介紹兩 種自定義的差分模板。 3.5.2 自定義差分算子 針對(duì)道路圖像中車道標(biāo)志線具有向左和向右傾斜的特征，如果設(shè)計(jì)針對(duì)該方向 的差分算子，可以預(yù)見比 Sobel算子更能增強(qiáng)車道線的位置。選用的兩個(gè)差分算子 10如 式(3-18) 、式(3-19)： 032230rl SS 1121 用自定義的差分算子對(duì)灰度圖像進(jìn)行邊緣增強(qiáng)，并用 MATLAB 進(jìn)行仿真，實(shí) 驗(yàn)結(jié)果如圖 3-16： (3-19) (3-18) 21 圖 3-16 自定義差分算子邊緣增強(qiáng) 從圖 3-16 可以看出車道線標(biāo)記在模板 21SSrl、和、 檢測(cè)下得到了增強(qiáng)，尤其 對(duì)于遠(yuǎn)處的車道線效果更明顯，但是車道線加強(qiáng)的同時(shí)，意味著像素點(diǎn)的增多，需 要進(jìn)一步細(xì)化處理?？紤]到各種實(shí)際情況，本課題選用第一個(gè)自定義模板如式 3-18 所示。 3.5.3 加入噪聲圖像檢測(cè)實(shí)驗(yàn) 前面的實(shí)驗(yàn)比較的是幾種差分算子在無(wú)外加噪聲的情況下對(duì)道路圖像的邊緣檢 測(cè)結(jié)果，但在實(shí)際應(yīng)用中，系統(tǒng)采集到的圖像多數(shù)情況下是已經(jīng)被噪聲污染的圖像， 在進(jìn)行去噪處理后也會(huì)有噪聲的殘留干擾，所以算子的抗擾性也是選取算子關(guān)鍵考 察的方面。通常在實(shí)際道路識(shí)別中，遇到雨、雪等惡劣氣候條件的情況下，系統(tǒng)采 集到的圖像視野中經(jīng)常有大量的雨雪顆粒，嚴(yán)重影響對(duì)道路圖像中特征曲線的提取。 在各種噪聲模型中，椒鹽噪聲可以很好地模擬雨、雪顆粒對(duì)圖像質(zhì)量造成的影響 8， 因此通過(guò)實(shí)驗(yàn)比較各種差分算子對(duì)椒鹽噪聲污染后的道路圖像的邊緣檢測(cè)能力具有 實(shí)際意義。 對(duì)加入椒鹽噪聲的圖像，用常用的差分檢測(cè)算子進(jìn)行邊緣檢測(cè)，并用 MATLAB 進(jìn)行仿真，結(jié)果如圖 3-17： 22 圖 3-17 加噪聲后傳統(tǒng)差分算子檢測(cè) 從實(shí)驗(yàn)結(jié)果中可以看出加入椒鹽噪聲對(duì)幾種差分算子檢測(cè)都產(chǎn)生了的影響。其 中 Roberts邊緣檢測(cè)算子產(chǎn)生了斷點(diǎn)； ewitPr邊緣檢測(cè)算子和 Sobel邊緣檢測(cè)算子的 檢測(cè)效果較為理想,邊緣較為完整；通過(guò)無(wú)外加噪聲圖像、加入椒鹽噪聲圖像的實(shí)驗(yàn) 結(jié)果表明在這幾種情況下， itr邊緣檢測(cè)算子和 l邊緣檢測(cè)算子的檢測(cè)效果 較好， erts邊緣檢測(cè)算子在有噪聲情況下產(chǎn)生較多的斷點(diǎn),定位不準(zhǔn)確。 對(duì)比 Sobl邊緣檢測(cè)算子和自定義差分算子在有噪聲干擾的情況下的邊緣檢測(cè)結(jié) 果，用 MATLAB 進(jìn)行仿真，結(jié)果如圖 3-18： 23 圖 3-18 加入噪聲后的邊緣檢測(cè) 從結(jié)果中可以看出，在椒鹽噪聲的影響下，自定義差分算子的檢測(cè)效果較好， 車道邊界特征明顯，沒(méi)有出現(xiàn)斷點(diǎn)現(xiàn)象?？紤]各種情況后，選用第一種如式(3-18)所 示自定義差分算子作為道路圖像邊緣檢測(cè)算子最適合。 3.6 本章小結(jié) 本章主要介紹了進(jìn)行道路識(shí)別前的準(zhǔn)備工作,是后面章節(jié)的基礎(chǔ)。主要討論了圖 像的預(yù)處理問(wèn)題。本設(shè)計(jì)研究的道路檢測(cè)系統(tǒng)中的道路檢測(cè)技術(shù),行駛過(guò)程采集到的 圖像,由于道路不平坦、或者其它因素,視覺(jué)系統(tǒng)會(huì)產(chǎn)生振動(dòng)、松動(dòng)等不確定因素,使 采集到的圖像質(zhì)量受到影響。為了增強(qiáng)道路圖像的識(shí)別可靠性,降低道路檢測(cè)算法的 復(fù)雜性,有利于道路邊界的正確識(shí)別和精確定位,需要對(duì)采集到的道路圖像進(jìn)行預(yù)處 理,以提高圖像的質(zhì)量。 在所有的圖像處理算法中,沒(méi)有哪一種算法可以適用于處理各類圖像。每一種算 法都有一定的針對(duì)性和局限性。在實(shí)際研究過(guò)程中,為了找到各種有效的圖像處理方 法,需要作廣泛的實(shí)驗(yàn)。根據(jù)當(dāng)前視覺(jué)導(dǎo)航系統(tǒng)的需要,對(duì)算法加以必要的改進(jìn),從而 可以得到適合本視覺(jué)系統(tǒng)的最優(yōu)算法。本課題道路圖像預(yù)處理包括圖像的灰度化處 理、均衡化處理、濾波處理、邊緣增強(qiáng)處理。為后續(xù)道路圖像的分割和道路標(biāo)志的 識(shí)別提供了很好的條件。 在研究的諸多預(yù)處理圖像算法中，針對(duì)本設(shè)計(jì)提供的圖像和算法自身的優(yōu)點(diǎn)， 采用彩色通道提取法灰度化道路圖像，直方圖均衡化技術(shù)增強(qiáng)對(duì)比度，對(duì)噪聲圖像 24 用 3中值模板濾波，自定義差分算子邊緣檢測(cè)。 25 第 4 章 道路邊緣的識(shí)別 4.1 引言 在視覺(jué)導(dǎo)航諸多復(fù)雜且具有挑戰(zhàn)性的任務(wù)中,最受重視的是道路識(shí)別(road following),它包括道路檢測(cè)和道路追蹤兩個(gè)部分。道路檢測(cè)是視覺(jué)導(dǎo)航研究中的核 心問(wèn)題之一,也是視覺(jué)導(dǎo)航發(fā)展水平的重要標(biāo)志之一。檢測(cè)包括道路定位，行駛物相 對(duì)道路邊界的位置，判斷駛出道路區(qū)域的可能性等，道路追蹤不再對(duì)整幅道路圖像 進(jìn)行全面的處理,只是利用前一次道路檢測(cè)得到的車道信息,實(shí)現(xiàn)對(duì)道路的快速檢測(cè) 定位,這樣可以進(jìn)一步提高系統(tǒng)的實(shí)時(shí)性。由于論文時(shí)間有限，本設(shè)計(jì)只對(duì)道路檢測(cè) 部分進(jìn)行了仿真實(shí)驗(yàn)。目前，道路檢測(cè)技術(shù)有單目和雙目或多目視覺(jué)系統(tǒng)之分。 本章算法沒(méi)有從立體視覺(jué)的角度來(lái)解決道路環(huán)境重建問(wèn)題,因?yàn)閺默F(xiàn)有的研究結(jié) 果來(lái)看,直接通過(guò)對(duì)圖像進(jìn)行三維恢復(fù)獲取環(huán)境信息有很多的困難：首先,計(jì)算量巨 大。其次,匹配點(diǎn)尋找困難。另外,遮擋問(wèn)題。如今的立體視覺(jué)研究者多數(shù)簡(jiǎn)化了這 些不利因素的影響,但是就實(shí)際影響來(lái)看,任何一個(gè)因素都可能導(dǎo)致環(huán)境深恢復(fù)的錯(cuò) 誤,尤其是在光線環(huán)境比較復(fù)雜的戶外。這就使得基于像素點(diǎn)進(jìn)行三維重構(gòu)的方式進(jìn) 行視覺(jué)導(dǎo)航只適用于比較簡(jiǎn)單的環(huán)境。而對(duì)于環(huán)境較為復(fù)雜的戶外環(huán)境,多數(shù)沒(méi)有采 取對(duì)圖像進(jìn)行基于像素的三維恢復(fù)的方式，而是采用單目視覺(jué)系統(tǒng)。 本章將在單目視覺(jué)系統(tǒng)針孔成像的模型下進(jìn)行道路的檢測(cè),由于檢測(cè)的是一般路 面，因此主要利用了道路的邊緣和區(qū)域兩種方法的結(jié)合。并用 MATLAB 進(jìn)行了仿 真實(shí)驗(yàn)。 4.2 道路檢測(cè)方法簡(jiǎn)介 現(xiàn)有的道路檢測(cè)算法 11主要有以下三種： (1)基于彩色圖像的分割方法。這種方法是利用彩色圖像中 RGB 彩色空間原理, 根據(jù)道路在 Red,Green,Blue 三個(gè)彩色分量上與周圍非路面環(huán)境的不同 ,對(duì)輸入的彩 色圖像進(jìn)行路面和非路面的二值劃分,這種方法更適用于沒(méi)有車道線的非標(biāo)準(zhǔn)車道。 但是基于 RGB 的彩色圖像分割方法對(duì)道路與非道路的分類標(biāo)準(zhǔn)并不是很充分,于是 人們又提出了基于 HSG 的圖像分割方法。其中 Betkel 等人提出圖像色彩的 HSG 表 達(dá)能提供對(duì)道路與非道路更有效的分類準(zhǔn)則,其中的色度 H 和飽和度 S 分量對(duì)人行 道、樹和天空有一致的表達(dá),并且去除了不平整路面的影響。而一些具有高亮特征的 26 如汽車尾燈、交通信號(hào)、車道標(biāo)志及道路邊界等需要用灰度級(jí) G 分量來(lái)識(shí)別。 (2)基于灰度圖像的車道線檢測(cè)與跟蹤算法。這是目前車道線檢測(cè)與跟蹤的主流 方法，它可以充分利用車道線提供的灰度信息進(jìn)行自主導(dǎo)航,非常適用于等級(jí)較高的 公路。同時(shí)這類方法有一些突出的問(wèn)題需要解決,如當(dāng)車道線被其它車輛遮擋時(shí),需 要準(zhǔn)確估計(jì)被遮擋的部分車道線。還有由樹木、橋梁、建筑物及其它車輛等產(chǎn)生的 陰影對(duì)路面灰度值產(chǎn)生的影響進(jìn)而對(duì)檢測(cè)造成干擾等問(wèn)題。 (3)神經(jīng)網(wǎng)絡(luò)方法。在智能車輛導(dǎo)航研究中,采用人工神經(jīng)網(wǎng)絡(luò)是一種很典型的 方法。通過(guò)在實(shí)際景物中駕駛車輛來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò),這種方法可以用于非結(jié)構(gòu)化道路 跟蹤,但是它也有一個(gè)很大缺點(diǎn)即不知道車道線的位置,因而與車道線有關(guān)的許多輔 助功能無(wú)法實(shí)現(xiàn),當(dāng)用于等級(jí)較高公路時(shí),效率低下。 參考近年來(lái)有關(guān)文獻(xiàn)，當(dāng)前基于視覺(jué)的道路檢測(cè)技術(shù)主要有以下兩個(gè)方向的研 究：一個(gè)方向是側(cè)重于研究道路邊緣信息，另一個(gè)方向是側(cè)重于研究路面區(qū)域信息。 根據(jù)分析，可以得知邊緣和區(qū)域是物體的兩個(gè)互補(bǔ)特性，因?yàn)楂@取邊緣信息時(shí)容易 過(guò)分分割或合并，而導(dǎo)致丟失或添加圖像邊界，可以通過(guò)區(qū)域信息來(lái)補(bǔ)償邊沿的部 分不確定性，因此文中提出對(duì)邊緣邊界和區(qū)域邊界進(jìn)行綜合分析,以得到準(zhǔn)確的道路 邊界。 4.3 邊緣與區(qū)域相結(jié)合的道路檢測(cè)方法 經(jīng)過(guò)邊緣增強(qiáng)處理后，從圖 3-16 中可以看到不僅道路邊緣信息,其它信息如樹 木、行人等輪廓線也得到增強(qiáng)，這些輪廓在圖像中形成了許多的假邊界。為了克服 假邊界的干擾,本設(shè)計(jì)采用區(qū)域生長(zhǎng) 11的方法,得到道路圖像的路面區(qū)域信息。根據(jù) 路面的區(qū)域信息和自定義差分算子提取的邊緣信息定位車道線邊界，這種方法的優(yōu) 點(diǎn)是對(duì)噪聲不太敏感,即使在強(qiáng)陰影下也能得到大體正確的路面描述。下面首先簡(jiǎn)介 區(qū)域生長(zhǎng)法。 4.3.1 區(qū)域生長(zhǎng)法的基本概念 區(qū)域生長(zhǎng)的基本思想是將具有相似性質(zhì)的像素點(diǎn)集合起來(lái)構(gòu)成區(qū)域，具體先對(duì) 每個(gè)需要分割的區(qū)域找一個(gè)種子像素作為生長(zhǎng)的起點(diǎn),然后將種子像素周圍鄰域中與 種子像素有相同或相似性質(zhì)的像素根據(jù)某種事先確定的生長(zhǎng)或相似準(zhǔn)則來(lái)判定合并 到種子像素所在的區(qū)域中，直到再?zèng)]有滿足條件的像素可被包括進(jìn)來(lái)，這樣一個(gè)區(qū) 域就長(zhǎng)成了。其中生長(zhǎng)準(zhǔn)則常用的是圖像的灰度、紋理、彩色等信息。通過(guò)上述分 析可知，在用區(qū)域生長(zhǎng)法處理道路圖像時(shí)，有以下兩個(gè)問(wèn)題是非常關(guān)鍵的。 27 一、區(qū)域生長(zhǎng)的一個(gè)關(guān)鍵是選擇合適的生長(zhǎng)或相似準(zhǔn)則，使用不同的生長(zhǎng)準(zhǔn)則 會(huì)影響區(qū)域生長(zhǎng)的過(guò)程，目前，區(qū)域生長(zhǎng)法在處理道路圖像中大多采用灰度差準(zhǔn)則。 區(qū)域生長(zhǎng)方法將圖像以像素為基本單位來(lái)進(jìn)行操作，基于區(qū)域灰度差的方法，主要 有如下步驟： (1)對(duì)圖像進(jìn)行逐行掃