,The Graduation Thesis Defense,基于卷積神經(jīng)網(wǎng)絡(luò)的 目標(biāo)檢測算法研究,哈爾濱理工大學(xué) Harbin University of Science and Technology,哈爾濱理工大學(xué)-測通學(xué)院,CONTENTS,1,4,2,5,3,6,研究背景,研究方法2,理論基礎(chǔ),結(jié)論,研究方法1,科研成果,RESEARCH BACKGROUNDS,RESEARCH FRAMWORK,RESEARCH METHODS,ANALYSIS AND DISCUSSION,CONCLUSION,SCIENTIFIC ACHIEVEMENTS,1,研究背景,RESEARCH BACKGROUNDS,內(nèi)容簡介 BRIEF INTRODUCTION,本文以智能交通為背景，針對(duì)智能視頻監(jiān)控系統(tǒng)進(jìn)行剖析，對(duì)其中目標(biāo)檢測算法進(jìn)行了具體的研究和改進(jìn)。 首先，針對(duì)目標(biāo)檢測特征提取環(huán)節(jié)，本文以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，構(gòu)建深度特征提取器，提取深度特征訓(xùn)練可變形部件模型，作為最終的檢測模型，并有效的提高檢測精度。 另外，在目標(biāo)后處理環(huán)節(jié)中，將抑制重復(fù)檢測和誤檢的面積重疊率閾值動(dòng)態(tài)化后，進(jìn)一步的提高了檢測精度，減少了誤檢和重檢。,PPT模板下載： 行業(yè)PPT模板： 節(jié)日PPT模板： PPT素材下載： PPT背景圖片： PPT圖表下載： 優(yōu)秀PPT下載： PPT教程： Word教程： Excel教程： 資料下載： PPT課件下載： 范文下載： 試卷下載： 教案下載： PPT論壇：,智能交通中的目標(biāo)檢測,傳統(tǒng)的視頻監(jiān)控解決方案只是進(jìn)行視頻圖像的記錄、存儲(chǔ)與調(diào)取等機(jī)械的操作，用來記錄發(fā)生的事情，不具有針對(duì)異常情況進(jìn)行預(yù)測和報(bào)警的作用。需要工作人員時(shí)時(shí)刻刻查看顯示屏，才能進(jìn)行預(yù)測和報(bào)警。由于傳統(tǒng)視頻監(jiān)控技術(shù)的不足，所以智能視頻監(jiān)控被用來幫助工作人員發(fā)現(xiàn)異常情況并及時(shí)報(bào)警。,1,研究背景,RESEARCH BACKGROUNDS,智能視頻監(jiān)控的功能是讓計(jì)算機(jī)模擬人類的大腦對(duì)圖像的處理機(jī)制，利用攝像頭模擬的人類的眼睛，運(yùn)行圖像處理算法，分析從攝像頭中獲取的圖像序列，并對(duì)被監(jiān)控場景中的內(nèi)容進(jìn)行理解，實(shí)現(xiàn)對(duì)異常行為的自動(dòng)預(yù)警和報(bào)警。智能監(jiān)控的智能化主要表現(xiàn)在對(duì)圖像序列中的目標(biāo)進(jìn)行檢測、目標(biāo)識(shí)別，理解目標(biāo)的行為。目前常用的智能監(jiān)控系統(tǒng)主要包括視頻獲取、圖像預(yù)處理、目標(biāo)檢測、目標(biāo)分類、目標(biāo)跟蹤、目標(biāo)行為分析和理解等七個(gè)部分，圖1-1給出了智能監(jiān)控系統(tǒng)具體的流程圖。,圖1-1,國內(nèi)現(xiàn)狀,大部分目標(biāo)檢測算法任然使用單一或者幾種手工設(shè)計(jì)的特征。手工設(shè)計(jì)的特征，不僅計(jì)算開銷大，降低算法的執(zhí)行速度，對(duì)于目標(biāo)多樣性的變化并沒有很好地魯棒性，嚴(yán)格限制應(yīng)用前提。因此亟需對(duì)特征提取進(jìn)行改進(jìn)。,1,研究背景,RESEARCH BACKGROUNDS,國外現(xiàn)狀,在國外，也經(jīng)歷了由人工設(shè)計(jì)特征到算法自動(dòng)設(shè)計(jì)并提取特征的過程。2010年， Dalai等利用人工設(shè)計(jì)的方向梯度直方圖特征，訓(xùn)練出來多視角的可變形的檢測模型，雖然有效的提高了檢測精度，但仍然存在計(jì)算復(fù)雜，對(duì)小目標(biāo)魯棒性不強(qiáng)等問題。2012年，卷積神經(jīng)網(wǎng)絡(luò)在全球圖像分類比賽中得到最優(yōu)的成績，因此卷積神經(jīng)網(wǎng)絡(luò)自適應(yīng)的提取圖像特征受到重視，卷積神經(jīng)網(wǎng)絡(luò)通過反向傳播算法進(jìn)行網(wǎng)絡(luò)參數(shù)的更新，通過自適應(yīng)的調(diào)整不同特征的權(quán)重有效的組合特征，得到魯棒性更好的高層特征。因此，如果讓計(jì)算機(jī)主動(dòng)學(xué)習(xí)圖像的特征，相對(duì)于人工設(shè)計(jì)的特征而言，能夠有效的提高檢測精度，改善實(shí)驗(yàn)結(jié)果。,1,研究背景,RESEARCH BACKGROUNDS,國外現(xiàn)狀,1,研究背景,RESEARCH BACKGROUNDS,目標(biāo)檢測；卷積神經(jīng)網(wǎng)絡(luò)；非極大值抑制,本文研究的最終目的是將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到目標(biāo)檢測任務(wù)中：如何避免手工設(shè)計(jì)的特征，減少計(jì)算的復(fù)雜度，提高算法執(zhí)行速度，最終提高檢測精度。具體的基于現(xiàn)有的開發(fā)庫，在現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，利用遷移學(xué)習(xí)和重新訓(xùn)練，更新模型參數(shù)，提取深度特征并訓(xùn)練分類器。同時(shí)在滑動(dòng)窗口檢測后，動(dòng)態(tài)化面積重疊率閾值，進(jìn)一步提高檢測精度。,目標(biāo)檢測,針對(duì)不同場景圖像，能夠?qū)Σ煌惸繕?biāo)進(jìn)行自動(dòng)檢測和識(shí)別，定位目標(biāo)的位置和識(shí)別目標(biāo)的類型。,卷積神經(jīng)網(wǎng)絡(luò),一種模擬人類大腦皮層視覺處理機(jī)制，由多個(gè)神經(jīng)元連接并列成一層，多層神經(jīng)元構(gòu)成多層視覺處理結(jié)構(gòu)。,非極大值抑制,檢測過程得到的重復(fù)檢測和誤檢，需要利用非極大值抑制算法來減少，對(duì)于不同類的目標(biāo)需要?jiǎng)討B(tài)化面積重疊率閾值。,1,研究背景,RESEARCH BACKGROUNDS,研究 內(nèi)容,深度學(xué)習(xí),研究了深度學(xué)習(xí)的背景知識(shí)：包括深度學(xué)習(xí)的概念，以及典型的常用的深度學(xué)習(xí)模型。,卷積神經(jīng)網(wǎng)絡(luò),研究了卷積神經(jīng)網(wǎng)絡(luò)的基本原理，組成和連接方式。,基于深度特征的目標(biāo)檢測,研究了基于現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)模型Alexnet,通過遷移學(xué)習(xí)，獲得深度特征提取器，提取特征訓(xùn)練多組件的可變形部件模型，對(duì)不同類目標(biāo)的多樣姿態(tài)進(jìn)行檢測。,基于動(dòng)態(tài)閾值的非極大值抑制,研究了目標(biāo)檢測后處理過程，分析了其中的非極大值抑制算法，對(duì)核心的閾值進(jìn)行了動(dòng)態(tài)化，實(shí)現(xiàn)了自適應(yīng)的抑制重檢和誤檢。,1,研究背景,RESEARCH BACKGROUNDS,1,2,3,深度學(xué)習(xí),卷積神經(jīng)網(wǎng)絡(luò)的連接方式,卷積神經(jīng)網(wǎng)絡(luò),2,研究框架,RESEARCH FRAMWORKS,深度學(xué)習(xí)概念,典型的深度學(xué)習(xí)模型,卷積神經(jīng)網(wǎng)絡(luò)基本原理,前向傳播和反向傳播,局部感受野和權(quán)值共享,多核卷積,2,研究框架,RESEARCH FRAMWORKS,在大數(shù)據(jù)，大模型，大計(jì)算的驅(qū)動(dòng)下，深度學(xué)習(xí)屬于一種深度學(xué)習(xí)模型。其實(shí)深度學(xué)習(xí)實(shí)質(zhì)就是將低層特征進(jìn)行有效的組合從而生成更豐富的深層特征，現(xiàn)有的許多識(shí)別和分類模型都是淺層模型，限制較多，在樣本數(shù)量較少，計(jì)算機(jī)計(jì)算單元不足的情況下，對(duì)高非線性的復(fù)雜函數(shù)的逼近能力不足，所以應(yīng)用于識(shí)別和檢測問題時(shí)，會(huì)出現(xiàn)分類準(zhǔn)確率不高，泛化性不足等問題。而利用深度學(xué)習(xí)框架則不同，通過訓(xùn)練深層非線性的多層網(wǎng)絡(luò)模型，學(xué)習(xí)到的最優(yōu)模型參數(shù)可以將樣本的最本質(zhì)的特征表示出來。 深度學(xué)習(xí)最經(jīng)典的模型就是全連接的神經(jīng)網(wǎng)絡(luò)，如自適應(yīng)編碼器，深度置信網(wǎng)絡(luò)，還有就是卷積神經(jīng)網(wǎng)絡(luò)。,1.深度學(xué)習(xí),深度學(xué)習(xí)的基本概念,深度學(xué)習(xí)的典型結(jié)構(gòu),2,研究框架,RESEARCH FRAMWORKS,2.卷積神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò)的基本原理,卷積神經(jīng)網(wǎng)絡(luò)是第一個(gè)真正訓(xùn)練多層神經(jīng)元連接的深度學(xué)習(xí)模型，該模型構(gòu)造方式是受到人類視覺系統(tǒng)處理機(jī)制的影響，利用權(quán)值共享的神經(jīng)元在輸入圖像上進(jìn)行卷積計(jì)算，則能獲得同一種特征，當(dāng)利用多種不同權(quán)值的神經(jīng)元在輸入圖像上進(jìn)行卷積操作，則能獲得多種特征。該網(wǎng)絡(luò)可以直接輸入原始圖像，避免了對(duì)圖像進(jìn)行復(fù)雜的前期預(yù)處理，因而得到廣泛的應(yīng)用。,2,研究框架,RESEARCH FRAMWORKS,CNN模型AlexNet，是由多層神經(jīng)元構(gòu)成，其中前5層為卷積層，因?yàn)檫@些層神經(jīng)元的連接方式是通過卷積核模板連接，是非全連接的方式連接，所以稱為卷積層。后三層為全連接層，采用的連接方式為全連接，所以稱為全連接層。,卷積神經(jīng)網(wǎng)絡(luò)的基本原理,卷積層，每一層和前一層之間依靠卷積核連接，每一個(gè)卷積核都在前一層特征映射圖的局部感受野進(jìn)行卷積操作，同時(shí)由于卷積核表示的是神經(jīng)元權(quán)重。卷積模板為22，上一層的特征圖分辨率是44，用這個(gè)卷積核在特征圖上按固定的步長和順序遍歷計(jì)算一遍，計(jì)算得到33的特征圖,池化層也是CNN模型中重要的一層，對(duì)于降低特征向量的維數(shù)，避免維數(shù)災(zāi)難有重要的作用。所以一般情況下，池化層都是跟隨在卷積層的后面。圖像在某一區(qū)域的特征分布與其他區(qū)域的特征分別類似。所以在描述大的圖像時(shí)，可以對(duì)不同位置的特征進(jìn)行聚合統(tǒng)計(jì)，聚合統(tǒng)計(jì)后在求均值或者最大值，均值或者是最大值即為池化后的結(jié)果。,2.卷積神經(jīng)網(wǎng)絡(luò),2,研究框架,RESEARCH FRAMWORKS,2.卷積神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò)的基本原理,從人類大腦角度理解神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元與我們的大腦無關(guān)，是通過函數(shù)f將輸入圖像轉(zhuǎn)變成類別評(píng)分。,2,研究框架,RESEARCH FRAMWORKS,2.卷積神經(jīng)網(wǎng)絡(luò),卷積神經(jīng)網(wǎng)絡(luò)的基本原理,從人類大腦角度理解神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元與我們的大腦無關(guān)，是通過函數(shù)f將輸入圖像轉(zhuǎn)變成類別評(píng)分。,2,研究框架,RESEARCH FRAMWORKS,卷積神經(jīng)網(wǎng)絡(luò)的基本原理,2.卷積神經(jīng)網(wǎng)絡(luò),2,研究框架,RESEARCH FRAMWORKS,前向傳播和反向傳播,2.卷積神經(jīng)網(wǎng)絡(luò),2,研究框架,RESEARCH FRAMWORKS,前向傳播和反向傳播,2.卷積神經(jīng)網(wǎng)絡(luò),2,研究框架,RESEARCH FRAMWORKS,局部感受野和權(quán)值共享,2.卷積神經(jīng)網(wǎng)絡(luò),（a）神經(jīng)元在感受野全連接,（b）神經(jīng)元在感受野局部連接,2,研究框架,RESEARCH FRAMWORKS,多核卷積,2.卷積神經(jīng)網(wǎng)絡(luò),邊緣特征,LBP特征,3,研究方法1,RESEARCH METHODS1,1,基于深度特征的目標(biāo)檢測,提取深度特征,訓(xùn)練分類器,目標(biāo)檢測,結(jié)果與分析,遷移學(xué)習(xí),深度特征金字塔,訓(xùn)練LSVM,PASCAL數(shù)據(jù)集,單組件目標(biāo)檢測,多組件目標(biāo)檢測,3,研究方法1,RESEARCH METHODS1,3.基于深度特征的目標(biāo)檢測,Felzenswalb等人40研究了基于可變形部件模型DPM，通過提取目標(biāo)的HOG特征，對(duì)組成目標(biāo)的局部模型建模，采用多樣本學(xué)習(xí)并進(jìn)行推理，最后利用根濾波器和部分濾波器對(duì)測試圖像進(jìn)行匹配檢測實(shí)現(xiàn)目標(biāo)檢測。該方法為基于模型的檢測方法提供了新的思路, 但是局部判別式模型只采用了HOG特征，忽略的一些可靠的高層和底層特征，在一定程度上制約了檢測的精度。,本章利用CNN對(duì)DPM算法進(jìn)行改進(jìn)。首先通過遷移學(xué)習(xí)獲取CNN模型AlexNet，然后將其截?cái)喃@得AlexNet的卷積層，用來提取豐富的高層特征，具體是利用模型的前5層卷積層來獲取深度特征，然后利用特征金字塔的每一層特征訓(xùn)練隱藏變量的支持向量機(jī)LSVM得到DPM的全局檢測器和局部檢測器。檢測的過程中要對(duì)測試圖像構(gòu)造全局特征映射圖和局部特征映射圖，再對(duì)局部特征映射圖進(jìn)行池化，之后級(jí)聯(lián)全局特征映射圖得到新的特征映射圖，然后用訓(xùn)練好的判別式模型去卷積級(jí)聯(lián)后的特征映射圖，得到檢測結(jié)果。實(shí)驗(yàn)表明，利用CNN獲取深度特征，訓(xùn)練可變形部件模型，有效的改進(jìn)了算法的檢測精度。,3,研究方法1,RESEARCH METHODS1,3.基于深度特征的目標(biāo)檢測,遷移學(xué)習(xí),3,研究方法1,RESEARCH METHODS1,3.基于深度特征的目標(biāo)檢測,遷移學(xué)習(xí),通過分析AlexNet模型中的隱層可以發(fā)現(xiàn)，其中的底層的功能的是圖像通用特征的提取，并在高層生成圖像的深度特征。這一發(fā)現(xiàn)暗示，如果將AlexNet的底層看做一個(gè)特征提取器，則可以在其他的視覺任務(wù)重復(fù)中使用。因此最終用ImageNet訓(xùn)練AlexNet模型獲得初始參數(shù)，然后利用遷移學(xué)習(xí)獲得最終的模型參數(shù)。,參數(shù) 遷移,源任務(wù),目標(biāo)任務(wù),可變形部件模型,3,研究方法1,RESEARCH METHODS1,3.基于深度特征的目標(biāo)檢測,深度特征金字塔,首先要截?cái)嘣摼W(wǎng)絡(luò)，去除掉最后卷積層后的Mp層(max pool，如圖2-4)，所有的全連接層(fc6，fc7，fc8，如圖2-4)。這樣，網(wǎng)絡(luò)的輸出變成了第5層卷積層計(jì)算得到的256通道特征映射圖。 其中最左側(cè)的是輸入圖像，后面的5層是卷積層，最右側(cè)的是第5層卷積層，也就是卷積模型的輸出層，該層包含256個(gè)卷積模板，所以得到的特征金字塔每層都有256個(gè)通道特征圖。,3,研究方法1,RESEARCH METHODS1,3.基于深度特征的目標(biāo)檢測,提取深度特征,從圖3-4中可以看出，利用AlexNet前5層卷積層得到的深度特征金字塔的可視化圖，選取的是256通道中的最后一個(gè)通道的七層。圖中第一排第一列是原圖像，接著從左往右分別是深度特征金字塔層的第一層、第二層、第三層，第二排從左往右表示的是深度特征金字塔的第四至第七層。從圖中可以看出，金字塔層的第一層尺度是原圖像尺度的十分之一。,3,研究方法1,RESEARCH METHODS1,3.基于深度特征的目標(biāo)檢測,訓(xùn)練分類器,PASCAL VOC 2007數(shù)據(jù)集 訓(xùn)練及測試樣本,3,研究方法1,RESEARCH METHODS1,3.基于深度特征的目標(biāo)檢測,訓(xùn)練分類器,本文采用的DPM算法，需要訓(xùn)練出目標(biāo)的 全局模型和局部模型，由于沒有在訓(xùn)練集 和測試集中的標(biāo)注文件中給出部件的類別 和位置信息，所以相當(dāng)于將部件的信息隱 藏起來了，將這些信息作為隱藏變量，將 所有的隱藏變量定義為集合，集合中定義 了樣本所有可能的隱藏變量值。,這里是模型參數(shù)向量，是隱藏變量。是樣本所有可能取的隱藏變量值的集合。對(duì)以上得分閾值化，就可以得到了樣本的分類類標(biāo)。,3,研究方法1,RESEARCH METHODS1,3.基于深度特征的目標(biāo)檢測,訓(xùn)練分類器,本文使用帶類標(biāo)的樣本,來訓(xùn)練參數(shù)， 通過最小化下面的目標(biāo)函數(shù)：,其中是標(biāo)準(zhǔn)鉸鏈損失函數(shù)，常數(shù)C控制正則項(xiàng)的相對(duì)權(quán)重。,3,研究方法1,RESEARCH METHODS1,3.基于深度特征的目標(biāo)檢測,單組件目標(biāo)檢測,1. 獲得5層CNN輸出的 256通道7層特征金字 塔，對(duì)于其中的每一 層分別輸入到檢測系 統(tǒng)中；,2. 將每一層通道特征圖分別 去和根濾波器，個(gè)部件濾 波器進(jìn)行卷積，得到個(gè)特 征圖；,3. P個(gè)局部檢測器得到的特 征圖進(jìn)行距離池化層處理；,單組件可變形部件模型檢測流程圖,3,研究方法1,RESEARCH METHODS1,3.基于深度特征的目標(biāo)檢測,單組件目標(biāo)檢測,4.局部檢測器池化后的個(gè)特征圖級(jí)聯(lián)上全局檢測器的特征圖；,5. 通道的特征圖和目標(biāo)幾何濾波器進(jìn)行卷積，得到的是判別式模型在輸入特征金字塔每一層的得分。,單組件可變形部件模型檢測流程圖,3,研究方法1,RESEARCH METHODS1,3.基于深度特征的目標(biāo)檢測,多組件目標(biāo)檢測,在本文實(shí)驗(yàn)中，因?yàn)槊總€(gè)組件DPM模型在金字塔每一層都會(huì)產(chǎn)生一個(gè)得分圖，假設(shè)即為組件在金字塔層的位置q產(chǎn)生的檢測得分。在多組件的DPM模型中，每個(gè)組件都會(huì)在同一位置形成得分競爭，因此在金字塔的每一個(gè)位置都會(huì)得到一個(gè)最高分，即：,其中即為多組件的DPM模型在金字塔層q位置的最終的得分，的計(jì)算公式可以利用公式（3-12）計(jì)算。,其中組件c的目標(biāo)幾何濾波器，是根濾波器和部件濾波器在位置的得分子陣，是組件的得分偏差。具體的多組件DPM模型競爭方式。,3,研究方法1,RESEARCH METHODS1,3.基于深度特征的目標(biāo)檢測,PASCAL VOC2007數(shù)據(jù)集實(shí)驗(yàn)結(jié)果,對(duì)于不同算法需要有同一的評(píng)價(jià)指標(biāo)來衡量該算法的性能如何，本文用的評(píng)價(jià)指標(biāo)是：precisionrecall曲線，該曲線是最常用的評(píng)價(jià)檢測算法性能的指標(biāo)，類似的還有ROC曲線和DET曲線，本文選擇precisionrecall曲線作為評(píng)價(jià)本文提出的DP-DPM算法性能的指標(biāo)。曲線縱坐標(biāo)為precision，衡量的是在檢測結(jié)果中，檢測正確的正樣本占檢測出來的正樣本的比重。橫坐標(biāo)為recall，衡量的是檢測出來的真正樣本占所有真正樣本的比重。評(píng)價(jià)精度計(jì)算的是recall坐標(biāo)區(qū)域的平均值，即PR曲線包圍的面積，不同算法對(duì)比時(shí)，平均高的表示算法的準(zhǔn)確率更好。,3,研究方法1,RESEARCH METHODS1,3.基于深度特征的目標(biāo)檢測,檢測結(jié)果與分析,圖3-9表示訓(xùn)練不同組件數(shù)，部件數(shù)為5的DPM模型在VOC2007數(shù)據(jù)集中檢測自行車和馬的精度對(duì)比圖。其中DP-DPM表示深度特征金字塔訓(xùn)練LSVM得到的分類模型，用DP-DPM表示，HOG-DPM表示HOG特征金字塔訓(xùn)練LSVM得到的分類模型，用HOG-DPM表示。從圖3-9（a）中可以看出，5個(gè)部件數(shù)的DP-DPM模型的檢測結(jié)果要明顯優(yōu)于5個(gè)部件數(shù)的HOG-DPM模型的檢測結(jié)果。,在自行車的檢測結(jié)果中可以看出，單組件時(shí)DP-DPM精度為0.532，HOG-DPM精度為0.312， 改進(jìn)后的精度提高了70.5%；3組件時(shí)，DP-DPM相對(duì)于HOG-DPM改進(jìn)了63.2%；6組件時(shí)， DP-DPM相 對(duì)于HOG-DPM改進(jìn)了45.9%。,3,研究方法1,RESEARCH METHODS1,3.基于深度特征的目標(biāo)檢測,檢測結(jié)果與分析,從圖3-9（b）中可以看出，5個(gè)部件數(shù)的DP-DPM模型的檢測結(jié)果要明顯優(yōu)于5個(gè)部件數(shù)的HOG-DPM模型的檢測結(jié)果。在馬的檢測結(jié)果中可以看出，單組件時(shí)DP-DPM精度為0.532，HOG-DPM精度為0.342，改進(jìn)后的精度提高了55.5%；3組件時(shí)，DP-DPM相對(duì)于HOG-DPM改進(jìn)了59.8%；6組件時(shí)，DP-DPM相對(duì)于HOG-DPM改進(jìn)了56.7%。,3,研究方法1,RESEARCH METHODS1,3.基于深度特征的目標(biāo)檢測,檢測結(jié)果與分析,表 3-1 DP-DPM和HOG-DPM兩種算法在PASCAL VOC2007數(shù)據(jù)集上的檢測結(jié)果。,兩種算法分別訓(xùn)練1個(gè)、3個(gè)、6個(gè)組件的DPM模型，含有的部件數(shù)都為5。對(duì)于VOC2007數(shù)據(jù)集中的所有的目標(biāo)類，改進(jìn)后DP-DPM算法的檢測精度相對(duì)于改進(jìn)的HOG-DPM算法的檢測精度都有大幅提高，且隨著組件越多，檢測精度越高，這是因?yàn)榻M件越多，包含目標(biāo)不同視角的剛性結(jié)構(gòu)模型也就越多，模型匹配的越準(zhǔn)確，精度自然就能提高。,3,研究方法1,RESEARCH METHODS1,3.基于深度特征的目標(biāo)檢測,檢測結(jié)果與分析,表 3-2 DP-DPM和HOG-DPM兩種算法在PASCAL VOC2012數(shù)據(jù)集上的檢測結(jié)果,對(duì)于PASCAL VOC2012數(shù)據(jù)集中目標(biāo)類，改進(jìn)后DP-DPM模型的檢測精度相對(duì)于改進(jìn)前的HOG-DPM模型有很大提高。從表3-2中見隨著組件數(shù)量的增加，各類的檢測精度逐漸提高。,3,研究方法1,RESEARCH METHODS1,3.基于深度特征的目標(biāo)檢測,小結(jié),本章通過介紹基于HOG特征的目標(biāo)檢測算法，引出單一特征有效性不高的問題，然后介紹了如何利用CNN的來提取深度特征金字塔，包括如何獲得預(yù)訓(xùn)練的AlexNet模型，然后通過遷移學(xué)習(xí)獲得目標(biāo)模型的初始參數(shù)，并將AlexNet模型截?cái)喃@得包含5層卷積層的特征提取器，依次提取圖像的深度特征。然后介紹了如何利用提取的特征向量訓(xùn)練LSVM得到單組件的DPM模型；最后介紹了通過競爭方式判斷出多組件中的得分最高的組件。,3,研究方法,RESEARCH METHODS,2,基于動(dòng)態(tài)閾值的非極大值抑制,動(dòng)態(tài)閾值的非極大值抑制,固定閾值的非極大值抑制,結(jié)果與分析,重檢與誤檢,非極大值抑制,VOC2012數(shù)據(jù)集實(shí)驗(yàn)結(jié)果,VOC2007數(shù)據(jù)集實(shí)驗(yàn)結(jié)果,真實(shí)場景的檢測結(jié)果,4,研究方法,RESEARCH METHODS,4.基于動(dòng)態(tài)閾值的非極大值抑制,固定閾值非極大值抑制算法,檢測后處理過程,完整的目標(biāo)檢測算法包括三個(gè)階段，學(xué)習(xí)階段，預(yù)測階段，和抑制重復(fù)檢測階段。第一階段主要是特征提取并且訓(xùn)練可變形部件模型，第二階段主要是利用模型對(duì)測試樣本進(jìn)行預(yù)測，第三階段的任務(wù)是對(duì)預(yù)測的結(jié)果進(jìn)行檢查，抑制掉多余的重復(fù)檢測和誤檢。 當(dāng)前，目標(biāo)檢測普遍使用基于貪心策略的非極大值抑制算法47，因?yàn)樗唵胃咝?。在DPM算法中都有不錯(cuò)的表現(xiàn)。,NMS,4,研究方法,RESEARCH METHODS,4.基于動(dòng)態(tài)閾值的非極大值抑制,重復(fù)檢測和誤檢,基于滑動(dòng)窗口的檢測，本文使用的方法是保持圖像尺度不變，調(diào)整滑動(dòng)窗口的尺度，利用不同尺度的滑動(dòng)窗口分別遍歷圖像，利用分類模型對(duì)特征向量進(jìn)行判斷。保持圖像尺度不變，改變滑動(dòng)窗口的尺度來檢測目標(biāo)。,滑動(dòng)窗口經(jīng)過閾值判斷后保留下來的窗口，包括重檢和誤檢的,經(jīng)過非極大值抑制算法，抑制掉了重檢和誤檢后，保留了檢測正確的窗口,4,研究方法,RESEARCH METHODS,4.基于動(dòng)態(tài)閾值的非極大值抑制,固定閾值的非極大值抑制,NMS過程的實(shí)現(xiàn)是由三個(gè)循環(huán)嵌套組成的，第一層循環(huán)也稱為外層循環(huán)，在外循環(huán)遍歷所以窗口的分?jǐn)?shù)并且按照分?jǐn)?shù)由高到低將窗口排序，選擇分?jǐn)?shù)最高的作為初始窗口，剩下的窗口稱為抑制窗口。第二層循環(huán)稱為中層循環(huán)，中層循環(huán)是為了計(jì)算初始窗口和抑制窗口的面積重疊率o。第三層循環(huán)稱為內(nèi)循環(huán)，內(nèi)循環(huán)是為了比較o和閾值overlap的大小并且抑制o大于overlap的抑制窗口。,由于窗口分?jǐn)?shù)在外層循環(huán)經(jīng)過排序，所以一側(cè)的窗口分?jǐn)?shù)總是比候選的窗口分?jǐn)?shù)低，所以中環(huán)和內(nèi)環(huán)迭代n-1次剛好就是初始窗口和抑制窗口做n-1次比較，并且n-1次比較后內(nèi)環(huán)和中環(huán)中止。公式說明了傳統(tǒng)非極大值抑制中閾overlap的大小。,4,研究方法,RESEARCH METHODS,4.基于動(dòng)態(tài)閾值的非極大值抑制,重復(fù)檢測和誤檢,固定閾值的非極大值抑制,動(dòng)態(tài)閾值非極大值抑制,將原始算法中的overlap動(dòng)態(tài)化,目標(biāo)檢測結(jié)果圖,NMS作用后,ANMS作用后,4,研究方法,RESEARCH METHODS,4.基于動(dòng)態(tài)閾值的非極大值抑制,VOC2007數(shù)據(jù)集實(shí)驗(yàn)結(jié)果,圖4-5表示的是ANMS-PART，ANMS-ROOT，NMS-PART和NMS-ROOT四種不同的方式在VOC2007數(shù)據(jù)集中小汽車和馬的檢測精度對(duì)比圖。其中ANMS-PART表示的是單獨(dú)利用局部檢測器是在測試數(shù)據(jù)集上進(jìn)行測試，然后利用ANMS抑制局部檢測器的檢測結(jié)果中的重檢和誤檢；ANMS-ROOT表示單獨(dú)利用全局檢測器是在測試數(shù)據(jù)集上進(jìn)行測試，然后利用ANMS抑制全局檢測器的檢測結(jié)果中的重檢和誤檢；NMS-PART表示的是單獨(dú)利用局部檢測器是在測試數(shù)據(jù)集上進(jìn)行測試，然后利用NMS抑制局部檢測器的檢測結(jié)果中的重檢和誤檢；NMS-ROOT表示單獨(dú)利用全局檢測器是在測試數(shù)據(jù)集上進(jìn)行測試，然后利用NMS抑制全局檢測器檢測結(jié)果中的重檢和誤檢。,4,研究方法,RESEARCH METHODS,4.基于動(dòng)態(tài)閾值的非極大值抑制,VOC2007數(shù)據(jù)集實(shí)驗(yàn)結(jié)果,圖4-5表示的是ANMS-PART，ANMS-ROOT，NMS-PART和NMS-ROOT四種不同的方式在VOC2007數(shù)據(jù)集中小汽車和馬的檢測精度對(duì)比圖。其中ANMS-PART表示的是單獨(dú)利用局部檢測器是在測試數(shù)據(jù)集上進(jìn)行測試，然后利用ANMS抑制局部檢測器的檢測結(jié)果中的重檢和誤檢；ANMS-ROOT表示單獨(dú)利用全局檢測器是在測試數(shù)據(jù)集上進(jìn)行測試，然后利用ANMS抑制全局檢測器的檢測結(jié)果中的重檢和誤檢；NMS-PART表示的是單獨(dú)利用局部檢測器是在測試數(shù)據(jù)集上進(jìn)行測試，然后利用NMS抑制局部檢測器的檢測結(jié)果中的重檢和誤檢；NMS-ROOT表示單獨(dú)利用全局檢測器是在測試數(shù)據(jù)集上進(jìn)行測試，然后利用NMS抑制全局檢測器檢測結(jié)果中的重檢和誤檢。,4,研究方法,RESEARCH METHODS,4.基于動(dòng)態(tài)閾值的非極大值抑制,VOC2007數(shù)據(jù)集實(shí)驗(yàn)結(jié)果,表4-1中PART表示的局部檢測器，ROOT是全局檢測器。從表4-1中發(fā)現(xiàn)ANMS-DPM現(xiàn)對(duì)于NMS-DPM在VOC2007數(shù)據(jù)集中，檢測精度都有所提高，說明引入分?jǐn)?shù)比和尺度比的動(dòng)態(tài)化的抑制閾值對(duì)不同目標(biāo)類具有更好的普適性，能夠根據(jù)得分和尺度來自適應(yīng)選擇合適的抑制閾值。部件檢測精度提高最多的是bicycle類，使用ANMS代替NMS之后，部件濾波器檢測精度提高了14.4%；根濾波器檢測精度提高最多的是person類，提高程度為12.2%。部件濾波器檢測精度提高程度最低的是sofa類，提高程度為2.7%。根濾波器提高檢測精度提高最低的是train類，提高程度為1.9%。,4,研究方法,RESEARCH METHODS,4.基于動(dòng)態(tài)閾值的非極大值抑制,VOC2007數(shù)據(jù)集實(shí)驗(yàn)結(jié)果,ANMS-DPM算法在PASCAL VOC2007數(shù)據(jù)集上的檢測結(jié)果圖,4,研究方法,RESEARCH METHODS,4.基于動(dòng)態(tài)閾值的非極大值抑制,VOC2012數(shù)據(jù)集實(shí)驗(yàn)結(jié)果,表4-2中反映出改進(jìn)后的ANMS-DPM與改進(jìn)前NMS-DPM相比，在 VOC2012數(shù)據(jù)集上的檢測得分更高些。從表4-2中可以看出，全局檢測器檢測時(shí)，精度提高最多的類是馬，檢測精度提高程度為10.3%；提高最少的類是行人，提高程度為2%；局部檢測器檢測時(shí)，提高精度最高的類為摩托車，提出程度為9%，提高程度最少的為馬，降低了4%。,4,研究方法,RESEARCH METHODS,4.基于動(dòng)態(tài)閾值的非極大值抑制,VOC2012數(shù)據(jù)集實(shí)驗(yàn)結(jié)果,ANMS-DPM算法在PASCAL VOC2012數(shù)據(jù)集上的檢測結(jié)果圖,4,研究方法,RESEARCH METHODS,4.基于動(dòng)態(tài)閾值的非極大值抑制,真實(shí)場景的檢測結(jié)果,（a）無遮擋尺度單一的行人檢測,（b）有遮擋尺度不一的行人檢測,4,研究方法,RESEARCH METHODS,4.基于動(dòng)態(tài)閾值的非極大值抑制,真實(shí)場景的檢測結(jié)果,（a）無遮擋尺度單一的行人檢測,（b）有遮擋尺度不一的行人檢測,4,研究方法,RESEARCH METHODS,4.基于動(dòng)態(tài)閾值的非極大值抑制,小結(jié),本章主要圍繞DPM目標(biāo)檢測算法后處理過程中應(yīng)用的非極大值抑制算法展開，通過分析非極大值抑制算法，找出該算法的不足，即固定的面積重疊率閾值，緊接著提出利用檢測窗口分?jǐn)?shù)的二階矩將目標(biāo)類分開，然后在子類當(dāng)中再利用分?jǐn)?shù)比和尺度比建立數(shù)學(xué)模型，利用分?jǐn)?shù)和尺度比自適應(yīng)的選擇面積重疊率閾值。為了驗(yàn)證改進(jìn)后的自適應(yīng)閾值的非極大值算法的有效性，分別在PASCAL VOC2007和PASCAL VOC 2012兩數(shù)據(jù)集中進(jìn)行實(shí)驗(yàn)，且從根濾波器和部件濾波器兩個(gè)角度進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，改進(jìn)后的ANMS算法具有很好的普適性，不管是根濾波器還是部件濾波器，對(duì)數(shù)據(jù)集中所有類，檢測精度都有不同程度的提高。,本文針對(duì)智慧城市技術(shù)的核心技術(shù)目標(biāo)檢測算法，分析了該類算法的兩類問題：一是特征，現(xiàn)有算法基本采用的是人工設(shè)計(jì)的單一特征或幾種特征組合。這些人工設(shè)計(jì)的特征設(shè)計(jì)復(fù)雜且很容易引入噪聲，無法充分的包含圖像的有用信息。二是后處理過程，現(xiàn)有的后處理算法只采用了固定大小的抑制閾值，無法針對(duì)不同目標(biāo)自適應(yīng)的調(diào)整閾值。 本文CNN為基礎(chǔ)，提取深度特征訓(xùn)練可變形部件模型，得到最終的檢測模型，有效的提高了檢測精度。另外對(duì)非極大值抑制的閾值動(dòng)態(tài)化，也提高了檢測精度。,5,結(jié)論,CONCLUSION,1,2,王愛麗,胡長雨. 基于ORB特征的復(fù)雜場景下的增強(qiáng)現(xiàn)實(shí). 哈爾濱理工大學(xué)學(xué)報(bào), 2017, 4(中文核心，已錄用).,Aili Wang, Changyu Hu, X Liu, et al. A modified of the non-maxima suppression algorithm International Conference of Electronic Engineering & Information Science, 2016, January, 69-72(EI會(huì)議，待檢索).,科研成果,6,科研成果,CONCLUSION AND SUGGESTIONS,致謝感恩,The Graduation Thesis Defense,