第 10 章 模 式 識 別 的 理 論 和 方 法,一個圖像識別系統(tǒng)可分為三個主要部分。其框圖如圖(10.1)所示。(1)圖像信息的獲??；(2)信息的加工和處理，抽取特征；(3)判斷或分類。,圖101 圖像識別系統(tǒng)框圖,被識圖像,圖像獲取,信息處理 特征抽取,判決,結(jié)果,10. 1 概述,模式識別的主要方法可分為兩大類： 統(tǒng)計學方法 語言學方法,兩類方法的不足： 第一種方法沒有利用圖像本身的結(jié)構(gòu)關(guān)系 第二類方法沒有考慮圖像在環(huán)境中受噪聲的干擾,10. 2 統(tǒng)計模式識別法,1)常用的決策規(guī)則 基于最小錯誤率的貝葉斯決策 在圖像識別中，我們總希望盡量減少分類錯誤，利用貝葉斯（Bayes）公式能夠得到錯誤率最小的分類規(guī)則，這就是基于最小錯誤率的貝葉斯決策。,10. 21 決策理論方法,設(shè): 為 狀態(tài)下觀察 X 類的條件概率密度； 為 狀態(tài)下觀察 X 類的條件概率密度； 利用貝葉斯公式：,得到的條件概率 稱為狀態(tài)的后驗概率。,基于最小錯誤率的貝葉斯決策規(guī)則為：,如果 ，則把X歸類為 ； 如果 ，則把X歸類為 。,基于最小風險的貝葉斯決策 最小風險的貝葉斯決策是考慮各種錯誤造成損失而提出的決策規(guī)則。,2 線性判別函數(shù),線性判別函數(shù)是指判別函數(shù)是圖像所有特征量的線性組合，即,式中 代表第i個判別函數(shù)； 是系數(shù)或權(quán)； 為常數(shù)項或稱為閾值。在兩類之間的判決界處有下式的形式。,(104),(105),3. 最小距離分類器 線性分類器中重要的一類是用輸入模式與特征空間中作為模板的點之間的距離作為分類的準則。假設(shè)有m類，給出m個參考向量 與模式類 相聯(lián)系。,4. 最近鄰域分類法,在最小距離分類法中，取一個最標準的向量作為代表。將這類問題稍微擴張一下，一類不能只取一個代表，把最小距離的概念從一個點和一個點間的距離擴充到一個點和一組點之間的距離。這就是最近鄰域分類法的基本思路。,（1020）,式(1020)是一個二次型判別函數(shù)。通常二次型判別函數(shù)的決策邊界是一個超二次曲面。,5. 非線性判別函數(shù),統(tǒng)計學習理論是一種小樣本統(tǒng)計理論，它為研究有限樣本情況下的統(tǒng)計模式識別和更廣泛的機器學習問題建立了一個較好的理論框架，同時也發(fā)展了一種新的模式識別方法支持向量機，能夠較好地解決小樣本學習問題。,1024 統(tǒng)計學習理論與支持向量機,圖1034 機器學習的基本模型,有三類基本的機器學習問題: 模式識別 函數(shù)逼近 概率密度估計 經(jīng)驗風險最小化并不一定意味著期望風險最小，學習機器的復雜性不但與所研究的系統(tǒng)有關(guān)，而且要和有限的學習樣本相適應。,支持向量機,支持向量機（Support Vector Machines，簡稱SVM方法）是實現(xiàn)統(tǒng)計學習理論的一種具體方法，其主要內(nèi)容在1992年1995年間才基本完成，目前仍處在不斷發(fā)展階段。,設(shè)：線性可分樣本為 ，i=1，n， 是類別標號。d維空間中線性判別函數(shù)的一般為 ，分類面方程為：,(10161),而要求分類線對所有樣本正確分類，就是要求它滿足,i=1，2，n (10162),因此，滿足上述條件且使,最小的分類面就是最優(yōu)分類面。,過兩類樣本中離分類面最近的點且平行于最優(yōu)分類面的超平面H1、H2上的訓練樣本就是式(10162)中使等號成立的那些樣本，它們叫做支持向量（Support Vectors）。,因為它們支撐了最優(yōu)分類面，最優(yōu)分類面的示意圖如下圖，圖中用圓圈標出的點為支持向量。,圖1039 D4和D84組成的紋理圖像,圖1040 D5和D92組成的紋理圖像,圖1042 自建的測試圖像,圖1041 D12和D17組成的紋理圖像,圖1043 自建的測試圖像,10. 3 句法結(jié)構(gòu)模式識別,統(tǒng)計決策識別法的基本做法是首先從待識別模式中提取特征參數(shù)，然后用這些特征參數(shù)把模式表達為特征空間中的點，然后再根據(jù)各點之間的距離進行分類和識別。,缺點： 對比較復雜的模式需要較多的特征才能描述它，而特征提取是比較困難的環(huán)節(jié)，對于同一模式往往有不同的抽取方法，就目前來看尚沒有統(tǒng)一的理論依據(jù)。,簡單的分類并不能代表識別，對于復雜的模式，識別的目的并不是僅僅要求把它分配到某一類別中去，而且還要對不同的對象加以描述，在這方面統(tǒng)計決策法就有極大的局限性。,句法結(jié)構(gòu)模式識別法主要著眼于模式結(jié)構(gòu)，采用形式語言理論來分析和描述模式結(jié)構(gòu)，因此，它具有統(tǒng)計識別法所不具備的優(yōu)點。,10.3.1 形式語言概述,所謂句法結(jié)構(gòu)就是將一個復雜的模式一部分一部分地加以描述，將復雜的模式分成若干子模式，如此分下去直至最簡單的子模式（或稱基元）為止。,10.3.2 句法結(jié)構(gòu)方法,預處理主要包括編碼、濾波、復原、增強及縫隙填補等一系列操作。 基元抽取包括分割、特征（基元）抽取。基元的選擇要盡可能少，而且容易被識別。 結(jié)構(gòu)分析可判別所得到的表達式在句法上是否正確。如果句法是正確的， 就能得到模式的完整描述，即一個剖析式或剖析樹。,句法方法在以下領(lǐng)域多有應用：,）波形分析； ）聲音識別與理解； ）文字識別； ）二維數(shù)學表示式； ）指紋分類； ）圖像分析與理解； ）機器部件識別； ）自動視覺檢查； ）LANDSAT資源勘探用陸地衛(wèi)星數(shù)據(jù)解釋等。,10.4 模糊集識別法簡介,在模式識別中，有些問題是極其復雜的，要使計算機識別某一模式，就要分析綜合所有的特征，計算和比較大量的信息后才能作出判斷。而人在識別過程中只根據(jù)一些模糊的印象就可以做到較準確的識別。,10.4.1 模糊集合及其運算,1. 模糊子集,沒有明確外延的概念就稱作模糊概念 論域是指被討論的全體對象，有時也稱為空間，論域元素總是分明的 論域中元素從屬于模糊集合的程序不是絕對的0或1，它可介于0和1之間 在模糊數(shù)學中，把元素對普通集合的絕對隸屬關(guān)系加以靈活化，提出隸屬度的概念 隸屬度用隸屬函數(shù)來描述,10.4.2 模糊模式識別的方法,例子： 任何三角形都可用三個邊a、b、c及三個頂角A、B、C來表示。把等腰三角形、等邊三角形、直角三角形、等腰直角三角形看成是模糊集 、 、 、 。要運用直接方法識別，首先要確定它們的從屬函數(shù)。,取論域： ，其中A、B、C表示三角形的三個內(nèi)角，由此，可定義它們的從屬函數(shù)，進一步求得模糊幾何圖形的從屬度。,設(shè) 、 、 、 、 分別為等腰三角形、直角三角形、等邊三角形、等腰直角三角形及非典型一般三角形的從屬函數(shù)，則有：,(10107),(10108),(10109),由隸屬原則，判定三角形甲是直角三角形。,由隸屬原則，判定三角形乙是一般三角形。,相似系數(shù)有夾角余弦、相關(guān)系數(shù)等幾種定義。如果用 表示樣本 與樣本 之間的距離，則也有如下一些距離的定義：,3. 模糊聚類分析,（）絕對值距離,(10125),（）歐氏距離,(10126),（）馬氏距離,(10127),式中V是一個 階的協(xié)方差矩陣， 其元素為：,(4) 蘭氏距離,(10128),聚類分析的基本思想是將比較接近的樣本歸為一類。系統(tǒng)聚類法可分三個步驟進行： 第一、計算各樣本之間距離，將距離最近的兩點合并為一類； 第二、定義類與類間的距離，將最近的兩類合并為新的一類； （類與類之間的定義有最小距離法、最大距離法、中間距離法、重心法等） 第三、反復做第二步，使類與類之間不斷合并，最后完成聚類分析。,10.5 模式識別的幾種應用,模式識別的應用較廣，大致可有如下幾個方面：字符識別；醫(yī)學診斷；遙感圖像解譯；人臉和指紋鑒別；污染監(jiān)測；自動檢查和自動化；可靠性；社會經(jīng)濟；語音識別和理解；考古等。,1051 生物特征識別,指紋識別,指紋具有兩大特性: 1) 沒有兩個人的指紋是相同的； 2) 當指紋不受損傷時終生不變。,首先，指紋分為七類（平斗、左箕、右箕、平弓、帳弓、左雙箕、右雙箕）。第一類再分為十八個小類，然后測量斜率?？偟倪^程是分類、分層、分窗口，在這個過程中包括細化，連接斷線等處理; 爾后整個窗口用一個樹代表，樹的每一個分支是窗口中的一根隆線，然后找出文法; 最后做一樹狀自動機。,（1） 人臉識別系統(tǒng)的基本組成,人臉識別,（2）. 人臉識別基本算法,基于幾何特征的方法 該方法要求選取的特征矢量有一定的獨特性，既要反映不同人臉的差異，還要具有一定的彈性，以減少或者消除光照差異等影響。幾何特征向量是以人臉器官的形狀和幾何關(guān)系為基礎(chǔ)的特征向量，其分量通常包括人臉指定兩點間的歐式距離、曲率、角度等。,基于神經(jīng)網(wǎng)絡(luò)的方法 早期用于人臉識別的神經(jīng)網(wǎng)絡(luò)主要是Kohonen自聯(lián)想映射神經(jīng)網(wǎng)絡(luò)，當人臉圖像受噪聲污染嚴重或部分缺損時，用Kohonen網(wǎng)絡(luò)恢復完整的人臉的效果較好。Cottrell等人使用級聯(lián)BP神經(jīng)網(wǎng)絡(luò)進行人臉識別，對部分受損的、光照有所變化的人臉圖像識別能力也較好。,基于代數(shù)特征的方法 這類算法是采用代數(shù)特征向量，即人臉圖像在由“特征臉”張成的降維子空間上的投影。基于代數(shù)特征識別的主要原理是利用統(tǒng)計方法提取特征，從而形成子空間進行識別。,（3） 當前主流算法,1） 特征臉（eigenface）算法 特征臉方法的優(yōu)點： 圖像的原始灰度數(shù)據(jù)直接用來學習和識別，不需要任何低級或中級處理； 不需要人臉的幾何和反射知識； 通過低維可以有效的對高維數(shù)據(jù)進行壓縮； 與其它匹配方法相比，識別簡單有效。,特征臉方法存在的不足： 圖像中所有的像素被賦予了同等的地位，可是角度、光照、尺寸及表情等干擾會導致識別率下降，因此，須先進行尺度歸一化處理； 在姿態(tài)和光照變化時識別率明顯下降； 要求背景單一，； 學習時間長，只能離線計算。,2） 彈性圖匹配方法 彈性圖匹配方法（Elastic Graph Matching）是一種基于動態(tài)鏈接結(jié)構(gòu)(Dynamic Link Architecture，DLA)的方法。它將人臉用格狀的稀疏圖（即拓撲圖）表示，圖中的節(jié)點用圖像位置的Gabor小波分解得到的特征向量標記，圖的邊用連接節(jié)點的距離向量標記。,其優(yōu)點是： 人臉稀疏圖（即拓樸圖）的頂點采用了小波變換特征，對光照、位移、旋轉(zhuǎn)及尺度變化都不敏感。 彈性圖匹配法能保留二維圖像的空間相關(guān)信息。而特征臉方法在將圖像排成一維向量后，丟失了很多空間相關(guān)信息。,（4）. 人臉識別的統(tǒng)計結(jié)果,根據(jù)圖5.1和圖5.2所示的訓練和識別的流程圖在Microsoft Visual C+ 6.0環(huán)境下編程測試KPCA人臉識別效果，采用美國的Yale人臉庫，,圖像庫中共15人，每人11張照片，人臉數(shù)目共計為165。每人10幅圖像作訓練，一幅做測試，識別率定義如下： 其中，n為正確識別出的人臉個數(shù)，N為訓練集中的人數(shù)。利用PCA進行人臉識別的實驗結(jié)果為： 87.5 ,42 模式識別在醫(yī)學上的應用,431 印刷電路板自動外觀檢查裝置,43 模式識別在自動檢測中的應用,圖10-39 產(chǎn)品質(zhì)量檢測實例,圖10-40 產(chǎn)品質(zhì)量檢測實例,圖10-41 汽車牌照識別,圖10-42 電路板零件缺失檢測,