第5章 最小二乘法辨識,把待辨識的系統(tǒng)看作“黑箱”，只考慮系統(tǒng)的輸入輸出特性，而不強調(diào)系統(tǒng)的內(nèi)部機理。 本章主要討論單輸入單輸出系統(tǒng)的差分方程作為模型的系統(tǒng)辨識問題。 差分方程模型的辨識問題包括階的確定和參數(shù)估計2個方面。 本章討論采用最小二乘法進(jìn)行參數(shù)估計。,1、最小二乘法,設(shè)單輸入單輸出線性定常系統(tǒng)的差分方程為 （1） 式中： 為輸入信號； 為理論上的輸出值。 的觀測值 可表示為 式中 為隨機干擾，則： 將 代入差分方程中，有 （4）,往往把 看作白噪聲 設(shè) 則式（4）可寫成 （5） 假設(shè) 不僅包含了 的測量誤差，而且還包含 的測量誤差和系統(tǒng)內(nèi)部噪聲。 假定 是不相關(guān)隨機序列。 現(xiàn)分別測出 個輸入輸出值 ，,列出個方程為：,設(shè),可得到 （8） 式中： 為N維輸出向量； 為N維噪聲向量； 為 維參數(shù)向量； 為 測量矩陣。 式（8）式一個含有 個未知參數(shù)，由N個方程組成方程組。 當(dāng) ，方程數(shù)少于未知數(shù)數(shù)目，則方程組的解是不定的。 當(dāng) ，方程數(shù)正好與未知數(shù)相等，當(dāng)噪聲 時，就能準(zhǔn)確的解出,如果噪聲 ，則 從上式可以看出噪聲 對參數(shù)估計有影響，為了盡量減少噪聲 對 估值的影響，應(yīng)取 此時，要采用數(shù)理統(tǒng)計的方法求 的值，以減少噪聲對 估計值的影響。,最小二乘估計算法,設(shè) 表示 的最優(yōu)估值， 表示 的最優(yōu)估值，則有 式中,設(shè) 表示 與 之差，即 將 稱為殘差。把 分別代入上式可得殘差 。設(shè) 則有,最小二乘估計要求殘差的平方和為最小，即按照目標(biāo)函數(shù) 為最小來確定估值 。 求J對 的偏導(dǎo)數(shù)并令其等于0，可得 J為極小值的充分條件是 即矩陣 為正定矩陣。,這種辨識方法稱為一次完成的最小二乘估計，用來辨識的數(shù)據(jù)長度是 。算法表明，全部 組數(shù)據(jù)是一次計算完畢的，這種方法常用于離線辨識。 優(yōu)點：辨識精度高。 缺點：每取到一組新數(shù)據(jù)后，都需要重新解方程組，每算一次都需要用全部數(shù)據(jù)，致使計算的存儲量越來越大，計算量也逐漸增加。,2、最小二乘遞推算法,令 則有,考慮目標(biāo)函數(shù) 極小化，可求得 （10） 當(dāng)新數(shù)據(jù) 取得時，有 其中：,令 則 應(yīng)用矩陣求逆引理，可得 和 的遞推關(guān)系式 矩陣求逆引理：設(shè)A為 矩陣，B和C為 矩陣，并且A， 和 都是非奇異矩陣，則有矩陣恒等式,令 ， ， ，根據(jù)引理有 由于 為標(biāo)量，則 而,由于上式中第二項為 把它代入原式，消去同類項，經(jīng)整理得 此式即為最小二乘的遞推算式。 利用此式計算 ， 時要已知 ， （前次估計值）， （歷史數(shù)據(jù)）和新觀測值 。,算法所需存貯空間分析： 算法中， 為2n+1個存貯單元（ ），而 是 維矩陣，顯然，將 換成 后，存貯量大為減少（因為n為模型的階數(shù)，一般遠(yuǎn)遠(yuǎn)小于N） 遞推公式的直觀意義： 如果用 表示預(yù)報值，那么 表示預(yù)報誤差，這就表明，新的參數(shù)估計值 是根據(jù)預(yù)報偏差來對原估計值 進(jìn)行修正，修正的幅度大小是按最小二乘準(zhǔn)則來確定的。,為了進(jìn)行遞推計算，需要給出 和 的初值 和 ，有兩種給出初值的方法。 1）設(shè) 為N的初始值，則根據(jù)公式可算出初值 2）假定 是充分大的常數(shù)， 為 單位矩陣,則經(jīng)過若干次遞推之后能得到較好的參數(shù)估計。,3、最小二乘估計量的統(tǒng)計特性,1、無偏性 定理1：假設(shè)模型（5）式中的 是均值為零的平穩(wěn)獨立隨機序列，則最小二乘估計量 是具有無偏性的，即 其中 表示參數(shù)的真實值。 證明：令誤差向量 ，由式（8） 可知,將它代入（10）式得 對上式兩邊取數(shù)學(xué)期望，并應(yīng)用 為獨立，零均值得統(tǒng)計特性，可得 證畢。 2、誤差協(xié)方差 定理2：如果 是均值為零，方差為 的白噪聲序列，則最小二乘估計誤差 的協(xié)方差矩陣是,證明：定義誤差向量的協(xié)方差矩陣是 證畢。 上式可寫為 當(dāng) 時，上式為零，即 以概率1趨近 。 因此，當(dāng) 為不相關(guān)隨機序列時，最小二乘估計具有無偏性和一致性。如果系統(tǒng)的參數(shù)估計具有這種特性，就稱系統(tǒng)具有可辨識性。,現(xiàn)舉例說明最小二乘法的估計精度 例5.1：設(shè)單輸入單輸出系統(tǒng)的差分方程為 設(shè) 是幅值為1的偽隨機二位式序列，噪聲 是一個方差 可調(diào)的正態(tài)分布 隨機序列。 從方程中可看到 ，因此 真實的 為 取觀測數(shù)據(jù)長度 ，當(dāng)噪聲均方差 取不同值時，系統(tǒng)參數(shù)的最小二乘估計值如下表,表5.1 參數(shù)估值表,計算結(jié)果表明，當(dāng)不存在噪聲時，可以獲得精確的估值 。估值 的均方差隨著噪聲均方差 的增大而增大。,3）漸進(jìn)正態(tài)性 定理3：假設(shè) 是均值為零，方差為 的正態(tài)白噪聲，則最小二乘參數(shù)估計值 服從正態(tài)分布，即 4）有效性 定理4：假設(shè) 是均值為零，方差為 的正態(tài)白噪聲，則最小二乘參數(shù)估計量 是有效估計量，即參數(shù)估計誤差的協(xié)方差達(dá)到Cramer-Rao不等式（克拉默勞下限 ）的下界 其中M為Fisher信息矩陣。,4、適應(yīng)算法,隨著更多觀測數(shù)據(jù)的處理，遞推最小二乘法對線性定常系統(tǒng)的參數(shù)估計并非越來越精確，有時會發(fā)現(xiàn)由此得到的參數(shù)估計量與實際參數(shù)之間的誤差越來越大，即出現(xiàn)“數(shù)據(jù)飽和”現(xiàn)象。 這是因為 是正定的，而 中 是非負(fù)定的，所以 都是正定的。根據(jù)遞推最小二乘法中公式，可得： 所以 隨著遞推次數(shù)的增加， 越來越小，這會導(dǎo)致新采樣值對參數(shù)估計的修正不再起作用，即產(chǎn)生“數(shù)據(jù)飽和”現(xiàn)象。,另外，由于遞推在有窮字長的計算機上實現(xiàn)時，每步都存在舍入誤差。因此數(shù)據(jù)飽和后，由于這些原因致使新的采樣值不僅對參數(shù)估計不起改進(jìn)作用，反而可能使所計算的 失去正定性，甚至失去對稱性，造成參數(shù)的估計值和真實參數(shù)之間的偏差越來越大。 為了克服數(shù)據(jù)飽和現(xiàn)象，可以用降低舊數(shù)據(jù)影響的辦法來修正算法。而對于時變系統(tǒng)，估計k時刻的參數(shù)最好用k時刻附近的數(shù)據(jù)估計較準(zhǔn)確。否則新數(shù)據(jù)所帶來的信息將被就數(shù)據(jù)所淹沒。 幾種算法：漸消記憶法，限定記憶法與振蕩記憶法,1）漸消記憶法,該法的思想是對過去數(shù)據(jù)乘上加權(quán)因子 ，利用加權(quán)來人為地降低老數(shù)據(jù)的作用。 考慮下列目標(biāo)函數(shù) 其中 ，當(dāng) 時就是標(biāo)準(zhǔn)的最小二乘算法，可以證明其遞推算法是,41a,41b,41c,證明：令 則,利用矩陣求逆,令,證畢,一般情況下,比較適宜，太小了會降低,參數(shù)估計的精度。 的一個很好的選擇是令,典型取值,4-2,2）限定記憶法,這種估計算法只用最新的N個數(shù)據(jù)，在此前的數(shù)據(jù)，全部刪除掉。 如考慮一個固定長度為N的矩形窗，每一時刻一個新數(shù)據(jù)點增加進(jìn)來，一個老數(shù)據(jù)點剔除出去，這樣就保持了每次都只取最新的N組數(shù)據(jù)。 用下標(biāo) 表示用第 組直到 組觀測值計算到的各種變量，例如 表示第 組直到 組一共N1組觀測數(shù)據(jù)計算到的參數(shù)估計值。 而 表示第 組到 組一共N組觀測數(shù)據(jù)計算到的參數(shù)估計值。,這樣，遞推方程（41）中， 則可寫成 為了保持?jǐn)?shù)據(jù)窗的長度等于N，要從上三式中剔除i時刻的觀測值，即求 其中：,利用矩陣求逆運算，可得,該式就是限定記憶的最小二乘遞推法,3）振蕩記憶算法,振蕩記憶算法指整段剔除N組數(shù)據(jù)的方法，即當(dāng)數(shù)據(jù)長度已經(jīng)達(dá)到2N時，可剔除開始的N個數(shù)據(jù)。其有用的數(shù)據(jù)在N到2N之間變化,練習(xí),根據(jù)遞推最小二乘算法，矩陣求逆公式以及公式(4-1-b),(4-1-c)和（4-2），推導(dǎo)公式(4-1-a),