第六章 最小二乘法與曲線擬合,6.0 問題的提出 6.1 用最小二乘法求解矛盾方程組 6.2 多項(xiàng)式擬合,如果實(shí)際問題要求解在a,b區(qū)間的每一點(diǎn)都“很好地” 逼近f(x)的話，運(yùn)用插值函數(shù)有時就要失敗。另外，插值所需的數(shù)據(jù)往往來源于觀察測量，本身有一定的誤差。要求插值曲線通過這些本身有誤差的點(diǎn)，勢必使插值結(jié)果更加不準(zhǔn)確。 如果由試驗(yàn)提供的數(shù)據(jù)量比較大，又必然使得插值多項(xiàng)式的次數(shù)過高而效果不理想。,6.0 問題的提出,從給定的一組試驗(yàn)數(shù)據(jù)出發(fā)，尋求函數(shù)的一個近似表達(dá)式y(tǒng)=(x)，要求近似表達(dá)式能夠反映數(shù)據(jù)的基本趨勢而又不一定過全部的點(diǎn)(xi,yi)，這就是曲線擬合問題，函數(shù)的近似表達(dá)式y(tǒng)=(x)稱為擬合曲線。本章介紹用最小二乘法求擬合曲線。,6.1 用最小二乘法求解矛盾方程組,一、矛盾方程組的定義,設(shè)線性方程組,或?qū)憺?其矩陣形式為,當(dāng)方程組的系數(shù)矩陣合增廣矩陣的秩不相等時，方程組無解，此時方程組稱為矛盾方程組。對于rankAn（A的秩為n）的矛盾方程組（Nn），我們尋求其最小二乘意義下的解。,二、用最小二乘法求解矛盾方程組,1.最小二乘原則,由于矛盾方程組的精確解不存在，我們轉(zhuǎn)而尋求其某種意義下，即最小二乘意義下的解。,令,稱 為偏差。,達(dá)到最小值，這一條件稱為最小二乘原則。,工程實(shí)際中的許多問題都可以歸結(jié)為矛盾方程組，實(shí)際中需要尋求矛盾方程組的一組解，以使得偏差的絕對值之和 盡可能地小。為了便于分析 計(jì)算和應(yīng)用，常采用使偏差的平方和,按照最小二乘原則來選擇未知數(shù)x1,x2,xn的一組取值的方法稱為求解矛盾方程組的最小二乘法。符合條件的一組取值稱為矛盾方程組的最小二乘解。,把Q看成是n個自變量x1,x2,xn的二次函數(shù)，記為Qf(x1,x2,xn)，因此，求矛盾方程組的最小二乘解就是求二次函數(shù)Qf(x1,x2,xn)的最小值點(diǎn)。,問題：二次函數(shù)Qf(x1,x2,xn)是否存在最小值？若最小值存在，如何求出該最小值點(diǎn)？,2.最小二乘解的存在唯一性,引理1：設(shè)n元實(shí)函數(shù)f(x1,x2,xn)在點(diǎn)P0(a1,a2,an)的某個鄰域內(nèi)連續(xù)，且有一階及二階連續(xù)的偏導(dǎo)數(shù)，如果,(1),(2)矩陣,是正（負(fù)）定矩陣，則f(a1,a2,an)是n元實(shí)函數(shù)f(x1,x2,xn)的極小（大）值。,引理2：設(shè)非齊次線性方程組 的系數(shù)矩陣A=(aij)Nn，若rankA=n，則,(1)矩陣ATA是對稱正定矩陣；,(2)n階線性方程組 有唯一的解。,證明：（1）矩陣ATA顯然是對稱矩陣。,設(shè)齊次線性方程組,因?yàn)閞ankA=n，故齊次方程組有唯一零解。因此，對于任意的 ，有 ，從而,故矩陣ATA是對稱正定矩陣。,(2)因?yàn)榫仃嘇TA是正定矩陣，故rank(ATA)=n，從而線性方程組 有唯一的解。,證畢,定理：設(shè)矛盾方程組的系數(shù)矩陣的秩為n，則二次函數(shù),一定存在最小值。,證明：因?yàn)镼是x1,x2,xn的二次函數(shù)，故Q不僅是連續(xù)函數(shù)，且有連續(xù)的一階及二階偏導(dǎo)數(shù)。,因?yàn)?引理2說明,在條件RankA=n下,無論線性方程組Ax=b是否有解,構(gòu)造的n階方程組ATAx=ATb一定有唯一解。,故,令,即,（*）,因?yàn)閞ankA=n，故由引理2知，上式有唯一解。設(shè)解為x1=a1, x2=a2, xn=an，記為點(diǎn)P0(a1,a2,an)，即二元函數(shù)Q存在點(diǎn)P0，使 。故滿足引理1的條件（1）。,因?yàn)?故,由引理2知，當(dāng)rankA=n時，矩陣M是對稱正定陣，M滿足引理1的條件（2），故由引理1知，二次函數(shù)Q存在極小值。 又因方程組（*）式有唯一解，故Q存在的極小值就是最小值，線性方程組（*）式的解就是最小值點(diǎn)。,證畢,Remark1：線性方程組（*）式稱為正則方程組。,Remark2：該定理說明，只要矛盾方程組的系數(shù)矩陣A的秩rankA=n，則 （1）矛盾方程組的最小二乘解存在； （2）正則方程組有唯一解，此解就是矛盾方程組的最小二乘解。,3.最小二乘法解矛盾方程組,計(jì)算步驟：,（1）判斷方程組的秩是否滿足rankA=n？,（2）寫出正則方程組；,（3）求解正則方程組，其解就是矛盾方程組的最小二乘解。,一、曲線擬合模型,確定曲線的類型：一般選取簡單的低次多項(xiàng)式。,6.2 多項(xiàng)式擬合,求一個次數(shù)不高于N1次的多項(xiàng)式：,（其中a0,a1,am待定），使其“最好”的擬合這組數(shù)據(jù)?！白詈谩钡臉?biāo)準(zhǔn)是：使得(x)在xi的偏差,的平方和,達(dá)到最小。,由于擬合曲線y=(x)不一定過點(diǎn)(xi,yi)，因此，把點(diǎn)(xi,yi)帶入y=(x) ，便得到以a0,a1,am為未知量的矛盾方程組,其矩陣形式為,其中,(x)在xi的偏差就是矛盾方程組各方程的偏差。曲線擬合的條件就是確定a0,a1,am，使得偏差的平方和Q達(dá)到最小值。,據(jù)此可知， a0,a1,am就是矛盾方程組的最小二乘解，也就是正則方程組 的解。,二、曲線擬合的最小二乘解法,正則方程組為：,三、解的存在唯一性,定理：設(shè)x1,x2,xN互異，且Nm+1，則上面的正則方程組有唯一的解。,證明：只需證明矛盾方程組的系數(shù)矩陣A的秩rankA=m1。,矛盾方程組的系數(shù)矩陣A是N(m+1)的矩陣，記A的前m1行構(gòu)成m1階子矩陣,該矩陣是范德蒙矩陣，由x1,x2,xN互異知行列式不為零，從而有rankA=m1。由引理2知，正則方程組有唯一解。,證畢,四、最小二乘法擬合曲線的步驟,1通過觀察、分析得到擬合曲線的數(shù)學(xué)模型，或根據(jù)經(jīng)驗(yàn)公式確定數(shù)學(xué)模型。,2.將擬合曲線的數(shù)學(xué)模型轉(zhuǎn)換為多項(xiàng)式。,3.寫出矛盾方程組。,4.寫出正則方程組。（可由多項(xiàng)式模型直接得到）,5.求解正則方程組，得到擬合曲線的待定系數(shù)。,6.將正則方程組的解帶回到數(shù)學(xué)模型中，得到擬合曲線。,Remark,1.同一問題可以有不同的擬合曲線，通常根據(jù)均方誤差 和最大偏差 的大小來衡量擬合曲線的優(yōu)劣。均方誤差和最大偏差較小的擬合曲線為較優(yōu)的擬合曲線。,2.在解決實(shí)際問題時，有時通過觀察選擇多個函數(shù)類型進(jìn)行計(jì)算、分析、比較，最終獲得較好的數(shù)學(xué)模型；有時把經(jīng)驗(yàn)公式作為數(shù)學(xué)模型，只是用最小二乘法來確定公式中的待定常數(shù)。,Remark,3.當(dāng)擬合曲線(x)中的待定常數(shù)是線性形式時，可直接根據(jù)矛盾方程組得到正則方程組而求解。當(dāng)待定常數(shù)不是線性形式時，則應(yīng)該先將待定常數(shù)線性化，再根據(jù)矛盾方程組寫出正則方程組而求解。,例1：,例2：,曲線擬合應(yīng)用實(shí)例:,例1: 試用最小二乘法求一個形如 (a,b為常數(shù)) 的經(jīng)驗(yàn)公式,使它與下列數(shù)據(jù)相擬合(取四位小數(shù)),解:由于經(jīng)驗(yàn)公式中待定常數(shù)a,b是非線性形式,故做如下變形:,令:,則有:,將x,u帶入得到關(guān)于A,B的矛盾方程組，進(jìn)而得正規(guī)方程組并求出A,B，由A,B得到a,b即可。 （具體計(jì)算數(shù)據(jù)見書P141頁例6.3）,則矛盾方程組為：,得正則方程組為：,解得：,則：,則擬合方程為：,