1第六章 函數(shù)的最優(yōu)逼近與擬合§1 線性賦范空間中的逼近問題1.1 函數(shù)逼近與函數(shù)空間逼近的思想和方法滲透于幾乎所有的學(xué)科，其中包括自然科學(xué)和人文科學(xué)中的學(xué)科。逼近論既是一門研究函數(shù)的各類逼近性質(zhì)的學(xué)科，屬于函數(shù)論的范疇，同時(shí)又是計(jì)算數(shù)學(xué)和科學(xué)工程計(jì)算諸多數(shù)值方法的理論基礎(chǔ)和方法的依據(jù)。本章討論科學(xué)計(jì)算中基于逼近論的一些函數(shù)逼近方法。函數(shù)逼近方法與函數(shù)插值方法相類似，它也是在某一函數(shù)類中求函數(shù)，使它與被逼近函數(shù)之間滿足一定的近似條件。在插值方法中，這個(gè)近似條件是在插值結(jié)點(diǎn)上使插值函數(shù)與被插值函數(shù)的函數(shù)值對應(yīng)相等（包括各階導(dǎo)數(shù)值對應(yīng)相等） ；在逼近方法中，這個(gè)近似條件用逼近函數(shù)與被逼近函數(shù)之間的某種距離來表達(dá)。數(shù)學(xué)上常在各種集合中引入某些確定關(guān)系，稱為賦予集合以某種空間結(jié)構(gòu)，并將這樣的集合稱為空間。例如，在線性代數(shù)中將所有實(shí) n 維向量組成的集合，按向量加法及向量與數(shù)的乘法構(gòu)成實(shí)數(shù)域上的線性空間，記作 ，稱為 n 維向量空間。類似地，對次數(shù)不超過 n（n 為正整數(shù)）的實(shí)R系數(shù)多項(xiàng)式全體，按通常多項(xiàng)式加法及數(shù)與函數(shù)乘法構(gòu)成數(shù)域 R 上的線性空間，用 表示，稱為多項(xiàng)式空間，又如所有定義在區(qū)間上的連續(xù)函數(shù)集nP合，按函數(shù)加法和數(shù)與函數(shù)乘法構(gòu)成 R 上的線性空間，記作 ，稱為,baC連續(xù)函數(shù)空間。定義 1.1 設(shè)集合 S 是數(shù)域 P 上的線性空間， 如果存在Sxn,12不全為零的數(shù) 使得Pan,1（1.1）02nxax則稱 是線性相關(guān)的；若（1.1）式只對 成立，nx,1 021na則稱是線性無關(guān)的。如果 S 包含一個(gè)由 n 個(gè)元素組成的極大線性無關(guān)組，則稱 S 是 n 維的，如果對任意自然數(shù) N， S 中存在 N 個(gè)線性無關(guān)的元素，則稱 S 是無窮維的。顯然 是無窮維的，但對于 和 0， 可以,baC(),fxCab)(xf用有限維空間 中的元素 逼近，使誤差 ，這就nP)(xp)(mpf是著名的 Weierstrass 逼近定理。定理 1.1 設(shè) ，則 0， ，使得,)(baf)(xnP)(xpfn在 上一致成立。,ba此定理可在數(shù)學(xué)分析書中找到證明。1912 年 Bernstein 構(gòu)造了一個(gè)多項(xiàng)式（1.2）knknkn xfxfB)1()();(0并證明 在 上一致成立，若 在 上 mlimn,)(xf1,0階可導(dǎo)，則還有 。這也就從理論上給出定理 1.1)();()xfmn的構(gòu)造性證明。 稱為 f 的 n 次 Bernstein 多項(xiàng)式。但由于xfB收斂于 很慢，因此實(shí)際計(jì)算的近似值時(shí)，很少用這種方法。);(xfn)(3連續(xù)函數(shù) 還可用其他函數(shù)集合逼近。一般地，可用一組在)(xf上線性無關(guān)的函數(shù)集合 的線性組合來逼近 ，,baCniix0)(,)(baCxf即用 01()span(), ,Cab（1.3）)(xn逼近 。于是函數(shù)逼近問題就是對 ，在線性子空間)(f ,fx中找某一元素 ,使 在某種意義下最小。換句話說，)()(f也就是找一組系數(shù) ，使（1.3）式中的 成為 在10na )(x)(f中的最佳逼近元。1.2 賦范線性空間中的最佳逼近既然是在線性子空間 中尋找某一函數(shù)的逼近，必須引入一個(gè)度量的概念來衡量逼近的好壞，即衡量誤差 的大小。這對于不僅要|()|fxp計(jì)算函數(shù)在個(gè)別點(diǎn)上的值，而且要考慮函數(shù)在區(qū)間上的整體性質(zhì)時(shí)，特別有意義。定義 1.2 設(shè) 為線性空間，如果對每一向量 ，都有一實(shí)數(shù)與x之對應(yīng)，把這一實(shí)數(shù)記為 ，并且這一對應(yīng)具有下列性質(zhì)|x1） ，等號成立當(dāng)且僅當(dāng) ， （ 的零向量）正性|0x02） ，正齊性|*|3） .三角不等式| |yy則稱 為 x 的范數(shù)，一個(gè)線性空間，如果其中定義了滿足上述三條公理的范數(shù)，我們稱之為賦范線性空間，記為X； .注：范數(shù)的概念是很廣泛的，只要滿足上述 3 條，都可作為范數(shù)。以4前我們引入的向量和矩陣的范數(shù)都是相應(yīng)空間的范數(shù)。同一線性空間可以賦予不同的范數(shù)。定義 1.3 設(shè) 為賦范線性空間，其范數(shù)為 ，若序列 ，K0nK，使f0limfn則稱序列 依范數(shù) 收斂于 f，記作 . 0n|linfA現(xiàn)在運(yùn)用賦范線性空間的概念來講解函數(shù)的逼近問題。逼近論的兩個(gè)基本問題1º 給定賦范線性空間 ，以及 的一個(gè)真子空間 。對于 如KfK果在 中存在這樣的元素 使得對所有的 有*SS*ff成立，則 稱為 f 在范數(shù) 意義下在 中的最佳逼近元。立即就會出現(xiàn)*S|這樣的問題：（1）最佳逼近元是否存在？是否唯一？（2）當(dāng)最佳逼近元唯一存在時(shí)，如何構(gòu)造最佳逼近元。2º 設(shè)有 的一系列子空間 ，若對每一K12nK 個(gè)子空間 ，問題 1º 中的最佳逼近元 存在，是否有 ，以及j*jS*limnSf收斂的速度。我將對于不同的范數(shù)定義，逐一研究這些問題。§2 最佳一致逼近給出線性空間 ，取其范數(shù)和子空間為,baC5， （2.1）)(maxffb1,nspxnP根據(jù)定理 1.1，問題 2º 的回答是肯定的?？紤]問題 1º對 中任一元素 f 的最佳逼近問題稱為最佳一致逼近（通常又稱為,baCChebyshev 意義下的逼近） 。定理 2.1 如果 f 在 上連續(xù)，則在集合 中存在一個(gè)元素，是 f,ba的最佳一致逼近元。證略。§4 最佳平方逼近大家已經(jīng)學(xué)過三維歐氏空間，知道在歐氏空間里一個(gè)向量的長度，兩個(gè)向量的夾角，向量到子空間的投影等是什么意思，在這一節(jié)里，我們要把函數(shù)逼近問題與歐氏空間聯(lián)系起來，研究歐氏范數(shù)下的最佳逼近。4.1 線性內(nèi)積空間定義 4.1 設(shè) 為實(shí)線性空間，如果對每一對向量 ，都有一yx,實(shí)數(shù)與之對應(yīng)，把這一實(shí)數(shù)記為 ，并且這一對應(yīng)具有下列性質(zhì)),(yx1） ，),(,xy2） ，3） ，),(,),(zz64） ，等號成立當(dāng)且僅當(dāng) ， （ 的零向量） 。(,)0x0x則稱 為 x 和 y 的內(nèi)積，一個(gè)線性空間，如果其中定義了滿足上述四條公理的內(nèi)積，我們稱之為內(nèi)積空間。例 4.1 設(shè) ，對 ，定義內(nèi)積,baC(),fxgCab，易驗(yàn)證它滿足公理 1)-4） 。dxgffba)(),(例 4.2 令 （n 維實(shí)向量空間） ，對其中向量R，Tn),(21 Tnyy),(21定義內(nèi)積 nxxyx21),易知它滿足公理 1)-4） 。令 ，可以證明 滿足第二章中關(guān)于范數(shù)的公理，即),()N)(N是一種范數(shù)，稱為由內(nèi)積導(dǎo)出的范數(shù)，通常記作 ，在不發(fā)生混淆(x 2x的情況下也可簡記為 。x定義 4.2 設(shè) 為內(nèi)積空間， ，若 ，則稱 x 與 y 正yx,0),(y交，記作 4.2 線性內(nèi)積空間的最佳逼近設(shè) ， ， 是線性內(nèi)積空間 的 n+1 個(gè)線性無關(guān)的元素，子01n集 ，在 中尋求對的 某一元素 f 的最佳逼近 ，,spa*S即對 有S*fSf7定理 4.1 是集合 中對 f 的最佳逼近元素，其充要條niiCS0*件是 與所有 正交。f* ),1(j證明 先證充分性，設(shè) S 是 中任一元素，考慮 fSf*由于 與所有 正交，從而 也與 正交，因此fS*j*),(),( *2 fSffSf 22*S*f從而 就是最佳逼近元素，充分性得證。*S再證必要性，假設(shè) 是 中元素， 與 ， 中某一元素1SfS10n不正交，記k，則kk且 0),(1kSf記 kS12易知 ，現(xiàn)估計(jì) 的范數(shù)2Sf),(),( 1122 kksfff (, 21 SSf28從而推得2Sf21f即 不是最佳逼近元，必要性得證。1S推論 最佳逼近元素如果存在，必定是唯一的。事實(shí)上，如果在子集 中有兩元素都是 f 的最佳逼近，則由定理 4.1必有，j=0，1 ， ， n),(),(21jjSfSf于是 和 都與 正交，于是有21=0 212212121 ),()(),( SfSfSS這就表示 。下面，我們證明最佳逼近元素是存在的并將其構(gòu)造出來，由定理 4.1最佳逼近元 ，必須滿足：jnjCS0， k=0，1 ， ， n （4.1）0,njkjf式（4.1）即， k=0，1 ， ， n （4.2）),(,0kkjnj fC從而由下列方程組所決定9（4.3） ),(),(),(),( , )()()()(100 11101 00nnn nfCCf 方程組（4.3）通常稱為法方程組?，F(xiàn)在我們研究方程組的系數(shù)行列式（4.4）0010110101(,)(,)(,)(,)(,)(,)(,)nn nG 稱為關(guān)于 的 Gram 行列式。),(10n n定理 4.2 子集 的元素 ， ， 線性相關(guān)的充要條件是它們1f2nf的 Gram 行列式 等于零。),(1nfG證明 先證必要性。由于 ， 線性相關(guān)，因此有一組不全為零1fnf的數(shù) ， ， ， ，使得12n 021kff上式分別對 ， 作內(nèi)積有1fkf0),(),(),( , )()()(21 22 1211 kkk kkfff fff 這是關(guān)于 ， 的齊次線性方程組，由于 ， ， 不全為1 12k零，故推出其系數(shù)行列式必為零，從而100),(21kffG再證充分性，假設(shè) ,研究下列方程組 0),(),(),( , )()()(21 22 1211 kkk kkfff fff 容易明白它必有非零解，設(shè)為 。令k kfff21易知 ，另一方面，對上式分別用 作內(nèi)積可得f,1， ，0),(1f),(2f0)(fk從而有 ),(,(21fffk由于 不全為零，故 線性相關(guān)。定理的充分性得證。k,21 ,1現(xiàn)在我們回到方程組（4.3）的討論，由于 是 的線性無n,10 關(guān)元素，故 ),(10nG從而（4.3）的解存在且唯一。也就是說，最佳逼近元素是存在的并可由（4.3）構(gòu)造出來。下面再給出誤差估計(jì)式，記 為最佳逼近誤差，*Sf則有11),(22 SffSf),(*ff),(),S（4.5）),(),(*1*0* fCffCf n至此，關(guān)于內(nèi)積空間的最佳逼近元素的特征，存在唯一性，構(gòu)造及誤差估計(jì)已全部論述清楚了。同一列 在不同的 K 中，其 收斂性可能不同ns例：1,02()2,0,1nxnsxn220,1() 03nLsd而 ,Cx4.3 函數(shù)的最佳平方逼近設(shè)a,b為有限或無限的區(qū)間，定義在它上面的函數(shù) ，如果具有下)(x12列性質(zhì)：1） ,0)(xba2） 0, dc,0cdc3）積分 存在， n=0，1，。xban)(則稱其為a,b上的權(quán)函數(shù)。對于在a,b上給定的函數(shù)，引入內(nèi)積 dxgfxgfba)()(),(22這里 為權(quán)函數(shù)，總假設(shè)積分)(x（4.6）dxfba)(2是存在的。我們研究滿足（4.6）存在的函數(shù)全體組成的內(nèi)積空間，并選子集 。在子集 上尋找一函數(shù),10nsp為中某一函數(shù) f(x)的最佳逼近，是指對于)()(*0*xCxSjnj，都有（4.7）dSfba2*)()( dxSfba2)()(（4.7）式的意義就是誤差 的平方在積分意義下達(dá)到極njjxCxf0*小，因此對于這種逼近就稱為函數(shù)的最佳平方逼近，或稱為最小二乘逼近，由于它是一個(gè)特殊的線性內(nèi)積空間，因此最佳逼近的存在性，唯一性，解13的構(gòu)造，誤差估計(jì)等等已由 4.2 節(jié)全部回答了。我們在這里指出， （4.7）也可從另外的觀點(diǎn)來得解，我們知道， 上任一函數(shù)可寫成 ，而積分njjxC0)(dxCfnjjba 20)()(是關(guān)于 的二次多元函數(shù)，記n,10（4.8）dxxfCI njjban 2010 )()(),( 在子集尋找對 f 的最佳平方逼近函數(shù)，就是尋找函數(shù) 的極),10nCI小值。其必要條件是， k=0，1 ， ， nkCI從而有 0()()()()nb bkii ka aixxfdx寫成內(nèi)積符號就是，k=0，1 ， ， n0(,)(,)nkjkjCf上式恰巧就是（4.3）式。當(dāng)然，從函數(shù)極小值的討論去構(gòu)造最佳逼近函數(shù)，其存在性，唯一性等都要建立一套理論來回答這些問題，但是由于我們已建立了一套最佳逼近理論，所以在解決具體問題時(shí)運(yùn)用求極小值的辦法，常常會帶來演算的方便。),(10nCI14例 4.3 在空間 給定元素 ，子集 由 1， x 的線性1,4Cxf)(組合構(gòu)成（線性多項(xiàng)式空間） ，試求 在 中的最佳平方逼近（取） 。1)(x解 由于 ， 故0x1，143(,)dt 3215),(),(01041td62,14dt另外又有 1407(,)2ft143,80ftd設(shè)最佳逼近元為 ，據(jù)（4.3）列出法方程式01axy80316423570a解得 135,270即線性函數(shù) 8xy15為 在子集 中的最佳平方逼近函數(shù)。xy從例 4.3 可以看出，平方逼近算法簡單。例 4.4 取 ，1)(x，k= 0，1 ， ， n， ，在 中求 的 n 次kkx)(1,0)(CxfnPf最佳平方逼近多項(xiàng)式 nxaaS10)(此時(shí) ， j,k=0， 1， ， n10(,)kjjkxdj則法方程組（4.3）的系數(shù)矩陣為（4.9）1213211),1( nnnxGn 這是一個(gè) Hilbert 矩陣，前面我們已經(jīng)知道當(dāng) n 較大時(shí)，系數(shù)矩陣（4.9）是高度病態(tài)的，求解時(shí)舍入誤差很大，這是很不利于計(jì)算的，為避免這種情況，需要引入正交基的概念。4.4 正交基如果 是兩兩互相正交的（ 稱為 的一組正n,10 n,10 交基） ，法方程組的系數(shù)矩陣為對角陣， （4.3）成為16 ),(),(,),( )(),( 11 010 nnfCfC從而直接可得，i =0，1 ， ， n （4.10）(,)iifC這樣就不存在方程組病態(tài)的問題了。如果假設(shè) 的范數(shù)均為 1 （ 稱為 的一組標(biāo)n,10 n,10 準(zhǔn)正交基） ，那么進(jìn)一步有，i =0，1 ， ， n （4.11）(,)iCf在這種情況下， 1(,)niiSf而（4.5）式的誤差估計(jì)式有（4.12）220|niiffC上式左端恒正，故又有 Bessel 不等式（4.13）20|niif如果對所有的 i， 都存在， 稱為 f 的廣義 Fourier 展開，i0iiC稱為廣義 Fourier 系數(shù)。iC17下面用正交化過程來證明正交基的存在性。定理 4.3 任何 n 維空間都存在正交基證明 按照 n 維空間的定義，存在一組基 ，由這組基，通過nf,1正交化過程，可以構(gòu)造出兩兩正交的基 。ne,1令 ，在 所在“平面”上找，也就是找具有下列形式的1fe1,f12fe選擇數(shù) ，使 ，即使0),(12 0),(12f由此得 ),/(,12ef設(shè)兩兩正交而異于零的向量 已經(jīng)構(gòu)造出來，向量 要求1ke ke具有形式 121efekkkk 選擇系數(shù) 使 與向量 正交，即滿足11, 1,e 0)(1fkk ,21 0),(11kkeef由于 兩兩正交，故上述等式簡化為：1,ke，),(),(11fkk，022ee 18。0),(),(11kkeef由此得 ,/,11fkk)(222e ),/(),(111kkf最后我們利用 線性無關(guān)的條件來證明 ，注意到nf,2 0ke是 和 的線性組合， 又可表示為 和 的線性kef1,ke 1ke1f12,組合，依此類推最后可將 表示為k 11kkff的系數(shù)為 1，而 線性無關(guān)，所以 ，證畢kf kf, 0e以上的正交化方法通常稱為 Schmidt 正交化過程。§5 正交多項(xiàng)式若首項(xiàng)系數(shù) 的 n 次多項(xiàng)式 ，滿足0na)(xgn（j,k=0，1，） kjAdxgxkkjba 0)()(則稱多項(xiàng)式序列 在a,b上帶權(quán) 正交，并稱 是,10 )(x)(xgna,b上帶權(quán) 的 n 次正交多項(xiàng)式。)(x一般來說，當(dāng)權(quán) 及區(qū)間a,b給定后，從序列 就可用,124.4 節(jié)所述的 Schmidt 正交化過程構(gòu)造出正交多項(xiàng)式。用上述方法只能19一個(gè)接一個(gè)地構(gòu)造出正交多項(xiàng)式，在使用上有所不便，利用多項(xiàng)式的某些性質(zhì)，我們可以得到一些更直接，更方便的方法來構(gòu)造正交多項(xiàng)式，較重要的有下列幾類：5.1 勒讓德（Legendre）多項(xiàng)式當(dāng)區(qū)間為-1,1，權(quán)函數(shù) 時(shí)，由 正交化所得的多1)(x,2x項(xiàng)式就作為 Legendre 多項(xiàng)式并用 表示，這一類 )()(,0Pn正交多項(xiàng)式有如下的簡單表達(dá)式，n=0 ，1， （5.1）)(!21)(,)( 20 nnxdxP由于 是 2n 次多項(xiàng)式，求 n 階導(dǎo)數(shù)后得x12 01)()1(!)( axann于是得到首項(xiàng) 的系數(shù) ，顯然最高系數(shù)為 1 的 Legendre 多nx2)!(an項(xiàng)式為（5.2）)1()!2(2nnnxdxPLegendre 多項(xiàng)式有下述幾個(gè)重要性質(zhì)性質(zhì) 1 正交性（5.3） nmdxPmn120)(120證明 令 ，則 （k=0 ，1， ，n-1） 。nx)1()20)(k設(shè) 是在區(qū)間-1,1上有 n 階連續(xù)可微的函數(shù)，由分部積分知)(xQdxQdPnn)(!2)(11xn)(!211dn)(1)(下面分兩種情況討論（1）若 是次數(shù)小于 n 的多項(xiàng)式，則 ，故得)(xQ0)(xQn，當(dāng)0)(1dxPmm（2）若 ,)!(2!2)( nnn xx，)(xQnn于是 12212 )()!() dxdxPnnn 122(nn由于 ，故 102102 )34cos)(dxdxn 12)(12nPn于是（5.3）得證。21性質(zhì) 2 奇偶性（5.4）)(1)(xPxnn由于 是偶次多項(xiàng)式，經(jīng)過偶次求導(dǎo)仍為偶次多項(xiàng)式，)(2經(jīng)過奇次求導(dǎo)則為奇次多項(xiàng)式，故 n 為偶數(shù)時(shí)為偶函數(shù)， n 為奇數(shù)時(shí)為奇函數(shù)，于是（5.4）式成立。性質(zhì) 3 遞推關(guān)系 考慮 n+1 次多項(xiàng)式它可表示為 )()()()( 110 xPaxaPxn兩邊乘以 ，并從-1 到 1 積分，得Pk ddkkn12)()(當(dāng) 時(shí)， 次數(shù)小于等于 n-1，上式左端積分為 0，故得2nx，當(dāng) k=n 時(shí) 為奇函數(shù)，左端積分仍為 0。故 ，于是0ka)(2Pn na)()(11xPaxnn其中 1242)(2111 ndxnan1133()() 3nnP從而得到以下的遞推公式（n=1，2 ， ） 1 n1()(2)(x)nnxxP （5.5）22由 ， ，利用（5.5）式就可推出1)(0xPx)(， ，2/)1322/)35()3xxP，8/05()44，765x，16/)24P性質(zhì) 4 在所有最高次項(xiàng)系數(shù)為 1 的 n 次多項(xiàng)式中，Legendre 多項(xiàng)式在-1,1上與零的平方誤差最小。)(xPn設(shè) 是任意一個(gè)最高次項(xiàng)系數(shù)為 1 的 n 次多項(xiàng)式，它可表示為Q)()(0xPaxkknn于是 dxQnn)(),(21,0nkkn PaP當(dāng)且僅當(dāng) 時(shí)等號才成立，即當(dāng) 時(shí)平110a )(xn方誤差最小。性質(zhì) 5 在區(qū)間（-1，1）內(nèi)有 n 個(gè)不同的實(shí)零點(diǎn)。)(xPn前幾個(gè) Legendre 多項(xiàng)式的圖形如下：235.2 切比雪夫（Chebyshev）多項(xiàng)式（3.1）)arcos()(xnxTn如此定義的 是 x 的多項(xiàng)式嗎？試看 n=0 和 n=1 的情形：1)(0xT)cosar1注意到如下的三角恒等式： cos2)1()( nn令 ，則有xarcos， n=1，2， （3.2）)(2)(11xTTnn不難看出 確實(shí)是 n 次多項(xiàng)式且與 n 的奇偶性相同，即 隨)(xTnn 為奇數(shù)或偶數(shù)而成為 上的奇函數(shù)或偶函數(shù)。,24顯然 的最高次項(xiàng) 的系數(shù)為 ，即)(xTnnx12n（3.3）)(21的 低 次 多 項(xiàng) 式稱為 n 次 Chebyshev 多項(xiàng)式。)(n前 9 個(gè) Chebyshev 多項(xiàng)式如下表表 3-1 1321602518)( 76483)(1842)(14877 243552330 xxxTxxTxT顯然（3.4）1)(max1n并且在點(diǎn)列cos 0,kkn1= =10x1x上， 以正負(fù)交錯(cuò)的符號取到它的絕對值的最大值 1。)(xTn25（3.6）kknxT)1(根據(jù)定理 2.2，首項(xiàng) 系數(shù)為 1 的多項(xiàng)式n)(2)(1xn為所有 系數(shù)為 1 的 n 次多項(xiàng)式類中唯一的，在-1,1上與零偏差最小的nx多項(xiàng)式。的 n 個(gè)零點(diǎn)全位于（1，1）內(nèi)，且都是單重的，它們是：。)(T， （3.7）2coskx1,kn從幾何上看，如果將以原點(diǎn)為圓心，以 1 為半徑的上半圓周分成 2n 等分，再把圓周上所有奇分點(diǎn)位往 x 軸上投影，則恰好得到點(diǎn)列（3.7） 。此外，實(shí)際計(jì)算中時(shí)常要求 用 ， ， 的線性組合表示，n0T1n其公式為 2021)(nkknxx這里規(guī)定 ，n=18 的結(jié)果見表 3-2。20T表 3-226)82563(12874)6150(26)43(81)(2164053742352043200 TTxxTxTx它還是一類重要的正交多項(xiàng)式。Chebyshev 多項(xiàng)式有很多重要性質(zhì)：性質(zhì) 1 正交性Chebyshev 多項(xiàng)式 在區(qū)間-1,1上帶權(quán) 正交，)(xTn 2()1/xx且（5.7） .0,;2,1)(2nmdxmn事實(shí)上，令 ，則 ，于是cosxsin271200,;()cos02,.nm nmTxdnd 性質(zhì) 2 遞推關(guān)系，n=1，2，)()(2)(1xTxTnn，0這只要由三角恒等式cos()coscos()1n令 即得。x性質(zhì) 3 只含 x 的偶次冪， 只含 x 的奇次冪，這性質(zhì))(2Tk )(12Tk由遞推關(guān)系直接得到。性質(zhì) 4 在區(qū)間（-1,1）上有 n 個(gè)零點(diǎn) ，)(n nkk21cosk=1，2， ， n。前幾個(gè) Tchebyshev 多項(xiàng)式的圖形如下：285.3 無窮區(qū)間上的正交多項(xiàng)式正交多項(xiàng)式的正交區(qū)間a,b也可以是無界區(qū)域，當(dāng)然此時(shí)權(quán)函數(shù)必須保證 ，n=1，2， 。()x()bnaxd1拉蓋爾（Laguerre）多項(xiàng)式 在區(qū)間 上帶權(quán) 的正交多項(xiàng)),0xe式稱為 Laguerre 多項(xiàng)式，其表達(dá)式為 ()()nxxndLe它也具有正交性質(zhì) 20 0,()(!)xnmnedx 和遞推關(guān)系，1)(0L)(29，n =1，2，。)()(21() 12xLxnxLn 2埃爾米特（Hermite）多項(xiàng)式 在區(qū)間 上帶權(quán) 的正),2xe交多項(xiàng)式稱為 Hermite 多項(xiàng)式，其表達(dá)式為 )()1(22xnxnedH它滿足正交關(guān)系 nmxennmx ,!20)(20 并有遞推關(guān)系， ，1)(0H)(n=1，2，。2)(1 xnxn 5.4 一般正交多項(xiàng)式的幾個(gè)重要性質(zhì)性質(zhì) 1 在 空間中， 首一的 n 次正交多項(xiàng)式 在所有2,Lab ()npx最高次項(xiàng)系數(shù)為 1 的 n 次多項(xiàng)式中與零的偏差最小。設(shè) 是任意一個(gè)最高次項(xiàng)系數(shù)為 1 的 n 次多項(xiàng)式，它可表示為)(xQn0()()nnkpxapx于是120(,)(),(),(nnnkkxxp（ 勾 股 定 理 ）30當(dāng)且僅當(dāng) 時(shí)等號才成立，即當(dāng)0110naa時(shí)平方誤差最小。)(xPQnn推論 在所有最高次項(xiàng)系數(shù)為 1 的 n 次多項(xiàng)式中，Legendre 多項(xiàng)式在-1,1上與零的平方誤差最小。)(n性質(zhì) 2. 首一的 Chebyshev 多項(xiàng)式 在所有最高次項(xiàng)系數(shù)為 1()nTx的 n 次多項(xiàng)式中在-1,1上與零的一致偏差最小。定理 5.1 是a,b 上帶權(quán) 的 n 次正交多項(xiàng)式的充分必要條()npx)(x件是： 是 n 次多項(xiàng)式并且()k=0,1,n-1()0bknad證明是容易的，從略。定理 5.2 設(shè) 是 a,b上帶權(quán) 的 n 次正交多項(xiàng)式，則()npx)(x的零點(diǎn)全位于(a,b) 內(nèi)，并且都是單重的。npx證明：設(shè) ，如果，不妨設(shè) ，令1()nkkxx1xa，據(jù)定理 5.1，2()nkqxn-P()()0bnaxpqdx但是上式中的被積函數(shù)為 ，積分21,a.e(,)b應(yīng)當(dāng)大于 0，矛盾。同理可證所有的零點(diǎn)不可能大于 b，出現(xiàn)一對共軛復(fù)數(shù)或?yàn)槎氐摹?1§6 離散情況的最佳平方逼近在§4 論述了內(nèi)積空間的最佳逼近理論。現(xiàn)在我們討論離散情況的最佳平方逼近。對于 n 維歐氏空間中任二向量，nxX21nyY21其內(nèi)積定義為，iiTY1),(相應(yīng)的范數(shù)為.2(,)Xx給定歐氏空間的一個(gè)子集 ，其中 為線性無關(guān)1lspaniX組。子集 對某一向量 Y 的最佳逼近，是指在 中尋找一向量 使它對的任意向量 X 都滿足不等式.YX如果 ，也即子集 是一個(gè) n 維歐氏空間，那么由線性代數(shù)的知識，nl恒有唯一的一組常數(shù) 使c,21 ,1niiXY此時(shí) ，因此 就是 Y 的最佳平方逼近，下面我們討論0XYl n 的情況。32由§4 定理 4.1， 與所有 正交，即XYlX,21， k=1，2 ， ， l0),(k記， ，iliXc112iinix那么有 ).,(,1kkili Yc從而 由下列方程組所決定：ic,21（6.1） ),(),(),(),( , )()()()(21 22212 11lllll lXYccXccc 其中 nkjijTiji x1,),(1, .njiikYXy（6.1）可寫成33，,),( 2121 YXcXTjllTjTjj j=1，2，l.容易看出，上式又可寫成 .),(),(),( 2122121 YXcXXTlllTl 引入 階矩陣ln（6.2 ）12121212(,)llnnlxxAX 于是上式可寫成（6.3）.YACTT其中 為 l 階方陣， 分別為 l， n 維向量，AT,， .lc21nyY21容易看出， （6.3）式的系數(shù)矩陣 是對稱的。由于 為線AT lX,21性無關(guān)組，我們可進(jìn)一步推出矩陣 是正定的。事實(shí)上，對于 l 維歐氏34空間的任一向量 g，考慮 的二次型有：AT,0),(),(g其中等號僅當(dāng) 時(shí)才成立：即有 ，或即0T.0),(1221 TiliTll Xgg由 是線性無關(guān)組推得 ，即 。從而，當(dāng) 時(shí)lX,21 0i 0g有0，),(gAT也就是說矩陣 是正定矩陣。由于矩陣 是正定的，所以可建立求解AT T（6.3）的特殊方法，例如平方根法，喬列斯基（Cholesky）法。若 兩兩正交，則矩陣成 為對角形，即),21(liXT,2221lT XxA從而（6.3）的解變?yōu)椋?，i=1,l nknkiiTii xyXYC1212/§7 數(shù)據(jù)擬合的最小二乘法357.1 問題的引入在工程實(shí)踐和科學(xué)實(shí)驗(yàn)中，量與量之間的關(guān)系表現(xiàn)為：1）確定性關(guān)系：如電學(xué)中著名的歐姆定律就是確定性的關(guān)系。用 V 表示電壓， R 表示電阻， I 表示電流，歐姆定律指出 .RIV有的確定性關(guān)系是由微分方程或積分方程來描述的。例如，阻尼振動(dòng)中，位移 x 與時(shí)間的確定性關(guān)系由微分方程 022xdttx所決定，其中 為固有頻率， 為阻尼系數(shù)。02）非確定性關(guān)系：由于因素的復(fù)雜性或其它原因，變量之間找不到完全確定的關(guān)系。例如紗的回潮率與原棉含水量之間；鋼水含碳量與冶煉時(shí)間；魚的活動(dòng)與海水溫度；臺風(fēng)登陸路徑與沿海各地的風(fēng)向、氣溫、濕度之間等等，這些量之間，既存在密切關(guān)系，又不能由一個(gè)（或幾個(gè)）變量的數(shù)值精確地求出另一個(gè)變量的值。但是通過人的實(shí)踐，通過儀器，我們獲得了大量的實(shí)驗(yàn)數(shù)據(jù)，這些大量的偶然現(xiàn)象，始終是服從內(nèi)部隱藏著的規(guī)律的?，F(xiàn)在我們又回到數(shù)值逼近范圍內(nèi)來談這個(gè)問題，為了敘述方便，先討論兩個(gè)變量 x， y 的情況。也就是說，通過觀測變量 x， y 積累了一組資料，i=1，2 ， ， n， 一般地說 n 都比較大。我們的任務(wù)是從積累得),(i到的實(shí)驗(yàn)數(shù)據(jù) ，i=1 ， 2， ， n， 尋求一近似函數(shù) 去逼近),(i )(y。 由于觀測數(shù)據(jù)都帶有觀測誤差，數(shù)組 數(shù)目又較大，對于這類問),(iyx題運(yùn)用插值函數(shù)去描述 y 往往是不適當(dāng)?shù)?。我們以下面的例子來說明建36立近似函數(shù) 的一種辦法，即最小二乘法。)(x+例 7.1 合成纖維抽絲工段，第一導(dǎo)絲盤的速度對絲的質(zhì)量是很重要的參數(shù)，現(xiàn)發(fā)現(xiàn)它和電流周波有重要關(guān)系，由生產(chǎn)記錄得到的數(shù)據(jù)如下表：周波x49.2 50.0 49.3 49.0 49.0 49.5 49.8 49.9 50.2 50.2第一導(dǎo)絲盤速度（ y）16.7 17.0 16.8 16.6 16.7 16.8 16.9 17.0 17.0 17.1表 4今要研究 y 與 x 的關(guān)系，通常的步驟如下：1）先用一坐標(biāo)紙，將 描于圖上（圖 8） 。),(iy圖 7.12）憑視覺約略知道 在一條直線的兩側(cè)附近，于是猜想 y 與 x),(iyx37近似地成直線關(guān)系，bxay上面直線關(guān)系式稱為數(shù)學(xué)模型。在第 i 次觀測數(shù)據(jù)中， 與實(shí)測值 有誤iyi差，i= 1，2 ， ， n，)(iii xy將它們平方后加起來得到總誤差： ).,()(2121 baIiiniini 我們當(dāng)然希望，數(shù)學(xué)模型（主觀猜想）應(yīng)盡量接近客觀實(shí)際，即總誤差越小越好，也就是選取 a,b 使 I(a,b)最小。問題又回到了內(nèi)積空間21ini的最佳逼近。定義向量 Y、 X、 E 分別為， ，ny21nx21.n 維歐氏空間的一個(gè)子集 SpanX， E對 Y 的最佳平方逼近就是選取 a,b使向量 ba的范數(shù)達(dá)到極小，即 )()(2 XEYYT（7.2）.min,21 baIxyiini（7.2）與（7.1）的提法完全一致。從問題的來源看，確定使誤差平38方和達(dá)到最小的方法稱為最小二乘法，高斯對于天文觀測數(shù)據(jù)的處理就運(yùn)用了這個(gè)方法。依照我們建立的理論，a,b 由下列方程組所決定：niniiiii yaxbx112.,解之有 ,1212niniiiiii xyyxa.1212niniiiixyyb運(yùn)用表 4 的數(shù)據(jù)求得a=0.04， b=0.339,即 .3904.xy必須指出，這里所說的歐氏空間最佳逼近，并不是說 是 ybxay的最佳數(shù)學(xué)模型。因此就存在著另一個(gè)問題，上述數(shù)學(xué)模型是否符合客觀實(shí)際呢？也就是說，如何檢查數(shù)學(xué)模型的質(zhì)量呢？當(dāng)然，最根本的辦法是拿到生產(chǎn)中去考驗(yàn)，但當(dāng)觀測數(shù)據(jù)積累多了以后，就能夠建立一套數(shù)學(xué)理論去檢驗(yàn)數(shù)學(xué)模型的準(zhǔn)確性，偶然的現(xiàn)象，隱藏著必然的規(guī)律，概率統(tǒng)39計(jì)的課程里將介紹這個(gè)問題。例 7.2某航空售票點(diǎn)（PVG-IAD）機(jī)票銷售加價(jià)和預(yù)期銷售量之間的關(guān)系加價(jià)額度x（元）銷售量P（張/周） 加價(jià)額度x（元）銷售量P（張/周）50 58 225 5475 53 250 52100 59 275 50125 55 300 47150 62 325 35175 62 350 27200 55對 P 和 x 的關(guān)系用三次多項(xiàng)式進(jìn)行擬合，用最小二乘法可解得 32()0.2680.790.43765.813xxx40最小二乘法模型中的非線性函數(shù)例 7.3 已知 及擬合這批數(shù)據(jù)的非線性數(shù)學(xué)模(,)0,1)ixyN型 （a,b 為待定參數(shù)）)byae1如何將非線性模型線性化？2寫出線性化模型中待定系數(shù)的法方程。3設(shè)數(shù)據(jù) (,)0,1)ixyN 如下：i0 1 2 3i2.010 1.210 0.7400 0.4500iy2.0027 1.2169 0.7395 0.449341求出擬合上述數(shù)據(jù)的非線性擬合函數(shù)。1、設(shè) 則模型成為ylnbxayln)(2、設(shè) BbAa法方程式為xniiiniii yxBx1123、 49815.068071.214697.3190.682131001BABA最后擬合的非線性函數(shù) .95().0xyxe=1.0226e-0042> c,renorm= lsqnonlin(fun1117,x0)Local minimum found.0 1 2 3y2.010 1.210 0.7400 0.45000.6981 0.1906 -0.3011 -0.798542c=2.0076 -0.5008renorm = 6.7226e-005例 7.4 出鋼時(shí)所用盛鋼水的鋼包，由于鋼水對耐火材料的浸蝕，容積不斷增大，我們希望找出使用次數(shù)與增大的容積之間的關(guān)系。試驗(yàn)數(shù)據(jù)如下表：使用次數(shù)增大容積使用次數(shù)增大容積使用次數(shù)增大容積ixiyixiyixiy2 6.42 7 10.00 12 10.603 8.20 8 9.93 13 10.804 9.58 9 9.99 14 10.605 9.50 10 10.49 15 10.906 9.70 11 10.59 16 10.76解 將數(shù)據(jù)標(biāo)在坐標(biāo)紙上（參見圖 7.2） ，我們看到，開始時(shí)浸蝕速度快，然后逐漸減弱，顯然鋼包容積不會無窮增加，于是可以想象它有一條平行于 x 軸的漸近線，根據(jù)這些特點(diǎn)我們選取數(shù)據(jù)擬合的曲線為雙曲線。43圖 7.2假設(shè)選擇的數(shù)學(xué)模型為：,xbay1令 ,1,xy于是上式變?yōu)?bay解得結(jié)果如下：a=0.0823, b=0.1312.從而 ,132.08.1xy即 .13208.1xy44若將曲線擬合的雙曲線模型改成指數(shù)形式 ,xbaey將上式兩邊取對數(shù) .lnx,l,1,l bay則有 .xy求得 .107,458.2ba從而 .,69.1ea最后求得 .78.107xey怎樣比較數(shù)學(xué)模型的好壞呢？雙曲線模型的誤差為 ,132.08.)1( xy指數(shù)形式模式模型的誤差為 .679.107)2( xey針對建立的模型比較實(shí)測值與擬合值的誤差如下表：45實(shí)測值 擬合值 擬合值 誤差 誤差 實(shí)測值擬合值 擬合值 誤差 誤差iy雙曲模型指數(shù)模型(1)i(2)iiy雙曲模型指數(shù)模型(1)i(2)i6.42 6.761 6.702 -0.341 -0.282 10.49 10.479 10.451 0.011 0.0398.20 7.934 8.065 0.266 0.135 10.59 10.612 10.557 -0.022 0.0339.58 8.687 8.847 0.893 0.733 10.60 10.725 10.646 -0.125 -0.0469.50 9.212 9.353 0.288 0.147 10.80 10.823 10.723 -0.023 0.0779.70 9.599 9.705 0.101 -0.005 10.60 10.908 10.788 -0.308 -0.18810.00 9.896 9.965 0.104 -0.035 10.90 10.983 10.845 -0.083 0.0559.93 10.131 10.165 -0.201 -0.235 10.76 11.049 10.896 -0.289 -0.1369.99 10.322 10.322 -0.332 -0.333 ,19.)28.0()26.0()341.()(12 nii .4)36.()5.()8.()( 22212 nii由于 較小，所以我們選擇指數(shù)模型作為鋼包使用次數(shù)與增大容(2)1nii積之間的近似關(guān)系。選擇合適的曲線模型是一件不容易做到的事情，主要靠人們對問題所屬的專業(yè)知識的了解來定，如專業(yè)上也不清楚時(shí)，可用坐標(biāo)紙描出點(diǎn)來從數(shù)學(xué)上加以選擇。46§9 問題與探索：最小二乘法模型中的非線性函數(shù)和約束條件最小二乘問題中所包含的條件方程一般可能是非線性的?？墒?，通常是用線性函數(shù)進(jìn)行最小二乘處理，因?yàn)閷で蠓蔷€性方程的最小二乘解是相當(dāng)困難的，所以，每當(dāng)模型中的方程原來是非線性時(shí)，必須采用某種線性化方法獲得線性方程。為此目的，常常應(yīng)用級數(shù)展開式，特別是泰勒級數(shù)，只利用級數(shù)展開式的零階和一階項(xiàng)，省去其他高階項(xiàng)。當(dāng)應(yīng)用某一級數(shù)展開式時(shí)，對方程中的未知數(shù)必須選取一組近似值。這些近似值的選擇是解算問題的一個(gè)重要方面?？上У氖?，還沒有一個(gè)選取近似值的具體而唯一的途徑能用于所有最小二乘問題。有時(shí)依靠經(jīng)驗(yàn)，另一些時(shí)候可以采用某些近似計(jì)算。在各種情況下，都應(yīng)力圖利用比較簡單的方法得到接近的近似值。為了說明怎樣進(jìn)行線性化，令（8.1）0)(xf表示任一非線性方程組，包括 m 個(gè)方程，其中 x 是未知變量的向量。如用表示變量的近似值向量，級數(shù)展開式的零階和一階項(xiàng)將為0x（8.2）0)(00xFf為函數(shù)對于變量向量中各元素的一組偏導(dǎo)數(shù)，是一個(gè) 維的矩陣pm（Jacobi 矩陣） 。向量是代替未知數(shù)向量 x 的近似值的改正數(shù)向量。利用級數(shù)展開的結(jié)果，是把非線性方程變成為線性方程組，其一般形式是：（8.3）uxJ此處 )(0xFu47最小二乘法求解后，所得到的解是向量 ，如果原始近似值向量x充分接近，使得方程（8.2）足以代替方程（8.1） ，即級數(shù)的二階和高0x階項(xiàng)事實(shí)上是可省略的，則最后的最小二乘估值為 。可是，)(0x往往不是這樣接近的近似值， 與 x 相加只能得到一個(gè)改進(jìn)的近似值。0現(xiàn)在必須用更新的近似值向量再列出方程式（8.3）或（8.2） ，并應(yīng)用最小二乘求定更新的向量 ，它的各元素一般比第一次的小。這種用更新的近x似值向量重新線性化的過程繼續(xù)進(jìn)行，直到 的最后值小到可以不計(jì)時(shí)，x終止迭代。最后估值 將是原始近似值和全部改正數(shù)向量 之和（或者是 x最后更新的近似值向量加上最后改正數(shù)向量） 。在許多實(shí)際問題中，理論函數(shù) 個(gè)各個(gè)參變量12(;,)nfxb可能不完全獨(dú)立，它們的數(shù)值常受到某些物理或數(shù)學(xué)條件的約12,nb束。例如，在曲線擬合中，為使擬合函數(shù)或它的導(dǎo)數(shù)在某些點(diǎn)上有指定的數(shù)值，或?yàn)楸ＷC分段擬合曲線在連接點(diǎn)處連續(xù)與光滑，就出現(xiàn)等式約束條件；不等式約束條件產(chǎn)生于要求約束產(chǎn)生于要求擬合曲線具有正性、單調(diào)性與凸性等情況。同樣，在物理、統(tǒng)計(jì)、數(shù)學(xué)規(guī)劃、控制論與經(jīng)濟(jì)等領(lǐng)域中，經(jīng)常也會碰到約束條件的最小二乘問題。因此，討論這類問題的計(jì)算方法具有重要的應(yīng)用價(jià)值。此處不擬討論約束最小二乘問題的詳細(xì)解法，有興趣的讀者可參閱有關(guān)的教材或?qū)Ｖ７蔷€性或帶約束條件的最小二乘問題的解可以用 Matlab 的工具箱函數(shù)來求得。值得注意的是非線性問題的迭代有可能陷入局部最優(yōu)解，因此無論用什么方法解此類問題，一個(gè)盡可能接近最優(yōu)解的初值的選取是非常重要的。如果對于最優(yōu)解的范圍有較多的了解或限制，則利用約束條件：4801Aby可以得到符合實(shí)際要求的解。