,第四節(jié) 向量到子空間的距離 最小二乘法,在歐氏空間中可以引入向量間的距離概念。 定義 8 長度|稱為向量和的距離，記為d(, ).,不難證明距離的三條基本性質(zhì)： （1） d(, ) = d(, )； （2） d(, ) 0 當(dāng)且僅當(dāng) = 時(shí)等號(hào)成立。 （3） d(, ) d(, ) + d(, ),在中學(xué)幾何中學(xué)過一個(gè)點(diǎn)到一個(gè)平面（或一條直線）上所有點(diǎn)的距離以垂線為最短，下面可以證明一個(gè)固定向量和一個(gè)子空間中各向量間的距離也以“垂線最短”。,先設(shè)一個(gè)子空間W, 它是由向量 1, 2, , k所生成，即W=L(1, 2, , k). 說一個(gè)向量垂直于子空間W，就是指向量垂直于 W 中任意一個(gè)向量?，F(xiàn)給定，設(shè)是 W中的向量，滿足 垂直于 W，則對W中任意向量，有 | | |,證明, = （ ）+ （ ）,因 W 是子空間， W ， W ，則 W ，故 垂直于 。,W,由勾股定理 | |2+ | |2= | |2 故 | | |,這個(gè)幾何事實(shí)可以用來解決一些實(shí)際問題。 其中的一個(gè)應(yīng)用就是解決最小二乘法問題。,最小二乘法問題：線性方程組,可能無解，即任何一組數(shù)x1, x2, , xs都能使,不等于0。我們設(shè)法找 x10, x20, , xs0使（2）最小，稱為方程組（1）的最小二乘解。這種問題就叫最小二乘問題。,（1）,（2）,令,（3）,用距離的概念，（2）就是 | yB|2。,由（3）,把A的各列向量分別記為 1, 2, , s，由它們生成的子空間為L(1, 2, , s )，y 就是其中的向量。,于是，找 x 使（2）最小，就是在L(1, 2, , s )中找到一個(gè)向量 y, 使得 B 到它的距離比到該子空間中其他向量的距離都短。,設(shè),是所求向量，則,必須垂直于子空間L(1, 2, , s )，從而有,即,而,剛好排成矩陣AT，于是有,或,這就是最小二乘解所滿足的代數(shù)方程，它是一個(gè)線性方程組。,例1 設(shè)有一組實(shí)驗(yàn)數(shù)據(jù): (1, 2), (2, 3), (3, 5), (4, 7)。從數(shù)據(jù)點(diǎn)的趨勢看接近直線，實(shí)驗(yàn)者希望使直線y = a + bx 最好的擬合數(shù)據(jù)點(diǎn)，求最佳擬合直線。,解 把數(shù)據(jù)代入y = a + bx 得,記作,其最小二乘解為,其中,則最佳擬合直線為y = 1.7x 。,從而,