,歡迎進(jìn)入數(shù)學(xué)課堂,回歸分析,5.1概述回歸分析研究變量與變量之間關(guān)系的數(shù)學(xué)方法。變量之間的關(guān)系：5.1.1確定性關(guān)系函數(shù)關(guān)系，經(jīng)反復(fù)的精確試驗(yàn)或嚴(yán)格的數(shù)學(xué)推導(dǎo)得到。如S=vt。數(shù)學(xué)分析和物理學(xué)中的大多數(shù)公式屬于這種類型。,到方差分析,實(shí)際問題中，絕大多數(shù)情況下，變量之間的關(guān)系不那么簡單。如材料的抗拉強(qiáng)度與其硬度之間的關(guān)系；材料的性能與其化學(xué)成份之間等等。這些變量之間既存在著密切的關(guān)系，又不能由一個（或幾個）變量（自變量）的數(shù)值精確地求出另一個變量（因變量）的數(shù)值，而是要通過試驗(yàn)和調(diào)查研究，才能確定它們之間的關(guān)系，如圖5.1所示，雖然各組數(shù)據(jù)不是準(zhǔn)確地服從f(x)關(guān)系，但y值總還是隨x的增加而增加。我們稱這類變量之間的關(guān)系為相關(guān)關(guān)系。,5.1.2相關(guān)關(guān)系,雖然各組數(shù)據(jù)不是準(zhǔn)確地服從f(x)關(guān)系，但y值總還是隨x的增加而變化。,5.1概述,回歸分析的主要內(nèi)容：應(yīng)用數(shù)學(xué)的方法，對大量的測量數(shù)據(jù)進(jìn)行處理，從而得出比較符合事物內(nèi)部規(guī)律的數(shù)學(xué)表達(dá)式（數(shù)學(xué)模型）。,（5-1）,待定常數(shù),5.2最小二乘法原理假設(shè)x和y是具有某種相關(guān)關(guān)系的物理量，它們之間的關(guān)系可用下式給出：,5.2最小二乘法原理,同時測量x，y的數(shù)值，設(shè)有m對觀測結(jié)果：,利用觀測值，確定。設(shè)x，y關(guān)系的最佳形式為：,（5-2）,（5-3）,最佳估計值,如不存在測量誤差，則：,（5-4）,由于存在測量誤差，因而式（5-3）與（5-4）不相重合，即有：,（5-5）,殘差誤差的實(shí)測值,5.2最小二乘法原理,式（53）中的x變化時，y也隨之變化。如果m對觀測值中有比較多的y值落到曲線（51）上，則所得曲線就能較為滿意地反映被測物理量之間的關(guān)系，y值同時出現(xiàn)的概率最大，則曲線（53）就是曲線（51）的最佳形式。如圖5.1a所示。如果誤差服從正態(tài)分布，則概率P(e1,e2,em)為：,（57）,當(dāng)P最大時，求得的曲線就應(yīng)當(dāng)是最佳形式。從圖5-1a中可以看出，顯然，此時下式應(yīng)最?。?（56）,即殘差平方和最小，這就是最小二乘法原理的由來。,圖5.1a,5.2最小二乘法原理,這里假定xi無誤差。式（57）可以寫成：,（58）,S最小，就應(yīng)有：,（59）,即要求求解如下聯(lián)立方程組：,（510）,正規(guī)方程，最小二乘解。,5.3直線的回歸,5.3.1一元直線回歸分析對一元線性回歸而言，就是配直線的問題，下面通過例題加以分析說明。,例5.1研究腐蝕時間與腐蝕深度兩個變量之間的關(guān)系，可把腐蝕時間作為自變量x，把腐蝕深度作為因變量y，將試驗(yàn)數(shù)據(jù)記錄在表5-1中。求出x，y之間的線性關(guān)系。,解：將表5-1中的(x,y)數(shù)據(jù)，在直角坐標(biāo)系中對應(yīng)地做出一系列的點(diǎn)，可得圖5.2，這種圖稱之為散點(diǎn)圖。,與x的關(guān)系大致呈直線關(guān)系，但并不是確定性的關(guān)系，而是一種相關(guān)關(guān)系：,回歸系數(shù),（511）,最佳估計值應(yīng)使其殘差平方和最小，殘差為：,（512）,圖52、表51,表5-1試驗(yàn)數(shù)據(jù),.,5.3.1一元直線回歸分析,其平方和為：,（513）,平方和最小，即：,（514）,得正規(guī)方程組：,（515）,5.3.1一元直線回歸分析,令平均值為：,（516）,由511得：,（517）（518）,由式（515）得：,5.3.1一元直線回歸分析,（519）,式中,（520）,由式(5-18)和式(5-19)可以求得回歸直線方程式中的常數(shù)a及回歸系數(shù)b。,令,5-21,便可得到回歸系數(shù)的另一種表達(dá)式：,5-52,的乘積和；,上述回歸直線的具體計算，通常都是列表進(jìn)行的，本節(jié)的示例，具體計算見表5-2。,完成表5-2的計算，就可得到回歸直線方程：,5-23,1）先把數(shù)據(jù)在Excel中成列輸入到電子表格中；2）全部選擇所有數(shù)據(jù)；3）點(diǎn)擊圖表向?qū)Э旖莅粹o，按提示一步一步建立散點(diǎn)圖；,5.3.2利用微軟公司的電子表格（MicrosoftExcel）在計算機(jī)中進(jìn)行線性回歸的方法1,4）建立好散點(diǎn)圖后，用鼠標(biāo)點(diǎn)到圖上散點(diǎn)的位置，單擊鼠標(biāo)左鍵選中所有的散點(diǎn)，然后單擊鼠標(biāo)右鍵，出現(xiàn)一個對話框，點(diǎn)擊左鍵選擇添加趨勢線，出現(xiàn)另一個對話框，在對話框中選擇某些功能，回歸直線方程就會出現(xiàn)在圖上的某一位置。,2.3.2方差分析,由x預(yù)報，精確度如何？用方差分析解決這一問題。殘差可表示如下：,試驗(yàn)得到的數(shù)據(jù),回歸直線對應(yīng)的數(shù)據(jù),上式可改寫成：,（524）,移項(xiàng)得：,兩端平方求和得：,（525）,可以證明此項(xiàng)為零，故得：,上式中三項(xiàng)平方和的意義如下：,代表在試驗(yàn)范圍內(nèi)，觀測值yi總的波動情況，稱此為總平方和。,代表x變化所引起的y值變化大小的量，即yi波動中，可以通過回歸方程計算出來的那一部分，稱之為回歸平方和。,上述三個平方和之間的關(guān)系，可以用圖5.14表示出來。總平方和可以分解成兩部分，回歸平方和與殘差平方和。,是殘差平方和，表示了回歸方程的擬合誤差，即觀測值yi偏離回歸值的大小。這一部分不能通過回歸方程計算出來，它是yi波動中與x無關(guān)的部分。,由圖中可以看出，如果殘差平方和很小，則回歸平方和總平方和將接近于1。這時，所有的觀測點(diǎn)都靠近或落在回歸線上，這就表明回歸直線的精度較高。,殘差平方和是排除了x對y的線性影響后的剩余部分，y值隨機(jī)波動程度的大小，用它來估計誤差。產(chǎn)生原因：包括隨機(jī)誤差、那些影響很小但尚未考慮的因素。自由度：f總=f回+f殘f總=m-1f回=1f殘=f總f回=m-2,方差：殘差平方和除以它的自由度：,標(biāo)準(zhǔn)偏差估算值：,（529）,用S衡量隨機(jī)因素對y的影響?；貧w方程可作如下預(yù)報：,將例5.1一元直線回歸的方差分析可歸納在表5-3中。,回歸方程可改寫為：,5.3.4相關(guān)性檢驗(yàn)用一個數(shù)量性的指標(biāo)，來衡量兩個變量之間線性相關(guān)關(guān)系的密切程度相關(guān)系數(shù)r。,回歸平方和,總平方和,（5-32）,r,1時，說明標(biāo)準(zhǔn)誤差很?。ㄔ囼?yàn)點(diǎn)與回歸點(diǎn)幾乎吻合），回歸方程才有意義。通常0r1。,r取值不同時的散點(diǎn)分布情況示于圖5.15中，具體分析如下：,（1）r=0時。此時b=0，即按最小二乘法確定的回歸直線平行于x軸，這說明y的變化與x無關(guān)。故x與y之間沒有線性關(guān)系。通常，散點(diǎn)的分布是完全不規(guī)則的，如圖5.15（a）所示。（2）0r1。這時，x與y之間存在著一定的線性關(guān)系。當(dāng)r0時b0，散點(diǎn)分布有隨x增加y增加的趨勢，此時稱x與y是正相關(guān)，如圖5.15（b）所示。當(dāng)r0時b0，散點(diǎn)圖呈y隨x增加而減小的趨勢，此時稱x與y為負(fù)相關(guān)，如圖5.15（c）所示。當(dāng)r的絕對值比較大時，散點(diǎn)遠(yuǎn)離回歸直線較為分散；當(dāng)r的絕對值較大時，散點(diǎn)分布就靠近直線。（3）r=1。所有的點(diǎn)都在一條直線上，即散點(diǎn)都落在回歸直線上。此時，稱x與y完全性相關(guān)。實(shí)際上，此時x與y之間有確定性的線性關(guān)系。如圖5.15（d）所示。,圖5.15(a)x,圖5.15(b)x,圖5.15(c)x,圖5.15(d)x,圖5.15(e)x,從上述討論可以看出，相關(guān)系數(shù)r表示兩個隨機(jī)變量x與y之間線性相關(guān)的密切程度。r越大，愈接近于1，x與y之間的線性相關(guān)也就愈密切。但必須指出，相關(guān)系數(shù)r只表示線性相關(guān)的密切程度，當(dāng)r很小，甚至等于零時，并不一定說明x與y之間就不存在其它關(guān)系。如圖515(e)所示，雖然r=0，但從散點(diǎn)分布看，x與y之間存在著明顯的曲線關(guān)系，只不過這種關(guān)系不是線性關(guān)系罷了。相關(guān)系數(shù)的絕對值究竟多大才能認(rèn)為兩個變量是相關(guān)的呢？或回歸方程才有意義呢？F檢驗(yàn)：假設(shè)：H0：b=0，F(xiàn)為：,（534）,可見r檢驗(yàn)與F檢驗(yàn)的作用是一致的，只用一種即可。,可查表得出Fa=（1，m2），當(dāng)：FF0.01特別顯著；F0.01FF0.05時，顯著；F0.05FF0.10時，較顯著；FF0.10時，不顯著。,（1）先把數(shù)據(jù)在Excel中成列輸入到電子表格中；（2）點(diǎn)擊下拉菜單的“工具”按鈕，鼠標(biāo)箭頭移動到“數(shù)據(jù)分析”項(xiàng)下，點(diǎn)擊左鍵，出現(xiàn)數(shù)據(jù)分析對話框，在對話框中選擇“回歸”，點(diǎn)擊“確定”按鈕，出現(xiàn)回歸對話框，按對話框中的提示，選擇對話框中的某些功能，即可得出與直線回歸有關(guān)的很多參數(shù)。（3）利用計算出的參數(shù)，即可寫出回歸方程。,5.3.5利用Excel在計算機(jī)中進(jìn)行線性回歸的方法2,5.4曲線回歸,在實(shí)際問題中，變量之間常常不是直線關(guān)系。這時，通常是選配一條比較接近的曲線，通過變量變換把非線性方程加以線性化，然后對線性化的方程應(yīng)用最小乘法求解回歸方程。最小二乘法的一個前提條件是函數(shù)y=f（x）的具體形式為已知，即要求首先確定x與y之間內(nèi)在關(guān)系的函數(shù)類型。函數(shù)的形式可能是各種各樣的，具體形式的確定或假設(shè)，一般有下述兩個途徑：一是根據(jù)有關(guān)的物理知識，確定兩個變量之間的函數(shù)類型；二是把觀測數(shù)據(jù)劃在坐標(biāo)紙上，將散點(diǎn)圖與已知函數(shù)曲線對比，選取最接近散點(diǎn)分布的曲線公式進(jìn)行試算。常見的一些非線性函數(shù)及其線性化方法如下。,5.4.1曲線回歸,（1）雙曲線，型，見圖5.23。,（2）指數(shù)曲線，見圖5.24。,（3）指數(shù)曲線，見圖5.25。,（4）冪函數(shù)曲線，見圖5.26。,圖5.23(a)雙曲線,圖5.23(b)雙曲線,圖5.24(a)指數(shù)曲線,圖5.24(b)指數(shù)曲線,圖5.25(a)指數(shù)曲線,圖5.25(b)指數(shù)曲線,圖5.26(a)冪函數(shù)曲線,0<b<1,b=1,圖5.26(b)冪函數(shù)曲線,b<1,b=1,1<b0,c>0,圖5.29(b)對數(shù)拋物線,b<0,c<0,如上所述，許多曲線都可以通過變換化為直線，可以按直線擬合的辦法來處理。必須注意！所配曲線的回歸中，r、S、F等的計算稍有不同。u、v等僅僅是為了變量變換，使曲線方程變?yōu)橹本€方程，然而要求的是所配曲線與觀測數(shù)據(jù)擬合較好，所以計算r、S、F等時，應(yīng)首先根據(jù)已建立的回歸方程，用xi依次代入，得到y(tǒng)i后再計算殘差平方和及總平方和，于是：,（536）,（537）,（538）,下面舉例說明曲線回歸的一般計算方法。例5.2煉鋼廠出鋼用鋼包在使用過程中，由于鋼液及爐渣對耐火材料的浸蝕，其容積不斷增大。鋼包的容積（用盛滿鋼水的重量kg表示）與相應(yīng)的使用次數(shù)列于表5-4中。求：x、y之間的關(guān)系式：,表5-4試驗(yàn)數(shù)據(jù),解：首先按實(shí)測數(shù)據(jù)做散點(diǎn)圖，如圖5.30所示。由圖可見，最初容積增加很快，以后減慢并趨于穩(wěn)定。根據(jù)這個特點(diǎn)，選用雙曲線：,(539）,表示容積y與使用次數(shù)x的關(guān)系。,（5-40）,對新變量u、v而言，式（5-40）是一個直線方程，因而可用最小二乘法進(jìn)行擬合計算，求出回歸系數(shù)b和常數(shù)項(xiàng)a。計算步驟如下：（1）根據(jù)表5-4中的數(shù)據(jù)，計算出v、v2、u、u2、uv和回歸系數(shù)b及常數(shù)項(xiàng)a列于表5-5中。,(2)得出變換后的回歸直線方程式為：,變換回原始曲線方程為：,將原始數(shù)據(jù)帶入回歸方程式(5-42)中，計算標(biāo)準(zhǔn)偏差S和相關(guān)系數(shù)R，計算結(jié)果見表5-6所示。,由表5-6得出的參數(shù)可寫出最后的回歸曲線方程式為：,本例應(yīng)用最小二乘法，雖然使用雙曲線擬合，在計算過程中使殘差平方和達(dá)到了最小，但這并不足以說明，所配雙曲線是對表5-4中數(shù)據(jù)的最佳擬合曲線。因而在配曲線時，最好用不同的函數(shù)類型計算后再進(jìn)行比較，選取其中最優(yōu)者，即選取相關(guān)系數(shù)R為最大的曲線。此外，在曲線擬合時也可采用分段擬合的方法，即在不同的自變量區(qū)間內(nèi)配以不同的曲線來進(jìn)行擬合。下面我們采用計算機(jī)處理方法，用其它類型的函數(shù)進(jìn)行回歸擬合試一試，看會得出什么樣的結(jié)果？,利用Excel對x、y的數(shù)據(jù)作散點(diǎn)圖，直接作出回歸曲線。第一步:在Excel電子表格中，按列（行）輸入x與y的試驗(yàn)數(shù)據(jù)。第二步：對x與y的試驗(yàn)數(shù)據(jù)作出散點(diǎn)圖。第三步：在圖中選定散點(diǎn)的數(shù)據(jù)，做多項(xiàng)式的趨勢線，即得到相應(yīng)的回歸曲線。,5.4.2用Excel電子表格軟件進(jìn)行曲線回歸的方法,5.4.2.1方法1,5.4.2.2方法2,利用Excel對x、y的數(shù)據(jù)求出所有的回歸系數(shù)及方差分析數(shù)據(jù)。第一步:在Excel電子表格中，按列（行）輸入x與y的試驗(yàn)數(shù)據(jù)。第二步：對x數(shù)據(jù)進(jìn)行格式化復(fù)制x2x8。第三步：在表中選定所有xx8數(shù)據(jù)，選擇“工具”下拉菜單“數(shù)據(jù)分析”，按提示進(jìn)行操作，即可得出全部計算分析數(shù)據(jù)。,5.5多元回歸,5.5.1基本概念上面討論的是只有兩個變量的回歸問題，其中一個是自變量，另一個是因變量。但在大多數(shù)情況下，自變量不是一個而是多個，稱這類問題為多元回歸問題。多元回歸中最簡單且最基本的是多元線性回歸。如自變量xi(i=1,2,G)，進(jìn)行m次試驗(yàn)，所得的數(shù)據(jù)可以寫成兩個數(shù)組，即兩個矩陣：,顯然，多元線性統(tǒng)計模型是：,（5-45）,多元線性回歸分析原理，與一元線性回歸分析原理完全相同只是計算上復(fù)雜得多。但是用計算機(jī)來進(jìn)行計算工作量與一元線性回歸相比，復(fù)雜程度并不大。根據(jù)最小二乘法，應(yīng)使殘差：,試驗(yàn)值,回歸值,最小,下面我們通過例題來說明如何進(jìn)行多元線性回歸。,例5.3,某種水泥在凝固時放出的熱量y(J/g)與水泥中下列四種化學(xué)成分的含量有關(guān)：x13CaOSi2O3的含量，%x22CaOSiO2的含量，%x33CaOAl2O3的含量，%x44CaOAl2O3Fe2O3的含量，%原始試驗(yàn)數(shù)據(jù)如表5-7所示：,求解步驟如下：,用Excel電子表格,點(diǎn)擊下拉菜單“工具”欄,點(diǎn)擊“數(shù)據(jù)分析”項(xiàng),選擇“回歸”項(xiàng),按回歸對話框中的提示，進(jìn)行選擇操作，即可得出全部的回歸系數(shù)、相關(guān)系數(shù)、標(biāo)準(zhǔn)偏差等數(shù)據(jù)。,根據(jù)計算出的回歸系數(shù)寫出回歸方程。,完,5.5.3多元曲線回歸,多元線性回歸還可以擴(kuò)展到更為普遍的情況。假定有：,（5-54）,式中，是x的已知函數(shù)，不含有未知參數(shù)c，則顯然對待定參數(shù)c而言，該式仍為線性函數(shù)。,如下面函數(shù)式的格式就是此類函數(shù)的一例：,(5-55),一般，常用的統(tǒng)計數(shù)學(xué)模型為G1階多項(xiàng)式：,（5-56）,任何函數(shù)至少在一個比較小的范圍內(nèi)可以用多項(xiàng)式任意逼近。因此，在比較復(fù)雜的實(shí)際問題中，往往不管y與各因素的關(guān)系如何，而采用多項(xiàng)式進(jìn)行回歸?？梢?，多項(xiàng)式回歸在回歸問題中占有特殊的地位。,方法步驟如下：,將數(shù)據(jù)成列輸入到Excel電子表格中,根據(jù)x列的數(shù)據(jù)分別計算x2、lnx、1/x、(lnx)2。按順序排列于x列的右則。,點(diǎn)擊下拉菜單的“工具”項(xiàng)，點(diǎn)擊“數(shù)據(jù)分析”。,在數(shù)據(jù)分析對話框中，選取“回歸”項(xiàng)，點(diǎn)擊確定，出現(xiàn)回歸對話框。,按對話框中的提示進(jìn)行操作，即可得出多項(xiàng)式回歸曲線中各項(xiàng)中的系數(shù)。然后按x,x2、lnx、1/x、(lnx)2的對應(yīng)關(guān)系代入方程中即得出回歸曲線的多項(xiàng)式方程。,同學(xué)們,來學(xué)校和回家的路上要注意安全,同學(xué)們,來學(xué)校和回家的路上要注意安全,