第一題 判斷題（10分，每小題1 分）1 邏輯斯蒂回歸模型可以用來做分類，但是SVM不能用來做回歸。（ ）2 訓(xùn)練數(shù)據(jù)較少時(shí)更容易發(fā)生過擬合。（ ）3 如果回歸函數(shù)A比B簡(jiǎn)單，則A一定會(huì)比B在測(cè)試集上表現(xiàn)更好。（ ）4 在核回歸中，最影響回歸的過擬合性和欠擬合之間平衡的參數(shù)為核函數(shù)的寬度。（ ）5 在AdaBoost算法中，所有被錯(cuò)分的樣本的權(quán)重更新比例相同。（ ）6 Boosting的一個(gè)優(yōu)點(diǎn)是不會(huì)過擬合。（ ）7 梯度下降有時(shí)會(huì)陷于局部極小值，但EM 算法不會(huì)。（ ）8 SVM對(duì)噪聲（如來自其他分布的噪聲樣本）魯棒。（ ）9 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化在一定條件下與極大似然估計(jì)是等價(jià)的。（ ）10 在回歸分析中，最佳子集選擇可以做特征選擇；Lasso模型也可以實(shí)現(xiàn)特征選擇。（ ）第二題 統(tǒng)計(jì)學(xué)習(xí)方法的三要素（10分）1. (5分)是一個(gè)函數(shù)空間，是上一個(gè)概率測(cè)度，是的一個(gè)子集（采樣），請(qǐng)問：1 (2分)隨著N增大而增大嗎？為什么？2 (3分)隨著H增大而增大嗎？為什么？2. (5分) 比較感知機(jī)、邏輯斯蒂回歸模型、AdaBoost和SVM的損失函數(shù)。第三題 產(chǎn)生式模型和判別式模型 （10分）1 （5分）解釋產(chǎn)生式模型和判別式模型，并分析二者的不同點(diǎn)； 2 列出三種判別式模型（3分）和兩種產(chǎn)生式模型（2分）第四題 EM and Naive Bayes （15分）1 （5分）概述EM算法的用途及其主要思想； 2 （10分）EM算法可以用到樸素貝葉斯法的非監(jiān)督學(xué)習(xí)，寫出其算法。第五題 HMM （10分）考慮盒子和球模型=(A,B,)，狀態(tài)集合Q=1,2,3，觀測(cè)集合V=紅,白，=(0.2,0.4,0.4)T設(shè)T=3，O=(紅、白、紅)，試用前向算法計(jì)算P(O|).第六題 SVM（15分）考慮利用線性支持向量機(jī)對(duì)如下兩類可分?jǐn)?shù)據(jù)進(jìn)行分類：+1：(1,1), (2,2), (2,0)-1：(0,0), (1,0), (0,1)1 （4分）在圖中做出這6個(gè)訓(xùn)練點(diǎn)，構(gòu)造具有最優(yōu)超平面和最優(yōu)間隔的權(quán)重向量；2 （3分）哪些是支撐向量？3 （8分）通過尋找拉格朗日乘子來構(gòu)造在對(duì)偶空間的解，并將它與1中的結(jié)果比較。第七題 Logistic 回歸模型（15分）如圖1(a)所示，數(shù)據(jù)采用簡(jiǎn)化的線性logistic回歸模型進(jìn)行兩類分類，即，為了簡(jiǎn)化，不采用偏差w0,訓(xùn)練數(shù)據(jù)可以被完全分開（訓(xùn)練誤差為0，如圖1(b)所示的L1）。1 （8分）考慮一個(gè)正則化的方法，即最大化,注意只有w2被懲罰。則當(dāng)C 很大時(shí)，如圖1(b)所示的4 個(gè)決策邊界中，哪條線可能是由該正則方法得到的？L2、L3 和L4 可以通過正則w2得到嗎？簡(jiǎn)要說明理由。2 （7分）如果我們將正則項(xiàng)給出L1 范式，即最大化,則隨著 C 增大，下面哪種情形可能出現(xiàn)（單選） ？注：簡(jiǎn)要說明理由 (A) w1將變成0，然后w2 也將變成0。 (B)w2將變成0，然后w1也將變成0。 (C) w1和w2將同時(shí)變成0。 (D)兩個(gè)權(quán)重都不會(huì)變成0，只是隨著C的增大而減小為0。第八題 AdaBoost （15分）考慮如下圖2所示的訓(xùn)練樣本，其中X和O分別表示正樣本和負(fù)樣本。采用AdaBoost算法對(duì)上述樣本進(jìn)行分類。在Boosting的每次迭代中，選擇加權(quán)錯(cuò)誤率最小的弱分類器。假設(shè)采用的弱分類器為平行兩個(gè)坐標(biāo)軸的線性分類器。1 （4分）在圖2中標(biāo)出第一次迭代選擇的弱分類器（L1），并給出決策面的+和-面。 2 （4分）在圖2中用圓圈標(biāo)出在第一次迭代后權(quán)重最大的樣本，其權(quán)重是多少？ 3 （4分）第一次迭代后權(quán)重最大的樣本在經(jīng)過第二次迭代后權(quán)重變?yōu)槎嗌伲?4 （3分）強(qiáng)分類器為弱分類器的加權(quán)組合。則在這些點(diǎn)中，存在被經(jīng)過第二次迭代后的強(qiáng)分類器錯(cuò)分的樣本嗎？給出簡(jiǎn)短理由。