《廈門大學機器學習考試題.doc》由會員分享，可在線閱讀，更多相關《廈門大學機器學習考試題.doc（3頁珍藏版）》請在裝配圖網上搜索。

第一題 判斷題（10分，每小題1 分） [1] 邏輯斯蒂回歸模型可以用來做分類，但是SVM不能用來做回歸。（ ） [2] 訓練數據較少時更容易發(fā)生過擬合。（ ） [3] 如果回歸函數A比B簡單，則A一定會比B在測試集上表現更好。（ ） [4] 在核回歸中，最影響回歸的過擬合性和欠擬合之間平衡的參數為核函數的寬度。（ ） [5] 在AdaBoost算法中，所有被錯分的樣本的權重更新比例相同。（ ） [6] Boosting的一個優(yōu)點是不會過擬合。（ ） [7] 梯度下降有時會陷于局部極小值，但EM 算法不會。（ ） [8] SVM對噪聲（如來自其他分布的噪聲樣本）魯棒。（ ） [9] 經驗風險最小化在一定條件下與極大似然估計是等價的。（ ） [10] 在回歸分析中，最佳子集選擇可以做特征選擇；Lasso模型也可以實現特征選擇。（ ） 第二題 統(tǒng)計學習方法的三要素（10分） 1. (5分)是一個函數空間，是上一個概率測度，是的一個子集（采樣），，， 請問： [1] (2分)隨著N增大而增大嗎？為什么？ [2] (3分)隨著H增大而增大嗎？為什么？ 2. (5分) 比較感知機、邏輯斯蒂回歸模型、AdaBoost和SVM的損失函數。 第三題 產生式模型和判別式模型 （10分） [1] （5分）解釋產生式模型和判別式模型，并分析二者的不同點； [2] 列出三種判別式模型（3分）和兩種產生式模型（2分） 第四題 EM and Naive Bayes （15分） [1] （5分）概述EM算法的用途及其主要思想； [2] （10分）EM算法可以用到樸素貝葉斯法的非監(jiān)督學習，寫出其算法。 第五題 HMM （10分） 考慮盒子和球模型λ=(A,B,π)，狀態(tài)集合Q=1,2,3，觀測集合V=紅,白， ，，π=(0.2,0.4,0.4)T 設T=3，O=(紅、白、紅)，試用前向算法計算P(O|λ). 第六題 SVM（15分） 考慮利用線性支持向量機對如下兩類可分數據進行分類： +1：(1,1), (2,2), (2,0) -1：(0,0), (1,0), (0,1) [1] （4分）在圖中做出這6個訓練點，構造具有最優(yōu)超平面和最優(yōu)間隔的權重向量； [2] （3分）哪些是支撐向量？ [3] （8分）通過尋找拉格朗日乘子來構造在對偶空間的解，并將它與[1]中的結果比較。 第七題 Logistic 回歸模型（15分） 如圖1(a)所示，數據采用簡化的線性logistic回歸模型進行兩類分類，即， 為了簡化，不采用偏差w0,訓練數據可以被完全分開（訓練誤差為0，如圖1(b)所示的L1）。 [1] （8分）考慮一個正則化的方法，即最大化,注意只有w2被懲罰。則當C 很大時，如圖1(b)所示的4 個決策邊界中，哪條線可能是由該正則方法得到的？L2、L3 和L4 可以通過正則w2得到嗎？簡要說明理由。 [2] （7分）如果我們將正則項給出L1 范式，即最大化,則隨著 C 增大，下面哪種情形可能出現（單選） ？注：簡要說明理由 (A) w1將變成0，然后w2 也將變成0。 (B)w2將變成0，然后w1也將變成0。 (C) w1和w2將同時變成0。 (D)兩個權重都不會變成0，只是隨著C的增大而減小為0。 第八題 AdaBoost （15分） 考慮如下圖2所示的訓練樣本，其中’X’和’O’分別表示正樣本和負樣本。采用AdaBoost算法對上述樣本進行分類。在Boosting的每次迭代中，選擇加權錯誤率最小的弱分類器。假設采用的弱分類器為平行兩個坐標軸的線性分類器。 [1] （4分）在圖2中標出第一次迭代選擇的弱分類器（L1），并給出決策面的‘+’和‘-’面。 [2] （4分）在圖2中用圓圈標出在第一次迭代后權重最大的樣本，其權重是多少？ [3] （4分）第一次迭代后權重最大的樣本在經過第二次迭代后權重變?yōu)槎嗌伲? [4] （3分）強分類器為弱分類器的加權組合。則在這些點中，存在被經過第二次迭代后的強分類器錯分的樣本嗎？給出簡短理由。