《培訓(xùn)項目評估世界銀行學(xué)院》由會員分享,可在線閱讀,更多相關(guān)《培訓(xùn)項目評估世界銀行學(xué)院(17頁珍藏版)》請在裝配圖網(wǎng)上搜索。
1、Hong Tan 高級經(jīng)濟(jì)學(xué)家 世界銀行學(xué)院人力發(fā)展局 對培訓(xùn)項目進(jìn)行評估: 一個全球適用的初級評估實例 背景 全球?qū)︶槍κI(yè)和勞動力生產(chǎn)力低下開展的培訓(xùn)活 動興趣很大,卻受到培訓(xùn)成本高昂的阻礙。 鑒此,決策層對評估和了解以下問題感興趣: 培訓(xùn)項目有作用嗎?培訓(xùn)對象是誰? 培訓(xùn)能提高成效嗎? 這些問題 無法 從以下方面得到回答: 績效研究和機(jī)制評估研究 受訓(xùn)者滿意度主觀評估 需要對比組的純效應(yīng)評估研究 純效應(yīng)評估 回答這些問題的唯一方法是 : 把培訓(xùn)項目的受訓(xùn)者(對象組)的結(jié)果與未接受 培訓(xùn)的類似人群(對比組)進(jìn)行比較 。 實例 : 80% 的受訓(xùn)者獲得了就業(yè)。但是只有 60%的能 夠自行找到
2、工作,其余的 20%差異是培訓(xùn)純效應(yīng) 的估計值,為評價投資的公共收益提供了基礎(chǔ)。 所面對的挑戰(zhàn)是反事實的 建立起一個由類似 個體組成的未參加培訓(xùn)項目的對比人群。 目標(biāo) 了解主管部委(由誰來評估)和決策者(由誰 決定資源分配)關(guān)于影響力評估的核心概念和 方法 為培訓(xùn)和其他勞動力市場項目提供一個介紹評 估純影響力的設(shè)計和數(shù)據(jù)收集的入門手冊 著重強(qiáng)調(diào)一些可能的對項目影響力進(jìn)行評估時 易犯的錯誤,并通過修正錯誤來修正培訓(xùn)項目 的設(shè)計,改進(jìn)評估的既定目標(biāo) 講課大綱 1. 影響力評估方法 實驗設(shè)計和準(zhǔn)實驗設(shè)計 2. 設(shè)計原則 3. 估計培訓(xùn)的影響力 整體影響力、分組分析、相互作用 4. 培訓(xùn)項目評估實例
3、評估設(shè)計、評估發(fā)現(xiàn)和教訓(xùn) 評估方法 實驗設(shè)計 培訓(xùn)前評估對象和對比組的隨機(jī)分組 分組程序要確保對象組和對比組具有類似特點 準(zhǔn)實驗設(shè)計 培訓(xùn)后從培訓(xùn)人群中選出對象組,從非培訓(xùn)人 群中選出對比組 應(yīng)用統(tǒng)計技巧確保具有類似特點 實驗設(shè)計 優(yōu)點 解釋評估結(jié)果簡便易行 培訓(xùn)產(chǎn)生的純影響力既是對象組和對比組平均結(jié)果之 間的差異 缺點 受訓(xùn)者中的“精華” , 分組中的倫理問題及“霍桑效應(yīng) ” 醞釀時間長達(dá) 2-3年 需要有優(yōu)良的數(shù)據(jù)收集為基礎(chǔ) 準(zhǔn)實驗設(shè)計 優(yōu)點 通??稍谝荒陜?nèi)完成 降低成本和簡便數(shù)據(jù)收集過程要求評估建立在 現(xiàn)存行政記錄的基礎(chǔ)之上 缺點 要求在統(tǒng)計方法方面擁有實力,建立一個類似 的對比組并對項
4、目影響力進(jìn)行評估 某些挑戰(zhàn) (見下 ) 對比組方面的問題 準(zhǔn)實驗設(shè)計 培訓(xùn)前后的對比 把受訓(xùn)者自身作為對比組 對觀察對象的還原 使用 OLS評估影響力,排除觀察對象特點方面的差 異 對評估的影響 選擇性還原 使用 Heckman修正法排除主觀對未觀察到的特點的 偏見對影響力評估造成的影響 傾向得分配合 使用蓋然性得分法改進(jìn)對比組與對象組的配合 設(shè)計原則 某些原則同時適用兩種方法 統(tǒng)一資格標(biāo)準(zhǔn) 足夠的抽樣規(guī)模 抽樣法和數(shù)據(jù)收集 標(biāo)準(zhǔn)處理 合理的成本和時間框架 穩(wěn)定的評估環(huán)境 與其他項目的相互作用 評估影響力 1) E(Yp) E(Yc) T-檢驗對象組 “p”的結(jié)果 Y (例如收入、就業(yè) )是否
5、有 別于 對比組 “ c”的結(jié)果 Y 2). Yi = a0 + a1Pi + ui 多層還原等同于 (1), P 是 1,0表明該個體 “i”是受訓(xùn)者 ,并檢測項目影響力 a1是否有意義 其他評估問題 1). Yi = a0 + a1Pi + a2Xi + ui 采用還原法調(diào)整特點 X上的差異并評估純影響力 2). Yi = a0 + a1P1i + a2P2 + ui 分析培訓(xùn)項目的次組成因素 P1和 P2, 例如培訓(xùn)時間 長短、公共培訓(xùn)和私營培訓(xùn) 3). Yi = a0 + a1Pi + a2P.ES + a3ES + ui 檢測培訓(xùn)和其他就業(yè)服務(wù)之間的相互作用效應(yīng) ES 未觀察項問題
6、對未觀察特點的主觀偏見影響培訓(xùn)決策和培 訓(xùn)結(jié)果 1) Heckman選擇性程序 修正未觀察特點后對影響力進(jìn)行評估 2) 差異之差別程度程序 排除未觀察特點的影響,使用培訓(xùn)前后對象 組和對比組的數(shù)據(jù)對影響力進(jìn)行評估 實例 1 美國職業(yè)培訓(xùn)與合作伙伴關(guān)系法 (JTPA) 使用隨機(jī)分組實驗設(shè)計對職業(yè)培訓(xùn)與合作伙伴關(guān)系法進(jìn) 行多年期評估 結(jié)果 以成年人為對象的培訓(xùn)取得了成功 提高收入 7-11 %, 每 1美圓的投資收益為 1.5美圓 以年輕人為對象的培訓(xùn)失敗了 議會削減了職業(yè)培訓(xùn)與合作伙伴關(guān)系法項目中培訓(xùn)年輕 人的預(yù)算,但增加了對成年人培訓(xùn)的預(yù)算 評估協(xié)助判定并取消無效的項目,并將資源重新分 配給成
7、本效益高的項目 實例 2 中東歐局培訓(xùn)影響力評估 捷克共和國、匈牙利、波蘭和土耳其 對 ALMP的準(zhǔn)實驗評估包括使用通用方法的培訓(xùn) 就業(yè)培訓(xùn)的影響力 除了土耳其,在其他國家均取得的影響范圍較小但積 極的影響力;在某些國家的影響力較為持久 對婦女、青年工人以及中等教育水平以下人群的的影 響力更大 各國培訓(xùn)產(chǎn)生的影響力有共性也有差異:各國應(yīng)自 行開展評估活動 評估結(jié)果導(dǎo)致土耳其和捷克共和國改進(jìn)了培訓(xùn)既定 目標(biāo),明確了婦女作為培訓(xùn)的對象 實例 3 墨西哥中小企業(yè)培訓(xùn)項目 (CIMO) 勞動部向中小企業(yè)提供培訓(xùn)和技術(shù)援助項目以提高企業(yè) 的生產(chǎn)力和工人的收入 2項對象組企業(yè)和對比組企業(yè)準(zhǔn)實驗評估的混合結(jié)果 提高了中期結(jié)果,例如培訓(xùn)、勞動力的流動、應(yīng)用質(zhì) 量控制、次品率下降等 參與該項目的企業(yè)生產(chǎn)力水平較低:該項目僅對生產(chǎn) 性較低的企業(yè)有吸引力 但是,生產(chǎn)力差異將隨著時間的推移而減小,差異之 差別程度程序( DID) 顯示出積極影響力 關(guān)注選擇性和未觀察特點的影響,收集項目前后數(shù) 據(jù) 謝謝 本演示細(xì)節(jié)見論文。有關(guān)評估設(shè)計、 方法論和結(jié)果的進(jìn)一步研究請見參考 文獻(xiàn)。