《04文本操作技術(shù)》由會(huì)員分享，可在線閱讀，更多相關(guān)《04文本操作技術(shù)（25頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、文本操作技術(shù)提綱n引言n英文詞法分析n中文詞法分析n相關(guān)資源n英文拼寫檢查引言n文本預(yù)處理操作n后續(xù)工作的基礎(chǔ)n瑣碎但重要l看似簡(jiǎn)單，技術(shù)含量低l各種意想不到的問(wèn)題，費(fèi)時(shí)費(fèi)力l工程性強(qiáng)l必不可少舉例n他說(shuō)的確實(shí)在理l正向最大匹配l逆向最大匹配4英文詞法分析n斷詞(tokenization)TheexperimentsledbyDr.Alanachievedaprecisionof90.7%.n處理符號(hào)歧義：.n其他歧義符號(hào)l撇號(hào)(apostrophe)l連字符(hyphen)n解決方法l總結(jié)歧義符號(hào)出現(xiàn)的語(yǔ)境l用規(guī)則方法處理n大小寫問(wèn)題lChina,china詞干提取n去除英文詞的前綴、后綴，

2、獲得詞干lstemming，stemmed,stemmerstem有何作用？n用于提高檢索的召回率n減少索引文件大?。p小存儲(chǔ)空間）詞干提取的方法n最簡(jiǎn)單的方法l查表法n優(yōu)：省略了對(duì)詞綴的處理n缺：會(huì)使用很大的存儲(chǔ)空間，對(duì)于專業(yè)領(lǐng)域詞語(yǔ)獲取數(shù)據(jù)資源難度較大n最經(jīng)典的方法lPorter算法l基于規(guī)則方法Porter算法輸出詞干輸入單詞規(guī)則3規(guī)則4規(guī)則1規(guī)則2NY匹配第1步規(guī)則依次匹配第2、3、4、5步規(guī)則具體規(guī)則詳見(jiàn)教材p74-75Porter算法nGeneralizationsl輕度提取：generalizationl深度度提?。篻enern召回率與準(zhǔn)確率的討論l詞干提取能夠顯著提高召回率l輕

3、度提取對(duì)準(zhǔn)確率的影響不大l深度提取會(huì)顯著降低準(zhǔn)確率中文詞法分析中文詞法分析n中文句子的基本語(yǔ)義單元是詞l白菜白+菜n分詞l李明是一名優(yōu)秀的學(xué)生。l李明/是/一/名/優(yōu)秀/的/學(xué)生/n詞的定義l自然語(yǔ)言處理l自然/語(yǔ)言/處理l自然語(yǔ)言/處理n實(shí)際應(yīng)用中，通常根據(jù)需求確定詞的粒度分詞中的問(wèn)題-詞表n詞表的作用l解決了詞的定義問(wèn)題l減小專有名詞識(shí)別的難度l能夠解決無(wú)歧義的分詞問(wèn)題n詞表的獲取l通用詞表已經(jīng)基本完備l專用詞表不足分詞中的問(wèn)題-歧義兩種歧義結(jié)構(gòu)n交集型歧義字段l研究生命的起源l研究/生命/的/起源l研究生/命/的/起源/n組合型歧義字段l他從馬上下來(lái)l他/從/馬/上/下來(lái)/l他/從/馬上

4、/下來(lái)/分詞中的問(wèn)題-未登錄詞n未登錄詞-未在詞表中出現(xiàn)的詞l人名、地名、機(jī)構(gòu)名、時(shí)間、新詞n對(duì)分詞準(zhǔn)確率的影響：未登錄詞歧義詞n識(shí)別難度更大n不同的需求對(duì)未登錄詞的識(shí)別要求不一致n不同的需求對(duì)不同類型的未登錄詞識(shí)別要求也不一樣未登錄詞識(shí)別基于規(guī)則方法n標(biāo)注數(shù)據(jù)n發(fā)現(xiàn)規(guī)律l內(nèi)部規(guī)律l外部規(guī)律l重復(fù)出現(xiàn)規(guī)律n不同的未登錄詞，規(guī)律不一致l人名有較強(qiáng)的內(nèi)部規(guī)律l譯名用字較為封閉n不同的未登錄詞，使用相應(yīng)的識(shí)別模塊切分方法n最大匹配法l實(shí)現(xiàn)簡(jiǎn)單、算法復(fù)雜度低n全切分l列出句子所有可能的切分結(jié)果l結(jié)果數(shù)隨著句子長(zhǎng)度的增加呈指數(shù)增長(zhǎng)l需要采用動(dòng)態(tài)規(guī)劃算法尋找最優(yōu)路徑，減小復(fù)雜度分詞系統(tǒng)實(shí)例他叫李小明。分詞

5、語(yǔ)料n語(yǔ)料標(biāo)注l需要制定詳細(xì)的標(biāo)注規(guī)范l費(fèi)時(shí)、費(fèi)力n人民日?qǐng)?bào)l規(guī)范、正確l過(guò)于書面化n缺少其他領(lǐng)域的標(biāo)注語(yǔ)料停用詞表n停用詞l標(biāo)點(diǎn)、虛詞、符號(hào)l無(wú)實(shí)際含義l頻率高l無(wú)影響或影響很小n過(guò)濾停用詞l提高檢索速度l減小索引空間詞典資源n敘詞表l傳統(tǒng)的文獻(xiàn)資料檢索nWordNetnHowNetn同義詞詞林l現(xiàn)代檢索技術(shù)l主要用于查詢擴(kuò)展英文的拼寫錯(cuò)誤n詞語(yǔ)錯(cuò)誤lMicrosoft-Mircosoftn語(yǔ)法錯(cuò)誤lpiece-peacen檢索系統(tǒng)處理詞語(yǔ)級(jí)拼寫錯(cuò)誤l為用戶提供查詢建議拼寫檢查流程形態(tài)還原在詞典中？NY正確Word在詞典中？NY正確相似度計(jì)算修改建議形態(tài)還原n形態(tài)還原lworking,wor

6、ks,worked-workl去除詞尾形態(tài)變化，還原為詞的原形l原形詞干n總結(jié)單詞的形態(tài)變化規(guī)律，分別處理l動(dòng)詞的過(guò)去式、進(jìn)行時(shí)、第三人稱單數(shù)l名詞的復(fù)數(shù)和所有格l形容詞和副詞比較級(jí)、最高級(jí)以及形容詞轉(zhuǎn)換為副詞。提供候選建議n從詞表中找出最相近的單詞，作為候選建議WPSMSWord相似度計(jì)算n從詞表中找出最相近的單詞n距離越短，字符串越相近n計(jì)算字符串之間的相似程度l編輯距離：允許插入、刪除和替代操作，每個(gè)操作的代價(jià)為1；l海明距離：只允許替代操作，每個(gè)操作的代價(jià)為1lEpisode距離：只允許插入操作，每個(gè)操作的代價(jià)為1小結(jié)n文本操作技術(shù)至關(guān)重要n能夠改善信息檢索的效果n改善用戶體驗(yàn)n是其他文本處理的基礎(chǔ)技術(shù)