畢業(yè)設(shè)計(jì)（論文）專(zhuān)用紙 畢業(yè)設(shè)計(jì)（論文）學(xué)生開(kāi)題報(bào)告課題名稱(chēng)基于ETL技術(shù)的儀表盤(pán)系統(tǒng)課題來(lái)源實(shí)習(xí)項(xiàng)目課題類(lèi)型指導(dǎo)教師李紅學(xué)生姓名學(xué) 號(hào)專(zhuān)業(yè)班級(jí)本課題的研究現(xiàn)狀、研究目的及意義 （格式參照下面的，段間距可以根據(jù)內(nèi)容作適當(dāng)?shù)恼{(diào)整）1、課題的研究現(xiàn)狀（查閱資料，總結(jié)歸納完成，包括國(guó)內(nèi)和國(guó)外的研究現(xiàn)狀）本課題是一個(gè)商業(yè)智能(Business Intelligence ,BI)項(xiàng)目。因此課題研究現(xiàn)狀將圍繞BI和在本課題中實(shí)現(xiàn)BI的技術(shù)ETL和QlikView展開(kāi)討論。BI 是隨著Internet 的高速發(fā)展和企業(yè)信息化的不斷深入而產(chǎn)生的。BI使得企業(yè)的決策者能夠?qū)ζ髽I(yè)信息進(jìn)行有效、合理地分析和處理，為生產(chǎn)決策提供可靠的依據(jù)。目前，學(xué)術(shù)界對(duì)商業(yè)智能的定義并不統(tǒng)一。確切地講，BI并不是一項(xiàng)新技術(shù)，它將數(shù)據(jù)倉(cāng)庫(kù)(DW)、聯(lián)機(jī)分析處理(OLAP)、數(shù)據(jù)挖掘(DM)等技術(shù)與客戶(hù)關(guān)系管理(CRM)結(jié)合起來(lái)應(yīng)用于商業(yè)活動(dòng)實(shí)際過(guò)程當(dāng)中，實(shí)現(xiàn)了技術(shù)服務(wù)于決策的目的?？梢哉J(rèn)為，商業(yè)智能是對(duì)商業(yè)信息的搜集、管理和分析過(guò)程，目的是使企業(yè)的各級(jí)決策者獲得知識(shí)或洞察力，促使他們做出對(duì)企業(yè)更有利的決策。商業(yè)智能的實(shí)現(xiàn)涉及到軟件、硬件、咨詢(xún)服務(wù)及應(yīng)用，其基本體系結(jié)構(gòu)包括數(shù)據(jù)倉(cāng)庫(kù)、聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘三個(gè)部分。因此，把商業(yè)智能看成是一種解決方案應(yīng)該比較恰當(dāng)。商業(yè)智能的關(guān)鍵是從許多來(lái)自不同的企業(yè)運(yùn)作系統(tǒng)的數(shù)據(jù)中提取出有用的數(shù)據(jù)并進(jìn)行清理，以保證數(shù)據(jù)的正確性，然后經(jīng)過(guò)抽?。‥xtraction）、轉(zhuǎn)換（Transformation）和裝載（Load），即ETL過(guò)程，合并到一個(gè)企業(yè)級(jí)的數(shù)據(jù)倉(cāng)庫(kù)里，從而得到企業(yè)數(shù)據(jù)的一個(gè)全局視圖，在此基礎(chǔ)上利用合適的查詢(xún)和分析工具、數(shù)據(jù)挖掘工具、OLAP工具等對(duì)其進(jìn)行分析和處理（這時(shí)信息變?yōu)檩o助決策的知識(shí)），最后將知識(shí)呈現(xiàn)給管理者，為管理者的決策過(guò)程提供支持?，F(xiàn)在BI技術(shù)應(yīng)用得非常廣泛，涵蓋電信、保險(xiǎn)、銀行、醫(yī)療、交通、糧食等行業(yè)，為企業(yè)提供決策用的重要數(shù)據(jù)，幫助企業(yè)制定有效而完善的運(yùn)營(yíng)計(jì)劃。例如在糧食行業(yè)，運(yùn)用BI技術(shù)能有效地制訂糧食調(diào)運(yùn)計(jì)劃、分析資金分配情況、制定收購(gòu)計(jì)劃等。ETL作為BI（Business Intelligence，商業(yè)智能）/DW(Data Warehouse，數(shù)據(jù)倉(cāng)庫(kù))的核心和靈魂，能夠按照統(tǒng)一的規(guī)則集成并提高數(shù)據(jù)的價(jià)值，是負(fù)責(zé)完成數(shù)據(jù)從數(shù)據(jù)源向目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)轉(zhuǎn)化的過(guò)程，是實(shí)施數(shù)據(jù)倉(cāng)庫(kù)的重要步驟。ETL是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)過(guò)抽取、清洗轉(zhuǎn)換之后加載到數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程，目的是將企業(yè)中的分散、零亂、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)整合到一起，為企業(yè)的決策提供分析依據(jù)。ETL是BI項(xiàng)目重要的一個(gè)環(huán)節(jié)。通常情況下，在BI項(xiàng)目中ETL會(huì)花掉整個(gè)項(xiàng)目的1/3的時(shí)間,ETL設(shè)計(jì)的好壞直接關(guān)接到BI項(xiàng)目的成敗?，F(xiàn)在也越來(lái)越多地將ETL應(yīng)用于一般信息系統(tǒng)中數(shù)據(jù)的遷移、交換和同步。QlikTech公司的旗艦產(chǎn)品Q(chēng)likView提供即時(shí)的商業(yè)答案。QlikView與傳統(tǒng)BI軟件的分別在于，傳統(tǒng)BI軟件使用固定方式思維和分析，而QlikView點(diǎn)擊式的“關(guān)聯(lián)分析”能靈活地以直覺(jué)探索相關(guān)資料。據(jù)介紹，公司最早就是試圖研究一個(gè)模仿人腦思考的產(chǎn)品，從而誕生了QlikView。即使用戶(hù)沒(méi)有接受專(zhuān)業(yè)的IT訓(xùn)練，他們也可以自由地提出新問(wèn)題和實(shí)時(shí)發(fā)掘新關(guān)聯(lián)。因此，QlikView的企業(yè)用戶(hù)可以得心應(yīng)手地執(zhí)行各項(xiàng)分析，如風(fēng)險(xiǎn)投資、保留客戶(hù)、產(chǎn)品組合和利潤(rùn)、庫(kù)存及員工編制等。2、課題的研究目的及意義 （查閱資料完成）隨著企業(yè)信息化建設(shè)的發(fā)展，巨大的投資為企業(yè)建立了眾多的信息系統(tǒng)，以幫助企業(yè)進(jìn)行內(nèi)外部業(yè)務(wù)的處理和管理工作。但是隨著信息系統(tǒng)的增加，各自孤立工作的信息系統(tǒng)將會(huì)造成大量的冗余數(shù)據(jù)和業(yè)務(wù)人員的重復(fù)勞動(dòng)。商業(yè)智能幫助企業(yè)的管理層進(jìn)行快速, 準(zhǔn)確的決策, 迅速的發(fā)現(xiàn)企業(yè)中的問(wèn)題, 提示管理人員加以解決. 但商業(yè)智能軟件系統(tǒng)不能代替管理人員進(jìn)行決策, 不能自動(dòng)處理企業(yè)運(yùn)行過(guò)程中遇到的問(wèn)題.因此商業(yè)智能系統(tǒng)并不能為企業(yè)帶來(lái)直接的經(jīng)濟(jì)效益, 但必須看到,商業(yè)智能為企業(yè)帶來(lái)的是一種經(jīng)過(guò)科學(xué)武裝的管理思維,給整個(gè)企業(yè)帶來(lái)的是決策的快速性和準(zhǔn)確性, 發(fā)現(xiàn)問(wèn)題的及時(shí)性, 以及發(fā)現(xiàn)那些對(duì)手未發(fā)現(xiàn)的潛在的知識(shí)和規(guī)律,而這些信息時(shí)企業(yè)產(chǎn)生經(jīng)濟(jì)效益的基礎(chǔ), 不能快速,準(zhǔn)確的指定決策方針等于將市場(chǎng)送給對(duì)手, 不能及時(shí)發(fā)現(xiàn)業(yè)務(wù)種的潛在信息等于浪費(fèi)自己的資源.比如:通過(guò)對(duì)銷(xiāo)售數(shù)據(jù)的分析可發(fā)現(xiàn)各類(lèi)客戶(hù)的特征和喜歡購(gòu)買(mǎi)商品之間的聯(lián)系,這樣就可進(jìn)行更有針對(duì)性的精確的促銷(xiāo)活動(dòng)或向客戶(hù)提供更具有個(gè)性的服務(wù)等, 這都會(huì)為企業(yè)帶來(lái)直接的經(jīng)濟(jì)效益.基于ETL技術(shù)的儀表盤(pán)系統(tǒng)展示了某公司船運(yùn)業(yè)務(wù)的運(yùn)營(yíng)情況，如各條航線的收入、支出等，企業(yè)的決策者能夠通過(guò)儀表盤(pán)展現(xiàn)的內(nèi)容對(duì)企業(yè)信息進(jìn)行有效、合理地分析和處理，為生產(chǎn)決策提供可靠的依據(jù)。它將企業(yè)內(nèi)部大量冗余的數(shù)據(jù)通過(guò)ETL過(guò)程從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)清洗、轉(zhuǎn)換,最終按照預(yù)先定義好的數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市模型，將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中去。而QlikView能以人類(lèi)大腦思考的方式運(yùn)行，將不同來(lái)源的相關(guān)數(shù)據(jù)聯(lián)系在一起，并把各種條件下的不同結(jié)果多維度地直觀呈現(xiàn)在人們眼前。使用者只需要簡(jiǎn)單地點(diǎn)擊幾下，就可以各種儀表、圖片和表格等形式看到數(shù)據(jù)分析的結(jié)果，并快速作出相應(yīng)決策。 課題類(lèi)型：（1）A工程實(shí)踐型；B理論研究型；C科研裝置研制型；D計(jì)算機(jī)軟件型；E綜合應(yīng)用型（2）X真實(shí)課題；Y模擬課題；（1）、（2）均要填，如AY、BX等。本課題的研究?jī)?nèi)容 （說(shuō)明使用了什么工具，研究了什么內(nèi)容）本課題主要是運(yùn)用QlikView(簡(jiǎn)稱(chēng)QV)和Sql Server Integration Services(簡(jiǎn)稱(chēng)SSIS)作為開(kāi)發(fā)平臺(tái)，SQL Server 2005和Oracle作為后臺(tái)數(shù)據(jù)庫(kù),其中以O(shè)racle數(shù)據(jù)庫(kù)作為數(shù)據(jù)接口(簡(jiǎn)稱(chēng)DS)，運(yùn)用ETL工具SSIS將某公司船運(yùn)業(yè)務(wù)系統(tǒng)中分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等通過(guò)增量或全量抽取到臨時(shí)中間層ODS后進(jìn)行清洗(本課題中主要涉及到重復(fù)數(shù)據(jù)、空值處理等)、轉(zhuǎn)換(按照業(yè)務(wù)需要轉(zhuǎn)換為目標(biāo)數(shù)據(jù)結(jié)構(gòu)，并實(shí)現(xiàn)匯總，如各航次的運(yùn)營(yíng)成本、收入、利潤(rùn)等)，然后加載經(jīng)轉(zhuǎn)換和匯總的數(shù)據(jù)到目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)中(DW)，在DW中設(shè)計(jì)事實(shí)表和維表，并通過(guò)代理關(guān)鍵字關(guān)聯(lián)起來(lái)。整個(gè)ETL過(guò)程數(shù)據(jù)抽取流程自動(dòng)化，并有自動(dòng)調(diào)度功能。最后通過(guò)QV在把將DW中的數(shù)據(jù)以各種儀表、圖片和表格等形式在前臺(tái)展現(xiàn)，從而實(shí)現(xiàn)基于ETL技術(shù)的儀表盤(pán)系統(tǒng)。企業(yè)管理者和決策人可以通過(guò)該系統(tǒng)以一種更清晰的角度看待業(yè)務(wù)數(shù)據(jù)，提高企業(yè)運(yùn)轉(zhuǎn)效率、增加利潤(rùn)并建立良好的客戶(hù)關(guān)系，使企業(yè)以最短的時(shí)間發(fā)現(xiàn)商業(yè)機(jī)會(huì)捕捉商業(yè)機(jī)遇。如何時(shí)何地進(jìn)入何市場(chǎng)，如何選擇和管理大客戶(hù)聯(lián)系，以及如何選擇和有效地推出商品優(yōu)惠策略等。同時(shí)通過(guò)提供決策分析能力，使企業(yè)更有效地實(shí)現(xiàn)了財(cái)務(wù)分析、風(fēng)險(xiǎn)管理、詐騙檢測(cè)、分銷(xiāo)和后勤管理，以及運(yùn)營(yíng)狀況分析等。為適應(yīng)將來(lái)的發(fā)展，基于ETL技術(shù)的儀表盤(pán)系統(tǒng)應(yīng)具有良好的可擴(kuò)展性和可維護(hù)性。數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)盡可能考慮到未來(lái)的需要。本課題研究的實(shí)施方案、進(jìn)度安排（可供參考）整個(gè)畢業(yè)設(shè)計(jì)過(guò)程預(yù)計(jì)共12周。具體安排如下：第4-5周：查閱資料，確定畢業(yè)論文研究方向，完成開(kāi)題報(bào)告，準(zhǔn)備3000字的中英文參考文獻(xiàn)翻譯。第6-8周：完成緒論部分，闡明系統(tǒng)的可行性，功能需求和系統(tǒng)總體規(guī)劃。第9-12周：系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)階段，系統(tǒng)各功能模塊的實(shí)現(xiàn)。第13-14周：系統(tǒng)測(cè)試階段，完成論文撰寫(xiě)。第15周：準(zhǔn)備材料和答辯。已查閱的主要參考文獻(xiàn) (至少15篇，5篇英文)1 張?jiān)茲?、龔? 商業(yè)智能設(shè)計(jì)、部署與實(shí)現(xiàn)M. 北京：電子工業(yè)出版社，20042 謝邦昌. 商務(wù)智能與數(shù)據(jù)挖掘Microsoft SQL Server應(yīng)用M.北京：機(jī)械工業(yè)出版社，20083 朱德利. SQL Server 2005數(shù)據(jù)挖掘與商業(yè)智能完全解決方案M.北京：電子工業(yè)出版社，20074 李啟炎. 企業(yè)商業(yè)智能教程M. 上海：同濟(jì)大學(xué)出版社，20075 李一軍. 商務(wù)智能M. 北京：高等教育出版社，20096 陳永杰. SAP商務(wù)智能完全解決方案M. 北京：機(jī)械工業(yè)出版社，20087 譚學(xué)清. 商務(wù)智能M. 武漢：武漢大學(xué)出版社，20068 胡百敬、姚巧玫. SQL Server 2005數(shù)據(jù)庫(kù)開(kāi)發(fā)詳解M. 北京：電子工業(yè)出版社，20069 陳國(guó)青、衛(wèi)強(qiáng). 商務(wù)智能原理與方法M. 北京：電子工業(yè)出版社，200910【美】Kirk Haselden. SQL Server 2005 Integration Services標(biāo)準(zhǔn)指南M. 北京：電子工業(yè)出版社，200811【美】Joy Mundy, Warren Thornthwaite, Ralph KimballM. 數(shù)據(jù)倉(cāng)庫(kù)工具箱. 北京：清華大學(xué)出版社，200712 Kalen Delaney. Microsoft SQL Server 2005技術(shù)內(nèi)幕：查詢(xún)、調(diào)整和優(yōu)化M. 北京：電子工業(yè)出版社，200913【美】Michael L. Gonzales. IBM數(shù)據(jù)倉(cāng)庫(kù)及IBM商務(wù)智能工具M(jìn). 北京：電子工業(yè)出版社，200414【美】Brian Larson. Microsoft SQL Server 2005商業(yè)智能實(shí)現(xiàn)M. 北京：清華大學(xué)出版社，200815 鮮海. 網(wǎng)站訪問(wèn)點(diǎn)擊流分析與基于SSIS的ETL設(shè)計(jì)實(shí)現(xiàn)D. 西南財(cái)經(jīng)大學(xué)，200816 劉海波. 商業(yè)智能系統(tǒng)的研究與實(shí)現(xiàn)D. 武漢大學(xué)，2004指導(dǎo)教師意見(jiàn)指導(dǎo)教師簽名： 年 月 日5