《[03]爬蟲項目【項目開發(fā)計劃】》由會員分享，可在線閱讀，更多相關(guān)《[03]爬蟲項目【項目開發(fā)計劃】（11頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、分布式互聯(lián)網(wǎng)爬蟲及其在垂直領(lǐng)域的使用項目開發(fā)計劃1引言11.1編寫目的11.2 背景11.3定義11.4參考資料22項目概述32.1工作內(nèi)容32.2主要參加人員33.3產(chǎn)品32.3.1程序32.3.2文件42.3.3服務(wù)42.3.4非移交的產(chǎn)品42.4驗收標準62.5完成項目的最遲期限62.6本計劃的審查者與批準者63實施總計劃73.1工作任務(wù)的分解和接口人員73.2進度73.3預(yù)算93.4關(guān)鍵問題94支持條件104.1 計算機系統(tǒng)支持104.2 需由用戶承擔的工作114.3 由外單位提供的條件115專題計劃要點115.1 開發(fā)人員培訓(xùn)計劃115.2 測試計劃115.3 質(zhì)量保證計劃111開發(fā)

2、計劃項目開發(fā)計劃1引言1.1編寫目的編寫此計劃的目的是為了合理安排組織成員，有效利用時間，以確保項目進度，預(yù)見項目風險等活動。使項目嚴格按照學院及老師要求開發(fā)流程進行，遵循正規(guī)的順序開展。同時，項目開發(fā)成員通過此計劃書明確項目目標和各自職責。它說明相關(guān)爬蟲項目的開發(fā)方法，是一種計劃，以指導(dǎo)工作之用。1.2背景大數(shù)據(jù)時代，互聯(lián)網(wǎng)數(shù)據(jù)被認為規(guī)模最大、結(jié)果最復(fù)雜、潛在價值最高的源數(shù)據(jù)。開發(fā)一款具有較高數(shù)據(jù)質(zhì)量、對新數(shù)據(jù)探測周期短、可靈活擴展的分布式互聯(lián)網(wǎng)爬蟲。項目相關(guān)人員在助教及老師指導(dǎo)下，在203機房開發(fā)。1.3定義MVC全名是ModelViewController是模型(model)視圖(vie

3、w)控制器(controller)的縮寫，一種軟件設(shè)計典范，用一種業(yè)務(wù)邏輯、數(shù)據(jù)、界面顯示分離的方法組織代碼，將業(yè)務(wù)邏輯聚集到一個部件里面，在改進和個性化定制界面及用戶交互的同時，不需要重新編寫業(yè)務(wù)邏輯。MVC被獨特的發(fā)展起來用于映射傳統(tǒng)的輸入、處理和輸出功能在一個邏輯的圖形化用戶界面的結(jié)構(gòu)中。Eclipse是一個開放源代碼的、基于Java的可擴展開發(fā)平臺。就其本身而言，它只是一個框架和一組服務(wù),用于通過插件組件構(gòu)建開發(fā)環(huán)境。幸運的是,Eclipse附帶了一個標準的插件集，包括Java開發(fā)工(JavaDevelopmentKit，JDK)。MySQL是一個關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，由瑞典MySQL

4、AB公司開發(fā)，目前屬于Oracle旗下產(chǎn)品oMySQL是最流行的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)之一，在WEB應(yīng)用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，關(guān)系數(shù)據(jù)庫管理系統(tǒng))應(yīng)用軟件。Tomcat是Apache軟件基金會(ApacheSoftwareFoundation)的Jakarta項目中的一個核心項目，由Apache、Sun和其他一些公司及個人共同開發(fā)而成。1.4參考資料相關(guān)文檔及網(wǎng)絡(luò)資源2項目概述2.1工作內(nèi)容數(shù)據(jù)采集模板配置工程數(shù)據(jù)采集工程媒體傳播分析工程用戶可視化界面2.2主要參加人員2.3產(chǎn)品2.3.1 程序軟件名稱：分布式互

5、聯(lián)網(wǎng)爬蟲及其在垂直領(lǐng)域的使用編程語言：Java功能：軟件操作簡便、快捷，數(shù)據(jù)采集部分可以通過簡單、易懂的方式配置新網(wǎng)站數(shù)據(jù)的采集。數(shù)據(jù)分析模塊通過基關(guān)鍵詞過濾以及統(tǒng)計學思想計算媒體傳播排名及趨勢。界面設(shè)計風格采用Web形式，用戶界面簡單明了，符合業(yè)務(wù)辦理流程，具有人性化特點。軟件設(shè)計結(jié)構(gòu)模塊化、程序結(jié)構(gòu)化、數(shù)據(jù)格式標準化、代碼統(tǒng)一化，各種文檔資料規(guī)范化。2.3.2 文件用戶操作手冊：本手冊詳細描述軟件的功能、性能和用戶界面，使用戶對如何使用該軟件得到具體的了解,為操作人員提供該軟件各種運行情況的有關(guān)知識，特別是操作方法的具體細節(jié)。軟件維護手冊：主要包括軟件系統(tǒng)說明、程序模塊說明、操作環(huán)境、支持

6、軟件的說明、維護過程的說明，便于軟件的維護。2.3.3服務(wù)計劃提供以下服務(wù)：課堂培訓(xùn)：以講課形式對客戶進行培訓(xùn)，使其能夠正確使用件。免費咨詢：客戶可以在工作時間向技術(shù)人員提出問題并獲得解答。技術(shù)支持：對于某些客戶，采取上門指導(dǎo)的方式。軟件維護：獲取軟件使用中的問題，提供補丁程序。升級通知：在軟件新版本發(fā)布的時候，及時通知（Email或郵寄信件）注冊的用戶，并提供試用版本。軟件升級：對于注冊用戶，只需較少的費用即可升級到新的版本。2.3.4非移交的產(chǎn)品可行性分析報告：說明該軟件開發(fā)項目的實現(xiàn)在技術(shù)上、經(jīng)濟上和社會因素上的可行性，評述為了合理地達到開發(fā)目標可供選擇的各種可能實施方案，說明并論證所選

7、定實施方案的理由。項目開發(fā)計劃：為軟件項目實施方案制訂出具體計劃，應(yīng)該包括各部分工作的負責人員、開發(fā)的進度、開發(fā)經(jīng)費的預(yù)算、所需的硬件及軟件資源等。軟件需求說明書（軟件規(guī)格說明書）對所開發(fā)軟件的功能、性能、用戶界面及運行環(huán)境等做出詳細的說明。它是在用戶與開發(fā)人員雙方對軟件需求取得共同理解并達成協(xié)議的條件下編寫的，也是實施開發(fā)工作的基礎(chǔ)。該說明書應(yīng)給出數(shù)據(jù)邏輯和數(shù)據(jù)采集的各項要求，為生成和維護系統(tǒng)數(shù)據(jù)文件做好準備。概要設(shè)計說明書：該說明書是概要實際階段的工作成果，它應(yīng)說明功能分配、模塊劃分、程序的總體結(jié)構(gòu)、輸入輸出以及接口設(shè)計、運3開發(fā)計劃行設(shè)計、數(shù)據(jù)結(jié)構(gòu)設(shè)計和出錯處理設(shè)計等，為詳細設(shè)計提供基礎(chǔ)

8、。詳細設(shè)計說明書：著重描述每一模塊是怎樣實現(xiàn)的，包括實現(xiàn)算法、邏輯流程等。測試計劃：為做好集成測試和驗收測試，需為如何組織測試制訂實施計劃。計劃應(yīng)包括測試的內(nèi)容、進度、條件、人員、測試用例的選取原則、測試結(jié)果允許的偏差范圍等。測試分析報告：測試工作完成以后，應(yīng)提交測試計劃執(zhí)行情況的說明，對測試結(jié)果加以分析，并提出測試的結(jié)論意見。開發(fā)進度月報：該月報系軟件人員按月向管理部門提交的項目進展情況報告，報告應(yīng)包括進度計劃與實際執(zhí)行情況的比較、階段成果、遇到的問題和解決的辦法以及下個月的打算等。項目開發(fā)總結(jié)報告：軟件項目開發(fā)完成以后，應(yīng)與項目實施計劃對照，總結(jié)實際執(zhí)行的情況，如進度、成果、資源利用、成本

9、和投入的人力，此外，還需對開發(fā)工作做出評價，總結(jié)出經(jīng)驗和教訓(xùn)。軟件問題報告：指出軟件問題的登記情況，如日期、發(fā)現(xiàn)人、狀態(tài)、問題所屬模塊等，為軟件修改提供準備文檔。軟件修改報告：軟件產(chǎn)品投入運行以后，發(fā)現(xiàn)了需對其進行修正、更改等問題，應(yīng)將存在的問題、修改的考慮以及修改的影響做出詳細的描述，提交審批。源程序：軟件開發(fā)過程中的全部代碼以及注釋。2.4驗收標準代碼：最后在交付客戶之前進行小組內(nèi)評審，代碼編寫符合HB6465標準，與文檔說明保持一致，代碼書寫風格統(tǒng)一，采用標準規(guī)范，沒有下列錯誤：由于軟件缺陷造成丟失數(shù)據(jù)，不符合設(shè)計要求，響應(yīng)時間太長無法接受等問題。文檔：最后在交付客戶之前進行小組內(nèi)評審，

10、文檔格式符合HB6465標準，功能符合與客戶的合同要求，清晰易讀，沒有語病與歧義。服務(wù)：服務(wù)硬件達到文檔說明的要求。2.5完成項目的最遲期限交付日期為2017年7月22日2.6本計劃的審查者與批準者本項目批準者是學院相關(guān)領(lǐng)導(dǎo)老師3實施總計劃3.1工作任務(wù)的分解和接口人員3.2進度進度安排3.3預(yù)算3.4關(guān)鍵問題項目風險因素風險排序風險項名稱風險描述風險緩解方案1專業(yè)基礎(chǔ)知識不牢本次項目開發(fā)過程中涉及的知識較多，給項目開發(fā)人員帶來一定的困難進行相應(yīng)的培訓(xùn)2經(jīng)驗欠缺成員開發(fā)經(jīng)驗不足，使項目質(zhì)量難以保證只有通過不斷的實踐3軟件性能的影響本次開發(fā)過程中部分軟件可能容易出現(xiàn)死機現(xiàn)象選擇合適的軟件，搭建良

11、好的配置開發(fā)環(huán)境4支持條件4.1計算機系統(tǒng)支持模板配置與數(shù)據(jù)分析應(yīng)用：系統(tǒng)架構(gòu)：MVC開發(fā)工具：Eclipse數(shù)據(jù)庫：Mysql開發(fā)技術(shù)：java、bootstarp、sql、FreeChart中間件：Tomcat、jdkl.8采集工具：開發(fā)工具：Eclipse數(shù)據(jù)庫：Mysql、開發(fā)技術(shù)：java、sql、線程池、MD5環(huán)境要求：CPU：1GHz以上內(nèi)存：8GB以上94.2 需由用戶承擔的工作向本小組成員進行培訓(xùn)，其內(nèi)容包括全文檢索、httpclient等等相關(guān)技術(shù)。配備相應(yīng)硬件系統(tǒng)，做到規(guī)范操作，備份好數(shù)據(jù)防止數(shù)據(jù)丟失,軟件交付日期為軟件安裝測試人員提供環(huán)境。4.3由外單位提供的條件由學院提供上機環(huán)境及相關(guān)知識講座指導(dǎo)。5專題計劃要點5.1開發(fā)人員培訓(xùn)計劃自項目實習之日起，項目相關(guān)人員自行安排時間學習，周末按學院要求周末聽講座知識。5.2測試計劃項目周期第四周進行各種數(shù)據(jù)測試。5.3質(zhì)量保證計劃嚴格按照項目開發(fā)過程中的各項步驟，從項目立項，可行性研究報告、需求分析報告、項目開發(fā)計劃等，具體實施。