2020 3 30 1 第三講測(cè)試產(chǎn)品說(shuō)明書(shū) 軟件測(cè)試的一般理論黑盒測(cè)試白盒測(cè)試靜態(tài)測(cè)試和動(dòng)態(tài)測(cè)試測(cè)試產(chǎn)品說(shuō)明書(shū)使用檢查表 2020 3 30 2 測(cè)試的基本理論 2020 3 30 3 軟件測(cè)試的目標(biāo) 測(cè)試是一個(gè)執(zhí)行一個(gè)程序或者文件 去發(fā)現(xiàn)缺陷和錯(cuò)誤的過(guò)程 好的測(cè)試是盡可能發(fā)現(xiàn)迄今為止尚未發(fā)現(xiàn)的錯(cuò)誤的測(cè)試方案成功的測(cè)試是發(fā)現(xiàn)了至今為止尚未發(fā)現(xiàn)的錯(cuò)誤 所以 設(shè)計(jì)測(cè)試的目標(biāo)是系統(tǒng)地發(fā)現(xiàn)各種等級(jí)的缺陷和錯(cuò)誤 同時(shí)花費(fèi)最少的時(shí)間和成本 并且做到 證明軟件的功能是按照說(shuō)明書(shū)的要求實(shí)現(xiàn)的性能的要求也達(dá)到了測(cè)試中收集的數(shù)據(jù)足以指明了軟件的可靠性 在某種程度上表明了軟件的質(zhì)量 但是 測(cè)試不能展示潛在的缺陷 只能展示表現(xiàn)出來(lái)的缺陷 2020 3 30 4 軟件測(cè)試的流程 測(cè)試 軟件配置 測(cè)試配置 評(píng)價(jià) 測(cè)試結(jié)果 預(yù)期結(jié)果 調(diào)試 可靠性模型 錯(cuò)誤 錯(cuò)誤率數(shù)據(jù) 正確 可靠性預(yù)測(cè) 2020 3 30 5 測(cè)試用例設(shè)計(jì) 開(kāi)始是比較難的能夠測(cè)試組件是否符合規(guī)格說(shuō)明書(shū) BlackBoxTesting 能夠測(cè)試組件是否符合設(shè)計(jì) Whiteboxtesting 如果沒(méi)有對(duì)所有的路徑測(cè)試 則不能證明程序的正確性 2020 3 30 6 測(cè)試方案 設(shè)計(jì)測(cè)試方案設(shè)計(jì)測(cè)試方案是測(cè)試階段的關(guān)鍵技術(shù)問(wèn)題 測(cè)試方案包括要測(cè)試的功能 應(yīng)該輸入的測(cè)試數(shù)據(jù)和預(yù)期的結(jié)果 設(shè)計(jì)技術(shù)主要有兩種方法 黑盒法與白盒法 一般用黑盒法設(shè)計(jì)基本的測(cè)試方案 再用白盒法補(bǔ)充一些方案 2020 3 30 7 測(cè)試方案技術(shù) 黑盒和白盒測(cè)試 1 黑盒法測(cè)試人員將程序看成是一個(gè) 黑盒 即不關(guān)心程序內(nèi)部是什么 只要檢查程序是否符合它的 功能說(shuō)明 黑盒法可分為下列幾種方法 關(guān)鍵在于確定測(cè)試數(shù)據(jù) 輸入 輸出 2020 3 30 8 測(cè)試方案技術(shù) 黑盒 1 等價(jià)分類(lèi)法等價(jià)分類(lèi)法是將輸入數(shù)據(jù)的可能值分成若干 等價(jià)類(lèi) 每一類(lèi)以一個(gè)代表性的測(cè)試數(shù)據(jù)進(jìn)行測(cè)試 這個(gè)數(shù)據(jù)就等價(jià)于這一類(lèi)中的其它數(shù)據(jù) 該法的關(guān)鍵在于如何將輸入數(shù)據(jù)分類(lèi) 例如 輸入的數(shù)據(jù)范圍是1 999 我們可以劃分三類(lèi) x 999 2020 3 30 9 測(cè)試方案技術(shù) 黑盒 2 邊緣值分析法用邊緣特殊值測(cè)試 經(jīng)驗(yàn)表明 程序往往在邊緣情況時(shí)犯錯(cuò)誤 故測(cè)試邊緣情況比較有效 例如 輸入數(shù)據(jù)的值的范圍是 1 0至1 0 則可選 1 0 1 0 1 001 1 001等數(shù)據(jù)作為測(cè)試數(shù)據(jù) 2020 3 30 10 測(cè)試方案技術(shù) 黑盒 3 因果圖法等價(jià)類(lèi)法與邊緣值分析法的缺點(diǎn)是沒(méi)有檢查各種輸入條件的組合 因果圖法則著重分析輸入條件的各種組合 每種組合條件就是 因 它必然有一個(gè)輸出的結(jié)果 這就是 果 2020 3 30 11 測(cè)試方案技術(shù) 黑盒 4 錯(cuò)誤推測(cè)法通過(guò)經(jīng)驗(yàn)或直覺(jué)推測(cè)程序中可能存在的各種錯(cuò)誤 從而有針對(duì)性設(shè)計(jì)測(cè)試用例 使用常見(jiàn)錯(cuò)誤清單 判定表等 2020 3 30 12 測(cè)試方案技術(shù) 白盒測(cè)試 2 白盒法白盒法需要了解程序的功能與結(jié)構(gòu) 測(cè)試用例必須根據(jù)程序內(nèi)部的邏輯來(lái)設(shè)計(jì) 如果想用白盒法發(fā)現(xiàn)程序中的所有錯(cuò)誤 則至少必須使程序中每種可能的路徑都執(zhí)行一次 徹底地測(cè)試 是不可能的 故策略是 在一定的研制時(shí)間 研制經(jīng)費(fèi)的限制下 通過(guò)執(zhí)行有限的測(cè)試用例 盡可能多地發(fā)現(xiàn)一些錯(cuò)誤 白盒法又稱(chēng)為邏輯覆蓋法 目前常用的覆蓋法有 輸入 輸出 2020 3 30 13 測(cè)試方案技術(shù) 白盒測(cè)試 1 語(yǔ)句覆蓋即每個(gè)語(yǔ)句至少能執(zhí)行一次 問(wèn)題 若AND錯(cuò)寫(xiě)為OR 或X 1錯(cuò)寫(xiě)為X 1 則錯(cuò)誤無(wú)法由上例測(cè)出 Testcase A 2 B 0 X 4 2020 3 30 14 測(cè)試方案技術(shù) 白盒測(cè)試 2 判定覆蓋判定覆蓋又叫分支覆蓋 含義是 每個(gè)判定的分支至少執(zhí)行一次 Testcases A 3 B 0 X 3 A 2 B 1 X 1 問(wèn)題 若X 1錯(cuò)寫(xiě)為X 1 仍然無(wú)法被測(cè)出 2020 3 30 15 測(cè)試方案技術(shù) 白盒測(cè)試 3 條件覆蓋即一個(gè)判斷語(yǔ)句中往往包含了若干條件 通過(guò)給出測(cè)試用例 使判斷中的每個(gè)條件都獲得各種可能的結(jié)果 Testcases A 2 B 0 X 4 滿(mǎn)足A 1 B 0 A 2 X 1 A 1 B 1 X 1 滿(mǎn)足A 1 B 0 A 2 X 1 問(wèn) 條件覆蓋 判定覆蓋 答 不一定 反例 A 2 B 0 X 1 A 1 B 1 X 2 2020 3 30 16 測(cè)試方案技術(shù) 白盒測(cè)試 4 判斷 條件覆蓋選取足夠多的測(cè)試數(shù)據(jù) 使判斷中每個(gè)條件都取得各種可能值 并使每個(gè)判斷表達(dá)式也取到各種可能的結(jié)果 Testcases A 2 B 0 X 4 滿(mǎn)足A 1 B 0 A 2 X 1 A 1 B 1 X 1 滿(mǎn)足A 1 B 0 A 2 X 1 2020 3 30 17 測(cè)試方案技術(shù) 白盒測(cè)試 5 條件組合覆蓋使得每個(gè)判斷中條件的各種可能組合都至少出現(xiàn)一次 全部可能的條件組合為 A 1 B 0 A 1 B 0 A 1 B 0 A 1 B 0 A 2 X 1 A 2 X 1 A 2 X 1 A 2 X 1 Testcases A 2 B 0 X 4 TT A 2 B 1 X 1 FT A 1 B 0 X 2 FT A 1 B 1 X 1 FF 問(wèn)題 沒(méi)有測(cè)試到 TF 的情形 2020 3 30 18 測(cè)試方案技術(shù) 測(cè)試策略 實(shí)用測(cè)試策略 1 在任何情況下都使用邊界值分析的方法 2 必要時(shí)用等價(jià)劃分法補(bǔ)充測(cè)試方案 3 必要時(shí)再用錯(cuò)誤推測(cè)法補(bǔ)充測(cè)試方案 4 對(duì)照程序邏輯 檢查已經(jīng)設(shè)計(jì)出的測(cè)試方案 可以根據(jù)對(duì)程序可靠性的要求采用不同的邏輯覆蓋標(biāo)準(zhǔn) 如果現(xiàn)有測(cè)試方案的邏輯覆蓋程度沒(méi)達(dá)到要求的覆蓋標(biāo)準(zhǔn) 則應(yīng)再補(bǔ)充一些測(cè)試方案 注意 即使采用綜合策略設(shè)計(jì)方案 仍不能保證測(cè)試將發(fā)現(xiàn)一切程序錯(cuò)誤 2020 3 30 19 靜態(tài)測(cè)試和動(dòng)態(tài)測(cè)試 靜態(tài)測(cè)試 statictesting 測(cè)試不運(yùn)行的部分 只是檢查和審閱動(dòng)態(tài)測(cè)試 dynamictesting 運(yùn)行和使用軟件 測(cè)試軟件的缺陷 2020 3 30 20 產(chǎn)品說(shuō)明書(shū) 產(chǎn)品說(shuō)明書(shū) 對(duì)產(chǎn)品最終需要實(shí)現(xiàn)的功能的描述 這些功能是最終確定的需要滿(mǎn)足的客戶(hù)需求 也包括是一些軟件必須具備的能力 在規(guī)范的軟件生成的流程中 產(chǎn)品功能說(shuō)明書(shū)應(yīng)在用戶(hù)需求評(píng)審會(huì)議召開(kāi)后確定 2020 3 30 21 測(cè)試軟件產(chǎn)品說(shuō)明書(shū) 靜態(tài)黑盒 特點(diǎn)是書(shū)面文檔 不是軟件是軟件需求和功能的說(shuō)明描述形成的符號(hào)是 文字 圖表根據(jù)細(xì)致 準(zhǔn)確地描述 測(cè)試缺陷使用的測(cè)試方法靜態(tài)黑盒SB測(cè)試先總體測(cè)試 在詳細(xì)測(cè)試 2020 3 30 22 總體測(cè)試 審查 在總體上 審查文檔是否有原則上的重大問(wèn)題 疏忽或遺漏選擇的測(cè)試人員需要有一定的系統(tǒng)經(jīng)驗(yàn) 或者軟件應(yīng)用領(lǐng)域的背景知識(shí) 也可以請(qǐng)其他的需求定義和系統(tǒng)分析人員幫助審查的原則站在客戶(hù)角度 從總體上看需求是否滿(mǎn)足盡可能多的了解應(yīng)用領(lǐng)域的背景知識(shí)對(duì)照現(xiàn)有的標(biāo)準(zhǔn)和規(guī)范去審查 比如習(xí)慣用語(yǔ)和約定 行業(yè)要求 國(guó)家標(biāo)準(zhǔn) 圖形用戶(hù)界面需求 硬件和網(wǎng)絡(luò)標(biāo)準(zhǔn)借鑒類(lèi)似的成熟軟件 確定測(cè)試的標(biāo)準(zhǔn) 比如規(guī)模 復(fù)雜性 測(cè)試性 質(zhì)量和可靠性等 2020 3 30 23 詳細(xì)測(cè)試 追根問(wèn)底 產(chǎn)品需求說(shuō)明書(shū)的根本要求完整 說(shuō)明要完全 不能有遺漏和丟失準(zhǔn)確 說(shuō)明是否正確 有沒(méi)有錯(cuò)誤精確 清晰 描述是否清楚 容易看懂和理解一致 描述是否自相矛盾 與其他功能有沒(méi)有沖突貼切 功能是否符合客戶(hù)的要求 信息描述是否多余合理 資源的使用與預(yù)算和進(jìn)度是否相配代碼無(wú)關(guān) 只寫(xiě)說(shuō)明 與實(shí)現(xiàn)無(wú)關(guān)可測(cè) 功能和性能是否可測(cè) 2020 3 30 24 詳細(xì)測(cè)試 用語(yǔ)檢查 文檔中的用語(yǔ)需要規(guī)范有些用語(yǔ)會(huì)造成誤解和理解困難 有些是個(gè)人的習(xí)慣需要重點(diǎn)審查帶有如下用詞的描述 是否確切表達(dá)不確切 不可測(cè)的說(shuō)法 比如 良好 迅速 廉價(jià) 高效 穩(wěn)定等缺乏必要考證 而下結(jié)論的描述 比如 因此 顯然 當(dāng)然等極端的描述 比如 總是 所有 沒(méi)有 從不等沒(méi)有說(shuō)明的描述 比如 已處理 已忽略 已消除等條件的假設(shè)缺陷 比如條件中缺少 否則 不可測(cè)的模糊信息 比如 有時(shí) 通常 幾乎 諸如此類(lèi) 依此類(lèi)推 2020 3 30 25 使用檢查表 檢查表是測(cè)試文檔缺陷最有效的手段之一檢查表的建立是需要深思熟濾的提問(wèn) 針對(duì)不同類(lèi)型的文檔建立的潛在缺陷的查找清單檢查表需要不斷的維護(hù)如何使用檢查表獲取需要測(cè)試的文檔獲取相關(guān)的檢查表 閱讀檢查表中的每一項(xiàng)審查文檔 對(duì)照檢查表中的每一項(xiàng)測(cè)試說(shuō)明描述的符合程度記錄不符合項(xiàng) 作出合適的說(shuō)明和解決措施 2020 3 30 26 檢查表舉例 見(jiàn)文件CheckList requirement xls 2020 3 30 27 不符合項(xiàng) 缺陷 的處理 反映產(chǎn)品的缺陷 不需要也不能修正產(chǎn)品 發(fā)現(xiàn)產(chǎn)品說(shuō)明書(shū)的缺陷后 應(yīng)該把它們?nèi)鐚?shí)并詳細(xì)的記錄下來(lái) 呈報(bào)給此軟件的最終負(fù)責(zé)人 對(duì)并此缺陷的處理情況進(jìn)行跟蹤缺陷列表應(yīng)該呈報(bào)給軟件的最終負(fù)責(zé)人 而不是給相關(guān)技術(shù)人員或技術(shù)主管 因?yàn)榧夹g(shù)人員可能會(huì)以在技術(shù)的實(shí)現(xiàn)上有難度為推托 拒絕對(duì)缺陷的修改 測(cè)試一個(gè)軟件最首要也是最重要的是測(cè)試其產(chǎn)品說(shuō)明書(shū) 在產(chǎn)品說(shuō)明書(shū)明確后 再制定具體的測(cè)試案例 2020 3 30 28 軟件文檔測(cè)試舉例 1 COPY功能是將數(shù)值復(fù)制到剪貼板中2 PASTE功能是將剪貼板中的數(shù)值粘帖回來(lái)3 SQRT按鈕是將輸入框中的數(shù)字開(kāi)平方 并將結(jié)果顯示在數(shù)字輸入框中 2020 3 30 29 軟件文檔測(cè)試舉例 4 當(dāng)用戶(hù)選擇CompactMemory選項(xiàng)時(shí) 程序?qū)⑧]件列表數(shù)據(jù)壓縮到可能與Huffman解析矩陣方法同樣大小的尺寸5 盡管使用的模擬連接通常不超過(guò)一百萬(wàn)個(gè) 但是該軟件最多允許一億個(gè) 沒(méi)有量化 不精確沒(méi)有作到與代碼無(wú)關(guān) 涉及到了算法 不可測(cè) 2020 3 30 30 小結(jié) 黑盒和白盒測(cè)試產(chǎn)品描述文檔的測(cè)試