第6章 視頻壓縮技術(shù),6.1 視頻壓縮的基本原理 6.2 靜止圖像壓縮 6.3 活動(dòng)圖像編碼 6.4 音頻壓縮的原理和標(biāo)準(zhǔn) 思考題和習(xí)題,6.1 視頻壓縮的基本原理,6.1.1 視頻信號(hào)壓縮的可能性 視頻數(shù)據(jù)中存在著大量的冗余， 即圖像的各像素?cái)?shù)據(jù)之間存在極強(qiáng)的相關(guān)性。 利用這些相關(guān)性， 一部分像素的數(shù)據(jù)可以由另一部分像素的數(shù)據(jù)推導(dǎo)出來， 結(jié)果視頻數(shù)據(jù)量能極大地壓縮， 有利于傳輸和存儲(chǔ)。 視頻數(shù)據(jù)主要存在以下形式的冗余。,1. 空間冗余 視頻圖像在水平方向相鄰像素之間、 垂直方向相鄰像素之間的變化一般都很小， 存在著極強(qiáng)的空間相關(guān)性。 特別是同一景物各點(diǎn)的灰度和顏色之間往往存在著空間連貫性， 從而產(chǎn)生了空間冗余， 常稱為幀內(nèi)相關(guān)性。,2. 時(shí)間冗余 在相鄰場(chǎng)或相鄰幀的對(duì)應(yīng)像素之間， 亮度和色度信息存在著極強(qiáng)的相關(guān)性。 當(dāng)前幀圖像往往具有與前、 后兩幀圖像相同的背景和移動(dòng)物體， 只不過移動(dòng)物體所在的空間位置略有不同， 對(duì)大多數(shù)像素來說， 亮度和色度信息是基本相同的， 稱為幀間相關(guān)性或時(shí)間相關(guān)性。,3. 結(jié)構(gòu)冗余 在有些圖像的紋理區(qū)， 圖像的像素值存在著明顯的分布模式。 如方格狀的地板圖案等。 已知分布模式， 可以通過某一過程生成圖像， 稱為結(jié)構(gòu)冗余。 4. 知識(shí)冗余 有些圖像與某些知識(shí)有相當(dāng)大的相關(guān)性。 如人臉的圖像有固定的結(jié)構(gòu)， 嘴的上方有鼻子， 鼻子的上方有眼睛， 鼻子位于臉部圖像的中線上。 這類規(guī)律性的結(jié)構(gòu)可由先驗(yàn)知識(shí)得到， 此類冗余稱為知識(shí)冗余。,5. 視覺冗余 人眼具有視覺非均勻特性， 對(duì)視覺不敏感的信息可以適當(dāng)?shù)厣釛墶?在記錄原始的圖像數(shù)據(jù)時(shí)， 通常假定視覺系統(tǒng)是線性的和均勻的， 對(duì)視覺敏感和不敏感的部分同等對(duì)待， 從而產(chǎn)生了比理想編碼(即把視覺敏感和不敏感的部分區(qū)分開來編碼)更多的數(shù)據(jù)， 這就是視覺冗余。 人眼對(duì)圖像細(xì)節(jié)、 幅度變化和圖像的運(yùn)動(dòng)并非同時(shí)具有最高的分辨能力。,人眼視覺對(duì)圖像的空間分解力和時(shí)間分解力的要求具有交換性， 當(dāng)對(duì)一方要求較高時(shí)， 對(duì)另一方的要求就較低。 根據(jù)這個(gè)特點(diǎn)， 可以采用運(yùn)動(dòng)檢測(cè)自適應(yīng)技術(shù)， 對(duì)靜止圖像或慢運(yùn)動(dòng)圖像降低其時(shí)間軸抽樣頻率， 例如每?jī)蓭瑐魉鸵粠?對(duì)快速運(yùn)動(dòng)圖像降低其空間抽樣頻率。,另外， 人眼視覺對(duì)圖像的空間、 時(shí)間分解力的要求與對(duì)幅度分解力的要求也具有交換性， 對(duì)圖像的幅度誤差存在一個(gè)隨圖像內(nèi)容而變的可覺察門限， 低于門限的幅度誤差不被察覺， 在圖像的空間邊緣(輪廓)或時(shí)間邊緣(景物突變瞬間)附近， 可覺察門限比遠(yuǎn)離邊緣處增大34倍， 這就是視覺掩蓋效應(yīng)。,根據(jù)這個(gè)特點(diǎn)， 可以采用邊緣檢測(cè)自適應(yīng)技術(shù)， 對(duì)于圖像的平緩區(qū)或正交變換后代表圖像低頻成分的系數(shù)細(xì)量化， 對(duì)圖像輪廓附近或正交變換后代表圖像高頻成分的系數(shù)粗量化； 當(dāng)由于景物的快速運(yùn)動(dòng)而使幀間預(yù)測(cè)編碼碼率高于正常值時(shí)進(jìn)行粗量化， 反之則進(jìn)行細(xì)量化。 在量化中， 盡量使每種情況下所產(chǎn)生的幅度誤差剛好處于可覺察門限之下， 這樣能實(shí)現(xiàn)較高的數(shù)據(jù)壓縮率而主觀評(píng)價(jià)不變。,6. 圖像區(qū)域的相同性冗余 在圖像中的兩個(gè)或多個(gè)區(qū)域所對(duì)應(yīng)的所有像素值相同或相近， 從而產(chǎn)生的數(shù)據(jù)重復(fù)性存儲(chǔ)， 這就是圖像區(qū)域的相似性冗余。 在這種情況下， 記錄了一個(gè)區(qū)域中各像素的顏色值， 與其相同或相近的區(qū)域就不再記錄各像素的值。 矢量量化方法就是針對(duì)這種冗余圖像的壓縮方法。,7. 紋理的統(tǒng)計(jì)冗余 有些圖像紋理盡管不嚴(yán)格服從某一分布規(guī)律， 但是在統(tǒng)計(jì)的意義上服從該規(guī)律， 利用這種性質(zhì)也可以減少表示圖像的數(shù)據(jù)量， 稱為紋理的統(tǒng)計(jì)冗余。 電視圖像信號(hào)數(shù)據(jù)存在的信息冗余為視頻壓縮編碼提供了可能。,6.1.2 視頻信號(hào)的數(shù)字化和壓縮 模擬電視信號(hào)(包括視頻和音頻)通過取樣、 量化后編碼 為二進(jìn)制數(shù)字信號(hào)的過程稱為模數(shù)變換(AD變換)或脈沖編碼調(diào)制(PCM， Pulse Coding Modulation)， 所得到的信號(hào)也稱為PCM信號(hào)， 其過程可用圖6-1(a)表示。 若取樣頻率等于fs、 用n比特量化， 則PCM信號(hào)的碼率為nfs(比特s)。 PCM編碼既可以對(duì)彩色全電視信號(hào)直接進(jìn)行， 也可以對(duì)亮度信號(hào)和兩個(gè)色差信號(hào)分別進(jìn)行， 前者稱為全信號(hào)編碼， 后者稱為分量編碼。,PCM信號(hào)經(jīng)解碼和插入濾波恢復(fù)為模擬信號(hào)， 如圖6-1(b)所示， 解碼是編碼的逆過程， 插入濾波是把解碼后的信號(hào)插補(bǔ)為平滑、 連續(xù)的模擬信號(hào)。 這兩個(gè)步驟合稱為數(shù)模變換（DA變換）或PCM解碼。,圖 6-1 電視信號(hào)的數(shù)字化和復(fù)原 (a) A/D變換； (b) D/A變換,1. 奈奎斯特取樣定理 理想取樣時(shí)， 只要取樣頻率大于或等于模擬信號(hào)中最高頻率的兩倍， 就可以不失真地恢復(fù)模擬信號(hào)， 稱為奈奎斯特取樣定理。 模擬信號(hào)中最高頻率的兩倍稱為折疊頻率。 2. 亞奈奎斯特取樣 按取樣定理， 若取樣頻率fs小于模擬信號(hào)最高頻率fmax的2倍會(huì)產(chǎn)生混疊失真， 但若巧妙地選擇取樣頻率， 令取樣后頻譜中的混疊分量落在色度分量和亮度分量之間， 就可用梳狀濾波器去掉混疊成分。,3. 均勻量化和非均勻量化 在輸入信號(hào)的動(dòng)態(tài)范圍內(nèi)， 量化間隔幅度都相等的量化稱為均勻量化或線性量化。 對(duì)于量化間距固定的均勻量化， 信噪比隨輸入信號(hào)幅度的增加而增加， 在強(qiáng)信號(hào)時(shí)固然可把噪波淹沒掉， 在弱信號(hào)時(shí)， 噪波的干擾就十分顯著。 為改善弱信號(hào)時(shí)的信噪比， 量化間距應(yīng)隨輸入信號(hào)幅度而變化， 大信號(hào)時(shí)進(jìn)行粗量化， 小信號(hào)時(shí)進(jìn)行細(xì)量化， 也就是采用非均勻量化(或稱非線性量化)。,非均勻量化有兩種方法， 一是把非線性處理放在編碼器前和解碼器后的模擬部分， 編、 解碼仍采用均勻量化， 在均勻量化編碼器之前， 對(duì)輸入信號(hào)進(jìn)行壓縮， 這樣等效于對(duì)大信號(hào)進(jìn)行粗量化， 小信號(hào)進(jìn)行細(xì)量化； 在均勻量化解碼器之后， 再進(jìn)行擴(kuò)張， 以恢復(fù)原信號(hào)。 另一種方法是直接采用非均勻量化器， 輸入信號(hào)大時(shí)進(jìn)行粗量化(量化間距大) ， 輸入信號(hào)小時(shí)細(xì)量化(量化間距小)。 也有采用若干個(gè)量化間距不等的均勻量化器， 當(dāng)輸入信號(hào)超過某一電平時(shí)進(jìn)入粗間距均勻量化器， 低于某一電平時(shí)進(jìn)入細(xì)間距量化器， 稱為準(zhǔn)瞬時(shí)壓擴(kuò)方式。,通常用Q表示量化， 用Q-1表示反量化。 量化過程相當(dāng)于由輸入值找到它所在的區(qū)間號(hào)， 反量化過程相當(dāng)于由量化區(qū)間號(hào)得到對(duì)應(yīng)的量化電平值。 量化區(qū)間總數(shù)遠(yuǎn)遠(yuǎn)少于輸入值的總數(shù)， 所以量化能實(shí)現(xiàn)數(shù)據(jù)壓縮。 很明顯， 反量化后并不能保證得到原來的值， 因此量化過程是一個(gè)不可逆過程， 用量化的方法來進(jìn)行壓縮編碼是一種非信息保持型編碼。 通常這兩個(gè)過程均可用查表方法實(shí)現(xiàn)， 量化過程在編碼端完成， 而反量化過程則在解碼端完成。,對(duì)量化區(qū)間標(biāo)號(hào)(量化值)的編碼一般采用等長(zhǎng)編碼方法。 當(dāng)量化分層總數(shù)為K時(shí)， 經(jīng)過量化壓縮后的二進(jìn)制數(shù)碼率為lbK比特量值。 在一些要求較高的場(chǎng)合， 可采用可變字長(zhǎng)編碼如哈夫曼編碼或算術(shù)編碼來進(jìn)一步提高編碼效率。,6.1.3 ITU-R BT.601分量數(shù)字系統(tǒng) 數(shù)字視頻信號(hào)是將模擬視頻信號(hào)經(jīng)過取樣、 量化和編碼后形成的。 模擬電視有PAL、 NTSC等制式， 必然會(huì)形成不同制式的數(shù)字視頻信號(hào)， 不便于國(guó)際數(shù)字視頻信號(hào)的互通。 1982年10月, 國(guó)際無線電咨詢委員會(huì)(CCIR， Consultative Committee for International Radio)通過了第一個(gè)關(guān)于演播室彩色電視信號(hào)數(shù)字編碼的建議， 1993年變更為ITU-R(國(guó)際電聯(lián)無線電通信部分， International Telecommunications Union-Radio communications Sector)BT.601分量數(shù)字系統(tǒng)建議。,BT.601建議采用了對(duì)亮度信號(hào)和兩個(gè)色差信號(hào)分別編碼的分量編碼方式， 對(duì)不同制式的信號(hào)采用相同的取樣頻率13.5 MHz， 與任何制式的彩色副載波頻率無關(guān)， 對(duì)亮度信號(hào)Y的取樣頻率為13.5 MHz。 由于色度信號(hào)的帶寬遠(yuǎn)比亮度信號(hào)的帶寬窄， 對(duì)色度信號(hào)U和V的取樣頻率為6.75 MHz。 每個(gè)數(shù)字有效行分別有720個(gè)亮度取樣點(diǎn)和360×2個(gè)色差信號(hào)取樣點(diǎn)。 對(duì)每個(gè)分量的取樣點(diǎn)都是均勻量化， 對(duì)每個(gè)取樣進(jìn)行8比特精度的PCM編碼。,這幾個(gè)參數(shù)對(duì)525行、 60場(chǎng)秒和625行50場(chǎng)秒的制式都是相同的。 有效取樣點(diǎn)是指只有行、 場(chǎng)掃描正程的樣點(diǎn)有效， 逆程的樣點(diǎn)不在PCM編碼的范圍內(nèi)。 因?yàn)樵跀?shù)字化的視頻信號(hào)中， 不再需要行、 場(chǎng)同步信號(hào)和消隱信號(hào)， 只要有行、 場(chǎng)(幀)的起始位置即可。 例如， 對(duì)于PAL制， 傳輸所有的樣點(diǎn)數(shù)據(jù)， 大約需要200 Mbs的傳輸速率， 傳輸有效樣點(diǎn)只需要160 Mbs左右的速率。 色度信號(hào)的取樣率是亮度信號(hào)取樣率的一半， 常稱作422格式， 可以理解為每一行里的Y、 U、 V的樣點(diǎn)數(shù)之比為422。,6.1.4 熵編碼 熵編碼(Entropy Coding)是一類無損編碼， 因編碼后的平均碼長(zhǎng)接近信源的熵而得名。 熵編碼多用可變字長(zhǎng)編碼(VLC， Variable Length Coding)實(shí)現(xiàn)。 其基本原理是對(duì)信源中出現(xiàn)概率大的符號(hào)賦以短碼， 對(duì)出現(xiàn)概率小的符號(hào)賦以長(zhǎng)碼， 從而在統(tǒng)計(jì)上獲得較短的平均碼長(zhǎng)。 所編的碼應(yīng)是即時(shí)可譯碼， 某一個(gè)碼不會(huì)是另一個(gè)碼的前綴， 各個(gè)碼之間無需附加信息便可自然分開。,1. 霍夫曼(Huffman)編碼 霍夫曼（Huffman）編碼是一種可變長(zhǎng)編碼, 編碼方法如圖6-2所示。 (1) 將輸入信號(hào)符號(hào)以出現(xiàn)概率由大至小為序排成一列。 (2) 將兩處最小概率的符號(hào)相加合成為一個(gè)新概率， 再按出現(xiàn)概率的大小排序。 (3) 重復(fù)步驟(2)， 直至最終只剩兩個(gè)概率。 (4) 編碼從最后一步出發(fā)逐步向前進(jìn)行， 概率大的符號(hào)賦予“0”碼， 另一個(gè)概率賦予“1”碼， 直至到達(dá)最初的概率排列為止。,圖 6-2 霍夫曼(Huffman)編碼,2. 算術(shù)編碼 霍夫曼編碼的每個(gè)代碼都要使用一個(gè)整數(shù)位， 如果一個(gè)符號(hào)只需要用2.5位就能表示， 但在霍夫曼編碼中卻必須用3個(gè)符號(hào)來表示， 因此它的效率較低。 與其相比， 算術(shù)編碼并不是為每個(gè)符號(hào)產(chǎn)生一個(gè)單獨(dú)的代碼， 而是使整條信息共用一個(gè)代碼， 增加到信息上的每個(gè)新符號(hào)都遞增地修改輸出代碼。,假設(shè)信源由4個(gè)符號(hào)S1、 S2、 S3和S4組成， 其概率模型如表6-1所示。 把各符號(hào)出現(xiàn)的概率表示在如圖6-3所示的單位概率區(qū)間之中， 區(qū)間的寬度代表概率值的大小， 各符號(hào)所對(duì)應(yīng)的子區(qū)間的邊界值， 實(shí)際上是從左到右各符號(hào)的累積概率。 在算術(shù)編碼中通常采用二進(jìn)制的小數(shù)來表示概率， 每個(gè)符號(hào)所對(duì)應(yīng)的概率區(qū)間都是半開區(qū)間， 如S1對(duì)應(yīng)0， 0.001)， S2對(duì)應(yīng)0.001， 0.011)。 算術(shù)編碼所產(chǎn)生的碼字實(shí)際上是一個(gè)二進(jìn)制小數(shù)值的指針， 該指針指向所編的符號(hào)所對(duì)應(yīng)的概率區(qū)間。,表6-1 信源概率模型和算術(shù)編碼過程,圖 6-3 算術(shù)編碼過程示意圖,若將符號(hào)序列S3S3S2S4進(jìn)行算術(shù)編碼， 序列的第一個(gè)符號(hào)為S3， 我們用指向圖6-3中第3個(gè)子區(qū)間的指針來代表這個(gè)符號(hào)， 由此得到碼字0.011。 后續(xù)的編碼將在前面編碼指向的子區(qū)間內(nèi)進(jìn)行。 將0.011， 0.111)區(qū)間再按符號(hào)的概率值劃分成4份， 對(duì)第二個(gè)符號(hào)S3， 指針指向0.1001,碼 字串變?yōu)?.1001。 然后S3所對(duì)應(yīng)的子區(qū)間又被劃分為4份， 開始對(duì)第3個(gè)符號(hào)進(jìn)行編碼。,算術(shù)編碼的基本法則如下： (1) 初始狀態(tài)： 編碼點(diǎn)(指針?biāo)柑?C0=0， 區(qū)間寬度A0=1。 (2) 新編碼點(diǎn)： Ci= Ci-1 + Ai-1×Pi。 式中, Ci-1是原編碼點(diǎn)； Ai-1是原區(qū)間寬度； Pi所編符號(hào)對(duì)應(yīng)的累積概率。 新區(qū)間寬度Ai= Ai-1×pi 式中， pi為所編符號(hào)對(duì)應(yīng)的概率。,根據(jù)上述法則， 對(duì)序列S3S3S2S4進(jìn)行算術(shù)編碼的過程如下： 第一個(gè)符號(hào)S3： C1=C0+A0×P1=0+1×0.011=0.011 A1=A0×p1=1×0.1=0.1 0.011,0.111 第二個(gè)符號(hào)S3： C2=C1+A1×P2 =0.011+0.1×0.011=0.1001 A2=A1×p2=0.1×0.1=0.01 0.1001,0.1101,第三個(gè)符號(hào)S2： C3=C2+A2×P3=0.1001+0.01×0.001=0.10011 A3=A2×p3=0.01×0.01=0.0001 0.10011,0.10101 第四個(gè)符號(hào)S4： C4=C3+A3×P4=0.10011+0.0001×0.111=0.1010011 A4=A3×p4=0.0001×0.001=0.0000001 0.1010011,0.10101),3. 游程編碼 游程編碼(RLC， Run Length Coding)是一種十分簡(jiǎn)單的壓縮方法， 它將數(shù)據(jù)流中連續(xù)出現(xiàn)的字符用單一的記號(hào)來表示。 例如， 字符串5310000000000110000000012000000000000可以壓縮為5310-10110-08120-12， 其中， “-”后面兩個(gè)數(shù)字是“-”前面數(shù)字的連續(xù)個(gè)數(shù)。 游程編碼的壓縮率不高， 但編碼、 解碼的速度快， 仍被得到廣泛的應(yīng)用， 特別是在變換編碼后再進(jìn)行游程編碼， 有很好的效果。,6.1.5 預(yù)測(cè)編碼和變換編碼 1. DPCM原理 基于圖像的統(tǒng)計(jì)特性進(jìn)行數(shù)據(jù)壓縮的基本方法就是預(yù)測(cè)編碼。 它是利用圖像信號(hào)的空間或時(shí)間相關(guān)性， 用已傳輸?shù)南袼貙?duì)當(dāng)前的像素進(jìn)行預(yù)測(cè)， 然后對(duì)預(yù)測(cè)值與真實(shí)值的差預(yù)測(cè)誤差進(jìn)行編碼處理和傳輸。 目前用得較多的是線性預(yù)測(cè)方法， 全稱為差值脈沖編碼調(diào)制(DPCM， Differential Pulse Code Modulation)， 簡(jiǎn)稱為DPCM。,利用幀內(nèi)相關(guān)性(像素間、 行間的相關(guān))的DPCM稱為幀內(nèi)預(yù)測(cè)編碼。 如果對(duì)亮度信號(hào)和兩個(gè)色差信號(hào)分別進(jìn)行DPCM編碼， 對(duì)亮度信號(hào)采用較高的取樣率和較多位數(shù)編碼， 對(duì)色差信號(hào)用較低的取樣率和較少位數(shù)編碼， 構(gòu)成時(shí)分復(fù)合信號(hào)后再進(jìn)行DPCM編碼， 這樣做使總碼率更低。,利用幀間相關(guān)性(鄰近幀的時(shí)間相關(guān)性)的DPCM被稱為幀間預(yù)測(cè)編碼， 因幀間相關(guān)性大于幀內(nèi)相關(guān)性， 其編碼效率更高。 若把這兩種DPCM組合起來， 再配上變字長(zhǎng)編碼技術(shù)， 能取得較好的壓縮效果。 DPCM是圖像編碼技術(shù)中研究得最早， 且應(yīng)用最廣的一種方法， 它的一個(gè)重要的特點(diǎn)是算法簡(jiǎn)單， 易于硬件實(shí)現(xiàn)。 圖6-4（a）是它的示意圖， 編碼單元主要包括線性預(yù)測(cè)器和量化器兩部分。,編碼器的輸出不是圖像像素的樣值f(m， n)， 而是該樣值與預(yù)測(cè)值g(m， n)之間的差值， 即預(yù)測(cè)誤差e(m， n)的量化值E(m， n)。 根據(jù)圖像信號(hào)統(tǒng)計(jì)特性的分析， 給出一組恰當(dāng)?shù)念A(yù)測(cè)系數(shù)， 使預(yù)測(cè)誤差主要分布在“0”附近， 經(jīng)非均勻量化， 采用較少的量化分層， 圖像數(shù)據(jù)得到壓縮。 而量化噪聲又不易被人眼所覺察， 圖像的主觀質(zhì)量并不明顯下降。 圖6-4（b）是DPCM解碼器， 其原理和編碼器剛好相反。,圖 6-4 DPCM原理 (a) DPCM編碼器； (b) DPCM解碼器,DPCM編碼性能主要取決于預(yù)測(cè)器的設(shè)計(jì)， 預(yù)測(cè)器設(shè)計(jì)要確定預(yù)測(cè)器的階數(shù)N以及各預(yù)測(cè)系數(shù)。 圖6-5是一個(gè)4階預(yù)測(cè)器的示意圖， 圖6-5(a)表示預(yù)測(cè)器所用的輸入像素和被預(yù)測(cè)像素之間的位置關(guān)系， 圖6-5(b)表示預(yù)測(cè)器的結(jié)構(gòu)。,圖 6-5 四階預(yù)測(cè)器 (a) 輸入像素和預(yù)測(cè)像素； (b) 預(yù)測(cè)器構(gòu)成,2. 變換編碼原理 圖像變換編碼是將空間域里描述的圖像， 經(jīng)過某種變換(如傅立葉變換、 離散余弦變換、 沃爾什變換等)在變換域中進(jìn)行描述。 這樣可以將圖像能量在空間域的分散分布變?yōu)樵谧儞Q域的相對(duì)集中分布， 便于用“Z”(zig-zag)字形掃描、 自適應(yīng)量化、 變長(zhǎng)編碼等進(jìn)一步處理， 完成對(duì)圖像信息的有效壓縮。,先從一個(gè)實(shí)例來看一個(gè)域的數(shù)據(jù)變換到另一個(gè)域后其分布是如何改變的。 以1×2像素構(gòu)成的子圖像， 即相鄰兩個(gè)像素組成的子圖像為例， 每個(gè)像素3比特編碼， 取07共8個(gè)灰度級(jí)， 兩個(gè)像素有64種可能的灰度組合， 由圖6-6（a）中的64個(gè)坐標(biāo)點(diǎn)表示。 一般圖像相鄰像素之間存在著很強(qiáng)的相關(guān)性， 絕大多數(shù)的子圖像中相鄰兩像素灰度級(jí)相等或很接近， 也就是說在x1=x2直線附近出現(xiàn)的概率大， 如圖6-6（a）中的陰影區(qū)所示。,現(xiàn)在將坐標(biāo)系逆時(shí)針旋轉(zhuǎn)45°， 如圖6-6(b)所示。 在新的坐標(biāo)系y1、 y2中， 概率大的子圖像區(qū)位于y1軸附近。 表明變量y1、 y2之間的聯(lián)系比變量x1、 x2之間的聯(lián)系在統(tǒng)計(jì)上更加獨(dú)立， 方差也重新分布。 在原來坐標(biāo)系中子圖像的兩個(gè)像素具有較大的相關(guān)性， 能量的分布也比較分散，,兩者具有大致相同的方差， 而在變換后的坐標(biāo)系中， 子圖像的兩個(gè)像素之間的相關(guān)性大大減弱， 能量分布向y1軸集中， y1的方差也遠(yuǎn)大于y2， 這種變換后坐標(biāo)軸上方差不均勻分布正是正交變換編碼能夠?qū)崿F(xiàn)圖像數(shù)據(jù)壓縮的理論根據(jù)。 若按照人的視覺特性， 只保留方差較大的那些變換系數(shù)分量， 就可以獲得更大的數(shù)據(jù)壓縮比， 這就是視覺心理編碼的方法。,圖 6-6 變換編碼的物理意義 (a) 子圖像在陰影區(qū)的概率較大； (b) 旋轉(zhuǎn)變換后,把一個(gè)n×n像素的子圖像看成n2維坐標(biāo)系中的一個(gè)坐標(biāo)點(diǎn)， 在n2維坐標(biāo)系中每一個(gè)坐標(biāo)點(diǎn)對(duì)應(yīng)于n2個(gè)像素。 這個(gè)坐標(biāo)點(diǎn)各維的數(shù)值是其對(duì)應(yīng)的n2個(gè)像素的灰度組合。 圖像在n2維變換域中， 相關(guān)性大大下降。 因此用變換后的系數(shù)進(jìn)行編碼， 比直接用圖像數(shù)據(jù)編碼能獲得更大的數(shù)據(jù)壓縮。,變換編碼將被處理數(shù)據(jù)按照某種變換規(guī)則映射到另一個(gè)域中去處理， 圖像編碼采用二維正交變換的方式， 若將整個(gè)圖像作為一個(gè)二維矩陣， 變換編碼的計(jì)算量太大。 所以將一幅圖像分成一個(gè)個(gè)小圖像塊， 通常是8×8或16×16小方塊， 每個(gè)圖像塊可以看成為一個(gè)二維數(shù)據(jù)矩陣， 變換編碼以這些小圖像塊為單位進(jìn)行， 變換編碼把統(tǒng)計(jì)上密切相關(guān)的像素構(gòu)成的矩陣通過線性正交變換， 變成統(tǒng)計(jì)上較為相互獨(dú)立， 甚至完全獨(dú)立的變換系數(shù)所構(gòu)成的矩陣。,信息論的研究表明， 變換前后圖像的信息量并無損失， 可以通過反變換得到原來的圖像值。 統(tǒng)計(jì)分析表明， 正交變換后， 數(shù)據(jù)的分布向新坐標(biāo)系中的少數(shù)坐標(biāo)集中， 集中于少數(shù)的直流或低頻分量的坐標(biāo)點(diǎn)。 正交變換并不壓縮數(shù)據(jù)量， 但它去除了大部分相關(guān)性， 數(shù)據(jù)分布相對(duì)集中， 可以依據(jù)人的視覺特性， 對(duì)變換系數(shù)進(jìn)行量化， 允許引入一定量的誤差， 只要它們?cè)谥亟▓D像中造成的圖像失真不明顯， 或者能達(dá)到所要求的觀賞質(zhì)量就行。 量化可以增加許多不用編碼的0系數(shù)， 然后再對(duì)量化后的系數(shù)施行變長(zhǎng)編碼。,3. 離散余弦變換(DCT) 在常用的正交變換中， DCT(Discrete Cosine Transform)變換的性能接近最佳， 是一種準(zhǔn)最佳變換。 DCT變換矩陣與圖像內(nèi)容無關(guān)， 是因?yàn)樗鼧?gòu)造成對(duì)稱的數(shù)據(jù)序列， 避免了子圖像輪廓處的跳躍和不連續(xù)現(xiàn)象。 DCT變換也有快速算法(FDCT)， 在圖像編碼的應(yīng)用中， 大都采用二維DCT變換。,對(duì)于一般圖像， 在二維DCT的變換域中， 幅值較大的系數(shù)集中在低頻域， 圖6-7是一幅圖像上的兩個(gè)8×8像素矩陣及其二維DCT系數(shù)矩陣。 圖6-7(a)是背景區(qū)域的一小塊圖像， 它的系數(shù)矩陣左上角的50為DCT系數(shù)的直流分量， 它標(biāo)志著該像素塊的亮度平均值， 其余系數(shù)皆為零， 說明在變換域中系數(shù)的分布是相當(dāng)集中的。 圖6-7(b)為細(xì)節(jié)較多的區(qū)域里的一小塊圖像， 其系數(shù)的分布集中的程度要差一些。,圖 6-7 圖像塊的DCT變換 (a) 背景部分圖像塊的DCT； (b) 細(xì)節(jié)部分圖像塊的DCT,圖 6-8 Z字形掃描,對(duì)自然景物圖像的統(tǒng)計(jì)表明， DCT系數(shù)矩陣的能量集中在反映水平和垂直低頻分量的左上角。 量化以后， DCT系數(shù)矩陣變得稀疏， 位于矩陣右下角的高頻分量系數(shù)大部分被量化為零。 游程編碼的思想是， 用適當(dāng)?shù)膾呙璺绞綄⒁蚜炕亩SDCT系數(shù)矩陣變換為一維序列， 所用的掃描方式應(yīng)使序列中連零的數(shù)目盡量多， 或者說使連零的游程盡量長(zhǎng)， 對(duì)游程的長(zhǎng)度進(jìn)行游程編碼(RLC， Run Length Coding)以替代逐個(gè)地傳送這些零值， 就能進(jìn)一步實(shí)現(xiàn)數(shù)據(jù)壓縮。 常用的Z(zig-zag)字形掃描如圖6-8所示。,游程編碼的方法是將掃描得到的一維序列轉(zhuǎn)化為一個(gè)由二元數(shù)組(run， level)組成的數(shù)組序列， 其中run表示連零的長(zhǎng)度， level表示這串連零之后出現(xiàn)的一個(gè)非零值。 當(dāng)剩下的所有系數(shù)都為零時(shí)， 用一個(gè)符號(hào)EoB(End of Block)來表示。,4. 混合編碼 混合編碼是近年來廣泛采用的方法， 這種方法充分利用各種單一壓縮方法的長(zhǎng)處， 以期在壓縮比和效率之間取得最佳的平衡。 如廣泛流行的JPEG和MPEG壓縮方法都是典型的混合編碼方案。,6.2 靜止圖像壓縮,靜止圖像是指內(nèi)容不變的圖像， 也可能是不活動(dòng)場(chǎng)景圖像或活動(dòng)場(chǎng)景圖像在某一瞬時(shí)的“凍結(jié)”圖像。 靜止圖像編碼是指對(duì)單幅圖像的編碼。 靜止圖像用于傳送文件、 模型、 圖片和現(xiàn)場(chǎng)的實(shí)況監(jiān)視圖像。 實(shí)況監(jiān)視每隔一定時(shí)間間隔更換一幅新的圖像， 可以不連續(xù)地看到現(xiàn)場(chǎng)的情況， 是一種準(zhǔn)實(shí)時(shí)的監(jiān)視。,靜止圖像編碼有以下要求： (1) 清晰度 靜止圖像中的細(xì)節(jié)容易被觀察到， 要求有更高的清晰度。 (2) 逐漸浮現(xiàn)的顯示方式 在窄帶傳輸時(shí)為了減少等待時(shí)間， 要求編碼能提供逐漸浮現(xiàn)的顯示方式， 即先傳模糊的整幅圖像， 再逐漸變清晰。 (3) 抗干擾 一幅圖像的傳輸時(shí)間較長(zhǎng)， 各種干擾噪聲顯示時(shí)間較長(zhǎng)， 影響觀看， 要求編碼與調(diào)制方式都有較強(qiáng)的抗干擾能力。,圖6-9是靜止圖像編碼傳輸系統(tǒng)示意圖。 攝像機(jī)攝取的全電視信號(hào)， 經(jīng)數(shù)據(jù)采集卡捕獲一幀圖像， 數(shù)字化后存放在幀存儲(chǔ)器中。 也可用數(shù)字?jǐn)z像機(jī)直接得到數(shù)字圖像。 編碼器對(duì)存放在幀存儲(chǔ)器中數(shù)字圖像進(jìn)行壓縮編碼， 因時(shí)間充?？刹捎幂^復(fù)雜的算法提高壓縮比， 保持較高的清晰度。 經(jīng)調(diào)制后送到信道中傳輸。 接收的過程則相反， 信號(hào)經(jīng)解調(diào)、 解碼后送幀存儲(chǔ)器， 然后以一定的方式讀出， 經(jīng)DA變換后在顯示屏上顯示， 或被拷貝下來。,圖 6-9 靜止圖像數(shù)字傳輸系統(tǒng),靜止圖像的主要編碼方法是DPCM和變換編碼， 由于小波變換編碼在靜止圖像的壓縮中取得了重大進(jìn)展， 在新標(biāo)準(zhǔn)JPEG2000和MPEG-4中均采用小波變換編碼。,6.2.1 JPEG標(biāo)準(zhǔn) JPEG是國(guó)際標(biāo)準(zhǔn)化組織(ISO， International Organization for Standardization）國(guó)際電工技術(shù)委員會(huì)(IEC， International Electrotechnical Commission)和ITU-T的聯(lián)合圖片專家小組(Joint Photographic Experts Group)的縮寫。 1991年3月JPEG建議（ISOIEC10918號(hào)標(biāo)準(zhǔn)）“多灰度靜止圖像的數(shù)字壓縮編碼(通常簡(jiǎn)稱為JPEG標(biāo)準(zhǔn))”正式通過， 這是一個(gè)適用于彩色和單色多灰度或連續(xù)色調(diào)靜止數(shù)字圖像的壓縮標(biāo)準(zhǔn)， 包括無損壓縮及基于離散余弦變換和霍夫曼編碼的有損壓縮兩個(gè)部分。基本JPEG算法操作可分成6個(gè)步驟， 如圖6-10所示。,圖 6-10 JPEG算法步驟,1. 彩色坐標(biāo)轉(zhuǎn)換 彩色坐標(biāo)轉(zhuǎn)換是要去掉數(shù)據(jù)冗余量， 不屬于JPEG算法， JPEG是獨(dú)立于彩色坐標(biāo)的。 壓縮可采用不同坐標(biāo)(如RGB、 YUV、 YIQ等)的圖像數(shù)據(jù)。,2. 離散余弦變換 JPEG采用8×8子塊的二維離散余弦變換算法。 在編碼器的輸入端， 把原始圖像(U、 V的像素是Y的一半)順序地分割成一系列8×8的子塊。 在8×8圖像塊中， 像素值變化緩慢， 具有較低的空間頻率。 進(jìn)行二維8×8離散余弦變換可以將圖像塊的能量集中在極少數(shù)系數(shù)上， DCT的(0， 0)元素是塊的平均值， 其他元素表明在每個(gè)空間頻率下的譜能為多少。 一般地， 離原點(diǎn)(0， 0)越遠(yuǎn)， 元素衰減得越快。,3. 量化 為了達(dá)到壓縮數(shù)據(jù)的目的， 對(duì)DCT系數(shù)需作量化處理。 量化的作用是在保持一定質(zhì)量的前提下， 丟棄圖像中對(duì)視覺效果影響不大的信息。 量化是多對(duì)一映射， 是造成DCT編碼信息損失的根源。 JPEG標(biāo)準(zhǔn)中采用線性均勻量化器， 量化過程為對(duì)64個(gè)DCT系數(shù)除以量化步長(zhǎng)并四舍五入取整， 量化步長(zhǎng)由量化表決定。,量化表元素因DCT系數(shù)位置和彩色分量的不同而取不同的值。 量化表為8×8矩陣， 與DCT變換系數(shù)一一對(duì)應(yīng)。 量化表一般由用戶規(guī)定(JPGE標(biāo)準(zhǔn)中給出了參考值)， 可根據(jù)人類視覺系統(tǒng)和壓縮圖像類型的特點(diǎn)進(jìn)行優(yōu)化， 并作為編碼器的一個(gè)輸入。 量化表中元素為1255之間的任意整數(shù)， 其值規(guī)定了所對(duì)應(yīng)DCT系數(shù)的量化步長(zhǎng)。 DCT變換系數(shù)除以量化表中對(duì)應(yīng)位置的量化步長(zhǎng)并舍去小數(shù)部分后， 多數(shù)變?yōu)榱悖?從而達(dá)到了壓縮的目的。 表6-2和表6-3分別給出了JPEG標(biāo)準(zhǔn)所推薦的亮度量化表和色度量化表。,表6-2 JPEG亮度量化步長(zhǎng),表6-3 JPEG色度量化步長(zhǎng),4. 差分編碼 64個(gè)變換數(shù)經(jīng)量化后， DCT的(0， 0)元素是直流分量(DC系數(shù))， 即空間域中64個(gè)圖像采樣值的均值， 相鄰8×8子塊之間的DC系數(shù)一般有很強(qiáng)的相關(guān)性， 變化應(yīng)該較緩慢， JPEG標(biāo)準(zhǔn)對(duì)DC系數(shù)采用DPCM編碼(差分編碼)方法， 即對(duì)相鄰像素塊之間的DC系數(shù)的差值進(jìn)行編碼能將它們中的大多數(shù)數(shù)值減小。,5. 游程編碼 其余63個(gè)交流分量(AC系數(shù))采用游程編碼。 如果從左到右， 從上到下地掃描塊， 零元素不集中， 因此采用從左上角開始沿對(duì)角線方向Z字形掃描。 量化后的AC系數(shù)通常會(huì)有許多零值。 6. 熵編碼 為了進(jìn)一步壓縮數(shù)據(jù)， 對(duì)DC碼和AC游程編碼的碼字再作統(tǒng)計(jì)特性的熵編碼， JPEG標(biāo)準(zhǔn)建議采用霍夫曼編碼和自適應(yīng)二進(jìn)制算術(shù)編碼。,6.2.2 JPEG2000標(biāo)準(zhǔn) JPEG2000是JPEG工作組制定的最新的靜止圖像壓縮編碼的國(guó)際標(biāo)準(zhǔn)， 標(biāo)準(zhǔn)號(hào)為ISOIECl5444(ITU-TT.800)， 并于2000年底公布。 JPEG2000主要由6個(gè)部分組成。 第一部分為編碼的核心部分， 提供優(yōu)秀的壓縮性能和壓縮靈活性， 提供隨機(jī)訪問碼流的機(jī)制；,第二部分為編碼擴(kuò)展； 第三部分為Motion JPEG2000(MJP2000)； 第四部分為一致性測(cè)試； 第五部分為參考軟件； 第六部分為復(fù)合圖像文件格式。,1. JPEG2000采用了小波變換(DWT) JPEG基本算法中的基于子塊的DCT被離散小波變換(DWT, Discrete Wavelet Transform)取代。 DWT自身具有多分辨率圖像表示性能， 它可以在大范圍去掉圖像的相關(guān)性， 將圖像能量分布更好地集中， 使壓縮效率得到提高。,一個(gè)圖像可以被分成若干大小相等的片(tile)， 片的具體尺寸可以由用戶根據(jù)應(yīng)用需要來決定， 片包括所有的圖像分量， 假設(shè)圖像有3個(gè)分量(YUV)且圖像被分成4個(gè)片， 實(shí)際上指的是對(duì)應(yīng)的4個(gè)Y片， 4個(gè)U片和4個(gè)V片， 即每個(gè)片由3個(gè)分量片組成。 各個(gè)分量片獨(dú)立編、 解碼， 可以從碼流中單獨(dú)提取某個(gè)或某些片， 解碼后重建圖像。 這種片劃分和片獨(dú)立編碼的機(jī)制有利于從碼流中提取和解碼某個(gè)圖像區(qū)域。,圖 6-11 DWT對(duì)靜止圖像進(jìn)行三級(jí)分解 一級(jí)分解示意圖； (b) 二級(jí)分解示意圖； (c) 三級(jí)分解示意圖,對(duì)分量片做不同級(jí)別的小波變換， 小波變換的作用是對(duì)圖像進(jìn)行多分辨率分解， 即把原始圖像分解成不同空間、 不同頻率的子圖像， 這些子圖像實(shí)際上是由小波變換后產(chǎn)生的系數(shù)構(gòu)成， 即系數(shù)圖像。 對(duì)一個(gè)原始圖像或分量片進(jìn)行3級(jí)小波分解的例子如圖6-11所示, 每一級(jí)分解都把圖像分解成4個(gè)不同空間、 不同頻帶的子圖像(也稱為子帶圖像或子帶分量)。 低頻分量LL(包含圖像的低頻信息， 即圖像的主要特征， 低頻分量可再次分解)；水平分量LH(包含較多的水平邊緣信息)； 垂直分量HL(包含較多的垂直邊緣信息)； 對(duì)角分量HH(包含水平和垂直邊緣信息)。,從圖6-11可以看出， 分解級(jí)數(shù)越多， 圖像分辨率等級(jí)越多， 每一級(jí)分解圖像的分辨率降為前一級(jí)的一半。 在解碼端， 如果只想得到低于原始圖像分辨率圖像， 就只需對(duì)部分的子帶圖像(子帶分量)進(jìn)行解碼。,小波變換本身并不具有數(shù)據(jù)壓縮能力， 變換前， 原始圖像的數(shù)據(jù)量(像素值的個(gè)數(shù))與變換后各系數(shù)的數(shù)據(jù)量（系數(shù)個(gè)數(shù)）相等， 變換的意義在于使圖像的能量分布（頻域內(nèi)的系數(shù)分布）發(fā)生了改變， 圖像的主要能量集中在低頻區(qū) (LL區(qū))， 而水平、 垂直、 對(duì)角線部分的高頻能量較少。 通過量化， 把大量幅值較小系數(shù)抑制為零， 從而壓縮數(shù)據(jù)量， 要進(jìn)一步大幅度壓縮數(shù)據(jù)量， 還需進(jìn)行合適的編碼處理(如算術(shù)編碼)， 用更少的比特表示那些量化后不為零的小波系數(shù)。,2. JPEG2000同時(shí)支持有損和無損壓縮 小波變換可以使用可逆的Le Gall(5， 3)濾波器， 也可以使用不可逆的Daubechies(9， 7)雙正交濾波器。 可逆濾波器支持無損編碼， 不可逆濾波器不支持無損編碼但能達(dá)到更高的壓縮比。,3. JPEG2000支持RoI處理 在處理圖像時(shí)， 往往對(duì)部分感興趣區(qū)域(RoI， Region of Interest)有較高的質(zhì)量要求， 希望是無損壓縮。 為了得到較高的壓縮效率， 把圖像的其他部分看成是背景， 進(jìn)行壓縮比較高的有損壓縮。 在傳輸圖像碼流時(shí)， RoI區(qū)域可先于圖像的其他部分被傳輸， 如果壓縮碼流被截取， 則在一定程度上可保證RoI的質(zhì)量。,JPEG2000系統(tǒng)為RoI區(qū)域產(chǎn)生一個(gè)RoI模板， 用來標(biāo)志RoI區(qū)域。 選擇適當(dāng)?shù)谋壤蜃觭， 將位于RoI模板區(qū)域之外的背景量化系數(shù)的幅值除以2s， 得到的數(shù)值小于RoI模板中最小的量化系數(shù)幅值。 這樣處理后， 位于RoI模板內(nèi)的量化系數(shù)所處的位平面高于背景系數(shù)所處的位平面， 在進(jìn)行位平面算術(shù)編碼的時(shí)候， 先對(duì)RoI域中的量化系數(shù)編碼， 然后再對(duì)背景系數(shù)編碼。 因?yàn)镽oI區(qū)域的位平面高于背景區(qū)域， RoI區(qū)域的壓縮碼流位于整個(gè)碼流的前端， 當(dāng)碼流被截?cái)鄷r(shí)RoI區(qū)域中的數(shù)據(jù)在一定程度上受到保護(hù)， 保證了RoI的重構(gòu)質(zhì)量。,在解碼器端， 將解碼后的量化系數(shù)與RoI閾值相比較， 若小于RoI閾值， 則判定是背景系數(shù)， 對(duì)其進(jìn)行反向比例放大， 即乘以2s， 進(jìn)行恢復(fù)， 得到重構(gòu)時(shí)所需的小波量化系數(shù)。,4. 可隨機(jī)獲取部分壓縮碼流 JPEG2000系統(tǒng)將碼流分層組織， 每一層含有一定的質(zhì)量信息， 在前面層的基礎(chǔ)上改善圖像質(zhì)量。 在網(wǎng)絡(luò)上進(jìn)行圖像瀏覽時(shí)， 可先傳送第一層， 給用戶一個(gè)較粗的圖像， 然后再傳送第二層， 圖像質(zhì)量在第一層的基礎(chǔ)上得到改善， 這樣一層一層地傳輸下去， 可得到不同質(zhì)量的重構(gòu)圖像。 如果傳輸了所有的層， 則可獲得完整的圖像壓縮碼流。 JPEG2000由于采用了這種思想， 使得壓縮生成的碼流具有質(zhì)量可分級(jí)性和分辨率可分級(jí)性。,5. 隨機(jī)存取圖像某個(gè)區(qū)域 有時(shí)只需得到巨幅圖像的部分區(qū)域， JPEC2000標(biāo)準(zhǔn)利用小波變換的局部特性， 可識(shí)別部分圖像區(qū)域在子帶上的映射。 每個(gè)碼塊是獨(dú)立進(jìn)行編碼的， 通過選取含有此部分圖像區(qū)域信息的碼塊壓縮碼流， 進(jìn)行解碼， 可以重構(gòu)出所要的目標(biāo)區(qū)域。 RoI技術(shù)在很大程度上為實(shí)現(xiàn)隨機(jī)存取碼流提供了一種渠道。,6. 抗誤碼性能 在JPEG2000標(biāo)準(zhǔn)中， 采取了一些措施來提高圖像壓縮碼流的抗誤碼性能。 將量化后的子帶系數(shù)分成若干個(gè)小的編碼單元碼塊， 對(duì)每個(gè)碼塊進(jìn)行獨(dú)立的編解碼。 這樣， 當(dāng)一個(gè)碼塊的位流發(fā)生比特錯(cuò)誤時(shí)， 只會(huì)把錯(cuò)誤引起的影響限制在本碼塊中。 壓縮碼流數(shù)據(jù)采用了稱為包(packet)的結(jié)構(gòu)單元， 每個(gè)包的數(shù)據(jù)前面含有再同步信息， 允許發(fā)生錯(cuò)誤后重新恢復(fù)同步。,7. 視覺頻率加權(quán) 在JPEG2000中， 可選擇使用對(duì)不同空間頻率有不同敏感度的視覺系統(tǒng)模型。 這一模型用對(duì)比度敏感函數(shù)(CSF， Contrast Sensitivity Function）來衡量。 由于CSF函數(shù)是由變換系數(shù)的視覺頻率來決定的， 因此， 給小波變換后的每個(gè)子帶， 分配一個(gè)CSF值。 CSF值的確定依據(jù)觀察重構(gòu)圖像的視覺條件而定， 有兩種選取辦法： 固定的視覺加權(quán)編碼和視覺累進(jìn)加權(quán)編碼。,固定的視覺加權(quán)僅由視覺條件決定。 對(duì)分層組織碼流， 由于碼流可以被截?cái)啵?在不同的截?cái)嗵帲?有不同的質(zhì)量， 因此進(jìn)行觀察的視覺條件是不同的。 比如， 對(duì)于低比特率的情況，缺少細(xì)節(jié)， 壓縮圖像質(zhì)量差， 適合進(jìn)行遠(yuǎn)距離觀察； 隨著比特?cái)?shù)的增加， 細(xì)節(jié)越來越多， 壓縮圖像質(zhì)量逐漸變好， 則適合近距離觀測(cè)。 因此， CSF值在不同的截?cái)嗵帒?yīng)有不同的值， 這便是視覺累進(jìn)加權(quán)編碼。 在進(jìn)行視覺累進(jìn)加權(quán)編碼時(shí)， 不需改變系數(shù)值或者量化步長(zhǎng)， 而是根據(jù)視覺權(quán)值， 改變失真矩陣， 計(jì)算碼塊對(duì)每個(gè)層的貢獻(xiàn)， 通過改變碼塊編碼通道在分層組織位流中的順序來實(shí)現(xiàn)。,JPEG2000具有的多種特點(diǎn)使得它具有廣泛的應(yīng)用前景， 由于采用小波變換和最新的壓縮算法， 因此能夠獲得較好的壓縮比， 且對(duì)壓縮碼流可進(jìn)行靈活處理， 如隨機(jī)獲取部分壓縮碼流、 累進(jìn)式傳輸、 實(shí)現(xiàn)RoI以及壓縮碼流具有較強(qiáng)的容錯(cuò)性能等。 這些特點(diǎn)可應(yīng)用于因特網(wǎng)、 移動(dòng)通信、 打印、 掃描、 數(shù)字?jǐn)z像、 遙感、 傳真、 醫(yī)療、 數(shù)字圖書館以及電子商務(wù)等方面的圖像壓縮。,身份確認(rèn)方面， 將身份證頭像照片用高清晰度的數(shù)字相機(jī)攝制， 經(jīng)JPEG2000壓縮存儲(chǔ)在數(shù)據(jù)庫中。 在需要進(jìn)行身份驗(yàn)證的場(chǎng)合， 驗(yàn)證終端可以根據(jù)證件代號(hào)通過因特網(wǎng)從數(shù)據(jù)庫里直接獲取壓縮的圖像數(shù)據(jù)， 在本地迅速恢復(fù)出大幅高清晰的頭像照片。,在醫(yī)療方面， JPEG2000編碼器對(duì)醫(yī)生指定的病變部位予以無損壓縮， 而對(duì)圖像中不影響診斷結(jié)果的其他部分采用高達(dá)100倍的壓縮率予以視覺可接收壓縮。 壓縮之后的圖像完全保存了疾病特征， 而數(shù)據(jù)量非常小。 醫(yī)生可以把它迅速發(fā)送到千里之外的醫(yī)學(xué)專家那里， 并以最快的速度得到權(quán)威的確診。,許多著名的圖形圖像公司如Corel、 Pegasus等都開始在新開發(fā)的圖像工具軟件中集成JPEG2000圖像壓縮技術(shù)， Microsoft、 Netscape等瀏覽器領(lǐng)域的公司也開始將JPEG2000新技術(shù)集成到下一個(gè)版本的瀏覽器中。 JPEG2000會(huì)在21世紀(jì)圖像壓縮領(lǐng)域發(fā)揮重要作用。,6.2.3 數(shù)字照相機(jī) 數(shù)字照相機(jī)也稱數(shù)碼相機(jī)， 是利用靜止圖像壓縮的典型例子， 數(shù)字照相機(jī)是光學(xué)技術(shù)、 微電子技術(shù)與數(shù)字信號(hào)處理技術(shù)相結(jié)合的產(chǎn)物。 其基本原理是利用普通照相機(jī)的光學(xué)系統(tǒng)， 把被攝圖像投射到圖像傳感器上， 傳感器把光信號(hào)轉(zhuǎn)化成電信號(hào)， 再經(jīng)過模數(shù)(AD)轉(zhuǎn)換、 數(shù)字圖像處理和壓縮， 最終以數(shù)字形式存儲(chǔ)到磁盤、 可移動(dòng)快閃存儲(chǔ)卡等數(shù)字存儲(chǔ)器中。 圖6-12是數(shù)字照相機(jī)結(jié)構(gòu)示意圖。,圖 6-12 數(shù)字照相機(jī)結(jié)構(gòu)示意圖,1. 數(shù)碼相機(jī)的優(yōu)點(diǎn) (1) 瞬時(shí)顯示攝影效果 數(shù)碼相機(jī)的液晶顯示屏在拍攝照片后立即顯示拍攝的效果， 對(duì)不滿意圖像可以立即刪去重拍。 (2) 更寬的曝光控制范圍 數(shù)碼相機(jī)的成像器件光電靈敏度很高， 在低照度條件下也能夠較好地曝光。 用MOS開關(guān)方式控制光電器件的感光時(shí)間， 控制最小時(shí)間可達(dá)微秒級(jí)， 在環(huán)境照度很高時(shí)， 數(shù)碼相機(jī)可以得到合適曝光的圖像。,(3) 圖像逼真 數(shù)碼相機(jī)的數(shù)字圖像可直接輸入計(jì)算機(jī)， 用制造廠商提供的處理軟件進(jìn)行特技處理。 也可用Photoshop那樣的通用軟件處理。 對(duì)于在拍攝過程中出現(xiàn)的諸如色溫、 清晰度、 像差、 曝光量等技術(shù)缺陷， 可以通過后處理得到一定程度的修正， 能大大提高所拍攝圖像的質(zhì)量。 特別是對(duì)于光學(xué)像差中的畸變， 數(shù)字圖像已經(jīng)有了很好的補(bǔ)償修正手段。 也可以對(duì)圖像進(jìn)行任意的修改、 編輯、 合成、 分解和景物置換等處理。,(4) 圖像通信便捷 數(shù)碼相機(jī)以數(shù)字信號(hào)的形式記錄影像， 以計(jì)算機(jī)圖像文件格式保存圖像。 這樣既可以利用最先進(jìn)的通信手段快速傳輸， 也可以通過Email和網(wǎng)頁在Internet上傳輸， 更可以通過衛(wèi)星地面工作站做超遠(yuǎn)距離的圖像傳輸。,(5) 準(zhǔn)確復(fù)制和長(zhǎng)期保存 由數(shù)碼相機(jī)得到的數(shù)字影像在復(fù)制過程中不存在任何信號(hào)損失。 以計(jì)算機(jī)文件形式保存的數(shù)字圖像可以永久保存在硬盤或光盤中。 (6) 設(shè)備簡(jiǎn)單處理速度快 數(shù)碼成像系統(tǒng)只需要數(shù)碼相機(jī)和通用計(jì)算機(jī)及其輸出設(shè)備即可完成整個(gè)圖像制作過程， 設(shè)備簡(jiǎn)單， 處理速度快。,2. 數(shù)碼相機(jī)技術(shù)指標(biāo) (1) 成像器件像素?cái)?shù) 成像器件的像素?cái)?shù)對(duì)數(shù)碼相機(jī)的圖像質(zhì)量起決定性的作用。 目前一般數(shù)碼相機(jī)CCD像素?cái)?shù)在300萬以上。 數(shù)碼相機(jī)的成像器件像素?cái)?shù)在很大程度上決定了相機(jī)圖像的最高分辨率。 分辨率用于評(píng)價(jià)數(shù)碼圖像的質(zhì)量， 數(shù)碼相機(jī)攝取數(shù)碼照片的分辨率是可選擇的。 數(shù)碼相機(jī)的像素指標(biāo)只有一個(gè)， 而所拍攝的數(shù)字圖像的分辨率指標(biāo)卻可以有許多個(gè)， 分辨率越高的照片要求有越大的存儲(chǔ)空間存儲(chǔ)數(shù)據(jù)。,(2) AD轉(zhuǎn)換精度 評(píng)價(jià)數(shù)碼照片的圖像質(zhì)量除了分辨率外， 還有照片色彩的編碼位數(shù)。 編碼位數(shù)決定了在AD轉(zhuǎn)換過程中的精確程度， 一般來說， 24（3×8）位的色彩已經(jīng)相當(dāng)豐富， 能適應(yīng)絕大部分的拍攝要求。,(3) 光電傳感器 電荷耦合器件(CCD)傳感器和互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器是兩類主要的圖像傳感器。 CCD數(shù)碼相機(jī)經(jīng)歷了較長(zhǎng)的發(fā)展時(shí)期， 目前在成像質(zhì)量、 分辨率上優(yōu)于CMOS， 而CMOS數(shù)碼相機(jī)在產(chǎn)品價(jià)格， 耗電量等方面又有獨(dú)特的優(yōu)勢(shì)。 目前高檔專業(yè)型數(shù)碼相機(jī)多為CCD型， 廉價(jià)普及型數(shù)碼相機(jī)多為CMOS型。,近年來CMOS成像器件發(fā)展很快， 已經(jīng)出現(xiàn)百萬像素的CMOS器件， CMOS器件的最大優(yōu)點(diǎn)是把信號(hào)放大、 模數(shù)轉(zhuǎn)換、 數(shù)字圖像處理等電路集成到一塊芯片上， 形成了片上成像系統(tǒng)(Camera on Chip)， 這對(duì)數(shù)碼相機(jī)的小型化、 微型化具有重要意義。 CMOS成像器件通過開關(guān)電路進(jìn)行像素信號(hào)傳輸， 使用者可以控制開關(guān)電路有選擇地獲取圖像信息， 形成智能像素器件(Active Pixel Sensor)， 該器件對(duì)于工業(yè)自動(dòng)化控制， 機(jī)器人視覺等領(lǐng)域中的成像系統(tǒng)具有重要的價(jià)值。,(4) DSP能力 DSP能力較強(qiáng)的相機(jī)能夠較高水平地完成諸如黑色補(bǔ)償、 光照度補(bǔ)償、 缺陷像素修補(bǔ)、 濾色器補(bǔ)償插值、 校正、 白平衡、 假彩色抑制等操作， 補(bǔ)償了許多由于硬件所造成的圖像缺陷， 圖像質(zhì)量達(dá)到了較為完善的程度。 越是高檔的數(shù)碼相機(jī)， DSP的處理能力越強(qiáng)。 一些數(shù)碼相機(jī)還能顯示選單， 可以設(shè)定一些DSP圖像處理中的參數(shù)， 從而獲得某些特殊效果。,DSP還能從圖像中提取曝光量信息和對(duì)焦信息， 以控制鏡頭和快門， 使相機(jī)處在最佳工作狀態(tài)。 DSP還能完成圖像壓縮的任務(wù)， 好的圖像壓縮算法可以在壓縮圖像存儲(chǔ)量的同時(shí)很好地保持圖像細(xì)節(jié)的信息， 解壓縮后顯示的圖像與原圖像比較看不出任何區(qū)別。 高的壓縮比可以節(jié)省數(shù)碼相機(jī)的存儲(chǔ)空間， 在有限的空間中存儲(chǔ)更多高質(zhì)量的圖片。 快的壓縮速度可以在相機(jī)完成一次曝光以后迅速回到待機(jī)狀態(tài)， 提高相機(jī)的連拍速度。,(5) 取景器 數(shù)碼相機(jī)的取景方式有光學(xué)取景和LCD取景。 光學(xué)取景中有平視取景和通過鏡頭(TTL， Through The Lens)取景之分。 平視取景結(jié)構(gòu)簡(jiǎn)單， 但由于取景器光軸與鏡頭光軸不重合， 眼睛看到的景象與實(shí)際拍攝景象存在著位置誤差和尺寸誤差， 近距離拍攝時(shí)， 誤差更明顯。 TTL取景的取景光軸和成像光軸是重合的， 取景誤差較小， 取景范圍可達(dá)到實(shí)拍畫面的95%。 專業(yè)級(jí)的數(shù)碼相機(jī)采用TTL取景方式。,液晶顯示(LCD， Liquid Crystal Display)取景是指利用液晶顯示屏顯示DSP預(yù)處理后的圖像。 LCD取景所見即所得， 取景視場(chǎng)精度高。 但LCD取景顯示的像素要遠(yuǎn)遠(yuǎn)低于CCDCMOS得到的像素。 LCD取景目前還存在跟蹤速度不快、 對(duì)比度差、 視覺失真、 背景光源影響、 視角小等缺點(diǎn)。 大部分?jǐn)?shù)碼相機(jī)都帶有一個(gè)LCD取景器與平視取景器互為補(bǔ)充。,(6) 圖像存儲(chǔ) 低檔數(shù)碼相機(jī)以內(nèi)裝存儲(chǔ)器為主， 當(dāng)存儲(chǔ)器存滿后， 必須暫停拍攝， 要等到存儲(chǔ)的圖像數(shù)據(jù)輸出之后才能繼續(xù)拍攝。 對(duì)于存儲(chǔ)卡型的照相機(jī)， 只要有備用的存儲(chǔ)卡， 就可以像換膠卷一樣換存儲(chǔ)卡。 PC卡是用得最多的可移動(dòng)式存儲(chǔ)器， 能插入一個(gè)PCMCIA插槽。 有的數(shù)碼相機(jī)PC卡是惟一的存儲(chǔ)器， 也有的數(shù)碼相機(jī)有內(nèi)部存儲(chǔ)器， 仍支持PC卡作為擴(kuò)展存儲(chǔ)器， 存在PC卡中的數(shù)字圖像可以通過PC卡讀取器輸入計(jì)算機(jī)。,PC卡的優(yōu)點(diǎn)是可以大量存儲(chǔ)照片。 可移動(dòng)式存儲(chǔ)卡還有閃爍存儲(chǔ)卡(Flash Card)， 也采用PC卡標(biāo)準(zhǔn)， 可直接插入便攜式計(jì)算機(jī)的PC卡插口將信息輸入， 也可用PC卡讀取器輸入計(jì)算機(jī)。 Compact Flash存儲(chǔ)卡采用標(biāo)準(zhǔn)ATAIDE接口， 配有專門的PCMCIA轉(zhuǎn)換卡， 筆記本計(jì)算機(jī)的用戶可直接在PCMCIA插槽上使用。,3. 數(shù)字圖像處理(DSP) DSP是數(shù)碼相機(jī)的主要部件， 所有功能都是由DSP來實(shí)現(xiàn)的。 DSP控制著CCD、 AD轉(zhuǎn)換器件、 LCD和控制面板。 (1) 暗電流補(bǔ)償 補(bǔ)償?shù)姆椒ㄊ窃谄骷耆诠獾臈l件下先測(cè)出各像素的暗電流值， 從拍攝后圖像的像素值中減去相應(yīng)的暗電流值。,(2) 鏡頭光照度補(bǔ)償 由于鏡頭的漸暈效應(yīng)， 即使拍攝目標(biāo)是一個(gè)受均勻光照的物面， 成像器件受到的照度仍是不均勻的， 器件邊緣所受的光照度較小， 對(duì)于同一鏡頭， 照度差是有固定規(guī)律的， 通過DSP數(shù)字補(bǔ)償， 等效于成像器件得到均勻的照度。,(3) 缺陷像素修補(bǔ) 成像器件的幾百萬個(gè)像素中總有一定數(shù)量的疵點(diǎn)， 在完全遮光條件下數(shù)碼相機(jī)讀取像素灰度值時(shí)， 一些“亮點(diǎn)”就是疵點(diǎn)位置。 通常用插值的方法來實(shí)現(xiàn)缺陷像素的修補(bǔ)， 用周圍像素的灰度值推算出缺陷像素的灰度值。,(4) 彩色校正 彩色校正就是通過調(diào)整三基色光的增益， 使成像器件的光譜特性與顯示或打印設(shè)備的光譜特性一致， 使顯示或打印圖像的色彩更加完美。 通常是通過一個(gè)變換矩陣來改變紅、 綠、 藍(lán)三基色光的增益， 同時(shí)保證白平衡。,(5) 自動(dòng)聚焦和自動(dòng)曝光 聚焦圖像比未聚焦圖像的輪廓更加分明， 紋理細(xì)節(jié)更加清晰。 聚焦圖像的高頻分量更大一些。 用數(shù)字高通濾波獲取不同焦距時(shí)輸入圖像的高頻分量并進(jìn)行比較， 高頻分量的最大值對(duì)應(yīng)著最佳聚焦。 為了簡(jiǎn)化計(jì)算， 只對(duì)圖像的一部分進(jìn)行濾波處理就能達(dá)到同樣的效果。,自動(dòng)曝光以圖像平均亮度為參考， 調(diào)節(jié)光圈和改變圖像傳感器的曝光參數(shù)。 為了防止亮的背景引起主要物體曝光不足， 暗的背景又使主要物體曝光過度， 根據(jù)主要物體一般位于照片中央這一特點(diǎn)， 將攝取的圖像分成中央和周邊兩部分， 分別計(jì)算其亮度， 并加權(quán)不同的經(jīng)驗(yàn)值。,(6) 校正 數(shù)字圖像的顯示和打印設(shè)備中， 像素的灰度值與所顯示圖像中對(duì)應(yīng)的亮度值呈非線性關(guān)系。 通過校正， 顯示或打印的圖像能夠正確反映被攝景物的灰度值。 (7) 濾色器補(bǔ)償插值 光電器件是通過濾色器得到圖像的三基色信息的， 每個(gè)像素只得到了一種基色的信息， 即R、 C、 B(或Cy、 Mg、 Ye、 G)中的一種顏色。 像素的其他顏色就必須由其周圍像素的顏色信息插值得到。,(8) 輪廓增強(qiáng) 濾色器起了低通濾波的作用， 圖像的輪廓變得平滑。 DSP增強(qiáng)圖像的輪廓， 而圖像的噪聲不能被放大。 先找到灰度變化大的輪廓像素， 計(jì)算輪廓像素與前一像素的Y分量差值， 將Y分量差值放大并疊加到原像素Y值上。 噪聲造成的假輪廓像素少、 灰度變化小， 要將差值低于設(shè)定閾值的假輪廓信號(hào)去掉以保證處理后圖像的真實(shí)性。,(9) 圖像壓縮 數(shù)碼相機(jī)的存儲(chǔ)空間有限， 獲取的數(shù)字圖像必須經(jīng)過壓縮， 以前的數(shù)碼相機(jī)采用JPEG標(biāo)準(zhǔn)， 最新的數(shù)碼相機(jī)則采用JPEG2000標(biāo)準(zhǔn)用小波變換進(jìn)行壓縮。,4. 模式控制 數(shù)碼照相機(jī)一般提供照相(Camera)、 顯示(Display)和計(jì)算機(jī)(Computer)三種模式。 在照相模式時(shí)， 系統(tǒng)實(shí)現(xiàn)拍攝、 處理圖像信息的功能； 在顯示模式時(shí)， 可以觀察已拍攝的照片， 有編輯功能可修改照片； 在計(jì)算機(jī)模式時(shí)， 可將數(shù)碼相機(jī)的圖像信息傳送到計(jì)算機(jī)之中。,照相模式要實(shí)現(xiàn)曝光控制、 自動(dòng)對(duì)焦控制、 閃光控制、 數(shù)字圖像的獲取以及DSP處理等操作， 有一套完善的控制流程。 數(shù)碼相機(jī)在接通電源后首先是對(duì)閃光燈系統(tǒng)的主電容進(jìn)行充電。 相機(jī)的各種拍攝方式、 測(cè)光方式、 對(duì)焦方式、 分辨率、 白平衡等參數(shù)可以進(jìn)入設(shè)置選單進(jìn)行修改。 在待機(jī)狀態(tài)時(shí)， 光電傳感器不斷地輸出圖像， 圖像經(jīng)DSP預(yù)處理后， 作為曝光和對(duì)焦的依據(jù)， 對(duì)鏡頭進(jìn)行曝光和對(duì)焦的粗調(diào)。 同時(shí)DSP在預(yù)處理后將低分辨率的畫面實(shí)時(shí)地輸出到LCD顯示屏上， 供攝影者取景。,處于待機(jī)狀態(tài)的數(shù)碼相機(jī)接到拍攝命令后， 進(jìn)入拍攝狀態(tài)， 相機(jī)迅速對(duì)曝光和聚焦進(jìn)行細(xì)調(diào)， 并鎖定相應(yīng)的參數(shù)。 若景物照度不夠， 打開防紅眼燈照明； 在快門動(dòng)作的瞬間進(jìn)行閃光。 當(dāng)相機(jī)處于自拍狀態(tài)時(shí)， 快門動(dòng)作啟動(dòng)自拍延時(shí)， 通常為812 s， 在延時(shí)階段給出LED閃爍或蜂鳴聲提示。 在完成一次曝光后， DSP進(jìn)一步處理所獲得的數(shù)字圖像， 壓縮圖像信息，將剛拍攝的圖像顯示在LCD上， 由攝影者來決定取舍。 當(dāng)攝影者確認(rèn)之后， 將圖像存儲(chǔ)在相機(jī)的存儲(chǔ)體中， 相機(jī)又回到了待機(jī)狀態(tài)。,6.3 活動(dòng)圖像編碼,6.3.1 概述 活動(dòng)圖像信號(hào)， 就是電視信號(hào)， 數(shù)字化后的電視信號(hào)稱為數(shù)字電視信號(hào)。 活動(dòng)圖像的編碼要求實(shí)時(shí)和高效。 圖6-13為活動(dòng)圖像編碼傳輸系統(tǒng)的方框圖。 系統(tǒng)中有兩個(gè)傳輸緩沖存儲(chǔ)器， 隨著圖像內(nèi)容的變化， 活動(dòng)圖像編碼輸出是不均勻碼流， 與信道的傳輸特性不相適應(yīng)， 利用緩沖存儲(chǔ)器來存儲(chǔ)數(shù)據(jù)流， 保證數(shù)據(jù)能不間斷地勻速輸出。,圖 6-13 活動(dòng)圖像數(shù)字傳輸系統(tǒng),不同應(yīng)用場(chǎng)合對(duì)圖像質(zhì)量要求是不同的， 數(shù)字電視要播出新聞、 體育比賽、 文藝節(jié)目， 對(duì)圖像的質(zhì)量要求很高； 會(huì)議電視畫面中人數(shù)少、 運(yùn)動(dòng)少、 背景不變， 對(duì)圖像質(zhì)量的要求降低； 而電視電話圖像是單人頭像， 只有臉部表情的變化， 對(duì)圖像質(zhì)量的要求最低。 通常把圖像編碼分為下面幾個(gè)應(yīng)用層次：,(1) 標(biāo)準(zhǔn)數(shù)字電視 圖像分辨率為720×576， 采用ISO MPEG-2標(biāo)準(zhǔn)， 約8 Mb/s的碼率可以達(dá)到演播室級(jí)的圖像質(zhì)量要求。 地面廣播時(shí)， 采用現(xiàn)代數(shù)字調(diào)制技術(shù)， 可在一路8 MHz信道傳送4路標(biāo)準(zhǔn)數(shù)字電視。 (2) 會(huì)議電視： 圖像分辨率為352×288， 采用ITU-T H.261建議， 碼率為P×64 kbs(P=130)， 屬中、 低速碼率的圖像壓縮。 一般認(rèn)為， 碼率為384 kbs(P=6)以上時(shí)， 圖像質(zhì)量才比較滿意。,(3) 數(shù)字影碟機(jī)等 圖像分辨率為352×288， 國(guó)際標(biāo)準(zhǔn)為MPEG-1， 碼率為1.5 Mbs， 其中約1.2 Mbs用于圖像， 其余用于聲音和同步。 可達(dá)到VHS錄像帶圖像質(zhì)量。 (4) 可視電話 圖像分辨率為176×144， 采用ITU-T H263建議， 碼率為64 kbs以下， 經(jīng)調(diào)制解調(diào)后， 能在現(xiàn)有的模擬電話線上傳送活動(dòng)的彩色電視電話圖像， 因此也稱為極低碼率的圖像編碼。,(5) 高清晰度電視 圖像分辨率可高達(dá)1920×1080， 具有兩倍于現(xiàn)有標(biāo)準(zhǔn)的水平和垂直清晰度， 采用ISO MPEG-2標(biāo)準(zhǔn)， 碼率約為20 Mbs。 活動(dòng)圖像的壓縮編碼利用每幅圖像內(nèi)部的相關(guān)性進(jìn)行幀內(nèi)壓縮編碼， 有變換編碼和預(yù)測(cè)編碼兩種基本類型。 還利用相鄰幀之間的相關(guān)性進(jìn)行幀間壓縮編碼， 主要是運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)和混合編碼。 混合編碼是變換編碼和預(yù)測(cè)編碼相結(jié)合的編碼方法。 H.261、 H.263、 MPEG-1、 MPEG-2和MPEG-4標(biāo)準(zhǔn)都采用了混合編碼方案。,6.3.2 幀間預(yù)測(cè)編碼 幀間預(yù)測(cè)將畫面分為三種區(qū)域。 (1) 背景區(qū) 相鄰的幀背景區(qū)的絕大部分?jǐn)?shù)據(jù)相同， 幀間相關(guān)性很強(qiáng)。 (2) 運(yùn)動(dòng)物體區(qū) 若將物體運(yùn)動(dòng)近似看作簡(jiǎn)單的平移， 則相鄰幀的運(yùn)動(dòng)區(qū)的數(shù)據(jù)也基本相同。 假如能采用某種位移估值方法對(duì)位移量進(jìn)行“運(yùn)動(dòng)補(bǔ)償”， 那么兩幀的運(yùn)動(dòng)區(qū)之間的相關(guān)性也是很強(qiáng)的。,(3)