- 相關(guān)推薦
基于融合細分的紋理圖像重構(gòu)模型
摘要：針對分段迭代曲線擬合存在的重建區(qū)域輪廓不連續(xù)、重建區(qū)域尺寸有誤差等問題，提出了一種基于融合細分的紋理圖像重構(gòu)模型。首先提取原始圖像的分割區(qū)域，經(jīng)過輪廓跟蹤與下采樣得到區(qū)域形狀的特征向量;然后利用三重逼近與三重插值統(tǒng)一的融合細分方法，重建區(qū)域輪廓曲線;最后合成區(qū)域紋理，得到紋理圖像重構(gòu)結(jié)果。在多幅自然場景圖像上進行實驗驗證，并給出相應(yīng)的實驗結(jié)果和分析。實驗結(jié)果表明，所提模型正確有效，具有和人類視覺特性相符合的重構(gòu)結(jié)果; 所提算法能夠減少圖像重建時的處理時間，并在圖像質(zhì)量主觀評價指標上明顯優(yōu)于多區(qū)域圖像重建算法。
關(guān)鍵詞：紋理圖像重構(gòu);融合細分;紋理合成;圖像分割
一、引言
隨著數(shù)字多媒體技術(shù)的發(fā)展，人們對高效的圖像信息處理提出了更高的要求。現(xiàn)有的基于像素/塊的圖像處理技術(shù)忽略了圖像的層級結(jié)構(gòu)，無法直接用于內(nèi)容分析;而基于對象的又難以滿足圖像處理在通用性方面的需求[1]。因此，如何找到一種更加有效的圖像表征方法一直是圖像處理領(lǐng)域的研究熱點與難點問題。
紋理是表達圖像內(nèi)容的一個非常重要的屬性，它廣泛存在于各類圖像中。紋理圖像通常構(gòu)成圖像或視頻的靜止背景。圖像中的紋理分為兩大類：不重要主觀細節(jié)紋理和重要主觀細節(jié)紋理[2]。由于人類視覺系統(tǒng)固有的缺陷，人眼對平滑區(qū)域的敏感性遠高于紋理密集區(qū)域，圖像中的紋理通常是人眼不關(guān)注的那部分內(nèi)容，因此紋理細節(jié)的變化不會影響對原始紋理的主觀理解[3]。
近年來，基于樣圖的紋理合成在圖像修復(fù)、壓縮編碼、紋理傳輸?shù)确矫嬗兄鴱V泛的應(yīng)用[4-6]。Efros等[7]提出一種計算較簡單的Image Quilting算法，通過計算紋理重疊區(qū)域的累積誤差和最小誤差路徑進行紋理拼接。而旋轉(zhuǎn)的Wang Tiles 紋理合成算法[8]能夠克服Wang Tiles 存在的樣圖利用不完全、切割路徑非最優(yōu)、中心和拐角區(qū)域不匹配等缺點。
圖像中的線結(jié)構(gòu)是指用來定義目標形狀的輪廓或劃分區(qū)域的邊界，是圖像的形狀特征表達[9-10]。早期的形狀描述方法使用二進制圖像，基于二進制邊緣的方法有很多，例如多邊形近似、曲率的頻域表示等。Zhang等[11]系統(tǒng)闡述了兩類圖像形狀的表示算法：一類是基于輪廓，另一類是基于區(qū)域。每一類形狀表示算法可分為結(jié)構(gòu)方法和全局方法，并適用于空域和變換域。
利用圖像的線結(jié)構(gòu)與紋理特性，文獻[12]提出了一種基于分段迭代曲線擬合的多區(qū)域圖像重建算法。包含了大量紋理的多區(qū)域重建結(jié)果用于構(gòu)建圖像或視頻的靜止背景，而圖像的前景是駿馬、蒼鷹或美女等，視頻的前景是飛馳的獵豹、飛翔的蒼鷹或游泳的美女等。由人類視覺系統(tǒng)的感知特性可知，人眼的視覺注意力主要集中于上述前景，而靜止背景的視覺關(guān)注度是低的，尤其是紋理靜止背景[12]。基于線結(jié)構(gòu)和紋理特性的圖像重建方法適用于構(gòu)建圖像與視頻的靜止背景圖像。
但是，利用分段迭代曲線擬合重建的區(qū)域輪廓曲線是不連續(xù)的，需使用膨脹算法進行修復(fù)，從而造成重建區(qū)域的尺寸存在誤差，因此會引起重建質(zhì)量差的問題。針對上述問題，提出利用三重逼近與三重插值統(tǒng)一的融合細分方法，重建區(qū)域輪廓曲線;將合成的區(qū)域紋理填充到重建的區(qū)域輪廓曲線中，從而得到紋理圖像重構(gòu)結(jié)果。實驗結(jié)果表明本文算法重構(gòu)的圖像質(zhì)量良好，圖像質(zhì)量的主觀評價指標明顯優(yōu)于多區(qū)域圖像重建算法。
圖1是本文提出的基于融合細分的紋理圖像重構(gòu)模型結(jié)構(gòu)流程，主要包括預(yù)處理、融合細分和重構(gòu)紋理圖像3個階段。
預(yù)處理階段首先利用圖像分割與區(qū)域融合方法獲得原始紋理圖像的多個區(qū)域及其索引號;然后通過輪廓跟蹤與下采樣，獲得代表區(qū)域輪廓結(jié)構(gòu)特征的有序序列。
融合細分階段利用三重逼近與三重插值統(tǒng)一的融合細分方法，重建區(qū)域輪廓曲線。
重構(gòu)紋理圖像階段首先，得到包含區(qū)域紋理局部與全局特征的區(qū)域紋理樣本;然后，利用基于樣圖的紋理合成算法合成區(qū)域紋理;最后，將合成的區(qū)域紋理填充到重建的區(qū)域輪廓曲線中，實現(xiàn)紋理圖像重構(gòu)。
1.1預(yù)處理
首先，原始圖像被分割為許多包含同質(zhì)顏色與紋理特征的小分割區(qū)域[13-14]，同時考慮到紋理樣本選擇對分割結(jié)果是敏感的，空間緊鄰的小分割區(qū)域必須合并成較大的區(qū)域，每個區(qū)域獲得一個唯一的索引號。
然后，利用輪廓跟蹤算法[10-11]得到一個由區(qū)域邊界曲線上的像素點組成的有序序列，按照隨機間隔進行有序抽樣即下采樣提取，得到代表區(qū)域輪廓形狀的特征向量(xs，ys)，其中s是向量元素在區(qū)域輪廓曲線上的位置序號。
1.2融合細分
為了得到插值與逼近統(tǒng)一的融合細分方法，本文用新的角度觀察三重逼近細分。
首先設(shè)定初始控制頂點P0i(i=1，2，…，n);其次在P0i和P0i+1之間的1/3和2/3處分別插入兩個新的頂點P03i+1和P03i+2：
P03i+1=23P0i+13P0i+1
P03i+2=13P0i+23P0i+1(1
然后定義位移Δi如下所示：
Δi=-127P0i-1+227P0i-127P0i+1(2
將P03i+1和P03i+2分別移到新位置P13i+1和P13i+2，位移分別是Δi和Δi+1;同時將P03i移到新位置P13i，其位移恰好是4Δi。根據(jù)上述步驟，經(jīng)過k次修改后，可得到一組新的控制頂點Pk+1。因此，三重逼近細分的遞推公式可歸納為：
Pk+13i=Pki-4Δki
Pk+13i+1=23Pki+13Pki+1-Δki
Pk+13i+2=13Pki+23Pki+1-Δki+1 (3
基于上述三重逼近細分的推導(dǎo)方法，可推出新的三重插值細分。首先，保持控制網(wǎng)格中P0i固定不動;然后，將新插入的頂點P03i+1和P03i+2移到新位置P13i+1和P13i+2，位移分別為Δ′3i+1和Δ′3i+2，其位移方向恰好與三重逼近細分的頂點位移方向相反。Δ′3i+1和Δ′3i+2通過線性加權(quán)組合得到，并且滿足細分曲線的收斂性和光滑性[15-16]，定義如下：
Δ′3i+d=ωΔi+d-1+υΔi+2-d; d=1，2 (4)
其中：ω=32(1+μ)，υ=32(1-μ)， μ是自由參數(shù)。
根據(jù)式(4)定義的位移算子，得到三重插值細分新的表示：
P′k+13i=Pki
P′k+13i+1=23Pki+13Pki+1+ωΔki+υΔki+1
P′k+13i+2=13Pki+23Pki+1+υΔki+ωΔki+1 (5
然后，利用權(quán)值參數(shù)α(0≤α≤1)得到三重逼近與三重插值統(tǒng)一的融合細分。三重逼近細分規(guī)則和三重插值細分規(guī)則統(tǒng)一的表示：
Pk+13i=Pki-4αΔki
Pk+13i+1=23Pki+13Pki+1-αΔki+(1-α)(ωΔki+υΔki+1)
Pk+13i+2=13Pki+23Pki+1-αΔki+1+(1-α)(υΔki+ωΔki+1) (6
顯然，式(3)和式(5)均為式(6)的特殊情況。當α=1時，式(6)代表三重逼近細分;當α=0時，式(6)代表三重插值細分;當0<α<1時，式(6)可生成介于三重逼近細分和三重插值細分之間的細分曲線。
圖2 給出了一簇由融合細分生成的從逼近到插值的細分曲線，權(quán)值參數(shù)α從里到外依次為1.0，0.8，0.6，0.4，0.2，0。最里層的實線為逼近細分曲線，最外層的實線為插值細分曲線，中間4條虛線是介于逼近細分和插值細分之間的細分曲線。實驗證明，融合細分中的權(quán)值參數(shù)α能調(diào)節(jié)細分曲線的插值特性與逼近特性。
最后，進一步整理式(6)，得到三重融合細分方法新的表示：
Pk+13i=a0Pki-1+a1Pki+a0Pki+1
Pk+13i+1=b0Pki-1+b1Pki+b2Pki+1+b3Pki+2
Pk+13i+2=b3Pki-1+b2Pki+b1Pki+1+b0Pki+2 (7)
其中： a0=427α， a1=1-827α， b0=127-127(1-α)(ω+1)， b1=1627+127(1-α)(2+2ω-υ)， b2=1027+127(1-α)(-1-ω+2υ)， b3=-127(1-α)υ， 0≤α≤1，ω=32(1+μ)，υ=32(1-μ)，μ是自由參數(shù)。實驗證明，當1/5<μ<1/3時，三重逼近與三重插值統(tǒng)一的融合細分生成的細分極限曲線可達到C2連續(xù)[17]。
1.3重構(gòu)紋理圖像
首先，利用自回歸統(tǒng)計分析模型對區(qū)域內(nèi)部紋理進行分析;然后，選擇包含區(qū)域紋理局部與全局特征信息的區(qū)域紋理樣本，合成區(qū)域紋理[7-8];最后，把合成的區(qū)域紋理填充到重建的區(qū)域輪廓曲線中，得到紋理圖像重構(gòu)結(jié)果。具體的過程示例如圖3所示。
二、實驗結(jié)果與分析
為驗證本文給出的基于融合細分的紋理圖像重構(gòu)模型的正確性與有效性，選取包含大量紋理的自然場景圖像進行實驗，并分別使用文獻[12]算法和本文算法進行紋理圖像重建�；贑++語言實現(xiàn)算法。實驗環(huán)境為3.3GHz，Intel Core i3處理器，內(nèi)存2GB。融合細分中的自由參數(shù)μ=3/10，α=0.27。
由實驗結(jié)果(圖4～8)可知，本文的紋理圖像重構(gòu)質(zhì)量優(yōu)于對比算法。影響紋理圖像重構(gòu)質(zhì)量的因素主要有兩個：
1) 區(qū)域輪廓曲線重建結(jié)果。如果重建的輪廓曲線不正確，則重建的區(qū)域形狀就不正確。文獻[12]使用分段迭代曲線擬合重建的區(qū)域輪廓不能正確反映區(qū)域形狀特征;而本文利用融合細分重建的區(qū)域輪廓曲線更合理。
2) 重建區(qū)域尺寸。為了使重建的區(qū)域輪廓曲線是連續(xù)、封閉的，文獻[12]使用了膨脹算法，造成重建區(qū)域的尺寸誤差;原始區(qū)域尺寸越小，這種誤差就越明顯;本文中重建區(qū)域的尺寸是正確的。
本文提出的基于融合細分的紋理圖像重構(gòu)模型的目的并不是為了使重構(gòu)紋理圖像與原始紋理圖像完全一致，而是使人眼盡可能看起來自然、不令人討厭。本文采用主觀質(zhì)量評價方法――雙刺激失真衡量階梯(Double Stimulus Impairment Scale， DSIS)。挑選25名非圖像專業(yè)的一年級學(xué)生作為觀測者。表1是ITUR五分制評分等級。平均意見分(Mean Opinion Score，MOS)代表觀測者評分的平均水平;標準差用于計算主觀質(zhì)量評分結(jié)果的可信范圍即95%置信區(qū)間[18]。
表2是文獻[12]算法與本文算法重構(gòu)結(jié)果的視覺質(zhì)量評價參數(shù)值比較。由表2可知，本文算法的實驗結(jié)果與文獻[12]算法相比，MOS值分別提高了0.84，0.8，0.76，0.8，0.48。比較其他實驗的MOS值，實驗5的MOS值僅提高了0.48，這是由于該幅圖像的區(qū)域輪廓曲線基本是平滑的，分段迭代曲線擬合重建的輪廓曲線與融合細分重建的輪廓曲線基本相同，文獻[12]只是造成重建區(qū)域的尺寸誤差。實驗1的MOS值提高了0.84，這是由于該幅圖像的區(qū)域輪廓曲線包含很多類似毛刺的形狀特征，而文獻[12]中分段迭代曲線擬合重建的輪廓曲線是平滑的，對區(qū)域輪廓形狀造成明顯的視覺損傷。
表3是文獻[12]算法與本文算法的紋理圖像重構(gòu)所需數(shù)據(jù)量比較。測試結(jié)果表明，與文獻[12]算法相比，本文算法的紋理圖像重構(gòu)所需數(shù)據(jù)量略有增加。表4是本文算法與文獻[12]算法運行時間的比較。測試結(jié)果表明，與文獻[12]算法相比，本文算法的輪廓重建計算復(fù)雜度有所降低。
三、結(jié)語
本文提出一種基于融合細分的紋理圖像重構(gòu)模型。該模型首先得到原始圖像的分割區(qū)域，進而提取代表輪廓形狀的特征向量;然后利用融合細分重建區(qū)域輪廓，最后將合成的區(qū)域紋理填充到重建的區(qū)域輪廓曲線中，實現(xiàn)紋理圖像重建。
與其他基于區(qū)域形狀與紋理信息的圖像重建算法相比，用本文給出的三重逼近與三重插值統(tǒng)一的融合細分方法重建的區(qū)域輪廓，能更準確有效地表征區(qū)域輪廓形狀。對于包含大量紋理的原始圖像，本文算法能得到好的重建結(jié)果，但對于含有非紋理細節(jié)信息的原始圖像，重建質(zhì)量不理想。因此，如何能夠依據(jù)圖像自身特點，設(shè)計出更合理的重建方法，適用于更復(fù)雜的圖像是今后進一步努力的方向。
參考文獻：
[1]SIKORA T. Trends and perspectives in image and video coding[J]. Proceedings of the IEEE， 2005， 93(1)： 6-17.
[2]NDJIKINYA P， BULL D， WIEGAND T. Perceptionoriented video coding based on texture analysis and synthesis[C]// Proceedings of the 16th IEEE International Conference on Image Processing. Piscataway： IEEE， 2009： 2273-2276.
[3]SUN K， YE L， YANG Y， et al. Image restoration using piecewise iterative curve fitting and texture synthesis[C]// Proceedings of the 4th International Conference on Intelligent Computing. Piscataway： IEEE， 2008： 1056-1063.
[4]ZUJOVIC J， PAPPAS T N， NEUHOFF D L. Structural texture similarity metrics for image analysis and retrieval[J]. IEEE Transactions on Image Processing， 2013， 22(7)： 2545-2558.
[5]BALLE J， STOJANOVIC A， OHM J R. Models for static and dynamic texture synthesis in image and video compression[J]. Journal of Selected Topics in Signal Processing， 2011， 5(7)： 1353-1365.
[6]ZHANG X， KIM Y J. Efficient texture synthesis using strict Wang Tiles[J]. Graphical Models， 2008， 70(3)： 43-56.
[7]EFROS A A， FREEMAN W T. Image quilting for texture synthesis and transfer[C]// Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques. New York： ACM， 2001： 341-346.
[8]WANG J， PANG M， ZHAO R. Texture synthesis using rotational Wang Tiles[J]. Journal of Image and Graphics， 2013， 18 (1)： 49-54. (王繼東， 龐明勇， 趙瑞斌. 旋轉(zhuǎn)的Wang Tiles紋理合成算法[J]. 中國圖象圖形學(xué)報， 2013， 18(1)： 49-54.)
[9]GAO C， ZHOU J， HU J， et al. Edge detection of colour image based on quaternion fractional differential[J]. IET Image Processing， 2011， 5(3)： 261-272.
[10]ADAMEK T， O’CONNOR N. Efficient contourbased shape representation and matching[C]// Proceedings of the 5th ACM SIGMM International Workshop on Multimedia Information Retrieval. New York： ACM， 2003： 138-143.
[11]ZHANG D， LU G. Review of shape representation and description techniques [J]. Pattern Recognition， 2004， 37(1)： 1-19.
[12]WAN J， YE L. Multiregion image reconstruction algorithm[J]. Journal of Computer Applications， 2013， 33(12)： 3544-3547. (萬金梁， 葉龍. 多區(qū)域圖像重建算法[J]. 計算機應(yīng)用， 2013， 33(12)： 3544-3547.)
[13]DENG Y， MANJUNATH B S. Unsupervised segmentation of colortexture regions in images and video[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2001， 23(8)： 800-810.
【基于融合細分的紋理圖像重構(gòu)模型】相關(guān)文章：
基于MOSFET內(nèi)阻的電流采樣及相電流重構(gòu)方法10-30
醫(yī)學(xué)圖像領(lǐng)域中數(shù)字圖像處理的應(yīng)用論文04-19
食油采購加工模型05-11
Home.Net模型/架構(gòu)研究06-01
壓縮遞增年資的數(shù)量模型與分析06-07
談地理圖像投影導(dǎo)學(xué)法08-21