- 相關推薦
基于大氣物理模型的快速視覺優(yōu)化去霧算法
摘要：針對霧霾天氣條件下單幅圖像降質以及現(xiàn)有去霧方法時間復雜度高的問題，以環(huán)境光物理模型為基礎，引出快速視覺優(yōu)化去霧算法。首先對單幅圖像閾值分割找到天空區(qū)域，并結合二叉樹模型定位精確的天空光矢量，進而采用改進的約束最小二乘法濾波細化粗略透射比率，保證其邊緣細節(jié)較完整且受噪聲影響小，最后利用環(huán)境光物理模型實現(xiàn)無霧圖像的還原，并采用平均梯度、信息熵和視覺保真度等指標對圖像進行評價。實驗結果表明，所提算法與基于多尺度Retinex的自適應圖像增強方法、基于獨立分量的復原方法、快速可視化復原方法和暗原色先驗復原方法對比，指標值較好且實時性強。
關鍵詞：暗通道先驗;二叉樹;最小二乘法濾波;閾值分割
引言
現(xiàn)有的去霧算法可分為兩個方向：一是基于圖像增強的算法改進，通過提高圖像的對比度，從人眼感官的角度優(yōu)化視覺效果;二是基于圖像復原的算法改進，針對環(huán)境光物理模型，采用病態(tài)方程和圖像處理的基本方法還原未知量。
去霧算法基于人眼視覺。增強類去霧算法通過強化和削弱某些信息達成此目的。早期的該類去霧算法如全局直方圖均衡化[1]，對圖像整體作均衡處理，但忽視了局部景深變化帶來的“暈輪效應”。對此Kim等[2]用子塊部分重疊直方圖均衡化和Zimmerman等[3]插值直方圖均衡化方法解決了由“塊效應”引起的運算復雜度高的問題。此外，Russo[4]通過多個小波尺度上的增強策略實現(xiàn)圖像細節(jié)區(qū)域較為精細的處理。劉茜等[5]提出的多尺度Retinex去霧自適應算法(MultiScale Retinex， MSR)對細節(jié)處理，其圖像壓縮效果明顯; 但其濃霧處理顏色失真明顯，同時拉大了光暈和噪聲，因而該算法適用于薄霧處理。
基于環(huán)境光物理模型的去霧算法對數(shù)學模型逆推病態(tài)方程，所得的去霧圖像效果與現(xiàn)實場景相近，其細節(jié)真實細膩。Kratz等[6]基于Fattal[7]提出將單幅圖像作為階乘馬爾可夫隨機場的假設，其中場景反照率和景深是兩個獨立的統(tǒng)計量。此方法采用典型的期望最大化算法來實現(xiàn)因式分解，恢復出的無霧圖像具有精細的邊緣細節(jié); 但其輸出圖像被過度增強。Yu等[8]提出一種快速去霧方法，采用快速雙邊濾波器實現(xiàn)天空光矢量A的平滑; 由于中值濾波處理的速度明顯優(yōu)于雙邊濾波，因此該方法比采用中值濾波處理的算法[9]要慢。He等[10]通過觀察大量無霧圖像，提出暗通道先驗理論，即無霧圖像中至少有一個顏色通道的像素值很低的結論; 但此理論在戶外拍攝的圖像中，場景與天空亮度相近時不成立。
本文算法屬于環(huán)境光物理模型的去霧處理，對天空光矢量A采用閾值分割并結合二叉樹模型實現(xiàn)較為精確的求取。并對初始透射比率t(x，y)采用改進的最小二乘法濾波優(yōu)化，其抑制噪聲的同時能最大限度地保留邊緣細節(jié)。通過檢測平均梯度、信息熵以及視覺信息保真度三種參數(shù)，可得本文算法具有良好的人眼視覺效果，以及較強的魯棒性的結論。
一、霧霾成像的環(huán)境光物理模型
由Narasimhan等[11]引出的環(huán)境光傳輸?shù)奈锢砟Ｐ捅粡V泛應用于機器視覺和計算機圖形處理領域，其表述式如下：
F(x，y)=R(x，y)e-βd(x，y)+A(1-e-βd(x，y))(1)
其中：F(x，y)代表霧氣圖像在(x，y)的像素強度值; R(x，y)表示無霧圖像在(x，y)處的像素強度值; t(x，y)=e-βd(x，y)為介質傳輸?shù)耐干浔嚷剩?beta;為環(huán)境光的散射系數(shù)，d(x，y)為景深，此等式表明場景中的光線強度與景深成指數(shù)性衰減的關系;A為天空光矢量;R(x，y)e-βd(x，y)代表直接衰減項，表示在場景中的輻射和介質中衰減掉的部分。
從圖形學的角度，霧氣圖像模型的等式表明在RGB三通道中，天空光矢量A、F(x，y)、R(x，y)之間存在幾何關系。透射比率t(x，y)為兩條線段的比值。
t(x，y)=‖A-F(x，y)‖‖A-R(x，y)‖=AC-F(x，y)AC-R(x，y);
C∈[R，G，B](2
利用環(huán)境光物理模型實現(xiàn)去霧處理，實質為根據(jù)霧氣圖像F(x，y)估計天空光矢量A、透射比率t(x，y)和無霧圖R(x，y)。對于一幅具有n個像素點的彩色圖像F(x，y)，存在3n個約束量和4n+3個未知參量。對未知參量的還原需要大量的假定和前驗信息，引言所述的文獻[8-9]等去霧算法均在環(huán)境光物理模型下，通過自身算法的假定和前驗信息得到A、t(x，y)和R(x，y)。本文算法在He算法[10]前驗信息的基礎上優(yōu)化參量求取方法，使得還原圖像效果更接近真實值。
圖片
圖1環(huán)境光散射模型
二、本文算法的整體設計
天空光矢量A是還原無霧圖像的重要參量，大多數(shù)基于環(huán)境光模型的去霧算法對A值的處理不夠精準。若取整幅圖像的最大像素值，一些白色或偏白色的背景目標被誤取為A值。本文采用閾值分割結合二叉樹模型選取A值，首先利用閾值分割搜索天空區(qū)域，定位A值區(qū)間。再采用二叉樹模型對所得的天空區(qū)域分塊，求取塊的平均像素值，比較求取得到的平均值大小，并取像素值大的塊分塊比較，重復上述步驟至塊中的像素點數(shù)量小于給定的閾值T。在鎖定塊的像素點群中定位A值。進而采用改進的最小二乘法濾波[12]對初始投射圖t(x，y)優(yōu)化，該算法延續(xù)了最小二乘法濾波保持邊緣能力強的優(yōu)勢同時其去噪能力強。
本文算法主要步驟如下所示：
1)對霧氣圖像進行閾值分割得到天空分區(qū)s1;
2)對天空區(qū)域s1采用二叉樹模型分割并求取灰度均值最大值所在區(qū)域;
3)重復2)至區(qū)域s2的像素個數(shù)小于給定的閾值T;
4)將s2的每個像素值與255對比，所得最接近的像素值即為A值;
5)應用暗通道先驗模型確定暗通道圖和初始投射圖;
6)應用改進的最小二乘法濾波優(yōu)化透射圖[12];
7)根據(jù)公式R(x，y)=F(x，y)-Amax(t1(x，y)，t0)+A還原去霧圖像。
三、本文算法的具體實現(xiàn)
3.1閾值分割分區(qū)
將目標和背景分開是閾值分割的目標，本文采用閾值分割的目的是將天空與其他景物相分離。閾值分割算法中閾值選取往往占用大量處理時間，例如大津法OTSU[13](由Nobuyuki OTSU提出的最大類間方差法)其選取閾值方式為：
OTSU=Max[w0(t)*(u0(t)-u)2+w1(t)*(u1(t)-u)/2](3)
其中：閾值為t、w0為背景在整幅圖像灰度所占比例，u0為背景灰度均值，w1為前景在整幅圖像灰度所占比例，u1為前景灰度均值，u為整幅圖像的灰度均值。
本文根據(jù)先驗信息可知天空的像素值靠近255，故采用手動選取閾值法可節(jié)約處理時間。本文選取灰度閾值分割法，該方法是一種單閾值分割方法(只設一個閾值將圖像分割為背景和目標兩部分)。首先將圖像轉換為灰度圖像，再利用每階灰度出現(xiàn)的概率繪制直方圖。原始圖像為F(x，y)，分割后的圖像為F1(x，y)，T為選取的閾值，則其基本式為：
F1(x，y)=
1，F(xiàn)(x，y)≥T
0，F(xiàn)(x，y) 分別選取閾值T為150、200、210，其效果如圖2所示。本文算法將閾值設定為210，找到天空區(qū)域s與原霧氣圖對照，確定有霧圖中的霧霾區(qū)域為s1。
圖片
圖2閾值分割圖
3.2二叉樹模型確定天空光矢量A
對閾值分割所得的天空區(qū)域s1應用二叉樹模型確定天空光矢量A。將霧天圖像中對應的s1區(qū)域分割為面積相等的兩部分，計算這兩部分的灰度均值，并比較灰度均值的大小。選取灰度均值大的部分s2進一步分割，重復上步驟，直到該部分存在像素點a[m，n]的個數(shù)小于給定的閾值t。二叉樹分割模型如圖3所示。
其中a[m，n]=a[0，0]a[0，1]…a[0，n]a[1，0]a[1，1]…a[1，n]a[m，0]a[m，1]…a[m，n]，并將a[m，n]值與255比較，d=|255-a[m，n]|，d取到最小值的a[m，n]即為本文選取的天空光矢量A值。
圖片
圖3二叉樹模型定位天空光矢量A
3.3改進的約束最小二乘法濾波[12]優(yōu)化透射比率
He方法[10]采用暗通道先驗， 得出除天空以外的景物其像素值至少有一個通道接近0的結論，并處理得到天空光矢量A和初始透射比率，其中透射比率亮度值大的部分代表光線在此處透過率好。
由于選用模塊化處理以及原始投射圖帶來的深度斷續(xù)問題，He等[10]采用soft matting優(yōu)化初始透射比率，其占用該算法 70%以上的處理時間。本文采用改進的最小二乘法(正則)濾波對透射比率實現(xiàn)優(yōu)化，傳統(tǒng)的正則濾波對透射圖邊緣細節(jié)保持效果好，但其對噪聲處理效果不理想。采用改進的約束最小二乘法濾波[12]處理投射圖，能在保持邊緣細節(jié)的同時較好地處理噪聲。
最小二乘法濾波的數(shù)學模型是基于圖像退化復原模型的二維離散卷積，改進的最小二乘法濾波引入約束條件進行推導。式(5)給出圖像退化模型，f(x，y)為給定圖像，n(x，y)為相關噪聲，g(x，y)為降質圖像，其中g(x，y)的大小為M×N。
g(x，y)=H[f(x，y)]+n(x，y)(5)
其中：H[f(x，y)]是二維卷積離散化模型，該式表達如下：
h(x，y)*f(x，y)=1MN∑M-1m=0∑N-1n=0f(m，n)h(x-m，y-n)(6
改進的最小二乘法濾波[12]給出線性算子B1和B2，并結合t(x，y)構造優(yōu)化后的透射比率t1(x，y)，構造為‖B1t(x，y)‖2+‖B2t(x，y)‖2，且滿足約束條件‖g・Ht(x，y)‖2=‖n‖2，n為加性噪聲，利用上述兩個條件選取拉格朗日系數(shù)λ構造函數(shù)，并實現(xiàn)求解最小值的問題。
J(t1(x，y))=‖B1t(x，y)‖2+‖B2t(x，y)‖2+λ(‖g・Ht(x，y)‖2・‖n‖2)(7
J(t1(x，y))對t(x，y)的最小值采用微分算子求�。�
J(t1(x，y))(t1(x，y))=2BT1B1t(x，y)+
2BT2B2t(x，y) ・2λHTg+2λHTt(x，y)=0(8
t1(x，y)=(HTH+1λBT1B1+1λBT2B2)-1HTg(9
令Rt1(x，y)和Rn為t1(x，y)和n的自相關矩陣，則定義
BT1B1=Rt(x，y)Rn
BT2B2=CTC
t1(x，y)=(HTH+1λR-1t(x，y)Rn+1λCTC)-1HTg(10
設定對角陣D，M，B，E則H=WDW-1，Rt(x，y)=WAW-1，Rn=WBW-1，C=WEW-1。
t1(x，y)=(WDDW-1+1λWM-1BW-1+
1λWEEW)-1WDW-1g(11)
透射到頻域，式(11)化為：
T1(u，v)=H*(u，v)×{|H(u，v)|2+
1/λ[Sn(u，v)/St(x，y)(u，v)+
1/λ[P(u，v)]2]}-1×T(u，v) (12
圖4給出初始透射比率構成的初始透射圖和利用濾波操作處理后所形成的改進算法透射圖，與He算法[10]相比，改進算法透射圖更貼近現(xiàn)實。
圖片
圖4透射圖
3.4有霧圖像清晰化
本文通過閾值分割先確定天空區(qū)域，再應用二叉樹模型較精準地確定天空光矢量A值，對初始透射比率t(x，y)采用改進的約束最小二乘法濾波[12]優(yōu)化得到t1(x，y)。應用式(13)對霧氣圖像還原，為避免求得的透射比率t1(x，y)值過小，甚至接近零，導致去霧圖像像素值被過度放大，R(x，y)產生很大的類似噪聲干擾的問題，取t0為透射比率的下限值，本文將t0設置為0.05。
R(x，y)=F(x，y)-Amax(t1(x，y)，t0)+A(13
四、實驗比較與分析
為檢驗本文算法的效果和性能，本文從定性和定量兩個方面對算法進行評價。實驗采用圖5(a)、圖6(a)、圖7(a)包含天空、水域等明亮區(qū)域的測試圖像，其分辨率分別為560×720、600×800、750×960。選用文獻[5]方法、文獻[6]方法、文獻[9]方法和文獻[10]方法與本文方法對比。
定性評價以人眼視覺效果為主導，本文選用不同背景人員對各方法的處理結果進行評分;定量分析以實驗數(shù)據(jù)給出客觀指標，本文采用平均梯度、信息熵、視覺保真度對比文獻算法和本文算法的優(yōu)劣;運算效率分析以單幅圖像的處理時間給出算法處理速度，給出文獻算法與本文算法的對比。
4.1定性評價
本文選取大量測試圖像對改進算法測試，并與文獻[5]方法、文獻[6]方法、文獻[9]方法和文獻[10]方法進行比較，給出去霧效果的對比圖像。并調查不同年齡、性別、職業(yè)的若干人，給出其中五人(a為16歲女同學、b為16歲男同學、c為24歲女藝術專業(yè)學生、d為24歲男藝術專業(yè)學生、e為45歲女模式識別老師)對去霧視覺效果打分 (5分為滿分，代表與真實場景無異，4～5分為視覺效果優(yōu)秀，3～4分為視覺效果良好，2～3分為視覺效果中，1～2分為視覺效果差，0～1分為視覺效果很差)。
圖片
圖5本文和其他算法降質圖像復原(測試圖像1
通過表1的數(shù)據(jù)并分析圖5～圖7可得，本文方法(見圖(f))認可度最高，亮度分布協(xié)調，細節(jié)清晰，霧氣引起的噪聲基本消除，去霧效果與真實場景較為接近。文獻[5]方法(見圖(b))視覺效果優(yōu)良，但對色彩的過度增強，出現(xiàn)了色彩偏移;文獻[6]方法(見圖(c))出現(xiàn)了局部失真，圖像泛白，去霧效果整體不自然;文獻[9]方法(見圖(d))細節(jié)模糊，并伴有光暈現(xiàn)象，視覺效果欠柔和;文獻[10]方法(見圖(e))的明度偏暗，圖像噪聲明顯，霧氣殘留量大。
圖片
圖6本文和其他算法降質圖像復原(測試圖像2
圖片
圖7本文和其他算法降質圖像復原(測試圖像3
表格(有表名)
表1人眼感知視覺效果
參與者文獻[5]方法文獻[6]方法文獻[9]方法文獻[10]方法本文方法
a3.82.92.32.74.5
b4.22.52.12.24.8
c4.13.82.82.54.5
d4.53.53.22.84.9
e3.93.63.33.64.2
4.2定量評價
表2針對圖5～7中的圖像從平均梯度、信息熵和視覺信息保真度三個指標進行衡量。平均梯度指標值代表圖像層次的豐富程度，指標值越大，圖像細節(jié)越豐富;信息熵指標代表圖像信息的包含量，指標值越大，圖像所含信息量越多;視覺保真度指標代表人眼感官的綜合效果，指標值越大，圖像失真度越弱。平均梯度指標中，文獻[5]算法均優(yōu)于所給文獻算法，并略優(yōu)于本文算法。信息熵指標中，本文算法略優(yōu)于文獻[5]算法，優(yōu)于所給文獻算法。視覺保真度指標中，本文算法均優(yōu)于所給文獻算法。從表2可以得出，本文方法的去霧圖像處理質量上得到提高，并具有一定的魯棒性。
表格(有表名)
表2幾種算法指標值對比
方法圖號平均梯度信息熵視覺保真度
文獻[5]方法
圖5(b)12.05287.68922.8654
圖6(b)10.68267.85631.5682
圖7(b)15.62837.12551.9098
文獻[6]
方法
圖5(c)9.09284.05822.9826
圖6(c)6.65236.08231.6087
圖7(c)10.28056.30271.6825
文獻[9]
方法
圖5(d)8.25687.65291.9825
圖6(d)5.47826.32511.1053
圖7(d)8.99526.89251.7824
文獻[10]方法
圖5(e)8.82957.42052.0315
圖6(e)5.05236.56831.3015
圖7(e)9.01296.96781.6036
本文
方法
圖5(f)10.08927.86283.2105
圖6(f)9.86357.75682.1567
圖7(f)13.28547.36823.0982
原始
霧氣
圖像
圖5(a)6.32137.3528―
圖6(a)5.06277.5602―
圖7(a)8.32086.8925―
!根據(jù)情況左右加
注：加下劃線的數(shù)據(jù)表示每個指標中，數(shù)據(jù)最優(yōu)的參數(shù)。
4.3運算效率分析
各算法所用時間如表3所示，可以看出本文方法不僅在圖像的處理質量上有了提高，且大幅度縮短了處理時間，提高了處理效率。
表格(有表名)
表3幾種算法處理時間對比ms
圖像文獻[5]方法文獻[6]方法文獻[9]方法文獻[10]方法本文方法
五、結語
本文對環(huán)境光物理模型的未知參量，天空光矢量A和透射比率t(x，y)的估計進行創(chuàng)新。針對天空光矢量A的求取，首先采用閾值分割確定天空的大致范圍，進而引入二叉樹模型定位A值;并對透射比率采用改進的約束最小二乘法濾波代替He方法的軟摳圖，其實時性大幅度增強。實驗結果表明，本文方法的信息熵、視覺保真度指標值良好，平均梯度指標較好，其去霧圖像清晰度和對比度高，圖像自然真實。
雖然本文方法獲得了較為滿意的單幅圖像處理效果，但本文方法仍存在一定的局限性。濃霧條件下，圖像中的景物整體噪聲大;當存在大塊灰白區(qū)域時，會對天空光矢量A值的估計帶來偏差，進而出現(xiàn)色偏。改進的約束最小二乘法濾波對傳輸比率小的區(qū)域，其線性算子的選取有偏差，易造成細節(jié)丟失。此外，由于霧霾天氣的復雜性和隨機性，以及成像設備獲取圖像質量等諸多實際因素有待研究。下一步主要研究上述內容，并引入白平衡算法調整色彩，以及嘗試新模型提高該算法的實時性，以便應用在視頻處理中。
參考文獻：
[1]GONZALEZ R C， WOODS R E. Digital image processing[M]. 2nd Ed. RUAN Q， RUAN Y， translated. Beijing： Publishing House of Electronics Industry， 2007：70-81.(岡薩雷斯R C，伍茲 R E. 數(shù)字圖像處理[M]. 2版. 阮秋琦，阮宇智，譯.北京：電子工業(yè)出版社，2007：70-81.)
[2]KIM T K， PAIK J K， KANG B S. Contrast enhancement system using spatially adaptive histogram equalization with temporal filtering[J]. IEEE Transactions on Consumer Electronics， 1998， 44(1)： 82-86.
[3]ZIMMERMAN J B， PIZER S M. An evaluation of the effectiveness of adaptive histogram equalization for contrast enhancement[J]. IEEE Transactions on Medical Imaging， 1988， 7(4)：304-312.
[4]RUSSO F. An image enhancement technique combining sharpening and noise reduction[J]. IEEE Transactions on Image Processing， 2002， 3(4)：824-828.
[5]LIU Q， LU X， LI X. Adaptive image enhancement method based on multiscale Retinex algorithm[J]. Journal of Computer Applications， 2009， 29(8)： 2077-2079 (劉茜， 盧心紅， 李象霖. 基于多尺度Retinex的自適應圖像增強方法[J]. 計算機應用， 2009， 29(8)：2077-2079.)
[6]KRATZ L， NISHINO K. Factorizing scene albedo and depth from a single foggy image[C]// Proceedings of the 2009 IEEE 12th International Conference on Computer Vision. Piscataway： IEEE， 2009： 1701-1708.
[7]FATTAL R. Single image dehazing[J]. ACM Transactions on Graphics， 2008， 27(3)：1-9.
[8]YU J， XIAO C， LI D. Physicsbased fast single image fog removal[C]// Proceedings of the 2010 IEEE International Conference on Signal Processing. Piscataway： IEEE， 2010： 1048-1052.
[9]TAREL JP， HAUTIERE N. Fast visibility restoration from a single color or gray level image[C]// Proceedings of the 12th IEEE International Conference on Computer Vision. Piscataway： IEEE， 2009： 2201-2208.
[10]HE K， SUN J， TANG X. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011， 33(12)：2341-2353.
[11]NARASIMHAN S G， NAYAR S K. Vision and the atmosphere[J]. International Journal of Computer Vision， 2002， 48(3)：233-254.
[12]MIAO Q， TANG B， ZHOU H. Image restoration based on leastsquares increment iterative and regularization method[J]. Journal of Computer Applications， 2005， 25(12)：2816-2829.(苗晴，唐斌兵，周海銀.基于最小二乘增量迭代正則化方法的圖像復原[J].計算機應用， 2005， 25(12)： 2816-2829.)
[13]LIU Y， ZHAO Y. Quick approach of multithreshold Otsu method for image segmentation[J]. Journal of Computer Applications， 2011， 31(12)：3362-3366.(劉艷，趙英良. OTSU多閾值快速求解算法[J]. 計算機應用， 2011， 31(12)：3362-3366.)
【基于大氣物理模型的快速視覺優(yōu)化去霧算法】相關文章：
基于DSP的信道譯碼算法優(yōu)化03-19
采用快速導向濾波的暗通道先驗去霧算法的研究與實現(xiàn)03-21
基于智能優(yōu)化算法的MRI圖像適配模板濾波的閾值優(yōu)化03-07
基于視覺注意力模型的圖像檢索的研究11-22
動背景下基于模板匹配的快速跟蹤算法03-07