工程科学与技术   2017, Vol. 49 Issue (3): 217-222
基于车行视程与大气光快速估值的车载视频去雾算法
李炎炎, 龙伟, 覃宏超, 付继贤     
四川大学 制造科学与工程学院,四川 成都 610065
基金项目: 四川省科技支撑计划资助项目(2014Z0007;2010GZ0171)
摘要: 交通场景中的视频图像去雾处理,是一个实时性极强的不确定反问题,针对雾霾天气下车载视频图像退化严重的现象,分析了交通环境中雾气浓度对车前物景可视度的关系,提出了大气能见度与车行视觉距离之间的关系模型,讨论了降质图像增强的理论与方法,建立了雾霾条件下车行可视距离的线性回归公式和基于大气能见度的透射率快速估值模型。同时,研究了雾霾物像暗通道的基本特征,提出了利用引导滤波对图像实现边缘平滑、细节增强以及利用盒式滤波保持边缘信息,降低时间复杂度;直接利用灰度图像获取大气光像素矩阵的估值方法,建立了基于大气光的快速估计模型,解决了暗原色先验理论方法的“非天空区”假设及其时间复杂度难以适应车载视频图像处理的问题。根据上述提出的透射率估计方法和天空光的估值模型,本文提出了一种鲁棒性好,实时性强的雾霾视频图像去雾的新算法,并完成了基于该方法的视频图像恢复处理流程设计,构造了车载雾霾视频图像恢复处理的综合验证平台,通过信息熵和图像边缘检测的方法,对本文提出的方法与目前已有的几种流行的去雾方法进行了图像恢复质量的比较,结果表明,本文提出的方法在反映图像细节和清晰化等方面都取得了良好的处理效果。
关键词: 车行视程    大气光估值    去雾算法    引导滤波    盒式滤波    
Video Dehazing Algorithm Based on the Visual Range of the Vehicle Driving and the Airglow Rapid Estimation
LI Yanyan, LONG Wei, QIN Hongchao, FU Jixian     
School of Manufacturing Sci. and Eng., Sichuan Univ., Chengdu 610065, China
Abstract: Aiming at the problem of serious degradation of image in the weather of fog and haze, this paper analyzed the relationship between the atmospheric visibility and the visual distance of the vehicle driving, and established the linear regression formula of the visual distance of the vehicle driving under the hazy weather and the transmittivity rapid estimation model based on the atmospheric visibility, according to the severe degradation issue of the vehicle-mounted video image in the hazy weather; at the same time, according to the dark channel features of the objective image, a fast estimation model of atmospheric light is constructed. It built the rapid estimation model of the airglow by using the guided filter and the box filter and solved the problem of method of the dark channel priori theory hypothesis of the "the sky area" and the time complexity is difficult to adapt to the onboard video image processing problems. It proposed a new hazy weather video image dehazing algorithm with good robustness and strong instantaneity. Then designed the video image restoration processing comprehensive verification platform, which conducted the evaluation comparison on the image recovery quality of the theoretical method presented by this article and the current typical dehazing method through the comentropy and image edge detection, gained good processing effects.
Key words: visual distance on vehicle    airglow rapid estimation    defogging algorithm    guided filter    box filter    

车辆行驶环境的雾气是一种严重的道路气象灾害,它造成的视觉障碍严重影响城市交通、车行网路的安全。近年来,人们借助数字信息处理技术,提出了许多针对雾霾图像进行复原处理的方法,归纳起来这些方法大致分为3类:利用多幅图像特征的恢复方法、依据单幅图像的恢复法、借助深度信息的复原法[1]

Nayar等[2]研究团队利用相同场景不同气候环境下多幅图像的信息特征,获取物像的场景结构来复原图像,该方法适合应用于固定场合的视频监控图像处理,不适用于具有环境变化无常性的车载视频成像处理。

Schechner等[3]将偏振光的理论应用于雾霾图像的复原处理中,避免了图像获取时间间隔长的缺点,并成功得到了清晰的复原图像,但它需要无限远处的天空信息作为基础,因而有一定的局限性。Fattal[4]在大气衰减的物理模型基础上,通过假设入射光在大气中的传播与场景对象表面性质的不相关性,并利用图像邻域信息的Markov特性和局部最优化的思想计算得到清晰的图像;这种方法主要利用数理统计,并且需要大量色彩信息,因而对于浓雾条件下色彩退化的图像,难以获得较可信的传输图像,恢复后的图像存在较多失真的现象。

He等[5]利用暗原色先验知识的方法来恢复图象,仅需要按照雾霾大小对局部图像的色彩进行复原处理,便可获得较好的去雾效果, 但是当物像的亮度与天空亮度接近时,暗原色方法的效果会大大降低。

针对上述算法在处理雾气图像时去雾不完全,计算复杂的问题,作者提出了基于车行视程的透射率快速估值模型,同时,根据暗通道原理,通过引导滤波的方法和引入盒式滤波加速运算的方法,构建了大气光的快速估计模型的方法,提出了一种新的车载视频图像的去雾处理方法。

1 基于车行视程的透射率估值

基于大气散射理论,可见光物景成像任意一点的灰度值,可通过数学推算表示为:

$E = {I_\infty }\rho {{\rm{e}}^{ - \beta x}} + {I_\infty }(1 - {{\rm{e}}^{ - \beta x}})$ (1)

I(x)为摄像机获取的原始图,J(x)为没有雾霾影响的图像,A为物像环境的大气光, $t(x) = {{\rm{e}}^{ - \beta x}}$ 为大气的透射率。

式(1)可进一步转换为:

$I(x) = J(x)t(x) + A(1 - t(x))$ (2)

对雾霾图像的复原处理,就是在对t(x)和A的估值基础上,通过式(2)求解J(x)。

包含雾霾的大气总散射因子 $\beta$ ,是由大气分子的吸收系数α、大气分子的衰减系数 $\beta {_{\rm{s}}}$ 与雾霾粒子的消光系数 $\beta _{\rm{x}}$ 所组成,即它们之间的关系为[6]

$\beta = \alpha + {\beta {_{\rm{s}}}} + {\beta _{\rm{x}}}$ (3)

由于大气本身的空气分子对物景光线的吸收与散射作用十分微小,因而可以忽略式(3)中的前两项影响,得到:

$\beta \approx {\beta _{\rm{x}}}$ (4)

消光系数βx一般采用如下经验公式来估计:

${\beta _{\rm{x}}} = \frac{{3.912}}{L}(\frac{{0.55}}{\lambda })q$ (5)

式中,L为含雾大气的能见度,km;λ为物景光线的波长,μm;q为能见度–波长修正因子,它与能见度有关[7]

$\displaystyle q = \left\{ {\begin{array}{*{20}{l}}{0.585{L^{\frac{1}{3}}},\,\,L < 6\,\,{\rm{km}}};\\{1.3,\,\,6\,\,{\rm km} \le L \le 20\,\,{\rm{km}}};\\{1.6,\,\,L > 20\,\,{\rm{km}}}\end{array}} \right.$ (6)

雾天条件下的能见度不会超过2 km,故q的取值通常为 $0.585{L^{\frac{1}{3}}}$ 。进一步地,在大多数交通场景所获取的水平方向的视频图像,多以λ为500~580 μm的光辐射为主,而可见光λ的均值为532 μm,所以可将式(6)中的λ近似为550 μm,则式(5)可简化为:

$L \approx \frac{{3.912}}{{{\beta _{\rm{x}}}}}$ (7)

通常将雾浓度的视障程度分为5个等级,它反映在能见度L上,其与雾天车行的可视距离Lc的关系[8]表1

表1 L与车行距离的关系 Tab. 1 Relationship between L and car distance

对车行可视距离与能见度关系的观测点进行线性回归处理,并根据最小法原理推导线性回归公式如下:

${L_{\rm{c}}} = \overline {{L_{\rm{c}}}} + (L - \overline L )(\frac{{\displaystyle\sum\limits_{i = 1}^n {({L_i} - \overline L ){L_{\rm{c}}}} }}{{\displaystyle\sum\limits_{i = 1}^n {{{({L_i} - \overline L )}^2}} }})$ (8)

式中, $\overline L $ 为车行环境中大气能见度观测数的均值, $\overline {{L_{\rm{c}}}} $ 为车行可视距离观测数的平均值。以表1的数据代入式(8),可得车行可视距离LcL的线性关系为:

${L_{\rm{c}}} = a \cdot L + 2.255$ (9)

式中:a=0.256 1,被称为视程衰减因子,换算成百分比则为a=25.61%,它表示大气能见度反映在车行可视距离的减弱程度;Lc反映了含雾视频图像的视觉焦点或可视景深。

于是根据式(5)、(8),得到:

$t(x) = {{\rm{e}}^{ - \beta x}} = {{\rm{e}}^{ - \frac{{3.912}}{L}d}},\,\,d \in [100,500]$ (10)

由式(10)可知,在目标物体的景深为定值且大气中的雾气浓度非常大时,其能见度L将会变得很小,极端情况下趋近于0,这时雾气对目标物景图像光传输的透射率趋近于0,即 $\lim t(x) \to 0$ ,理论上完全阻隔。当雾气浓度很小时,其能见度L将会变得很大,这时大气对目标物景图像光传输的透射率趋于100%,即 $\lim t(x) \to 1$ ,理论上完全透射。当透射率趋近于1时,说明观察到的目标图像就是没有雾气影响的清晰图像。

实际上,大气对物景的光传输永远不可能达到100%的完全透射,在车辆交通环境中通常认为大气能见度达到2 000 m,就可以获得很好的车行视程。由此,对式(10)进行如下的归一化处理:

假设大气能见度为2 000 m时达到完全透射,透射率记为t(x)max,而大气能见度为20 m时为完全阻隔,则构造大气透射率的估值模型为:

$t(x) = 1 - \frac{{t{{(x)}_{\max }} - {{\rm{e}}^{ - \frac{{3.912}}{L}d}}}}{{t{{(x)}_{\max }}}}$ (11)

式(11)不仅在物理意义上规定了透射率t(x)与大气能见度之间变化关系,也在数学意义上规定了透射率估值模型t(x)在[0→1]的变化范围。当Lmax取2 000 m,d取150 m时,则有:

$t(x) = \frac{{{{\rm{e}}^{0.195\,\,6 \cdot {{10}^{ - 2}}d}}}}{{{{\rm{e}}^{3.912d/L}}}}$ (12)

由式(12)可见,透射率t(x)的大小与能见度L和目标物像的视觉深度d有关。如果把一定能见度条件下的车行可视距离作为目标物体的景深d,把式(9)代入式(12),则t(x)估计模型的一般应用形式为:

$t(x) = \frac{{{{\rm{e}}^{(0.5L + 4.410\,\,8) \cdot {{10}^{ - 3}}}}}}{{{{\rm{e}}^{(L + 8.821\,\,6)/L}}}}$ (13)

这样,根据车载能见度仪或道路能见度装置获取的实时L值,便可快速估计雾霾图像退化模型的t(x)值。

2 引导滤波的大气光的快速估值 2.1 雾霾图像的引导滤波计算模型

引导图像滤波是一种边缘平滑滤波器,它可以实现图像边缘的平滑、细节增强、图像融合、噪声去除等处理,并能保留图像丰富的细节信息特征。

设需要进行引导滤波的原始图像J为输入图像,I为引导图像,q为滤波输出图像,并以k为中心的核函数窗口ωk中存在如下线性关系[9]

${q_i} = {a_k}{I_i} + {b_k},\,\,\forall i \in {\omega _k}$ (14)

式中,ωk窗口边长为r×rakbk为窗口ωk内的线性变换系数(即线性因数,在窗口中为固定值),iωk中的像素索引。

引导滤波的功能,主要是搜索线性因数(ak, bk)的最佳解,使输入图像J与输出图像q的差异最小,因而使式(14)达到最小值:

${\min _{(a,b)}}\sum\limits_{i \in {\omega _k}} {({{({q_i} - {j_i})}^2} - \varepsilon a_k^2)} $ (15)

进一步以式(16)为目标函数,利用最小二乘法求解,可得:

$\begin{aligned}[b]{a_k} = \frac{\displaystyle{\frac{1}{\omega }\sum\limits_{i \in {\omega _k}} {{I_i}{j_i} - \mu_k \cdot \overline {j_k} } }}{\displaystyle{\sigma _k^2 + \varepsilon }},\\{b_k} = \overline {{j_k}} - {a_k}{\mu _k}\text{}\end{aligned}$ (16)

式中:ε为正则化平滑因子,即防止ak取值过大引入调整因子;ak的分子为引导图像I和原始输入图像J的协方差; $\sigma _k^2$ 为引导图Iωk中的方差; $\overline {{j_k}} $ Jωk内的均值;μk为引导图像Iωk内的均值。

式(15)的最小化限制,使结果图像保留了原始图像的整体特性,并且又因为式(14)所保证的线性关系,使其滤波输出能够获得并反映引导图的细节特征,因此可把原始图像作为引导图进行滤波处理。

2.2 引入盒式滤波的引导滤波快速处理

由于引导图像滤波处理,涉及一系列均值及方差乘除运算,这会占用大量的机器时间,增加算法的时间复杂度,盒式滤波正好提供了在给定滑动窗口下对每个窗口内的像素值进行快速均值运算的功能。

如果把引导滤波中akbk运算的所有均值都用盒式滤波的操作来代替,则有:

${a_k} = \frac{{Box({I_i}{j_i})k - Box({I_i})k \cdot Box({j_i})k}}{{Box({I_i}{j_i})k - {{(Box({I_i})k)}^2} + \varepsilon }}$ (17)
${b_k} = Box{({j_i})k} - {a_k}Box{({I_i})k}$ (18)

式中,Box为对矩阵元素进行均值运算的盒式滤波:

$\frac{1}{\omega }\sum\limits_{i \in {\omega _k}} {{I_i}{j_i} = Box({I_i}{j_i})k} $ (19)

盒式滤波以图像矩阵为单位进行计算,所以最后得到的是图1中2张图。

图1 基于盒式滤波处理的akbk Fig. 1 ak and bk based on the box filter processing

图1可以看到,原始图像的边缘部分或变化剧烈的部分,在ak图像中被保留下来了(即图像的白色部分),而边缘部分或变化剧烈的部分在bk图像中的值却接近为0(即黑色)。同时,原始图像中变化平缓的区域,无论是白色还是黑色,它们在ak中的值均接近于0(黑色),而在bk中却为平坦区域像素的均值,这表明引入盒式滤波后很好地保持了引导滤波凸现边缘的特性。

2.3 基于引导滤波的大气光估计模型

为了区别引导图像表示符I与大气退化模型式(2)中的原始图像表示符I(x),设原始雾霾图为J(x),待求的无雾图为E(x)于是大气退化模型表述为:

$J(x) = t(x)E(x) + A(1 - t(x))$ (20)

若把原始雾霾图作为引导图像,可获得它的引导滤波图qi,进一步将获得的引导滤波图qi以窗口中的像素均值作为大气光 $ A$ ,则有:

${A_i} = \frac{1}{{\left| \omega \right|}}\sum\limits_{k \in {\omega _i}} {{q_i}} $ (21)

于是,可以获得大气光的估计模型:

${A_i} = (\frac{1}{{\left| \omega \right|}}\sum\limits_{k \in {\omega _i}} {{a_k}} ){j_i} + \frac{1}{{\left| \omega \right|}}\sum\limits_{k \in {\omega _i}} {{b_k}} $ (22)

其引入盒式滤波的形式为:

$\begin{array}{l}{A_i} = Box{({a_k})k}{j_i} + Box{({b_k})k},\\\forall i \in {\omega _k}\end{array}$ (23)

式中,ji为输入图像的像素点,i为索引系号。

3 去雾算法流程构造

对于在能够获取车行环境大气能见度 $A $ 的实时值的场合,可根据式(13)提出的透射率t(x)快速估值模型和式(23)提出的基于盒式滤波与引导图的大气光 $A $ 估值模型来构造1个视频图像去雾处理模型,见图2。该参考模型主要由2个基本的循环组成,即透射率t(x)的估值循环和大气光 $A $ 的估值循环。

图2 去雾算法流程构造 Fig. 2 Defogging algorithm process

图3是该算法流程的1个中雾图像的实际处理效果图。

图3 中雾图像处理实例 Fig. 3 Example image processing on the medium fog

分析表明:通过引导滤波处理后的灰度图变得模糊,这是被均匀化了以后的结果,当图像存在明显的边缘时被很好地保存下来,因而可用引导滤波均匀化后的灰度图像来估计各个场景深度下的大气环境光。这与其他滤波相比较,对同样的网格计算,引导滤波的均化程度更好,处理时间更短,因而更适合视频图像的去雾处理。

利用引导图像滤波对 $ A_i$ 进行估值时,滤波窗口的半径r和调整参数ε对滤波效果都会有一定的影响,其中,r的选择值在30~40为宜,ε的取值以10–3为宜。

4 修复结果与比较 4.1 单幅图像的修复结果对比

视频图像处理的质量主要是针对其视频图像的清晰化程度进行评价的,所以对车载视频图像修复质量的评价,本质上是对不同方法的单幅图像修复结果的对比。对此,挑选了目前流行的暗原色(HE)、双边滤波以及本文提出的基于Lt(x)与引导图 $ A$ 估值法的图像处理对比,见图4

图4 3种图像恢复处理方法的效果对照 Fig. 4 Comparison of the three image recovery processing methods

通过对比可以看出,暗原色法处理的图像普遍显得较暗,在薄雾条件下其处理结果比较理想,但在浓雾时因图像灰暗而使很多细节不能得到凸现。双边滤波方法在浓雾时,效果不错,但相较于本文方法其色彩不是柔和,细节较少,噪点也较多。本文提出的方法效果要好于前两种。

4.2 利用Canny边缘检测修复评价

通过Canny算法的边缘检测,可获得图像的边缘信息,而边缘信息的多少最终可以通过它的灰度均值反映。因此,在不考虑光环效应时,计算出边缘图像的灰度平均值,其平均值越大,细节越多,表明图像越清晰。图5采用4种去雾处理方法所获图像的边缘检测图实例。

图5 不同除雾方法所获图像的边缘检测实例 Fig. 5 Edge detection of the different dehazing methods

从上面的边缘图像对比可知,各图边缘图的红色圈出部分的细节,与原始图像及其他两种方法的细节相比明显增多,这说明修复算法是有效果的。为了区别它们之间更细微的修复质量差别,可进一步采用量化方法来评价。

4.3 基于信息熵的图像修复评价

根据香农信息理论,物像所包含的信息量越大,其熵也越大,这表明它的细节越多,其清晰化程度也越高,说明图像修复的品质也越高。

图像熵作为信息量的评估标准,它的评估方程如下:

$I(E) = {\rm lb}\frac{1}{{P(E)}} = - {\rm lb}P(E)$ (24)

式中,P(E)是事件E的概率,故物像的清晰度可以通过图像所含有的信息量来表示:

$\begin{aligned}[b]C = \displaystyle\sum\limits_{i = 1}^L {P({b_i}) \cdot I(P({b_i}))}, \\C = - \displaystyle\sum\limits_{i = 1}^L {P({b_i}) \cdot {\rm 1b}P({b_i})} \end{aligned}$ (25)

式中,L为灰度级,集合{bi}为所有灰度级像素点的个数,P{bi}为i灰度级的像素点所占比例。

同样,对图5中采用不同估值方法所获得的修复图像,进行信息熵统计,如表2所示。

表2 修复图像的信息熵 Tab. 2 Information entropy of defogging image

表2可知,本文提出的估值算法所获得信息熵,相对于原始图像、暗原色修复图和双边滤波修复图的值都要大许多,表示本文提出的方法所获得的物像细节更多,清晰程度也更好。

4.4 各方法处理时间对比

表3是通过MATLAB和Open CV对几种不同去雾处理算法的时间对比,其结果表明本文提出的方法具有很好的实时性,而且占用机器空间也小,每帧图像处理时间约35ms,因而本文方法更适合于有雾视频图像处理的场合。

表3 不同算法的处理时间 Tab. 3 Processing time of different algorithm

5 结 论

提出了车行可视距离与大气能见度的关系模型,解决了 $t(x) = {{\rm{e}}^{ - \beta x}}$ 中车行视频图像场景深度d的估值问题,并构建了基于能见度的透射率估值模型。同时,深入研究了雾霾物像暗通道的基本特征,提出了利用引导滤波对图像实现边缘平滑、细节增强以及利用盒式滤波保持边缘信息、降低时间复杂度,直接通过灰度图像获取大气光像素矩阵的估值方法,建立了基于引导滤波的大气光A的快速估值模型,解决了暗原色先验理论方法的“非天空区”假设及其时间复杂度难以适应车载视频图像处理的问题。

重点分析研究了雾霾图像增强与恢复质量的数学评价方法,并通过边缘检测以图像信息熵方法,雾霾图像恢复处理模型与目前流行的几种方法进行了修复质量的对比分析。其结果表明,本文提出的方法在反映图像细节和清晰化方面的评价指标都要优于其他方法。

参考文献
[1]
Long Wei, Fu Jixian, Li Yanyan, et al. Algorithm about dense fog image dehazing based on atmospheric extinction coefficient and guided filtering[J]. Journal of Sichuan University(Engineering Science Edition), 2016, 48(4): 175-180. [龙伟, 傅继贤, 李炎炎. 基于大气消光系数和引导滤波的浓雾图像去雾算法[J]. 四川大学学报(工程科学版), 2016, 48(4): 175-180.]
[2]
Narasimhan S G, Nayar S K. Vision and the atmosphere[J]. International Journal of Computer Vision, 2002, 48(3): 233-254. DOI:10.1023/A:1016328200723
[3]
Schechner Y Y, Narasimhan S G, Nayar S K. Polarization-based vision through haze[J]. Applied Optics, 2003, 42(3): 511-525. DOI:10.1364/AO.42.000511
[4]
Fattal R. Single image dehazing[J]. ACM Transactions on Graphics, 2008, 27(3): 1-9.
[5]
He Kaiming, Sun Jian, Tang Xiaoou. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2341-2353. DOI:10.1109/TPAMI.2010.168
[6]
Yang Weidong, Liu Dongyan, Jin Xingxing. HF 20P4, 20P5 excitation spectral atmospheric transmission performance experiment[J]. High Power Laser and Particle Beams, 2002, 14(5): 685-688. [杨维东, 刘冬燕, 金行星, 等. 氟化氢泛频20P4、20P5激光谱线大气传输性能实验[J]. 强激光与粒子束, 2002, 14(5): 685-688.]
[7]
Liu Xichuan, Gao Taichang. Precipitation phenomenon of atmospheric extinction coefficient and the influence of visibility[J]. Journal of Applied Meteorological Science, 2010, 21(4): 433-440. [刘西川, 高太长. 降水现象对大气消光系数和能见度的影响[J]. 应用气象学报, 2010, 21(4): 433-440. DOI:10.11898/1001-7313.20100406]
[8]
He Dianke, Wu Xiaohong. An improved image dehazing algorithm based on boundary constrain[J]. Journal of Sichuan University (Engineering Science Edition), 2015, 47(增刊2): 136-141. [侯典柯, 吴晓红. 改进的基于边界限制的图像去雾算法[J]. 四川大学学报(工程科学版), 2015, 47(增刊2): 136-141.]
[9]
Yang Guotao.Research on the vehicle video image defogging[D]:Chengdu,Sichuan University,2015. [杨国涛.车辆前端视频图像去雾处理研究[D].成都:四川大学,2015.]