在基于视觉图像信息的监控系统中，有雾图像严重影响到对目标的特征提取，从而无法进行目标检测、目标跟踪等工作。对有雾图像进行去雾处理能有效提高目标检测、跟踪精度，具有十分重要的意义。

当前，图像去雾的方法主要分为两类：基于图像增强的方法和基于大气散射模型的方法。图像增强的方法^[1–4]能有效地提高雾天图像的对比度和颜色饱和度，但图像往往出现质量下降。基于大气散射模型的去雾方法成为了近几年图像去雾研究的热点。Fattal^[5]使用独立分量分析原有雾图像，通过假定透射率和表面投影在局部区域是不相关的，估算景物的反射率，进而实现场景的复原，但该方法基于颜色统计，对浓雾图像的处理效果不佳。He等^[6]提出了暗通道先验估计光线传输透射率，实现雾天图像复原，但是由于该算法建立在暗原色先验基础之上，对于诸如天空、白云等不存在暗原色的明亮区域，其恢复结果往往会出现颜色失真，引入软抠图算法优化透射率时间非常长，并且对浓雾的去雾效果较差。李加元^[7]、邢晓敏^[8]等提出的分离天空区域，分别估计天空区域与非天空区域的透射率图，可以较好地解决天空区域去雾问题，但对去除浓雾无明显改进，另外需要手动设置阈值，过程繁琐。禹晶等^[9]对大气光照进行白平衡，利用快速双边滤波估计大气耗散函数，求解简化的大气散射模型实现图像去雾，然而该方法对白色物体的恢复效果不够理想。Schaul等^[10]针对基于大气散射模型去雾方法的缺陷，提出基于近红外图像融合的去雾方法，该方法通过同一场景的可见光与近红外图像融合进行去雾，由于近红外图像容易获取，透雾能力强，且去雾过程不需要借助模型求解，该去雾算法简单有效；并且，为了防止融合图像出现光晕，该算法中采用基于加权最小二乘滤波（weighted least squares, WLS）^[11]算法对近红外和可见光图像融合，随着迭代次数的增加及图像尺寸的变大，算法处理时间急剧上升，并且该算法在进行图像融合时未考虑图像中雾浓度，导致融合图像无雾区域出现亮度过饱和现象。程鹏等^[12]考虑了雾浓度，根据雾浓度融合近红外和可见光图像，保持了无雾区域的色彩信息，但是，该算法采用简单的加权融合，没有充分利用近红外图像的细节信息，并且采用双边滤波对融合图像进行平滑处理，导致图像中所有的边缘信息丢失。因此，在进行可见光和近红外图像融合时，如何在保证图像去雾质量的前提下，尽可能地提高计算效率非常有意义。

针对文献[10–12]存在的问题，作者提出一种基于雾浓度和脉冲耦合神经网络（pulse coupled neural network, PCNN）^[13]的可见光与近红外图像融合去雾方法。首先，为解决融合图像出现亮度过饱和问题，利用暗原色先验统计规律估计出雾浓度分布，根据雾浓度对图像进行分区，根据分区进行不同程度的融合；然后，为解决融合图像虚假轮廓及算法时间长的问题，引入基于PCNN的图像融合算法，在保证融合图像质量的前提下，大幅降低计算量，提升算法速度；最后，引入引导图像滤波（guided image filtering，GIF）^[14]对融合图像做平滑处理，在平滑分区边缘的同时保留原图像的边缘信息。

1 雾浓度估计与分区

实际场景中，雾并不是布满整张图像，如果直接对整张图像进行去雾处理，会导致无雾区域颜色也随之变化，出现颜色失真。而理想的去雾是在最大限度地保留可见光图像清晰部分的前提下，将模糊不清的有雾部分替换为近红外图像，从而得到一幅符合人眼视觉特性的清晰图像。作者根据雾浓度差异对图像进行分区融合，很好地解决了上述问题。

1.1 基于暗通道先验的雾浓度估计

暗通道先验的原理是：对于不含大面积明亮区域的图像，在绝大多数区域内，总会有至少一个颜色通道存在很低像素值的像素存在，也就是说，在这些局部区域内，光强度的最小值接近于零。可以用式（1）计算暗通道 ${{J}^{ dark}}$ ：

${{J}^{ dark}}(x) = \mathop {\min }\limits_{c \in \{ r,g,b\} } (\mathop {\min }\limits_{y \in \varOmega (x)} ({{J}^{ c}}(y)))$

(1)

式中， ${{J}^{ c}}$ 为图像 ${J}$ 的颜色通道， $\varOmega (x)$ 是以 $x$ 为中心的一个区域。在无雾图像中，除了大片白色区域，暗通道像素点的值接近于0。由此可知，如果 ${J}$ 是一幅不包含大片白色区域的图像，那么， ${{J}^{ dark}}(x)$ 是一幅接近于黑色的图像。

一幅有雾图像的数学模型为：

${I}(x) = {J}(x){t}(x) + {A}(1 - {t}(x))$

(2)

式中， ${I}(x)$ 为原图像， ${J}(x)$ 为景物光， ${A}$ 为大气光， ${t}$ 为透射率。对于有雾图像， ${t}$ 小于1， ${I}(x)$ 中既包含了景物光经过雾的透射衰减后的分量，也包含了大气光，从而造成图像的模糊。

有雾图像的透射率 ${t}$ 比无雾图像的小，在有雾区域暗通道的亮度会较高。因此，可以利用有雾图像的暗通道 ${{J}^{ dark}}(x)$ 的值描述雾的“浓度”。图1是同一场景的晴天与有雾图像的暗通道。

由图1可以看出，有雾图像比晴天图像暗通道亮度明显大。

1.2 图像分区

将式（1）求得的暗通道归一化，并设定不同的阈值将图像分为不同雾浓度的区域。图像分区根据式（3）计算：

${Block}(n) = {{I}^{{{im}}}} \cdot {J}_n^{{{dark}}},{T_{n - 1}} < {J}_n^{{{dark}}}(i,j) < {T_n}$

(3)

式中： ${Block}(n)$ 表示第 $n$ 个分区； ${{I}^{{\text{im}}}}$ 为待分区图像，即可见光或近红外图像； ${J}_n^{{\text{dark}}}(i,j)$ 为暗通道归一化后在 $(i,j)$ 处的值，其值在0到1之间； ${T_n}$ 为雾浓度阈值，通过设置阈值，将图像分为雾浓度不同的 $n$ 块，随着 $n$ 的增大，可以得到更精细的分块，从而取得更精细的去雾效果，但随着 $n$ 的增大算法计算量也将增大。

2 基于PCNN的图像融合去雾

相对于可见光，近红外图像包含更多的景物细节信息，但近红外图像为灰度图，只含有亮度信息。将近红外与可见光图像融合可以获得一张无雾的彩色图像。由于近红外图像只有单通道信息，可见光图像有3通道信息，作者将可见光图像转化到HSI空间，并将其亮度通道与近红外图像融合。

2.1 近红外图像获取

散射光的强度由入射光的两个变量即光的波长 $\lambda $ 和散射粒子的尺寸决定。当气溶胶颗粒小于 $\lambda $ /10时，雾气的散射规律遵循以下关系：

${E_{ s}} \propto \frac{{{E_0}}}{{{\lambda ^4}}}$

(4)

由式（4）可以看出，光的散射强度 ${E_{ s}}$ 与入射光强 ${E_0}$ 和光波长的四次方的比值成正比例。也就是说，波长 $\lambda $ 越长，散射光强度越弱。可见光波长在400～700 nm之间的波段，近红外光的波段范围是700～1 100 nm，具有更强的“穿透力”。因此，在有雾天气，近红外图像能够包含更多的景物细节信息。使用一台光谱从400～1 100 nm波段频响曲线都好的CCD摄像机，通过变换滤光片的方法，可以同时获取近红外图像与可见光图像^[15]。

2.2 基于PCNN算法的多尺度图像融合

传统的图像融合算法，如拉普拉斯金字塔、梯度金字塔和比率低通金字塔等均具有层间相关性的缺点，融合后的图像往往出现虚假轮廓。Schaul等^[10]采用基于加权最小二乘滤波（WLS）算法^[11]得到的融合图像虽然没有虚假轮廓，但随着迭代次数的增加和图像尺寸变大，算法处理时间急剧上升。

为解决融合图像虚假轮廓及算法时间长的问题，作者采用基于脉冲耦合神经网络（PCNN）的多尺度融合算法进行图像融合。用PCNN对图像进行处理时，将每个像素的灰度值作为每个神经元的输入。基于PCNN的图像融合算法步骤如下：

1）对一幅图像 ${{I}_0}$ 做 $N$ 层平稳小波分解，得到低频近似图像 ${{S}_K}$ 和高频细节图像 ${W}_K^\beta $ ：

$[{{S}_K}\;{W}_K^\beta ] = {{ SWT}_{N( sym8)}}({{I}_0})$

(5)

式中， $K = 1,2, \cdots\! ,\;N$ 表示不同的分辨率， $\beta {\text{ = }}1,2,3$ 表示水平、垂直和对角3个方向，sym8为小波基类型。根据式（5）对待融合的两幅图像做 $N$ 层平稳小波分解，得到低频近似图像 ${{S}_N}({I})$ 和 ${{S}_N}({NIR})$ ，高频细节图像 ${W}_K^\beta ({W})$ 和 ${W}_K^\beta ({NIR})$ ，随着 $N$ 的增大，可以获取到图像的高频信息，即图像的细节信息，但随着计算量增大，算法时间增加。

2）选取 ${{S}_N}({I})$ 和 ${W}_K^\beta ({I})$ 作为主PCNN的输入， ${{S}_N}({NIR})$ 和 ${W}_K^\beta ({NIR})$ 作为从PCNN的输入。

3）对于主从PCNN网络的每一次迭代，计算从PCNN模型的各个神经元，并将从PCNN神经元的输出反馈到相应主PCNN神经元的链接域中；将所得的PCNN网络输出的一系列多尺度融合图像按Yu等的方法^[16]进行重构运算，得到本次迭代的融合图像 ${{F}_i}$ ， $i = 1,2,3, \cdots $ 表示第 $i$ 次迭代。

4）计算出该次融合图像的信息熵，熵值越大，说明携带的信息量越大；取并行PCNN网络输出图像的信息熵最大值对应图像作为最终的融合结果。

基于PCNN神经网络的方法，通过引入并行PCNN网络形成一个全局连接网络，自动实现两幅图像的融合，由于平稳小波具有线性相位特性，因此，采用平稳小波对图像进行重建的融合结果中不存在边缘移位现象，很好地解决了融合图像虚假轮廓问题。

2.3 边缘平滑

由于图像分块，融合后图像不可避免出现拼接缝，现有图像边缘平滑滤波方法例如高斯滤波、中值滤波、双边滤波等均能起到很好的滤波效果，程鹏等^[12]利用双边滤波技术对融合图像进行平滑处理，能够消除图像的拼接缝，但是由于对整张图像进滤波，导致除拼接缝以外的景物细节信息丢失。引导图像滤波能够很好地解决上述问题。

引导图像滤波根据引导图像对输入图像进行滤波，具有很好的保持边缘平滑特性。其原理是通过一幅引导图像对输入图像进行滤波，输出的图像在保留输入图像整体特征的同时，能充分获取引导图像的变化细节。将输入图像记为 ${p}$ ，引导图像记为 ${I}$ ，滤波输出图像记为 ${q}$ ，存在如下线性关系：

${{q}_i} = {a_k}{{I}_i} + {b_k},\;\;\forall i \in {{\omega }_k}$

(6)

式中， ${{\omega }_k}$ 是以 $k$ 为中心、 $r$ 为半径的方形窗口， ${a_k}$ 与 ${b_k}$ 为窗口中的线性因数。由式（6）可以看出，由于 $\nabla {q} = a\nabla {I}$ ，局部线性模型保证了窗口中 ${I}$ 有边缘时， ${q}$ 才会产生相应的边缘。

求取线性因数（ ${a_k}$ ， ${b_k}$ ）的最优解，使输入图像 ${p}$ 与输出图像 ${q}$ 之间的差值最小化。在第 $k$ 窗口中的代价函数表示为：

$E({a_k},{b_k}) = \sum\limits_{i \in {{\omega }_k}} {[{{({a_k}{{I}_i} + {b_k} - {{p}_i})}^2} + \varepsilon {a_k}^2]} $

(7)

式中， $\varepsilon $ 是一个方差调整参数，用于防止 ${a_k}$ 过大。通过线性回归求解式（7），得到：

${a_k} = \frac{{\displaystyle\frac{1}{{{{|}}\omega {{|}}}}\sum\limits_{i \in {{\omega }_k}} {{{I}_i}{{p}_i} - {\mu _k}\overline {{p_k}} } }}{{{\sigma _k}^2 + \varepsilon }}$

(8)

${b_k} = {p_k} - {a_k}{\mu _k}$

(9)

式中， ${\text{|}}\omega {\text{|}}$ 为窗口 ${{\omega }_k}$ 的像素个数， ${\sigma _k}^2$ 与 ${\mu _k}$ 分别为窗口 ${{\omega} _k}$ 中 ${I}$ 的方差与均值， ${p_k}$ 为窗口中 ${p}$ 的均值。由于点 $i$ 可能被包含在多个窗口中，窗口不同则 ${a_k}$ 、 ${b_k}$ 的值也不同，因此，需要计算以点 $i$ 为中心的窗口内 ${a_k}$ 、 ${b_k}$ 的平均值，然后求出 ${{q}_i}$ 的值：

${{q}_i} = \frac{1}{{|\omega |}}\sum\limits_{k \in {{\omega }_k}} {({a_k}{{I}_i} + {b_k}) = \overline {{a_i}} {{I}_i} + \overline {{b_i}} } $

(10)

式（7）中输入输出差异最小化的条件限制，使输出图像保留了输入图像的总体特征，同时式（6）建立的线性模型，滤波结果能充分获取引导图像的变化细节。引导图像滤波的原理示意图如图2所示。

3 实验结果与讨论 3.1 可见光图像暗通道及分块

用MATLAB对算法编程实现，硬件环境为：CPU i7/内存8GB/显卡GTX1080。求解可见光图像暗通道时，选取的块操作的窗口大小为15 $ \times $ 15。大量实验表明，当暗通道的值小于0.3时，场景中景物清晰，场景中无雾或者少雾。作者选取分区数 $n$ =2,雾浓度阈值 ${T_1} = 0.3$ ，求引导图像滤波时，可见光图像为引导图像，取方形窗口半径 $r$ =60，方差调整参数 $\varepsilon $ =0.01。根据雾浓度对暗通道图像进行分区，如图3（d）所示，白色部分为浓雾区，黑色部分为少雾或无雾区。

根据基于脉冲耦合神经网络的多尺度融合算法对有雾区域融合，做平稳小波分解时取 $N$ =3，融合后图像如图4（a）所示。对融合图像的拼接缝平滑处理时，采用双边滤波、高斯滤波和引导图像滤波进行对比。双边滤波和高斯滤波不能完全消除拼接缝，并且滤波后图像景物边缘信息丢失，如图4（b）、（c）所示。引导图像滤波具有很好的保持边缘平滑效果，滤波后图像如图4（d）所示，可以看到，远处的山峰清晰可见，无雾区域保持原有的色彩特性，整体图像符合人眼视觉特性。

进行分区时， $n$ 取更大的值可以获得更精细的雾浓度分区，从而获得更好的去雾效果，但算法的复杂度增加，计算量增大。

3.2 对比其他算法

在He等^[6]的单张图像去雾实验中，求取暗通道时选取块操作窗口大小为15 $ \times $ 15，并求解精细透射率，实验求得去雾后图像如图5（b）所示；在Schaul等^[10]基于近红外和可见光图像融合去雾实验中，利用加权最小二乘滤波对可见光图像和近红外图像进行多分辨率分解时，取分解层数为 $n$ =6，参数 $\lambda $ =0.1，实验所得去雾图像如图5（c）所示。

从图5（b）可以看出，He算法存在亮度变暗的缺陷，而且对浓雾的去雾效果并不理想，存在较多的残雾。从图5（c）可以看出，Schaul算法虽然有较好的去雾效果，但对于雾分布不均匀的情况，无雾区域会出现亮度过饱和，图像质量下降，不符合人眼视觉特性。本文算法去雾如图5（d）所示，在取得很好的去雾效果的同时，无雾区域保持可见光图像的色彩特性。

图6是本文算法与其他算法在图像局部区域去雾效果的比较。

由图6（e）和（f）可见，He方法去雾后有雾区域图像严重降质，本文算法去雾后图像更符合人眼视觉特性。由图6（g）和（h）可以看出，对于原图像无雾区域，Schaul算法出现严重颜色失真，本文算法能很好地保持原图像色彩信息。

本文算法对浓雾场景也有优异的表现，如图7所示，He算法几乎获取不到浓雾背后的细节信息，Schaul方法可以复原浓雾的细节信息，但颜色失真较为严重。本文算法在去除浓雾的同时，能很好地保持无雾区域颜色信息。

表1是各算法针对不同尺寸图像去雾的处理时间。由表1可以看出，本文算法比当前主流去雾算法在速度上有所提升，并且对于尺寸小的图像有明显的速度优势。由于基于PCNN的融合算法相较于基于WLS的融合算法计算复杂度较低；He方法采用软抠图方法精细化透射率计算量较大，算法时间相对较长。

表2为通过熵、均值和标准差3个数字图像客观评价指标进行3种算法性能对比。熵值表示图像的信息量，熵值越大表明图像的信息更丰富，则图像较为清晰。同一场景的有雾图像比无雾图像均值高，因此，均值下降表明取得一定的去雾效果。标准差反映各灰度值均值的离散情况，标准差越大，灰度值分布越分散，而灰度值的起伏反映了图像的纹理和边缘信息。

从表2可以看出：本文方法的信息熵、均值以及标准差综合评价优于Schaul方法；Schaul方法虽然取得较大标准差值，但由于不考虑雾浓度，近红外和可见光图像亮度值差异将导致融合图像在无雾区域亮度值发生变化，从而导致该区域颜色失真；He方法虽然有较低的均值，但导致图像亮度下降，图像整体暗淡，不符合人眼视觉特性。

4 结　论

为了解决雾天图像清晰化问题，提出了一种基于近红外与可将光融合的去雾方法。首先根据雾浓度对可见光图像进行分区，再结合雾浓度分区和脉冲耦合神经网络融合可见光与近红外图像，最后引入引导图像滤波对融合图像做滤波处理，有效恢复出清晰图像。

与已有的基于图像增强和基于物理模型的去雾算法相比，本文方法具有以下优点：1）采用可见光图像与近红外图像融合去雾的方法简单高效，不需要求解复杂的大气物理模型；2）结合雾浓度分区进行图像融合，能充分利用近红外图像的细节信息，同时能很好地保留无雾区域的颜色信息；3）采用基于PCNN的多尺度图像融合，快速有效，融合图像只有少量光晕伪影；4）引入引导滤波器处理图像，在平滑融合图像光晕以及分区边缘的同时很好地保留了图像原有的边缘信息。但本文算法也有一定的局限性，随着雾浓度分区的增加，算法的复杂度明显增加，无法实现实时性。因此，在有效去雾的前提下，进一步降低算法的复杂度将是下一步工作的研究重点。