Deep ADMM Network in Wavelet Domain for Image Restoration
-
摘要: 图像复原是一个重要的底层视觉问题，旨在从低质量图像中恢复出高质量图像。虽然，近年来基于深度学习的方法在图像复原领域展现出了优秀的性能，但是，大多数深度网络均是基于经验进行结构设计，较少考虑与现有的传统算法进行融合，因此网络可解释性较差。针对上述问题，本文提出了一种基于小波域ADMM深度网络的图像复原算法。首先，将小波变换同步引入到数据项以及先验项，提出了小波域下的图像复原模型，将图像复原问题变换到小波域进行研究，构建新的图像退化模型和复原代价函数。然后，为了有效降低该问题的优化求解难度，提出引入ADMM算法将其进一步分解为更易处理的复原子问题和去噪子问题分别求解，通过不断优化得到小波域图像最佳估计。最后，基于上述优化过程解的具体形式指导构建深度卷积神经网络，实现端到端的图像复原。该网络由于是在小波域进行图像处理，使得网络感受野增加且网络中特征映射的空间尺寸缩小。不仅能获得更好的性能，而且大幅降低了运算复杂度、提高了处理速度。将上述网络应用于图像去模糊和图像去噪任务，在Set10、BSD68和Urban100数据集上验证复原性能。相关实验结果表明，本文提出的算法对于去模糊和去噪任务都能取得较好的复原效果，其PSNR值增加0.08～0.18 dB，同时结果图片保留更多的细节信息，因此无论是定量还是定性结果都优于对比算法。Abstract: In recent years, deep learning-based methods have shown excellent performance in the field of image restoration. However, most deep networks are structured based on experience, and less consideration is given to fusion with existing traditional algorithms, therefore these networks arepoorly interpretable. To address this problem, an image restoration algorithm based on wavelet domain ADMM deep networkwasproposed. Firstly, a wavelet transform is introduced to the data term as well as the prior term simultaneously, an image recovery model under wavelet domain was proposed. Consequently the image recovery problem was transformed from spatial domain into wavelet domain, and a new image degradation model and recovery cost function were constructed. Then, in order to effectively reduce the difficulty of the optimal solution, the ADMM algorithm was introduced to further decompose it into a more manageable restoration subproblem and a denoising subproblem, and obtain the best estimate of the wavelet domain image through continuous optimization. Finally, the specific form of the solution based on the above optimization process guides the construction of a deep convolutional neural network to achieve end-to-end image recovery. The perceptual field and spatial feature mappingsizeof this networkis increased and decreased respectivelysince the image processing was executed in the wavelet domain. Not only does it achieve better performance, but also significantly reduces the complexity of operations and increases the processing speed. The proposed network was applied to image deblurring and image denoising tasks to verify the recovery performance on Set10, BSD68 and Urban100 datasets. The relevant experimental results show that the proposed algorithm achieves better recovery results for both deblurring and denoising tasks, with an increase of 0.08~0.18 dB in PSNR values while the resultant images retain more detailed information, thus outperforming the comparison methods in both quantitative and qualitative results.
-
Keywords:
- image restoration /
- wavelet transform /
- ADMM /
- convolutional neural network
-
$$ $$ 图像在形成、处理和传输过程中，由于成像系统、传输介质和处理方法等的限制，通常会导致图像质量的下降。但在实际应用中，由于人们对图像质量的要求越来越高，如何进行高质量图像的恢复具有重要意义。图像复原是一种从低质量观测图像中恢复出清晰图像的技术，在遥感图像处理、医疗诊断、智能监控等领域有着重要的应用。图像复原本身是一个病态的逆问题，具有不适定性。目前通常采用正则化方法解决此类问题，它利用未知图像的先验信息约束解空间，使得到的解更接近真实解，通常这类方法被称为基于模型的方法。由于此类方法利用图像自身信息提出具体的先验项并直接通过相应的优化算法进行求解，因此图像先验在复原中具有重要作用。目前已经提出了各种各样的先验项，如稀疏先验[1-2]、非局部自相似性先验[3-5]及低秩先验[6-7]等等。这些先验项被有效利用于各种复原算法中，且获得了较好的重建结果。例如，Papyan等[8]通过考虑引入多尺度先验来对通常基于块的复原方法进行改进，获得了更好的复原结果。Dong等[9]将非局部相似性先验和稀疏先验有效融合在一起，提出了一种非局部集中稀疏表示模型用于复原任务。Tirer等[10]提出了一种迭代优化算法框架，该框架可使用现有的BM3D算法作为去噪器来对复原逆问题求解。但是，此类方法通常运算复杂度高，比较耗时。且如何设计出高性能的图像先验项涉及到很多问题需要解决，本身十分困难。
另一类图像复原方法为基于学习的方法，该类方法根据训练样本对高质量图像进行估计，近年来也得到了广泛的应用。例如，Kim等[11]提出了一种基于残差学习的图像超分辨率重建网络，该网络学习输入图像的残差信息，然后将学习的残差信息和输入图像进行相加得到重建的图像。Zhang等[12]构建了一种端到端的卷积神经网络DnCNN，其采用残差学习策略有效解决了不同程度的噪声残留。Lefkimmiatis等[13]基于非局部模型进行了网络结构设计，用卷积神经网络来执行非局部处理过程，提出了相应的网络UNLNet用于图像噪声去除。Wang等[14]设计了一种新的网络结构CFSNet，该网络分为主分支和调整分支。在主分支输入降质图像，在调整分支输入控制尺度因子，通过调整每个模块的特征实现对复原结果的交互控制。此外，Zhang等[15]设计了一种密集残差网络RDN，通过密集连接增强了网络对图像局部特征的捕捉。Fan等[16]提出了一种尺度卷积网络SCN，首先将输入图像映射到特征空间建立相应的特征金字塔表示，然后将其送到具有尺度卷积的残差网络中完成图像重建。Zou等[17]在常见编解码结构网络基础上引入了空洞卷积以有效增大网络感受野，且通过设计一种新的小波重建模块，保证重建图像在获得模糊去除的同时恢复出了更多纹理细节信息。Mei等[18]提出了非局部稀疏注意力模块应用于超分辨率重建任务。但这些方法大多未在网络设计中考虑传统方法中的图像退化模型信息，且网络可解释性较差，不利于网络性能的进一步优化提升。
基于学习的方法[19]在图像复原任务中表现出了优秀的性能，然而现有方法大多都是直接从训练数据中学习高低质量图像间的映射关系得到对应的预测模型，并未考虑到图像退化模型。为了更好地结合两种方法的优势，也有一些研究尝试将两种方法有机融合起来，解决各自固有的一些不足之处，突破深度网络设计中的瓶颈提升性能[20-21]，为本文提供了一种新的研究思路。如Dong等[20]尝试通过SBI算法将经典复原问题分解为几个子问题，并结合深度学习方法进行求解。但是，在深度学习方法与传统方法的具体融合方式、实现方法等的选择上仍存在很多问题，需要进一步深入研究。
本文在以上研究基础上对结合图像退化模型的深度学习方法进一步研究，提出了一种基于小波域交替方向乘子法（alternating direction method of multiplier, ADMM）深度网络的图像复原算法。该算法首先提出了一种小波域图像复原模型，将复原问题变换到小波域上进行研究。其次，根据小波域复原模型利用交替方向乘子法将该复原问题分解几个子问题分别进行优化求解。最后，基于上述优化求解过程进行网络的设计，构建一个相应的卷积神经网络用于图像复原。
1. 基于去噪先验的图像复原方法
针对图像复原问题，通常其图像退化模型可表示为：
$$ {\boldsymbol{y }}= {\boldsymbol{Hx}} + {\boldsymbol{n}} $$ (1) 式中，
${\boldsymbol{y}}$ 表示低质量观测图像，${\boldsymbol{x}}$ 表示原始清晰图像，${\boldsymbol{H}}$ 为退化矩阵，${\boldsymbol{n}}$ 为加性高斯白噪声。对于不同的复原任务，退化矩阵呈现出不同的表现形式，例如：在去噪中，${\boldsymbol{H}}$ 为一个恒等映射矩阵；在去模糊中，${\boldsymbol{H}}$ 表示一个模糊操作算子；而在超分辨率中，${\boldsymbol{H}}$ 同时包含模糊和下采样算子。基于此退化模型，可进一步将图像复原问题转化为求解如下的优化问题：
$$ {\boldsymbol{x}} = \mathop {\arg \min }\limits_{{{\boldsymbol{x}}}} \frac{1}{2}\left\| {{\boldsymbol{y}} - {\boldsymbol{Hx}}} \right\|_2^2 + \lambda {\boldsymbol{\varTheta}} \left( {\boldsymbol{x}} \right) $$ (2) 式中：
$\left\| {{\boldsymbol{y}} - {\boldsymbol{Hx}}} \right\|_2^2$ 为数据保真项，保证复原图像与观测图像的接近程度；$ \varTheta \left({\boldsymbol{ x}} \right) $ 为正则化项，提供先验信息；$\lambda $ 为正则化参数，保持这两项的平衡。针对式（2），借助变量分裂技术[22-23]，使之可以独立地对数据保真项和正则化项进行处理。经过变换后，正则化项仅仅对应于一个去噪子问题，因此可以将有效的去噪器嵌入到基于模型的方法中进行优化求解，解决各种逆问题。
基于去噪先验的图像复原方法通常借助变量分裂算法把图像复原问题分解为多个子问题，且通过去噪网络对其中的去噪子问题求解，在图像退化模型下以允许使用更加复杂的先验信息，对图像复原问题进行更加全面的约束，进而得到质量更好地复原图像。通过引入一个新的辅助变量
${\boldsymbol{z}}$ ，可将式（2）转换成如下的一个有约束优化问题：$$ \begin{aligned} \left( {{\boldsymbol{x,z}}} \right) &= \mathop {\arg \min }\limits_{{{{\boldsymbol{x}}}},v} \frac{1}{2}\left\| {{\boldsymbol{y}} - {\boldsymbol{Hx}}} \right\|_2^2 + \lambda {\boldsymbol{\varTheta}} \left( {\boldsymbol{z}} \right){\text{ }} \\ {\rm{ s.t.}}\;\; {\boldsymbol{z}} &= {\boldsymbol{x}} \end{aligned} $$ (3) 文献[20,24]采用半二次方分裂方法将上述问题分解为以下两个子问题：
$$ {{\boldsymbol{x}}^{k + 1}} = \mathop {\arg \min }\limits_{{\boldsymbol{x}}} \left\| {{\boldsymbol{y}} - {\boldsymbol{Hx}}} \right\|_2^2 + \mu \left\| {{\boldsymbol{x}} - {{\boldsymbol{z}}^k}} \right\|_2^2 $$ (4) $$ {{\boldsymbol{z}}^{k + 1}} = \mathop {\arg \min }\limits_{\boldsymbol{z}} \mu \left\| {{{\boldsymbol{x}}^{k + 1}} - {\boldsymbol{z}}} \right\|_2^2 + \lambda \varTheta \left( {\boldsymbol{z}} \right) $$ (5) 式中，
$\;\mu $ 为一个正则项参数，$k$ 为迭代次数。经过此步骤，正则化项和数据项被分别分到两个不同的子问题中，在迭代过程中依次对这两个子问题进行求解，并将解送往下一次迭代对$ {\boldsymbol{x}}、{\boldsymbol{z}} $ 进行更新，重复此过程即可得到最终的重建图像${\boldsymbol{x}}$ 。对于${\boldsymbol{x}}$ 子问题，常采用梯度下降法、共轭梯度法等优化算法对其进行求解。对于${\boldsymbol{z}}$ 子问题，式（5）可以看作是对含噪声图像${{\boldsymbol{x}}^{k + 1}}$ 的去噪问题求解，即可通过一个去噪网络进行求解。由于传统的图像复原算法是基于像素域，因此计算复杂度较高。除此之外，传统的变量分裂技术严重地限制了算法的适用范围且鲁棒性较弱。因此，本文提出了新的基于小波域ADMM深度网络复原算法。2. 基于小波域ADMM深度网络的图像复原算法
本文结合小波域图像复原模型，构造了新的退化模型和复原代价函数，并结合ADMM优化算法，分解出相应的求解子过程，和传统的半二次分裂方法相比， ADMM 方法适用于更大范围的、更复杂的基于模型的图像复原方法且具有更好的鲁棒性，从而更有利于指导后续的图像复原网络设计。
2.1 基于小波域的图像复原模型
对于图像复原问题，大多数方法都直接在像素域上进行处理。但是直接在图像像素域上进行处理，尤其对于基于学习的方法特别容易造成结果的过度平滑，引起一些细节的损失[25]。此外，在像素域上构建的网络将输入图像直接送往网络处理，而由于网络中特征图尺寸和输入图尺寸保持一致，使得网络中的各种操作都在一个较大的尺寸上进行，极大增加了网络运算量。一方面，鉴于小波变换本身对图像特征就有一定的提取和分离特性，能够促进网络的学习，帮助更好地捕捉恢复细节信息；另一方面，由于输入图像经小波变换后图像空间尺寸会减小为原来的一半，使得网络中特征图尺寸也会相应地减小为原来的一半，进而能降低整个网络的运算复杂度、加快速度。因此，本文在小波域下进行图像复原的研究，提出了基于小波域的图像复原模型。
取小波变换算子
${\boldsymbol{W}}$ 对式（1）进行处理，得到小波域下的退化模型为：$$ {\boldsymbol{Wy}} = {\boldsymbol{WHx}} + {\boldsymbol{Wn}} = \widetilde {\boldsymbol{H}}{\boldsymbol{Wx}} + {\boldsymbol{Wn}} $$ (6) 式中，经过推导可知
$\widetilde {\boldsymbol{H}}$ =${\boldsymbol{ WHW}}^{{ - 1}}$ 。式（6）可进一步变换为：$$ {{\boldsymbol{y}}_w} = \widetilde{\boldsymbol{H}} {\boldsymbol{x}}_w + {{\boldsymbol{n}}_w} $$ (7) 式（7）即为提出的小波域图像退化模型，其表征了在小波域下由高质量小波图像降质到低质量小波图像的图像退化过程。其中，
${{\boldsymbol{y}}_w}$ 、${{\boldsymbol{x}}_w}$ 分别表示低质量小波图像和原始高质量小波图像。在本文中，选择使用Haar小波算子来实现像素域上的图像与其相对应的小波图像间的转换，即设置式（6）中的${\boldsymbol{W}}$ 为一个Haar小波算子。$\widetilde {\boldsymbol{H}}$ 为一个等效的小波域降质算子，${{\boldsymbol{n}}_w}$ 为对应的小波域噪声。对于图像复原问题，若能从低质量观测小波图像${{\boldsymbol{y}}_w}$ 中恢复出高质量小波图像${{\boldsymbol{x}}_w}$ ，则可再通过后续的一个小波逆变换实现最终清晰图像的重建。基于小波域的图像退化模型（即式（7）），可以通过求解如下的小波域图像复原优化问题（式（8）、（9））进行清晰图像
${\boldsymbol{x}}$ 的重建：$$ {{\boldsymbol{x}}_w} = \mathop {\arg\min}\limits_{{{\boldsymbol{x}}_w}} \frac{1}{2}\| {{{\boldsymbol{y}}_w} - \widetilde {\boldsymbol{H}}{{\boldsymbol{x}}_w}} \|_2^2 + \lambda \varTheta \left( {{{\boldsymbol{x}}_w}} \right) $$ (8) $$ {\boldsymbol{x}} = {{\boldsymbol{W}}^{{{ - 1}}}}{{\boldsymbol{x}}_w} $$ (9) 对于式（8），同像素域的图像复原优化问题相似，
$\| {{{\boldsymbol{y}}_w} - \widetilde {\boldsymbol{H}}{{\boldsymbol{x}}_w}} \|_2^2$ 为基于小波域的数据保真项，保证复原出的小波图像与原始小波图像尽可能相似。$\varTheta \left( {{{\boldsymbol{x}}_w}} \right)$ 为对应的小波域先验项，$\lambda $ 为平衡以上两项的一个系数。从该式中可以看出，要恢复出最佳估计${{\boldsymbol{x}}_w}$ ，除了已知的小波域退化矩阵$\widetilde {\boldsymbol{H}}$ 和观测图像${{\boldsymbol{x}}_w}$ ，其关键在于小波域先验项$\varTheta \left( {{{\boldsymbol{x}}_w}} \right)$ 的设计，它极大程度地决定了复原图像的质量。通过式（8）得到一个小波域图像最佳估计${{\boldsymbol{x}}_w}$ 后，由于小波变换是可逆的，即可进一步通过式（9）恢复出像素域上的清晰图像${\boldsymbol{x}}$ 。2.2 基于ADMM的小波域图像复原模型的优化
基于上述提出的小波域图像复原模型，可以通过对式（8）进行优化求解得到一个小波域图像估计
${{\boldsymbol{x}}_w}$ ，然后鉴于小波变换的可逆性，通过式（9）即可获得像素域上的干净图像${\boldsymbol{x}}$ 。但是，若要通过式（8）、（9）直接求解，需要设计小波域先验$\varTheta \left( {{{\boldsymbol{x}}_w}} \right)$ ，并通过合适的优化算法给出式（8）的迭代最优解，这是一项极具挑战性的工作。虽然基于像素域已有大量工作提出了很多有效的先验项，但针对小波域先验项构建的研究还很少，设计小波域先验项仍是一项困难的任务，这也进一步限制了接下来的优化求解问题。由于近年来基于深度学习的方法在图像复原中表现出了很好的性能，其可直接基于训练数据对高质量图像做出估计，在保证较好复原效果的同时有效避免了手动设计先验项困难的问题。故本文采用深度网络来解决式（8）、（9）的求解问题。但是，现有大多数深度网络都是数据驱动的，在结构上并未考虑融合图像自身特性和相关退化模型的信息，解释性差的同时也限制了性能的进一步提升。为了有效利用小波域图像退化模型的信息，同时增强深度网络的可解释性，并未采用通常方法直接构建网络以解决问题，而是考虑借助ADMM算法来指导网络的设计，将图像退化模型信息融入网络中。ADMM算法的特性能够帮助把一个复杂的问题分解为多个子问题，降低其优化求解难度。借助ADMM算法，图像复原问题可分解为去噪子问题和一个简单的复原子问题，且任意去噪算法均可被灵活地插入到复原框架内，允许更加复杂先验的引入。文献[26]指出在基于模型的框架内进行特定模块的融入时，ADMM能很好地保证算法的鲁棒性。受到ADMM算法的启发，本文基于ADMM进行式（8）的优化求解。
对小波域下的代价函数（即式（8））引入辅助变量
${\boldsymbol{z}}$ ，并转换为其增广拉格朗日形式：$$ \begin{aligned}& \left( {{{\boldsymbol{x}}_w},{\boldsymbol{z}},{\boldsymbol{u}}} \right) = \mathop {{\rm{argmin}}}\limits_{{{\boldsymbol{x}}_w},{\boldsymbol{z}},{\boldsymbol{u}}} \frac{1}{2}\| {{{\boldsymbol{y}}_w} - \widetilde {\boldsymbol{H}}{{\boldsymbol{x}}_w}}\|_2^2 + \\& \qquad \qquad \;\; \lambda \varTheta \left( {\boldsymbol{z}} \right) + {{\boldsymbol{u}}^{\text{T}}}\left( {{{\boldsymbol{x}}_w} - {\boldsymbol{z}}} \right) + \frac{\rho }{2}\left\| {{{\boldsymbol{x}}_w} - {\boldsymbol{z}}} \right\|_2^2 \\& {\text{s.t.}}\;\;{\boldsymbol{z}} = {{\boldsymbol{x}}_w} \end{aligned} $$ (10) 式中，
$ {\boldsymbol{u}} $ 为拉格朗日乘子，$ \;\rho $ 为一个正的拉格朗日参数。采用ADMM算法，可将式（10）分解为如式（11）所示的一个复原子问题和如式（12）所示的一个去噪子问题。其中，拉格朗日乘子项可表示为式（13）。经过该变换后，原本小波域图像复原模型里的数据保真项和先验项被拆分开，分到了两个子问题中。对于式（11），不再涉及到小波域先验项，可直接对式（11）进行优化求解。对于式（12），其可看作是对输入图像$ {\boldsymbol{x}}_w^{k + 1}{{ + }}\dfrac{1}{\rho}{{\boldsymbol{u}}^k} $ 的去噪求解问题，考虑基于深度学习的方法进行处理，采用一个去噪网络进行求解，以有效避免小波域先验项的设计。$$ {\boldsymbol{x}}_w^{k + 1} = \mathop {{\rm{argmin}}}\limits_{{{\boldsymbol{x}}_w}} \| {{{\boldsymbol{y}}_w} - \widetilde {\boldsymbol{H}}{{\boldsymbol{x}}_w}} \|_2^2 + \frac{\rho }{2}\left\| {{{\boldsymbol{x}}_w} - {{\boldsymbol{z}}^k} + \frac{1}{\rho }{{\boldsymbol{u}}^k}} \right\|_2^2 $$ (11) $$ {{\boldsymbol{z}}^{k + 1}} = \mathop {{\rm{argmin}}}\limits_{\boldsymbol{z}} \frac{\rho }{2}\left\| {{\boldsymbol{z}} - {\boldsymbol{x}}_w^{k + 1} - \frac{1}{\rho }{{\boldsymbol{u}}^k}} \right\|_2^2 + \lambda \varTheta \left( {\boldsymbol{z}} \right) $$ (12) $$ {{\boldsymbol{u}}^{k + 1}} = {{\boldsymbol{u}}^k} + \rho ( {{\boldsymbol{x}}_w^{k + 1} - {{\boldsymbol{z}}^{k + 1}}} ) $$ (13) 对于
${{\boldsymbol{x}}_{{w}}}$ 子问题，采用梯度下降法进行求解，可得：$$ {\boldsymbol{x}}_w^{k + 1} = {\boldsymbol{x}}_w^k - \sigma \left[ {{{\widetilde {\boldsymbol{H}}}^{\text{T}}}\left( {\widetilde{\boldsymbol{H}} {\boldsymbol{x}}_w^k - {{\boldsymbol{y}}_w}} \right) + \frac{\rho }{2}\left( {{\boldsymbol{x}}_w^k - {{\boldsymbol{z}}^k} + \frac{1}{\rho }{{\boldsymbol{u}}^k}} \right)} \right] $$ (14) 且式（14）可进一步展开为：
$$ {\boldsymbol{x}}_w^{k + 1} = \left[ {\left( {1 - \frac{{\sigma \rho }}{2}} \right){\boldsymbol{I}} - \sigma {{\widetilde {\boldsymbol{H}}}^{\text{T}}}\widetilde {\boldsymbol{H}}} \right]{\boldsymbol{x}}_w^k + \sigma {{\widetilde {\boldsymbol{H}}}^{\text{T}}}{{\boldsymbol{y}}_w} + \frac{{\sigma \rho }}{2}{{\boldsymbol{z}}^k} - \frac{\sigma }{2}{{\boldsymbol{u}}^k} $$ (15) 对于
${\boldsymbol{z}}$ 子问题，由上文知可用一个去噪网络来求解，其解可表示为：$$ {{\boldsymbol{z}}^{k + 1}} = {\rm{D}}\left( {{\boldsymbol{x}}_w^{k + 1} + \frac{1}{\rho }{{\boldsymbol{u}}^k}} \right) $$ (16) 式中，
${\rm{D}}$ 表示去噪网络，网络输入为${\boldsymbol{x}}_w^{k + 1} + \dfrac{1}{\rho }{{\boldsymbol{u}}^k}$ 。基于ADMM算法，以上步骤完成了对式（8）所示的小波域图像复原模型的优化求解。对于输入低质量图像，在对其进行小波变换后，即可通过式（13）、（15）、（16）进行迭代求解，不断更新
$ {{\boldsymbol{x}}}_{w}、{\boldsymbol{z}}、{\boldsymbol{u }}$ 3个参数得到一个小波域图像最佳估计${{\boldsymbol{x}}_w}$ ，最后通过小波逆变换得到重建的清晰图像。但是，考虑到迭代求解的运算复杂度和深度网络的良好性能，本文并不直接这样进行迭代求解，而是考虑将此优化过程展开为网络的形式，构建一个深度网络直接实现端到端的图像复原。2.3 构建基于小波域ADMM的卷积神经网络
结合式（13）、（15）、（16），构建了一个基于小波域ADMM的卷积神经网络用于图像复原，其结构如图1所示。卷积神经网络的处理流程如下：对于输入图像
${\boldsymbol y}$ ，首先通过一个特征域初始估计模块进行处理，然后将其输入到接下来的N个子网络中进行重建，最后经过像素域重建模块得到重建的图像${\boldsymbol{x}}$ 。具体地，对于输入观测图像进行一次小波变换后和矩阵${\widetilde {\boldsymbol{H}}^{\text{T}}}$ 相乘，将对清晰图像估计的小波初始${\boldsymbol{x}}_w^0$ 送入子网络进行重建，得到的小波域重建结果通过相应的小波逆变换实现最终的像素域结果。子网络的具体结构是根据式（15）展开得到的。值得注意的是，在图1所示的神经网络网络中，模块A可以表示为${\boldsymbol{A}} = \left( {1 - \dfrac{{\sigma \rho }}{2}} \right){\boldsymbol{I}} - \sigma {\widetilde {\boldsymbol{H}}^{\rm T}}\widetilde {\boldsymbol{H}}$ ，在网络中通过一个卷积层来实现，上文提到的矩阵${\widetilde {\boldsymbol{H}}^{\text{T}}}$ 同样也采用一个卷积层来实现。图1中，$- \sigma 、 - \sigma \rho /2、 1/\rho、 \sigma、 \sigma \rho /2、 - \sigma /2$ 表示权值。具体地，还需要通过式（13）计算出对应的${{\boldsymbol{u}}^k}$ ，通过式（16）计算相应的${{\boldsymbol{z}}^k}$ 来共同实现该子网络的搭建。
图 1 基于小波域ADMM的卷积神经网络结构图Fig. 1 Framework of our proposed deep ADMM network
下载:
全尺寸图片
对于
${\boldsymbol{z}}$ 子问题的求解（即式（16）的计算），鉴于卷积神经网络在去噪问题中良好的性能，选择使用基于CNN的去噪网络用于求解。基于密集残差块[15]，构建了小波域去噪子网络作为式（16）中的网络D的具体实现。该小波域去噪网络首先通过两个3×3的卷积层进行浅层特征的提取，然后通过Y个残差块（dense residual blocks，RDB）实现进一步学习，最后通过两个3×3的卷积层完成重建。其中，每一个残差块的输出都被送到Concat层，然后通过1×1卷积层进行自适应特征融合，该网络输入为小波特征和由式（13）定义的参数${\boldsymbol{u}}$ ，网络输出也为一个小波特征图。因此，整个网络是在小波域上实现图像去噪的。由于是在空间尺寸更小的小波特征图上进行处理，该网络运算复杂度更低；且鉴于小波特征本身即可表征不同种类的信息，细节信息得到了更好的保留和学习。与一般的去噪网络相比，该网络能获得更好的性能且能有效提升速度。在训练中设置RDB的个数为4，损失函数为MSE。3. 实验结果与分析
为了对本文提出的算法的有效性进行分析，将其应用到去模糊任务和去噪任务中，并进行大量实验。实验中，算法的基本参数设置为：复原子网络个数N=3。网络训练过程中，采用数据集DIV2K[27]中的800张HR图像作为训练样本。DIV2K由800张训练图像、100张验证图像和100张测试图像组成，图像分辨率为2K。优化算法选用的是ADAM[28]，其中参数设置为：
$\;{\beta _{\text{1}}}{\text{ = 0}}{\text{.9}}$ ，$\;{\beta _{\text{2}}}{\text{ = 0}}{\text{.999}}$ ，$\varepsilon = {10^{ - 8}}$ 。初始学习率设置为${\text{1}}{{\text{0}}^{{{ - 4}}}}$ ，且每过3个epoch，学习率降低四分之一。选用峰值信噪比（peak signal to noise ratio，PSNR）[27]作为客观评价指标验证算法性能。网络执行环境是Pytorch，使用一块Nvidia 1080Ti GPU。3.1 图像去模糊实验结果与分析
为了验证本文方法在图像去模糊上的效果，在图2所示的测试图像[29]上进行了实验，该测试图像集共包括10张图像，大小为256×256像素。实验中，采用两种类型的模糊核产生模糊图像：类型1为标准差
$\sigma = 1.6$ 、大小为25×25像素的高斯模糊核，添加标准差${\sigma _n} = 2$ 的高斯噪声；类型2为文献[28]中所述8种模糊核中的第1种大小为19×19像素的运动模糊核，添加标准差${\sigma _{{n}}} = 2.55$ 的高斯噪声。将本文提出的方法与MSEPLL[8]、IDBP-BM3D[10]、NCSR[9]（仅高斯去模糊）、VDSR[11]（仅运动去模糊）、IRCNN[21]、DPDNN[20]以及RDN[15]进行了比较。
图 2 用于去模糊的测试图像Fig. 2 Test images used for deblurring下载:
全尺寸图片
对于高斯模糊情况，表1列出各种方法对测试图像进行去高斯模糊（
$\sigma = 1.6$ ，25×25像素的高斯模糊核，并添加${\sigma _n} = 2$ 高斯噪声）的PSNR。其中，IDBP-BM3D、MSEPLL、NCSR未利用到CNN网络的方法在测试图像上的平均PSNR明显低于其他基于深度学习的方法。本文方法取得了最好的效果，在测试图像上的平均PSNR值比IRCNN高出0.74 dB，比DPDNN高出0.46 dB，比RDN高出0.25 dB。表 1${\boldsymbol{\sigma = 1.6 }}$ 的25×25像素高斯模糊核（高斯噪声${{\boldsymbol{\sigma}} _{\boldsymbol{n}}} {\boldsymbol{= 2}}$ ）下不同方法的去模糊效果Table 1 Deblurring results of different methods with 25×25 pixels Gaussian blur kernel and${\boldsymbol{\sigma = 1.6 }}$ (Gaussian noise${{\boldsymbol{\sigma }}_{\boldsymbol{n}}}{\boldsymbol{ = 2}}$ )dB 图像 MSEPLL IDBP-
BM3DNCSR IRCNN DPDNN RDN 本文方法 Barbara 25.20 26.09 26.54 26.15 26.47 26.68 26.99 Boats 30.84 30.94 31.22 31.41 31.54 31.72 31.89 Butterfly 29.74 28.58 29.74 30.44 30.67 31.07 31.23 C. Man 27.60 27.51 27.97 28.06 28.24 28.56 28.75 House 33.30 33.12 33.33 33.79 34.25 34.33 34.56 Leaves 29.54 28.98 30.15 30.43 30.23 30.61 31.54 Lena 30.93 30.81 30.98 31.14 31.48 31.32 31.65 Parrots 31.92 31.65 32.03 31.82 32.40 32.71 32.90 Peppers 30.09 29.31 29.95 30.68 30.18 30.42 30.58 Starfish 30.44 30.36 30.83 30.77 32.00 32.15 32.04 平均值 29.96 29.73 30.27 30.47 30.75 30.96 31.21 此外，为了对去模糊效果有更直观的感受，图3给出了各种方法在测试图像Barbara上的去高斯模糊（
$\sigma = 1.6$ ，25×25像素的高斯模糊核，并添加${\sigma _n} = 2$ 高斯噪声）的效果图。由图3所见，IDBP-BM3D和MSEPLL能够大体实现图像的去模糊，但是细节恢复不清晰。NCSR和IRCNN较前面两种方法性能有所提升，但是仍然有很多细节并未恢复出来。RDN和DPDNN在去模糊上表现出不错的性能，但是通过对比发现，本文方法对于细节的恢复更加精细。综上所述，本文方法不论是在主观视觉效果还是客观指标上都优于其他方法。
图 3${\boldsymbol{\sigma = 1.6 }}$ 的25×25像素高斯模糊核（高斯噪声${{\boldsymbol{\sigma}} _{\boldsymbol{n}}} {\boldsymbol{= 2 }}$ ）下不同方法对图像Barbara的去模糊效果Fig. 3 Deblurring results of different methods on the test image Barbara with 25×25 pixels Gaussian blur kernel and${\boldsymbol{\sigma = 1.6 }}$ (Gaussian noise${{\boldsymbol{\sigma}} _{\boldsymbol{n}}} {\boldsymbol{= 2}}$ )下载:
全尺寸图片
对于运动模糊情况，表2给出了各种方法对测试图像进行去运动模糊（19×19像素运动模糊核，并添加
${\sigma _n} = 2.55$ 高斯噪声）的PSNR值。由表2可见，同去高斯模糊类似，VDSR、IRCNN、DPDNN、RDN及本文方法利用了CNN，因此在测试图像上的平均PSNR高于其他两种。其中，VDSR取得了相对最低的平均PSNR，RDN取得了最优的性能。但是综合对比，本文方法仍然取得了最高的PSNR值，比VDSR高0.71 dB，比IRCNN高0.53 dB，比DPDNN大约高0.3 dB，比RDN高0.18 dB。表 2 19×19像素运动模糊核（高斯噪声${{\boldsymbol{\sigma}} _{\boldsymbol{n}}} {\boldsymbol{= 2.55 }}$ ）下不同方法的去模糊效果Table 2 Deblurring results of different methods for 19×19 pixels motion-blur removing (Gaussian noise${{\boldsymbol{\sigma}} _{\boldsymbol{n}}} {\boldsymbol{= 2.55}}$ )dB 图像 MSEPLL IDBP-BM3D VDSR IRCNN DPDNN RDN 本文方法 Barbara 30.98 31.63 31.93 32.37 32.39 32.67 32.89 Boats 31.66 32.12 33.17 33.04 33.39 33.58 33.74 Butterfly 30.75 30.08 32.10 32.22 32.58 32.72 33.03 C. Man 30.53 30.72 31.43 31.49 31.70 31.59 31.80 House 33.04 34.96 34.94 34.88 35.34 35.36 35.40 Leaves 30.53 30.22 32.11 33.28 32.99 33.24 33.56 Lena 31.87 31.81 33.36 33.53 33.80 33.95 34.20 Parrots 32.72 33.01 34.66 34.46 34.98 35.03 35.18 Peppers 31.06 31.21 31.83 31.98 32.05 32.01 32.14 Starfish 30.93 30.64 32.22 32.25 32.71 32.77 32.88 平均值 31.41 31.64 32.77 32.95 33.19 33.30 33.48 此外，图4也给出了各种方法在测试图像Boats上去除运动模糊（19×19像素运动模糊核，并添加
${\sigma _n} = 2.55$ 高斯噪声）后的效果图。对比视觉效果，本文方法可以更好地去除运动模糊，且能更好地重建细节边缘信息。
图 4 19×19像素运动模糊核（高斯噪声${{\boldsymbol{\sigma}} _{\boldsymbol{n}}} {\boldsymbol{= 2.55}}$ ）下不同方法对图像Boats去模糊效果Fig. 4 Deblurring results of different methods on the test image Boats with 19×19 pixels motion blur kernel (Gaussian noise${{\boldsymbol{\sigma}} _{\boldsymbol{n}}} {\boldsymbol{= 2.55}}$ )下载:
全尺寸图片
表3给出了本文方法与最优算法RDN在数据集BSD68和Urban100上去除高斯和运动模糊的平均PSNR。
表 3 在数据集BSD68和Urban100上不同方法去高斯和运动模糊的平均PSNR结果Table 3 PSNR results of different methods on the database BSD68 and Urban100 for Gaussian and motion blur removingdB 数据集 RDN 本文方法 去除高
斯模糊去除运
动模糊去除高
斯模糊去除运
动模糊BSD68 31.01 33.45 31.13 33.65 Urban100 26.76 31.06 26.80 31.24 从表3中可以看到：在数据集BSD68上，本文方法的PSNR提升了0.12 dB（高斯模糊）、0.2 dB（运动模糊）。在数据集Urban100上，本文方法的PSNR提升0.04 dB（高斯模糊）、0.18 dB（运动模糊）。因此，本文方法重建出的图像也取得了较好的视觉效果，既没有模糊去除不够彻底的情况，也保证了图像的一些基本细节信息都未丢失。
3.2 图像去噪实验结果与分析
针对图像去噪任务，选取标准差
${\sigma _n} = 50$ 的高斯噪声用于噪声图像的产生，在图5所示的测试图像[30]、数据集BSD68[30]和数据集Urban100[31]上进行大量实验。图5中的测试图像集包括12张图像，其中，图5（a）～（g）大小为256×256像素，图5（h）～（l）大小为512×512像素。数据集BSD68包含68张测试图像，图像大小约为768×512像素。Urban100包括100张测试图像，图像大小基本保持在1024×700像素左右。为了验证本文方法在去噪任务上的效果，将其与TNRD[19]、DnCNN[12]、IRCNN[21]、UNLNet[13]、CFSNet[14]、DPDNN[20]和SCN[16]等方法进行了对比
图 5 用于去噪的测试图像Fig. 5 Test images used for denoising下载:
全尺寸图片
当高斯噪声
${\sigma _n} = 50$ 时，各方法在图5所示的测试图像上去噪的平均PSNR见表4。表 4 在去噪测试图像上不同方法去除${{\boldsymbol{\sigma}} _{\boldsymbol{n}}} {\boldsymbol{= 50}}$ 高斯噪声的PSNR结果Table 4 PSNR results of different methods on the denoising test images for${{\boldsymbol{\sigma}} _{\boldsymbol{n}}} {\boldsymbol{= 50 }}$ Gaussian noise removingdB 图像 TNRD DnCNN IRCNN UNLNet CFSNet DPDNN SCN 本文方法 C. Man 26.62 27.00 26.88 26.84 27.11 27.06 27.07 27.16 House 29.40 30.01 29.96 29.74 30.25 30.68 30.73 30.84 Peppers 27.04 27.29 27.33 27.25 27.46 27.31 27.33 27.53 Starfish 25.41 25.70 25.57 25.60 25.79 25.76 25.78 25.73 Monar 26.28 26.76 26.61 26.52 26.89 27.01 27.06 26.99 Airpl 25.49 25.87 25.89 25.69 25.84 25.89 25.86 25.87 Parrot 26.17 26.48 26.55 26.30 26.43 26.56 26.61 26.67 Lena 28.89 29.36 29.40 29.17 29.43 29.79 29.78 29.85 Barbara 25.78 26.23 26.24 26.92 26.24 26.84 26.87 27.22 Boat 26.84 27.19 27.17 27.04 27.22 27.40 27.40 27.48 Man 26.92 27.24 27.17 27.11 27.17 27.25 27.23 27.32 Couple 26.49 26.89 26.88 26.64 26.89 27.22 27.20 27.20 平均值 26.78 27.17 27.14 27.07 27.22 27.40 27.41 27.49 由定量结果可知，TNRD对于噪声去除的能力与其他方法相比较差，剩下的基于深度学习的众多方法均能取得不错的效果。其中UNLNet在剩余其他方法中取得了最低的平均PSNR值，DnCNN、IRCNN和CFSNet呈现出比较接近的结果，DPDNN和RDN取得了相较更高的PSNR。而本文方法取得了最高的平均PSNR，比DPDNN和SCN高了近0.1 dB。
同时，图6展示了不同方法对于测试图像Parrot的去除
${\sigma _n} = 50$ 高斯噪声的效果图。从视觉效果可以看出，相比其他算法，本文方法可以更好地去除高斯噪声，且更好地保留了图像原本的细节信息。
图 6${{\boldsymbol{\sigma}} _{\boldsymbol{n}}} {\boldsymbol{= 50}}$ 高斯噪声下不同方法对图像Parrot去噪效果Fig. 6 Denoising results of different methods on the test image Parrot with${{\boldsymbol{\sigma}} _{\boldsymbol{n}}} {\boldsymbol{= 50}}$ Gaussian noise下载:
全尺寸图片
此外，表5给出了各方法在数据集BSD68和Urban100上去除
${\sigma _n} = 50$ 高斯噪声的平均PSNR。从表5中可以看到，在这两个数据集上，本文方法仍取得了最高的PSNR，优于其他对比方法。在数据集BSD68上，本文方法的PSNR比DPDNN高0.06 dB，比SCN高0.04 dB；在数据集Urban100上，本文方法的PSNR比DPDNN高0.17 dB，比SCN高0.15 dB。说明本文提出的方法在各种类型的数据上都能取得很好的去噪效果，恢复出质量较佳的图像。总体来说，本文提出的方法针对去噪任务表现出了较好的性能，获得了很好的主客观效果。表 5 在数据集BSD68和Urban100上不同方法去噪的平均PSNR结果Table 5 PSNR results of different methods on the database BSD68 and Urban100 for denoisingdB 数据集 TNRD DnCNN IRCNN UNLNet CFSNet DPDNN SCN 本文方法 BSD68 25.97 26.23 26.19 26.07 26.28 26.31 26.33 26.37 Urban100 25.59 26.28 26.24 26.14 26.36 26.82 26.84 26.99 3.3 小波域与像素域性能以及时间对比
为了验证本文方法中小波域引入的有效性，进行了相关的实验对其展开研究。在本文方法的基础上，去除图1所示网络中首端的小波变换及末端的小波逆变换，直接将待复原的图像送往子网络，并且相应地调整图1所示小波域去噪子网络的小波域特征输入为空间域特征，构建出相应的基于像素域的深度网络。在此网络结构上，保持与上文相同的实验设置，进行去模糊和去噪实验。
表6给出了图像去模糊和去噪中基于小波域和基于像素域的网络在图2和5所示测试图像上的平均PSNR。关于模糊核和噪声相关情况采用与上文相同的设置，分别采用
$\sigma = 1.6$ 、大小25×25像素的高斯模糊核（添加${\sigma _n} = 2$ 的高斯噪声）、大小19×19像素的运动模糊核（添加${\sigma _n} = 2.55$ 的高斯噪声）及${\sigma _n} = 50$ 的高斯噪声生成对应的高斯模糊图像、运动模糊图像和含高斯噪声图像。从表6中数据知：在进行去高斯模糊时，在小波域下构建网络能将PSNR提高0.44 dB；针对去运动模糊情况，在小波域下构建网络PSNR提高了0.21 dB。对于标准差为50的去噪任务，基于小波域的网络在PSNR上同样也高了0.11 dB。
此外，表7给出了上述两种网络在含
${\sigma _n} = 50$ 高斯噪声情况下重建不同大小的一张图像所需的时间。由表7可知，基于小波域构建的网络重建图像的时间也得到了明显减少。表 7 基于小波域和基于像素域的网络重建不同大小图像的时间Table 7 Time results of the different networks with wavelet domain and pixel domain on different sizes image restoration图像大小 重建时间/s 基于像素域的网络 基于小波域的网络 512×512像素 0.28 0.19 1 024×1 024像素 1.07 0.72 不管从复原性能还是处理速度上来看，基于小波域的网络较像素域的网络都取得了更好的效果。这主要是由于在小波域下进行复原，小波变换自身具有的一些特性能帮助网络在性能及速度上取得提升。具体地，一方面是由于小波变换后网络中特征图尺寸减小为原来一半，整个网络运算量减少，使得网络处理速度相应加快。另一方面因为小波变换后，图像特征得到初步提取和分离，网络能更容易地捕获和学习到不同种类的信息，使得恢复出的图像保持更好的边缘结构和纹理细节。综上，在小波域下进行图像复原较像素域处理性能更优且速度更快。
4. 结 论
本文提出了一种基于小波域ADMM深度网络的图像复原算法。首先，选择将其变换到小波域进行复原；然后，利用ADMM算法将基于小波域的复原问题分解为一个复原子问题和一个去噪子问题，并分别采用梯度下降法和一个去噪网络对这两个子问题进行求解；最后，基于上述优化过程解的形式构建一个相应的深度卷积神经网络用于图像复原。不同于现有大多数复原网络，本文提出的网络由于有效结合了图像退化模型信息，增强了其解释性。实验结果表明，本文提出的算法无论是在主观视觉效果还是客观评价指标方面都取得了很好的效果，恢复出了质量更好的图像。在未来的研究中，将拓展本文提出的算法到其他图像复原任务，如去雨、去雾等。
-
图 1 基于小波域ADMM的卷积神经网络结构图
Fig. 1 Framework of our proposed deep ADMM network
下载:
全尺寸图片
图 2 用于去模糊的测试图像
Fig. 2 Test images used for deblurring
下载:
全尺寸图片
图 3
${\boldsymbol{\sigma = 1.6 }}$ 的25×25像素高斯模糊核（高斯噪声${{\boldsymbol{\sigma}} _{\boldsymbol{n}}} {\boldsymbol{= 2 }}$ ）下不同方法对图像Barbara的去模糊效果Fig. 3 Deblurring results of different methods on the test image Barbara with 25×25 pixels Gaussian blur kernel and
${\boldsymbol{\sigma = 1.6 }}$ (Gaussian noise${{\boldsymbol{\sigma}} _{\boldsymbol{n}}} {\boldsymbol{= 2}}$ )下载:
全尺寸图片
图 4 19×19像素运动模糊核（高斯噪声
${{\boldsymbol{\sigma}} _{\boldsymbol{n}}} {\boldsymbol{= 2.55}}$ ）下不同方法对图像Boats去模糊效果Fig. 4 Deblurring results of different methods on the test image Boats with 19×19 pixels motion blur kernel (Gaussian noise
${{\boldsymbol{\sigma}} _{\boldsymbol{n}}} {\boldsymbol{= 2.55}}$ )下载:
全尺寸图片
图 5 用于去噪的测试图像
Fig. 5 Test images used for denoising
下载:
全尺寸图片
图 6
${{\boldsymbol{\sigma}} _{\boldsymbol{n}}} {\boldsymbol{= 50}}$ 高斯噪声下不同方法对图像Parrot去噪效果Fig. 6 Denoising results of different methods on the test image Parrot with
${{\boldsymbol{\sigma}} _{\boldsymbol{n}}} {\boldsymbol{= 50}}$ Gaussian noise下载:
全尺寸图片
表 1
${\boldsymbol{\sigma = 1.6 }}$ 的25×25像素高斯模糊核（高斯噪声${{\boldsymbol{\sigma}} _{\boldsymbol{n}}} {\boldsymbol{= 2}}$ ）下不同方法的去模糊效果Table 1 Deblurring results of different methods with 25×25 pixels Gaussian blur kernel and
${\boldsymbol{\sigma = 1.6 }}$ (Gaussian noise${{\boldsymbol{\sigma }}_{\boldsymbol{n}}}{\boldsymbol{ = 2}}$ )dB 图像 MSEPLL IDBP-
BM3DNCSR IRCNN DPDNN RDN 本文方法 Barbara 25.20 26.09 26.54 26.15 26.47 26.68 26.99 Boats 30.84 30.94 31.22 31.41 31.54 31.72 31.89 Butterfly 29.74 28.58 29.74 30.44 30.67 31.07 31.23 C. Man 27.60 27.51 27.97 28.06 28.24 28.56 28.75 House 33.30 33.12 33.33 33.79 34.25 34.33 34.56 Leaves 29.54 28.98 30.15 30.43 30.23 30.61 31.54 Lena 30.93 30.81 30.98 31.14 31.48 31.32 31.65 Parrots 31.92 31.65 32.03 31.82 32.40 32.71 32.90 Peppers 30.09 29.31 29.95 30.68 30.18 30.42 30.58 Starfish 30.44 30.36 30.83 30.77 32.00 32.15 32.04 平均值 29.96 29.73 30.27 30.47 30.75 30.96 31.21 表 2 19×19像素运动模糊核（高斯噪声
${{\boldsymbol{\sigma}} _{\boldsymbol{n}}} {\boldsymbol{= 2.55 }}$ ）下不同方法的去模糊效果Table 2 Deblurring results of different methods for 19×19 pixels motion-blur removing (Gaussian noise
${{\boldsymbol{\sigma}} _{\boldsymbol{n}}} {\boldsymbol{= 2.55}}$ )dB 图像 MSEPLL IDBP-BM3D VDSR IRCNN DPDNN RDN 本文方法 Barbara 30.98 31.63 31.93 32.37 32.39 32.67 32.89 Boats 31.66 32.12 33.17 33.04 33.39 33.58 33.74 Butterfly 30.75 30.08 32.10 32.22 32.58 32.72 33.03 C. Man 30.53 30.72 31.43 31.49 31.70 31.59 31.80 House 33.04 34.96 34.94 34.88 35.34 35.36 35.40 Leaves 30.53 30.22 32.11 33.28 32.99 33.24 33.56 Lena 31.87 31.81 33.36 33.53 33.80 33.95 34.20 Parrots 32.72 33.01 34.66 34.46 34.98 35.03 35.18 Peppers 31.06 31.21 31.83 31.98 32.05 32.01 32.14 Starfish 30.93 30.64 32.22 32.25 32.71 32.77 32.88 平均值 31.41 31.64 32.77 32.95 33.19 33.30 33.48 表 3 在数据集BSD68和Urban100上不同方法去高斯和运动模糊的平均PSNR结果
Table 3 PSNR results of different methods on the database BSD68 and Urban100 for Gaussian and motion blur removing
dB 数据集 RDN 本文方法 去除高
斯模糊去除运
动模糊去除高
斯模糊去除运
动模糊BSD68 31.01 33.45 31.13 33.65 Urban100 26.76 31.06 26.80 31.24 表 4 在去噪测试图像上不同方法去除
${{\boldsymbol{\sigma}} _{\boldsymbol{n}}} {\boldsymbol{= 50}}$ 高斯噪声的PSNR结果Table 4 PSNR results of different methods on the denoising test images for
${{\boldsymbol{\sigma}} _{\boldsymbol{n}}} {\boldsymbol{= 50 }}$ Gaussian noise removingdB 图像 TNRD DnCNN IRCNN UNLNet CFSNet DPDNN SCN 本文方法 C. Man 26.62 27.00 26.88 26.84 27.11 27.06 27.07 27.16 House 29.40 30.01 29.96 29.74 30.25 30.68 30.73 30.84 Peppers 27.04 27.29 27.33 27.25 27.46 27.31 27.33 27.53 Starfish 25.41 25.70 25.57 25.60 25.79 25.76 25.78 25.73 Monar 26.28 26.76 26.61 26.52 26.89 27.01 27.06 26.99 Airpl 25.49 25.87 25.89 25.69 25.84 25.89 25.86 25.87 Parrot 26.17 26.48 26.55 26.30 26.43 26.56 26.61 26.67 Lena 28.89 29.36 29.40 29.17 29.43 29.79 29.78 29.85 Barbara 25.78 26.23 26.24 26.92 26.24 26.84 26.87 27.22 Boat 26.84 27.19 27.17 27.04 27.22 27.40 27.40 27.48 Man 26.92 27.24 27.17 27.11 27.17 27.25 27.23 27.32 Couple 26.49 26.89 26.88 26.64 26.89 27.22 27.20 27.20 平均值 26.78 27.17 27.14 27.07 27.22 27.40 27.41 27.49 表 5 在数据集BSD68和Urban100上不同方法去噪的平均PSNR结果
Table 5 PSNR results of different methods on the database BSD68 and Urban100 for denoising
dB 数据集 TNRD DnCNN IRCNN UNLNet CFSNet DPDNN SCN 本文方法 BSD68 25.97 26.23 26.19 26.07 26.28 26.31 26.33 26.37 Urban100 25.59 26.28 26.24 26.14 26.36 26.82 26.84 26.99 表 6 基于小波域和像素域的网络在图2和5所示的测试图像上去模糊（去噪）平均PSNR结果
Table 6 PSNR results of different networks with wavelet domain and pixel domainon the test images shown in Fig.2 or Fig.5 for deblurring or denoising
dB 实验设置 基于像素
域的网络基于小波
域的网络图像去模糊 去高斯模糊 30.77 31.21 去运动模糊 33.27 33.48 图像去噪 27.38 27.49 表 7 基于小波域和基于像素域的网络重建不同大小图像的时间
Table 7 Time results of the different networks with wavelet domain and pixel domain on different sizes image restoration
图像大小 重建时间/s 基于像素域的网络 基于小波域的网络 512×512像素 0.28 0.19 1 024×1 024像素 1.07 0.72 -
[1] Mairal J,Elad M,Sapiro G.Sparse representation for color image restoration[J].IEEE Transactions on Image Processing,2008,17(1):53–69. doi: 10.1109/tip.2007.911828 [2] 杨晓敏,吴炜,干宗良,等.一种基于稀疏字典和残余字典的遥感图像超分辨重建算法[J].四川大学学报(工程科学版),2015,47(3):71–76. doi: 10.15961/j.jsuese.2015.03.010 Yang Xiaomin,Wu Wei,Gan Zongliang,et al.Remote sensing image super-resolution by using sparse dictionary and residual dictionary[J].Journal of Sichuan University(Engineering Science Edition),2015,47(3):71–76 doi: 10.15961/j.jsuese.2015.03.010 [3] Buades A,Coll B,Morel J M.A non-local algorithm for image denoising[C]//Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego:IEEE,2005:60–65. [4] Dabov K,Foi A,Katkovnik V,et al.Image denoising by sparse 3-D transform-domain collaborative filtering[J].IEEE Transactions on Image Processing,2007,16(8):2080–2095. doi: 10.1109/tip.2007.901238 [5] Ren Chao,He Xiaohai,Nguyen T Q.Adjusted non-local regression and directional smoothness for image restoration[J].IEEE Transactions on Multimedia,2019,21(3):731–745. doi: 10.1109/TMM.2018.2866362 [6] Dong Weisheng,Shi Guangming,Li Xin.Nonlocal image restoration with bilateral variance estimation:A low-rank approach[J].IEEE Transactions on Image Processing,2013,22(2):700–711. doi: 10.1109/TIP.2012.2221729 [7] Gu Shuhang,Zhang Lei,Zuo Wangmeng,et al.Weighted nuclear norm minimization with application to image denoising[C]//Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus:IEEE,2014:2862–2869. [8] Papyan V,Elad M.Multi-scale patch-based image restoration[J].IEEE Transactions on Image Processing,2016,25(1):249–261. doi: 10.1109/TIP.2015.2499698 [9] Dong Weisheng,Zhang Lei,Shi Guangming,et al.Nonlocally centralized sparse representation for image restoration[J].IEEE Transactions on Image Processing,2013,22(4):1620–1630. doi: 10.1109/TIP.2012.2235847 [10] Tirer T,Giryes R.Image restoration by iterative denoising and backward projections[J].IEEE Transactions on Image Processing,2019,28(3):1220–1234. doi: 10.1109/TIP.2018.2875569 [11] Kim J,Lee J K,Lee K M.Accurate image super-resolution using very deep convolutional networks[C]//Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas:IEEE,2016:1646–1654. [12] Zhang Kai,Zuo Wangmeng,Chen Yunjin,et al.Beyond a Gaussian denoiser:Residual learning of deep CNN for image denoising[J].IEEE Transactions on Image Processing,2017,26(7):3142–3155. doi: 10.1109/TIP.2017.2662206 [13] Lefkimmiatis S.Universal denoising networks:A novel CNN architecture for image denoising[C]//Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City:IEEE,2018:3204–3213. [14] Wang Wei,Guo Ruiming,Tian Yapeng,et al.CFSNet:Toward a controllable feature space for image restoration[C]//Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision(ICCV).Seoul,Korea:IEEE,2019:4139–4148. [15] Zhang Yulun,Tian Yapeng,Kong Yu,et al.Residual dense network for image restoration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2021,43(7):2480–2495. doi: 10.1109/TPAMI.2020.2968521 [16] Fan Yuchen,Yu Jiahui,Liu Ding,et al.Scale-wise convolution for image restoration[J].Proceedings of the AAAI Conference on Artificial Intelligence,2020,34(7):10770–10777. doi: 10.1609/aaai.v34i07.6706 [17] Zou Wenbin,Jiang Mingchao,Zhang Yunchen,et al.SDWNet:A straight dilated network with wavelet transformation for image deblurring[C]//Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision Workshops(ICCVW).Montreal:IEEE,2021:1895–1904. [18] Mei Yiqun,Fan Yuchen,Zhou Yuqian.Image super-resolution with non-local sparse attention[C]//Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).Nashville:IEEE,2021:3516–3525. [19] Chen Yunjin,Pock T.Trainable nonlinear reaction diffusion:A flexible framework for fast and effective image restoration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(6):1256–1272. doi: 10.1109/TPAMI.2016.2596743 [20] Dong Weisheng,Wang Peiyao,Yin Wotao,et al.Denoising prior driven deep neural network for image restoration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2019,41(10):2305–2318. doi: 10.1109/TPAMI.2018.2873610 [21] Zhang Kai,Zuo Wangmeng,Gu Shuhang,et al.Learning deep CNN denoiser prior for image restoration[C]//Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition.Honolulu:IEEE,2017:2808–2817. [22] Boyd S.Distributed optimization and statistical learning via the alternating direction method of multipliers[M].Boston:Now Publishers Inc,2010. [23] Geman D,Yang C.Nonlinear image recovery with half-quadratic regularization[J].IEEE Transactions on Image Processing,1995,4(7):932–946. doi: 10.1109/83.392335 [24] Bai Y,Cheung G,Liu X,et al.Graph-based blind image deblurring from a single photograph[J].IEEE Transactions on Image Processing,2018,28(3):1404–1418. doi: 10.1109/TIP.2018.2874290 [25] 陈一鸣,周登文.基于自适应级联的注意力网络的超分辨率重建[J].自动化学报,2022,48(8):1950–1960. doi: 10.16383/j.aas.c200035 Chen Yiming,Zhou Dengwen.Adaptive attention network for image super-resolution[J].Acta Automatica Sinica,2022,48(8):1950–1960 doi: 10.16383/j.aas.c200035 [26] Chan S H.Performance analysis of plug-and-play ADMM:A graph signal processing perspective[J].IEEE Transactions on Computational Imaging,2019,5(2):274–286. doi: 10.1109/TCI.2019.2892123 [27] Agustsson E,Timofte R.NTIRE 2017 challenge on single image super-resolution:Dataset and study[C]//Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops.Honolulu:IEEE,2017:1122–1131. [28] Levin A,Weiss Y,Durand F,et al.Understanding and evaluating blind deconvolution algorithms[C]//Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition.Miami:IEEE,2009:1964–1971. [29] Bevilacqua M,Roumy A,Guillemot C,et al.Low-complexity single-image super-resolution based on nonnegative neighbor embedding[C]//Proceedings of the British Machine Vision Conference 2012.Surrey.British Machine Vision Association.Surrey:BMVA Press,2012:1–10. [30] Martin D,Fowlkes C,Tal D,et al.A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics[C]//Proceedings of the Proceedings Eighth IEEE International Conference on Computer Vision.ICCV 2001.Vancouver:IEEE,2001:416–423. [31] Huang Jiabin,Singh A,Ahuja N.Single image super-resolution from transformed self-exemplars[C]//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston:IEEE,2015:5197–5206.
