(12)发明专利申请
(10)申请公布号 CN 111598809 A(43)申请公布日 2020.08.28
(21)申请号 202010422022.2(22)申请日 2020.05.18
(71)申请人 哈尔滨理工大学
地址 150000 黑龙江省哈尔滨市南岗区学
府路52号(72)发明人 孟庆松 石烁 (51)Int.Cl.
G06T 5/00(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)
权利要求书1页 说明书3页
CN 111598809 A(54)发明名称
一种基于深度学习的图像运动模糊盲去除算法
(57)摘要
本发明公开了一种基于深度学习的图像运动模糊盲去除算法，涉及图像的运动模糊技术领域；它的算法如下：步骤一：采用深度学习的方法，在仅具有一张未知模糊图像的情况下，复原出清晰图像；步骤二：建立图像运动模糊的问题模型；步骤三：确定神经网络类型；步骤四：确定网络的总体结构，进行神经网络的具体设计；步骤五：查找并选定网络训练使用的数据集；准备工作完成后，进行训练实验，分析实验结果并总结，进行进一步调试；本发明能够在一次网络前馈传播中，同时预测多个模糊核的像素级模糊参数，并给出清晰图像复原结果；减小模糊参数估计的误差、提高模糊参数估计的精度；加快算法的运行速度、减小占用的存储空间。
CN 111598809 A
权 利 要 求 书
1/1页
1.一种基于深度学习的图像运动模糊盲去除算法，其特征在于：它的算法如下：步骤一：采用深度学习的方法，在仅具有一张未知模糊图像的情况下，复原出清晰图像；
步骤二：建立图像运动模糊的问题模型：
模糊图像通常被建模为一张清晰图像与点扩散函数卷积再加上随机噪声的过程；即：Ib＝Io*q+ε(1-1)其中，Ib代表模糊图像；Io代表真实清晰图像；q代表模糊核或点扩散函数，在模糊可变的模糊模型中，q是空间可变的；ε代表加性噪声；对于随机噪声ε，在图像模糊复原领域通常被建模为加性白噪声，白噪声具备均值为0的特性，即E[ε]＝0；
图像去模糊可以看作根据模糊图像Ib，模糊核q，噪声ε，反向求解清晰图像Io的过程；由于图像去模糊问题的不适定性特别是在模糊核和噪声都没办法提前获知的情况下，精确的求解真实清晰图像Io是不现实的，最终只能求解得真实图像的最优近似近似的任务可以被描述为如下求最优的问题：
这个求解最优
其中D表示距离度量函数，在传统模糊去除问题中，一般取均方误差；在实际运用过程中不能直接使用二维连续信号的退化模型，其原因在于计算机只能处理离散信号，因此需要将连续的模糊图像和点扩散函数PSF离散化；即分别对输入清晰图像、输出模糊图像和点扩散函数PSF进行等间隔采样并转换成计算机可以处理和计算的矩阵形式；针对图像退化过程中的加性噪声，现有的图像去噪算法能够较好的去除，因此忽略式(1-1)中的噪声，仅对图像运动模糊的盲去除进行研究；
步骤三：确定神经网络类型：深入学习卷积神经网络，在仔细研究基于深度学习的盲去模糊方法的基础上，选取一种最优的神经网络，即一种对图像模糊估计粒度足够精细、适用于单幅图片具有多个模糊核的情况、算法耗费时长相对较短的神经网络；
步骤四：确定网络的总体结构，进行神经网络的具体设计：
用两个端对端的子网络解决运动模糊参数估计和运动模糊非盲去除问题；两个子网络分别是参数估计子网络和条件生成子网络，即参数估计网络用于实现模糊核参数的估计，条件生成网络用于模糊的非盲去除，完成图像复原，输出清晰图像；
步骤五：查找并选定网络训练使用的数据集，包括训练数据集和测试数据集；准备工作完成后，进行训练实验，分析实验结果并总结，进行进一步调试。
2
CN 111598809 A
说 明 书
一种基于深度学习的图像运动模糊盲去除算法
1/3页
技术领域
[0001]本发明属于图像的运动模糊技术领域，具体涉及一种基于深度学习的图像运动模糊盲去除算法。
背景技术
[0002]传统可变模糊盲去除方法的应用范围受限，运行耗时长，自动化程度不高。而现存的基于深度学习的方法虽然能够在一定程度上消除上诉弊端，但仍然存在下列缺陷：1)、没有脱离传统的清晰图像复原方法，运行速度慢；2)、对于同时预测多个模糊核的模糊参数，需进行分块和融合处理。
发明内容
[0003]为解决现有的问题；本发明的目的在于提供一种基于深度学习的图像运动模糊盲去除算法。
[0004]本发明的一种基于深度学习的图像运动模糊盲去除算法，它的算法如下：[0005]步骤一：采用深度学习的方法，在仅具有一张未知模糊图像的情况下，复原出清晰图像；
[0006]步骤二：建立图像运动模糊的问题模型：
[0007]模糊图像通常被建模为一张清晰图像与点扩散函数卷积再加上随机噪声的过程。即：
[0008]Ib＝Io*q+ε (1-1)[0009]其中，Ib代表模糊图像；Io代表真实清晰图像；q代表模糊核或点扩散函数，在模糊可变的模糊模型中，q是空间可变的；ε代表加性噪声；对于随机噪声ε，在图像模糊复原领域通常被建模为加性白噪声，白噪声具备均值为0的特性，即E[ε]＝0；[0010]图像去模糊可以看作根据模糊图像Ib，模糊核q，噪声ε，反向求解清晰图像Io的过程；由于图像去模糊问题的不适定性特别是在模糊核和噪声都没办法提前获知的情况下，精确的求解真实清晰图像Io是不现实的，最终只能求解得真实图像的最优近似解最优近似的任务可以被描述为如下求最优的问题：
[0011][0012]
这个求
其中D表示距离度量函数，在传统模糊去除问题中，一般取均方误差；在实际运用过程中不能直接使用二维连续信号的退化模型，其原因在于计算机只能处理离散信号，因此需要将连续的模糊图像和点扩散函数PSF离散化；即分别对输入清晰图像、输出模糊图像和点扩散函数PSF进行等间隔采样并转换成计算机可以处理和计算的矩阵形式；针对图像退化过程中的加性噪声，现有的图像去噪算法能够较好的去除，因此忽略式(1-1)中的噪声，仅对图像运动模糊的盲去除进行研究；[0013]步骤三：确定神经网络类型：深入学习卷积神经网络，在仔细研究基于深度学习的
3
CN 111598809 A
说 明 书
2/3页
盲去模糊方法的基础上，选取一种最优的神经网络，即一种对图像模糊估计粒度足够精细、适用于单幅图片具有多个模糊核的情况、算法耗费时长相对较短的神经网络；[0014]步骤四：确定网络的总体结构，进行神经网络的具体设计：[0015]用两个端对端的子网络解决运动模糊参数估计和运动模糊非盲去除问题；两个子网络分别是参数估计子网络和条件生成子网络，即参数估计网络用于实现模糊核参数的估计，条件生成网络用于模糊的非盲去除，完成图像复原，输出清晰图像；[0016]步骤五：查找并选定网络训练使用的数据集，包括训练数据集和测试数据集；准备工作完成后，进行训练实验，分析实验结果并总结，进行进一步调试。[0017]与现有技术相比，本发明的有益效果为：[0018]一、能够在一次网络前馈传播中，同时预测多个模糊核的像素级模糊参数，并给出清晰图像复原结果；[0019]二、减小模糊参数估计的误差、提高模糊参数估计的精度，得到的清晰图像的质量评价更优、视觉效果更佳；加快算法的运行速度、减小占用的存储空间。具体实施方式
[0020]本具体实施方式采用以下技术方案：它的算法如下：[0021]步骤一：设计主要针对图像运动模糊的盲去除技术进行研究。根据前文所提到的基于先验的图像模糊盲去除技术，可以了解到该种方法对模糊图像的复原结果不仅依赖于参数估计算法的选择，也受到所选的非盲去模糊算法的限制，方法具有一定局限性。同时，根据上文，可知运动模糊通常分为两类，即单幅图像只具有一个模糊核的空间不变化运动模糊，与单幅图像具有多个模糊核的空间变化运动模糊。在去运动模糊技术的研究中，传统算法很难解决具有多个模糊核的单幅图像去模糊问题。所以采用深度学习的方法，在仅具有一张未知模糊图像的情况下，复原出清晰图像。[0022]二、建立图像运动模糊的问题模型。一般来说模糊图像通常被建模为一张清晰图像与点扩散函数(Point Spread Function，PSF)卷积再加上随机噪声的过程。即：[0023]Ib＝Io*q+ε (1-1)[0024]其中，Ib代表模糊图像。Io代表真实清晰图像。q代表模糊核或点扩散函数，在模糊可变的模糊模型中，q是空间可变的。ε代表加性噪声。对于随机噪声ε，在图像模糊复原领域通常被建模为加性白噪声，白噪声具备均值为0的特性，即E[ε]＝0。[0025]图像去模糊可以看作根据模糊图像Ib，模糊核q，噪声ε，反向求解清晰图像Io的过程。由于图像去模糊问题的不适定性特别是在模糊核和噪声都没办法提前获知的情况下，精确的求解真实清晰图像Io是不现实的，我们最终只能求解得真实图像的最优近似个求解最优近似的任务可以被描述为如下求最优的问题：
[0026][0027]
这
其中D表示距离度量函数，在传统模糊去除问题中，一般取均方误差(Mean Square Error，MSE)。在实际运用过程中不能直接使用二维连续信号的退化模型，其原因在于计算机只能处理离散信号，因此需要将连续的模糊图像和点扩散函数PSF离散化。即分别对输入清晰图像、输出模糊图像和点扩散函数PSF进行等间隔采样并转换成计算机可以处理和计
4
CN 111598809 A
说 明 书
3/3页
算的矩阵形式。针对图像退化过程中的加性噪声，现有的图像去噪算法能够较好的去除，因此忽略式(1-1)中的噪声，仅对图像运动模糊的盲去除进行研究。[0028]三、确定神经网络类型。深入学习卷积神经网络，在仔细研究基于深度学习的盲去模糊方法的基础上，选取一种最优的神经网络，即一种对图像模糊估计粒度足够精细、可以适用于单幅图片具有多个模糊核的情况、算法耗费时长相对较短的神经网络。[0029]四、确定网络的总体结构，进行神经网络的具体设计。根据已查阅的参考文献得知，图像运动模糊盲去除被分解为运动模糊参数预测和运动模糊非盲去除两个问题，上述算法框架关键在于参数预测算法的准确性和模糊复原算法的能力。受上述框架启发，用两个端对端的子网络解决运动模糊参数估计和运动模糊非盲去除问题。两个子网络分别是参数估计子网络和条件生成子网络，即参数估计网络用于实现模糊核参数的估计，条件生成网络用于模糊的非盲去除，完成图像复原，输出清晰图像。[0030]五、查找并选定网络训练使用的数据集，包括训练数据集和测试数据集。准备工作完成后，进行训练实验，分析实验结果并总结，进行进一步调试。
[0031]本具体实施方式的图像去运动模糊一直以来作为学术界的热点研究问题备受关注，产生运动模糊的因素不同，相应的去运动模糊模型和算法也不尽相同，近年来，国内外众多学者在去运动模糊上做了大量的工作，且提出了许多有效的去模糊算法模型。针对前文所提及的基于深度学习的单幅图像模糊盲去除算法的不足，提出了一种新型的基于深度学习的图像模糊盲去除方法，目标是能够在一次网络前馈传播中，同时预测多个模糊核的像素级模糊参数，并给出清晰图像复原结果。具体研究内容如下：
[0032]1.基于深度学习研究一种可以准确估计模糊核的参数估计网络，用于估计输入图像的像素级模糊参数，以满足任意输入图像大小和多种模糊类型模糊参数估计的需要。网络结构的选取主要考虑在不损失特征图信息、不增加卷积参数数量的同时增大感受野、提高网络的特征抽象能力，达到对单幅图像中多个模糊核参数快速高效的做出精准估计。[0033]2.基于深度学习研究一种可以生成清晰图像的条件生成网络，用于将上述的参数估计结果作为指导进行运动模糊去除，并且整合参数估计子网络和条件生成子网络为端到端的网络。训练好的网络免去了分块操作的必要，摆脱了传统非盲去模糊方法，使整个模糊去除过程更具一致性。
[0034]3.查找适合实验的数据集，并进行选定，为网络的训练提供样本。其次，设置多组对比实验对参数估计子网络的参数估计性能和条件生成子网络的去模糊性能进行测试。[0035]对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。[0036]此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
5
因篇幅问题不能全部显示，请点此查看更多更全内容