《单幅图像超分辨率重构技术》（吴亚东,路锦正,张红英）-图书推荐
内容提要
《单幅图像超分辨率重构技术》是作者在多年进行图像超分辨率重构技术研究的基础上撰写而成的。《单幅图像超分辨率重构技术》针对实际应用需求，重点研究单幅图像的超分辨率处理技术，系统地研究了数字图像超分辨率处理中的相关技术，涵盖了基于多项式近似理论的传统插值方法、基于模型/重构的超分辨率重构方法和基于机器学习的超分辨率重构方法，每一类技术中又包含了诸多小类。《单幅图像超分辨率重构技术》从原理上介绍了各类超分辨率重构算法的典型代表，并深入分析了这些技术存在的主要问题及出现这些问题的主要原因，最后针对这些问题提出了具体的解决方法。《单幅图像超分辨率重构技术》为图像超分辨率重构算法研究提供了理论基础，对其应用也具有一定的指导意义。
目录
目录第1章 绪论 11.1 研究背景及意义 11.2 研究现状与发展趋势 21.2.1 **外研究现状 21.2.2 发展趋势及展望 51.3 本书的主要贡献 61.4 本书的结构安排 8参考文献 9第2章 数字图像超分辨率处理简介 132.1 图像分辨率的基本概念 132.2 图像分辨率的退化模型 142.3 超分辨率处理的基本原理 162.4 超分辨率处理的基本分类 162.4.1 根据输入图像数量分类 172.4.2 根据操作对象所在域分类 172.4.3 根据模糊核假设分类 172.4.4 根据理论基础分类 182.5 本章小结 19参考文献 20第3章 图像稀疏表示理论及应用 233.1 信号稀疏表示理论 243.1.1 信号的稀疏表示模型 243.1.2 稀疏表示的字典构建 273.1.3 稀疏表示的分解算法 313.2 基于稀疏表示的图像处理应用 333.2.1 正则化图像处理 333.2.2 稀疏表示图像处理 343.3 基于压缩感知的图像超分辨率重构 373.3.1 压缩感知基本原理 373.3.2 压缩感知与图像超分辨率 383.4 本章小结 39参考文献 39第4章 基于插值技术的超分辨率重构方法 444.1 常见的图像插值算法 444.1.1 传统多项式插值技术 444.1.2 面向边缘的插值技术 534.1.3 基于机器学习的插值技术 564.2 插值算法的主要问题 574.3 基于密切多项式近似的多项式插值理论 584.3.1 密切多项式近似理论 584.3.2 导数近似规则 594.3.3 导数近似边界条件 604.3.4 密切多项式插值框架的作用 624.4 数值试验与理论分析 654.4.1 空间域分析 654.4.2 频率域分析 674.5 本章小结 69参考文献 69第5章 基于模型/重构的超分辨率重构方法 715.1 常见的模型/重构算法 715.1.1 基于先验模型的图像超分辨率 725.1.2 基于概率模型的图像超分辨率重构 745.1.3 基于偏微分方程的图像超分辨率重构 755.2 重构算法的主要问题 785.3 基于泰勒展开式与曲率逆向驱动的超分辨率算法 785.3.1 基于泰勒展开式的预处理 795.3.2 基于曲率逆向驱动的后处理 815.3.3 等照度线曲率的计算 835.3.4 数值实验与理论分析 835.3.5 算法小结 865.4 曲率驱动的类双线性快速图像插值 875.4.1 类双线图像插值模型 875.4.2 图像灰度曲面曲率 885.4.3 曲率驱动的图像插值算法设计 905.4.4 实验与分析 945.4.5 算法小结 1015.5 本章小结 101参考文献 101第6章 基于机器学习的超分辨率重构技术 1046.1 常见的机器学习算法简介 1046.1.1 样本学习 1056.1.2 邻域嵌入 1066.1.3 稀疏表达 1076.1.4 深度学习 1096.2 学习算法的主要问题 1116.3 基于盲模糊核估计的机器学习方法 1126.3.1 改进的盲模糊核估计算法 1136.3.2 基于对偶词典训练的超分辨率重构 1156.3.3 基于锚定空间映射的超分辨率重建 1176.3.4 数值试验与理论分析 1196.4 本章小结 129参考文献 129第7章 基于稀疏表示的图像超分辨率重构技术 1337.1 离线字典学习与匹配追踪稀疏表示的图像超分辨率重构 1337.1.1 基于稀疏表示的超分辨率重构模型 1347.1.2 基于匹配追踪的信号稀疏表示 1347.1.3 超完备稀疏表示的离线式字典学习 1367.1.4 基于超完备稀疏表示的超分辨率重构 1407.1.5 实验仿真与分析 1417.1.6 算法小结 1507.2 在线字典学习与盲稀疏分解的图像超分辨率增强 1507.2.1 图像超分辨率增强模型 1517.2.2 基于盲稀疏度的稀疏分解 1517.2.3 基于在线学习的图像超分辨率增强 1537.2.4 实验仿真与分析 1557.2.5 算法小结 1627.3 字典级联与逼近L0范数稀疏表示的图像超分辨率重构 1627.3.1 问题描述 1637.3.2 超完备字典的构建与级联 1637.3.3 光滑逼近L0范数的稀疏表示 1657.3.4 图像超分辨率重构 1677.3.5 实验仿真与分析 1677.3.6 算法小结 1737.4 本章小结 173参考文献 174
精彩试读
第1章 绪论1.1 研究背景及意义随着计算机技术的快速发展和相关应用的不断拓展，数字图像在社会各个领域(包括工业、农业、医学以及军事等)的应用越来越广泛。高分辨率(high resolution，HR)图像在这些数字图像应用领域中能提供比低分辨率(low resolution，LR)图像*多的细节信息。例如，在虚拟现实(virtual reality，VR)中往往需要用计算机设备将同一个场景的多幅图像融合在一起形成模拟复杂现实场景的图像。为了使结果图像*符合人眼视觉系统，有必要充分挖掘每一幅输入图像所包含的信息。在医学影像(medical image，MI)中，成像设备的固有缺陷导致所获得的图像不可避免地受到各类噪声的污染，再加上光照、散焦等因素的影响，使得医学影像中的细微结构难以辨认。怎么从这些低分辨率图像中恢复出结构清晰、细节信息丰富的高分辨率图像是关乎人们生命安全的重要科研课题。智能犯罪监控(intelligent crime monitoring，ICM)由于受摄像机自身分辨率、光照、视角、相机运动等因素的影响，直接捕获的图像可能出现模糊、旋转与偏移等现象，导致目标对象的特征无法识别，严重影响案件侦查工作。随着大气遥感(atmospheric remote sensing，ARS)技术的不断发展，气象雷达成为预测降雨、监测台风和风暴等气象灾害的有效手段。当气象雷达的波长与照射物表面粗糙程度相当时极易使雷达图像出现各种斑点噪声，影响气象预测精度。从这些受噪声污染的图像中正确恢复出原始高分辨率图像对准确进行大气预测有着重要的现实意义。另外，图像超分辨率重构(super-resolution reconstruction，SR)技术在军事中也有十分广泛的应用。例如，无人侦察机获取的数字图像在传输过程中受诸多不良因素的影响容易出现严重失真，导致目标难以识别从而影响作战指挥员的正确判断。在通过雷达探测目标时，雷达波的反射效应也很容易暴露己方目标。现在出现了一种称为***光电感知系统(all-around photoelectric sensing system，AAPSS)的目标探测系统，它根据光学成像原理追踪目标而不反射任何雷达波，美国第五代战斗机F35使用的光电分布式孔径系统(electro-optical distributed aperture system，EODAS)就是其中一种。从光电传感器捕获的数字信号准确地形成高质量数字图像是这种系统正常工作的关键，SR及相关技术在这一过程中扮演着极其重要的角色。上述诸多领域广泛的应用需求使研究增强图像分辨率水平的方法显得十分必要，同时也是数字图像超分辨率技术一直处于图像处理领域的研究热点并长期备受关注的重要原因之一。图像超分辨率处理技术的目的是，通过一幅或一系列LR图像恢复出一幅HR图像。根据输入图像的数量可以将超分辨率算法分为单幅图像超分辨率算法和多幅图像超分辨率算法，但传统多幅图像超分辨率算法都将超分辨率重构转换成多幅LR图像序列之间的对齐与校准操作，而在多幅模糊、受噪声污染的LR图像之间进行**的对齐操作本身就是**困难的，并且在许多实际应用中很难获得充足的LR图像序列。因此，多幅图像的SR处理没有太大的实际意义。相对而言，单幅图像的SR处理技术是一个具有广泛应用的研究热点，也*具有实用价值，对这项技术的深入研究具有重大理论和实际意义。因为单幅图像情况下提供的有效数据较少，所以单幅图像SR处理比多幅图像的SR处理*具有挑战性，还有很多亟待解决的重要问题值得深入研究。1.2 研究现状与发展趋势1.2.1 **外研究现状随着图像处理技术的不断发展，许多应用领域都要求高质量的数字图像并对其进行后续处理。传感器的固有缺陷、散焦、大气条件以及各种类型的噪声等严重影响了数字图像的质量。图像分辨率是图像质量的重要评判准则，它通常由图像采集设备决定，但在许多实际应用中，昂贵的高精度传感器和其他硬件设备也可能是重要限制因素。为了打破成像系统固有分辨率的限制，从软件角度提高数字图像SR的技术应运而生。目前，图像超分辨率算法主要有三类：基于传统插值理论的方法、基于模型/重构的方法和基于机器学习的方法。传统的插值方法基于*简单的平滑先验假设，将数字图像信号看成连续的、带宽受限的平滑信号进行处理。但这种假设通常是不成立的，因为自然图像往往表现出大量的不连续性特征，如边缘、角点、脊梁等，传统插值算法在平滑先验假设下极易丢失这些高频细节。基于重构的方法为超分辨率重构问题强加了一个约束条件，该约束条件要求恢复的高分辨率图像在经过模糊核下采样后尽可能地接近原始低分辨率图像。但是自然图像的模糊核函数是随机的，加上噪声的影响，这类方法恢复出的高分辨率图像只能在一定程度上增强人眼视觉效果，对较大采样因子效果很差。基于机器学习的方法通过构建LR/HR图像块对(patch pairs)组成的词典，为超分辨率处理提供了*多的先验知识。这类方法通常能够在产生较好视觉效果的同时，使恢复的高分辨率图像尽可能接近原始图像。不过，这类方法一般要求构建一个外部词典，该外部词典由大量的LR/HR图像块对组成，存在算法效率问题与训练数据和测试数据之间的兼容性问题。接下来，本书将对这三类方法的**外现状进行分析。1.基于传统插值理论的超分辨率重构插值技术的发展大致经历了三个阶段：20世纪前的很长一段时间内，主要工作都集中在对传统多项式插值技术的研究方面；20世纪晚期到21世纪初开始出现一些面向图像边缘的插值技术；直到近年来，才开始出现以机器学习为理论基础的图像插值算法。当然，插值技术的这些研究工作并没有严格的时间界限，这样从时间上进行划分主要是根据某种技术在某个时期内处于研究热点。(1)传统多项式插值：关于多项式插值技术的应用，*早可以追溯到古巴比伦和古希腊时期，人们为预测天文事件而构建星历表的实践。当时的人们根据星历表进行线性预测，实际上是一种简单的一阶线性预测。虽然在塞琉古时期(Seleucid Period，公元前*后三个世纪)出现了一些*为复杂的插值算法，但这些方法的具体公式已经无章可循。在中世纪早期的古印度和古中国，同样是用于对天文事件的预测，但此时已经发展为*复杂的二阶插值。随后，从科技革命到信息通信时代，插值方法经历了牛顿插值、密切多项式插值和样条插值等阶段，从简单到复杂发展为*复杂、***的估值技术。这些插值算法本质上来说都属于多项式插值算法，文献[1]对多项式插值技术演变历程的相关内容进行了详尽而深入的调研，全面地呈现了插值理论的发展进程。但是，传统多项式插值技术*初并不是为数字图像处理而开发的，这类技术在数据本身具有连续性的领域中具有*为广泛的应用。(2)面向边缘的插值：计算机视觉领域的研究结果表明，人眼视觉系统对图像的边缘、角点、纹理等非线性结构*为敏感，所以人们专门针对这些非线性结构设计了一些插值算法，在保留插值技术高效性的同时提高超分辨率处理的效果[2-3]。这类算法主要包括边缘方向融合(fusion of edge orientations，FEO)、边缘导向插值(edge-directed interpolation，EDI)、新边缘导向插值(new edge-directed interpolation，NEDI)、软决策插值(soft-decision adaptive interpolation，SAI)及双边软决策插值(bilateral soft-decision adaptive interpolation，BSAI)等。与传统多项式插值*开始并非针对图像插值甚至是图像数据处理不同的是，面向边缘的图像插值技术是将插值技术有针对性地应用于图像SR处理的*初尝试。关于这一类技术的具体研究与发展情况，可参阅文献[3]。(3)基于机器学习的插值：通过学习自然图像中非线性模式或其他吸引人眼视觉系统的信息来指导插值，是近年来兴起的一类新的插值技术。Jaiswal等[4]利用尺度变化时的误差反馈机制来指导图像插值，即假设LR图像下采样时得到的误差就是HR图像下采样时得到的误差。Wei和Ma[5]利用LR图像中的对比度信息来指导插值，在超分辨率效果上也取得了一定的提升。Wang等[6]结合了面向边缘与机器学习方法，通过一种自适应的自插值算法通过LR图像来估计HR图像的梯度分布情况，然后利用基于重构的超分辨率方法计算HR输出图像。上述几种算法虽然尝试结合插值算法和机器学习算法各自的特征进行超分辨率处理，但并没有让插值技术的高效性和机器学习算法**预测非线性结构的能力有效地融合在一起，无论是在超分辨率效果上还是时间效率上都没有取得实质进展。从理论上来讲，基于机器学习的插值技术是*有发展前景的一类图像SR方法，因为机器学习方法能够取得较好的SR效果，而插值技术具有很高的处理效率，然而这方面的相关研究工作还处于起步阶段，仍然存在诸多亟待解决的问题。2.基于模型/重构的超分辨率重构真正意义上的图像超分辨率重构实际上是在Harris[7]和Goodman[8]提出的单幅图像超分辨率重构问题基础上形成的，而基于重构的超分辨率技术*早可以追溯到Tsai和Huang[9]提出多帧图像超分辨率重构，这也是**综合运用时空信息进行超分辨率重构的研究。随后，Stark和Oskoui[10]首先从集合论的角度提出了凸投影集(projection onto convex sets，POCS)算法，该算法后来成为一种**典型的基于重构的超分辨率处理算法。Irani和Peleg[11]提出了一种**具有代表性的重构方法：迭代反向投影(iterate back the projection，IBP)算法，通过反复迭代消除重构误差以提高超分辨率重构的精度。几乎在同一时期，基于模型的方法也逐渐吸引了人们的注意力，其典型代表有基于概率模型(probabilistic model，PM)的方法、基于全变分(total variation，TV)模型的方法，以及基于偏微分方程(partial differential equations，PDE)的方法。基于概率模型的方法主要包括*大似然估计(maximum-likelihood estimation，MLE)算法[12]和*大后验(maximum a posteriori，MAP)估计算法[13]。基于全变分的方法由于其良好的处理效果曾一度在图像SR处理领域占据了**重要的位置[14-19]。偏微分方程方法也是一种典型的基于模型的超分辨率技术，它通过添加时间变量的方式将多幅图像的超分辨率技术转换为单幅图像的超分辨率技术。无论是基于重构还是基于模型的超分辨率处理方法，都没有满足人们对图像分辨率提升的期望。这些方法虽然相对于原始的单幅图像超分辨率方法取得了一定成效，但同时也因为一些附加操作而降低了时间效率，而且这些附加操作对提高超分辨率处理效果的作用并不大。比如，在进行多帧图像SR处理时，首先需要进行多幅图像间的亚像素校准操作，但是在多幅退化的LR图像上进行这样的校准操作往往是不准确的。另外，基于重构的超分辨率方法本身还存在一些固有限制，导致其对缩放因子极其敏感[20]。因此，研究者们在近年来提出了一些混合方法，期望结合不同重构算法之间的优点*好地进行超分辨率重构[21-23]。3.基于机器学习的超分辨率重构基于机器学习的单幅图像超分辨率重构方法到目前为止大致经历了四个发展阶段：样本学习、邻域嵌入、稀疏表达和深度学习。这四个阶段在时间上的界限并不十分明显，存在较多交叉，但它们代表了图像超分辨率处理领域中机器学习方法的四个不同研究方向。利用机器学习的思想来处理单幅图像的超分辨率问题*早体现在Freeman等[24]提出的样本学习方法中，该算法利用一个通过置信传播算