深度学习教程 杨小远，刘建伟 著 科学出版社
内容简介
《深度学习教程》兼顾深度学习的理论和应用，特别强调大规模训练应用案例，引导学生进人深度学习的前沿领域．主要内容有深度学习的核心理论问题：网络拓扑结构设计、网络参数初始化方法. 大规模网络训练的优化方法、正则化方法、激活函数的研究方法. 《深度学习教程》引人深度学习在计算机视觉中的大型和前沿应用案例，包括图像分类任务. 目标检测与跟踪任务、多源遥感图像融合任务、超分辨率任务. 图像隐写与图像信息安全任务等内容. 《深度学习教程》拥有丰富的数字化资源，扫描每章末二维码即可观看学习.
精彩书评
机器学习，数字化资源丰富
目录
目录
前言
第1章 计算机视觉任务的基础知识 1
1.1 遥感图像基础知识 1
1.1.1 遥感和遥感系统 1
1.1.2 遥感图像成像机制 2
1.1.3 遥感图像特征 2
1.2 遥感图像融合基础知识 4
1.2.1 遥感图像融合背景 4
1.2.2 遥感图像融合类型 5
1.2.3 遥感图像融合实现原理 6
1.3 遥感图像超分辨率任务基础知识 12
1.3.1 遥感图像超分辨率背景 12
1.3.2 遥感图像超分辨率实现原理 13
1.4 目标检测基础知识 16
1.4.1 目标检测任务基本原理 16
1.4.2 目标检测任务常用评价指标及计算方法 18
1.5 目标跟踪基础知识 20
1.6 数据集 22
1.6.1 图像分类常用数据集 22
1.6.2 目标检测任务常用数据集 24
1.6.3 目标跟踪任务常用数据集和评价标准 25
1.6.4 遥感图像数据集 29
1.6.5 图像隐写数据集 30
1.6.6 人脸图像数据集 31
1.7 数字化资源 31
第2章 神经网络和卷积神经网络基础 32
2.1 神经元工作的数学表示 32
2.1.1 神经元工作的数学表示 32
2.1.2 神经元的一般化 33
2.2 什么是神经网络 34
2.2.1 神经网络的结构 35
2.2.2 神经网络的训练 37
2.2.3 神经网络的参数和变量 38
2.2.4 神经网络的代价函数和参数训练 39
2.3 随机梯度下降 40
2.4 神经网络正则化初步 45
2.4.1 模型选择，欠拟合和过拟合 45
2.4.2 权重衰减 49
2.4.3 丢弃法 51
2.5 卷积神经网络基础55
2.5.1 卷积神经网络的基本思想 55
2.5.2 卷积神经网络的数学表示 56
2.5.3 卷积神经网络的误差反向传播 60
2.6 残差网络 64
2.7 基于卷积神经网络的视觉注意力机制 67
2.7.1 空间域注意力 67
2.7.2 通道域注意力 69
2.7.3 混合域注意力 72
2.8 数字化资源 74
第3章 **卷积神经网络结构 75
3.1 手写数字识别任务75
3.2 图像分类任务 77
3.2.1 图像分类研究背景 77
3.2.2 **卷积神经网络结构: AlexNet 78
3.2.3 **卷积神经网络结构: ResNet 80
3.2.4 **卷积神经网络结构: GoogLeNet 84
3.3 数字化资源 87
第4章 激活函数的研究 88
4.1 激活函数的基本性质 88
4.1.1 无激活函数的神经网络 88
4.1.2 配备激活函数的神经网络 90
4.2 激活函数的理论分析 92
4.2.1 饱和激活函数 92
4.2.2 梯度消失和梯度爆炸问题 92
4.3 不可训练的激活函数 95
4.3.1 **激活函数 95
4.3.2 整流型激活函数 99
4.4 可训练的激活函数 107
4.4.1 参数化标准激活函数 107
4.4.2 集成化激活函数 113
4.5 激活函数实验分析 119
4.5.1 CIFAR-10/100的实验 119
4.5.2 ImageNet的实验 126
4.6 数字化资源 130
第5章 深度学习的优化算法 131
5.1 优化算法与深度学习 131
5.1.1 优化算法与深度学习的关系 131
5.1.2 优化算法在深度学习中的挑战 131
5.2 随机梯度下降算法 134
5.3 动量法 137
5.3.1 梯度下降的问题 137
5.3.2 动量法 139
5.3.3 指数加权移动平均 141
5.3.4 从指数加权移动平均来理解动量法 142
5.3.5 NAG算法 142
5.4 自适应梯度方法 145
5.4.1 AdaGrad算法 145
5.4.2 RMSProp算法 151
5.4.3 AdaDelta算法 155
5.4.4 Adam算法 157
5.4.5 AdaMax算法 164
5.5 优化算法实验分析 166
5.5.1 小型机翼噪声回归的实验 167
5.5.2 CIFAR-10的实验 171
5.5.3 ImageNet的实验 173
5.6 数字化资源 175
第6章 神经网络的正则化 176
6.1 理论框架 176
6.2 正则化方法 178
6.2.1 批量归一化 178
6.2.2 权重衰减 182
6.2.3 Dropout 185
6.2.4 模型集成 188
6.2.5 数据扩增 190
6.2.6 提前终止 192
6.2.7 标签平滑 193
6.2.8 多任务学习 195
6.2.9 添加噪声 195
6.3 知识蒸馏技术 196
6.3.1 知识蒸馏 196
6.3.2 特征蒸馏 204
6.3.3 自蒸馏 209
6.4 数字化资源 212
第7章 网络初始化方法 213
7.1 预备知识 213
7.1.1 常用随机分布 213
7.1.2 随机变量的性质 213
7.2 Xavier初始化方法 214
7.3 Kaiming初始化方法 217
7.4 实验分析 221
7.4.1 Xavier初始化实验 221
7.4.2 Kaiming初始化实验 223
7.5 数字化资源 227
第8章 生成对抗网络基本原理 228
8.1 生成对抗网络的基本介绍 228
8.1.1 生成对抗网络的结构 228
8.1.2 生成对抗网络的理论分析 230
8.1.3 原始生成对抗网络 235
8.2 生成对抗网络常见的模型结构 237
8.2.1 条件生成对抗网络 237
8.2.2 深度卷积生成对抗网络 240
8.2.3 渐进式增长生成对抗网络 243
8.2.4 对抗自编码器 246
8.3 生成对抗网络的训练问题 249
8.3.1 生成对抗网络存在的问题 249
8.3.2 稳定训练的策略 251
8.4 基于Wasserstein距离的生成对抗网络 257
8.4.1 Wasserstein距离 257
8.4.2 基于Wasserstein距离的WGAN 258
8.5 数字化资源 261
第9章 基于卷积神经网络的计算机视觉任务 262
9.1 遥感图像融合任务 262
9.1.1 卷积神经网络与遥感图像融合的关系 262
9.1.2 遥感图像融合评价方法与评价指标 263
9.1.3 基于卷积神经网络的遥感图像融合方法：PNN 265
9.1.4 基于卷积神经网络的遥感图像融合方法：PanNet 268
9.1.5 基于卷积神经网络的遥感图像融合方法：CLGF 272
9.2 遥感图像超分辨率任务 275
9.2.1 卷积神经网络与遥感图像超分辨率的关系 275
9.2.2 遥感图像超分辨率评价方法与评价指标 276
9.2.3 基于卷积神经网络的超分辨率方法：SRCNN 276
9.2.4 基于卷积神经网络的超分辨率方法：ESRDNN 279
9.3 基于卷积神经网络的目标检测任务 281
9.3.1 Two-Stage目标检测算法 281
9.3.2 One-Stage目标检测算法 287
9.4 基于卷积神经网络的目标跟踪任务 291
9.5 基于卷积神经网络的图像隐写任务 302
9.6 数字化资源 320
第10章 生成对抗网络的应用 321
10.1 基于生成对抗网络的信息安全任务 321
10.1.1 基于生成对抗网络的图像隐写方法：HiDDeN 321
10.1.2 基于生成对抗网络的信息加密方法：ANES 328
10.2 基于生成对抗网络的计算机视觉任务 336
10.2.1 基于生成对抗网络的超分辨率方法：SRGAN 336
10.2.2 基于生成对抗网络的遥感图像融合方法：PSGAN 339
10.3 数字化资源 342
参考文献 343
精彩书摘
第1章 计算机视觉任务的基础知识
本章将系统介绍一系列计算机视觉任务的基础知识和本书在进行深度学习训练任务时所用的大型图像数据集.
1.1 遥感图像基础知识
1.1.1 遥感和遥感系统
遥感是应用探测仪器， 不与探测目标相接触， 从远处把目标的电磁波特性记录下来， 通过分析来揭示出物体的特征性质及其变化的综合性探测技术. 根据遥感的定义， 遥感系统包括五大部分:被测目标的信息特征、信息的获取、信息的传输与记录、信息的处理和信息的应用. 下面依次介绍这五大部分内容. ①被测目标的信息特征:任何目标物都具有发射、反射和吸收电磁波的性质， 这是遥感的信息源. 目标物与电磁波的相互作用， 构成了目标物的电磁波特性， 它是遥感探测的依据. ②信息的获取:接收、记录目标物电磁波特征的仪器， 称为传感器或遥感器. 如扫描仪、雷达、摄影机、摄像机、辐射计等.③信息的传输与记录:传感器接收到目标地物的电磁波信息， 记录在数字磁介质或胶片上. 胶片是由人或回收舱送至地面回收， 而数字磁介质上记录的信息则可通过卫星上的微波天线传输给地面的卫星接收站. ④信息的处理:地面站接收到遥感卫星发送来的数字信息， 记录在高密度的磁介质上， 并进行一系列的处理， 如信息恢复、辐射校正、卫星姿态校正、投影变换等， 再转换为用户可使用的通用数据格式， 或转换成模拟信号(记录在胶片上)， 才能被用户使用. 地面站或用户还可根据需要进行精校正处理和专题信息处理、分类等.⑤信息的应用:遥感获取信息的目的是应用. 这项工作由各专业人员按不同的应用目的进行. 在应用过程中， 也需要大量的信息处理和分析， 如不同遥感信息的融合及遥感与非遥感信息的复合等. 凭借其大面积同步观测、时效性强、数据的综合性和可比性强、经济性好等几个重要特点， 遥感技术在国民经济的各个领域得到广泛应用. 遥感图像作为信息载体， 能为后续的解译和下游任务提供重要依据.
图1.1.1 遥感
1.1.2 遥感图像成像机制
遥感图像是通过各种传感器远距离探测而记录的地球表面、大气层以及其他星球表面等物体在不同的电磁波段所反射或发射的能量的分布和时空变化的产物， 是遥感探测目标的信息载体. 在图像上表现为亮度、灰度、密度， 或者为定量的辐射值， 其所代表的反射或发射的能量大小是地物本身属性和状态的反映， 是识别和研究不同物体及其相互关系和变化规律的依据. 也就是说， 由图像上的物理量所代表的物体的波谱反射或发射特征， 具有定量意义.
1.1.3 遥感图像特征
图1.1.2展示了快鸟(QuickBird)卫星和世界观测3号(WorldView-3)卫星的全色图像和多光谱图像. 可以看出， 全色图像是一幅灰度图像， 空间细节信息丰富. 而多光谱图像色彩信息丰富， 但清晰度远不如全色图像.
遥感解译人员需要通过遥感图像获取三方面的信息:目标地物的大小、形状及空间分布特点;目标地物的属性特点;目标地物的动态变化特点. 因此相应地将遥感图像归纳为三方面特征， 即空间分辨率、光谱分辨率和时间分辨率.
1. 空间分辨率
遥感图像的空间分辨率反映的是图像分辨具有不同反差并相距一定距离的相邻目标的能力， 具体而言， 是指像素所代表的地面范围的大小， 即地面物体能分辨的*小单元. 图像的空间分辨率越高， 图像的纹理细节越清晰， 空间结构信息越丰富;反之， 图像的影纹细节越模糊， 且空间结构信息越少. 如图1.1.3展示了不同空间分辨率的遥感图像.
图1.1.2 遥感图像. (a)QuickBird多光谱图像;(b)QuickBird全色图像;(c)WorldView-3多光谱图像;(d)WorldView-3全色图像
图1.1.3 不同空间分辨率遥感图像. (a)高分二号4m空间分辨率多光谱图像;(b)高分一号8m空间分辨率多光谱图像
2. 光谱分辨率
遥感图像中的每个像元的亮度值代表的是该像元中地物的平均辐射值， 它是随地物的成分、纹理、状态、表面特征及所使用的电磁波段的不同而变化的， 这种随上述因素变化的特征称为地物的波谱特征. 不同地物之间的亮度值差异以及同一地物在不同波段上的亮度值差异构成了地物的波谱信息. 光谱分辨率是指传感器在接收目标辐射的波谱时能分辨的*小波长间隔. 间隔越小， 分辨率越高. 不同波谱分辨率的传感器对同一地物探测效果有很大区别.
3. 时间分辨率
时间分辨率指对同一地点进行遥感采样的时间间隔， 即采样的频率， 也称重访周期. 遥感的时间分辨率范围较大. 以卫星遥感来说， 静止气象卫星(地球同步气象卫星)的时间分辨率为1次/0. 5小时;太阳同步气象卫星的时间分辨率2次/天;陆地卫星(Landsat)为1次/16天;中巴地球资源卫星(CBERS)为1次/26天等. 还有更长周期甚至不定周期的. 时间分辨率对动态监测尤为重要， 天气预报、灾害监测等需要短周期的时间分辨率， 故常以“小时”为单位. 植物、作物的长势监测、估产等需要用“旬”或“日”为单位. 而城市扩展、河道变迁、土地利用变化等多以“年”为单位. 总之， 可根据不同的遥感目的， 采用不同的时间分辨率. 如图1. 1. 4展示了不同时间分辨率的遥感图像.
图1.1.4不同时间分辨率遥感图像. (a)高分一号金鸡坪梯田2013年10月15日影像;(b)高分二号金鸡坪梯田2020年5月10日影像
1.2 遥感图像融合基础知识
1.2.1 遥感图像融合背景
图像融合是将2个或者2个以上的传感器在同一时间(或不同时间)获取的关于某个具体场景的图像或者图像序列信息加以综合， 使其能够提供更多的信息， 更适于视觉感知或计算机处理的过程. 近年来， 尽管图像传感器技术有了突飞猛进的发展， 但单一传感器往往不能同时兼顾空间分辨率、光谱分辨率、动态范围等多个特点. 针对这一问题， 采用多传感器获取信息不失为一种合理的解决途径. 为了充分利用大量且复杂的多源数据， 近些年来多源融合技术得到了迅速发展. 全色图像与多光谱图像融合， 亦称为全色锐化. 现代光学卫星普遍搭载全色和多光谱两种传感器. 全色传感器拍摄的全色图像能够准确地分辨观测地物的空间细节， 但是图像颜色单一， 不能提供丰富的光谱信息. 而多光谱传感器所拍摄的多光谱图像空间分辨率较低， 但保持了高光谱分辨率. 通常， 由于传感器的入射辐射能量限制和存储空间限制， 卫星搭载的单个传感器拍摄的图像无法同时保证高空间分辨率和高光谱分辨率. 然而在现实情况中， 往往需要具备高空间分辨率的多光谱图像. 为了整合多光谱图像和全色图像各自的优势， 从而获得集高空间分辨率与高光谱分辨率于一身的融合图像， 全色锐化技术逐渐发展和成熟起来. 全色锐化不仅可以作为一种图像增强方式， 将全色图像和多光谱图像各自的优势集中到一幅图像， 提供了视觉效果更佳的单幅遥感图像， 还可以作为一种有效的预处理方法， 提升下游图像处理任务的效果.
1.2.2 遥感图像融合类型
图像融合可以在图像传递的多个阶段进行. 依照融合发生的阶段， 可以将融合划分为三类:(i)像素级;(ii)特征级;(iii)决策级.
像素级融合是*底层的融合过程， 即直接在原始数据上进行融合， 这一过程通常还包括图像的配准. 配准的精确度将直接影响到融合的效果. 特征级融合是中间层次的融合过程， *先需要对配准数据进行特征提取和分析， 将融合目标组合在一起， 再利用统计方法进行评估及下一步处理. 决策级融合是*高层次的融合过程， 该过程采用*立算法处理各个图像， 以获得对应的特征和分类信息， 然后依据决策建立融合准则， 得到融合结果. 同时， 图像融合是一个内容非常宽泛的研究话题， 这是因为数据集在获取途径、成像机理、物理特性、应用需求等方面存在差异. 概括地讲， 遥感图像融合问题主要有以下几类:
(i)单传感器多时相融合， 例如， 合成孔径雷达多时相图像融合;
(ii)多传感器多时相融合， 例如， 可视光+近红外图像与合成孔径雷达图像融合;
(iii)单传感器多分辨率融合， 例如， 陆地卫星的全色图像(高分辨率)与多光谱图像(低分辨率)融合;
(iv)多传感器多分辨率融合， 例如， 高分二号卫星全色图像与陆地卫星多光谱图像融合.
融合算法往往缺乏普适性， 难以找到一个适用于所有类型的融合算法. 因此在设计融合算法时需要综合图像类型、成像特点以及实际应用需要等多方面考虑.
1.2.3 遥感图像融合实现原理
传统全色锐化方法主要包括成分替代法、多分辨率分析方法(亦称多尺度分析方法)和基于模型的方法.
1. 成分替代法
成分替代法的核心思想是利用特定的变换将多光谱图像分解成多个分量的数据组， 再利用全色图像替代其中表征空间信息的分量， *后通过逆变换获得高空间分辨率的图像. 其优点是算法相对简单， 计算开销小;缺点是没有充分考虑遥感图像的空间几何信息， 如边缘、纹理等. 此外， 由于多光谱图像的波段覆盖范围与全色图像的波段覆盖范围并不一致， 将全色波段整体替换会产生较大的光谱误差. 典型的成分替代法包括亮度-色调-饱和度方法(Intensity-Hue-Saturation， IHS)、主成分分析方法(Principal Component Analysis， PCA).
IHS变换的理念来源于人眼识别物体的三个重要特征， 即亮度、色调以及饱和度. 亮度即物体对光谱信息的反射能力， 与反射率成正比. 反射率越高， 物体对光的反射能力越强， 人眼接收到的光谱信息就越强;色调是比对颜色的指标;饱和度代表颜色浓度. 基于IHS变换的图像融合方法， 就是将原有的多光谱图像通过IHS变换， 将原属于红-绿-蓝空间(Red-Green-Blue， RGB)的图像， 变换成为拥有三个*立分量且相关性较小的IHS空间图像. 在IHS空间中， I， H， S三个*立分量的相关性较小， 将遥感图像从RGB空间转换到IHS空间中利用了其两两正交、几乎无相关性的特点. 在融合替换时， 主要操作对象是代表亮度的I分量信息， 用全色图像P代替I分量. 利用新获得的P， H， S进行逆变换， 得到具有高空间分辨率的多光谱图像. 基于IHS变换的融合方法流程图可以用图1.2.1表示.
《深度学习教程》https://www.netshop168.com/goods-974825.html