卷积神经网络算法是什么？

2024-05-12

1. 卷积神经网络算法是什么？

一维构筑、二维构筑、全卷积构筑。
卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一。
卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariant classification），因此也被称为“平移不变人工神经网络（Shift-Invariant Artificial Neural Networks, SIANN）”。

卷积神经网络的连接性：
卷积神经网络中卷积层间的连接被称为稀疏连接（sparse connection），即相比于前馈神经网络中的全连接，卷积层中的神经元仅与其相邻层的部分，而非全部神经元相连。具体地，卷积神经网络第l层特征图中的任意一个像素（神经元）都仅是l-1层中卷积核所定义的感受野内的像素的线性组合。
卷积神经网络的稀疏连接具有正则化的效果，提高了网络结构的稳定性和泛化能力，避免过度拟合，同时，稀疏连接减少了权重参数的总量，有利于神经网络的快速学习，和在计算时减少内存开销。
卷积神经网络中特征图同一通道内的所有像素共享一组卷积核权重系数，该性质被称为权重共享（weight sharing）。权重共享将卷积神经网络和其它包含局部连接结构的神经网络相区分，后者虽然使用了稀疏连接，但不同连接的权重是不同的。权重共享和稀疏连接一样，减少了卷积神经网络的参数总量，并具有正则化的效果。
在全连接网络视角下，卷积神经网络的稀疏连接和权重共享可以被视为两个无限强的先验（pirior），即一个隐含层神经元在其感受野之外的所有权重系数恒为0（但感受野可以在空间移动）；且在一个通道内，所有神经元的权重系数相同。

卷积神经网络算法是什么？

2. 如何直观解释卷积神经网络的工作原理

3. 初识卷积神经网络

按照上文中介绍的神经网络，如果处理一张图片的话，参数有多大呢？假设图像的大小为1200 * 1200，下一层的神经元个数为10^5，不难得出参数量为 1200 * 1200 * 10^5 = 1.44 * 10^12。可以看出一层的参数量就是很大了，如果再多加几层，那参数量大的应该是超出了内存的承受范围，这从研究和工程的角度都是不允许的。而且参数太多，很容易造成过拟合。
  
 怎么解决这个问题呢？经过研究，从稀疏连接、参数共享和平移不变性三个方面来进行改进。
  
 可能有些人不懂这种稀疏连接是怎么实现的？先来说说卷积操作，以一个二维矩阵为输入（可以看作是一个单通道图片的像素值），卷积产生的稀疏连接根本原因就是这块的核函数，一般的核函数的大小远小于输入的大小。
  
 以下图例：卷积操作可以看做是一种滑窗法，首先，输入维度是4×4，输入中红色部分，先和核函数中的元素对应相乘，就是输出中左上角的元素值s1,即 s1 = a×k1+b×k2+e×k3+f×k4。
                                          
 参数共享是指在一个模型的多个函数中使用相同的参数，它是卷积运算带来的固有属性。
  
 在全连接中，计算每层的输出时，权重矩阵中的元素只作用于某一个输入元素一次；
  
 而在卷积神经网络中，卷积核中的每一个元素将作用于每一个局部输入的特定位置上。根据参数共享的思想，我们只需要学习一组参数集合，而不需要针对每一个位置的每一个参数来进行优化学习，从而大大降低了模型的存储需求。
  
 如果一个函数的输入做了一些改变，那么输出也跟着做出同样的改变，这就时平移不变性。
  
 平移不变性是由参数共享的物理意义所得。在计算机视觉中，假如要识别一个图片中是否有一只猫，那么无论这只猫在图片的什么位置，我们都应该识别出来，即就是神经网络的输出对于平移不变性来说是等变的。
  
 根据稀疏连接、参数共享和平移不变性三个思想，卷积核就应运而生了。看下图，有个直观的感受。
                                          
 上图就是在一个通道上做的卷积，但现实中，图片一般是由3个通道构成（R\G\B）,卷积核也由二维的平面生成了三维立体。具体的样子如下图：
                                          
 如上图所示，Filter W0 即为卷积核，其大小为(3 * 3 * 3)，每个3*3的二维平面会和图片的相应的通道进行卷积，3个通道的结果相加后加上统一的偏置b0，结果即为Output Volume 第一个通道的第一个位置的数。
  
 从上图还可以看出 Input Volume 四周加了0，这个0叫做padding，一般是为了卷积划动的过程中包含原有的所有数；而多通道卷积核计算过程和卷积核计算过程，不太一样的是多通道卷积核计算过程每次滑2下，这个滑动的距离叫做步长-stride。
  
 所以通过输入大小和卷积核大小，我们可以推断出最终的结果的大小。比如上图卷积核计算过程，输入大小为5 * 5，卷积核为3 * 3，那么卷积核在原图上每次滑动一格，横向滑3次，纵向也是3次，最终结果为  3 * 3。在多通道卷积核计算过程中，每次滑动为2格，横向滑3次，纵向也是3次，最终结果也为  3*3。可以推断出，最终大小的公式为：（输入大小 - 卷积核大小）/ 滑动步长。
  
 在卷积核计算过程，可以看出经过卷积后的大小变小了，那能不能经过卷积计算且大小不变呢？这里，引出了 padding 的另一个作用，保证输入和输出的大小一致。比方输出的 5*5 加 padding，那么四周就被0围绕了，这时的输入大小就变为7 * 7, 再经过 3 * 3的卷积后，按照上边推断出的公式，可以得出 最终的大小为 5 * 5，这时与输入大小保持了一致。
  
 池化层夹在连续的卷积层中间， 用于压缩数据和参数的量，减小过拟合。
   简而言之，如果输入是图像的话，那么池化层的最主要作用就是压缩图像。
  
 池化层用的方法有Max pooling 和 average pooling，而实际用的较多的是Max pooling。下图演示一下Max pooling。
                                                                                  
 对于每个2 * 2的窗口选出最大的数作为输出矩阵的相应元素的值，比如输入矩阵第一个2 * 2窗口中最大的数是1，那么输出矩阵的第一个元素就是1，如此类推。
  
 全连接层的部分就是将之前的结果展平之后接到最基本的神经网络了。
                                                                                  
 根据上边的介绍，可以得出，卷积核的通道数目和输入的图像的通道数目是保持一致的，而输出的通道数目是和卷积核数目是一致的。这样参数量可以得出，假设输入的通道为5，卷积核大小为 3 * 3 ，输出的通道数目为10，那么参数量为：3 * 3 * 5 * 10，其中3 * 3 * 5是1个卷积核的参数个数，3 * 3 * 5 * 10 是 10个卷积核的参数个数，也就总共的参数个数。
  
 在卷积中，滑动一次会经过多次的点乘，只经过一次的加法，所以加法的计算量可以忽略不计。其中，滑动一次会的点乘次数和卷积核的大小有关系，比方 3 * 3的卷积，则是经过了 3 * 3 = 9次点积。一共滑动多少次和输出大小有关系，比方 输出的结果也为 3 * 3，那么就是滑动了9次。这样就可以得出输入和输出单通道时计算量 3 * 3 * 3 * 3 = 81。那么对于输入多通道时，卷积核也需要增加相应的通道数目，此时应该在刚才的计算量上乘以通道的数目，得出输入多通道的一个卷积核的计算量。这样，对于输出多通道，总的计算量则是乘以多个卷积核即可。

初识卷积神经网络

4. 讨论神经网络中的卷积与数学中的卷积有何不同

 1.当提到神经网络中的卷积时，我们通常是指由多个并行卷积组成的运算。（因为单个核只能特区一种类型的特征，我们usually希望可以在多个位置提取多个特征）
   2.输入也不仅仅是实值的网格，而是由一系列观测数据的向量构成的网格。
   我们有的时候会希望跳出核中的一些位置来降低计算的开销（相应的代价是提取特征没有先前那么好了）我们就把这个过程看作对全卷积函数输出的 下采样(downsampling). 如果只是在输出的每个方向上每间隔s个像素进行采样，那么可重新定义一个 下采样卷积函数。我们把s称为下采样卷积的  步幅  （stride）。
   在任何卷积网络的实现中都有一个重要性质： 能够隐含地对输入V用零进行填充（pad）使得它加宽。 
   如果没有零填充，我们iu会面临二选一的局面（网络空间宽度的快速缩减or一种小型的核）。
   有三种 零填充的设定情况值得注意：
   1）无论怎样都不进行零填充的极端情况，并且卷积核只允许访问那些图像中能够完全包含整个核的位置。（也称为有效卷积）  
   在这种情况下，输出的所有像素都是输入中相同数量像素的函数，这使得输出像素的表示更加规范。然而输出的大小在每一层都会缩减。如果输入的图像宽度是m，核的宽度是k，那么输出的宽度就会变成m-k+1.如果卷积核非常大，缩减率会非常显著。因为缩减数大于0，这限制了网络中能够包含的卷积层的层数。当层数增加时，网络的空间维度最终会缩减到1*1，这种情况下增加的层就不可能进行有意义的卷积了。
   2）只进行足够的零填充来保持输出和输入具有相同的大小（相同卷积）
   在这种情况下，只要硬件支持，网络就能包含任意多的卷积层，这使得卷积运算不改变下一层的结构。然而，输入像素中靠近边界的部分比中间部分相对于输出像素的影响更小，可能会导致边界像素存在一定程度的欠表示。
   3）进行足够多的零填充，使得每个像素在每个方向上恰好被访问了k次，最终输出的图像的宽度是m+k-1。（全卷积）
   在这种情况下，输出像素中靠近边界的部分相比于中间部分是更少像素的函数。这将导致学得一个在卷积特征映射的所有位置都表现不错的单核更为困难。
   通常零填充的最优数量处于有效卷积和相同卷积之间的某个位置。
   非共享卷积（unshared convolution），只是想要局部连接的网络层。（它和具有一个小核的离散卷积运算很像，但并不横跨位置来共享参数。）
   平铺卷积（tiled convolution)对卷积层和局部连接进行了折衷。

5. 卷积神经网络中的卷积与数学中卷积的区别

  数学中的卷积和卷积神经网络中的卷积严格意义上是两种不同的运算 
   公式为        如图1所示，a矩阵是  的矩阵，a矩阵经过数学卷积运算后得到c矩阵。现在我们计算  处的值，c矩阵其他值的计算方式与  一致。
                                           根据公式（1），可得到  的计算过程如图2，抽象为公式为     
                                           会发现图2的计算过程就是图3中颜色相同的块相乘，并求和的过程。
                                            总之，  和  卷积的过程是，卷积核  绕中心点旋转180度，然后与  对应位置相乘并求和 
   我们以“丢骰子为例”，使用单个下标的离散卷积，公式为     。我们投掷两颗骰子，求解两颗骰子点数为4的概率，则
                                           那么，两枚骰子点数加起来为4的情况有：
                                                                                                                           因此，两枚骰子点数加起来为4的概率为：     
   符合卷积的定义，把它写成标准的形式就是：     
    本质上就是卷积核与图片局部区域对应位置相乘并求和，或者为图片的局部区域像素值加权求和，其中权值就是卷积核心。    
                                           
   这两种操作，很容易通过设计特定的“卷积核”，然后将其与像素矩阵的对应像素（不进行旋转）相乘得到
   举例说明
   我们对下述的图像进行平滑滤波和边缘提取处理
                                           使用下面的卷积核，就可以得到预期的效果
                                                                                   实现原理：
    哪位高手能解释一下卷积神经网络的卷积核？

卷积神经网络中的卷积与数学中卷积的区别

6. 卷积神经网络

 关于花书中卷积网络的笔记记录于 https://www.jianshu.com/p/5a3c90ea0807 。
   卷积神经网络（Convolutional Neural Network，CNN或ConvNet）是一种具有 局部连接、权重共享 等特性的深层前馈神经网络。卷积神经网络是受生物学上感受野的机制而提出。 感受野（Receptive Field） 主要是指听觉、视觉等神经系统中一些神经元的特性，即 神经元只接受其所支配的刺激区域内的信号 。
   卷积神经网络最早是主要用来处理图像信息。如果用全连接前馈网络来处理图像时，会存在以下两个问题：
   目前的卷积神经网络一般是由卷积层、汇聚层和全连接层交叉堆叠而成的前馈神经网络，使用反向传播算法进行训练。 卷积神经网络有三个结构上的特性：局部连接，权重共享以及汇聚 。这些特性使卷积神经网络具有一定程度上的平移、缩放和旋转不变性。
   卷积（Convolution）是分析数学中一种重要的运算。在信号处理或图像处理中，经常使用一维或二维卷积。
   一维卷积经常用在信号处理中，用于计算信号的延迟累积。假设一个信号发生器每个时刻t 产生一个信号  ，其信息的衰减率为  ，即在  个时间步长后，信息为原来的  倍。假设  ，那么在时刻t收到的信号  为当前时刻产生的信息和以前时刻延迟信息的叠加：
     
   我们把  称为 滤波器（Filter）或卷积核（Convolution Kernel） 。假设滤波器长度为  ，它和一个信号序列  的卷积为：
     
   信号序列  和滤波器  的卷积定义为：
     
   一般情况下滤波器的长度  远小于信号序列长度  ，下图给出一个一维卷积示例，滤波器为  ：
                                           二维卷积经常用在图像处理中。因为图像为一个两维结构，所以需要将一维卷积进行扩展。给定一个图像  和滤波器  ，其卷积为：
     
   下图给出一个二维卷积示例：
                                           注意这里的卷积运算并不是在图像中框定卷积核大小的方框并将各像素值与卷积核各个元素相乘并加和，而是先把卷积核旋转180度，再做上述运算。
   在图像处理中，卷积经常作为特征提取的有效方法。一幅图像在经过卷积操作后得到结果称为 特征映射（Feature Map） 。
                                           最上面的滤波器是常用的高斯滤波器，可以用来对图像进行 平滑去噪 ；中间和最下面的过滤器可以用来 提取边缘特征 。
   在机器学习和图像处理领域，卷积的主要功能是在一个图像（或某种特征）上滑动一个卷积核（即滤波器），通过卷积操作得到一组新的特征。在计算卷积的过程中，需要进行卷积核翻转（即上文提到的旋转180度）。 在具体实现上，一般会以互相关操作来代替卷积，从而会减少一些不必要的操作或开销。 
    互相关（Cross-Correlation）是一个衡量两个序列相关性的函数，通常是用滑动窗口的点积计算来实现 。给定一个图像  和卷积核  ，它们的互相关为：
     
    互相关和卷积的区别仅在于卷积核是否进行翻转。因此互相关也可以称为不翻转卷积 。当卷积核是可学习的参数时，卷积和互相关是等价的。因此，为了实现上（或描述上）的方便起见，我们用互相关来代替卷积。事实上，很多深度学习工具中卷积操作其实都是互相关操作。
   在卷积的标准定义基础上，还可以引入滤波器的 滑动步长 和 零填充 来增加卷积多样性，更灵活地进行特征抽取。
    滤波器的步长（Stride）是指滤波器在滑动时的时间间隔。 
                                            零填充（Zero Padding）是在输入向量两端进行补零。 
                                           假设卷积层的输入神经元个数为  ，卷积大小为  ，步长为  ，神经元两端各填补  个零，那么该卷积层的神经元数量为  。
   一般常用的卷积有以下三类：
   因为卷积网络的训练也是基于反向传播算法，因此我们重点关注卷积的导数性质：
   假设  。
     ，  ，  。函数  为一个标量函数。
   则由  有：
     
   可以看出，   关于  的偏导数为  和  的卷积 ：
     
   同理得到：
     
   当  或  时，  ，即相当于对  进行  的零填充。从而   关于  的偏导数为  和  的宽卷积 。
   用互相关的“卷积”表示，即为（注意 宽卷积运算具有交换性性质 ）：
     
   在全连接前馈神经网络中，如果第  层有  个神经元，第  层有  个神经元，连接边有  个，也就是权重矩阵有  个参数。当  和  都很大时，权重矩阵的参数非常多，训练的效率会非常低。
   如果采用卷积来代替全连接，第  层的净输入  为第  层活性值  和滤波器  的卷积，即：
     
                                           根据卷积的定义，卷积层有两个很重要的性质：
    由于局部连接和权重共享，卷积层的参数只有一个m维的权重  和1维的偏置  ，共  个参数。参数个数和神经元的数量无关。此外，第  层的神经元个数不是任意选择的，而是满足  。 
    卷积层的作用是提取一个局部区域的特征，不同的卷积核相当于不同的特征提取器。 
   特征映射（Feature Map）为一幅图像（或其它特征映射）在经过卷积提取到的特征，每个特征映射可以作为一类抽取的图像特征。 为了提高卷积网络的表示能力，可以在每一层使用多个不同的特征映射，以更好地表示图像的特征。 
   在输入层，特征映射就是图像本身。如果是灰度图像，就是有一个特征映射，深度  ；如果是彩色图像，分别有RGB三个颜色通道的特征映射，深度  。
   不失一般性，假设一个卷积层的结构如下：
                                           为了计算输出特征映射  ，用卷积核  分别对输入特征映射  进行卷积，然后将卷积结果相加，并加上一个标量偏置  得到卷积层的净输入  再经过非线性激活函数后得到输出特征映射  。
     
   在输入为  ，输出为  的卷积层中，每个输出特征映射都需要  个滤波器以及一个偏置。假设每个滤波器的大小为  ，那么共需要  个参数。
                                            汇聚层（Pooling Layer）也叫子采样层（Subsampling Layer），其作用是进行特征选择，降低特征数量，并从而减少参数数量。 
   常用的汇聚函数有两种：
     
   其中  为区域  内每个神经元的激活值。
     
   可以看出，汇聚层不但可以有效地减少神经元的数量，还可以使得网络对一些小的局部形态改变保持不变性，并拥有更大的感受野。
                                           典型的汇聚层是将每个特征映射划分为  大小的不重叠区域，然后使用最大汇聚的方式进行下采样。汇聚层也可以看做是一个特殊的卷积层，卷积核大小为  ，步长为  ，卷积核为  函数或  函数。过大的采样区域会急剧减少神经元的数量，会造成过多的信息损失。
   一个典型的卷积网络是由卷积层、汇聚层、全连接层交叉堆叠而成。
   目前常用卷积网络结构如图所示，一个卷积块为连续  个卷积层和  个汇聚层（  通常设置为  ，  为  或  ）。一个卷积网络中可以堆叠  个连续的卷积块，然后在后面接着  个全连接层（  的取值区间比较大，比如  或者更大；  一般为  ）。
                                           目前，整个网络结构 趋向于使用更小的卷积核（比如  和  ）以及更深的结构（比如层数大于50） 。此外，由于卷积的操作性越来越灵活（比如不同的步长），汇聚层的作用变得也越来越小，因此目前比较流行的卷积网络中， 汇聚层的比例也逐渐降低，趋向于全卷积网络 。
   在全连接前馈神经网络中，梯度主要通过每一层的误差项  进行反向传播，并进一步计算每层参数的梯度。在卷积神经网络中，主要有两种不同功能的神经层：卷积层和汇聚层。而参数为卷积核以及偏置，因此 只需要计算卷积层中参数的梯度。 
   不失一般性，第  层为卷积层，第  层的输入特征映射为  ，通过卷积计算得到第  层的特征映射净输入  ，第  层的第  个特征映射净输入
     
   由  得：
     
   同理可得，损失函数关于第  层的第  个偏置  的偏导数为：
     
   在卷积网络中，每层参数的梯度依赖其所在层的误差项  。
   卷积层和汇聚层中，误差项的计算有所不同，因此我们分别计算其误差项。
   第  层的第  个特征映射的误差项  的具体推导过程如下：
     
   其中  为第  层使用的激活函数导数，  为上采样函数（upsampling），与汇聚层中使用的下采样操作刚好相反。如果下采样是最大汇聚（max pooling），误差项  中每个值会直接传递到上一层对应区域中的最大值所对应的神经元，该区域中其它神经元的误差项的都设为0。如果下采样是平均汇聚（meanpooling），误差项  中每个值会被平均分配到上一层对应区域中的所有神经元上。
   第  层的第  个特征映射的误差项  的具体推导过程如下：
     
   其中  为宽卷积。
   LeNet-5虽然提出的时间比较早，但是是一个非常成功的神经网络模型。基于LeNet-5 的手写数字识别系统在90年代被美国很多银行使用，用来识别支票上面的手写数字。LeNet-5 的网络结构如图：
                                           不计输入层，LeNet-5共有7层，每一层的结构为：
                                           AlexNet是第一个现代深度卷积网络模型，其首次使用了很多现代深度卷积网络的一些技术方法，比如采用了ReLU作为非线性激活函数，使用Dropout防止过拟合，使用数据增强来提高模型准确率等。AlexNet 赢得了2012 年ImageNet 图像分类竞赛的冠军。
   AlexNet的结构如图，包括5个卷积层、3个全连接层和1个softmax层。因为网络规模超出了当时的单个GPU的内存限制，AlexNet 将网络拆为两半，分别放在两个GPU上，GPU间只在某些层（比如第3层）进行通讯。
                                           AlexNet的具体结构如下：
   在卷积网络中，如何设置卷积层的卷积核大小是一个十分关键的问题。 在Inception网络中，一个卷积层包含多个不同大小的卷积操作，称为Inception模块。Inception网络是由有多个inception模块和少量的汇聚层堆叠而成 。
   v1版本的Inception模块，采用了4组平行的特征抽取方式，分别为1×1、3× 3、5×5的卷积和3×3的最大汇聚。同时，为了提高计算效率，减少参数数量，Inception模块在进行3×3、5×5的卷积之前、3×3的最大汇聚之后，进行一次1×1的卷积来减少特征映射的深度。如果输入特征映射之间存在冗余信息， 1×1的卷积相当于先进行一次特征抽取 。

7. 卷积神经网络

  卷积神经网络 （Convolutional Neural Networks，CNN）是一种前馈神经网络。卷积神经网络是受生物学上感受野（Receptive Field）的机制而提出的。感受野主要是指听觉系统、本体感觉系统和视觉系统中神经元的一些性质。比如在视觉神经系统中，一个神经元的感受野是指视网膜上的特定区域，只有这个区域内的刺激才能够激活该神经元。
   卷积神经网络又是怎样解决这个问题的呢？主要有三个思路：
   在使用CNN提取特征时，到底使用哪一层的输出作为最后的特征呢？
   答：倒数第二个全连接层的输出才是最后我们要提取的特征，也就是最后一个全连接层的输入才是我们需要的特征。
   全连接层会忽视形状。卷积层可以保持形状不变。当输入数据是图像时，卷积层会以3维数据的形式接收输入数据，并同样以3维数据的形式输出至下一层。因此，在CNN中，可以（有可能）正确理解图像等具有形状的数据。
   CNN中，有时将 卷积层的输入输出数据称为特征图（feature map） 。其中， 卷积层的输入数据称为输入特征图（input feature map） ， 输出数据称为输出特征图（output feature map）。 
   卷积层进行的处理就是 卷积运算 。卷积运算相当于图像处理中的“滤波器运算”。
   滤波器相当于权重或者参数，滤波器数值都是学习出来的。 卷积层实现的是垂直边缘检测 。
   边缘检测实际就是将图像由亮到暗进行区分，即边缘的过渡(edge transitions)。
                                                                                   卷积层对应到全连接层，左上角经过滤波器，得到的3，相当于一个神经元输出为3.然后相当于，我们把输入矩阵拉直为36个数据，但是我们只对其中的9个数据赋予了权重。
                                           步幅为1 ，移动一个，得到一个1，相当于另一个神经单元的输出是1.
   并且使用的是同一个滤波器，对应到全连接层，就是权值共享。
                                                                                   在这个例子中，输入数据是有高长方向的形状的数据，滤波器也一样，有高长方向上的维度。假设用（height, width）表示数据和滤波器的形状，则在本例中，输入大小是(4, 4)，滤波器大小是(3, 3)，输出大小是(2, 2)。另外，有的文献中也会用“核”这个词来表示这里所说的“滤波器”。
   对于输入数据，卷积运算以一定间隔滑动滤波器的窗口并应用。这里所说的窗口是指图7-4中灰色的3 × 3的部分。如图7-4所示，将各个位置上滤   波器的元素和输入的对应元素相乘，然后再求和（有时将这个计算称为乘积累加运算）。然后，将这个结果保存到输出的对应位置。将这个过程在所有位置都进行一遍，就可以得到卷积运算的输出。
                                            CNN中，滤波器的参数就对应之前的权重。并且，CNN中也存在偏置。 
                                           在进行卷积层的处理之前，有时要向输入数据的周围填入固定的数据（比如0等），这称为填充（padding），是卷积运算中经常会用到的处理。比如，在图7-6的例子中，对大小为(4, 4)的输入数据应用了幅度为1的填充。“幅度为1的填充”是指用幅度为1像素的0填充周围。
                                           应用滤波器的位置间隔称为 步幅（stride） 。
                                           假设输入大小为(H, W)，滤波器大小为(FH, FW)，输出大小为(OH, OW)，填充为P，步幅为S。     
     
   但是所设定的值必须使式（7.1）中的 和 分别可以除尽。当输出大小无法除尽时（结果是小数时），需要采取报错等对策。顺便说一下，根据深度学习的框架的不同，当值无法除尽时，有时会向最接近的整数四舍五入，不进行报错而继续运行。
   之前的卷积运算的例子都是以有高、长方向的2维形状为对象的。但是，图像是3维数据，除了高、长方向之外，还需要处理通道方向。
    在3维数据的卷积运算中，输入数据和滤波器的通道数要设为相同的值。 
   因此，作为4维数据，滤波器的权重数据要按(output_channel, input_channel, height, width)的顺序书写。比如，通道数为3、大小为5 × 5的滤   波器有20个时，可以写成(20, 3, 5, 5)。
   对于每个通道，均使用自己的权值矩阵进行处理，输出时将多个通道所输出的值进行加和即可。
   卷积运算的批处理，需要将在各层间传递的数据保存为4维数据。具体地讲，就是按(batch_num, channel, height, width)的顺序保存数据。
   这里需要注意的是，网络间传递的是4维数据，对这N个数据进行了卷积运算。也就是说，批处理将N次的处理汇总成了1次进行。
   池化是缩小高、长方向上的空间的运算。比如，如图7-14所示，进行将2 × 2的区域集约成1个元素的处理，缩小空间大小。
                                           图7-14的例子是按步幅2进行2 × 2的Max池化时的处理顺序。“Max池化”是获取最大值的运算，“2 × 2”表示目标区域的大小。如图所示，从   2 × 2的区域中取出最大的元素。此外，这个例子中将步幅设为了2，所以2 × 2的窗口的移动间隔为2个元素。另外，一般来说，池化的窗口大小会和步幅设定成相同的值。比如，3 × 3的窗口的步幅会设为3，4 × 4的窗口的步幅会设为4等。
   除了Max池化之外，还有Average池化等。相对于Max池化是从目标区域中取出最大值，Average池化则是计算目标区域的平均值。 在图像识别领域，主要使用Max池化。 因此，本书中说到“池化层”时，指的是Max池化。
    池化层的特征    池化层有以下特征。    没有要学习的参数    池化层和卷积层不同，没有要学习的参数。池化只是从目标区域中取最大值（或者平均值），所以不存在要学习的参数。    通道数不发生变化    经过池化运算，输入数据和输出数据的通道数不会发生变化。如图7-15所示，计算是按通道独立进行的。
       对微小的位置变化具有鲁棒性（健壮）           输入数据发生微小偏差时，池化仍会返回相同的结果。因此，池化对输入数据的微小偏差具有鲁棒性。比如，3 × 3的池化的情况下，如图          7-16所示，池化会吸收输入数据的偏差（根据数据的不同，结果有可能不一致）。
                                           经过卷积层和池化层之后，进行Flatten，然后丢到全连接前向传播神经网络。
                                                                                                                           （找到一张图片使得某个filter响应最大。相当于filter固定，未知的是输入的图片。）未知的是输入的图片？？？
   k是第k个filter，x是我们要找的参数。?这里我不是很明白。我得理解应该是去寻找最具有代表性的特征。
                                                                                   使用im2col来实现卷积层
                                           卷积层的参数是需要学习的，但是池化层没有参数需要学习。全连接层的参数需要训练得到。
   池化层不需要训练参数。全连接层的参数最多。卷积核的个数逐渐增多。激活层的size，逐渐减少。
    最大池化只是计算神经网络某一层的静态属性，没有什么需要学习的，它只是一个静态属性 。
                                           像这样展开之后，只需对展开的矩阵求各行的最大值，并转换为合适的形状即可（图7-22）。
                                           参数   • input_dim ― 输入数据的维度：（ 通道，高，长 ）   • conv_param ― 卷积层的超参数（字典）。字典的关键字如下：   filter_num ― 滤波器的数量   filter_size ― 滤波器的大小   stride ― 步幅   pad ― 填充   • hidden_size ― 隐藏层（全连接）的神经元数量   • output_size ― 输出层（全连接）的神经元数量   • weitght_int_std ― 初始化时权重的标准差
    LeNet 
   LeNet在1998年被提出，是进行手写数字识别的网络。如图7-27所示，它有连续的卷积层和池化层（正确地讲，是只“抽选元素”的子采样层），最后经全连接层输出结果。
                                           和“现在的CNN”相比，LeNet有几个不同点。第一个不同点在于激活函数。LeNet中使用sigmoid函数，而现在的CNN中主要使用ReLU函数。   此外，原始的LeNet中使用子采样（subsampling）缩小中间数据的大小，而现在的CNN中Max池化是主流。
    AlexNet 
   在LeNet问世20多年后，AlexNet被发布出来。AlexNet是引发深度学习热潮的导火线，不过它的网络结构和LeNet基本上没有什么不同，如图7-28所示。
                                           AlexNet叠有多个卷积层和池化层，最后经由全连接层输出结果。虽然结构上AlexNet和LeNet没有大的不同，但有以下几点差异。   • 激活函数使用ReLU。   • 使用进行局部正规化的LRN（Local Response Normalization）层。   • 使用Dropout
    TF2.0实现卷积神经网络 
                                            valid意味着不填充，same是填充    or the SAME padding, the output height and width are computed as:
   out_height = ceil(float(in_height) / float(strides[1]))
   out_width = ceil(float(in_width) / float(strides[2]))
   And
   For the VALID padding, the output height and width are computed as:
   out_height = ceil(float(in_height - filter_height + 1) / float(strides[1]))
   out_width = ceil(float(in_width - filter_width + 1) / float(strides[2]))   因此，我们可以设定 padding 策略。在 tf.keras.layers.Conv2D 中，当我们将 padding 参数设为 same 时，会将周围缺少的部分使用 0 补齐，使得输出的矩阵大小和输入一致。

卷积神经网络

8. 理解神经网络卷积层、全连接层

  https://zhuanlan.zhihu.com/p/32472241 
   卷积神经网络，这玩意儿乍一听像是生物和数学再带点计算机技术混合起来的奇怪东西。奇怪归奇怪，不得不说，卷积神经网络是计算机视觉领域最有影响力的创造之一。
   2012年是卷积神经网络崛起之年。这一年，Alex Krizhevsky带着卷积神经网络参加了ImageNet竞赛（其重要程度相当于奥运会）并一鸣惊人，将识别错误率从26%降到了15%,。从那开始，很多公司开始使用深度学习作为他们服务的核心。比如，Facebook在他们的自动标记算法中使用了它，Google在照片搜索中使用了，Amazon在商品推荐中使用，Printerst应用于为他们的家庭饲养服务提供个性化定制，而Instagram应用于他们的搜索引擎。
                                           然而，神经网络最开始也是最多的应用领域是图像处理。那我们就挑这块来聊聊，怎样使用卷积神经网络（下面简称CNN）来进行图像分类。
   图像分类是指，向机器输入一张图片，然后机器告诉我们这张图片的类别（一只猫，一条狗等等），或者如果它不确定的话，它会告诉我们属于某个类别的可能性（很可能是条狗但是我不太确定）。对我们人类来说，这件事情简单的不能再简单了，从出生起，我们就可以很快地识别周围的物体是什么。当我们看到一个场景，我们总能快速地识别出所有物体，甚至是下意识的，没有经过有意的思考。但这种能力，机器并不具有。所以我们更加要好好珍惜自己的大脑呀！ (:зゝ∠) 
                                           电脑和人看到的图片并不相同。当我们输入一张图片时，电脑得到的只是一个数组，记录着像素的信息。数组的大小由图像的清晰度和大小决定。假设我们有一张jpg格式的480 480大小的图片，那么表示它的数组便是480 480*3大小的。数组中所有数字都描述了在那个位置处的像素信息，大小在[0,255]之间。
   这些数字对我们来说毫无意义，但这是电脑们可以得到的唯一的信息（也足够了）。抽象而简单的说，我们需要一个接受数组为输入，输出一个数组表示属于各个类别概率的模型。
   既然问题我们已经搞明白了，现在我们得想想办法解决它。我们想让电脑做的事情是找出不同图片之间的差别，并可以识别狗狗（举个例子）的特征。
   我们人类可以通过一些与众不同的特征来识别图片，比如狗狗的爪子和狗有四条腿。同样地，电脑也可以通过识别更低层次的特征（曲线，直线）来进行图像识别。电脑用卷积层识别这些特征，并通过更多层卷积层结合在一起，就可以像人类一样识别出爪子和腿之类的高层次特征，从而完成任务。这正是CNN所做的事情的大概脉络。下面，我们进行更具体的讨论。
   在正式开始之前，我们先来聊聊CNN的背景故事。当你第一次听说卷积神经网络的时候，你可能就会联想到一些与神经学或者生物学有关的东西，不得不说，卷积神经网络还真的与他们有某种关系。
   CNN的灵感的确来自大脑中的视觉皮层。视觉皮层某些区域中的神经元只对特定视野区域敏感。1962年，在一个Hubel与Wiesel进行的试验（ 视频 ）中，这一想法被证实并且拓展了。他们发现，一些独立的神经元只有在特定方向的边界在视野中出现时才会兴奋。比如，一些神经元在水平边出现时兴奋，而另一些只有垂直边出现时才会。并且所有这种类型的神经元都在一个柱状组织中，并且被认为有能力产生视觉。
   在一个系统中，一些特定的组件发挥特定的作用（视觉皮层中的神经元寻找各自特定的特征）。这一想法应用于很多机器中，并且也是CNN背后的基本原理。 （译者注：作者没有说清楚。类比到CNN中，应是不同的卷积核寻找图像中不同的特征） 
   回到主题。
   更详细的说，CNN的工作流程是这样的：你把一张图片传递给模型，经过一些卷积层，非线性化（激活函数），池化，以及全连层，最后得到结果。就像我们之前所说的那样，输出可以是单独的一个类型，也可以是一组属于不同类型的概率。现在，最不容易的部分来了：理解各个层的作用。
   首先，你要搞清楚的是，什么样的数据输入了卷积层。就像我们之前提到的那样，输入是一个32 × 32 × 3（打个比方）的记录像素值的数组。现在，让我来解释卷积层是什么。解释卷积层最好的方法，是想象一个手电筒照在图片的左上角。让我们假设手电筒的光可以招到一个5 × 5的区域。现在，让我们想象这个手电筒照过了图片的所有区域。在机器学习术语中，这样一个手电筒被称为卷积核（或者说过滤器，神经元） (kernel, filter, neuron) 。而它照到的区域被称为感知域 (receptive field) 。卷积核同样也是一个数组（其中的数被称为权重或者参数）。很重要的一点就是卷积核的深度和输入图像的深度是一样的（这保证可它能正常工作），所以这里卷积核的大小是5 × 5 × 3。
   现在，让我们拿卷积核的初始位置作为例子，它应该在图像的左上角。当卷积核扫描它的感知域（也就是这张图左上角5 × 5 × 3的区域）的时候，它会将自己保存的权重与图像中的像素值相乘（或者说，矩阵元素各自相乘，注意与矩阵乘法区分），所得的积会相加在一起（在这个位置，卷积核会得到5 × 5 × 3 = 75个积）。现在你得到了一个数字。然而，这个数字只表示了卷积核在图像左上角的情况。现在，我们重复这一过程，让卷积核扫描完整张图片，（下一步应该往右移动一格，再下一步就再往右一格，以此类推），每一个不同的位置都产生了一个数字。当扫描完整张图片以后，你会得到一组新的28 × 28 × 1的数。 （译者注：(32 - 5 + 1) × (32 - 5 + 1) × 1） 。这组数，我们称为激活图或者特征图 (activation map or feature map) 。
                                           如果增加卷积核的数目，比如，我们现在有两个卷积核，那么我们就会得到一个28 × 28 × 2的数组。通过使用更多的卷积核，我们可以更好的保留数据的空间尺寸。
   在数学层面上说，这就是卷积层所做的事情。
   让我们来谈谈，从更高角度来说，卷积在做什么。每一个卷积核都可以被看做特征识别器。我所说的特征，是指直线、简单的颜色、曲线之类的东西。这些都是所有图片共有的特点。拿一个7 × 7 × 3的卷积核作为例子，它的作用是识别一种曲线。（在这一章节，简单起见，我们忽略卷积核的深度，只考虑第一层的情况）。作为一个曲线识别器，这个卷积核的结构中，曲线区域内的数字更大。（记住，卷积核是一个数组）
                                           现在我们来直观的看看这个。举个例子，假设我们要把这张图片分类。让我们把我们手头的这个卷积核放在图片的左上角。
                                           记住，我们要做的事情是把卷积核中的权重和输入图片中的像素值相乘。
                                            (译者注：图中最下方应是由于很多都是0所以把0略过不写了。) 
   基本上，如果输入图像中有与卷积核代表的形状很相似的图形，那么所有乘积的和会很大。现在我们来看看，如果我们移动了卷积核呢？
                                           可以看到，得到的值小多了！这是因为感知域中没有与卷积核表示的相一致的形状。还记得吗，卷积层的输出是一张激活图。所以，在单卷积核卷积的简单情况下，假设卷积核是一个曲线识别器，那么所得的激活图会显示出哪些地方最有可能有曲线。在这个例子中，我们所得激活图的左上角的值为6600。这样大的数字表明很有可能这片区域中有一些曲线，从而导致了卷积核的激活 （译者注：也就是产生了很大的数值。） 而激活图中右上角的数值是0，因为那里没有曲线来让卷积核激活（简单来说就是输入图像的那片区域没有曲线）。
   但请记住，这只是一个卷积核的情况，只有一个找出向右弯曲的曲线的卷积核。我们可以添加其他卷积核，比如识别向左弯曲的曲线的。卷积核越多，激活图的深度就越深，我们得到的关于输入图像的信息就越多。
                                           在传统的CNN结构中，还会有其他层穿插在卷积层之间。我强烈建议有兴趣的人去阅览并理解他们。但总的来说，他们提供了非线性化，保留了数据的维度，有助于提升网络的稳定度并且抑制过拟合。一个经典的CNN结构是这样的：
                                           网络的最后一层很重要，我们稍后会讲到它。
   现在，然我们回头看看我们已经学到了什么。
   我们讲到了第一层卷积层的卷积核的目的是识别特征，他们识别像曲线和边这样的低层次特征。但可以想象，如果想预测一个图片的类别，必须让网络有能力识别高层次的特征，例如手、爪子或者耳朵。让我们想想网络第一层的输出是什么。假设我们有5个5 × 5 × 3的卷积核，输入图像是32 × 32 × 3的，那么我们会得到一个28 × 28 × 5的数组。来到第二层卷积层，第一层的输出便成了第二层的输入。这有些难以可视化。第一层的输入是原始图片，可第二层的输入只是第一层产生的激活图，激活图的每一层都表示了低层次特征的出现位置。如果用一些卷积核处理它，得到的会是表示高层次特征出现的激活图。这些特征的类型可能是半圆（曲线和边的组合）或者矩形（四条边的组合）。随着卷积层的增多，到最后，你可能会得到可以识别手写字迹、粉色物体等等的卷积核。
   如果，你想知道更多关于可视化卷积核的信息，可以看这篇 研究报告 ，以及这个 视频 。
   还有一件事情很有趣，当网络越来越深，卷积核会有越来越大的相对于输入图像的感知域。这意味着他们有能力考虑来自输入图像的更大范围的信息（或者说，他们对一片更大的像素区域负责）。
   到目前为止，我们已经识别出了那些高层次的特征吧。网络最后的画龙点睛之笔是全连层。
   简单地说，这一层接受输入（来自卷积层，池化层或者激活函数都可以），并输出一个N维向量，其中，N是所有有可能的类别的总数。例如，如果你想写一个识别数字的程序，那么N就是10，因为总共有10个数字。N维向量中的每一个数字都代表了属于某个类别的概率。打个比方，如果你得到了[0 0.1 0.1 0.75 0 0 0 0 0 0.05]，这代表着这张图片是1的概率是10%，是2的概率是10%，是3的概率是75%，是9的概率5%（小贴士：你还有其他表示输出的方法，但现在我只拿softmax (译者注：一种常用于分类问题的激活函数) 来展示）。全连层的工作方式是根据上一层的输出（也就是之前提到的可以用来表示特征的激活图）来决定这张图片有可能属于哪个类别。例如，如果程序需要预测哪些图片是狗，那么全连层在接收到一个包含类似于一个爪子和四条腿的激活图时输出一个很大的值。同样的，如果要预测鸟，那么全连层会对含有翅膀和喙的激活图更感兴趣。
   基本上，全连层寻找那些最符合特定类别的特征，并且具有相应的权重，来使你可以得到正确的概率。
                                           现在让我们来说说我之前有意没有提到的神经网络的可能是最重要的一个方面。刚刚在你阅读的时候，可能会有一大堆问题想问。第一层卷积层的卷积核们是怎么知道自己该识别边还是曲线的？全连层怎么知道该找哪一种激活图？每一层中的参数是怎么确定的？机器确定参数（或者说权重）的方法叫做反向传播算法。
   在讲反向传播之前，我们得回头看看一个神经网络需要什么才能工作。我们出生的时候并不知道一条狗或者一只鸟长什么样。同样的，在CNN开始之前，权重都是随机生成的。卷积核并不知道要找边还是曲线。更深的卷积层也不知道要找爪子还是喙。
   等我们慢慢长大了，我们的老师和父母给我们看不同的图片，并且告诉我们那是什么（或者说，他们的类别）。这种输入一幅图像以及这幅图像所属的类别的想法，是CNN训练的基本思路。在细细讲反向传播之前，我们先假设我们有一个包含上千张不同种类的动物以及他们所属类别的训练集。
   反向传播可以被分成四个不同的部分。前向传播、损失函数、反向传播和权重更新。
   在前向传播的阶段，我们输入一张训练图片，并让它通过整个神经网络。对于第一个输入图像，由于所有权重都是随机生成的，网络的输出很有可能是类似于[.1 .1 .1 .1 .1 .1 .1 .1 .1 .1]的东西，一般来说并不对任一类别有偏好。具有当前权重的网络并没有能力找出低层次的特征并且总结出可能的类别。
   下一步，是损失函数部分。注意，我们现在使用的是训练数据。这些数据又有图片又有类别。打个比方，第一张输入的图片是数字“3”。那么它的标签应该是[0 0 0 1 0 0 0 0 0 0]。一个损失函数可以有很多定义的方法，但比较常见的是MSE（均方误差）。被定义为(实际−预测)22(实际−预测)22。
                                           记变量L为损失函数的值。正如你想象的那样，在第一组训练图片输入的时候，损失函数的值可能非常非常高。来直观地看看这个问题。我们想到达CNN的预测与数据标签完全一样的点（这意味着我们的网络预测的很对）。为了到达那里，我们想要最小化误差。如果把这个看成一个微积分问题，那我们只要找到哪些权重与网络的误差关系最大。
                                           这就相当于数学中的δLδWδLδW (译者注：对L关于W求导) ，其中，W是某个层的权重。现在，我们要对网络进行 反向传播 。这决定了哪些权重与误差的关系最大，并且决定了怎样调整他们来让误差减小。计算完这些导数以后，我们就来到了最后一步： 更新权重 。在这里，我们以与梯度相反的方向调整层中的权重。
                                           学习率是一个有程序员决定的参数。一个很高的学习率意味着权重调整的幅度会很大，这可能会让模型更快的拥有一组优秀的权重。然而，一个太高的学习率可能会让调整的步伐过大，而不能精确地到达最佳点。
                                           前向传播、损失函数、反向传播和更新权重，这四个过程是一次迭代。程序会对每一组训练图片重复这一过程（一组图片通常称为一个batch）。当对每一张图片都训练完之后，很有可能你的网络就已经训练好了，权重已经被调整的很好。
   最后，为了验证CNN是否工作的很好，我们还有另一组特殊的数据。我们把这组数据中的图片输入到网络中，得到输出并和标签比较，这样就能看出网络的表现如何了。