- 文献综述（或调研报告）：
引言
轻量级卷积神经网络（CNN）是深度学习的一个重要组成部分。为了能够顺利进行《轻量级卷积神经网络的设计与实现》的毕业设计，我查阅了国内外与课题相关的资料，对于经典的轻量级卷积神经网络模型架构和其中用于压缩模型大小的方法有了一定程度的了解。
经典的卷积神经网络模型有SqueezeNet[1]，MobileNet[2]，ShuffleNet[3], Inception[4], Xception[5]等，其中也包含着轻量化设计的思想。如文献1介绍的名为SqueezeNet的网络结构，其设计的原则是使用1X1的滤波器代替3X3的滤波器，减少输入通道的个数，并且通过推迟下采样使得特征图增大，提高分类的精度，降低网络的深度。文献3介绍的名为ShuffleNet的轻量级卷积神经网络结构，这种结构主要使用了分组点卷积和通道打乱的方法来在保持模型准确率的同时降低计算的代价。文献2介绍的名为MobileNet的轻量级卷积神经网络结构，其设计的核心思想是用深度可分离卷积替换标准卷积的形式，减少卷积层中的计算量，并且提出宽度乘数alpha;和分辨率乘数rho;来压缩模型的大小。MobileNet也是本次毕业设计选择搭建的网络模型之一。
卷积神经网络的结构
卷积神经网络的结构主要包括卷积层，池化层，全连接层等，加上数据输入层和激活函数层，通过将这些层的叠加来构成一个完整的卷积神经网络。
数据输入层要处理的主要是输入原始图像并对其进行一定程度的预处理，其中可能用到的图像预处理操作包括去均值，归一化，PCA/白化等。
卷积层是卷积神经网络最重要的层次，是构建卷积神经网络的核心层，他产生了网络中大部分的计算量。在计算机任务中，卷积层的作用可以看作是一个滤波操作，通常是将一个二维图像作为输入数据，因此在执行卷积时采用的是二维的离散卷积。每个滤波器在宽度和高度上一般都较小，但是深度和输入数据一致。在处理图像这样的高维度输入时，让每个神经元和前一层中的所有神经元进行全连接是不现实的，通常是让每个神经元和输入数据的一个局部区域连接，同时通过窗口的滑动来实现滤波器对于局部数据的计算。卷积核都有一定数量的权重和偏置，其通过深度学习的训练而进行更新。卷积层拥有参数共享机制，通过权值共享来控制参数的数量。每个神经元连接数据窗的权重是固定的，每个神经元只关注一个特性。每个滤波器的权重数量受到滤波器尺寸和输入深度的影响，而一个卷积核只对应一个偏置。卷积操作输出数据体中神经元的数量和排列方式则受到深度，步长，填充值三个参数的影响。
激活函数层的作用是对卷积层的输出结果做一次非线性映射，常用的激励函数有ReLU,Sigmoid函数，Tanh函数等。
池化层的作用是逐渐降低数据体的空间尺寸，在保持特征不变性的前提下实现特征降维，能减少网络中参数的数量，使得计算资源耗费变少，也能有效控制过拟合。通常在连续的卷积层之间周期性地插入一个池化层。池化层用的主要方法有最大值池化和平均池化，通常使用的是最大值池化，即使用尺寸为2x2的滤波器，以步长为2来对每个深度切片进行降采样，将其中75%的激活信息都丢掉。每个MAX操作是从4个数字中取最大值（也就是在深度切片中某个2x2的区域），深度保持不变。
全连接层的作用是形成图像的输出层，通常位于卷积神经网络的尾部，与前一层的所有神经元均有权重连接，用于将前面提取到的特征相综合。
以上是毕业论文文献综述，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
