CNN 卷积神经网络

Convolutional Neural Network

CNN 的结构可以分为 5 层：

1. 输入层 Input Layer
2. 卷积层 Convolutional Layer 提取图像的底层特征
3. 池化层 Max Pooling Layer 防止过拟合，将数据维度减少
4. 全连接层 Fully Connected Layer
5. 输出层 Output Layer

输入层

卷积层

卷积运算公式：

$$S(i,j)=\sum _m\sum _{n}X(i+m,j+n)\cdot K(m,n)$$

符号说明

输入矩阵：$X\in {\mathbb{R}}^{H\times W}$ 表示二维输入特征图（如图像矩阵）

卷积核： $K\in {\mathbb{R}}^{k_h\times k_w}$ 表示二维滤波器（filter），通常满足 $k_h\ll H$ 且 $k_w\ll W$

输出矩阵：$S(i,j)$ 表示输出特征图在位置 $(i,j)$ 处的激活值

索引范围： $m\in \{0,1,...,k_{h-1}\}$ , $n\in \{0,1,...,k_{w-1}\}$

对于输入尺寸为 $H_{in}\times W_{in}$ 的特征图，当使用卷积核尺寸为 $k\times k$ 且步长为 $step$ 时，输出尺寸为：

$$H_{out}=\lfloor \frac{H_{in}-k}{step}\rfloor +1$$$$W_{out}=\lfloor \frac{W_{in}-k}{step}\rfloor +1$$

• 示例

输入矩阵：

$$X=\left[\begin{array}{cccc}0& 1& 1& 2\\ 0& 1& 1& 0\\ 1& 1& 0& 1\\ 0& 2& 0& 1\end{array}\right]$$

TIP

每次计算的时候，边缘只被计算一次，而中间被多次计算，那么得到的特征图也会丢失边缘特征，最终会导致特征提取不准确，那为了解决这个问题，我们可以在原始的输入图像的二维矩阵周围再拓展一圈或者几圈，在这里我们扩展一圈。

这种通过拓展解决特征丢失的方法又被称为 Padding

卷积核为：

$$K=\left[\begin{array}{ccc}-1& -1& 0\\ -1& 0& 1\\ -1& -1& 0\end{array}\right]$$

以左上角第一个有效位置为例：

$$\begin{array}{rl}S(0,0)& =(0\times -1)+(0\times -1)+(0\times 0)\\ & +(0\times -1)+(0\times 0)+(1\times 1)\\ & +(0\times -1)+(0\times -1)+(1\times 0)\\ & =0+0+0+0+0+1+0+0+0=1\end{array}$$

全部计算过程如下（$step=1$）：

池化层

图：池化层

全连接层