前向传播

前向传播是指将输入数据通过神经网络传递，以计算输出的过程。

对于一个简单的神经元，其输出可以表示为：

$$y=f(w\cdot x+b)$$

其中：

• $y$ 是输出，
• $f$ 是激活函数（例如 ReLU、Sigmoid 等），
• $w$ 是权重，
• $x$ 是输入，
• $b$ 是偏置。

在多层神经网络中，前向传播的过程可以表示为：

1. 输入层：接收输入数据 $x$。
2. 隐藏层：计算每一层的输出，直到到达输出层。
3. 输出层：生成最终输出 $\hat{y}$ 。

图：前向传播

图：示例：前向传播

反向传播

反向传播是通过计算损失函数 $\mathcal{L}$ 相对于每个权重的梯度，来更新神经网络权重的过程。这个过程是基于链式法则的。

核心公式（链式法则）

$$\frac{\partial \mathcal{L}}{\partial {\mathbf{w}}^{(l)}}=\frac{\partial \mathcal{L}}{\partial {\mathbf{a}}^{(l)}}\cdot \frac{\partial {\mathbf{a}}^{(l)}}{\partial {\mathbf{z}}^{(l)}}\cdot \frac{\partial {\mathbf{z}}^{(l)}}{\partial {\mathbf{w}}^{(l)}}$$

参数更新

使用梯度下降法：

$${\mathbf{w}}^{(l)}\leftarrow {\mathbf{w}}^{(l)}-\eta \frac{\partial \mathcal{L}}{\partial {\mathbf{w}}^{(l)}}$$$${\mathbf{b}}^{(l)}\leftarrow {\mathbf{b}}^{(l)}-\eta \frac{\partial \mathcal{L}}{\partial {\mathbf{b}}^{(l)}}$$

其中 $\eta$ 是学习率

图：反向传播