1. Sigmoid

$$\sigma (x)=\frac{1}{1+e^{-x}}$$

特点

✅ 输出范围 (0,1) 适合概率预测
❌ 梯度消失问题
❌ 计算成本较高

---

2. ReLU (Rectified Linear Unit)

$$f(x)=max(0,x)$$

特点

✅ 计算高效
✅ 缓解梯度消失
❌ 可能出现神经元死亡

---

3. Tanh

$$\tanh (x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$

特点

✅ 输出中心对称
✅ 比 Sigmoid 梯度更强
❌ 仍存在梯度消失

---

4. Softmax 函数

$$\sigma (z_i)=\frac{e^{z_i}}{\sum _{j=1}^K{e}^{z_j}}$$

特点

✅ 输出概率分布
✅ 适合多分类问题
❌ 对极端值敏感