📐 数学定义：熵、交叉熵、KL 散度

对分布 $p$：熵 $H(p)=-\sum_i p_i\log p_i$，度量其固有不确定性。给定「真实分布 $p$、模型分布 $q$」，交叉熵 $H(p,q)=-\sum_i p_i\log q_i$，度量用 $q$ 编码来自 $p$ 的样本的平均代价。KL 散度 $\operatorname{KL}(p\Vert q)=\sum_i p_i\log\frac{p_i}{q_i}\ge0$，度量两分布的差距，当且仅当 $p=q$ 时为 0。

✨ 优雅之处：为什么最小化交叉熵 = 让模型逼近真实分布

三者满足恒等式 $H(p,q)=H(p)+\operatorname{KL}(p\Vert q)$。$H(p)$ 只依赖真实分布、与模型无关（是常数）。因此最小化交叉熵 $\iff$ 最小化 $\operatorname{KL}(p\Vert q)$，即让模型分布 $q$ 逼近真实分布 $p$。当标签是 one-hot（$p=\boldsymbol e_{y}$）时 $H(p)=0$，交叉熵直接退化为 (7.1) 的 $-\log q_{y}$。

困惑度。 常用评价指标困惑度 $\mathrm{PPL}=e^{\mathcal L}$，可理解为「模型在每一步平均在多少个等可能选项之间犹豫」。

🔢 数值演示：「狗咬人」的损失

三个位置命中目标的概率分别为 $P_{0,1}=0.227,\ P_{1,2}=0.029,\ P_{2,4}=0.149$。逐位置 $-\log$：$1.481,\ 3.526,\ 1.901$。平均得

$$\mathcal L=\tfrac{1.481+3.526+1.901}{3}\approx 2.303,\qquad \mathrm{PPL}=e^{2.303}\approx 10.0$$

（未训练的随机权重下模型远未学会预测，PPL 与词表规模 $V=5$ 同量级；此例因位置 1「咬→人」命中概率仅 $0.029$、远低于均匀猜的 $0.2$，把平均损失拉高，故 PPL 约为 $V$ 的两倍。纯均匀猜时 $\mathrm{PPL}=V=5$。）

7.2 对 logits 的梯度

反向传播的起点是「损失对 logits 的梯度」。设某位置 logits 为 $\boldsymbol z$、预测 $\boldsymbol p=\operatorname{softmax}(\boldsymbol z)$、one-hot 标签 $\boldsymbol y$，则由 (3.2) 与链式法则可得极简结果：

推导：$\mathcal L=-\sum_k y_k\log p_k$，

（用了 $\sum_k y_k=1$）。

✨ 优雅之处：$\log$ 的 $\frac1p$ 与 softmax 的 $p$ 恰好约掉

这是全篇最漂亮的巧合：交叉熵里的 $\log$ 求导带出因子 $\frac1{p_k}$，而 softmax 雅可比里正好有一个 $p_k$——两者精确约掉，一整个 $n\times n$ 雅可比、一个 $\log$、一个求和，全部塌缩成一句 $\boxed{p_i-y_i}$。这不是运气：softmax 与交叉熵是一对共轭搭档（softmax 是 log-sum-exp 的梯度，交叉熵是它的对偶）。工程上它还极关键——梯度是数值稳定的减法（不会像分别算 $\log$ 和除法那样溢出），所以 PyTorch 把二者融合进同一个 cross_entropy 算子。注意：$p_i-y_i$ 是「预测误差」，不是损失值本身。

🔢 数值演示：位置 2 的梯度

位置 2 目标为 ⟨eos⟩（id 4），$\boldsymbol y=(0,0,0,0,1)$，$\boldsymbol p\approx(0.219,0.028,0.201,0.403,0.149)$：

$$\frac{\partial\mathcal L}{\partial\boldsymbol z}=\boldsymbol p-\boldsymbol y\approx(0.219,\ 0.028,\ 0.201,\ 0.403,\ -0.851)$$

直觉：目标词 ⟨eos⟩ 的分量为负（$0.149-1<0$，梯度下降会提升其 logit），其余词分量为正（会压低其 logit）。

标签平滑。 实践中常把硬 one-hot 目标改为 $\tilde{\boldsymbol y}=(1-\varepsilon)\boldsymbol y+\frac{\varepsilon}{V}\boldsymbol 1$（如 $\varepsilon=0.1$），避免模型对某个词过度自信、改善泛化与校准。

8. 反向传播全链路：逐环节雅可比

本节把前向每一步的雅可比逐个写清，串成从 $\partial\mathcal L/\partial\text{logits}$ 回到 $\partial\mathcal L/\partial X$ 的完整链条。

📐 记号约定（分母布局 + 伴随变量）

对标量 $\mathcal L$ 与任意张量 $T$，记伴随（adjoint） $\overline{T}:=\partial\mathcal L/\partial T$，其形状与 $T$ 相同。反向传播就是：已知某层输出的伴随 $\overline{Y}$，求该层输入的伴随 $\overline{X}$ 与参数的伴随 $\overline{W}$。核心工具是链式法则的向量化形式：若 $Y=f(X)$，则 $\overline{X}=(\partial Y/\partial X)^\top\overline{Y}$。对逐元素运算，雅可比是对角阵，退化为逐元素相乘 $\odot$。

📐 三条最常用的矩阵微分恒等式

设 $Y=XW$（$X\in\mathbb{R}^{L\times a},W\in\mathbb{R}^{a\times b}$），已知 $\overline{Y}$，则

$$\overline{X}=\overline{Y}\,W^\top\in\mathbb{R}^{L\times a},\qquad \overline{W}=X^\top\,\overline{Y}\in\mathbb{R}^{a\times b}\tag{8.1}$$

设 $Y=AB$ 两变量都需回传，则 $\overline{A}=\overline{Y}\,B^\top,\ \overline{B}=A^\top\,\overline{Y}$。偏置 $\boldsymbol b$（前向每行加同一个 $\boldsymbol b$）的梯度是对所有行求和 $\overline{\boldsymbol b}=\sum_{\text{行}}\overline{Y}$。记忆法：伴随乘上「另一个因子的转置」，左右位置与前向一致。

🔢 手算例子：$Y=XW$ 的两条梯度（全整数可复现）

取 $X\in\mathbb{R}^{3\times4}$、$W\in\mathbb{R}^{4\times2}$：

$$\begin{gathered} X=\begin{pmatrix}1&2&0&1\\0&1&3&1\\2&0&1&1\end{pmatrix},\quad W=\begin{pmatrix}1&0\\2&1\\0&3\\1&1\end{pmatrix},\\[4pt] Y=XW=\begin{pmatrix}6&3\\3&11\\3&4\end{pmatrix},\quad \overline{Y}=\begin{pmatrix}1&0\\0&2\\1&1\end{pmatrix} \end{gathered}$$

先用「形状」定方向：要的 $\overline{X}$ 是 $3\times4$，手头有 $\overline{Y}\,(3\times2)$ 和 $W\,(4\times2)$，唯一合法乘法是 $\overline{Y}W^\top=3\times4$——转置 $W$ 正是为让内维对上。代入：

$$\overline{X}=\overline{Y}\,W^\top=\begin{pmatrix}1&2&0&1\\0&2&6&2\\1&3&3&2\end{pmatrix},\qquad \overline{W}=X^\top\overline{Y}=\begin{pmatrix}3&2\\2&2\\1&7\\2&3\end{pmatrix}$$

直觉：$W_{21}$ 被所有 3 个位置的前向都用到，故其梯度是这 3 个位置贡献之和——$X^\top$ 里的「求和」正是沿位置维 $L$ 累加。

8.1 输出层（logits 层）

前向 $\text{logits}=H E^\top$（tied embedding）。起点是逐位置的 (7.2) 堆叠成矩阵 $\overline{\text{logits}}=\frac{1}{L}(P-Y)$（$1/L$ 来自 (7.1) 的平均）。用 (8.1)：

tied embedding 的两份梯度。 $E$ 既在输入端被查表，又在输出端做投影。反传时两处各产生一份梯度，需相加：$\overline{E}=\overline{E}^{\text{(输出端)}}+\overline{E}^{\text{(输入端)}}$（输入端支路在 §8.6 给出）。

🔢 数值：起点 $\overline{\text{logits}}$ 与传回 $\overline{H}$

$$\overline{\text{logits}}=\frac1L(P-Y)=\begin{pmatrix}0.0988 & -0.2576 & 0.0091 & 0.0988 & 0.0509\\ 0.0648 & 0.1543 & -0.3235 & 0.0560 & 0.0484\\ 0.0729 & 0.0094 & 0.0671 & 0.1342 & -0.2835\end{pmatrix}$$

每行目标词分量为负——梯度下降会提升目标 logit。校验不变量：每行 $\sum_i(p_i-y_i)=1-1=0$。传回 $\overline{H}=\overline{\text{logits}}\,E$，位置 2 那行四维全负：目标 ⟨eos⟩ 的嵌入是 $(1,1,1,1)$，梯度全负意味「增大 $H$ 能降低损失」，梯度下降会把隐状态整体推向 ⟨eos⟩ 嵌入的方向。

8.2 层归一化

前向对每一行 $\boldsymbol x\in\mathbb{R}^d$：$\hat{\boldsymbol x}=(\boldsymbol x-\mu)/s$（$s=\sqrt{\sigma^2+\epsilon}$），$\boldsymbol y=\gamma\odot\hat{\boldsymbol x}+\beta$。参数梯度（对所有行求和）：$\overline{\gamma}=\sum_{\text{行}}\overline{\boldsymbol y}\odot\hat{\boldsymbol x}$，$\overline{\beta}=\sum_{\text{行}}\overline{\boldsymbol y}$。难点是对输入的雅可比——因 $\mu,\sigma^2$ 都依赖 $\boldsymbol x$ 的所有分量。令 $\overline{\hat{\boldsymbol x}}=\overline{\boldsymbol y}\odot\gamma$，推导得：

两个「减项」正是 LayerNorm 让梯度零均值化、去除与 $\hat{\boldsymbol x}$ 相关分量的体现——与 §5.3 说的「前向不变性 = 反向滤波器」是同一件事。

🔢 数值：LN₂ 反传

上一步 $\overline{H}$ 过 LN₂ 回到残差前 $\overline{\text{res}_2}$：位置 2 那行原本全负，过 LN 后变成有正有负、每行近似零均值——这正是「减去均值项」的效果：LN 把「整体平移」方向的梯度滤掉了（因为前向 LN 对输入整体加常数不敏感，该方向本就不影响损失）。

8.3 残差连接

前向 $Y=X+\mathrm{Sub}(X)$。雅可比 $\partial Y/\partial X=I+\partial\mathrm{Sub}/\partial X$，于是伴随在分叉处相加：

第一项 $\overline{Y}$ 就是那条恒等捷径：无论子层梯度多小，$\overline{Y}$ 都原样穿过，保证深层不消失。第二项走子层内部。

8.4 前馈网络

前向 $Z_1=XW_1+\boldsymbol b_1$，$A_1=\operatorname{ReLU}(Z_1)$，$F=A_1W_2+\boldsymbol b_2$。从后往前：

📐 数学定义：ReLU 的雅可比

$\operatorname{ReLU}(z)=\max(0,z)$ 逐元素作用，其雅可比是对角阵 $\mathbb 1[z>0]$（正输入处导数为 1、负输入处为 0）。因此反传时它是一个开关门：只让前向激活为正的位置的梯度通过。

🔢 数值：ReLU 门如何截断梯度

本例位置 0 的 $Z_1$ 在某两维恰为 $\le0$，门关闭，对应梯度被清零：

$$\overline{Z_1}[0,:]=(0.0502,\ -0.1129,\ \underline{0},\ 0.0502,\ 0.0502,\ \underline{0},\ 0.0125,\ 0.0502)$$

带下划线的两项就是被 ReLU「开关门」截断的梯度——前向那里输出为 0，反向自然不回传。

8.5 自注意力（最复杂的环节）

前向回顾（单头）：$Q=XW^Q,K=XW^K,V=XW^V$；$S=\frac{1}{\sqrt{d_k}}QK^\top+M$；$A=\operatorname{softmax}_{\text{行}}(S)$；$O=AV$；输出 $U=OW^O$。给定 $\overline{U}$，逐段回传：

(a) 输出投影 $U=OW^O$：$\overline{W^O}=O^\top\overline{U}$，$\overline{O}=\overline{U}\,(W^O)^\top$。

(b) 加权求和 $O=AV$：$\overline{A}=\overline{O}\,V^\top$，$\overline{V}=A^\top\overline{O}$。

(c) 行 softmax $A=\operatorname{softmax}_{\text{行}}(S)$——这是关键。softmax 逐行独立，第 $i$ 行雅可比 $J_i=\operatorname{diag}(\boldsymbol a_i)-\boldsymbol a_i\boldsymbol a_i^\top$。整个矩阵的紧凑形式：

因果掩码位置在前向 $A=0$，此式自动令其 $\overline{S}=0$，无需额外处理。

(d) 缩放与 $QK^\top$：$\overline{Q}=\frac{1}{\sqrt{d_k}}\overline{S}K$，$\overline{K}=\frac{1}{\sqrt{d_k}}\overline{S}^{\top}Q$。

(e) 三个投影汇聚到输入：把三路对 $X$ 的贡献相加：

🔢 数值：行 softmax 反传（位置 0 的梯度消失）

第 0 行（位置 0 只能看自己，$\boldsymbol a_0=(1,0,0)$，softmax 饱和）梯度全 0——单元素分布雅可比 $p(1-p)=0$；上三角（未来位置）被掩码，自动为 0：

$$\overline{S}=\begin{pmatrix}0 & 0 & 0\\ 0.0088 & -0.0088 & 0\\ 0.0052 & 0.0095 & -0.0147\end{pmatrix}$$

校验：每行和 $=0$（softmax 雅可比行和恒为零）。

8.6 嵌入层

到达 block 输入 $X^{(0)}=X_{\text{emb}}+PE$。位置编码 $PE$ 是常数，梯度直接穿过。嵌入是查表，反传时把每个位置的行梯度**累加/散射（scatter-add）**回对应词的嵌入行：

若同一个词在序列中出现多次，其嵌入行会收到多份梯度、求和。

🔢 数值：$\overline{E}$ 的两份梯度相加

「追」「⟨eos⟩」在输入序列里没出现，故只有输出端支路贡献（预测分布把概率分给了它们，须调整其嵌入以改变 logits）；前三个词（狗/咬/人）则是输入端 scatter-add + 输出端两份相加。这就是 tied embedding「一处权重、两条梯度」的完整体现。

8.7 完整链条与反传伪代码

把上述串起来，一个 block 的反传顺序为：

三条贯穿全程的校验不变量（脚本逐行实测通过）：(i) 每行 $\sum_i\overline{\text{logits}}_{t,i}=0$；(ii) 每行 $\sum_j\overline{S}_{t,j}=0$；(iii) LN 输出的伴随近似零均值。

# 单 block 反向传播：从 logits 的梯度回到嵌入梯度（对应 §8.1–8.6）
# 记号：g_T 表示伴随 dL/dT，形状与 T 相同；cache 是前向保存的中间量
def backward(cache, Y):                 # Y: one-hot 标签
    g_logits = (cache.P - Y) / L        # §8.1 起点：预测 - 标签
    g_H  = g_logits @ E                 # 输出层
    g_E  = g_logits.T @ cache.H         # E 的输出端支路

    g_res2 = ln_backward(g_H, cache.ln2)          # §8.2 LN₂
    g_F = g_ln1 = g_res2                           # §8.3 残差2：捷径 + 子层两支
    g_W2 = cache.A1.T @ g_F                        # §8.4 FFN 线性2
    g_A1 = g_F @ W2.T
    g_Z1 = g_A1 * (cache.Z1 > 0)                   # ReLU 开关门
    g_W1 = cache.ln1.T @ g_Z1                      # FFN 线性1
    g_ln1 += g_Z1 @ W1.T                           # 汇入残差捷径

    g_X = ln_backward(g_ln1, cache.ln1_stats)      # §8.2 LN₁
    g_O = g_X                                      # §8.3 残差1：另一支进注意力
    g_A = g_O @ cache.V.T                          # §8.5(b) O = AV
    g_V = cache.A.T @ g_O
    g_S = cache.A * (g_A - rowsum(cache.A * g_A))  # §8.5(c) 行 softmax（掩码位自动 0）
    g_Q = g_S @ cache.K / sqrt(dk)                 # §8.5(d) 缩放 + QKᵀ
    g_K = g_S.T @ cache.Q / sqrt(dk)
    g_WQ = cache.X.T @ g_Q                          # §8.5(e) 三个投影权重
    g_WK = cache.X.T @ g_K
    g_WV = cache.X.T @ g_V
    g_X += g_Q @ WQ.T + g_K @ WK.T + g_V @ WV.T     # 三支汇聚（叠加残差捷径）

    for t in range(L):                              # §8.6 嵌入 scatter-add
        g_E[ids[t]] += g_X[t]                       # 与输出端支路相加
    return g_E, g_WQ, g_WK, g_WV, g_W1, g_W2, ...

📐 从手算雅可比到 loss.backward()

真实训练里没人手写这些——框架（PyTorch/JAX）用自动微分（autograd）自动完成，但其内部做的正是本节的事：前向时把每个算子记进计算图（保存反传所需的中间量，即我们的 cache），调用 loss.backward() 时按拓扑逆序遍历，对每个算子套用向量-雅可比积（VJP） $\overline{X}=(\partial Y/\partial X)^\top\overline{Y}$，把伴随从 $\overline{\mathcal L}=1$ 一路乘回每个叶子参数的 .grad。tied embedding 的「两份相加」对应「同一 nn.Parameter 被两处引用，autograd 自动在汇合点求和」。

梯度检查（已配套验证）。 每个 $\boxed{\ }$ 式都可用数值梯度检查独立验证：对任一参数 $\theta$，比较解析梯度与有限差分 $\frac{\mathcal L(\theta+h)-\mathcal L(\theta-h)}{2h}$（$h\approx10^{-5}$），相对误差应 $<10^{-5}$。本例完整前向+反向对全部 10 个参数跑 gradcheck，最大相对误差 $\approx 6\times10^{-6}$。

9. 训练一步：反向传播在真实训练循环里如何被调用

§8 讲清了「一次前向对应的一次反传」，本节把它放进真实训练循环（对照工业级实现 nanoGPT 的 train.py）。核心一步是「前向 → 反传 → 更新」，但工程上还叠了四层为稳定性与吞吐服务的机制，每一层都直接作用在 §8 算出的梯度上。

📐 四个工程机制及其数学含义

• 梯度累积：显存放不下大 batch 时，拆成 $N$ 个微批次，每个微批次损失先除以 $N$ 再 backward()。因 PyTorch 的 .grad 默认累加不清零，$N$ 次反传后恰好是大 batch 的平均梯度。
• 梯度裁剪：更新前把全局梯度范数限制在阈值 $c$（如 1.0）内：令 $g=\sqrt{\sum_\theta\|\overline\theta\|^2}$，若 $g>c$ 则所有梯度同乘 $c/g$。防止偶发大梯度把参数一步推飞——方向不变、只缩模长。
• 混合精度 + GradScaler：fp16 下小梯度会下溢为 0。反传前把 loss 乘一个大 scale $s$（梯度同倍放大避免下溢），更新前再除回 $s$。数学等价，只为数值范围。
• AdamW 更新：用一/二阶矩自适应步长，并对权重解耦地做 $L_2$ 衰减。

AdamW 更新规则（$\boldsymbol g=\overline\theta$，$t$ 为步数）：

直觉：$\hat{\boldsymbol m}$ 是梯度的滑动平均（动量、抗噪），除以 $\sqrt{\hat{\boldsymbol v}}$ 使各维步长自适应（大梯度维走小步），$\lambda\theta$ 是与梯度解耦的权重衰减（AdamW 相对 Adam 的关键改进）。

# 训练一步（对照 nanoGPT train.py 的核心循环）
optimizer.zero_grad(set_to_none=True)          # 上一步残留必须清，否则错误累加
for n in range(N):                             # 梯度累积：N 个微批次
    x, y = get_microbatch()                    # y 是 x 右移一位
    logits, loss = forward(x, y)               # 交叉熵损失
    loss = loss / N                            # 除以累积步数 ⇒ 累加后得平均梯度
    backward(s * loss)                         # loss 先乘 scale 防 fp16 下溢；梯度累加进 .grad

unscale_(grads, s)                             # scaler.unscale_：除回 scale
g = global_norm(grads)                         # 全局梯度裁剪
if g > c:
    grads *= c / g
adamw_step(params, grads, m, v, lr_t)          # optimizer.step()，见上式
lr_next = cosine_with_warmup(t + 1)            # 预热后余弦退火到 lr_min

与 §8 手算例子的衔接。 §8 的「狗咬人」是 $N{=}1,B{=}1,T{=}3$、无裁剪/无 scale、一步 SGD 的最简特例——把上面算法里 $N{=}1$、$s{=}1$、跳过裁剪、AdamW 退化为 $\theta\gets\theta-\eta\overline\theta$，就还原成 §8 那条从 $\overline{\text{logits}}$ 到 $\overline{E}$ 的链。真实训练只是在这条链外面包了「多微批次求平均、限范数、防下溢、自适应步长」四层壳，反传的数学内核完全不变。

前向的完整伪代码：

# Decoder-only Transformer 前向（单 block 示意）
def forward(ids):                              # ids ∈ {0..V-1}^L
    X = E[ids] + PE                            # 嵌入 + 位置编码，X ∈ ℝ^(L×d)
    for block in blocks:
        Q, K, V = X @ WQ, X @ WK, X @ WV
        S = Q @ K.T / sqrt(dk) + M             # M：因果掩码，未来位置置 -∞
        A = softmax_rows(S)
        U = (A @ V) @ WO                       # 多头时先按头拆分再拼接
        X = LN(X + U)                          # 残差 + 层归一化
        F = relu(X @ W1) @ W2
        X = LN(X + F)
    logits = X @ E.T                           # tied embedding，∈ ℝ^(L×V)
    return softmax_rows(logits)                # 训练时再算 L = -mean(log P[t, y_t])

附录 A：「狗咬人」全程数值速查

附录 B：关键公式索引卡

前向

• 注意力：$\operatorname{Attn}(Q,K,V)=\operatorname{softmax}\big(\tfrac{QK^\top}{\sqrt{d_k}}+M\big)V$
• 缩放动机：$\operatorname{Var}(\boldsymbol q\cdot\boldsymbol k)=d_k$
• LayerNorm：$\operatorname{LN}(\boldsymbol x)=\gamma\odot\frac{\boldsymbol x-\mu}{\sqrt{\sigma^2+\epsilon}}+\beta$
• 交叉熵：$\mathcal L=-\frac1L\sum_t\log P_{t,y_t}$，且 $H(p,q)=H(p)+\operatorname{KL}(p\Vert q)$

反向（伴随 $\overline{T}=\partial\mathcal L/\partial T$，与 $T$ 同形）

• 线性层 $Y=XW$：$\overline{X}=\overline{Y}W^\top$，$\overline{W}=X^\top\overline{Y}$
• softmax 雅可比：$\partial p_i/\partial z_j=p_i(\delta_{ij}-p_j)$
• 反传起点：$\overline{z}_i=p_i-y_i$
• 行 softmax：$\overline{S}=A\odot\big(\overline{A}-\operatorname{rowsum}(A\odot\overline{A})\big)$
• 残差：$\overline{X}=\overline{Y}+(\partial\mathrm{Sub}/\partial X)^\top\overline{Y}$（恒等捷径）
• ReLU：$\overline{Z}=\overline{A}\odot\mathbb 1[Z>0]$
• 注意力：$\overline{Q}=\tfrac{1}{\sqrt{d_k}}\overline{S}K$，$\overline{K}=\tfrac{1}{\sqrt{d_k}}\overline{S}^\top Q$，$\overline{V}=A^\top\overline{O}$

附录 C：函数图速览

把文中出现的关键函数画成坐标图，直观感受其形状与导数行为。以下图形在浏览器端矢量渲染，可缩放。

ReLU 及其导数——负半轴压平为 0、正半轴恒等；导数是阶跃 $\mathbb 1[x>0]$，正是反传时的「开关门」（§8.4）。

GELU 对比 ReLU——GELU $\approx x\cdot\Phi(x)$ 在 0 附近光滑过渡、负区有一小段负值，比 ReLU 的硬拐角梯度更平滑。

指数 $e^x$ 与负对数 $-\ln x$——softmax 用 $e^x$ 把实数映到恒正、单调放大的尺度；交叉熵用 $-\ln x$ 作损失核：预测概率 $x\to1$ 时损失 $\to0$、$x\to0$ 时损失 $\to+\infty$（对「把真值判成不可能」重罚）。

二元 softmax = sigmoid——取 $n=2$、令 $\boldsymbol z=(x,0)$，则 $\operatorname{softmax}(\boldsymbol z)_1=\frac{e^x}{e^x+1}=\sigma(x)$。两端导数趋零（对应 §3.5 的饱和梯度消失）。

sigmoid / tanh / logit——同一族相关函数：$\sigma(x)=\frac{1}{1+e^{-x}}\in(0,1)$ 把实数压成概率；$\tanh(x)\in(-1,1)$ 是零中心 S 形（$\tanh(x)=2\sigma(2x)-1$）；$\operatorname{logit}(p)=\ln\frac{p}{1-p}$ 是 sigmoid 的反函数，把概率映回「对数几率」——即 logits 的本义。

门控激活函数族——现代 LLM 的 FFN 常用比 ReLU 更光滑的激活，大多可写成「输入 × 某个 S 形门」：Softplus $=\ln(1+e^x)$、SiLU/Swish $=x\sigma(x)$（LLaMA 采用）、GELU $=x\Phi(x)$（GPT/BERT 采用）。SiLU 与 GELU 几乎重合、都在负区有一小段下凹（非单调）。

观察：SiLU 与 GELU 几乎重合，Softplus 是 ReLU 处处可导的软化版——这类光滑非线性让深层网络的梯度更稳定。

本文的完整前向 + 反向数值都由配套脚本手写实现并通过 gradcheck（最大相对误差 $\approx 6\times10^{-6}$）。所有中间量均可用 $L=3,d=4$ 的设置手算复现——这正是「狗咬人」这个玩具例子的价值：小到能一路手推，却完整覆盖了 Transformer 的每一个数学环节。