为什么需要位置编码

Transformer 的 Self-Attention 具有置换不变性（Permutation Invariance）：打乱输入 token 的顺序不会改变注意力输出。然而自然语言是有顺序的，必须向模型中注入位置信息。位置编码的核心目标是让模型知道"token 出现在序列中的哪个位置"。

6.2.2 绝对位置编码（Sinusoidal）

原始 Transformer（Vaswani et al., 2017）提出使用固定频率的正弦和余弦函数生成位置编码，不需要学习参数：

其中 pos 是位置索引，i 是维度索引（0 ≤ i < d_model/2）。

核心性质

1. 每个位置有唯一编码：不同 pos 产生不同的 PE 向量
2. 频率随维度递减：低维度编码高频信息（相邻位置差异大），高维度编码低频信息（长距离变化小）
3. 相对位置可线性表达：PE(pos+k) 可以表示为 PE(pos) 的线性变换，这使模型理论上能通过自注意力学习相对位置关系

Sinusoidal 编码直接加到输入 Embedding 上：

input = TokenEmbedding(token_ids) + PositionalEncoding(positions)

6.2.3 可学习位置编码（Learned）

BERT 和 GPT 系列使用可学习的 Position Embedding 矩阵 P ∈ R^{max_seq_len × d_model}，其中的每一行是一个可训练的参数向量：

input = TokenEmbedding(token_ids) + P[position_ids]

优点：模型可以根据任务数据自动学习最佳的位置表示。缺点：最大序列长度受限于 max_seq_len，超出部分无法处理（需插值或截断）。

6.2.4 RoPE（Rotary Position Embedding）

RoPE 由 Su 等人在 2021 年提出，被 LLaMA、Mistral、Qwen、DeepSeek 等主流模型采用。与加法式位置编码不同，RoPE 通过旋转 Q/K 向量注入位置信息。

数学推导

对于 d 维度的 Q/K 向量，RoPE 将其分成 d/2 个二维子空间对，每对应用独立的旋转：

其中每个旋转矩阵为：

旋转频率按几何级数递减：

对于位置 m 的 Query 向量和位置 n 的 Key 向量：

相对位置编码的关键性质

旋转后的 Q 和 K 点积只依赖于相对位置差 m - n：

由于 R_{Θ,m} 是正交矩阵，R_{Θ,m}^T = R_{Θ,-m}，最终结果只与 n - m 有关，绝对位置 m 和 n 被消去。

RoPE 在 Attention 中的融合

在实际实现中，RoPE 在 Q/K 投影之后、Attention Score 计算之前应用：

# 伪代码：RoPE 的核心计算
def apply_rotary(x, cos, sin):
    # x: [batch, seq, num_heads, head_dim]
    # cos, sin: [seq, head_dim]
    x_rotated = x * cos + rotate_half(x) * sin
    return x_rotated

# rotate_half: 将 x 的后半部分取负并交换位置
# 即 (x1, x2) → (-x2, x1)，等价于旋转 90 度

LLaMA 系列为何使用 RoPE

1. 相对位置建模：天然编码相对距离，模型更容易捕捉长距离依赖
2. 外推能力：配合 NTK-aware scaling 或 YaRN 等技术，RoPE 可以扩展到训练时未见过的序列长度
3. 兼容性：与 FlashAttention 等优化 Kernel 的集成非常自然（只需在 Q/K 上预先旋转）

长上下文扩展技术

6.2.5 ALiBi（Attention with Linear Biases）

ALiBi 由 Press 等人在 2021 年提出，是一种无需学习参数的位置编码方案。与修改 Q/K 向量或添加位置嵌入不同，ALiBi 直接在 Attention Score 上添加一个基于相对距离的线性负偏置：

其中 m_h 是第 h 个注意力头的固定斜率，不经过学习：

不同头使用不同斜率，使不同头关注不同尺度的位置信息（大斜率的头对短距离更敏感）。

与 RoPE 的完整对比

6.2.6 各方法优缺点对比

6.3.1 ReLU（Rectified Linear Unit）

原始的 Transformer 使用 ReLU 作为 FFN 的激活函数：

特性

• 稀疏激活：当 x < 0 时输出为 0，引入稀疏性
• 计算简单：只需一次比较操作，无需指数或三角函数
• 梯度非饱和：当 x > 0 时梯度恒为 1，缓解梯度消失

死亡 ReLU 问题（Dying ReLU）

当某个神经元在训练过程中权重更新后对所有输入都输出负值时，该神经元将永远输出 0，梯度也为 0，从此不再更新。在大模型中，ReLU 的死亡比例可能高达 10-40%，浪费了模型容量。

6.3.2 GELU（Gaussian Error Linear Unit）

GELU 是 BERT 等早期 Transformer 模型采用的激活函数，定义为输入与标准正态分布累积分布函数的乘积：

其中 Φ(x) 是标准正态分布的 CDF，erf 是误差函数。

实践中的近似计算

由于精确计算 erf 开销较大，使用 tanh 近似：

GELU 的优势

1. 处处可微：没有 ReLU 在 x=0 处的硬拐点，梯度流动更平滑
2. 概率解释：GELU(x) = x · P(X ≤ x)，X ~ N(0,1)，可以理解为"输入的随机 dropout 期望"
3. 非零负值：对于较小的负值，GELU 仍保留非零输出，保留更多信息
4. 实验结果：在 BERT/GPT-3 等模型的实验研究中，GELU 一致优于 ReLU

6.3.3 SwiGLU / SiLU

Swish / SiLU 定义

Swish（也称 SiLU, Sigmoid Linear Unit）由 Google 在 2017 年提出：

其中 σ(x) = 1/(1+e^{-x}) 是 sigmoid 函数。

GLU（Gated Linear Unit）

GLU 由 Dauphin 等在 2017 年提出，核心思想是不再对单一路径应用激活函数，而是通过两个线性投影的逐元素乘法实现门控：

门控路径 σ(x W_2) 控制信息流的通过量。

SwiGLU 的完整定义

SwiGLU 将 GLU 中的 sigmoid 替换为 Swish：

最终输出再经过下投影：

其中 W_gate, W_up ∈ R^{d_model × d_ff}, W_down ∈ R^{d_ff × d_model}。

LLaMA 为什么使用 SwiGLU

1. 更强的表达能力：门控机制可以"学习性地选择"哪些信息通过，而非应用固定的非线性变换
2. 更好的训练动态：经验表明 SwiGLU 在 deep Transformer 中的训练损失更低
3. 参数量与效果权衡：SwiGLU 有三个权重矩阵（gate/up/down），比标准 FFN（两个）多 50% 参数。为保持总参数量一致，d_ff 从标准 4×d_model 缩小到约 (8/3)×d_model

vLLM 中 SwiGLU 的融合实现：

class SiluAndMul(CustomOp):
    """SwiGLU 的融合实现。
    输入 x 被预先拼接为 [gate_proj(x), up_proj(x)]，
    x[..., :d] 是门控路径，x[..., d:] 是上投影路径。
    """
    @staticmethod
    def forward_native(x: torch.Tensor) -> torch.Tensor:
        d = x.shape[-1] // 2
        return F.silu(x[..., :d]) * x[..., d:]

6.3.4 GeGLU

GeGLU 是另一种 GLU 变体，使用 GELU 代替 Swish：

GeGLU 在编码器模型（如 BERT 风格模型）中较为常见，而 SwiGLU 在解码器-only 的 LLM 中更为流行。

6.3.5 FFN 层激活函数的演进路线

ReLU (2017, Transformer)
  │
  ├──→ GELU (2018, BERT/GPT-3)
  │       │
  │       └──→ GeGLU (2020, T5 v1.1): GELU + 门控
  │
  └──→ Swish/SiLU (2017)
          │
          └──→ SwiGLU (2020, LLaMA/PaLM): Swish + 门控

6.3.6 各激活函数对比

6.4.1 LayerNorm（层归一化）

Layer Normalization（LayerNorm）由 Ba 等人在 2016 年提出，对同一样本的所有特征进行归一化。与 Batch Normalization 对不同样本的同一特征归一化不同，LayerNorm 不受 batch size 影响，特别适合 NLP 中的变长序列。

给定输入 x ∈ R^{d_model}，LayerNorm 的计算为：

其中：

• μ = (1/d_model) ∑ x_i：输入特征的均值
• σ² = (1/d_model) ∑ (x_i - μ)²：输入特征的方差
• ε：很小的常数（如 10⁻⁶），防止除零
• γ, β ∈ R^{d_model}：可学习的缩放和偏移参数

核心作用

1. 稳定激活分布：防止层与层之间激活值的尺度爆炸或消失
2. 加速收敛：归一化后的输入具有更稳定的梯度
3. 降低对初始化的敏感性：减少参数初始化对训练结果的影响

6.4.2 RMSNorm（均方根归一化）

RMSNorm 由 Zhang 和 Sennrich 在 2019 年提出，是 LayerNorm 的简化变体。与 LayerNorm 同时减去均值并除以标准差不同，RMSNorm 仅除以 RMS（均方根），不计算也不减去均值：

相比 LayerNorm 的差异

1. 计算效率：省去了均值计算，减少约一半的统计量计算。在大模型中（数百层 × 大量 token），节省显著
2. 理论等价性：在深层网络中，激活值均值往往接近零，减去均值的收益有限
3. 更少的参数：只有缩放参数 γ，没有偏移参数 β

vLLM 中 RMSNorm 的实现：

class RMSNorm(CustomOp):
    """Root mean square normalization."""
    def __init__(self, hidden_size: int, eps: float = 1e-6):
        self.hidden_size = hidden_size
        self.variance_epsilon = eps
        self.weight = nn.Parameter(torch.ones(hidden_size))

    def forward_native(self, x: torch.Tensor):
        return ir.ops.rms_norm(x, self.weight.data, self.variance_epsilon)

6.4.3 Pre-norm vs Post-norm

Post-norm（后归一化）

原始 Transformer 采用 Post-norm：归一化放在子层之后：

x_{l+1} = LayerNorm(x_l + Attention(x_l))
x_{l+1} = LayerNorm(x_l + FFN(x_l))

问题：训练初期，残差路径 x_l 和子层输出 Attention(x_l) 的尺度可能差异巨大，归一化后的梯度不稳定，需要精心设计的 warmup 策略。

Pre-norm（前归一化）

现代 LLM（LLaMA、GPT-3）普遍采用 Pre-norm：归一化放在子层之前：

x_{l+1} = x_l + Attention(LayerNorm(x_l))
x_{l+1} = x_l + FFN(LayerNorm(x_l))

优势：

• 训练稳定性：子层输入已归一化，避免梯度爆炸
• 无需复杂学习率调度：可省去或缩短 warmup 阶段
• 支持更深网络：实验证明 Pre-norm 能支持数百层 Transformer

潜在缺点：归一化在残差路径之前，深层中各层对最终输出的贡献可能趋于均等，削弱了深层表示的"层次性"。但实践中这一缺点被训练稳定性的大幅提升所抵消。

6.4.4 各归一化方法对比

定义与概述

MoE（混合专家模型）是一种神经网络架构范式，核心思想是条件计算（Conditional Computation）：不是为每个输入激活全部参数，而是根据输入内容动态选择并激活一部分"专家"子网络。MoE 概念最早由 Jacobs 等人在 1991 年提出，在 LLM 时代由 DeepSeek、Mixtral 等模型发扬光大。

MoE 的核心优势：

• 参数扩展：在推理成本不显著增加的情况下大幅增加总参数量
• 专业化学习：不同专家可学习不同输入模式
• 计算效率：活跃参数量远小于总参数量

MoE 层结构

在标准 Transformer 中，FFN 层是密集的（所有参数参与计算）。在 Sparse MoE 中，FFN 被替换为 N 个并行的专家网络 E₁, ..., E_N，每个专家是一个小型 FFN。

输入 Token x
    │
    v
[Router/Gating Network]  →  计算每个专家的分数
    │
    v
[Top-K Selection]  ←  选择分数最高的 K 个专家
    │
    v
[E₁] [E₂] ... [Eₙ]  (N 个专家 FFN，大部分不激活)
  │    │         │
  v    v         v
[Weighted Sum]  =  Σ g_i · E_i(x)  对选中的 K 个专家加权求和
    │
    v
  输出

Router/Gating Network

路由网络是 MoE 的核心组件，负责决定每个 token 应该分配给哪些专家：

其中 W_g ∈ R^{d_model × N}, N 是专家数量。

Top-K Routing

对于每个 token，选择门控值最高的 K 个专家：

对选中的专家门控值重新归一化：

最终输出为选中专家输出的加权和：

Top-1 vs Top-K 对比：

Load Balancing Loss（负载均衡损失）

负载不均衡问题

如果没有约束，路由网络倾向于将所有 token 分配给少数"受欢迎"的专家，导致：

• 专家崩溃：大部分专家退化，少数专家承担所有工作
• 计算效率下降：有效利用的参数很少
• 训练不稳定：梯度集中在少数路径上

辅助损失函数

Importance Loss（重要性损失）：鼓励每个专家接收相似的总门控值：

Load Loss（负载损失）：鼓励每个专家处理相似数量的 token：

总损失：L_total = L_task + α · L_aux，α 通常取 0.01。

Expert Choice Routing

核心思想

由 Google 在 2022 年提出，反转路由方向：让专家选择 token，而非 token 选择专家。

数学描述

对于专家 i，从 batch 中选择 token 集合：

其中 C 是每个专家的容量（capacity）。

优缺点

DeepSeek-V2/V3 的 MoE 架构

共享专家 + 路由专家的混合设计

DeepSeek-V3（671B 总参数，37B 活跃参数）采用了创新的 MoE 设计：

• 共享专家（N_s 个）：所有 token 都会经过这些专家，学习通用语言表示
• 路由专家（N_r 个）：每个 token 通过 Top-K 路由选择 K_r 个

这种设计保证了基础语言能力的稳定性（共享专家），同时保留了多样化的语义模式学习（路由专家）。

无辅助损失的负载均衡

DeepSeek-V3 提出了无需辅助损失的动态负载均衡方法：

• 动态监测每个专家的负载
• 对过载专家在路由分数上加动态偏置（抑制选择）
• 对欠载专家加反向偏置（鼓励选择）
• 偏置根据实时统计量调整，不通过梯度学习

MLA（Multi-Head Latent Attention）+ MoE 组合

DeepSeek 的另一创新是将 MLA 与 MoE 结合。MLA 通过低秩压缩降低 KV Cache 存储量：

推理时只缓存 c_t^KV（低维），而非完整的 K 和 V，大幅减少显存占用。

MoE 在推理中的挑战

在 vLLM 中，MoE 通过 vllm/model_executor/layers/fused_moe/ 目录下的融合 Kernel 实现，支持 Monolithic 和 Modular 两种执行策略。

Dense vs MoE 对比

MoE 以与密集模型相当的推理 FLOPs 实现了更大的总参数量，这意味着更高的知识容量和更强的模型能力。

定义与概述

State Space Model（SSM，状态空间模型）源于控制工程，用于描述动态系统。在深度学习领域，SSM 被重新引入作为 Transformer 的替代架构，解决 O(n²) 计算复杂度在超长序列上的瓶颈问题。

Mamba 由 Gu 和 Dao 在 2023 年提出，通过选择性状态空间（Selective State Space）在保持线性 O(n) 复杂度的同时实现与 Transformer 相媲美的建模能力。Mamba-2（2024）通过状态空间对偶性（SSD）统一了 SSM 和 Attention 的理论框架。

6.6.2 S4（Structured State Space）

连续时间状态空间模型

经典的连续 SSM 由两个方程定义：

其中：

• x(t) ∈ R：输入信号（标量）
• h(t) ∈ R^N：隐藏状态向量（N 是状态维度）
• y(t) ∈ R：输出信号（标量）
• A ∈ R^{N×N}：状态转移矩阵
• B ∈ R^{N×1}, C ∈ R^{1×N}：输入/输出投影矩阵
• D ∈ R：跳跃连接（通常设为 0）

离散化（Zero-Order Hold）

使用零阶保持（ZOH）将连续 SSM 离散化：

HiPPO 初始化

S4 使用 HiPPO（High-order Polynomial Projection Operators）理论初始化 A 矩阵，使隐藏状态编码输入历史的压缩表示。HiPPO 矩阵是特定下三角矩阵，其特征值具有负实部，确保系统稳定性。

S4 的三种等价计算模式

这种三模式等价性是 S4 的理论基石：训练用卷积（并行），推理用循环（高效）。

6.6.3 S6 / Mamba 的选择性状态空间

LTI 的局限

S4 是线性时不变（LTI）系统：A, B, C 对所有时间步固定。这导致 SSM 无法根据内容选择性记忆或遗忘——在"选择性复制"和"归纳头"等合成任务上，LTI SSM 表现远逊于 Transformer。

选择性机制（S6）

Mamba 的核心创新：让参数 B, C 和步长 Δ 依赖于输入 x：

然后使用动态参数离散化和状态更新：

关键变化：

• Δ_k 决定"关注当前输入还是依赖历史"。Δ 大 → 更关注当前输入；Δ 小 → 更依赖历史记忆
• B_k 决定"当前输入如何影响状态"
• C_k 决定"从状态中提取什么信息产生输出"

硬件感知的并行扫描

选择性 SSM 打破了 LTI 假设（无法使用卷积模式），Mamba 的第二个贡献是硬件感知的并行扫描算法：

1. 并行扫描：状态更新 h_k = bar_A_k h_{k-1} + B_k x_k 可通过分治策略在 O(log n) 并行步内完成
2. Kernel Fusion：将输入投影、离散化、选择性扫描、输出投影融合为单个 CUDA Kernel
3. 重计算：反向传播时重新计算中间状态，避免从 HBM 读取大量中间结果

6.6.4 Mamba-2 的状态空间对偶性（SSD）

核心发现

Mamba-2 发现：SSM 和 Attention 之间存在深刻的数学对偶性。

对于标量结构化 SSM（A_t 是标量），序列变换等价于：

SSM 形式（循环）：

Attention 形式（矩阵乘法）：

其中 L 是下三角矩阵（元素为衰减因子的累积乘积）。这种形式与因果线性注意力几乎相同：

将 (C, B, X) 映射为 (Q, K, V)，两者完全等价。

Mamba-1 vs Mamba-2

SSD 块分解算法

Mamba-2 的 SSD 算法结合 SSM 和 Attention 的优点：

1. 将序列分成若干块（chunk）
2. 块内使用 Attention 形式（矩阵乘法），利用 GPU GEMM 效率
3. 块间用 SSM 形式传递状态，保持线性复杂度

6.6.5 SSM 与 Transformer 的对比

6.6.6 注意力机制 vs 状态空间模型的本质差异

本质差异的核心是：Attention 不压缩任何信息（使用所有历史 token 的精确表示），而 SSM 将历史压缩到固定大小的状态中。这使 SSM 具有线性的时间和空间复杂度，但代价是信息压缩带来的表达精度损失。选择性机制（S6）通过让模型自行决定压缩哪些信息来弥补这一缺陷。

定义与概述

Tokenization 是将原始文本转换为模型可处理的数值表示（token IDs）的过程。它是 LLM 流水线的第一步，直接影响模型的词汇表大小、序列长度、多语言能力和上下文窗口利用率。

6.7.2 BPE（Byte Pair Encoding）

训练算法

BPE 从字符/字节级开始，迭代合并最频繁的相邻 token 对，逐步构建子词词汇表：

1. 初始化：词汇表 = 256 个单字节 token
2. 统计相邻 token 对 (t_i, t_{i+1}) 的出现频率
3. 找到频率最高的 pair：(t_a, t_b) = arg max count(t_i, t_j)
4. 创建新 token t_new = t_a + t_b，加入词汇表，分配新 ID
5. 在所有文本中将 (t_a, t_b) 替换为 t_new
6. 记录合并规则 (t_a, t_b) → t_new
7. 重复步骤 2-6 直到词汇表达到目标大小

编码（推理时）

按合并规则优先级（先学到的优先级高）从字节序列自底向上合并：

def encode(self, text):
    tokens = list(bytearray(text, "utf-8"))
    symbols = [self.vocab[id_num] for id_num in tokens]
    while True:
        pairs = zip(symbols, symbols[1:])
        # 找到优先级最高的 pair
        bigram = min(pairs, key=lambda p: self.bpe_ranks.get(p, inf))
        if bigram not in self.bpe_ranks:
            break
        # 合并所有出现
        symbols = merge(symbols, bigram)
    return [self.inverse_vocab[sym] for sym in symbols]

6.7.3 SentencePiece

特点

SentencePiece 是 Google 开发的分词库，将空格视为普通字符（用 ▁ U+2581 表示），因此：

• 不需要预先的空格分词
• 可端到端地从原始文本学习
• 对无明确词边界的语言（中文、日文）更友好

Unigram Language Model 模式

Unigram 算法的核心思路：从大型初始子词集合出发，迭代删除对似然贡献最小的子词。

训练（EM 算法）：

1. 初始化：提取所有频繁字符序列作为初始词汇表（数十万个）
2. E-step：对于每个句子，找到所有可能的分割方式，计算每种分割的概率
3. M-step：根据期望分割统计重新估计每个子词的概率
4. 剪枝：删除对似然贡献最小的子词，逐步减小词汇表到目标大小

编码：使用维特比算法（Viterbi）找到概率最高的分割路径。

6.7.4 BBPE（Byte-level BPE）

BBPE 从字节级而非字符级开始。由于 UTF-8 中任何字符最多由 4 个字节表示，初始词汇表固定为 256 个字节值，完全与语言无关。

英文 "hello" → UTF-8 字节: [104, 101, 108, 108, 111]
中文 "你"   → UTF-8 字节: [228, 189, 160]

优势与劣势

6.7.5 tiktoken

tiktoken 是 OpenAI 开发的高性能 BPE tokenizer，使用 Rust 实现核心算法：

import tiktoken
encoding = tiktoken.get_encoding("cl100k_base")  # GPT-4 tokenizer
tokens = encoding.encode("Hello world!")
# tokens: [9906, 1917, 0]

核心优化：Rust 的快速哈希表 + 正则表达式预处理将文本分成可合并的块，实现高效批量编码。

6.7.6 特殊 Token

6.7.7 Vocabulary Size 的影响

趋势：新一代模型倾向于更大的词汇表（100K+），以支持更多语言和更高效的编码（减少每个词的 token 数）。

BPE vs Unigram vs BBPE 对比

6.8.1 vLLM

定位：高吞吐 LLM 推理引擎，行业事实标准。

核心创新：

• PagedAttention：分页式 KV Cache 管理，内存利用率从 20-40% 提升至 95%+
• Continuous Batching：迭代级调度，GPU 几乎始终保持满载
• Chunked Prefill：长 Prefill 分块与 Decode 交错，降低 ITL 抖动
• Prefix Caching：Block Hash 内容寻址，多轮对话和 RAG 场景收益显著

优势：社区最活跃（GitHub 50K+ stars）、支持模型最广泛（HuggingFace 生态）、多 GPU 扩展性好（TP/PP/EP）、支持量化（FP8/INT4/AWQ/GPTQ）、V1 架构重构后性能大幅提升。

6.8.2 TGI（Text Generation Inference）

定位：HuggingFace 生态的 LLM 推理服务器。

核心特性：

• Safetensors 安全加载
• FlashAttention 集成
• 支持 GPTQ/AWQ/BitsAndBytes 量化
• OpenAI 兼容 API

与 vLLM 对比：

6.8.3 TensorRT-LLM

定位：NVIDIA 官方 LLM 推理优化框架，在 NVIDIA GPU 上榨取最大性能。

核心优化：

• Kernel Fusion：将多个小算子融合为单个 CUDA Kernel
• Plugin 系统：预优化的 FMHA、GptAttentionPlugin 等
• FP8/INT8/INT4 量化：TensorRT Model Optimizer 原生支持
• Inflight Batching：NVIDIA 版 Continuous Batching

优势与局限：

6.8.4 SGLang

定位：结构化 LLM 推理框架，引入编程语言概念控制生成过程。

核心创新：

• RadixAttention：基于 Radix Tree 的 KV Cache 管理和前缀复用，比 vLLM 的 Prefix Caching 更高效
• Structured Generation：原生支持正则 / CFG 约束输出
• Zero-overhead CPU Scheduler：将调度开销从 GPU 步循环中移除

与 vLLM 对比：

6.8.5 llama.cpp

定位：纯 C/C++ LLM 推理实现，不依赖 PyTorch/CUDA。

核心特性：

• GGUF 格式：自包含模型文件，支持多种量化级别
• CPU 推理优化：AVX/AVX2/AVX-512/NEON SIMD 指令 + 多线程
• Metal / Vulkan / SYCL：支持 Apple Silicon、跨平台 GPU 和 Intel GPU

常用 GGUF 量化级别：

6.8.6 综合对比

6.8.7 选型建议