2017 年，Google 用一篇《Attention Is All You Need》投下了 Transformer 这枚核弹。没人能预料到，不到十年，从几百亿参数的 GPT-3 到数万亿参数的 MoE 模型，大模型会以如此惊人的速度迭代其底层技术栈。这篇文章按技术演进的时间线，聊聊几个关键的技术实现及其背后的意义。

1. 基石：Transformer 与 Scaling Law

大模型的起点不是什么高深理论，而是一个简单的观察：模型越大，数据越多，效果越好。OpenAI 在 2020 年提出的 Scaling Law 将这个观察量化了——模型参数量、数据量和计算量之间存在幂律关系，且边际收益递减但不会归零。

这直接推动了两个趋势：

  • 模型越做越大：GPT-3（175B）、PaLM（540B）、LLaMA（65B 但更强），参数规模一路狂飙。
  • 数据越吃越多：从 Common Crawl 到高质量精选语料，数据的"质"终于开始挑战"量"。

但 Scaling Law 有一个残酷的注脚——算力成本按指数增长。如果我们只在"堆参数"这条路上走到黑，地球上所有 GPU 加起来都不够用。于是，后面的技术演进，本质上都是在回答一个问题：如何用更少的资源，换来更大的模型能力？

2. 规模化的代价与解药：模型量化

模型量化是整个大模型工业化落地的第一块敲门砖。它的核心思路简单粗暴：把模型参数从高精度浮点数（FP32/FP16/BF16）压缩到低精度整数（INT8/INT4），从而大幅减少显存占用和计算延迟。

2.1 量化是怎么做的

一个 FP16 的权重参数占 2 字节，INT8 只占 1 字节，INT4 仅 0.5 字节。量化通过一个缩放因子将浮点数值映射到整数范围：

float_value = scale × int_value + zero_point

以 70B 参数的 LLaMA-2 为例，FP16 推理大约需要 140GB 显存——一张 A100（80GB）都塞不下。量化到 INT8 后降到 70GB，INT4 只需 35GB，一张消费级显卡就能跑。

2.2 量化不等于降智

早期大家担心量化会显著降低模型质量。后来的研究证明，训练后量化（PTQ）配合适当的校准数据，几乎可以无损地降到 INT8；而 QLoRA 等量化微调技术的出现，让 INT4 量化后的模型也能保持 95% 以上的原始能力。

2.3 意义

量化让大模型从"数据中心专属"变成了"开发者桌面可及"。没有它，目前主流的开源模型本地部署、端侧推理、边缘设备落地都无从谈起。它是大模型平民化的第一推动力。

3. 稀疏革命：MoE（混合专家模型）

如果说量化是"把参数做小"，那 MoE 就是"把参数做巧"。

3.1 为什么需要 MoE

传统密集模型（Dense Model）有一个效率问题：每次推理时，所有参数都被激活。这意味着，一个 540B 的 PaLM 不管处理"1+1=？"还是写一篇万字论文，都要动用全部 540B 参数。这显然不合理。

3.2 MoE 的工作原理

MoE 模型将网络拆分为多个"专家"（Expert），每个专家负责处理不同类型的输入。输入会通过一个路由门控（Gate/Router）网络，动态选择最相关的 Top-K 专家来激活。

输入 → Gate → 专家 A（激活）→ 输出
           → 专家 B（激活）→
           → 专家 C（未激活）

3.3 关键数据

模型 总参数 激活参数 推理成本
GPT-3（Dense） 175B 175B 高
Mixtral 8×7B（MoE） 47B 12.9B 低
DeepSeek-V2（MoE） 236B ~21B 极低

以 Mixtral 8×7B 为例：总参数量 47B，但每次推理只激活约 12.9B 参数，推理速度和显存消耗接近 12B 的密集模型，但能力接近 47B 级别。

3.4 技术难点

MoE 并非完美方案。它面临几个核心挑战：

  • 负载均衡：如果路由网络总把输入路由到同一两个专家，其他专家"饿死"，模型就退化为密集模型。需要额外损失函数激励专家被均匀使用。
  • 通信开销：专家可以分布在不同 GPU 上，但跨卡通信会成为瓶颈。
  • 训练不稳定：MoE 的训练比密集模型更敏感，容易发散。

3.5 意义

MoE 是从"大力出奇迹"到"精准发力"的关键转折。它让模型在保持超大总参数量的同时，将单次推理成本控制在一个合理范围内。GPT-4、Mixtral、DeepSeek-V2/V3、Qwen2-MoE 等主流模型都在用——它已经成为当前大模型架构的事实标准。

4. 让大模型跑得更快：推理优化

模型架构定下来后，下一个问题来了：就算参数量控制住了，生成速度还是太慢。一个 70B 模型在单卡上生成一个 token 可能需要几十毫秒，写一篇 500 字的文章就要等好几秒。这对用户来说是不可接受的。

推理优化是一套组合拳，下面几个是最关键的。

4.1 KV Cache

Transformer 做自回归生成时，每生成一个新 token，都需要重新计算之前所有 token 的 Key 和 Value 向量。如果不做缓存，生成第 N 个 token 时，注意力计算复杂度是 O(N²) —— 序列越长，浪费越大。

KV Cache 的解决方案非常直接：把每一步计算出的 K、V 向量缓存起来，后续生成只需增量计算当前 token 的 KV，然后拼接到缓存中。这样复杂度从 O(N²) 降到 O(N)，推理速度提升 N 倍。

4.2 Flash Attention

KV Cache 解决了"重复计算"的问题，但注意力计算的另一个瓶颈是内存带宽。标准注意力计算需要将完整的注意力矩阵（N×N）写入 GPU 的 HBM（高带宽内存），再读回来做 softmax——这是 GPU 最慢的操作之一。

Flash Attention 的核心洞察是：尽量在 GPU 的 SRAM（片上缓存，比 HBM 快 10-20 倍）中完成注意力计算，避免频繁读写 HBM。它通过分块（tiling）和重计算（recomputation）技术，将注意力矩阵的显存读写从 O(N²) 降到 O(N)。实际效果：训练加速 2-3 倍，推理加速 1.5-2 倍，且完全没有精度损失。

4.3 Speculative Decoding（推测解码）

自回归生成是逐个 token 串行的，GPU 的并行计算能力完全发挥不出来。Speculative Decoding 用一个小模型（草稿模型）先快速生成一批候选 token，然后用大模型一次性验证这些 token 是否正确。

这个过程有点像"先写草稿，再校稿"——草稿模型写错了，大模型能纠正；写对了，一个推理步骤就"验证"了好几个 token。实际效果：不同场景下推理速度提升 2-3 倍，且生成质量完全无损。

4.4 连续批处理

这可能是最"工程"但也最有效的优化。推理服务通常同时处理多个用户的请求。传统做法是等一个请求完全生成完再处理下一个，GPU 利用率很低。

Continuous Batching 将不同请求的生成过程交错进行：一个请求在等待 GPU 计算时，另一个请求的预处理可以塞进去。这个优化能将 GPU 利用率从 30% 提升到 80% 以上，直接把推理吞吐量翻倍。

5. 看得更远：长上下文技术

2023 年初，GPT-3.5 的上下文窗口是 4K tokens。到 2024 年，GPT-4 Turbo 支持 128K，Claude 3 支持 200K，Gemini 1.5 Pro 推到了 1M tokens。上下文窗口的扩展速度比参数规模还快。

5.1 位置编码的演进

Transformer 本身没有"位置感"——它需要靠位置编码来知道 token 的顺序。最早用的是绝对位置编码（Sinusoidal），后来流行的 RoPE（旋转位置编码） 通过旋转矩阵编码相对位置信息，让模型能更好地泛化到未见过的序列长度。

但 RoPE 也有天花板。当序列长度超过训练长度时，位置编码的旋转角度会超出模型见过的范围，效果急剧下降。于是各种扩展方法出现了：

  • YaRN / NTK-aware RoPE：通过调整旋转频率的缩放方式，让模型在推理时无缝扩展到更长的上下文
  • 位置插值（Position Interpolation）：将长序列的位置编码"压缩"到模型训练过的范围内

5.2 注意力机制的瓶颈

长上下文的核心矛盾在注意力计算上：序列长度 N 增加时，标准自注意力的计算复杂度是 O(N²)。128K 的上下文，注意力计算量是 4K 的 1024 倍。

解决方式包括：

  • 稀疏注意力：只让每个 token 关注附近的 token 和少数"远亲"（如全局 token），而不是全部
  • Ring Attention / Blockwise Parallel Transformer：将长序列分块到多个 GPU 上并行计算注意力

5.3 意义

长上下文打开了一个全新的应用维度：一次性分析整本书、处理整个代码仓库、维护超长对话历史。它让大模型从"对话式"走向"文档式"——不再是逐轮对话，而是直接理解整个知识库。

6. 对齐之道：从 RLHF 到 DPO

模型能力强了，但如果不听人的话，再强也没用。对齐技术解决的是"让模型说人话、说对话"的问题。

6.1 RLHF（基于人类反馈的强化学习）

RLHF 是 ChatGPT 崛起的关键技术栈，流程分三步：

  1. SFT（监督微调）：用高质量指令数据微调预训练模型，让它学会"遵从指令"
  2. 训练奖励模型：让人类标注员对模型的多轮输出进行排序，训练一个能预测人类偏好的奖励模型
  3. PPO 强化学习：用奖励模型的打分作为训练信号，通过 PPO 算法优化策略模型

这个流程有效但极其复杂且不稳定。RLHF 需要同时维护 4 个模型（策略模型、参考模型、奖励模型、价值模型），训练的敏感度极高，超参稍微一调就崩。

6.2 DPO（直接偏好优化）

DPO 在 2023 年横空出世，它的思路非常优雅：既然奖励模型和策略模型本质上是一回事，为什么还要分开训练？

DPO 直接从偏好数据中推导出最优策略，绕过了奖励模型和 PPO 的复杂流程。训练只需要：

  1. 准备好偏好数据（选择回答 vs 拒绝回答）
  2. 一个损失函数直接优化策略模型

效果上，DPO 在大多数基准上不低于甚至优于 RLHF，而训练成本只有 RLHF 的几分之一。

6.3 意义

对齐技术是大模型"最后一公里"的核心。没有 RLHF/DPO，模型知识再丰富也是"野马"——不听话、不可控、不安全。从 RLHF 到 DPO 的演进，也体现了 AI 技术的一条规律：越接近本质的解法，往往越简单。

7. 写在最后

回看这七年的技术演进，能发现一条清晰的脉络：

阶段 目标 代表技术
奠基 证明大模型有效 Transformer + Scaling Law
压缩 让模型能落地 量化（INT8/INT4）
稀疏 突破参数天花板 MoE
加速 让推理更高效 Flash Attention、KV Cache、Speculative Decoding
扩展 处理更长的信息 RoPE、长上下文
对齐 让模型更听话 RLHF、DPO

每个阶段都在解决上一个阶段创造的新问题。Scaling Law 让模型变大，量化让它变小；MoE 让它变"聪明"，推理优化让它变快；长上下文让它看得更远，对齐让它听得懂人话。

技术迭代没有终点。下一个问题是什么？也许是推理成本的进一步降低，也许是真正意义上的系统二推理（System 2 Thinking），也许是模型与工具的深度融合。但可以确定的是，大模型的技术红利远没有吃完——每一次瓶颈的出现，都是下一次突破的起点。

版权声明：如无特殊说明，文章均为本站原创，转载请注明出处

本文链接：https://tendcode.com/subject/article/llm-tech-evolution/

许可协议：署名-非商业性使用 4.0 国际许可协议