大模型后训练方法总览
后训练:在预训练(Pre-Training)得到的底座模型上,教它“怎么回答、哪种回答更好、怎么自己练出本事”。
一句话:监督微调教它“怎么答”,偏好对齐教它“哪种答法更好”,强化学习让它“自己练出本事”。
整理时间:2026 年 11 月。
一、照着学:给示范
| 方法 | 英文全称 | 缩写 | 做法 | 特点 | 论文 |
|---|---|---|---|---|---|
| 监督微调 | Supervised Fine-Tuning | SFT | 用“问题 + 标准答案”让模型照着学 | 简单、稳定、便宜;几乎所有后训练的第一步 | InstructGPT |
| 指令微调 | Instruction Tuning | — | SFT 的一种,专门教模型听懂并执行各种指令 | 让底座模型变成能对话的助手 | FLAN |
| 拒绝采样微调 | Rejection Sampling Fine-Tuning | RFT | 模型对同一问题写多个答案,挑出好的再训练自己 | 自己出题、自己挑好作业、自己学 | Yuan et al. 2023 |
| 知识蒸馏 | Knowledge Distillation | KD | 大的老师模型(Teacher)写答案,教小的学生模型(Student) | 小模型变聪明的常用方法 | Hinton et al. 2015 |
局限:只能学到你给的答案那么好;只知道“该怎么答”,不知道“哪种答法更好”。
二、学分寸:偏好对齐(Preference Alignment)
| 方法 | 英文全称 | 缩写 | 做法 | 特点 | 论文 |
|---|---|---|---|---|---|
| 人类反馈强化学习 | Reinforcement Learning from Human Feedback | RLHF | 先用人类打分训练奖励模型(Reward Model,RM),再用强化学习往高分方向调;常用算法 PPO(Proximal Policy Optimization,近端策略优化) | 效果好但复杂、贵、不稳定;可能出现“奖励作弊”(Reward Hacking) | Christiano et al. 2017 · InstructGPT · PPO |
| AI 反馈强化学习 | Reinforcement Learning from AI Feedback | RLAIF | 用 AI 评委代替人类评委 | 省钱省时 | RLAIF vs. RLHF |
| 宪法式 AI | Constitutional AI | CAI | Anthropic 提出:先写一套原则,让 AI 按原则自我评判和修改 | 减少对人工标注的依赖 | Constitutional AI |
| 直接偏好优化 | Direct Preference Optimization | DPO | 不训练奖励模型,直接用“好回答 / 差回答”成对数据训练 | 简单、稳定、便宜;开源社区最常用 | DPO |
| KTO | Kahneman-Tversky Optimization | KTO | 不需要成对数据,只需标注“好”或“不好” | 数据更好收集 | KTO |
| ORPO | Odds Ratio Preference Optimization | ORPO | 把 SFT 和偏好对齐合成一步 | 流程更短 | ORPO |
| SimPO | Simple Preference Optimization | SimPO | 进一步简化,不需要参考模型 | 更省资源 | SimPO |
三、练本事:强化学习(Reinforcement Learning,RL)提升推理
这是近两年最火的方向,推理模型(Reasoning Model)主要靠它练成。
| 方法 | 英文全称 | 缩写 | 做法 | 特点 | 论文 |
|---|---|---|---|---|---|
| 可验证奖励强化学习 | Reinforcement Learning with Verifiable Rewards | RLVR | 用数学、编程等能自动判对错的任务,答对奖励、答错扣分 | 不需要人工写解题思路,模型自己摸索方法 | Tülu 3 · DeepSeek-R1 |
| 组相对策略优化 | Group Relative Policy Optimization | GRPO | DeepSeek 提出:对同一题生成一组答案,和组内平均水平比较 | 省掉单独的评分模型,目前很流行 | DeepSeekMath |
| 过程奖励模型 | Process Reward Model | PRM | 给推理的每一步打分 | 更精确地指出错在哪一步 | Let’s Verify Step by Step |
| 结果奖励模型 | Outcome Reward Model | ORM | 只看最终答案对错 | 简单,但反馈粗 | Cobbe et al. 2021 · Uesato et al. 2022 |
| 智能体强化学习 | Agentic Reinforcement Learning | Agentic RL | 在真实或模拟环境(RL Environment)中多步完成任务,完成才给奖励 | 训练模型写代码、浏览网页、使用工具等 | UI-TARS(GUI 智能体示例) |
局限:RLVR 只适合对错分明的任务;写作、聊天等没有标准答案的任务仍要靠偏好对齐。
四、省钱与组合技巧
| 方法 | 英文全称 | 缩写 | 做法 | 特点 | 论文 |
|---|---|---|---|---|---|
| 参数高效微调 | Parameter-Efficient Fine-Tuning | PEFT | 不改整个模型,只训练一小部分参数 | 大幅降低显存和成本 | Adapter |
| 低秩适配 | Low-Rank Adaptation | LoRA | 只训练一小块“补丁” | 最常用;可配合以上任何方法 | LoRA |
| 量化低秩适配 | Quantized Low-Rank Adaptation | QLoRA | 先把模型压成 4bit 再做 LoRA | 更省显存,消费级显卡可用 | QLoRA |
| 模型合并 | Model Merging | — | 把几个分别训练的模型参数直接融合 | 不用再训练,开源社区常用 | Model Soups · Task Arithmetic |
| 继续预训练 | Continued Pre-Training | CPT | 用领域资料先给模型“补课” | 严格说属于预训练,常放在后训练之前 | Don’t Stop Pretraining |
五、主流模型的典型后训练流程
底座模型(Base Model)
│
├─ 1. SFT:教会对话格式和基本能力
│
├─ 2. 偏好对齐(RLHF / DPO / CAI 等):教分寸、调风格、保安全
│
├─ 3. RLVR(常配合 GRPO 等算法):练推理、练代码
│
├─ 4. Agentic RL:练多步完成任务
│
└─ 全程穿插 RFT 和蒸馏(KD):用自己或更强模型的好答案反复提升
│
对话模型 / 推理模型(Instruct / Reasoning Model)
六、一张表选方法
| 方法 | 需要什么数据 | 难度 | 适合干什么 |
|---|---|---|---|
| SFT | 问题 + 标准答案 | 低 | 教格式、教基本能力、教领域知识 |
| RFT / KD | 一个能写好答案的模型 | 低 | 低成本提升效果 |
| DPO 及变种 | 好、坏回答成对(KTO 只需好坏标签) | 中 | 调风格、调偏好;个人和小团队首选 |
| RLHF | 人类打分 + 奖励模型 | 高 | 大厂精细打磨 |
| RLVR + GRPO | 能自动判对错的题 | 高 | 数学、代码、推理 |
| Agentic RL | 交互环境 + 任务完成判定 | 很高 | 智能体能力 |
| LoRA / QLoRA | 不额外要数据 | 低 | 配合以上任何方法省显存 |
七、术语速查
| 缩写 | 英文全称 | 中文 |
|---|---|---|
| SFT | Supervised Fine-Tuning | 监督微调 |
| RFT | Rejection Sampling Fine-Tuning | 拒绝采样微调 |
| KD | Knowledge Distillation | 知识蒸馏 |
| RLHF | Reinforcement Learning from Human Feedback | 人类反馈强化学习 |
| RLAIF | Reinforcement Learning from AI Feedback | AI 反馈强化学习 |
| RM | Reward Model | 奖励模型 |
| PPO | Proximal Policy Optimization | 近端策略优化 |
| CAI | Constitutional AI | 宪法式 AI |
| DPO | Direct Preference Optimization | 直接偏好优化 |
| KTO | Kahneman-Tversky Optimization | — |
| ORPO | Odds Ratio Preference Optimization | 优势比偏好优化 |
| SimPO | Simple Preference Optimization | 简单偏好优化 |
| RL | Reinforcement Learning | 强化学习 |
| RLVR | Reinforcement Learning with Verifiable Rewards | 可验证奖励强化学习 |
| GRPO | Group Relative Policy Optimization | 组相对策略优化 |
| PRM | Process Reward Model | 过程奖励模型 |
| ORM | Outcome Reward Model | 结果奖励模型 |
| PEFT | Parameter-Efficient Fine-Tuning | 参数高效微调 |
| LoRA | Low-Rank Adaptation | 低秩适配 |
| QLoRA | Quantized Low-Rank Adaptation | 量化低秩适配 |
| CPT | Continued Pre-Training | 继续预训练 |