← 全部知识

大模型后训练方法总览

更新于

后训练:在预训练(Pre-Training)得到的底座模型上,教它“怎么回答、哪种回答更好、怎么自己练出本事”。

一句话:监督微调教它“怎么答”,偏好对齐教它“哪种答法更好”,强化学习让它“自己练出本事”。

整理时间:2026 年 11 月。


一、照着学:给示范

方法 英文全称 缩写 做法 特点 论文
监督微调 Supervised Fine-Tuning SFT 用“问题 + 标准答案”让模型照着学 简单、稳定、便宜;几乎所有后训练的第一步 InstructGPT
指令微调 Instruction Tuning — SFT 的一种,专门教模型听懂并执行各种指令 让底座模型变成能对话的助手 FLAN
拒绝采样微调 Rejection Sampling Fine-Tuning RFT 模型对同一问题写多个答案,挑出好的再训练自己 自己出题、自己挑好作业、自己学 Yuan et al. 2023
知识蒸馏 Knowledge Distillation KD 大的老师模型(Teacher)写答案,教小的学生模型(Student) 小模型变聪明的常用方法 Hinton et al. 2015

局限:只能学到你给的答案那么好;只知道“该怎么答”,不知道“哪种答法更好”。


二、学分寸:偏好对齐(Preference Alignment)

方法 英文全称 缩写 做法 特点 论文
人类反馈强化学习 Reinforcement Learning from Human Feedback RLHF 先用人类打分训练奖励模型(Reward Model,RM),再用强化学习往高分方向调;常用算法 PPO(Proximal Policy Optimization,近端策略优化) 效果好但复杂、贵、不稳定;可能出现“奖励作弊”(Reward Hacking) Christiano et al. 2017 · InstructGPT · PPO
AI 反馈强化学习 Reinforcement Learning from AI Feedback RLAIF 用 AI 评委代替人类评委 省钱省时 RLAIF vs. RLHF
宪法式 AI Constitutional AI CAI Anthropic 提出:先写一套原则,让 AI 按原则自我评判和修改 减少对人工标注的依赖 Constitutional AI
直接偏好优化 Direct Preference Optimization DPO 不训练奖励模型,直接用“好回答 / 差回答”成对数据训练 简单、稳定、便宜;开源社区最常用 DPO
KTO Kahneman-Tversky Optimization KTO 不需要成对数据,只需标注“好”或“不好” 数据更好收集 KTO
ORPO Odds Ratio Preference Optimization ORPO 把 SFT 和偏好对齐合成一步 流程更短 ORPO
SimPO Simple Preference Optimization SimPO 进一步简化,不需要参考模型 更省资源 SimPO

三、练本事:强化学习(Reinforcement Learning,RL)提升推理

这是近两年最火的方向,推理模型(Reasoning Model)主要靠它练成。

方法 英文全称 缩写 做法 特点 论文
可验证奖励强化学习 Reinforcement Learning with Verifiable Rewards RLVR 用数学、编程等能自动判对错的任务,答对奖励、答错扣分 不需要人工写解题思路,模型自己摸索方法 Tülu 3 · DeepSeek-R1
组相对策略优化 Group Relative Policy Optimization GRPO DeepSeek 提出:对同一题生成一组答案,和组内平均水平比较 省掉单独的评分模型,目前很流行 DeepSeekMath
过程奖励模型 Process Reward Model PRM 给推理的每一步打分 更精确地指出错在哪一步 Let’s Verify Step by Step
结果奖励模型 Outcome Reward Model ORM 只看最终答案对错 简单,但反馈粗 Cobbe et al. 2021 · Uesato et al. 2022
智能体强化学习 Agentic Reinforcement Learning Agentic RL 在真实或模拟环境(RL Environment)中多步完成任务,完成才给奖励 训练模型写代码、浏览网页、使用工具等 UI-TARS(GUI 智能体示例)

局限:RLVR 只适合对错分明的任务;写作、聊天等没有标准答案的任务仍要靠偏好对齐。


四、省钱与组合技巧

方法 英文全称 缩写 做法 特点 论文
参数高效微调 Parameter-Efficient Fine-Tuning PEFT 不改整个模型,只训练一小部分参数 大幅降低显存和成本 Adapter
低秩适配 Low-Rank Adaptation LoRA 只训练一小块“补丁” 最常用;可配合以上任何方法 LoRA
量化低秩适配 Quantized Low-Rank Adaptation QLoRA 先把模型压成 4bit 再做 LoRA 更省显存,消费级显卡可用 QLoRA
模型合并 Model Merging — 把几个分别训练的模型参数直接融合 不用再训练,开源社区常用 Model Soups · Task Arithmetic
继续预训练 Continued Pre-Training CPT 用领域资料先给模型“补课” 严格说属于预训练,常放在后训练之前 Don’t Stop Pretraining

五、主流模型的典型后训练流程

底座模型(Base Model)
   │
   ├─ 1. SFT:教会对话格式和基本能力
   │
   ├─ 2. 偏好对齐(RLHF / DPO / CAI 等):教分寸、调风格、保安全
   │
   ├─ 3. RLVR(常配合 GRPO 等算法):练推理、练代码
   │
   ├─ 4. Agentic RL:练多步完成任务
   │
   └─ 全程穿插 RFT 和蒸馏(KD):用自己或更强模型的好答案反复提升
   │
对话模型 / 推理模型(Instruct / Reasoning Model)

六、一张表选方法

方法 需要什么数据 难度 适合干什么
SFT 问题 + 标准答案 低 教格式、教基本能力、教领域知识
RFT / KD 一个能写好答案的模型 低 低成本提升效果
DPO 及变种 好、坏回答成对(KTO 只需好坏标签) 中 调风格、调偏好;个人和小团队首选
RLHF 人类打分 + 奖励模型 高 大厂精细打磨
RLVR + GRPO 能自动判对错的题 高 数学、代码、推理
Agentic RL 交互环境 + 任务完成判定 很高 智能体能力
LoRA / QLoRA 不额外要数据 低 配合以上任何方法省显存

七、术语速查

缩写 英文全称 中文
SFT Supervised Fine-Tuning 监督微调
RFT Rejection Sampling Fine-Tuning 拒绝采样微调
KD Knowledge Distillation 知识蒸馏
RLHF Reinforcement Learning from Human Feedback 人类反馈强化学习
RLAIF Reinforcement Learning from AI Feedback AI 反馈强化学习
RM Reward Model 奖励模型
PPO Proximal Policy Optimization 近端策略优化
CAI Constitutional AI 宪法式 AI
DPO Direct Preference Optimization 直接偏好优化
KTO Kahneman-Tversky Optimization —
ORPO Odds Ratio Preference Optimization 优势比偏好优化
SimPO Simple Preference Optimization 简单偏好优化
RL Reinforcement Learning 强化学习
RLVR Reinforcement Learning with Verifiable Rewards 可验证奖励强化学习
GRPO Group Relative Policy Optimization 组相对策略优化
PRM Process Reward Model 过程奖励模型
ORM Outcome Reward Model 结果奖励模型
PEFT Parameter-Efficient Fine-Tuning 参数高效微调
LoRA Low-Rank Adaptation 低秩适配
QLoRA Quantized Low-Rank Adaptation 量化低秩适配
CPT Continued Pre-Training 继续预训练