AI 大模型时代:国内外企业代表论文清单
论文编号都链接到 arXiv 摘要页(2026-11-20 逐个核对过标题);没有 arXiv 编号的,链接到官方发布页。 清单基于截至 2026 年年中的资料整理,最近几个月的新论文可能未覆盖。
目录
一、国外
Google / DeepMind
| 论文 | arXiv | 年份 | 意义 |
|---|---|---|---|
| Attention Is All You Need | 1706.03762 | 2017 | Transformer 架构,一切的起点 |
| BERT | 1810.04805 | 2018 | 预训练 + 微调范式 |
| T5 | 1910.10683 | 2019 | 把所有 NLP 任务统一成“文本到文本” |
| ViT | 2010.11929 | 2020 | Transformer 用于图像 |
| Switch Transformer | 2101.03961 | 2021 | 大规模 MoE(混合专家) |
| FLAN | 2109.01652 | 2021 | 指令微调 |
| Chain-of-Thought | 2201.11903 | 2022 | 思维链提示 |
| Chinchilla | 2203.15556 | 2022 | 修正缩放定律:数据和参数要同步扩大 |
| PaLM | 2204.02311 | 2022 | 5400 亿参数模型 |
| Gemini | 2312.11805 | 2023 | 原生多模态大模型 |
OpenAI
| 论文 | arXiv | 年份 | 意义 |
|---|---|---|---|
| PPO | 1707.06347 | 2017 | 后来 RLHF 的核心强化学习算法 |
| GPT-1 / GPT-2 | GPT-1 · GPT-2 | 2018–19 | 生成式预训练路线 |
| Scaling Laws for Neural Language Models | 2001.08361 | 2020 | 缩放定律:模型越大,性能按幂律提升 |
| GPT-3 (Language Models are Few-Shot Learners) | 2005.14165 | 2020 | 上下文学习(few-shot) |
| CLIP | 2103.00020 | 2021 | 图文对齐,多模态的基础 |
| Codex | 2107.03374 | 2021 | 代码大模型 |
| InstructGPT | 2203.02155 | 2022 | RLHF,ChatGPT 的技术基础 |
| Whisper | 2212.04356 | 2022 | 语音识别 |
| GPT-4 Technical Report | 2303.08774 | 2023 | GPT-4 |
Anthropic
| 论文 | arXiv | 年份 | 意义 |
|---|---|---|---|
| HH-RLHF | 2204.05862 | 2022 | 有用且无害的 RLHF 训练 |
| Constitutional AI | 2212.08073 | 2022 | 用 AI 反馈代替人工标注做对齐(RLAIF) |
| Sleeper Agents | 2401.05566 | 2024 | 后门行为能否被安全训练清除 |
| Scaling Monosemanticity | transformer-circuits.pub | 2024 | 可解释性:从大模型中提取可理解的特征 |
| Alignment Faking in Large Language Models | 2412.14093 | 2024 | 模型在训练中“假装对齐”的现象 |
Meta
| 论文 | arXiv | 年份 | 意义 |
|---|---|---|---|
| RoBERTa | 1907.11692 | 2019 | BERT 的改进版 |
| LLaMA | 2302.13971 | 2023 | 开源大模型浪潮的开端 |
| Toolformer | 2302.04761 | 2023 | 模型自学调用工具 |
| Segment Anything | 2304.02643 | 2023 | 通用图像分割 |
| Llama 2 | 2307.09288 | 2023 | 可商用的开源对话模型 |
| The Llama 3 Herd of Models | 2407.21783 | 2024 | 超详细的大模型训练报告 |
微软
| 论文 | arXiv | 年份 | 意义 |
|---|---|---|---|
| ZeRO(DeepSpeed) | 1910.02054 | 2019 | 大模型分布式训练的显存优化 |
| LoRA | 2106.09685 | 2021 | 低秩微调 |
| Sparks of Artificial General Intelligence | 2303.12712 | 2023 | 对 GPT-4 能力的早期测评 |
| Textbooks Are All You Need(Phi-1) | 2306.11644 | 2023 | 用高质量数据训练小模型 |
| BitNet | 2310.11453 | 2023 | 1-bit 大模型 |
| GraphRAG | 2404.16130 | 2024 | 基于知识图谱的检索增强 |
其他(NVIDIA、Mistral)
| 公司 | 论文 | arXiv | 年份 | 意义 |
|---|---|---|---|---|
| NVIDIA | Megatron-LM | 1909.08053 | 2019 | 张量并行训练 |
| Mistral | Mistral 7B | 2310.06825 | 2023 | 高效开源小模型 |
| Mistral | Mixtral of Experts | 2401.04088 | 2024 | 开源 MoE |
二、国内
DeepSeek(深度求索)
| 论文 | arXiv | 年份 | 意义 |
|---|---|---|---|
| DeepSeek LLM | 2401.02954 | 2024 | 首个基础模型 |
| DeepSeekMoE | 2401.06066 | 2024 | 细粒度专家 MoE |
| DeepSeekMath | 2402.03300 | 2024 | 提出 GRPO 强化学习算法 |
| DeepSeek-V2 | 2405.04434 | 2024 | 提出 MLA 注意力,大幅降低推理成本 |
| DeepSeek-V3 | 2412.19437 | 2024 | 低成本训练的顶级开源模型 |
| DeepSeek-R1 | 2501.12948 | 2025 | 纯强化学习激发推理能力,后登上 Nature |
| Native Sparse Attention | 2502.11089 | 2025 | 原生稀疏注意力,ACL 2025 最佳论文 |
阿里(通义千问)
| 论文 | arXiv | 年份 | 意义 |
|---|---|---|---|
| Qwen-VL | 2308.12966 | 2023 | 视觉语言模型 |
| Qwen Technical Report | 2309.16609 | 2023 | 首个千问技术报告 |
| Qwen2 | 2407.10671 | 2024 | 第二代 |
| Qwen2.5 | 2412.15115 | 2024 | 第 2.5 代 |
| Qwen3 | 2505.09388 | 2025 | 混合思考模式;千问是全球衍生模型最多的开源系列之一 |
月之暗面(Kimi)
| 论文 | arXiv | 年份 | 意义 |
|---|---|---|---|
| Kimi k1.5 | 2501.12599 | 2025 | 长上下文强化学习做推理 |
| MoBA | 2502.13189 | 2025 | 块稀疏注意力 |
| Muon is Scalable for LLM Training | 2502.16982 | 2025 | Muon 优化器的大规模验证 |
| Kimi K2 技术报告 | 2507.20534 | 2025 | 万亿参数开源 MoE,智能体能力 |
智谱 / 清华
| 论文 | arXiv | 年份 | 意义 |
|---|---|---|---|
| GLM | 2103.10360 | 2021 | 自回归空白填充预训练 |
| GLM-130B | 2210.02414 | 2022 | 开源千亿双语模型 |
| ChatGLM 系列报告 | 2406.12793 | 2024 | 从 GLM-130B 到 GLM-4 |
| GLM-4.5 技术报告 | 2508.06471 | 2025 | 推理、编程、智能体一体化 |
字节跳动(Seed)
| 论文 | arXiv | 年份 | 意义 |
|---|---|---|---|
| UI-TARS | 2501.12326 | 2025 | 操作电脑、手机界面的 GUI 智能体 |
| DAPO | 2503.14476 | 2025 | 开源的大规模强化学习训练方案 |
MiniMax
| 论文 | arXiv | 年份 | 意义 |
|---|---|---|---|
| MiniMax-01 | 2501.08313 | 2025 | 线性注意力(Lightning Attention),超长上下文 |
| MiniMax-M1 | 2506.13585 | 2025 | 混合注意力推理模型 |
其他国内公司
| 公司 | 论文 | arXiv | 年份 |
|---|---|---|---|
| 百度 | ERNIE | 1904.09223 | 2019 |
| 百度 | ERNIE 3.0 | 2107.02137 | 2021 |
| 华为 | PanGu-α | 2104.12369 | 2021 |
| 华为 | Pangu Ultra(昇腾上训练的稠密模型) | 2504.07866 | 2025 |
| 百川 | Baichuan 2 | 2309.10305 | 2023 |
| 零一万物 | Yi | 2403.04652 | 2024 |
| 腾讯 | Hunyuan-Large | 2411.02265 | 2024 |
| 小米 | MiMo(小模型推理) | 2505.07608 | 2025 |
三、入门必读 10 篇
按时间顺序读完这条线,大致能理解大模型从架构、扩展、对齐到推理的演进:
- Attention Is All You Need(1706.03762)— 架构
- GPT-3(2005.14165)— 规模带来上下文学习
- Scaling Laws(2001.08361)— 为什么要做大
- InstructGPT(2203.02155)— 对齐与 RLHF
- Chain-of-Thought(2201.11903)— 推理提示
- Chinchilla(2203.15556)— 算力最优的训练配比
- LoRA(2106.09685)— 高效微调
- LLaMA(2302.13971)— 开源生态
- DeepSeek-V3(2412.19437)— 高效训练与 MoE
- DeepSeek-R1(2501.12948)— 强化学习激发推理