← 全部知识

AI 大模型时代:国内外企业代表论文清单

更新于

论文编号都链接到 arXiv 摘要页(2026-11-20 逐个核对过标题);没有 arXiv 编号的,链接到官方发布页。 清单基于截至 2026 年年中的资料整理,最近几个月的新论文可能未覆盖。


目录


一、国外

Google / DeepMind

论文 arXiv 年份 意义
Attention Is All You Need 1706.03762 2017 Transformer 架构,一切的起点
BERT 1810.04805 2018 预训练 + 微调范式
T5 1910.10683 2019 把所有 NLP 任务统一成“文本到文本”
ViT 2010.11929 2020 Transformer 用于图像
Switch Transformer 2101.03961 2021 大规模 MoE(混合专家)
FLAN 2109.01652 2021 指令微调
Chain-of-Thought 2201.11903 2022 思维链提示
Chinchilla 2203.15556 2022 修正缩放定律:数据和参数要同步扩大
PaLM 2204.02311 2022 5400 亿参数模型
Gemini 2312.11805 2023 原生多模态大模型

OpenAI

论文 arXiv 年份 意义
PPO 1707.06347 2017 后来 RLHF 的核心强化学习算法
GPT-1 / GPT-2 GPT-1 · GPT-2 2018–19 生成式预训练路线
Scaling Laws for Neural Language Models 2001.08361 2020 缩放定律:模型越大,性能按幂律提升
GPT-3 (Language Models are Few-Shot Learners) 2005.14165 2020 上下文学习(few-shot)
CLIP 2103.00020 2021 图文对齐,多模态的基础
Codex 2107.03374 2021 代码大模型
InstructGPT 2203.02155 2022 RLHF,ChatGPT 的技术基础
Whisper 2212.04356 2022 语音识别
GPT-4 Technical Report 2303.08774 2023 GPT-4

Anthropic

论文 arXiv 年份 意义
HH-RLHF 2204.05862 2022 有用且无害的 RLHF 训练
Constitutional AI 2212.08073 2022 用 AI 反馈代替人工标注做对齐(RLAIF)
Sleeper Agents 2401.05566 2024 后门行为能否被安全训练清除
Scaling Monosemanticity transformer-circuits.pub 2024 可解释性:从大模型中提取可理解的特征
Alignment Faking in Large Language Models 2412.14093 2024 模型在训练中“假装对齐”的现象

Meta

论文 arXiv 年份 意义
RoBERTa 1907.11692 2019 BERT 的改进版
LLaMA 2302.13971 2023 开源大模型浪潮的开端
Toolformer 2302.04761 2023 模型自学调用工具
Segment Anything 2304.02643 2023 通用图像分割
Llama 2 2307.09288 2023 可商用的开源对话模型
The Llama 3 Herd of Models 2407.21783 2024 超详细的大模型训练报告

微软

论文 arXiv 年份 意义
ZeRO(DeepSpeed) 1910.02054 2019 大模型分布式训练的显存优化
LoRA 2106.09685 2021 低秩微调
Sparks of Artificial General Intelligence 2303.12712 2023 对 GPT-4 能力的早期测评
Textbooks Are All You Need(Phi-1) 2306.11644 2023 用高质量数据训练小模型
BitNet 2310.11453 2023 1-bit 大模型
GraphRAG 2404.16130 2024 基于知识图谱的检索增强

其他(NVIDIA、Mistral)

公司 论文 arXiv 年份 意义
NVIDIA Megatron-LM 1909.08053 2019 张量并行训练
Mistral Mistral 7B 2310.06825 2023 高效开源小模型
Mistral Mixtral of Experts 2401.04088 2024 开源 MoE

二、国内

DeepSeek(深度求索)

论文 arXiv 年份 意义
DeepSeek LLM 2401.02954 2024 首个基础模型
DeepSeekMoE 2401.06066 2024 细粒度专家 MoE
DeepSeekMath 2402.03300 2024 提出 GRPO 强化学习算法
DeepSeek-V2 2405.04434 2024 提出 MLA 注意力,大幅降低推理成本
DeepSeek-V3 2412.19437 2024 低成本训练的顶级开源模型
DeepSeek-R1 2501.12948 2025 纯强化学习激发推理能力,后登上 Nature
Native Sparse Attention 2502.11089 2025 原生稀疏注意力,ACL 2025 最佳论文

阿里(通义千问)

论文 arXiv 年份 意义
Qwen-VL 2308.12966 2023 视觉语言模型
Qwen Technical Report 2309.16609 2023 首个千问技术报告
Qwen2 2407.10671 2024 第二代
Qwen2.5 2412.15115 2024 第 2.5 代
Qwen3 2505.09388 2025 混合思考模式;千问是全球衍生模型最多的开源系列之一

月之暗面(Kimi)

论文 arXiv 年份 意义
Kimi k1.5 2501.12599 2025 长上下文强化学习做推理
MoBA 2502.13189 2025 块稀疏注意力
Muon is Scalable for LLM Training 2502.16982 2025 Muon 优化器的大规模验证
Kimi K2 技术报告 2507.20534 2025 万亿参数开源 MoE,智能体能力

智谱 / 清华

论文 arXiv 年份 意义
GLM 2103.10360 2021 自回归空白填充预训练
GLM-130B 2210.02414 2022 开源千亿双语模型
ChatGLM 系列报告 2406.12793 2024 从 GLM-130B 到 GLM-4
GLM-4.5 技术报告 2508.06471 2025 推理、编程、智能体一体化

字节跳动(Seed)

论文 arXiv 年份 意义
UI-TARS 2501.12326 2025 操作电脑、手机界面的 GUI 智能体
DAPO 2503.14476 2025 开源的大规模强化学习训练方案

MiniMax

论文 arXiv 年份 意义
MiniMax-01 2501.08313 2025 线性注意力(Lightning Attention),超长上下文
MiniMax-M1 2506.13585 2025 混合注意力推理模型

其他国内公司

公司 论文 arXiv 年份
百度 ERNIE 1904.09223 2019
百度 ERNIE 3.0 2107.02137 2021
华为 PanGu-α 2104.12369 2021
华为 Pangu Ultra(昇腾上训练的稠密模型) 2504.07866 2025
百川 Baichuan 2 2309.10305 2023
零一万物 Yi 2403.04652 2024
腾讯 Hunyuan-Large 2411.02265 2024
小米 MiMo(小模型推理) 2505.07608 2025

三、入门必读 10 篇

按时间顺序读完这条线,大致能理解大模型从架构、扩展、对齐到推理的演进:

  1. Attention Is All You Need(1706.03762)— 架构
  2. GPT-3(2005.14165)— 规模带来上下文学习
  3. Scaling Laws(2001.08361)— 为什么要做大
  4. InstructGPT(2203.02155)— 对齐与 RLHF
  5. Chain-of-Thought(2201.11903)— 推理提示
  6. Chinchilla(2203.15556)— 算力最优的训练配比
  7. LoRA(2106.09685)— 高效微调
  8. LLaMA(2302.13971)— 开源生态
  9. DeepSeek-V3(2412.19437)— 高效训练与 MoE
  10. DeepSeek-R1(2501.12948)— 强化学习激发推理