软件正在从工具，变成同事
我第一次真切地感到这种变化，是在调试 MoiAI 的一个长任务时。我把一件事交代下去，转身去开了个会。回来的时候，它已经做完了大半，停在一个需要我确认的地方，留了一段说明：做了什么，为什么停下，建议怎么处理。
那一刻的感觉很奇怪。我不像是在“用”一个软件，更像是在接一位同事的工作交接。
几十年来，软件的基本形态没怎么变过：人发出指令，软件执行，结果马上回来。从命令行到图形界面，再到手机上的 App，交互越来越友好，但关系始终是人在操作工具。Agent 带来的变化在于，人开始交代目标，而不再逐条下达操作。这是从“操作”到“委托”的转变。
委托这件事，人类已经琢磨了几千年。说到底，它考验的是你敢不敢放手，对方聪不聪明倒在其次。
能做，和放心交给它做，是两回事
METR 有一项持续跟踪的研究，用“任务时长”来衡量 AI 智能体的能力：一件人类专家需要做多久的事，AI 能以多大的成功率独立做完。
结果相当惊人。在 50% 成功率这条线上，2023 年 3 月的 GPT-4 能完成的任务，大约相当于人类 4 分钟的工作量；到了 2026 年 2 月，Claude Opus 4.6 已经达到大约 12 个小时。按 METR 的数据，这个指标长期来看大约每 188 天翻一番，2023 年以来更快，约 129 天。
但同一份数据里还有另一条线，很少被人提起。如果把成功率的要求提高到 80%，Claude Opus 4.6 能完成的任务长度只有 70 分钟左右，整整差了一个数量级。
这条差距，就是“能做”和“放心交给它做”之间的距离。一个有一半概率搞砸的同事，你不会把 12 个小时的活交给他，然后自己去休假。
长任务的数学
为什么成功率的要求一提高，能处理的任务长度就骤降？背后是一个很朴素的乘法。
假设一件事要连续走 20 步，每一步的成功率是 95%，听上去已经相当可靠了，可整件事做成的概率只有 0.95 的 20 次方，大约 36%。把单步成功率提到 99%，整体也只有 82% 左右。任务越长，对每一步可靠性的要求就越苛刻，而且是按指数变苛刻的。
这也是我们重构 MoiAI 执行链路时最大的体会。最初我们以为瓶颈在于模型不够聪明，后来发现，大多数失败并不是“不会做”，而是“不知道自己做错了”：某个工具调用返回了异常结果，Agent 没有察觉，带着错误又往下走了十几步。所以后来在“规划、工具调用、执行、反馈”这条链路上，我们相当一部分工夫花在了反馈这一环：每一步都要能验证，出了错要能被发现，发现之后要能回退到一个干净的状态。
这和训练大模型时做 Checkpoint 是同一个道理。没有哪个系统能永不出错，可靠性来自出错之后能便宜地恢复。
你以为它让你更快了
还有一个更微妙的问题：我们对委托效果的感知，未必可靠。
2025 年 7 月，METR 发表了一项随机对照实验。16 位经验丰富的开源开发者，在自己长期维护的大型代码库里完成了 246 个真实任务，每个任务随机分配为允许或禁止使用 AI 工具。开始之前，他们预计 AI 能让自己快 24%；做完之后，他们估计自己快了 20%。实际测出来的结果是：慢了 19%。
这项研究有它的局限。样本不大，用的是 2025 年初的工具，场景又是开发者极其熟悉的代码库，METR 自己也提醒不要过度外推。但它揭示的问题是真实的：委托是有成本的。你要把事情讲清楚，要等，要检查，要返工。如果检查一份工作的成本接近自己从头做一遍，委托就不划算，哪怕对方做得再快。
好的同事除了活干得好，还有一点常被忽略：他交上来的活，你能低成本地检查。
一个好同事的样子
所以现在我想 Agent 产品的时候，问的问题越来越像在面试一位新同事，反倒不太像在评测一个模型。
他知道什么时候该停下来问。最危险的，往往是在拿不准的时候硬着头皮往下做。一个 Agent 能不能识别出“这一步我没把握”，并且把问题以一种人可以快速拍板的方式抛回来，比它能多做几步更重要。
他做的事情有迹可循。每一步做了什么、依据是什么、改动了哪里，都应该能被回看。可追溯是信任的前提，也是出了问题之后能迅速定位的前提。
他在边界之内工作。权限、数据、能触碰的系统，都需要清楚的边界。这也是 MoiAI 坚持本地化、私有化运行的原因之一。当一个 Agent 要处理你的文件和工作流，数据不离开你的机器，往往是专业用户愿意放手的前提。
他会学习你的做事方式。每个团队都有自己的规范和习惯，Skill 体系的意义就在这里：把一类工作的做法沉淀下来，让 Agent 下一次做得更像你想要的样子，而不是每次都从零开始猜。
工程师的新问题
回头看，这一代工程师面对的核心问题，已经从“怎么让软件做得到”，变成了“怎么让软件做得让人放心”。
这其实是一个管理问题，只是管理的对象变了。刚当上管理者的人大多经历过类似的困境：事情交出去不放心，自己做又做不过来。完美的人是找不到的，真正的出路是把工作设计成可以委托的样子：目标说清楚，什么算完成定义清楚，关键节点可以检查，出了问题可以回退。
Agent 也是一样。能力曲线还会继续往上走，这一点我并不怀疑。但它能不能真正成为同事，取决于我们能不能把可靠性、可验证性和边界，做成软件本身的一部分。
参考资料
- METR, Time Horizon 1.1 数据（metr.org/time-horizons）
- METR, “Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity”, 2025 年 7 月