学习
AI 智能体开发生命周期:阶段、评估与护栏
构建 AI 智能体和发布一个普通功能不一样。它的输出是概率性的,它调用的工具会产生真实后果,质量要靠评估(evals)来衡量,而不只是测试。下面是一套能在生产环境站得住的生命周期。
AI 智能体开发生命周期,是构建、发布和运行 AI 智能体的流程:定义任务与成功标准,选择模型与工具,构建提示词、工具与记忆,用离线评估和红队测试进行评估,在护栏和人工审批下部署,然后持续监控和迭代。它与经典 SDLC 的不同在于,智能体的行为是概率性的,因此过去由固定测试保证的很多东西,现在要由评估和运行时护栏来承担。
发布日期 2026-11-11 · 最近更新 2026-11-11 · Automo 编辑团队
智能体的生命周期有何不同
本页讲的是如何构建智能体本身:客服智能体、内部 Copilot,以及代表某人调用工具的研究或运营智能体。如果你想了解 AI 如何改变普通软件的生命周期,请读 《SDLC 中的 AI》。关于由智能体承担工作的生命周期的定义,见《什么是 AI SDLC》。
有三个事实让智能体开发与众不同。同样的输入可能产生不同的输出,所以单次运行通过几乎证明不了什么。智能体通过工具行动,所以一个错误的回答可能变成一个错误的操作:一笔退款被发出,一条记录被删除,一封邮件被寄出。而且上线之后,随着模型、提示词、数据和用户行为的变化,质量会悄悄漂移。下面的生命周期正是围绕这三个事实搭建的。
智能体开发生命周期的六个阶段
第一次按顺序走完,之后就进入循环。每一次生产故障都会变成新的评估用例,而每一次评估集的变化,都会让智能体重新经过第四到第六阶段。
1. 定义任务与成功标准
写清楚任务、用户、智能体能做和不能做的事,以及如何判断它在正常工作:目标任务成功率、可接受的错误类型、每个任务的延迟和成本。现在就收集 30 到 100 个真实样例,它们会成为你的第一个评估集。
2. 选择模型与工具
选择能在你的样例上达标的最小模型,以及任务所需的最少工具。每个工具都是一项权限。先从只读开始;凡是会写入、付款或发送的工具,都只给最窄的权限范围。
3. 构建提示词、工具与记忆
编写系统提示词和工具描述,只在任务需要上下文的地方加入检索或记忆,并像管理代码一样为它们做版本管理。改提示词就是改代码,同样需要评审和历史记录。
4. 用离线评估和红队测试进行评估
每次变更都让智能体跑一遍评估集,为任务成功率、工具调用的正确性、安全性和成本打分。加入对抗性用例,比如提示词注入、超出范围的请求和窃取数据的尝试。拉低分数的变更不得发布。
5. 在护栏和人工审批下部署
在输入输出过滤、调用频率与花费上限,以及最小权限凭证的保护下发布。对不可逆或高价值的操作要求人工审批,直到评估结果和生产数据证明可以给它更多自主权。先从一小部分流量开始。
6. 监控与迭代
记录每一次运行及其工具调用,抽样复查对话,跟踪成本、延迟和升级转人工的比例,并把真实故障变成新的评估用例。只要智能体在线,评估集就应该每周都在增长。
智能体开发生命周期一览
| 阶段 | 关键产出 | 人工检查点 | 主要风险 |
|---|---|---|---|
| 定义 | 任务说明、成功指标、首批样例 | 确认范围与边界 | 没人能测试的模糊目标 |
| 模型与工具 | 模型选择、带权限范围的工具清单 | 逐项批准写入权限 | 权限过大的工具 |
| 构建 | 有版本管理的提示词、工具和记忆 | 评审提示词和工具的变更 | 无人追踪的提示词改动 |
| 评估 | 评估分数和红队测试发现 | 决定发布标准 | 凭几次漂亮的演示就上线 |
| 部署 | 护栏、上限和审批关卡 | 批准高风险操作 | 未经审查的不可逆操作 |
| 监控 | 链路追踪、成本数据、新评估用例 | 每周复盘故障 | 悄无声息的质量漂移 |
评估与护栏是支柱
在经典 SDLC 中,测试告诉你代码是否按预期工作。对智能体来说,这个角色由评估承担,但评估衡量的是分布,而不是单个答案。保留三类评估集:由真实任务构成的回归集,用于红队测试的对抗集,以及一个由领域专家审核的小型黄金集。每次修改提示词、模型或工具都跑一遍,就像 CI 在每次提交时运行测试一样。
护栏覆盖评估预测不到的情况。它们在运行时起作用:智能体可以调用什么、最多能花多少钱、哪些操作必须等人确认。准备退款的智能体,不应该同时是批准退款的那个。这种职责分离,与受治理的 AI SDLC 中把人工评审放在合并之前,是同一个原则。
Automo Build 的位置
大多数智能体是作为应用中的一个功能发布的:客户门户里的客服助手,内部工具里的审批智能体。用 Automo Build,你可以从一条提示开始构建这个应用,连同其中的 AI 功能;与此同时,平台自己的智能体编写并测试代码,评审智能体和 Guardrails 在合并前检查每一次变更。你发布的智能体,和应用的其余部分走的是同一条经过评审的上线路径。
常见问题
什么是 AI 智能体开发生命周期?
它是构建和运行 AI 智能体的流程:定义任务与成功标准,选择模型与工具,构建提示词、工具与记忆,进行评估,在护栏和人工审批下部署,然后监控和迭代。
它和 SDLC 有什么不同?
阶段看起来相似,但智能体的行为是概率性的,而且它通过工具采取行动。因此评估、红队测试、运行时护栏和生产监控成为核心,而经典 SDLC 主要依靠确定性的测试。
什么是智能体评估(evals)?
评估是可重复运行的测试集,在真实任务和对抗性任务上为智能体的输出和工具调用打分。它们像单元测试拦住代码变更一样拦住发布,并随着生产中暴露的新故障不断扩充。
AI 智能体什么时候需要人工审批?
当操作不可逆、代价高或会影响客户时:付款、删除、对外发送消息、权限变更。在评估结果和生产数据证明智能体能可靠处理之前,保留这些操作的审批,然后按操作类型逐一放开。