学习

AI 智能体开发生命周期:阶段、评估与护栏

构建 AI 智能体和发布一个普通功能不一样。它的输出是概率性的,它调用的工具会产生真实后果,质量要靠评估(evals)来衡量,而不只是测试。下面是一套能在生产环境站得住的生命周期。

AI 智能体开发生命周期,是构建、发布和运行 AI 智能体的流程:定义任务与成功标准,选择模型与工具,构建提示词、工具与记忆,用离线评估和红队测试进行评估,在护栏和人工审批下部署,然后持续监控和迭代。它与经典 SDLC 的不同在于,智能体的行为是概率性的,因此过去由固定测试保证的很多东西,现在要由评估和运行时护栏来承担。

适用对象构建 AI 智能体和 Copilot 的团队发布 LLM 功能的产品与工程负责人需要制定智能体发布流程的人

发布日期 2026-11-11 · 最近更新 2026-11-11 · Automo 编辑团队

智能体的生命周期有何不同

本页讲的是如何构建智能体本身:客服智能体、内部 Copilot,以及代表某人调用工具的研究或运营智能体。如果你想了解 AI 如何改变普通软件的生命周期,请读 《SDLC 中的 AI》。关于由智能体承担工作的生命周期的定义,见《什么是 AI SDLC》。

有三个事实让智能体开发与众不同。同样的输入可能产生不同的输出,所以单次运行通过几乎证明不了什么。智能体通过工具行动,所以一个错误的回答可能变成一个错误的操作:一笔退款被发出,一条记录被删除,一封邮件被寄出。而且上线之后,随着模型、提示词、数据和用户行为的变化,质量会悄悄漂移。下面的生命周期正是围绕这三个事实搭建的。

智能体开发生命周期的六个阶段

第一次按顺序走完,之后就进入循环。每一次生产故障都会变成新的评估用例,而每一次评估集的变化,都会让智能体重新经过第四到第六阶段。

  1. 1. 定义任务与成功标准

    写清楚任务、用户、智能体能做和不能做的事,以及如何判断它在正常工作:目标任务成功率、可接受的错误类型、每个任务的延迟和成本。现在就收集 30 到 100 个真实样例,它们会成为你的第一个评估集。

  2. 2. 选择模型与工具

    选择能在你的样例上达标的最小模型,以及任务所需的最少工具。每个工具都是一项权限。先从只读开始;凡是会写入、付款或发送的工具,都只给最窄的权限范围。

  3. 3. 构建提示词、工具与记忆

    编写系统提示词和工具描述,只在任务需要上下文的地方加入检索或记忆,并像管理代码一样为它们做版本管理。改提示词就是改代码,同样需要评审和历史记录。

  4. 4. 用离线评估和红队测试进行评估

    每次变更都让智能体跑一遍评估集,为任务成功率、工具调用的正确性、安全性和成本打分。加入对抗性用例,比如提示词注入、超出范围的请求和窃取数据的尝试。拉低分数的变更不得发布。

  5. 5. 在护栏和人工审批下部署

    在输入输出过滤、调用频率与花费上限,以及最小权限凭证的保护下发布。对不可逆或高价值的操作要求人工审批,直到评估结果和生产数据证明可以给它更多自主权。先从一小部分流量开始。

  6. 6. 监控与迭代

    记录每一次运行及其工具调用,抽样复查对话,跟踪成本、延迟和升级转人工的比例,并把真实故障变成新的评估用例。只要智能体在线,评估集就应该每周都在增长。

智能体开发生命周期一览

阶段关键产出人工检查点主要风险
定义任务说明、成功指标、首批样例确认范围与边界没人能测试的模糊目标
模型与工具模型选择、带权限范围的工具清单逐项批准写入权限权限过大的工具
构建有版本管理的提示词、工具和记忆评审提示词和工具的变更无人追踪的提示词改动
评估评估分数和红队测试发现决定发布标准凭几次漂亮的演示就上线
部署护栏、上限和审批关卡批准高风险操作未经审查的不可逆操作
监控链路追踪、成本数据、新评估用例每周复盘故障悄无声息的质量漂移

评估与护栏是支柱

在经典 SDLC 中,测试告诉你代码是否按预期工作。对智能体来说,这个角色由评估承担,但评估衡量的是分布,而不是单个答案。保留三类评估集:由真实任务构成的回归集,用于红队测试的对抗集,以及一个由领域专家审核的小型黄金集。每次修改提示词、模型或工具都跑一遍,就像 CI 在每次提交时运行测试一样。

护栏覆盖评估预测不到的情况。它们在运行时起作用:智能体可以调用什么、最多能花多少钱、哪些操作必须等人确认。准备退款的智能体,不应该同时是批准退款的那个。这种职责分离,与受治理的 AI SDLC 中把人工评审放在合并之前,是同一个原则。

Automo Build 的位置

大多数智能体是作为应用中的一个功能发布的:客户门户里的客服助手,内部工具里的审批智能体。用 Automo Build,你可以从一条提示开始构建这个应用,连同其中的 AI 功能;与此同时,平台自己的智能体编写并测试代码,评审智能体和 Guardrails 在合并前检查每一次变更。你发布的智能体,和应用的其余部分走的是同一条经过评审的上线路径。

常见问题

什么是 AI 智能体开发生命周期?

它是构建和运行 AI 智能体的流程:定义任务与成功标准,选择模型与工具,构建提示词、工具与记忆,进行评估,在护栏和人工审批下部署,然后监控和迭代。

它和 SDLC 有什么不同?

阶段看起来相似,但智能体的行为是概率性的,而且它通过工具采取行动。因此评估、红队测试、运行时护栏和生产监控成为核心,而经典 SDLC 主要依靠确定性的测试。

什么是智能体评估(evals)?

评估是可重复运行的测试集,在真实任务和对抗性任务上为智能体的输出和工具调用打分。它们像单元测试拦住代码变更一样拦住发布,并随着生产中暴露的新故障不断扩充。

AI 智能体什么时候需要人工审批?

当操作不可逆、代价高或会影响客户时:付款、删除、对外发送消息、权限变更。在评估结果和生产数据证明智能体能可靠处理之前,保留这些操作的审批,然后按操作类型逐一放开。

相关页面

构建你曾经望眼欲穿的软件。

AI 智能体开发生命周期:阶段、评估与护栏 | Automo