# 用 AI 跑完整个软件开发周期（一）：怎样证明产品真的能用？

**Summary:** 结合 claude-codex、VCP 和 GitVibe 的尝试，讨论如何定义成功、测试完整使用流程，并把确认过的故障变成回归检查和持续维护的反馈循环。

- Canonical: https://markhuang.ai/zh/blog/agentic-sdlc-part-1
- Language: zh-CN
- Author: [Mark Huang](https://markhuang.ai/about)
- Published: 2026-11-16
- Section: 教程
- Tags: agentic-sdlc, ai-agents, software-testing, e2e-testing, maintenance
- License: https://creativecommons.org/licenses/by-nc/4.0/

---

![一个应用模型的前面板被掀开，放大镜下露出内部断开的路径](https://cdn.markhuang.ai/blog/agentic-sdlc-part-1/hero.webp)

*产品看起来做完了，使用流程里却可能还藏着断点。概念插画。*

我做过 [claude-codex](https://github.com/Z-M-Huang/claude-codex)、[VCP](https://github.com/Z-M-Huang/vcp) 和 [GitVibe](https://github.com/markhuangai/git-vibe) 这 3 个项目，一直想让智能体承担软件开发中更多的工作。目标说起来很直接：让 AI 交出一份我愿意按资深开发团队的标准验收的成果，最后得到一个确实能用的产品。使用它的人可能只有我自己，也可能是公众。

这件事真的很难。我不觉得它完全不可能，但也不会拿这些尝试当作“我已经解决了”的证明。我更想分享的是，这些经历让我在动手前换了哪些问法。

现在，我会先想清楚成功是什么、怎么验证，以及以后怎么让它持续正常运行。其中，我最担心的是测试。AI 可以交出一份看着很像样的实现，而我手里的证据却不足以说明它满足了使用者的需求。

**SDLC 是 Software Development Life Cycle，也就是软件开发生命周期。** 它包括规划产品、理解需求、设计、实现、测试、部署，以及后续维护。不同团队对这些活动的组织方式不一样，也往往需要反复迭代，而非从头到尾只走一遍。[IBM 对 SDLC 的介绍](https://www.ibm.com/think/topics/sdlc)可以作为入门参考。

我说的“完整的智能体 SDLC”，是让 AI 智能体参与整个周期，包括第一版代码写完以后的工作。“完整”描述的是目标，不代表可以省掉那个对产品要求和失败后果负责的人。例如，GitVibe 的文档就明确保留了维护者对实现、审查和发布的控制。

如果你也想做类似的东西，我建议按这个顺序回答三个问题：

1. 什么样才算成功？
2. 你打算怎么测试？
3. 你打算怎么持续维护？

我故意跳过了“你打算怎么做”。既然你想搭建智能体方案，多半已经决定让 AI 承担大量实现工作。架构和实现方式仍然需要作出选择。用了 AI，这些决定也不会消失，只是你更容易在回答完另外几个问题之前，就开始写代码。

## 1. 什么样才算成功？

没有目标，就总能再加一个功能。加个仪表盘吧，通知也不错，要不再做个插件系统，以后说不定有人需要。到最后，仓库变成了一个拼凑的科学怪人，连 AI 都开始批评自己参与生成的架构。

我在[《没有意图的自动化，只是更快地制造混乱》](/zh/blog/automation-without-intention-is-just-faster-chaos)里讲过早期遇到的问题。流水线能够产出功能，但维护流水线本身占用了我太多精力。后来把它简化，又丢掉了观察内部进展的能力。这些经历让我越来越在意一个很实际的问题：这次到底要做到哪一步才算完成？

先确定一个使用者和一个有用的结果。使用者是你自己，就写清楚你想用产品完成什么；使用者是别人，就用他们能理解的语言描述任务。然后写下第一版的验收条件，以及哪些事情留到以后再做。

举一个假设的小例子：你想做一个应用，把以后想再看的条目存起来。第一个有用的结果可以是：**我能新建一条内容，保存，刷新页面，然后再次找到同一条内容。** 这是用来说明方法的需求，并非在描述我的某个项目实际发生过的故障。

这句话没有替你做完设计，但划出了边界。账号、协作、推荐，都可以晚点考虑。哪怕页面再漂亮，只要点完保存、刷新后找不回内容，就还没达到这个目标。

把验收条件保存在实现之外，审查结果时仍然对照它。否则，很容易让 AI 恰好做出来的东西，反过来定义什么叫成功。

## 2. 你打算怎么测试？

一个人做产品，通常不会有专门的 QA 团队等着测试每次发布。你得提前想好怎么发现问题。等到界面和功能看起来都做完了，再补这个答案，会难得多。

单元测试很有用。它能在 AI 改代码的过程中快速给出反馈，帮助定位刚刚改坏了什么。但我之前也写过，单元测试全过，实际使用流程却仍然有问题。因此，我才给早期流水线加了用户验收测试，也就是 UAT：去检查产品是否完成了我真正要求的场景。

沿用刚才那个保存条目的假设，各种检查能回答的问题并不一样：

| 检查方式  | 在这个例子里能验证什么               | 还有什么没回答                 |
| ----- | ------------------------- | ----------------------- |
| 单元测试  | 条目校验或序列化函数正确处理了测到的输入。     | 界面是否调用了正确逻辑，刷新后内容是否还在。  |
| 集成测试  | 保存和读取链路能在测试环境里与真实存储组件配合。  | 完整的用户操作是否正确走到了这些链路。     |
| 端到端测试 | 通过被测应用完成新建、保存、刷新、找回内容的流程。 | 其他流程、没覆盖的环境，以及用户是否理解界面。 |
| 智能体探索 | 智能体实际尝试任务，留下遇到障碍或故障的证据。   | 它的行为和判断是否能代表真实用户。       |

**端到端测试，通常简称 E2E，对我特别重要。** 它走的是一条贯穿应用的完整流程。在这个例子中，断言应该检查刷新后能否找到刚才保存的相同内容。如果只检查有没有弹出“保存成功”，就没有测到那个有用的结果。

流程依赖什么，测试环境就应该尽量还原什么。需求是持久化，就用真实的持久化链路来检查。还要考虑相关的失败情况，例如保存请求失败，不能让一个模拟的成功响应代替你真正需要验证的行为。

我宁愿多测，也不愿少测。有意义的场景越充分，我越有信心。不过，把同一条正常路径复制十遍，增加的把握有限；如果测试老是无故失败，大家习惯了忽略它，发布关卡也就失效了。Ham Vocke 的[《实用测试金字塔》](https://martinfowler.com/articles/practical-test-pyramid.html)解释了覆盖范围更大的测试通常为何执行、维护成本也更高。我想增加的是重要行为的覆盖，而不是一个看着漂亮的测试数量。

E2E 全过，说明被测流程在当时的测试条件下运行正常。生产环境的配置、数据、权限、外部服务，都可能不一样。测试能帮助缩小这段差距，但不能替所有生产情况打包票。

### 让智能体用一用你做出来的产品

除了重复运行已有检查，我还希望得到另一种反馈：交给智能体一个任务，让它实际操作产品。工具取决于你做的是什么。网页应用需要能操作界面的智能体；命令行工具需要能运行公开命令的智能体。只看截图或读源码，并没有走完同一条使用流程。

这里要分清测试规则和解题步骤。告诉它去哪个环境、完成什么任务、怎么汇报，然后让它利用普通用户也能获得的帮助，自己寻找操作方法。对于那个假设的应用，我会考虑这样的提示词：

```text
使用指定的预发布应用和可丢弃的测试账号。
任务：留存一条以后想再看的内容，刷新页面后再次找到它。
通过公开界面和面向用户的帮助完成任务。
不得读取源码、修改应用，或通过私有 API 绕过操作来完成任务。
只在这个账号内操作。10 分钟后停止；如果无法继续，提前停止。
记录尝试过什么、预期是什么、实际发生了什么，以及哪里让你困惑。
对疑似故障，保留复现步骤和必要的截图或日志。
明确报告任务是否完成，不得编造证据。
```

这是一段探索任务示例，不代表我运行过这个确切实验。脚本化的 E2E 测试已经知道一条通路，而探索可能碰到我没有写进脚本的情况，或发现入口不好找、标签不清楚。

我会先把可重复的 E2E 检查做好，再花智能体运行成本去找新的问题，避免反复发现已经知道的故障。探索的执行和审阅成本会变化，哪种方式更便宜取决于产品和工具。它能帮你寻找遗漏，也不意味着要扔掉那些已经有效、成本更低的检查。

对探索结果也要保持诚实。截图表明内容消失了，这是值得调查的证据；智能体说“用户会觉得很烦”，仍然只是假设。[UXAgent](https://arxiv.org/abs/2504.09407) 等研究在探索用模拟交互帮助准备可用性研究，[Nielsen Norman Group 对合成用户的讨论](https://www.nngroup.com/articles/synthetic-users/)则说明了把生成回答当成人类研究的局限。有条件时，尽早让真实的人来用。

如果探索发现了可复现的 bug，就把它变成长期保留的回归检查。下一次发布，不该还得花一轮探索成本，重新发现同一个错误。

> “You will not get there in the first attempt. You will make mistakes, and mistakes will make you better.”
>
> “你不会第一次就做到位。你会犯错，而这些错误会让你变得更好。”
>
> —— Mark Huang

我希望把错误记清楚，让下一次尝试能在这次的基础上改进。查清那条失败的流程，再留下一个能抓住它的回归测试。

## 3. 你打算怎么持续维护？

第一版能用了，后面还是需要更新和修复。项目早期可能根本没人给你报 bug。你需要一些主动发现问题的方法，不能只等用户数量变多以后再说。

发布关卡是其中一部分。单元测试和 E2E 都很适合放进关卡：只要必需的检查还在失败，就不要发布。先分析原因。实现破坏了预期行为，就修实现；如果你确实决定改变行为，就解释新需求，再相应更新测试。仅仅因为生成的代码与断言不符，就修改断言，相当于让实现给自己打分。

关卡要实际运行检查，并保留结果。智能体说一句“测试全过了”，代替不了测试运行器的输出。我的早期流水线还设置了迭代次数上限，解决不了就交给我处理。无休止地修复、重试，可能只是在消耗资源，并没有让产品变好。

接着，给产品建立反馈循环。根据产品的情况，你可以结合重要流程的定时检查、已部署应用的错误、智能体探索，以及用户反馈。每个发现都需要足够的上下文，才能调查。先核实发生了什么，判断它是缺陷还是新需求，再把它送进后续工作。

```mermaid
flowchart TD
    accTitle: 从确认故障到下一次发布
    accDescr: 观察并核实问题，诊断和修复，保留有依据的回归检查。必需的检查失败就回到诊断，通过后再发布，发布后继续观察。
    A["观察到问题"] --> B["核实并记录 issue"]
    B --> C["诊断原因并修复"]
    C --> D["新增回归测试或有依据地更新测试"]
    D --> E{"必需的发布检查通过了吗？"}
    E -->|"没有"| C
    E -->|"通过"| F["发布后继续观察"]
    F --> A
```

*确认过的故障进入下一轮修改和回归检查。关卡失败，就回到诊断，而不是把失败当成可以发布的理由。*

AI 的反馈可以成为一个新 issue，也可以成为一份修复提案。两者都需要证据和审查，仍然要有人负责接受修改、决定何时发布。把更多工作自动化，不会省掉这个决定。

这就是我想在第一篇里讲清楚的起点：选一个有用的结果，写下怎么证明它成立，再决定未来的故障怎么传回你这里。加下一个功能之前，先走完已经答应用户的那条流程。使用者能完成吗？如果哪天完成不了了，你能发现吗？
