NumKit v1.0.0 测试全流程
生成时间:2026-06-27
项目:OpenFeel Agent 流水线体系端到端测试
测试对象:Feel / Planner / Schemer / Executor / Reviewer / Tester / Archiver(共 7 Agent)
一、测试背景
1.1 测试目标
在一个会话中走完完整的 OpenFeel 流水线(计划→方案→编码→审查→测试→归档),验证全部 7 个 Agent 的协作能力。同时通过真实的”发现问题-修复-回归”循环,检验流水线对异常情况的处理能力。
1.2 测试项目
NumKit — 一个 TypeScript 数字工具库,包含 6 个函数,分 2 个阶段交付。
| 阶段 |
函数 |
说明 |
| stage-01 |
clamp / inRange / randomInt |
核心工具函数 + 项目骨架搭建 |
| stage-02 |
toFixed / sum / average |
聚合计算函数 |
1.3 配置
- 执行模式:
auto
- 自动推进:
enabled
- 测试阶段:
enabled(走完 test_writing→testing→bug_fixing 链路)
- 技术栈:TypeScript 5.8.3 + vitest 3.1.0
二、完整执行流水线
阶段总览
用户指令
│
▼
Feel(会话自检 + 研究 Agent + 开启 auto 模式)
│
├─(1)─► Planner ← 制定 roadmap + 2 stages + deps.yaml
│
├─(2)─► Schemer ← stage-01: op-001 ~ op-005
│
├─(3)─► Executor ← 编码 clamp/inRange/randomInt(15 测试, 100%覆盖)
│
├─(4)─► Reviewer ← 发现 REV-001(HIGH): TS 版本 5.8.0 vs 5.8.3 不一致
│
├─(5)─► Schemer ← 制定 op-006 修正方案
├─(6)─► Executor ← 修改 op-001.md 版本声明
├─(7)─► Reviewer ← 再审通过,REV-001 closed
│
├─(8)─► Tester ← 36/36 通过,0 Bug,100%覆盖
│
├─(9)─► Archiver ← 归档 stage-01,提取 7 条知识
│
├─(10)─► Schemer ← stage-02: op-007 ~ op-010
│
├─(11)─► Executor ← 编码 toFixed/sum/average(52 测试, 100%覆盖)
│
├─(12)─► Reviewer ← 0 REV,审查通过(仅记录 IEEE 754 观察)
│
├─(13)─► Tester ← 发现 BUG-001(high)+BUG-002(medium): toFixed 浮点精度
│
├─(14)─► Schemer ← 制定 op-011 Bug 修复方案
├─(15)─► Executor ← 修复 toFixed(75 测试通过)
├─(16)─► Tester ← 回归验证: 2 Bug closed, 全覆盖
│
└─(17)─► Archiver ← 归档 stage-02 + 项目总结,新增 4 条知识
总计:17 次 Agent 调用,2 个阶段的完整闭环。
三、各 Agent 详细执行记录
3.1 Feel(总统领)
| 调用 |
动作 |
说明 |
| 初始 |
会话自检 |
检查 .openfeel 目录、创建缺失文件、读取 .info.json |
| 初始 |
Agent 研究 |
读取全部 7 个 Agent 定义 + 8 个 Skill 定义 |
| 持续 |
配置管理 |
修改 config.yaml 开启 auto+enabled+test_enabled |
| 持续 |
状态管理 |
每个阶段更新 flow.json、status.md、todos |
| 决策 |
修复决策 |
发现 REV-001 时选择走 Schemer→Executor→Reviewer 闭环 |
| 决策 |
Bug 决策 |
发现 BUG-001/002 时走 Schemer→Executor→Tester 闭环 |
3.2 Planner(计划官)
- 输入:NumKit 需求描述
- 产出:roadmap/v1.0.md + 2 个 stage 目录 + deps.yaml + plan.md
- 质量:阶段划分合理、依赖声明清晰(soft)、质量指标可验证
- 问题:flow.json 中 phase 设为了非法值
planned(应为 plan_pending→plan_passed)
3.3 Schemer(方案官)— 共调用 3 次
| 次数 |
场景 |
产出 |
问题 |
| 1 |
stage-01 初始方案 |
op-001~005(5 个) |
TypeScript 版本 5.8.0 在 npm 不存在 |
| 2 |
REV-001 修正方案 |
op-006(版本声明修正) |
— |
| 3 |
Bug 修复方案 |
op-011(toFixed 算法修复) |
— |
3.4 Executor(执行官)— 共调用 4 次
| 次数 |
场景 |
产出 |
测试结果 |
| 1 |
stage-01 编码 |
7 源文件 |
15/15 pass, 100%覆盖 |
| 2 |
op-006 修正 |
修改 op-001.md |
自测通过 |
| 3 |
stage-02 编码 |
6 新文件 |
52/52 pass, 100%覆盖 |
| 4 |
op-011 修复 |
修改 toFixed.ts |
75/75 pass, 100%覆盖 |
3.5 Reviewer(审查官)— 共调用 3 次
| 次数 |
场景 |
发现 |
结论 |
| 1 |
stage-01 初审 |
REV-001(HIGH): TS 版本不一致 |
FAILED |
| 2 |
stage-01 再审 |
修复确认 |
PASSED |
| 3 |
stage-02 审查 |
0 REV(仅记录 IEEE 754 观察) |
PASSED |
关键价值:跨模型(异种模型)发现了同模型链路的盲区——Schemer 声明的 5.8.0 在 npm 不存在,整个 Planner→Schemer→Executor 链路(均为 DeepSeek)均未察觉。
3.6 Tester(测试官)— 共调用 3 次
| 次数 |
场景 |
发现 |
结论 |
| 1 |
stage-01 验收 |
0 Bug, 36/36 全通过 |
PASSED |
| 2 |
stage-02 验收 |
BUG-001(high)+BUG-002(medium) |
FAILED |
| 3 |
stage-02 回归 |
Bug 已修复, 75/75 全通过 |
PASSED |
关键价值:Tester 的独立验收测试发现了 Executor 自测未覆盖的 IEEE 754 浮点精度边界情况(toFixed(1.005, 2) → 1 而非 1.01),验证了”自测与正式测试职责分离”的设计理念。
3.7 Archiver(归档官)— 共调用 2 次
| 次数 |
场景 |
关键产出 |
| 1 |
stage-01 归档 |
7 条知识条目,审查结论归档,日志索引链 |
| 2 |
stage-02 归档 |
4 条知识条目,Bug 公共结论,项目总结 |
四、问题闭环记录
4.1 REV-001(审查问题)
发现 → 修正方案 → 修正执行 → 再审 → 关闭
Reviewer → Schemer(op-006) → Executor → Reviewer → ✅ closed
4.2 BUG-001 & BUG-002(测试缺陷)
发现 → 修复方案 → 修复执行 → 回归测试 → 关闭
Tester → Schemer(op-011) → Executor → Tester → ✅ closed
五、最终质量指标
| 指标 |
目标 |
实际 |
达成 |
| 函数数量 |
6 |
6 |
✅ |
| 测试用例 |
≥18 |
75 |
✅ |
| 行覆盖率 |
≥80% |
100% |
✅ |
| 分支覆盖率 |
≥80% |
100% |
✅ |
| TypeScript 严格模式 |
0 error |
0 error |
✅ |
| Agent 全参与 |
7/7 |
7/7 |
✅ |
| REV 关闭 |
— |
1/1 closed |
✅ |
| Bug 关闭 |
— |
2/2 closed |
✅ |
| 阶段完成 |
2/2 |
2/2 done |
✅ |
| 知识条目 |
— |
11 条 |
✅ |
六、流水线耗时
由于所有 Agent 在同一会话中串行调用,实际耗时受限于:
| 阶段 |
Agent 调用数 |
主要耗时环节 |
| 初始化 + 研究 |
0 (Feel 本地) |
目录检查、Agent 定义读取 |
| Stage-01 正向 |
3 (Planner/Schemer/Executor) |
npm install + 编码 |
| Stage-01 修复 |
3 (Schemer/Executor/Reviewer) |
方案修正 + 再审 |
| Stage-01 验收 |
2 (Tester/Archiver) |
独立测试编写 + 归档 |
| Stage-02 正向 |
2 (Schemer/Executor) |
编码 |
| Stage-02 修复 |
3 (Schemer/Executor/Tester) |
Bug 修复 + 回归 |
| Stage-02 验收 |
2 (Reviewer/Archiver) |
审查 + 归档 |
注:实际耗时受 Agent 推理速度、npm 网络等因素影响。