OpenFeel

NumKit v1.0.0 测试全流程

生成时间:2026-06-27 项目:OpenFeel Agent 流水线体系端到端测试 测试对象:Feel / Planner / Schemer / Executor / Reviewer / Tester / Archiver(共 7 Agent)


一、测试背景

1.1 测试目标

在一个会话中走完完整的 OpenFeel 流水线(计划→方案→编码→审查→测试→归档),验证全部 7 个 Agent 的协作能力。同时通过真实的”发现问题-修复-回归”循环,检验流水线对异常情况的处理能力。

1.2 测试项目

NumKit — 一个 TypeScript 数字工具库,包含 6 个函数,分 2 个阶段交付。

阶段 函数 说明
stage-01 clamp / inRange / randomInt 核心工具函数 + 项目骨架搭建
stage-02 toFixed / sum / average 聚合计算函数

1.3 配置


二、完整执行流水线

阶段总览

用户指令
  │
  ▼
Feel(会话自检 + 研究 Agent + 开启 auto 模式)
  │
  ├─(1)─► Planner     ← 制定 roadmap + 2 stages + deps.yaml
  │
  ├─(2)─► Schemer     ← stage-01: op-001 ~ op-005
  │
  ├─(3)─► Executor    ← 编码 clamp/inRange/randomInt(15 测试, 100%覆盖)
  │
  ├─(4)─► Reviewer    ← 发现 REV-001(HIGH): TS 版本 5.8.0 vs 5.8.3 不一致
  │
  ├─(5)─► Schemer     ← 制定 op-006 修正方案
  ├─(6)─► Executor    ← 修改 op-001.md 版本声明
  ├─(7)─► Reviewer    ← 再审通过,REV-001 closed
  │
  ├─(8)─► Tester      ← 36/36 通过,0 Bug,100%覆盖
  │
  ├─(9)─► Archiver    ← 归档 stage-01,提取 7 条知识
  │
  ├─(10)─► Schemer    ← stage-02: op-007 ~ op-010
  │
  ├─(11)─► Executor   ← 编码 toFixed/sum/average(52 测试, 100%覆盖)
  │
  ├─(12)─► Reviewer   ← 0 REV,审查通过(仅记录 IEEE 754 观察)
  │
  ├─(13)─► Tester     ← 发现 BUG-001(high)+BUG-002(medium): toFixed 浮点精度
  │
  ├─(14)─► Schemer    ← 制定 op-011 Bug 修复方案
  ├─(15)─► Executor   ← 修复 toFixed(75 测试通过)
  ├─(16)─► Tester     ← 回归验证: 2 Bug closed, 全覆盖
  │
  └─(17)─► Archiver   ← 归档 stage-02 + 项目总结,新增 4 条知识

总计:17 次 Agent 调用,2 个阶段的完整闭环。


三、各 Agent 详细执行记录

3.1 Feel(总统领)

调用 动作 说明
初始 会话自检 检查 .openfeel 目录、创建缺失文件、读取 .info.json
初始 Agent 研究 读取全部 7 个 Agent 定义 + 8 个 Skill 定义
持续 配置管理 修改 config.yaml 开启 auto+enabled+test_enabled
持续 状态管理 每个阶段更新 flow.json、status.md、todos
决策 修复决策 发现 REV-001 时选择走 Schemer→Executor→Reviewer 闭环
决策 Bug 决策 发现 BUG-001/002 时走 Schemer→Executor→Tester 闭环

3.2 Planner(计划官)

3.3 Schemer(方案官)— 共调用 3 次

次数 场景 产出 问题
1 stage-01 初始方案 op-001~005(5 个) TypeScript 版本 5.8.0 在 npm 不存在
2 REV-001 修正方案 op-006(版本声明修正) —
3 Bug 修复方案 op-011(toFixed 算法修复) —

3.4 Executor(执行官)— 共调用 4 次

次数 场景 产出 测试结果
1 stage-01 编码 7 源文件 15/15 pass, 100%覆盖
2 op-006 修正 修改 op-001.md 自测通过
3 stage-02 编码 6 新文件 52/52 pass, 100%覆盖
4 op-011 修复 修改 toFixed.ts 75/75 pass, 100%覆盖

3.5 Reviewer(审查官)— 共调用 3 次

次数 场景 发现 结论
1 stage-01 初审 REV-001(HIGH): TS 版本不一致 FAILED
2 stage-01 再审 修复确认 PASSED
3 stage-02 审查 0 REV(仅记录 IEEE 754 观察) PASSED

关键价值:跨模型(异种模型)发现了同模型链路的盲区——Schemer 声明的 5.8.0 在 npm 不存在,整个 Planner→Schemer→Executor 链路(均为 DeepSeek)均未察觉。

3.6 Tester(测试官)— 共调用 3 次

次数 场景 发现 结论
1 stage-01 验收 0 Bug, 36/36 全通过 PASSED
2 stage-02 验收 BUG-001(high)+BUG-002(medium) FAILED
3 stage-02 回归 Bug 已修复, 75/75 全通过 PASSED

关键价值:Tester 的独立验收测试发现了 Executor 自测未覆盖的 IEEE 754 浮点精度边界情况(toFixed(1.005, 2) → 1 而非 1.01),验证了”自测与正式测试职责分离”的设计理念。

3.7 Archiver(归档官)— 共调用 2 次

次数 场景 关键产出
1 stage-01 归档 7 条知识条目,审查结论归档,日志索引链
2 stage-02 归档 4 条知识条目,Bug 公共结论,项目总结

四、问题闭环记录

4.1 REV-001(审查问题)

发现 → 修正方案 → 修正执行 → 再审 → 关闭
Reviewer → Schemer(op-006) → Executor → Reviewer → ✅ closed

4.2 BUG-001 & BUG-002(测试缺陷)

发现 → 修复方案 → 修复执行 → 回归测试 → 关闭
Tester → Schemer(op-011) → Executor → Tester → ✅ closed

五、最终质量指标

指标 目标 实际 达成
函数数量 6 6 ✅
测试用例 ≥18 75 ✅
行覆盖率 ≥80% 100% ✅
分支覆盖率 ≥80% 100% ✅
TypeScript 严格模式 0 error 0 error ✅
Agent 全参与 7/7 7/7 ✅
REV 关闭 — 1/1 closed ✅
Bug 关闭 — 2/2 closed ✅
阶段完成 2/2 2/2 done ✅
知识条目 — 11 条 ✅

六、流水线耗时

由于所有 Agent 在同一会话中串行调用,实际耗时受限于:

阶段 Agent 调用数 主要耗时环节
初始化 + 研究 0 (Feel 本地) 目录检查、Agent 定义读取
Stage-01 正向 3 (Planner/Schemer/Executor) npm install + 编码
Stage-01 修复 3 (Schemer/Executor/Reviewer) 方案修正 + 再审
Stage-01 验收 2 (Tester/Archiver) 独立测试编写 + 归档
Stage-02 正向 2 (Schemer/Executor) 编码
Stage-02 修复 3 (Schemer/Executor/Tester) Bug 修复 + 回归
Stage-02 验收 2 (Reviewer/Archiver) 审查 + 归档

注:实际耗时受 Agent 推理速度、npm 网络等因素影响。