基于 NumKit v1.0.0 全流水线端到端测试中遇到的 12 个实际问题 分类:机制缺陷 | 流程摩擦 | 设计建议 | 安全考虑
严重程度:🔴 高
发现场景:Planner 将 pipeline.phase 设为 "planned",但该值不在合法的 PipelinePhase 枚举中。后续 openfeel flow advance 命令因”phase 值不合法”报错,导致流水线卡住。
影响:自动推进的核心状态机被污染,CLI 工具无法继续推进。
改进建议:
plan_pending | plan_review | plan_passed | scheme_pending | ... | done)openfeel flow advance 在遇到非法 phase 时,应自动修复为最近合法值(如 "planned" → "plan_pending")并给出警告,而非直接报错退出严重程度:🔴 高
发现场景:在手动编辑 flow.json 时,因 edit 工具匹配问题导致 JSON 出现重复字段("retry": 0 出现了两次),文件变为非法 JSON。后续 openfeel flow status 直接报”流水线未初始化”。
影响:一次编辑错误导致整个流水线状态丢失感知。
改进建议:
flow status 读取时应做容错解析(JSON5/宽松模式),非法字段给出 warning 而非直接报不存在openfeel flow repair 命令,自动修复常见格式问题openfeel flow advance 命令行为不透明严重程度:🟡 中
发现场景:在执行 openfeel flow advance --op stage-01.scheme --to scheme_pending 时,返回”无法从当前阶段推进(不合法或 op 不存在)”,但未说明具体的合法转换路径、当前阶段的实际值、op 需要满足什么条件。
影响:Feel 无法判断是参数错误还是状态错误,调试困难。
改进建议:
openfeel flow valid-transitions 命令,显示当前阶段的可达下一阶段--force 标志允许跳过校验(用于修复场景)严重程度:🟡 中
发现场景:Schemer 在 op-001 中声明 TypeScript 版本 5.8.0,但该版本在 npm registry 上不存在。Executor 被迫安装了 5.8.3,导致 Reviewer 发现 REV-001。
影响:方案与实际脱节,需要额外修正闭环。
改进建议:
npm view <package> versions --json 验证该版本是否存在严重程度:🟡 中
发现场景:REV-001 只是 op-001.md 中一处版本号从 5.8.0 改为 5.8.3 的纯文本修正。但流程走了完整闭环:Reviewer→Schemer(op-006)→Executor→Reviewer(4 次 Agent 调用)。
影响:简单操作被复杂流程放大,效率受损。
改进建议:
可自动修复 标记——若 Reviewer 判断修复方案明确且无歧义,可跳过 Schemer严重程度:🟡 中 发现场景:stage-02 的 op-007/008/009(三个独立函数)在方案中声明可并行,但 Executor 被调用一次串行执行。stage-01 和 stage-02 也未尝试并行启动。
影响:总耗时增加,未发挥流水线的并行优势。
改进建议:
严重程度:🟢 低 发现场景:op-001(项目骨架搭建)粒度极细(精确到每行 JSON),而 op-007~009(三个函数)粒度适中。如果项目更大,Schemer 的粒度把控可能出现”过细”或”过粗”。
影响:过细则 ops 数量爆炸,过粗则 Executor 需自主决策——违背”Executor 不做决策”的原则。
改进建议:
描述:目前流水线状态分散在 flow.json、各 stage 的 status.md、config.yaml 中。没有一个统一的健康检查。
提议:
openfeel flow health # 检查一致性:flow.json phase ↔ status.md ↔ 实际文件
可检查:
openfeel flow 的交互模式描述:当前 CLI 是纯命令式,Feel 需要反复尝试不同的参数组合。
提议:
openfeel flow wizard # 交互式推进流水线
引导 Feel 完成:
描述:测试中 Reviewer 记录了 IEEE 754 问题为”非阻塞观察”但 Tester 将其作为正式 Bug 提交。两者对同一问题的判定标准不同。
提议:
→ Tester 重点关注 标记,传递给 Tester描述:当前 op 编号(op-001~011)是全局递增的,但跨 stage 时容易混淆。op-006 属于 stage-01 还是 stage-02?需要看文件路径才知道。
提议:
s1-op-001、s2-op-001描述:当前知识库是”写入型”——Archiver 提取经验写入 kb/。但 Agent 在执行时不会主动查询知识库。
提议:
openfeel knowledge search <关键词> 查询相关知识npm install 无超时和重试保护严重程度:🟡 中
发现场景:在 stage-01 编码时,npm install 依赖网络状态。如果网络不可用,Executor 可能卡死或重试 3 次后放弃。
改进建议:
严重程度:🟡 中 发现场景:使用 edit 工具修改 flow.json 时,因匹配字符串不精确导致 JSON 结构损坏。
改进建议:
python -m json.tool flow.json)严重程度:🟡 中
发现场景:文档中虽提到 task_claim.md 的 🔒 锁定机制,但在本次测试中未实际使用。stage-02 的 op-010(更新 index.ts)如果与 stage-01 并行执行,可能冲突。
改进建议:
task_claim.md 声明文件锁openfeel lock check 命令查看当前文件锁状态严重程度:🟢 低 发现场景:多处 CLI 命令返回”无法推进(不合法或 op 不存在)”,没有上下文。
改进建议:
无法推进:当前阶段为 plan_pending,目标 scheme_pending 不存在合法转换路径。可用转换:plan_pending → plan_passed。提示:请先完成计划审查或将 phase 改为 plan_passed。严重程度:🟢 低 发现场景:新项目启动时,需要手动创建大量 .openfeel 目录和文件。
改进建议:
openfeel init # 一键初始化 .openfeel 工作区
openfeel init --demo # 创建带示例的 NumKit 项目骨架
| 优先级 | 问题编号 | 建议 |
|---|---|---|
| 🔴 P0 | #1, #2 | Phase 枚举校验 + flow.json 事务性读写 |
| 🟡 P1 | #3, #4, #5 | CLI 错误信息 + npm 版本验证 + 轻量修正 |
| 🟡 P1 | #6, #7 | 并行调度 + 方案粒度指南 |
| 🟢 P2 | #8, #9, #10 | 网络保护 + JSON 安全编辑 + 文件锁 |
| 🟢 P2 | #11, #12 | 错误信息优化 + 快速初始化 |
| 💡 建议 | 建议 1~5 | 健康检查、交互模式、角色边界、命名空间、知识检索 |
经过 17 次 Agent 调用的完整端到端测试,OpenFeel 体系的核心设计被验证是有效且自洽的:
整体评价:OpenFeel 是一套有清晰设计哲学且实际可用的 Agent 协作体系,当前处于”概念验证成功,需要工程加固”的阶段。