Install
openclaw skills install @kokxi/qa-ai-output-critique对AI生成的测试用例进行八维评审(完整性、正确性、可执行性、风险覆盖、规范性、一致性、追溯性、冗余度),是AI生成用例后的第一个质量门禁。当AI刚刚生成了一大批测试用例、你需要确保这些用例真的有价值而不是"看起来不错"时,应当使用此技能。不要假设AI输出的都是对的——AI经常生成语义正确但实际操作不了的用例。每个维度评分低于7分的必须标注问题并使用MISSING/WRONG/VAGUE等规范格式标记。无上游场景树/风险清单时降级为六维评审(跳过追溯性、简化完整性)。 本技能属于 QA Test Skills 技能集(49 个技能之一),完整工作流体验需安装全套:npx skills add Kokxi/qa-test-skills
openclaw skills install @kokxi/qa-ai-output-critique⚠️ 本技能单独使用效果有限,建议配合完整技能集(12 步工作流)使用。安装:npx skills add Kokxi/qa-test-skills
⚠️ 安全警告:本技能的示例可能涉及测试用例整理、合并或删除建议。 实际使用时请勿直接执行批量删除操作,先备份原数据并确认非关键用例。 本技能仅在 workspace/ 输出评估文件,不持久化、不外传、不跨会话复用。
本技能分为四个阶段,按顺序执行:
阶段一:评审框架(八维评审法)
│
│ 使用八维评审法对AI输出进行系统打分
│ 输出:评审报告(评分 + 问题清单)
│
▼
阶段二:报告模板(输出格式)
│
│ 按标准格式输出评审结果
│ 输出:结构化评审报告
│
▼
阶段三:追问问法(深入挖掘)
│
│ 使用追问技巧引导发现问题
│ 输出:更深层的质量洞察
│
▼
阶段四:辅助工具(假设挖掘/反驳机制/投入产出评估)
│
│ 补充评审维度,提升评审深度
│ 输出:完整评审结论
关键点:阶段三的"追问问法"是在评审报告输出后使用的,用于引导发现更深层的问题,不是独立的评审体系。
如果缺少推荐输入:
| 缺少的输入 | 评审策略 | 降级处理 |
|---|---|---|
| 场景树 | 完整性评审 | 基于通用场景清单(主流程/分支/异常/边界) |
| 风险清单 | 风险覆盖评审 | 基于默认风险类型(资金/安全/并发/数据一致性) |
| 需求ID列表 | 追溯性评审 | 跳过,标记为"需补充追溯信息" |
有场景树 AND 有风险清单 → 模式A(完整评审)
否则 → 模式B(快速评审)
AI输出看起来都对,但专家能看出哪里不够。
评分标准:每维度10分,总分≥64分为合格。详见 references/review-dimensions.md。
| 维度 | 评分核心 | 核心关注 |
|---|---|---|
| 完整性 | 场景覆盖是否完整 | 主路径+分支+异常+边界 |
| 正确性 | 业务规则和预期是否正确 | 内容正确性 |
| 可执行性 | 步骤是否清晰可执行 | 可操作性 |
| 风险覆盖 | 高风险区域是否深测 | 资金/安全/并发/数据 |
| 规范性 | 格式是否符合标准 | 编号/表格/字段 |
| 追溯性 | 需求/风险ID是否完整 | 需求追溯链 |
| 一致性 | 用例间是否自相矛盾 | 前置与步骤匹配 |
| 冗余度 | 是否有无价值用例 | 重复/低价值用例 |
每维度的详细评分标准、评审清单和追问问法参见
references/review-dimensions.md。
国产模型(DeepSeek/通义/文心/豆包等)输出除八维通用评审外,需额外检查以下特有风险:
| 评审点 | 典型表现 | 处理 |
|---|---|---|
| 中文语义漂移 | 用例标题与步骤语义不一致(如标题"验证登录"步骤却在测注册) | 用"步骤是否支撑标题"反向核查,漂移即降分 |
| 数字/单位幻觉 | 超时值、并发数、金额单位凭空编造(如"P95<100ms"无依据) | 核对来源,无依据标注"MISSING:需基准数据" |
| 政策/合规表述 | 用例预期结果含不合规表述(如支付、个人信息处理) | 标注合规风险,提示对照监管要求 |
| 格式不稳定 | 表格列错位、编号断号(TC_001→TC_003)、中文标点混入 | 按规范性维度检查编号连续性 |
| 过度泛化 | 用例写得"像测试指南"而非"可执行用例"(步骤不可操作) | 按可执行性维度扣分,要求补具体步骤 |
| 伪正确性 | 预期结果"返回正确"但未定义什么算正确 | 要求预期结果可验证(具体状态码/字段值) |
评审动作:发现上述任一问题,按对应八维维度降分,并输出规范格式标记(MISSING/WRONG/VAGUE)+ 修正建议。
详见 references/report-templates.md,包含三种模板:
AI输出中常见的隐含假设:
| 假设类型 | 示例 | 验证方法 |
|---|---|---|
| 用户行为假设 | "用户会正常输入" | 追问:用户误输入怎么办? |
| 环境假设 | "网络正常" | 追问:网络异常时会怎样? |
| 数据假设 | "数据格式正确" | 追问:格式错误时怎么处理? |
| 时序假设 | "操作按顺序执行" | 追问:乱序执行会怎样? |
| 依赖假设 | "第三方服务正常" | 追问:第三方挂了怎么办? |
挖掘问法:
请列出你在输出中做的所有假设
哪些假设可能不成立?
如果假设不成立,测试场景会有什么变化?
当AI输出不满意时:
输出不满意
│
├── 完整性不够?
│ └── 补充场景:请补充[缺失的场景类型]
│
├── 深度不够?
│ └── 深入分析:请按[具体维度]深入分析
│
├── 风险覆盖不足?
│ └── 重点强化:请对[高风险区域]做专项测试
│
├── 有矛盾?
│ └── 修正一致性:请修正[具体矛盾点]
│
├── 冗余过多?
│ └── 精简用例:请合并或删除[低价值用例]
│
└── 不可执行?
└── 调整可行性:请确保[测试步骤]可实际执行
让AI挑战你的假设,而不是迎合你。
模式1:质量负责人视角
"请站在质量负责人角度,指出可能遗漏的业务风险、过度测试的地方,
以及上线前还需要确认的问题。"
模式2:故障反推视角
"请假设这个功能上线后出现严重问题,反推我现在的测试方案
可能漏掉了什么。"
模式3:资源约束视角
"测试资源有限,请评估这些用例的投入产出比,
哪些是必须测的,哪些可以简化或跳过。"
模式4:竞品对比视角
"如果竞争对手的同类功能比我们更稳定,可能是因为
他们多测了哪些我们没覆盖的场景?"
| 维度 | 评估标准 | 权重 |
|---|---|---|
| 业务价值 | 影响用户数×影响程度 | 40% |
| 风险等级 | 发生概率×影响程度 | 30% |
| 测试成本 | 用例数×执行时间 | 20% |
| 自动化潜力 | 是否适合自动化 | 10% |
| 用例类型 | 业务价值 | 风险等级 | 测试成本 | 建议 |
|---|---|---|---|---|
| P0+高风险 | 高 | 高 | 中 | 必须测试,优先自动化 |
| P0+低风险 | 高 | 低 | 低 | 必须测试,手动即可 |
| P1+高风险 | 中 | 高 | 中 | 必须测试,考虑自动化 |
| P1+低风险 | 中 | 低 | 低 | 选择性测试 |
| P2+高风险 | 低 | 高 | 中 | 评估后决定 |
| P2+低风险 | 低 | 低 | 低 | 可跳过或简化 |
ROI = (业务价值 × 风险等级) / 测试成本
示例:
用例A:业务价值=5, 风险等级=5, 测试成本=2
ROI = (5×5)/2 = 12.5 → 高ROI,优先测试
用例B:业务价值=2, 风险等级=2, 测试成本=5
ROI = (2×2)/5 = 0.8 → 低ROI,可简化
评审完成后检查: