Install
openclaw skills install @kokxi/qa-expert-review当 AI 生成的测试用例已经过输出评审和盲区补盲、准备终审上线时使用此技能。由资深测试对 AI 输出的用例做人工抽样校验,从业务有效性、场景完整性、可执行性三个维度做最后把关。⚠️ 如果发现系统性问题(比如遗漏了某个关键模块),需要回退修正并记录到 Prompt 优化反馈库。专家评审不是走形式——发现的问题必须闭环。 本技能属于 QA Test Skills 技能集(49 个技能之一),完整工作流体验需安装全套:npx skills add Kokxi/qa-test-skills
openclaw skills install @kokxi/qa-expert-review⚠️ 本技能单独使用效果有限,建议配合完整技能集(12 步工作流)使用。安装:npx skills add Kokxi/qa-test-skills
专家评审不是挑错,而是建立"AI生成→专家校验→持续优化"的正向循环。
抽样方法:
├─ 随机抽样:10-20%的用例
├─ 分层抽样:P0用例100%覆盖,P1抽样50%,P2抽样20%
├─ 风险抽样:高风险用例100%覆盖
└─ 新功能抽样:新功能用例100%覆盖
抽样公式:
总用例数 < 50 → 全量评审
总用例数 50-200 → 20%抽样
总用例数 > 200 → 10%抽样 + P0全量
| 维度 | 检查点 | 权重 |
|---|---|---|
| 完整性 | 是否覆盖所有需求点? | 30% |
| 准确性 | 测试步骤和预期结果是否正确? | 25% |
| 可执行性 | 步骤是否清晰可执行? | 20% |
| 风险覆盖 | 高风险区域是否深测? | 15% |
| 规范性 | 格式是否符合标准? | 10% |
校正标记格式:
├─ [C-001] 问题类型:描述问题
├─ [C-002] 问题类型:描述问题
└─ ...
问题类型:
├─ MISSING:缺失场景
├─ WRONG:步骤/预期错误
├─ VAGUE:描述模糊
├─ REDUNDANT:冗余用例
├─ RISK:风险覆盖不足
└─ FORMAT:格式不规范
# 专家评审报告
## 评审摘要
- 评审ID:REV-XXXX
- 评审日期:YYYY-MM-DD
- 评审专家:[姓名]
- 用例总数:XX条
- 抽样数量:XX条(抽样比例XX%)
## 评审结果
| 维度 | 评分 | 问题数 |
|------|------|--------|
| 完整性 | X/10 | X个 |
| 准确性 | X/10 | X个 |
| 可执行性 | X/10 | X个 |
| 风险覆盖 | X/10 | X个 |
| 规范性 | X/10 | X个 |
| 综合评分 | X/10 | - |
## 问题清单
| 用例编号 | 问题类型 | 问题描述 | 校正建议 |
|---------|---------|---------|---------|
| TC_XXX_001 | MISSING | 缺少并发场景 | 补充并发测试用例 |
| TC_XXX_002 | VAGUE | 步骤描述模糊 | 明确操作步骤 |
## 学习要点
1. 高频问题:[问题模式]
2. 改进方向:[具体建议]
3. Prompt优化:[优化建议]
## 元学习建议
- 更新checklist:[新增检查项]
- 优化prompt:[提示词调整]
- 补充技能:[需要增强的技能]
| 维度 | 常见问题现象 | 重点关注 | 通过标准 |
|---|---|---|---|
| 完整性 | 缺少某个需求点/场景 | 需求追溯ID是否全部覆盖 | 每个需求点≥1条用例 |
| 准确性 | 预期结果与实际不符 | 业务规则是否正确应用 | 预期结果=需求定义 |
| 可执行性 | 步骤模糊/依赖不明确 | 新人能否按步骤执行 | 按步骤可复现 |
| 风险覆盖 | 高风险区域用例不够深 | 资金/安全/并发是否深测 | 高风险区域≥3条用例 |
| 规范性 | 格式不统一/字段缺失 | 是否使用标准模板 | 模板字段完整率100% |
| 问题类型 | 严重 | 一般 | 轻微 |
|---|---|---|---|
| MISSING | 核心功能缺失 | 非核心功能缺失 | 边缘场景缺失 |
| WRONG | 预期结果方向错误 | 步骤顺序错误 | 步骤表述不精确 |
| VAGUE | 完全无法执行 | 需少量猜测 | 措辞可优化 |
| RISK | 资金/安全未覆盖 | 非功能未覆盖 | 兼容性/体验未覆盖 |
| REDUNDANT | 完全重复且P0 | 场景重叠 | 边界略有重叠 |
| FORMAT | 完全无格式 | 部分字段缺失 | 格式可微调 |
收集内容:
├─ 问题类型分布
├─ 高频问题模式
├─ 专家校正建议
├─ 用例质量趋势
└─ 改进效果跟踪
存储格式:
{
"review_id": "REV-001",
"date": "2024-01-01",
"issues": [
{
"type": "MISSING",
"count": 5,
"pattern": "缺少并发场景",
"correction": "补充并发测试"
}
],
"learning_points": [...]
}
识别方法:
├─ 问题聚类:识别相似问题
├─ 趋势分析:问题数量变化
├─ 根因分析:为什么会出现这个问题
└─ 改进验证:改进措施是否有效
输出:
├─ 高频问题TOP5
├─ 问题趋势图
├─ 改进建议
└─ 效果评估
优化流程:
1. 分析校正数据
2. 识别Prompt不足
3. 生成优化建议
4. 测试优化效果
5. 持续迭代
优化示例:
原Prompt:"生成登录模块的测试用例"
优化后:"生成登录模块的测试用例,需覆盖:
1. 正常登录流程
2. 异常场景(密码错误、账号锁定)
3. 边界条件(密码长度、特殊字符)
4. 并发场景(多设备同时登录)
5. 安全场景(SQL注入、XSS)"
AI生成了20条登录模块测试用例 → 抽样策略:按风险分层抽8条(P0全抽、P1抽50%、P2抽20%) → 评审维度:
用户说"评审一下这个AI生成的用例" → 自动化评审流程:抽样→校验→校正→输出评审报告+Prompt优化建议
评审完成后检查: