Agent Regression Testing

Dev Tools

管理回归测试计划、执行回归测试用例、验证缺陷修复。 Use when: 用户说"开始回归测试"、"验证缺陷修复"、"执行回归验证"。

Install

openclaw skills install agent-regression-testing

Agent Regression Testing - 智能体回归验证

飞书文档写入位置

知识库: 7616288931050507220
节点: 效果评测/回归测试报告

管理回归测试计划、执行回归测试用例、验证缺陷修复。

触发条件

当用户需要以下操作时触发:

  • "开始回归测试"
  • "验证缺陷修复"
  • "执行回归验证"
  • "生成回归报告"
  • "回归测试计划"

功能

提供回归测试全流程管理:

  • 回归测试范围确定
  • 回归测试用例选择
  • 回归测试计划制定
  • 回归测试执行
  • 缺陷修复验证
  • 回归测试报告生成

使用方法

回归测试计划:
- 版本信息: [版本号]
- 变更内容: [变更描述]
- 影响范围: [影响模块]
- 回归范围: [测试范围]
- 回归用例数: [X]个
- 预计执行时间: [X]小时

回归用例选择:
- 核心功能用例: [X]个
- 缺陷相关用例: [X]个
- 关联模块用例: [X]个
- 基础功能用例: [X]个

缺陷修复验证:
- 缺陷ID: [BUG-XXX]
- 缺陷描述: [描述]
- 修复版本: [版本号]
- 验证结果: [通过/失败]
- 验证备注: [备注]

回归测试执行:
- 执行日期: [日期]
- 执行人: [执行人]
- 测试环境: [环境]
- 执行结果:
  - 通过: [X]个
  - 失败: [X]个
  - 阻塞: [X]个
- 通过率: [X%]

回归结论:
- 是否通过: [是/否]
- 遗留问题: [问题列表]
- 发布建议: [建议]

回归测试策略

1. 全量回归

  • 适用场景: 核心版本发布、架构变更、重大重构
  • 优点: 覆盖全面,风险最低
  • 缺点: 耗时较长,资源消耗大
  • 触发条件:
    • 版本号升级(如 v1.0 → v2.0)
    • 架构级变更(如单体→微服务)
    • 核心框架升级(如 Python 3.10 → 3.12)
    • 数据库结构变更

2. 选择性回归

  • 适用场景: 局部功能修改、缺陷修复、小版本迭代
  • 优点: 效率高,针对性强
  • 缺点: 可能遗漏关联问题
  • 选择标准:
优先级选择标准说明示例
P0修改模块的核心用例直接修改的功能修改了创建接口 → 执行创建相关用例
P0历史缺陷相关用例该模块曾出现缺陷智能体模块曾有问题 → 执行该模块用例
P1与修改相关的功能用例上下游关联功能修改了创建 → 执行列表、详情用例
P1基础功能用例公共基础功能登录、权限、日志等
P2其他模块抽样用例非直接关联模块抽样执行其他模块用例

3. 自动化回归

  • 适用场景: 每日构建、持续集成、冒烟测试
  • 优点: 快速、可重复、无人值守
  • 触发时机:
    • 每次代码提交后
    • 每日定时(如每晚22:00)
    • 发布前自动执行
    • 手动触发

4. 回归策略选择矩阵

变更类型建议策略回归范围预计耗时
缺陷修复(单点)选择性回归缺陷模块 + 关联模块2-4小时
功能优化(局部)选择性回归修改模块 + 核心功能4-8小时
新功能上线(模块级)选择性回归新模块 + 关联模块 + 核心功能1-2天
版本迭代(迭代级)选择性回归全量P0 + 修改模块P12-3天
大版本发布(系统级)全量回归所有用例1-2周
架构重构(架构级)全量回归所有用例 + 专项测试2-4周

回归测试流程

阶段1:准备阶段

1. 分析变更影响
   - 获取变更清单(代码变更、配置变更、数据变更)
   - 评估影响范围(模块级、功能级、接口级)
   - 识别风险点(高风险功能、历史问题区域)
   ↓
2. 确定回归范围
   - 选择回归策略(全量/选择性/自动化)
   - 确定回归用例集
   - 评估回归工作量
   ↓
3. 制定回归计划
   - 制定时间表
   - 分配资源
   - 准备环境

阶段2:执行阶段

4. 执行回归测试
   - 冒烟测试(环境可用性)
   - 核心功能回归(P0用例)
   - 全量回归(根据策略)
   - 实时记录结果
   ↓
5. 验证缺陷修复
   - 获取待验证缺陷清单
   - 执行缺陷验证用例
   - 更新缺陷状态
   - 记录验证结果

阶段3:评估阶段

6. 生成回归报告
   - 汇总执行结果
   - 统计通过率
   - 分析失败原因
   - 整理遗留问题
   ↓
7. 风险评估
   - 功能风险评估
   - 性能风险评估
   - 安全风险评估
   - 兼容性风险评估
   ↓
8. 发布决策
   - 通过:可以发布
   - 有条件通过:修复后发布
   - 不通过:不能发布

回归测试准入准出

准入标准(开始回归前必须满足)

准入项要求检查方式
代码冻结代码已冻结,不再变更代码分支状态
冒烟通过核心功能冒烟测试100%通过冒烟测试报告
环境就绪回归环境已搭建,配置正确环境检查
用例准备回归用例已确定并评审用例清单
缺陷修复计划修复的缺陷已修复缺陷状态

准出标准(回归通过必须满足)

准出项要求说明
P0用例通过率100%核心功能必须全部通过
P1用例通过率≥95%重要功能允许少量失败
P2用例通过率≥80%一般功能允许失败
缺陷修复率100%计划修复的缺陷必须验证通过
新增缺陷无P0级缺陷回归期间未发现严重问题
遗留问题有明确规避方案遗留问题不影响核心功能

发布风险评估

风险等级定义

风险等级判定标准处理建议
🟢 低风险P0通过率100%,无遗留问题可以发布
🟡 中风险P0通过率100%,有低风险遗留问题修复后发布
🟠 高风险P0通过率<100%,或有P1遗留问题修复后重新回归
🔴 极高风险有P0级缺陷未修复禁止发布

发布决策矩阵

回归结果遗留问题建议决策
全量通过✅ 立即发布
全量通过低风险问题✅ 修复后发布
核心通过,一般失败⚠️ 评估后发布
核心通过,一般失败有风险问题❌ 修复后重新回归
核心未通过-❌ 禁止发布

输出

  • 回归测试计划
  • 回归用例清单
  • 回归测试执行记录
  • 缺陷修复验证记录
  • 回归测试报告

报告模板

# 回归测试报告

## 1. 基本信息
- 版本号: [版本]
- 回归日期: [日期]
- 执行人: [执行人]
- 测试环境: [环境]

## 2. 变更说明
- 变更内容: [描述]
- 影响范围: [范围]

## 3. 回归范围
- 回归用例总数: [X]个
- 核心功能用例: [X]个
- 缺陷相关用例: [X]个
- 关联模块用例: [X]个

## 4. 执行结果
- 通过: [X]个 ([Y]%)
- 失败: [X]个 ([Y]%)
- 阻塞: [X]个 ([Y]%)
- 未执行: [X]个 ([Y]%)

## 5. 缺陷修复验证
| 缺陷ID | 描述 | 验证结果 | 备注 |
|--------|------|----------|------|
| BUG-001 | [描述] | 通过 | - |

## 6. 遗留问题
- [问题列表]

## 7. 结论与建议
- 回归结论: [通过/不通过]
- 发布建议: [建议]