Failure Monitor

Automated failure detection, diagnosis, and auto-repair system for cron jobs. Monitors task health, fixes common issues automatically, and requests human confirmation when needed.

Failure Monitor - 自动故障监控修复系统

智能守护你的定时任务系统

---

✨ 核心功能

🔍 自动检测失败

• ✅ 监控所有 cron jobs 运行状态
• ✅ 实时检测任务失败（lastStatus: error）
• ✅ 提取错误信息和堆栈跟踪
• ✅ 统计连续失败次数

🧠 智能诊断

• ✅ 超时问题：cron: job execution timed out
• ✅ 配置错误：Channel is required, unknown job id
• ✅ 权限问题：Permission denied, Access denied
• ✅ API 错误：API key invalid, Rate limit exceeded
• ✅ 网络错误：Network timeout, Connection refused
• ✅ 脚本错误：Script not found, Syntax error

🔧 自动修复

可自动修复的问题（无需人工确认）：

• ✅ 超时问题 → 增加 timeout（120s → 300s）
• ✅ 推送配置错误 → 更新 delivery 配置
• ✅ 文件权限 → 修复执行权限（chmod +x）
• ✅ 重复任务 → 删除重复的 cron job

需要人工确认的问题：

• ⚠️ API Key 失效 → 需要更新 API Key
• ⚠️ 脚本逻辑错误 → 需要修复脚本代码
• ⚠️ 外部服务故障 → 需要等待服务恢复
• ⚠️ 重大配置变更 → 需要用户确认

📊 通知和报告

• ✅ 自动修复成功 → 推送修复报告
• ✅ 需要人工介入 → 推送确认请求（包含问题详情）
• ✅ 用户确认后 → 执行修复并推送结果
• ✅ 完整日志 → 记录所有诊断和修复操作

---

🚀 使用方法

1. 自动监控模式（推荐）

将 failure-monitor 设置为定时任务，定期检查所有 cron jobs：

bash

openclaw cron add \
  --name "failure-monitor" \
  --cron "*/30 * * * *" \
  --tz "Asia/Shanghai" \
  --session isolated \
  --wake now \
  --deliver \
  --message "运行 failure-monitor: 检查所有定时任务状态，自动修复可修复的问题，需要人工时推送确认请求。报告格式用中文。"

运行频率：

• 每 30 分钟检查一次
• 或每小时检查一次（0 * * * *）

---

2. 手动触发

当收到失败通知时，手动运行诊断：

bash

node /Users/xufan65/.openclaw/workspace/skills/failure-monitor/scripts/diagnose.cjs

---

3. 查看监控报告

查看最近的监控和修复记录：

bash

cat /Users/xufan65/.openclaw/workspace/memory/failure-monitor-log.json

---

📋 工作流程

text

┌─────────────────┐
│  Cron Job 失败  │
└────────┬────────┘
         │
         ▼
┌─────────────────┐
│  错误检测器     │
│  - 检查状态     │
│  - 提取错误     │
│  - 统计次数     │
└────────┬────────┘
         │
         ▼
┌─────────────────┐
│  智能诊断器     │
│  - 分析错误类型 │
│  - 检查配置     │
│  - 生成方案     │
└────────┬────────┘
         │
         ▼
     能自动修复？
         │
    ┌────┴────┐
   Yes       No
    │          │
    ▼          ▼
┌───────┐  ┌──────────┐
│自动修复│  │推送确认  │
│- 执行  │  │- 详情    │
│- 记录  │  │- 等待    │
└───┬───┘  └────┬─────┘
    │           │
    ▼           ▼
┌─────────────────┐
│  推送报告       │
│  - 修复结果     │
│  - 需要操作     │
│  - 日志记录     │
└─────────────────┘

---

🔧 可自动修复的问题

错误类型	错误信息	修复方案	人工确认
超时	job execution timed out	增加 timeout（120s → 300s）	❌ 否
推送配置	Channel is required	更新 delivery.channel	❌ 否
权限	Permission denied	chmod +x script	❌ 否
重复任务	重复的 cron job	删除重复的任务	❌ 否
API Key	API key invalid	需要更新 API Key	✅ 是
脚本错误	Script not found	需要修复脚本	✅ 是
网络错误	Network timeout	需要检查网络	✅ 是

---

📊 配置文件

config/rules.json

定义自动修复规则：

json

{
  "autoFixRules": [
    {
      "errorPattern": "job execution timed out",
      "action": "increaseTimeout",
      "params": {
        "from": 120,
        "to": 300
      }
    },
    {
      "errorPattern": "Channel is required",
      "action": "updateDeliveryChannel",
      "params": {
        "channel": "discord"
      }
    }
  ],
  "notifyRules": {
    "autoFixSuccess": true,
    "needConfirmation": true,
    "cooldownMinutes": 60
  }
}

---

🔗 Discord 推送格式

自动修复成功

markdown

# ✅ 自动修复成功

**任务**: deals-noon
**问题**: 超时（120秒）
**修复**: 增加超时到 300 秒
**时间**: 2026-03-12 14:00:00

**详情**:
- 任务运行时间超过原超时设置
- 已自动将 timeout 从 120s 增加到 300s
- 下次运行应该正常

需要人工确认

markdown

# ⚠️ 需要人工介入

**任务**: content-research
**问题**: API Key 失效
**时间**: 2026-03-12 14:00:00

**错误详情**:

Error: TAVILY_API_KEY is invalid Please update your API key

text

**建议操作**:
1. 检查 TAVILY_API_KEY 环境变量
2. 更新到有效的 API Key
3. 重启任务

**回复 "确认" 执行修复，或 "忽略" 跳过**

---

📁 文件结构

text

skills/failure-monitor/
├── SKILL.md                      # 技能说明
├── scripts/
│   ├── monitor.cjs               # 主监控脚本
│   ├── diagnose.cjs              # 诊断脚本
│   ├── auto-fix.cjs              # 自动修复脚本
│   └── notify.cjs                # 通知脚本
├── config/
│   └── rules.json                # 自动修复规则
└── package.json                  # 依赖管理

---

🎯 最佳实践

1. 运行频率

• ✅ 推荐：每 30 分钟检查一次
• ✅ 可接受：每小时检查一次
• ❌ 不推荐：超过 2 小时（可能错过重要错误）

2. 通知设置

• ✅ 启用 OpenClaw 内置 Failure Alert（立即通知）
• ✅ 启用 failure-monitor（自动修复）
• ✅ 两者配合使用效果最佳

3. 人工确认

• ✅ 设置合理的冷却时间（避免重复通知）
• ✅ 明确说明需要的操作
• ✅ 提供详细的错误信息

---

🔐 安全考虑

• ✅ 权限限制：只修复配置问题，不修改代码
• ✅ 人工确认：重大操作需要用户确认
• ✅ 日志记录：所有操作都有完整日志
• ✅ 回滚机制：记录原始配置，支持回滚

---

📊 监控指标

• 总任务数: 11 个
• 失败任务: 实时统计
• 自动修复: 成功次数
• 人工介入: 需要确认的次数
• 平均恢复时间: 从失败到修复的时间

---

🚨 故障排除

Q: failure-monitor 自己失败了怎么办？

A: failure-monitor 使用 OpenClaw 内置的 Failure Alert，失败时会直接通知你。

Q: 如何查看修复历史？

A: 查看日志文件：

bash

cat /Users/xufan65/.openclaw/workspace/memory/failure-monitor-log.json

Q: 如何禁用自动修复？

A: 修改 config/rules.json，将 autoFixRules 设为空数组：

json

{
  "autoFixRules": []
}

---

📝 更新日志

v1.0.0 (2026-03-12)

• ✅ 初始版本
• ✅ 支持自动检测和诊断
• ✅ 支持自动修复常见问题
• ✅ 支持人工确认机制
• ✅ Discord 推送通知

---

🤝 贡献

欢迎提交 Issue 和 Pull Request！

GitHub: https://github.com/sunnyhot/failure-monitor

---

🎉 让你的定时任务系统更加健壮和可靠！