skills-monitor

AI Skills 一站式监控评估平台 — 7因子评估引擎、跨模型基准评测、中心化 Dashboard、智能推荐

🩺 Skills Monitor — AI Skills 监控评估平台

🎯 对 AI Skills 进行采集、评估、对比、推荐、诊断、上报的一站式监控系统

✨ 核心能力

1. 7因子综合评估引擎

对每个 Skill 从 成功率、延迟、质量、成本、稳定性、社区热度、兼容性 七个维度进行量化评分，输出 0-100 综合得分。

2. 跨模型基准评测 (TOP1000 × 6 Models)

内置 1000 个热门 Skills 在 6 大主流模型上的完整评测数据：

• Claude Opus 4.6 / GPT-5.4 / Gemini 3.0 Pro
• GLM-5 / MiniMax 2.5 / DeepSeek 3.2
• 支持 mock (零成本模拟) 和 live (真实 API 调用) 两种模式
• 按 Skill × Model 精确返回差异化基准分数

3. 智能推荐引擎

• 基于评估得分 + 用户场景自动推荐最优 Skill
• 互补推荐：根据已安装 Skills 的空缺领域推荐
• 升级推荐：发现更优替代方案
• ClawHub 社区数据联动

4. 诊断报告系统

• 自动生成健康度评分 + 问题发现 + 优化建议
• 支持定时自动诊断 + 安装后自动诊断
• Markdown 格式报告，支持企微/微信推送

5. 中心化 Dashboard

• Web 实时面板（支持 PWA 移动端）
• 多 Agent 统一管理
• 微信小程序端查看
• 企业微信/微信公众号推送通知

6. 安全与合规

• OS Keychain 集成 (keyring)，零明文存储
• 敏感信息自动脱敏引擎
• GDPR 合规管理

🚀 快速开始

安装

通过 SkillsHUB 一键安装：

bash

# 方式一：SkillsHUB CLI
skills install skills-monitor

# 方式二：手动安装
python install_skills.py skills-monitor

初始化

bash

# 初始化身份（生成 Agent ID + API Key）
skills-monitor init

# 查看身份信息
skills-monitor identity --show-key

基本使用

bash

# 查看系统状态
skills-monitor status

# 列出已安装 Skills
skills-monitor list

# 运行单个 Skill 并采集数据
skills-monitor run <skill-slug> [task]

# 7因子综合评估
skills-monitor evaluate --skill <slug>
skills-monitor evaluate              # 评估所有 Skills

# 基准评测
skills-monitor benchmark <slug> --runs 20

# 查询大模型基准分数
skills-monitor baseline <slug> --model claude-opus-4.6

# 对比分析
skills-monitor compare <slug>

# 智能推荐
skills-monitor recommend

# 生成综合日报
skills-monitor report

# 生成诊断报告（含推送）
skills-monitor diagnose --send

# 上报数据到中心化服务器
skills-monitor upload --server https://your-server.com --register

启动 Dashboard

bash

# 本地 Web 面板
skills-monitor web --port 5050

# 中心化服务器（含 API + 微信回调 + PWA）
skills-monitor server --port 5100

作为 Python 库使用

python

from skills_monitor import (
    SkillEvaluator,
    SkillRecommender,
    DiagnosticReporter,
    BatchBenchmark,
    ReportGenerator,
    DataUploader,
)

# 7因子评估
evaluator = SkillEvaluator(store, agent_id)
score = evaluator.evaluate_skill("your-skill-slug")

# 跨模型基准评测
bench = BatchBenchmark(mode="mock")
baseline = bench.get_baseline_for_skill("your-skill-slug", "claude-opus-4.6")

# 智能推荐
recommender = SkillRecommender(registry, store, agent_id)
recs = recommender.get_all_recommendations(max_per_type=5)

# 诊断报告
diag = DiagnosticReporter(store=store, registry=registry, agent_id=agent_id)
content, filepath = diag.generate_and_save(trigger="manual")

# 数据上报
uploader = DataUploader("https://your-server.com")
uploader.init(agent_id, api_key)
uploader.upload_daily()

📊 支持的命令

命令	说明
init	初始化身份（生成 Agent ID + API Key）
identity	查看身份信息
status	查看系统状态
list	列出已安装 Skills
evaluate	7因子综合评估
benchmark	基准评测运行
baseline	查询大模型基准分数
compare	对比分析
recommend	智能推荐
report	生成综合日报
diagnose	生成诊断报告（含推送）
upload	数据上报到中心化服务器
dashboard	启动 Web 面板
server	启动中心化服务器

🏗️ 架构

text

skills-monitor/
├── skills_monitor/              # 核心 Python 包
│   ├── core/                    # 核心逻辑层
│   │   ├── identity.py          # 身份管理
│   │   ├── evaluator.py         # 7因子评估引擎
│   │   ├── benchmark.py         # 基准运行器
│   │   ├── recommender.py       # 推荐引擎
│   │   ├── diagnostic.py        # 诊断报告
│   │   ├── reporter.py          # 报告生成器
│   │   ├── uploader.py          # 数据上报
│   │   ├── llm_baseline.py      # LLM 基准评测
│   │   └── ...                  # 更多模块
│   ├── adapters/                # 适配器层
│   │   ├── skill_registry.py    # Skill 注册发现
│   │   ├── clawhub_client.py    # ClawHub 社区
│   │   └── runners.py           # 运行适配器
│   └── data/                    # 数据层
│       ├── store.py             # SQLite 存储
│       ├── gdpr_manager.py      # GDPR 合规
│       └── top1000_skills_dataset.json
├── server/                      # 中心化服务器
├── miniprogram/                 # 微信小程序
├── main.py                      # Skill 入口
├── skill.json                   # Skill 配置
└── requirements.txt             # 依赖清单

📦 依赖

• Python >= 3.9
• Flask >= 2.3.0
• Flask-SQLAlchemy >= 3.0.0
• requests >= 2.28.0
• pandas >= 1.5.0
• APScheduler >= 3.10.0
• keyring >= 25.0.0
• python-dotenv >= 1.0.0

🔗 生态集成

• ClawHub: 社区热度数据、Skill 下载安装
• 企业微信: 诊断报告推送
• 微信公众号: 报告查看 + 消息通知
• 微信小程序: 移动端 Dashboard
• PWA: 渐进式 Web 应用支持

📄 许可证

GPL-3.0

👤 作者

MerkyorLynn — GitHub