{"skill":{"slug":"finance-data-scraper","displayName":"Finance Data Scraper","summary":"完整的财经数据抓取Skill，包含： 1. 每日财经新闻（Chrome插件抓取） 2. 每日财经新闻（无头浏览器抓取） 3. 每日大盘数据 4. 每日热门板块数据 5. 每日涨停个股数据 6. Chrome浏览器Tab清理（防止内存溢出） 包含所有入库表配置、定时任务配置、去重规则等","description":"---\nname: finance-data-scraper\ndescription: |\n  完整的财经数据抓取Skill，包含：\n  1. 每日财经新闻（Chrome插件抓取）\n  2. 每日财经新闻（无头浏览器抓取）\n  3. 每日大盘数据\n  4. 每日热门板块数据\n  5. 每日涨停个股数据\n  6. Chrome浏览器Tab清理（防止内存溢出）\n  包含所有入库表配置、定时任务配置、去重规则等\n---\n\n# 财经数据抓取Skill（完整版）\n\n完整的财经数据抓取解决方案，包含多种抓取方式、入库配置、定时任务、内存清理等功能！\n\n---\n\n## 🚨 前置条件（必须满足！）\n1. **OpenClaw浏览器扩展已安装并连接**（用于Chrome插件抓取）\n2. **NocoDB配置已提供**（BASE_URL、TOKEN、各表ID）\n3. **sshpass已安装**（如果需要上传文件到服务器，可选）\n4. **Python 3.7+已安装**\n\n---\n\n## 📋 抓取任务总览\n\n| 任务编号 | 任务名称 | 抓取内容 | 入库表ID | 建议定时配置 | 抓取方式 |\n|---------|---------|---------|---------|-------------|---------|\n| 1 | 每日财经新闻（Chrome插件） | 东方财富财经导读、财联社等新闻 | 需用户提供（示例：`m2w****33m`） | `30 9,12,15,18 * * *`（每天4次） | Chrome浏览器插件（OpenClaw browser API） |\n| 2 | 每日财经新闻（无头浏览器） | 东方财富财经导读等新闻 | 需用户提供 | `0 9,12,15,18 * * *`（每天4次） | 无头浏览器（Playwright/Puppeteer） |\n| 3 | 每日大盘数据 | 每日大盘指数数据 | 需用户提供（示例：`mhmt****ibzo`） | `0 15:05 * * *`（每日收盘后） | 东方财富数据接口 |\n| 4 | 每日热门板块数据 | 每日一级行业板块涨幅TOP3 | 需用户提供（示例：`mcit****je27`） | `10 15 * * *`（每日15:10） | 东方财富数据接口 |\n| 5 | 每日涨停个股数据 | 每日涨停个股（代码/名称/涨幅/成交额/封单/连板数/行业等） | 需用户提供（示例：`mq8****ct7`） | `05 15 * * *`（每日15:05） | 东方财富数据接口 |\n| 6 | Chrome浏览器Tab清理 | 保留1个东方财富tab，关闭其他所有tab | 无 | `20,50 * * * *`（每小时20分和50分） | `scripts/cleanup_tabs.py` |\n\n---\n\n## 🔧 NocoDB统一配置（必须提供！）\n| 配置项 | 说明 | 示例值 |\n|-------|------|--------|\n| `BASE_URL` | NocoDB API基础URL | `https://nocodb.*****.com/api/v2` |\n| `TOKEN` | NocoDB API Token | 需用户提供 |\n| `TABLE_ID_NEWS` | 财经新闻入库表ID | 需用户提供 |\n| `TABLE_ID_MARKET` | 每日大盘数据入库表ID | 需用户提供 |\n| `TABLE_ID_PLATES` | 每日热门板块数据入库表ID | 需用户提供 |\n| `TABLE_ID_LIMIT_UP` | 每日涨停个股数据入库表ID | 需用户提供 |\n\n---\n\n## 📁 使用前准备\n\n### 步骤1：确认前置条件已满足\n- OpenClaw浏览器扩展已安装并连接\n- NocoDB配置信息已准备好\n\n### 步骤2：配置NocoDB\n复制 `config-examples/nocodb-config.example.json` 为 `nocodb-config.json`，填入你的配置：\n```bash\ncp config-examples/nocodb-config.example.json nocodb-config.json\n```\n\n### 步骤3：配置定时任务\n参考 `config-examples/cron-configs/` 目录下的示例配置，创建你的定时任务配置文件！\n\n---\n\n## 🔨 脚本使用说明\n\n### 1. Chrome浏览器Tab清理脚本\n**路径**：`scripts/cleanup_tabs.py`\n**功能**：防止浏览器tab过多造成内存溢出\n**策略**：\n- 保留**1个**东方财富标签页（必须有至少1个）\n- 关闭其他所有多余的东方财富标签页\n- 关闭所有非东方财富标签页\n**使用**：\n```bash\npython scripts/cleanup_tabs.py\n```\n\n### 2. NocoDB导入脚本\n**路径**：`scripts/import_to_nocodb.py`\n**功能**：批量导入财经新闻到NocoDB\n**去重规则**：按 `source` + `content` 组合去重\n**使用**：\n```bash\n# 使用最新的JSON文件\npython scripts/import_to_nocodb.py\n\n# 指定文件\npython scripts/import_to_nocodb.py /path/to/data.json\n```\n\n---\n\n## 📚 参考文档\n- `config-examples/`：配置示例（NocoDB配置、Cron配置）\n- `references/`：抓取规范文档（待补充）\n\n---\n\n## ⚠️ 注意事项\n1. **定时任务配置**：请根据你的实际情况调整定时时间（考虑交易时间）\n2. **内存管理**：务必配置Chrome浏览器Tab清理任务，防止内存溢出\n3. **去重规则**：财经新闻按 `source` + `content` 组合去重\n4. **板块数据规则**：仅保留一级行业，排除地域板块、细分行业和概念板块\n","tags":{"data":"1.0.1","finance":"1.0.1","latest":"1.0.1","scraping":"1.0.1"},"stats":{"comments":0,"downloads":336,"installsAllTime":0,"installsCurrent":0,"stars":0,"versions":2},"createdAt":1778139613322,"updatedAt":1779076258785},"latestVersion":{"version":"1.0.1","createdAt":1778143393121,"changelog":"修复隐私泄露问题：对NocoDB BASE_URL、各表ID等示例值进行了脱敏处理。","license":"MIT-0"},"metadata":null,"owner":{"handle":"hoovaycn","userId":"s17c94ncxf7zg6p8t4ey9v6jc1868m3y","displayName":"hoovaycn","image":"https://avatars.githubusercontent.com/u/213030021?v=4"},"moderation":{"isSuspicious":false,"isMalwareBlocked":false,"verdict":"clean","reasonCodes":["review.llm_review"],"summary":"Review: review.llm_review","engineVersion":"v2.4.24","updatedAt":1780090756875}}