虾抓抓 v4.0 - 超强内容抓取技能
原名：xia-zhua-zhua，又称Content Catcher
升级亮点 (v4.0)
| 新功能 | 说明 |
|---|
| PDF导出 | 直接导出为PDF |
| 多模态提取 | 图片/音频/视频资源 |
| 结构化抽取 | 表格/列表/卡片智能识别 |
| 增量监测 | 页面更新自动提醒 |
| 翻译集成 | 抓取后自动翻译 |
| 深度渲染 | 完整JS动态内容 |
核心能力
1. 网页内容抓取
| 模式 | 命令 | 说明 |
|---|
| 标准模式 | node markdown-clip.js <url> | CSS选择器 |
| Smart模式 | node markdown-clip.js <url> --smart | Readability AI |
| 分析模式 | node markdown-clip.js <url> --analyze | 摘要+关键词 |
2. 视频下载
| 命令 | 说明 |
|---|
python video_catcher_pro.py ytdlp <url> | yt-dlp下载 |
python video_catcher_pro.py m3u8 <url> | M3U8下载 |
v4.0 新增功能
多模态提取
# 提取图片资源
node content-extractor.js <url> --images
# 提取所有媒体
node content-extractor.js <url> --media
PDF导出
# 导出为PDF
node content-extractor.js <url> --pdf
# Markdown + PDF双导出
node content-extractor.js <url> --both
结构化抽取
# 智能识别表格
node content-extractor.js <url> --tables
# 识别列表数据
node content-extractor.js <url> --lists
增量监测
# 监测页面更新
node content-watcher.js <url> --watch
# 设置更新提醒
node content-watcher.js <url> --watch --notify
翻译功能
# 翻译为英文
node content-extractor.js <url> --translate en
# 翻译为日文
node content-extractor.js <url> --translate jp
技术架构
┌─────────────────────────────────────────────────────────┐
│ Content Catcher v4.0 │
├─────────────────────────────────────────────────────────┤
│ │
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │
│ │ Playwright │ │ Turndown │ │ yt-dlp │ │
│ │ (渲染) │ │ (Markdown) │ │ (视频) │ │
│ └──────┬──────┘ └──────┬──────┘ └─────────────┘ │
│ │ │ │
│ ┌──────▼──────┐ ┌──────▼──────┐ │
│ │ 多模态提取 │ │ 结构化 │ │
│ │ 图片/音频 │ │ 表格/列表 │ │
│ └─────────────┘ └─────────────┘ │
│ │ │
│ ┌──────▼──────┐ │
│ │ 输出格式 │ │
│ │ Markdown │ │
│ │ PDF │ │
│ │ JSON │ │
│ └─────────────┘ │
└─────────────────────────────────────────────────────────┘
升级对比
| 功能 | v2.x | v3.x | v4.x |
|---|
| Markdown | ✅ | ✅ | ✅ |
| Smart模式 | ✅ | ✅ | ✅ |
| 分析 | ✅ | ✅ | ✅ |
| 视频下载 | - | ✅ | ✅ |
| PDF导出 | - | - | ✅ |
| 多模态 | - | - | ✅ |
| 结构化 | - | - | ✅ |
| 增量监测 | - | - | ✅ |
| 翻译 | - | - | ✅ |
依赖工具
| 工具 | 状态 | 用途 |
|---|
| Node.js | ✅ | 运行环境 |
| Playwright | ✅ | 页面渲染 |
| Turndown | ✅ | HTML→Markdown |
| Python | ✅ | 分析/翻译 |
| yt-dlp | ✅ | 视频下载 |
| weasyprint | ✅ | PDF导出 |
| googletrans | ⬜ | 翻译(可选) |
使用示例
基础抓取
node xia-zhua-zhua/markdown-clip.js https://example.com --smart
多模态+PDF
node content-extractor.js https://example.com --media --pdf
视频下载
python video-catcher/video_catcher_pro.py ytdlp https://b.com/video
文件结构
content-catcher/
├── SKILL.md # 本文档
├── xia-zhua-zhua/ # 虾抓抓模块
│ ├── markdown-clip.js # 主脚本
│ └── ...
└── video-catcher/ # 视频模块
├── video_catcher_pro.py # 主脚本
└── ...
更新日志
v4.0.0 (最新)
- 多模态内容提取
- PDF导出
- 结构化数据抽取
- 增量更新监测
- 翻译集成
v3.0.0
v2.1.3
