ClawHub

Crawl From X

X/Twitter 帖子抓取工具。管理关注用户列表，自动抓取当天最新帖子，导出 Markdown。

Audits

Pass
ClawScanPass

Agentic behavior and permission review.

Static analysisPass

Pattern checks against bundled files.

VirusTotalPass

Multi-engine malware detections and file reputation.

Install

openclaw skills install crawl-from-x

Crawl From X

X/Twitter 帖子抓取工具。

⚠️ 前置要求：需要 OpenClaw Browser Relay 和浏览器扩展。

安装

npx clawhub@latest install crawl-from-x

安装位置：

  • $CLAWD/skills/crawl-from-x/scripts/craw_hot.py - 主脚本
  • $CLAWD/skills/crawl-from-x/users.txt - 用户列表
  • $CLAWD/skills/crawl-from-x/results/ - 抓取结果

准备

1. 安装 OpenClaw

访问 https://github.com/openclaw/openclaw 下载安装。

2. 安装浏览器扩展

在 OpenClaw 设置中进入 "Browser Relay"，安装扩展。完成后扩展显示绿色图标。

3. 启动 Browser Relay

openclaw browser start
openclaw browser status  # 确认显示 "browser: enabled"

4. 登录 X 账号

在安装了扩展的浏览器中登录 X (Twitter)。

快速开始

cd $CLAWD/skills/crawl-from-x/scripts

# 添加用户
python3 craw_hot.py add username

# 列出用户
python3 craw_hot.py list

# 删除用户
python3 craw_hot.py remove username

# 抓取所有用户
python3 craw_hot.py crawl

# 抓取单个用户
python3 craw_hot.py crawl username

结果文件：

  • posts_YYYYMMDD_HHMMSS.md - 完整内容（Markdown），媒体 URL 已替换为本地路径
  • posts_YYYYMMDD_HHMMSS.txt - URL 列表（仅全部用户抓取）
  • images/ - 下载的图片和视频

说明：

  • 单用户抓取和全部用户抓取使用相同的策略
  • 所有媒体文件（图片、动图、视频）都会下载到 images/ 目录
  • Markdown 文件中的媒体 URL 会自动替换为本地相对路径

注意事项

  1. 浏览器要求：必须安装 OpenClaw 浏览器扩展
  2. 登录状态：浏览器必须登录 X 账号
  3. 速率限制：脚本已内置随机延迟
  4. 私密账号：无法抓取私密账号内容