web-fetch

使用带 Stealth 插件的无头浏览器抓取网页内容并转换为 Markdown。用于当需要获取特定网页的正文、新闻详情、公司财报或其他长篇网页内容时。支持绕过大多数基础反爬虫检测。

Web Fetch Skill

使用无头浏览器（Playwright + Stealth Plugin）抓取指定 URL 的网页内容，并自动转换为 Markdown 格式以便于阅读和进一步处理。

主要特性

• 反爬虫绕过: 集成了 playwright-extra 和 puppeteer-extra-plugin-stealth，自动处理各种浏览器指纹和自动化特征检测。
• 内容转换: 使用 turndown 库将复杂的 HTML 页面转换为简洁的 Markdown 格式。
• 环境模拟: 模拟真实用户视口大小和无头浏览器配置。

使用方法

运行抓取脚本：

bash

cd /Users/wuwei/.openclaw/workspace/skills/web-fetch/scripts
node fetch.js <url>

参数说明

• url: 需要抓取的完整网页 URL（包括 http/https）。

示例

bash

# 抓取新浪财经
node fetch.js "https://finance.sina.com.cn/stock/"

# 抓取特定新闻页面
node fetch.js "https://finance.eastmoney.com/a/202403143012345678.html"

输出

脚本将会在控制台输出以下内容：

1. 抓取进度说明。
2. 页面标题。
3. 转换后的 Markdown 正文内容（较长内容会截断）。

依赖

• playwright-extra: 插件化 Playwright 核心。
• puppeteer-extra-plugin-stealth: 提供各种 evasion 策略。
• turndown: HTML 到 Markdown 转换服务。

安装依赖：

bash

cd /Users/wuwei/.openclaw/workspace/skills/web-fetch/scripts
npm install