网页内容获取免费版

免费版轻量级网页内容抓取工具，支持三种降级服务自动获取Markdown格式，适合个人开发和Cloudflare保护站点处理。

网页内容获取工具（免费版）

概述

网页内容获取工具免费版帮助你在常规爬虫被过滤时，使用替代服务获取网页 Markdown 格式内容。支持三种服务的降级策略，按优先级自动尝试，确保内容可获取.

核心能力

能力	说明
多服务降级	r.jina.ai → markdown.new → defuddle.md 自动降级
Markdown 输出	所有服务统一输出 Markdown 格式
命令行调用	提供 （请参考skill目录中的脚本文件） 脚本直接调用
Cloudflare 适配	markdown.new 专为 Cloudflare 保护站点优化
技术实现要点：核心能力基于input_params参数与output_format配置实现,支持创建/查询/修改/删除等操作模式,通过config_options进行运行时配置.

核心功能执行

用input_params参数进行配置.

处理: 解析核心功能执行的输入参数,完成核心逻辑,返回结构化响应. 输出: 返回核心功能执行的响应数据,包含状态码、结果和日志.

• 执行此能力时使用input_params参数,支持创建/查询/导出操作

参数配置与调用

用config_options参数进行配置.

处理: 解析参数配置与调用的输入参数,完成核心逻辑,返回结构化响应. 输出: 返回参数配置与调用的响应数据,包含状态码、结果和日志.

• 执行此能力时使用config_options参数,支持修改/重置/导入操作

结果处理与输出

用output_format参数进行配置.

处理: 解析结果处理与输出的输入参数,完成核心逻辑,返回结构化响应. 输出: 返回结果处理与输出的响应数据,包含状态码、结果和日志.

• 执行此能力时使用output_format参数,支持导出/保存/转换操作 能力覆盖范围：本skill的核心能力覆盖以下场景关键词：当常规爬虫被过滤、使用替代服务获取、支持多服务降级、适合个人开发、网页内容获取工具、免费版、面向个人开发者的、轻量级网页内容抓、取工具、三种替代服务的降、级获取策略、自动按优先级尝试、Use、when、需要生成营销文案、写作内容、标题优化、内容创作时使用、不适用于纯技术文、档撰写、适用于独立开发者、企业团队和自动化、工作流场景等。这些关键词对应description中声明的使用场景,均已在上述能力点中提供对应的操作支持.

使用场景

场景一：常规获取失败时的替代

常规 web_fetch 被网站过滤，使用替代服务获取.

bash

# 首先用 r.jina.ai 获取（最稳定）
curl -s "https://r.jina.ai/https://example.com/article"
# ...
# 输出 Markdown 格式的网页内容

场景二：Cloudflare 保护站点

获取被 Cloudflare 保护的网站内容.

bash

# 使用 markdown.new（Cloudflare 专用）
curl -s "https://markdown.new/https://protected-site.com"
# ...
# 输出 Markdown 格式内容

场景三：备用方案

前两种服务均不可用时，使用 defuddle.

bash

# 使用 defuddle.md（备用方案）
curl -s "https://defuddle.md/https://example.com"

快速开始

1. 阅读## 核心能力章节了解skill功能
2. 按## 依赖说明配置环境
3. 执行所需能力对应的命令
4. 参考## 错误处理章节处理异常
5. 查看## FAQ解答常见疑问

bash

# 1. 直接调用脚本（自动降级）
（请参考skill目录中的脚本文件） https://example.com
# ...
# 2. 指定服务
# ...
# 3. 使用 curl 直接调用
curl -s "https://r.jina.ai/https://example.com"
new/https://example.com"
md/https://example.com"

响应解析: 完成完成后,查看输出响应确认任务状态。成功时输出包含解析摘要和响应数据;失败时根据错误信息排查问题,查阅错误解析章节获取恢复步骤.

示例

bash

# 适用场景
| 优先级 | 服务           | 用法                              | 适用场景            |
|:-----|:-----|:-----|:-----|
| 1      | r.jina.ai      | https://r.jina.ai/{url}           | 最稳定，通用性强    |
| 2      | markdown.new   | https://markdown.new/{url}        | Cloudflare 保护站点 |
| 3      | defuddle.md    | https://defuddle.md/{url}         | 备用方案            |
# ...
# API 调用格式
fetch_webpage <url>
fetch_webpage <url> --method jina|markdown|defuddle

最佳实践

• 首先用常规 web_fetch 尝试获取，失败后再调用本工具.
• 优先使用 r.jina.ai，通用性最强.
• Cloudflare 保护站点使用 markdown.new.
• 获取后检查 Markdown 内容完整性，部分动态内容可能缺失.
• 频繁请求建议添加间隔，避免被服务限流.
• 内容中可能包含广告或导航，需后续清理.

常见问题

Q：免费版支持批量获取吗？ A：免费版面向单 URL 获取。如需批量获取与缓存，请考虑 PRO 版本. Q：免费版支持内容缓存吗？ A：免费版不提供缓存。如需本地缓存与去重，请使用 PRO 版本. Q：三个服务都失败怎么办？ A：检查 URL 是否可访问，或目标站点是否完全屏蔽爬虫。部分站点可能需要认证才能访问. Q：获取的内容格式保证是 Markdown 吗？ A：三个服务都输出 Markdown 格式，但格式质量因服务与站点而异. Q：支持需要登录的页面吗？ A：不支持。三个服务均不支持需要认证的页面.

依赖说明

运行环境

• Agent平台: 支持SKILL.md的任意AI Agent(Claude Code / Cursor / Codex / Gemini CLI等)
• 操作系统: Windows / macOS / Linux
• 网络: 可访问 jina.ai、markdown.new、defuddle.md

依赖详情

依赖项	类型	是否必需	获取方式
LLM API	API	必需	由Agent内置LLM提供
curl	工具	必需	系统自带
r.jina.ai	服务	必需	公共服务，免费
markdown.new	服务	可选	公共服务，免费
defuddle.md	服务	可选	公共服务，免费

API Key 配置

• 基础LLM由Agent平台内置提供，特定外部API需单独配置密钥
• 三个替代服务均为公共服务，无需认证

可用性分类

• 分类: MD+EXEC（Markdown指令 + 命令行执行能力）
• 说明: 基于Markdown的AI Skill，通过 curl 命令获取网页内容

错误处理

错误场景	原因	处理方式
配置错误	参数缺失或格式错误	检查依赖说明中的配置要求
运行时错误	运行环境不满足	确认运行环境符合依赖说明
网络错误	连接超时或不可达	执行ping命令测试网络连通性,检查防火墙和代理设置连接后执行ping命令测试网络连通性,检查防火墙和代理设置连接后重新执行命令，参考国内替代方案

已知限制

• 依赖云服务，需要网络连接
• 本地运行，不支持多设备同步
• 当前为免费版本,如需完整功能请升级到付费版获取全部能力

输出格式

json

{
  "success": true,
  "data": {
    "result": "网页内容获取免费版处理结果",
    "execution_time": "0.5s",
    "metadata": {
      "version": "1.0",
      "processor": "web content fetcher"
    }
  },
  "execution_log": ["解析输入参数", "执行核心处理", "格式化输出结果"],
  "error": null
}