zt-web-fetcher

当需要获取网页内容时使用（搜索结果页面、博客文章、文档等）。使用 URL 转 Markdown 服务将网页转换为可读文本。 触发场景：用户说"帮我查一下"、"看看这个链接"、"获取 xx 的信息"等需要上网抓信息的情况。

网页抓取

当需要获取网页内容时，按以下顺序尝试：

首选方案：URL 转 Markdown 服务

1. markdown.new/ (推荐)

   • 用法：在网址前加 https://markdown.new/
   • 例如：https://markdown.new/https://example.com
   • 适合 Cloudflare 支持的网站

2. r.jina.ai/ (备用)

   • 用法：在网址前加 https://r.jina.ai/
   • 例如：https://r.jina.ai/https://example.com
   • 兼容性好

3. defuddle.md/ (备用)

   • 用法：在网址前加 https://defuddle.md/
   • 例如：https://defuddle.md/https://example.com

备选方案：爬虫工具

如果以上服务都无法获取，尝试 Scrapling：

• 地址：https://github.com/D4Vinci/Scrapling
• 用法：pip install scrapling 后使用

使用流程

1. 先尝试 r.jina.ai/{url} （最稳定）
2. 如果失败，尝试 markdown.new/{url}
3. 再失败，尝试 defuddle.md/{url}
4. 都失败再考虑 Scrapling

注意事项

• 不需要配置任何搜索 API
• 这些服务会将网页转换为纯文本/ Markdown 格式
• 适合大多数静态网页
• 对于需要登录的页面可能无效