baidu_search

Perform Baidu search to retrieve Chinese web results with titles, summaries, and links, and parse webpage content from search results.

使用 baidusearch 库进行百度搜索，并支持解析搜索结果网页内容。

Quick Start

1. 百度搜索

from baidusearch.baidusearch import search

# 基础搜索（默认返回10条结果）
results = search('搜索关键词')

# 指定返回结果数量
results = search('搜索关键词', num_results=20)

返回结果格式：

[
    {
        'title': '结果标题',
        'abstract': '结果摘要',
        'url': '结果链接',
        'rank': 1
    },
    ...
]

2. 解析网页内容

from scripts.fetch_url import fetch_url

# 获取并解析网页内容
content = fetch_url('http://example.com/article')
print(content['title'])
print(content['text'])

3. 搜索并解析完整流程

from baidusearch.baidusearch import search
from scripts.fetch_url import fetch_url

# 第一步：搜索
results = search('南京江宁龙虾政策', num_results=5)

# 第二步：解析第一条结果的网页内容
if results:
    first_url = results[0]['url']
    content = fetch_url(first_url)
    print(f"标题: {content['title']}")
    print(f"正文: {content['text'][:500]}...")

命令行使用

搜索:

python3 scripts/baidu_search.py "搜索关键词" --num 10

解析网页:

python3 scripts/fetch_url.py "http://example.com"
python3 scripts/fetch_url.py "http://example.com" --max-chars 2000

搜索并解析（完整流程）:

python3 scripts/search_and_fetch.py "搜索关键词" --num 5

Workflow

1. 安装依赖: 确保已安装所需库

   pip3 install --user baidusearch requests beautifulsoup4 lxml
   

2. 执行搜索: 使用 baidusearch 获取搜索结果

3. 解析网页: 使用 fetch_url 解析搜索结果中的网页内容

4. 注意事项:

   • 建议每次搜索间隔 15 秒以上
   • 频繁使用可能导致 IP 被百度封禁
   • 遇到 503 错误请等待 1 分钟后重试
   • 部分网站可能有反爬机制，解析可能失败

Resources

scripts/

• baidu_search.py - 百度搜索脚本，支持命令行参数调用
• fetch_url.py - 网页内容抓取和解析脚本
• search_and_fetch.py - 搜索并自动解析网页内容的完整流程脚本