deep-search-engine
中文互联网深度搜索与验证引擎:多通道扫描(Google News RSS site: 定向、百度搜索、搜狗微信、 媒体池三路扫描、海外 GDELT/GNews EN/HN)+ 三要素全文验证(标题+发布日期+正文指纹), 输出带置信度分级的可核验结论(findings JSON)。输入目标内容/事件指纹/媒体名,输出验证过的条目。 适用:传播监测、发布核验、转载追踪、首发溯源、事实存在性验证、内容扩散面盘点。 不适用:单次简单事实查询(直接 WebSearch 即可)、订阅式源抓取(daily-brief 主流程)、登录墙后内容。 Multi-channel deep search & verification engine for the Chinese internet: channel-matrix scanning + three-element full-text verification (title + date + fingerprint), outputs confidence-graded verifiable findings. Triggers: 深度搜索, 传播监测, 发布核验, 转载追踪, 通稿监测, 首发溯源, deep search, verify publication, publication tracking, syndication tracking.
Deep Search Engine(深度搜索与验证引擎)
2026-08 ES 企业版发布 PR 监测实战沉淀。核心教训固化于 Hard Rules——每一条都来自真实翻车。
能力边界(先读这个)
本引擎解决两类问题:
- 存在性核验:某内容(通稿/文章/报道)到底发没发、发在哪、链接是什么
- 覆盖面盘点:给定一篇内容,全网有多少转载/提及/改标题版
本引擎不解决:内容真实性判断(信源可信度)、效果量化(阅读量)、舆情情感分析。
Workflow
Step 1: [LLM] 目标解析与指纹提取
- 确定任务类型:存在性核验 / 全量转载追踪 / 首发溯源 / 提及扫描
- 提取事件指纹:主体(谁)+ 日期锚点(何时)+ 5-10 个独特长句/独有表述(从目标原文提取,如「AI 时代专属的上下文基础设施」级别的专属措辞)
- 独特片段是后续所有检索的弹药——转载稿改标题不改正文,句子级检索才能命中全文转载
Step 2: [Deterministic] 通道扫描
按任务类型选通道组合(完整矩阵见 references/channel-matrix.md):
- 通用发现:WebSearch(标题/关键词/独特片段多波)+ Google News RSS(
scripts/gnews_query.py) - 中文站核验:360
so.com、搜狗网页(含/link?url=相对中转链需补https://www.sogou.com前缀)。均已实测可用,但索引偏旧(2026-08-31:用确定存在的文章精确标题反查,返回 2022-2025 历史稿,未收录当月新文) - 微信生态:搜狗微信(有验证码拦截风险,见 Failure Handling)
- 媒体池定向(转载追踪类任务):三路扫描——A: 频道列表页抓取 + 指纹 grep;B: GNews 纯关键词 + 域名过滤;C: 360/搜狗。池实例由调用方提供(机制见
references/media-pool.md) - 海外(可选):GDELT + Google News EN + HN Algolia
通道可用性实测(2026-08-31/09-01,务必按此排序,勿凭经验假设)
通道 状态 说明 DuckDuckGo html 端点 🟡 质量最好,有 CAPTCHA 中文召回最高;连续批量后返回 HTTP 202 验证码页,等待数分钟不恢复。必须配磁盘缓存复用 Quark 夸克 🟢 可达且质量高 2026-09-01 实测直接命中官方文章页(中文查询零噪声),默认链第 2 顺位 头条 toutiao 🟡 best-effort 端点解析待校准,零结果时优雅降级,不阻塞 360 so.com / 搜狗网页 🟡 可用,索引旧 当月新文查不到 搜狗微信 🟢 可用 见 Hard Rule 4 GNews RSS 🟢 可用,召回低 只索引大媒体 Bing (www / cn) 🔴 负资产,不要用 见 Hard Rule 7 百度 🔴 IP 级持久封禁 见 Hard Rule 8 通道组织建议:统一走注册表结构(名称 → 抓取函数 → 限流间隔),新增通道零侵入,通道失效只改注册表不改主流程。
Step 3: [Deterministic] 候选收集与去重
- 汇总各通道候选(URL、标题、日期、命中方式)
- 按 URL/标题去重;同稿多平台分发合并为「1 篇独立内容 × N 平台」
Step 4: [Deterministic] 三要素验证
逐条跑 scripts/fingerprint_check.py:
python fingerprint_check.py --url <URL> --subject <主体名> --window <起:止> --fp <指纹1> --fp <指纹2> ...
判定(脚本只给候选信号,不是最终结论;以下须人工复核后才可写 PASS):标题含主体 + 日期在窗口内 + ≥1 指纹命中 = 候选 PASS。改标题版:标题不含主体但指纹命中,标注「改标题版」计入。
写 PASS 前的强制人工复核(脚本判定不足以单独定案):
- 日期必须确为发布日期:
extract_dates()把页面里任何符合日期格式的字符串(正文事件日期、侧栏、页脚、脚本内日期)都收进候选,in_window()只要有一个落在窗口内就命中——这不等于文章发布日。必须人工确认命中项来自发布元信息(og:release_date / article:published_time / datePublished)或正文署名日期行;无法确认来源的标 UNCERTAIN。 - 指纹必须命中可见正文:判定用
fp in body or fp in html,命中可能来自<script>、meta、注释或隐藏文本。必须人工确认命中出现在文章可见正文;仅非正文 HTML 命中的不算正文验证通过。 - 日期证据不可省:省略
--window时脚本可仅凭「标题含主体 + 指纹命中」返回 PASS,此时没有任何日期证据。必须始终传--window并确认日期命中;无日期证据的 PASS 一律改判 UNCERTAIN,不得计入「高」置信度。
Step 5: [LLM] 结论输出
- 按置信度分级输出(见 Output Format)
- 链接经
scripts/link_clean.py净化后呈现 - 无法验证的条目进 pending_queue,标原因——不删证据不足的怀疑,也不把怀疑写成事实
Hard Rules
这些规则全部来自 2026-08 实战翻车,不可违反。
-
任何单一通道无结果 ≠ 不存在。已知目标媒体须三路(列表页 / GNews 关键词 / 360+搜狗)全部无结果才可写「待核验」,严禁写「未发布/暂未收录」结论。(实证:chinadaily 排期稿被 GNews/官方站内搜索/WebSearch 三通道全漏,百度一搜即得。注:2026-08-31 起百度不可依赖,见 Hard Rule 8。)
-
无三要素证据不得写「已发布」——自有渠道同样适用。「通稿存在」≠「我方公众号发过」:没有标题链接/日期/正文证据,连自有渠道条目也不能凭推断写。(实证:曾由通稿存在推断「腾讯云公众号首发」并写入报告,实际未发布,被删。)
-
链接只保留有效部分。URL 追踪/上下文参数一律去除:百度中转链接解析为直链。用
scripts/link_clean.py。但脚本会把值为null/none/0/空的参数一律删除,可能误删参与资源定位的功能参数(如?id=0、?page=0、无值开关)。净化后必须人工核对直链仍指向同一篇内容(标题/日期/正文一致);无法确认时保留原链并标注「净化待复核」,不得用可能失真的净化链充当举证链接。 -
搜狗微信中转链接不得作为交付物链接。它是双层临时签名(搜狗 url= 签名串 → 微信 src=11 timestamp 签名),微信侧签名数小时内过期,用户实际点击「找不到内容」。微信文章只有两种永久链接:短链
/s/xxx(仅微信客户端可生成,需人工提供)和/s?__biz=&mid=&idx=&sn=(sn 只有微信官方渠道访问才输出,搜狗来源页var sn为空,agent 无法自动获取)。报告层:有人工短链就用,没有就标「微信文章,无公开永久外链」+ 标题检索复核路径,严禁放即将失效的链接。内容核验本身仍可靠(核验时签名有效即可读全文)。(实证:9 条搜狗链接入报告,次日用户全部点不开。) -
首次失败必须重试 + 换栈交叉验证。同一命令重试 1-2 次,再换栈(WebFetch↔curl↔Python urllib)交叉验证;至少两个独立客户端都失败才可下环境结论,且结论必须附重试证据。
-
每类信源标注置信度,禁「全量」表述。诚实边界:视频号/抖音/B站、登录墙后媒体、未被任何索引收录的站点,免费渠道覆盖不到。
-
Bing 在中文任务里是负资产,不要用。2026-08-31 实测:本环境出口 IP 被定位到越南/日韩,返回越南日历站、韩国旅游博客、Yono 博彩站;中文查询退化为实体兜底(「腾讯云 Elasticsearch 企业版」返回腾讯网首页);且忽略
site:语法。cn.bing.com返回 14KB 空壳。(实证:一次 sweep 的 37 条候选里 28 条噪声全部来自 Bing。) -
百度已 IP 级持久封禁,不再是兜底通道。连续批量后封禁,限速 6-11s 无效。Hard Rule 1 的三路组合已改为列表页 / GNews 关键词 / 360+搜狗。
-
候选交验证时不要带 title。title 若来自同一条搜索结果,「期望标题 == 页面标题」必然成立,标题校验退化成自我实现的空转,指纹未命中的弱判定会放过噪声。(实证:带 title 时放过越南日历站、Yono 博彩站共 11 条假阳性;改为只传 URL 后假阳性归零、且 3 条真文全部保留。)
-
召回率与判定准确率必须分开计量。把发现阶段的短板算进验证阶段的能力会得出错误结论。三个指标独立报告:① 自主召回率(无人工候选输入)② 验证判定准确率(输入已知 URL)③ 输出数字一致性。
-
指纹按内容形态分层,不要只取通稿。实证:8 条指纹全部取自发布通稿,导致 3 条真实条目误杀——报名预热稿、活动行报名页、微信独立评论稿。分层设计:
层 判定规则 说明 release 强层 指纹命中即采信 通稿原文转载,指纹最稳定 warmup 弱层 指纹命中 且 主体词共现 ≥1 预热/报名/活动页,指纹偏短(如「开放报名」),必须加共现约束,否则放过噪声 commentary 共现规则 主体词 ≥1 × 事件词 ≥2 × 正文 ≥1500 字符 独立评论稿不能用指纹:同一事件的十篇评论不共享句子 实测效果:verify 判定 81.8% → 90.9%(FAIL 归零)+ agent 补验 3 条 → 97.7%;同时 sweep 精度守在 100%,未引入假阳性。
指纹语言必须覆盖目标的官方页语言:release 指纹全为中文句子时,英文官方页(标题+正文均为英文)必然漏检——不是 bug,是指纹集覆盖缺口。补目标语言强层指纹即可破(指纹含主体词+专属表述,不会误中其他语言页面。实证:DLC 两篇 Gartner 英文官方页,补英文指纹后全部命中,零假阳性)。
-
比对前必须剥离零宽字符(U+200B/200C/200D/FEFF/2060)。Python 正则的空白类不覆盖它们(属 Cf 格式字符,非 Zs 空白),只做「去空白 + 去引号」归一化会漏配。实证:活动行标题含 U+200B(
8月21日<ZWSP>深圳见),标题与指纹双双漏配,正常页面被误判为 JS 渲染壳。
Failure Handling
| 场景 | 动作 |
|---|---|
| 搜狗微信返回验证码页面 | 换 WebFetch 通道重试一次;仍失败→该条标注「验证码拦截」,置信度降级,不阻塞其他条目 |
| cookie 墙拦截直链(如 icloudnews) | 以 Google News 索引页替代举证,标「直链待解析」,进 pending_queue |
| curl 拿到空正文(JS 渲染页) | 换 WebFetch(能执行渲染);仍失败→标「无法全文验证」,不写 PASS |
| GNews 零结果 | 不是结论——立即走 360/搜狗路线;两者也零结果才进「待核验」。(2026-08-31 起 GNews site: 语法失效,改纯关键词 + 域名过滤;其 link 是加密文章 ID 不可解,需走搜索引擎补链。) |
| 百度被 IP 封禁(非偶发,2026-08-31 实证) | 不要在这上面耗时间。改 360/搜狗;仍无结果再考虑 DuckDuckGo html 端点 |
| DuckDuckGo 返回 HTTP 202 验证码页 | 停止批量查询,等待不恢复。复用磁盘缓存里的历史结果,或换 agent 检索通道 |
| 结果里出现大量非目标语种站点(越南/日韩博彩、日历站) | 是 Bing/搜索引擎地理定位污染,不是目标真的被转载。检查是否误用了 Bing,见 Hard Rule 7 |
| 用确定存在的文章标题反查却命中 0 | 中文搜索引擎未收录或排名低于同主题历史稿(2026-08-31 实证)。不是「文章不存在」,应改用分发清单/平台报告等人工信源 |
搜狗网页结果全是 /link?url= 相对路径 | 补 https://www.sogou.com 前缀后再用 |
| 三栈(WebFetch / urllib / curl)均失败 | 才可标 UNREACHABLE 并写明证据,不得无限挂 PENDING。单栈失败一律先重试 1-2 次再换栈。(实证:guigu.org HTTP 302 跳首页 + HTTPS TLS 失败,三栈同结果。) |
| PENDING 条目闭环(agent 通道标准动作) | agent 通道抓全文 → 比对分层指纹 + 事件指纹 → 仍不可达项三栈交叉验证后定 UNREACHABLE。结果存档(如 verify_agent_channel.json),与直连结果合并计数,不双计 |
| 页面 HTTP 200 但正文极短(<500 字节) | 多半是 302 跳首页或被反爬拦截,不是「内容为空」。看 url_effective 是否等于请求 URL |
| 脚本网络超时 | 重试 1 次;连续失败换 curl 手工执行同查询,交叉验证后再判断 |
| 内容疑似被删(404/标题在快照但正文空) | 标注「疑似已删除」,保留检索存档说明;删稿本身是监测发现,记录留档 |
Output Format
数据层(findings JSON,与 pr-monitor 数据层兼容,支持增量复跑):
{
"target": "<监测对象>",
"window": "<YYYY-MM-DD 至 YYYY-MM-DD>",
"run_seq": 1,
"run_at": "<ISO 8601>",
"items": [
{
"date": "YYYY-MM-DD", "title": "...", "media": "...", "platform": "...",
"layer": "官方|合作媒体|合作方|通稿分发|自发传播",
"type": "...", "url": "<净化后直链>",
"hit": "<命中通道与查询词>",
"verify": "<三要素验证详情:PASS/改标题版/索引确认>"
}
],
"pending_queue": [{"media": "...", "status": "...", "action": "..."}],
"excluded": [{"media": "...", "reason": "..."}]
}
置信度分级(报告层必须随结论给出):
| 级别 | 含义 |
|---|---|
| 高 | 三要素全文验证 PASS |
| 中高 | 多通道索引确认(直链未解析但 GNews/百度双确认) |
| 中 | 单通道索引确认 |
| 待核验 | 三路扫描均无结果(不是「未发布」) |
报告层输出干净:不带运行痕迹标签(【新增】【上次】等),新旧差异只在 JSON 存档。
Scripts
| 脚本 | 用途 |
|---|---|
scripts/gnews_query.py | Google News RSS 查询(含 site: 域名定向、when 时间窗) |
scripts/baidu_search.py | 百度搜索抓取 + 中转链接解析为真实直链 |
scripts/fingerprint_check.py | 三要素全文验证(标题/日期窗口/指纹命中) |
scripts/link_clean.py | 链接净化(搜狗截断、追踪参数去除) |
全部标准库实现,Windows Git Bash / Linux 均可跑,无第三方依赖。
References(按需加载)
| 需要 | 加载 |
|---|---|
| 通道选择、已知盲区、置信度依据 | references/channel-matrix.md |
| 媒体池机制与模板(转载追踪类任务) | references/media-pool.md |
验收基线
用 ES 企业版发布 campaign(2026-08-21,人工基准 54 条)回归,三个指标分开计:
| 指标 | 基线 | 说明 |
|---|---|---|
| 自主召回率(零人工候选输入,sweep 全量收集) | 3 条真文 / 54 条基准 | 精度须为 100%(噪声全落 FAIL/PENDING_AGENT)。此基线用于监测退化,不是能力承诺。结构性天花板:搜索通道受出口网络/索引收录限制,已知覆盖清单(分发平台报告、人工矩阵)应作为 seed URL 直连探测并入候选,绕开搜索通道天花板——1.9% 召回是下限,不是引擎验证能力的度量 |
| 验证判定准确率(输入已知 URL) | 43/44 = 97.7% | 指纹分层后 40/44(FAIL 归零)+ agent 通道补验 3 条;剩 1 条站点不可达 |
| 输出数字一致性 | 100% | 与手写终版逐项咬合 |
fingerprint_check.py对 chinadaily 通稿 URL 三要素 PASS- GNews 盲区回归:改纯关键词查询,对 gnews_not_indexed 站点返回 0 条
link_clean.py对搜狗链接正确截断- 搜狗网页结果须能补
https://www.sogou.com前缀成绝对链
注意:v0.1.0 的百度回归用例已失效(2026-08-31 IP 级封禁),不要用它判断脚本是否工作正常。
v0.4.0 | 2026-09-07 | DLC campaign 闭环后修订:通道表补 Quark(可达且质量高,默认链第 2)与 toutiao(best-effort)+ 通道注册表组织建议;Hard Rule 11 补指纹语言覆盖(英文官方页漏检根因与补法);Failure Handling 补 agent 通道闭环标准动作;验收基线补 seed URL 直连探测思想 v0.3.0 | 2026-08-31 | P0/P1 修复后修订:硬规则 11 补指纹分层设计表(release 强层 / warmup 弱层须加共现约束 / commentary 只能用共现)、新增硬规则 12 零宽字符、Failure Handling 补 UNREACHABLE 三栈判定与「HTTP 200 但正文极短」识别、回归基线 verify 更新至 97.7% v0.2.0 | 2026-08-31 | 第二个 campaign(ES 从 0 重跑)端到端验证后修订:通道可用性重排(Bing 判负资产、百度去兜底、DuckDuckGo 升首选)、新增 5 条硬规则(候选不带 title / 三指标分开计量 / 指纹按形态分层 / Bing 污染 / 百度封禁)、修百度失效回归用例 v0.1.0 | 2026-08-25 | 沉淀自 ES 企业版 PR 监测实战(6 轮迭代,31 条验证结果,含 chinadaily 通道盲区与中国日报网能力测试两次翻车)
- Downloads
- Security audit
- Review
- Last updated
- 17h ago
- Current version
- v0.4.1
- License
- MIT-0
