Rag Hallucination Governor

RAG幻觉治理工具。输入RAG系统当前指标/症状/检索日志片段，输出根因诊断+阈值调参建议+治理方案。基于10+生产RAG交付实战经验，不是通用RAG教程。

rag-hallucination-governor — RAG 幻觉治理

RAG 上了线，客户说"AI 经常胡说"？30 秒出诊断报告。

解决什么问题

交付了 RAG 系统，客户反馈"AI 回答不准确/瞎编"。销售或交付团队需要快速定位：

• 是检索层问题（召回不够/噪声太大）还是生成层问题（LLM 没用好上下文）
• 阈值该怎么调
• 有没有架构层面的硬伤需要重构

核心价值（反模板标准）

✅ 来自实战经验的规则（≥70%）

• Top-1 污染效应：检索第一名如果是错的，LLM 几乎必然跟错
• 双命中策略的适用边界：不是所有场景都适合，有检索性能代价
• 意图路由的三层分类法：事实型/操作型/闲聊型的不同处理路径
• 低置信度转人工的阈值选择：0.6 还是 0.75？看场景
• 绝不承诺虚假准确率——"95% 准确率"在 RAG 里是伪命题
• 知识库质量 > 算法调参——80% 的幻觉源于知识源本身脏乱
• 混合检索权重不是 50/50——不同行业有完全不同的最优配比

❌ 通用 AI 能力（本 Skill 不做）

• RAG 架构科普、向量数据库选型对比
• Embedding 模型评测报告
• 通用 Prompt Engineering 技巧

使用方式

交互模式（推荐）

bash

rag-hallucination-governor

快速模式

bash

rag-hallucination-governor --symptom "客户说AI经常编造不存在的政策条款" \
  --industry "政务" --hitRate "0.4" --firstHitAccuracy "0.3"

日志分析模式

bash

rag-hallucination-governor --log-file /path/to/retrieval_log.json --top-n 20

输出结构

RAG 幻觉诊断报告（Markdown），5 模块：

模块 1：症状归类

• 幻觉类型判断：知识缺失型 / 检索噪声型 / 上下文拼接型 / LLM 编造型
• 严重程度分级：P0（不可用）/ P1（偶发）/ P2（可容忍）

模块 2：根因诊断

• 检索层诊断：召回率、Top-1 准确率、Top-K 噪声率
• 知识库诊断：文档碎片化、过期内容、格式噪声
• LLM 层诊断：上下文窗口利用、指令跟随、温度设置

模块 3：阈值调参建议

• 相似度阈值（当前 → 建议值 + 理由）
• Top-K 参数调整
• 混合检索权重（BM25 vs Vector）
• 重排序模型是否值得加

模块 4：架构层建议

• 意图路由是否需要
• 是否需要双命中策略
• 低置信度转人工阈值

模块 5：立即可执行的 3 步修复

规则设计原则

1. Top-1 定生死 — 如果 Top-1 是错的，LLM 有 80%+ 概率跟错。优化 Top-1 准确率比提高 K 更有效
2. 知识库质量 > 算法调参 — 80% 幻觉的根因是知识源本身：过期、碎片化、格式混乱
3. 混合检索不是 50/50 — 政务偏向 BM25（70%+），技术文档偏向向量（70%+），零售居中
4. 低置信 ≠ 低质量 — 0.6-0.7 区间的结果不一定差，要看行业基线
5. 双命中有代价 — 召回率高了 15-20%，但延迟增加 30-50%，延迟敏感场景慎用
6. 意图路由分三层：事实型（直接检索）/ 操作型（检索+动作）/ 闲聊型（不检索直接答）

输出模板（结构化格式）

markdown

## RAG 幻觉诊断报告

### 1. 症状归类
- 幻觉类型：知识缺失型 / 检索噪声型 / 上下文拼接型 / LLM 编造型
- 严重程度：P0（不可用） / P1（偶发） / P2（可容忍）
- 依据诊断：

### 2. 根因分析
- 检索层：召回率 __% | Top-1 准确率 __% | Top-K 噪声率 __%
- 知识库层：碎片化程度 | 过期比率 | 格式一致性
- LLM 层：上下文利用率 | 指令遵从 | 温度设置

### 3. 调参建议
| 参数 | 当前值 | 建议值 | 理由 |
|------|--------|--------|------|
| 相似度阈值 | |||
| Top-K | |||
| 混合检索权重(BM25:Vector) | |||
| 重排序 | |||

### 4. 架构建议
- 意图路由：需要/不需要（理由）
- 双命中策略：启用/禁用（理由）
- 转人工阈值：建议值 + 场景说明

### 5. 紧急 3 步修复
1. 立即可做：
2. 今日内完成：
3. 本周计划：

边界声明

1. 不替代知识库治理 — 调参无法解决脏数据，必须先清洗知识源
2. 不承诺具体指标 — 不输出无法验证的准确率数字（如「95%准确率」）
3. 不编造日志数据 — 如果用户未提供检索日志，只做症状归类不出根因分析
4. 不替代人工审核 — 低置信场景转人工是非功能建议，不保证转人工后正确
5. 不提供通用 RAG 教程 — 只输出针对具体输入的分析，不做 RAG 科普
6. 不承诺治理效果 — 输出为建议方案，实际效果需复测验证

触发词

当用户提到以下关键词时，应使用本技能：

• RAG 幻觉 / 胡说 / 乱回答 / 不准确
• HitRate / 命中率 / 召回率 / Top-1 准确率
• 检索日志 / 知识库质量
• 阈值调优 / 调参 / 双命中
• 转人工 / 低置信度

联用