data-source-evaluator

数据源评估与采集策略：评估数据可得性、质量、成本、合规性，输出数据采集方案。Invoke when user asks 数据源、数据采集、数据评估、数据策略、爬虫方案.

数据源评估与采集器

产品开发全链路 Skill #6 · 数据是产品最深的壁垒

功能

评估产品所需的数据源，设计采集策略，判断数据壁垒的可复制性。

核心工作流

Step 1：数据需求梳理

明确产品需要哪些数据：

数据类别	具体内容	用途	优先级
基础数据	产品正常运行所需的核心数据	功能实现	P0
增强数据	提升产品体验的辅助数据	差异化	P1
壁垒数据	构建竞争壁垒的独有数据	护城河	P2

Step 2：数据源评估

对每个数据需求，评估以下维度：

数据源	可得性	质量	成本	合规性	综合评分
公开API	高	中	免费	高	推荐
网页爬虫	中	中	低	中	有条件
第三方购买	高	高	高	高	预算充足
UGC	低	中	低	高	长期
人工采集	中	高	高	高	短期

Step 3：采集方案设计

自动采集：

• API 接入（官方文档、认证方式、限流策略）
• 爬虫方案（技术选型、频率控制、反爬绕过）
• 数据清洗（去重、格式化、质量校验）

人工采集：

• 采集流程（从哪找、怎么存、怎么验）
• 效率基准（每天能采多少条）
• 质量检查（人工抽检比例）

UGC 采集：

• 激励机制（积分/荣誉/金钱）
• 质量把控（审核机制、评分机制）
• 反作弊（虚假数据检测）

Step 4：数据壁垒评估

数据资产	采集难度	竞品复制时间	维护成本	壁垒强度
数据A	高	12个月	中	强
数据B	中	3个月	低	弱

输出格式

• 最终交付物：Markdown 数据策略文档
• 命名规范：{产品名}-数据策略.md

硬约束

1. 必须评估数据合规性，不能建议非法采集
2. 必须标注数据来源的可靠性
3. 如果建议爬虫，必须说明反爬策略和替代方案
4. 人工采集方案必须给出效率预估