功能说明: 本技能涵盖 中文交互 等核心能力。
功能说明: 本技能涵盖 化工作流场景 等核心能力。
数据分析理调
数据分析方法论守护框架,确保分析过程的统计严谨性、陷阱识别和方法论正确性.
请求格式
| 参数名 | 类型 | 必填 | 说明 |
|---|---|---|---|
| input | string | 是 | 数据分析理调处理的输入数据或指令 |
| options | object | 否 | 附加配置选项,如模式选择、格式偏好等 |
| callback_url | string | 否 | 异步处理完成后的回调通知URL |
能力简介
Methodology First(方法论优先框架)
在任何数据分析开始前,先回答四个方法论问题:
- What decision is this analysis supporting? — 这项分析支持什么决策?明确决策目标再选方法.
- What would change your mind? — 什么结果会改变你的判断?预先定义证伪条件和 stop condition.
- What data do you actually have vs what you wish you had? — 实际有什么数据 vs 希望有什么数据?识别数据缺口.
- What timeframe is relevant? — 什么时间范围相关?避免 cherry-picking 有利时段. 核心原则:方法论决定分析路径,数据只是输入。先定 hypothesis 和 testing 框架,再收集数据.
Statistical Rigor Checklist(统计严谨性检查清单)
分析结果输出前必须通过的统计检查:
- Sample size adequacy:样本量是否足够?小样本(n<30)的 inference 不可靠,需标注 effect size 和 confidence interval
- Multiple comparison correction:多次比较是否做了校正?用 Bonferroni correction 或 FDR 控制 false positive
- p-value interpretation:p-value 是否被正确理解?p<0.05 不等于"有效",需报告 effect size 和 practical significance
- Confounding variables:是否有未控制的 confounder?cohort 对比时检查 baseline 差异
- Regression assumptions:回归模型假设是否满足?检查残差独立性、homoscedasticity、multicollinearity
- Confidence interval reporting:是否报告了 confidence interval 而非仅点估计?
Analytical Pitfalls(分析陷阱识别)
7 个常见分析陷阱及其识别方法:
| 陷阱 | 英文 | 识别方法 |
|---|---|---|
| p值操纵 | p-hacking | 检查是否多次跑测试直到 p<0.05,报告所有跑过的测试而非只报告显著的 |
| 时期不可比 | Comparing unequal periods | 对比周期天数是否一致?节假日、季节性是否对齐? |
| 幸存者偏差 | Survivorship bias | 样本是否只包含"存活"对象?退出用户、失败案例是否被排除? |
| 辛普森悖论 | Simpson's Paradox | 分组和整体趋势是否一致?分层分析后再下结论 |
| 时间序列伪相关 | Correlation in time series | 两个时间序列的相关可能是 trend 导致的,需差分或去趋势后再算相关 |
| 百分比聚合错误 | Aggregating percentages | 各组百分比不能直接平均,需用加权平均或回到原始计数 |
| 摘樱桃 | Cherry-picking | 是否只展示有利数据?检查完整时间范围和所有分组 |
Approach Selection(分析方法选择)
根据分析目标选择正确的分析方法:
- 描述性分析(Descriptive):均值、中位数、分布 — 回答"发生了什么"
- 诊断性分析(Diagnostic):cohort analysis、segmentation、funnel analysis — 回答"为什么发生"
- 因果推断(Causal inference):A/B testing、difference-in-differences、propensity score matching — 回答"X 是否导致 Y"
- 预测性分析(Predictive):regression、time series forecasting、anomaly detection — 回答"未来会怎样"
- 规范性分析(Prescriptive):optimization、simulation — 回答"应该怎么做"
选择原则:correlation 不等于 causation。观察数据只能发现关联,因果需实验或准实验方法.
Output Standards(输出规范)
分析输出的标准化要求:
- 结论先行:1-2 句话总结核心发现,附 confidence level(高/中/低)
- 数据来源:标注数据来源、时间范围、样本量、缺失值处理方式
- 可视化规范:图表标题自解释,坐标轴有标签和单位,避免误导性 scale
- 不确定性量化:报告 confidence interval、margin of error,不使用确定性表述
- 方法论说明:使用的统计方法、假设检验类型、校正方法
- 局限性声明:数据局限性、未控制的 confounder、generalizability 限制
Red Flags to Escalate(风险升级机制)
遇到以下情况时必须升级到资深分析师或暂停分析:
- 用户想"证明"预设结论而非探索发现 — 这是 p-hacking 的起点
- 样本量太小无法做可靠 inference(如 n<10 做统计检验)
- 数据质量问题导致分析无效(缺失率 >30%、系统性偏差)
- 存在无法控制的 confounder 且影响方向未知
- Simpson's Paradox 出现(分组和整体结论矛盾)
- 时间序列的 correlation 可能是 spurious(伪相关)
- 结果依赖于特定时间段或特定子集(Cherry-picking 风险)
安装向导
- 确认运行环境满足依赖说明中的要求
- 在AI Agent对话中调用本技能,提供必要的输入参数
- 检查输出结果,根据需要进行后续处理
详细的输入输出格式请参考下方章节说明。
应用示例
基本用法
向Agent发送指令:
使用 数据分析理调 处理以下任务:
[具体任务描述]
输出说明
Agent将根据指令调用对应能力,返回响应数据。响应格式取决于具体能力点的输出定义.
安装与配置
运行环境
- Agent平台: 支持SKILL.md的任意AI Agent(Claude Code / Cursor / Codex / Gemini CLI等)
- 操作系统: Windows / macOS / Linux
依赖项
| 依赖项 | 类型 | 是否必需 | 获取方式 |
|---|---|---|---|
| LLM API | API | 必需 | 由Agent内置LLM提供 |
API Key 配置
需要配置对应API Key,详见上文环境配置章节
可用性分类
- 分类: MD(纯Markdown指令,无需exec命令行能力)
疑问速查汇总
Q1: p-value < 0.05 就意味着结果显著吗?
A: 不完全。p-value 只是在零假设下观察到当前或更极端结果的概率。还需检查 effect size(实际效应量)、confidence interval、样本量和 practical significance。小样本下的 p<0.05 可能是 false positive.
Q2: 如何识别 Simpson's Paradox?
A: 对比分组分析和整体汇总分析的趋势方向。如果分组结论和整体结论相反(如各组都显示 A>B,但整体显示 B>A),就是 Simpson's Paradox。此时应以分层分析为准.
Q3: 观察数据能做因果推断吗?
A: 观察数据只能发现 correlation(关联),不能直接做 causal inference(因果推断)。需要用 difference-in-differences、propensity score matching、instrumental variable 等准实验方法,并明确假设前提.
功能边界
- 不替代专业统计学家做复杂建模决策
- 无法自动检测所有类型的数据质量问题
- 因果推断方法的有效性依赖假设前提是否满足
- 高维数据的 multiple comparison 问题需要领域知识判断
创新特色
===
效率提升量化分析
| 操作步骤 | 手动耗时 | 自动化耗时 | 时间节约 | 准确率提升 |
|---|---|---|---|---|
| 数据清洗 | 2小时 | 30分钟 | 1.5小时 | 5% |
| 数据预处理 | 4小时 | 1小时 | 3小时 | 3% |
| 统计分析 | 8小时 | 2小时 | 6小时 | 4% |
| 报告生成 | 6小时 | 1小时 | 5小时 | 2% |
| 可视化制作 | 4小时 | 30分钟 | 3.5小时 | 2% |
差异化对比
| 对比维度 | 本技能 | 手动操作 | Python脚本 | 专业软件 |
|---|---|---|---|---|
| 处理速度 | 快速 | 较慢 | 中等 | 快速 |
| 易用性 | 中等 | 较高 | 中等 | 高 |
| 功能丰富度 | 高 | 低 | 中等 | 高 |
| 成本 | 低 | 中等 | 中等 | 高 |
| 技术要求 | 低 | 高 | 中等 | 高 |
核心痛点解决
| 痛点 | 描述 | 影响范围 | 解决方案 | 量化效果 |
|---|---|---|---|---|
| 数据清洗困难 | 数据清洗步骤繁琐,耗时较多 | 影响数据分析效率和质量 | 引入自动化清洗工具 | 时间节约 20% |
| 分析结果不可靠 | 分析方法选择不当,导致结果错误 | 影响决策制定 | 建立方法论框架,指导方法选择 | 准确率提升 10% |
| 报告生成效率低 | 报告格式固定,无法根据需求调整 | 影响报告质量和使用效率 | 开发灵活的模板系统 | 效率提升 30% |
===
诊断与修复
| 错误现象 | 可能原因 | 诊断步骤 | 解决方案 |
|---|---|---|---|
| 数据错误 | 数据源错误或格式问题 | 检查数据源和格式,确认数据正确性 | 修正数据源或格式,重新导入数据 |
| 分析结果异常 | 分析方法选择不当或模型错误 | 检查分析方法,验证模型假设 | 调整分析方法或模型,重新进行分析 |
| 系统运行缓慢 | 硬件资源不足或系统配置错误 | 检查硬件资源,调整系统配置 | 增加硬件资源或调整配置,优化系统性能 |
| 通知未收到 | 邮件系统错误或配置问题 | 检查邮件系统,确认配置正确 | 修复邮件系统或重新配置邮件 |
| 脚本执行失败 | 脚本错误或依赖问题 | 检查脚本和依赖,确认脚本正确性 | 修正脚本或添加缺失依赖 |
===
安全申明
- [与「数据分析理调」相关的安全注意事项]
- 确保数据传输加密,防止数据泄露。
- 对敏感数据进行加密存储,确保数据安全。
- 定期更新系统和工具,防范安全漏洞。
- 实施权限管理,确保只有授权用户可以访问数据和分析工具。
- 定期进行合规检查,确保安全措施的有效性。
安全风险防范
| 风险项 | 等级 | 防护措施 | 验证方法 |
|---|---|---|---|
| API密钥泄露 | 高 | 通过环境变量配置,禁止硬编码 | 定期检查代码和配置文件 |
| 命令执行风险 | 高 | 仅执行白名单命令,避免拼接用户输入 | 使用沙箱环境测试 |
| 网络通信安全 | 中 | 使用HTTPS协议,验证SSL证书 | 定期检查证书有效期 |
| 敏感数据暴露 | 高 | 输出结果中不包含密钥、令牌等敏感信息 | 日志脱敏审查 |
| 未授权访问 | 中 | 限制访问权限,实施认证机制 | 定期审计访问日志 |
错误恢复方案
针对数据分析理调使用中可能遇到的常见问题,提供以下排查方案:
| 错误类型 | 原因分析 | 解决方案 |
|---|---|---|
| API认证失败(401) | API密钥错误或过期 | 检查密钥配置,重新生成token |
| 接口限流(429) | 请求频率超出限制 | 降低调用频率,启用重试退避策略 |
| 响应超时(504) | 网络延迟或服务端负载过高 | 增加超时阈值,检查网络连接 |
| 文件不存在 | 路径错误或文件未创建 | 检查路径拼写,确认文件已生成 |
| 文件格式不支持 | 扩展名不在支持列表中 | 转换为支持的格式后重试 |
| 权限不足 | 当前用户无读写权限 | 检查文件权限,以管理员身份运行 |
| 命令执行失败 | 参数错误或环境依赖缺失 | 检查命令语法,确认依赖已安装 |
| 进程超时 | 命令执行时间过长 | 增加超时设置,优化命令参数 |
| 网络连接失败 | DNS解析失败或防火墙拦截 | 检查网络配置,确认代理设置 |
数据分析理调通用排查步骤
- 检查输入参数: 确认所有必填参数已提供且格式正确
- 查看日志输出: 定位具体错误行和异常类型
- 验证环境配置: 确认依赖库版本和运行环境满足要求
- 逐步调试: 缩小问题范围,隔离故障模块
场景介绍
- 团队协作: 统一团队工作方式,减少重复劳动和沟通成本
- 接口集成: 对接第三方API服务,实现数据自动获取和处理
- 内容生成: 自动生成文档、代码或结构化数据
- 文件批处理: 批量处理文件内容,支持多格式转换和解析
- 环境管理: 批量管理开发环境和部署流程
- 信息检索: 快速搜索和过滤目标数据
- 数据管道: 构建ETL流程,实现数据自动化流转
Related skills
- Downloads
- Security audit
- Review
- Last updated
- 1mo ago
- Current version
- v1.0.1
- License
- MIT-0
