kettle-sql-extractor

从Kettle作业（.kjb/.ktr）中提取SQL脚本，支持批量提取、合并SQL组件和简洁输出

Kettle SQL提取工具

从Kettle ETL作业中提取SQL脚本，支持批量处理和智能合并。

🎯 核心功能

1. 纯SQL提取

• 从Kettle XML文件中提取所有SQL组件
• 保持SQL原样，不做任何修改
• 支持.kjb（作业）和.ktr（转换）文件

2. 智能合并

• 将单个Kettle作业中的多个SQL组件合并为一个SQL文件
• 保持SQL执行顺序
• 分析SQL依赖关系

3. 批量处理

• 支持批量提取多个Kettle作业
• 生成HTML可视化报告
• 统计分析SQL组件信息

4. 简洁输出

• 使用--simple-output参数，避免多余文件夹
• 直接在当前目录生成SQL文件
• 每个Kettle作业对应一个SQL文件

5. 只要SQL文件模式

• 常见用户需求：很多用户只需要提取后的SQL文件，不需要HTML报告、JSON总结等额外文件
• 解决方案：使用 --simple-output 参数，只生成SQL文件
• 典型场景：备份SQL、迁移脚本、代码审查等场景
• 优势：输出简洁，文件结构清晰，便于版本控制和直接使用

📋 使用说明

核心原则

只提取，不修改 - 保持SQL原样，不做优化、转换或重组

常见需求场景

🎯 场景1：只要SQL文件

用户需求：只需要提取后的SQL文件，不需要HTML报告、JSON总结等额外文件 解决方案：使用 --simple-output 参数 典型场景：SQL备份、脚本迁移、代码审查、版本控制

bash

# 单个文件，只要SQL文件
python merge_kettle_sql.py job.kjb --simple-output

# 批量处理，只要SQL文件
for file in *.kjb; do python merge_kettle_sql.py "$file" --simple-output; done

📊 场景2：需要完整分析报告

用户需求：需要详细的HTML报告和统计分析 解决方案：使用 batch_extract_kettle_sql.py 工具 典型场景：项目分析、文档生成、团队分享

bash

# 生成完整分析报告
python batch_extract_kettle_sql.py --dir /path/to/kettle/jobs --output 分析报告

使用步骤

1. 基本用法（单个文件）

bash

# 提取单个Kettle作业中的SQL
python merge_kettle_sql.py job.kjb

# 简化输出模式（推荐，只要SQL文件）
python merge_kettle_sql.py job.kjb --simple-output

2. 批量处理（多个文件）

bash

# 批量提取目录中所有Kettle作业
python batch_extract_kettle_sql.py --dir /path/to/kettle/jobs

# 批量处理指定文件
python batch_extract_kettle_sql.py --file job1.kjb job2.ktr

3. 输出控制

bash

# 指定输出目录
python merge_kettle_sql.py job.kjb --output 提取结果

# 批量处理并生成HTML报告
python batch_extract_kettle_sql.py --dir /path/to/kettle/jobs --output 分析报告

📁 输出文件

模式1：只要SQL文件（推荐用于日常使用）

使用参数: --simple-output 适用场景: SQL备份、脚本迁移、代码审查、版本控制

text

当前目录/
├── job_作业名称1_merged_detailed.sql
├── job_作业名称2_merged_detailed.sql
└── job_作业名称3_merged_detailed.sql

特点：

• ✅ 只生成SQL文件，没有额外文件
• ✅ 每个Kettle作业对应一个SQL文件
• ✅ 文件结构简洁，便于管理
• ✅ 适用于大多数日常使用场景

模式2：完整分析报告

使用参数: --output 分析报告 适用场景: 项目分析、文档生成、团队分享、审计检查

text

batch_kettle_analysis/
├── batch_report.html              # 📊 HTML可视化报告
├── batch_summary.json             # 📋 JSON格式总结
├── batch_summary.txt              # 📝 文本格式总结
└── kettle_files/                  # 📂 单个文件分析结果
    ├── job1_kjb/
    │   ├── basic_info.json       # 🔍 基本信息
    │   ├── sql_components.json   # 📊 SQL组件列表
    │   └── extracted_sql.txt     # 📄 提取的SQL
    └── job2_ktr/
        └── ...

特点：

• 📊 提供HTML可视化报告
• 📋 包含详细的JSON和文本总结
• 🔍 每个文件的详细分析结果
• 🎯 适合需要全面分析的项目场景

🔧 工具脚本

1. scripts/merge_kettle_sql.py（核心合并工具）

将单个Kettle作业中的多个SQL组件合并为一个SQL文件

bash

# 基本用法：合并SQL
python scripts/merge_kettle_sql.py job.kjb

# 简化输出：在当前目录生成SQL文件
python scripts/merge_kettle_sql.py job.kjb --simple-output

# 批量处理多个文件
python scripts/merge_kettle_sql.py *.kjb --batch

# 生成可执行SQL（带事务控制）
python scripts/merge_kettle_sql.py job.kjb --executable

# 生成简化SQL（只包含语句）
python scripts/merge_kettle_sql.py job.kjb --simple

输出文件：

• job_名称_merged_detailed.sql - 详细合并SQL（带注释和分析）
• job_名称_executable.sql - 可执行SQL（带事务控制）
• job_名称_simple.sql - 简化SQL（只包含语句）

2. scripts/batch_extract_kettle_sql.py（批量提取工具）

批量提取多个Kettle作业中的SQL脚本

bash

# 批量提取目录中所有文件
python scripts/batch_extract_kettle_sql.py --dir /path/to/kettle/jobs

# 批量提取指定文件
python scripts/batch_extract_kettle_sql.py --file job1.kjb job2.ktr

# 从文件列表批量提取
echo "/path/to/job1.kjb" > kettle_files.txt
echo "/path/to/job2.ktr" >> kettle_files.txt
python scripts/batch_extract_kettle_sql.py --list kettle_files.txt

# 生成合并的SQL文件便于查看
python scripts/batch_extract_kettle_sql.py --dir /path/to/kettle/jobs --consolidate

3. scripts/kettle_xml_parser.py（核心解析器）

XML解析模块，解决SQL提取的常见问题：

• XML特殊字符处理（<, >等）
• SQL内容跨行匹配
• CDATA标记清理

4. scripts/extract_kettle_sql_simple.sh（简化提取脚本）

一键提取脚本，专门满足"只要SQL文件"的需求：

bash

# 使用方法
./scripts/extract_kettle_sql_simple.sh <源目录> <目标目录>

# 示例
./scripts/extract_kettle_sql_simple.sh "/path/to/kettle/jobs" "/path/to/sql/output"

5. scripts/extract_kettle_sql_simple.bat（Windows简化提取脚本）

Windows版本的一键提取脚本：

batch

REM 使用方法
scripts\extract_kettle_sql_simple.bat <源目录> <目标目录>

REM 示例
scripts\extract_kettle_sql_simple.bat "C:\Users\13802\Desktop\DWS\MAINTENANCE" "C:\Users\13802\Desktop\DWS原sql提取\MAINTENANCE"

📊 功能特点

1. 完整性保证

• ✅ 解决XML转义字符问题
• ✅ 完整提取跨行SQL内容
• ✅ 正确处理CDATA标记

2. 错误处理

• ✅ 单个文件错误不影响其他文件处理
• ✅ 友好的错误提示
• ✅ 详细的提取日志

3. 性能优化

• ✅ 批量处理，提高效率
• ✅ 内存使用优化
• ✅ 处理速度快（平均1秒/文件）

4. 用户体验

• ✅ HTML可视化报告
• ✅ 简洁的命令行界面
• ✅ 灵活的输出控制

📈 使用场景

1. SQL备份与迁移（推荐使用--simple-output模式）

• 备份Kettle作业的业务逻辑
• 迁移SQL到其他数据库系统
• 文档化ETL流程
• 特点: 只需要SQL文件，便于存储和迁移

2. 代码分析与审查

• 分析SQL组件依赖关系
• 审查业务逻辑完整性
• 识别潜在的性能问题
• 特点: 可以使用简化模式或完整报告模式

3. 批量处理与自动化

• 批量提取多个作业的SQL
• 自动化文档生成
• 代码仓库管理
• 特点: 推荐使用--simple-output模式，便于自动化脚本处理

4. 故障排查与调试

• 快速定位SQL提取问题
• 分析Kettle作业结构
• 验证字段完整性
• 特点: 可能需要完整报告模式进行深度分析

5. 只要SQL文件场景

• 典型需求: "我只要提取之后的sql文件，不要给我其他东西"
• 解决方案: 使用 --simple-output 参数
• 应用场景:
  • 日常SQL备份：只需要SQL脚本，不需要分析报告
  • 脚本迁移：将SQL迁移到其他系统或版本控制
  • 代码审查：直接查看SQL内容，不需要额外文件
  • 快速验证：快速获取SQL进行验证测试
• 优势:
  • 输出简洁，只有一个SQL文件
  • 便于文件管理和版本控制
  • 减少不必要的文件存储
  • 符合大多数用户的日常需求

🚀 快速开始

安装依赖

bash

# 确保已安装Python 3.x
python3 --version

# 安装必要的Python库
pip install lxml beautifulsoup4

基本使用示例

bash

# 1. 准备输出目录
mkdir -p /path/to/output
cd /path/to/output

# 2. 提取SQL（简化模式）
python scripts/merge_kettle_sql.py /path/to/kettle/job.kjb --simple-output

# 3. 验证结果
ls -la *.sql
head -20 job_*.sql

批量处理示例

bash

# 1. 批量分析Kettle作业
python scripts/batch_extract_kettle_sql.py --dir /path/to/kettle/jobs --output 批量分析

# 2. 查看HTML报告
open 批量分析/batch_report.html

# 3. 批量合并SQL
cd /path/to/output
python scripts/merge_kettle_sql.py /path/to/kettle/jobs/*.kjb --simple-output

🔍 故障排除

常见问题1：SQL提取不完整

症状：提取的SQL内容被截断 解决：使用内置的XML字符处理功能

常见问题2：特殊字符问题

症状：SQL中包含<, >等字符 解决：工具自动处理XML转义字符

常见问题3：文件格式问题

症状：无法解析.kjb或.ktr文件 解决：检查文件是否为有效的Kettle XML格式

📝 最佳实践

1. 根据需求选择模式

bash

# 场景1：只要SQL文件（日常使用推荐）
python scripts/merge_kettle_sql.py job.kjb --simple-output

# 场景2：需要完整分析报告（项目分析使用）
python scripts/batch_extract_kettle_sql.py --dir /path/to/kettle/jobs --output 分析报告

2. 备份原始文件

bash

# 处理前备份原始Kettle文件
cp -r /path/to/kettle/jobs /path/to/kettle/jobs_backup_$(date +%Y%m%d)

3. 逐步验证

bash

# 先测试单个文件
python scripts/merge_kettle_sql.py test.kjb --simple-output

# 检查输出
cat job_test_merged_detailed.sql

# 确认无误后批量处理
python scripts/merge_kettle_sql.py *.kjb --simple-output

4. 使用版本控制

bash

# 将提取的SQL纳入版本控制（使用简化输出模式）
python scripts/merge_kettle_sql.py *.kjb --simple-output
git add *.sql
git commit -m "提取Kettle作业SQL: $(date)"

5. 定期清理

bash

# 清理旧的批处理结果
find . -name "batch_*" -type d -mtime +7 -exec rm -rf {} \;

6. "只要SQL文件"的最佳实践

• 默认使用简化模式: 日常使用推荐 --simple-output 参数
• 明确需求: 如果用户明确说"只要SQL文件"，就使用简化模式
• 文件命名清晰: 简化模式下生成的SQL文件名称清晰，便于识别
• 批量处理策略: 对于批量处理，可以循环使用简化模式

bash

# 批量处理，只要SQL文件
for file in *.kjb; do
    echo "处理: $file"
    python scripts/merge_kettle_sql.py "$file" --simple-output
done

# 复制SQL文件到目标目录
cp *.sql /path/to/target/directory/

📚 相关文件

文档文件 (位于 docs/ 目录)

• docs/第一步_纯SQL提取指南.md - 纯提取模式详细说明
• docs/troubleshooting_case_kettle_extract.md - 故障排除案例
• docs/只要SQL文件需求指南.md - 专门针对"只要SQL文件"需求的使用指南

使用指南 (位于 docs/ 目录)

• docs/QUICK_START.md - 快速开始指南
• docs/USAGE_EXAMPLES.md - 使用示例
• docs/MERGE_SQL_QUICKSTART.md - 合并SQL快速指南
• docs/BATCH_EXTRACT_QUICKSTART.md - 批量提取快速指南

总结报告 (位于 docs/ 目录)

• docs/OPTIMIZATION_SUMMARY.md - 优化总结
• docs/SKILL_STATUS_SUMMARY.md - 技能状态总结
• docs/COMPLETE_WORKFLOW.md - 完整工作流程

📈 技能验证

基于实际生产测试验证：

• ✅ 处理速度：平均1秒/文件
• ✅ 成功率：100%（26个文件测试）
• ✅ SQL组件：最多处理过14个SQL组件的复杂作业
• ✅ 输出质量：保持SQL原样，格式规范

📌 "只要SQL文件"需求总结

需求背景

基于用户反馈，很多用户在使用Kettle SQL提取工具时有一个明确的需求： "我只要提取之后的sql文件，不要给我其他东西"

解决方案

使用 --simple-output 参数可以完美满足这个需求：

bash

# 单个文件
python scripts/merge_kettle_sql.py job.kjb --simple-output

# 批量处理
for file in *.kjb; do
    python scripts/merge_kettle_sql.py "$file" --simple-output
done

典型使用场景

1. SQL备份：只需要SQL脚本进行备份
2. 脚本迁移：将SQL迁移到其他系统
3. 代码审查：直接查看SQL内容
4. 版本控制：将SQL纳入git管理
5. 日常维护：快速获取SQL进行验证

文件输出对比

• 简化模式（使用 --simple-output）：只生成SQL文件
• 完整模式（不使用 --simple-output）：生成HTML报告、JSON总结等额外文件

最佳实践建议

• 对于日常使用，推荐使用 --simple-output 模式
• 如果用户明确说"只要SQL文件"，就使用简化模式
• 对于项目分析和文档生成，可以使用完整模式

🔄 后续计划

短期优化

• 添加进度条显示
• 支持更多输出格式
• 改进错误提示信息

长期规划

• 支持自定义提取规则
• 集成到CI/CD流程
• 添加API接口

"只要SQL文件"优化

• 进一步简化输出格式
• 提供更多的批量处理选项
• 优化文件命名规则

---

注意：此工具专注于SQL提取功能，不包含任何数据库特定的转换逻辑。提取的SQL保持原样，适用于各种数据库系统。

重要提醒：如果用户的需求是"只要SQL文件"，请使用 --simple-output 参数，这是满足这个需求的最直接方式。