Install
openclaw skills install @thcjp/ai-video-studio-pro核心功能: 本技能提供中文交互、时使用等能力。
创新亮点
效率提升量化分析
| 操作步骤 | 手动耗时 | 自动化耗时 | 时间节约 | 准确率提升 |
|---|---|---|---|---|
| 视频脚本编写 | 8小时 | 1小时 | 7小时 | 10% |
| 视频剪辑 | 16小时 | 2小时 | 14小时 | 15% |
| 口型同步 | 4小时 | 0.5小时 | 3.5小时 | 20% |
| 视频渲染 | 24小时 | 4小时 | 20小时 | 25% |
| 视频发布 | 2小时 | 0.2小时 | 1.8小时 | 10% |
差异化对比
| 对比维度 | 本技能 | 手动操作 | Python脚本 | 专业软件 |
|---|---|---|---|---|
| 易用性 | 高 | 低 | 中 | 高 |
| 成本 | 低 | 高 | 中 | 高 |
| 速度 | 快 | 慢 | 中 | 快 |
| 准确率 | 高 | 低 | 中 | 高 |
| 功能丰富性 | 高 | 低 | 中 | 高 |
核心痛点解决
| 痛点 | 描述 | 影响范围 | 解决方案 | 量化效果 |
|---|---|---|---|---|
| 视频制作效率低 | 制作周期长，人力成本高 | 影响项目进度和预算 | AI自动化制作 | 时间节约20% |
| 口型同步困难 | 口型与语音不匹配，影响观看体验 | 影响用户体验 | 口型同步技术 | 准确率提升20% |
| 视频风格单一 | 创意受限，缺乏个性化 | 影响品牌形象 | 智能路由决策树 | 风格多样性提升10% |
常见问题FAQ
Q1: AI视频导演支持哪些视频格式输出？
A: AI视频导演支持MP4、AVI、MOV等多种视频格式输出，可根据需求选择。
Q2: 如何进行口型同步？
A: 通过使用口型同步数字人功能，将语音与数字人的口型进行同步，实现自然流畅的口型效果。
Q3: 智能路由决策树如何工作？
A: 智能路由决策树根据视频内容、风格、画质等需求，自动选择最优的视频引擎进行制作。
Q4: 如何注入营销策略？
A: 通过调用营销文案接口，从脚本和商品信息中提炼卖点、选择情绪钩子、生成CTA话术，并注入脚本关键帧。
Q5: AI视频导演的配音质量如何？
A: AI视频导演提供高质量TTS引擎，支持三层降级链，保证配音的可用性和流畅度。
排障手册
| 错误现象 | 可能原因 | 诊断步骤 | 解决方案 |
|---|---|---|---|
| 视频生成失败 | 引擎选择错误 | 检查决策树逻辑，确保引擎选择正确 | 重新选择引擎，或调整决策树参数 |
| 口型同步错误 | 口型数据错误 | 检查口型数据，确保数据准确 | 重新生成口型数据，或调整口型参数 |
| 字幕烧录失败 | 字幕格式错误 | 检查字幕格式，确保格式正确 | 转换字幕格式，或使用正确格式生成字幕 |
| 营销策略注入失败 | 接口调用错误 | 检查接口调用日志，确保接口调用正确 | 重新调用接口，或检查接口参数 |
安全规范
- 确保输入的视频素材版权合法。
- 保护用户隐私，不泄露用户数据。
- 定期更新软件，修复已知漏洞。
- 避免使用高危密码，确保账户安全。
- 限制对视频制作工具的访问权限。
AI视频导演
定位: 脚本到成片一站式视频制作 设计: 热点短视频生成 + 口型同步视频 + 智能路由决策树 + 多引擎降级
安全风险防范
| 风险项 | 等级 | 防护措施 | 验证方法 |
|---|---|---|---|
| API密钥泄露 | 高 | 通过环境变量配置，禁止硬编码 | 定期检查代码和配置文件 |
| 命令执行风险 | 高 | 仅执行白名单命令，避免拼接用户输入 | 使用沙箱环境测试 |
| 网络通信安全 | 中 | 使用HTTPS协议，验证SSL证书 | 定期检查证书有效期 |
| 敏感数据暴露 | 高 | 输出结果中不包含密钥、令牌等敏感信息 | 日志脱敏审查 |
| 未授权访问 | 中 | 限制访问权限，实施认证机制 | 定期审计访问日志 |
专业版专属特性
| 能力 | 免费版 | 付费版 |
|---|---|---|
| 基础功能 | 支持 | 支持 |
| 高清分辨率与无损输出 | 不支持 | 支持 |
| 批量生成与风格预设 | 不支持 | 支持 |
| 自定义模型微调 | 不支持 | 支持 |
| 商用版权授权 | 不支持 | 支持 |
能力梳理
- 智能路由决策树:按5步决策树(硬约束过滤→一致性需求判断→内容类型判断→成本预算过滤→风格偏好注入)自动选择最优视频引擎,支持角色一致性引擎/画质引擎/风格化引擎/通用引擎/口型同步引擎多引擎路由
- 口型同步数字人:VG-07口型同步流程,支持agent_id人设出镜,从人设配置→图片生成→情感语音合成→口型同步→下载验证全流程,超时600秒轮询机制
- 营销策略自动注入:调用营销文案接口,从脚本+商品信息提炼卖点(selling_points)+选择情绪钩子(emotional_hook)+生成CTA话术,注入脚本关键帧(开头钩子/中段卖点/结尾CTA)
- 三层TTS降级链:Layer1高质量TTS引擎(免费,85%场景)→Layer2备用TTS(本地,10%)→Layer3静默+字幕(5%),保证配音可用性
- 场景路由+配额管理:scene参数场景路由模式(scene_1~scene_7),7场景+5卡片+降级链+成本预估+配额管理,渲染前检查日/月配额
启动指引
- 确认运行环境满足依赖说明中的要求
- 在AI Agent对话中调用本技能,提供必要的输入参数
- 检查输出结果,根据需要进行后续处理
场景说明
| 场景 | 输入 | 输出 | 是否适用 |
|---|---|---|---|
| 热点短视频生成 | topic主题+duration时长+platform平台 | 带配音字幕的短视频文件 | 适用 |
| 口型同步数字人视频 | agent_id人设+text文本+resolution分辨率 | 数字人口型同步视频 | 适用 |
| 连续剧角色一致性视频 | agent_id+series_id+脚本 | 角色一致性75-90%的视频 | 适用 |
| 多平台内容分发 | 已生成视频+多平台列表 | 多平台适配视频+发布结果 | 适用 |
| 营销带货视频制作 | 商品信息+脚本+CTA需求 | 含卖点钩子CTA的营销视频 | 适用 |
| 专业影视级长片制作 | 90分钟以上院线级需求 | 不适用(单次时长上限300秒) | 不适用 |
| 实时直播推流 | RTMP推流地址+实时画面 | 不适用(本Skill为离线生成) | 不适用 |
| 纯音频播客制作 | 音频-only输出需求 | 不适用(本Skill主输出视频) | 不适用 |
使用说明
Step 1: 接收视频生成请求
- 解析输入参数:action(generate/lip_sync_video)、topic、duration(15-300秒)、platform、agent_id、scene
- 参数校验:topic非空、duration在15-300范围、platform在支持列表内
- 校验失败处理:返回VG-ERR-01,提示正确参数格式
Step 2: 内容准备(仅generate流程)
- 如未指定topic→调用趋势发现接口获取TOP3热点,失败→使用默认话题"日常生活"
- 生成视频脚本→调用内容模板接口,失败→VG-ERR-02使用默认脚本模板
Step 3: 营销策略注入(仅generate流程)
- 调用营销文案接口,输入脚本内容+商品信息
- 提炼卖点(selling_points)+选择情绪钩子(emotional_hook)+生成CTA话术
- 注入脚本关键帧(开头钩子/中段卖点/结尾CTA)
- 失败→跳过营销注入,使用原始脚本
Step 4: 钩子结尾图检查
- 调用配置接口获取钩子结尾卡配置
- status=unset→提示用户设置 / status=configured→修改分镜最后帧 / status=dismissed→跳过
- 配置接口不可用→跳过,不阻塞主流程
Step 5: 生成配音
- 调用TTS引擎(从配置获取voice_config)
- 三层降级:Layer1高质量TTS→Layer2备用TTS→Layer3静默+字幕
- 失败→VG-ERR-03重试3次降级默认音色
Step 6: 视频生成(智能路由)
- 按智能路由决策树选择引擎
- 调用视频生成接口
- 失败→VG-ERR-04重试3次(间隔2分钟)
Step 7: 字幕烧录与结尾帧注入
- 生成字幕→ffmpeg烧录SRT,失败→VG-ERR-05跳过字幕返回无字幕视频
- 钩子结尾帧注入→image_source="custom"时ffmpeg拼接结尾帧(3秒),失败→跳过不阻塞
Step 8: 质量检查与交付
- 视频时长≈配音时长(误差<2秒),失败→重新生成
- 保存到输出目录+记录日志,失败→VG-ERR-06
- (可选)调用发布接口发布
智能路由决策树
视频生成请求到达
│
├─ Step1: 硬约束过滤 → API Key可用性检查 → available_engines
├─ Step2: 一致性需求判断 → agent_id出镜=HIGH / series_id=MEDIUM / 独立=NONE
├─ Step3: 内容类型判断
│ ├─ 数字人出镜 → VG-07口型同步(主引擎→降级引擎)
│ ├─ 角色一致性HIGH → 角色一致性引擎(75-90%) → 降级I2V引擎(70-85%)
│ ├─ AI原创画面 → 画质引擎(1.2元/5秒) → 降级通用引擎
│ ├─ AI风格化 → 风格化引擎 → 降级通用引擎
│ ├─ 真实素材 → 通用引擎(免费) → 降级风格化引擎
│ └─ 不确定 → 默认通用引擎(免费+字幕)
├─ Step4: 成本预算过滤 → free=仅免费引擎 / low=+角色一致性 / unlimited=全部
└─ Step5: 风格偏好注入 → 读取风格配置 → prompt_prefix+video_style+品牌叠加注入
| 场景 | 首选引擎 | 理由 | 降级路径 |
|---|---|---|---|
| 连续剧(角色一致性) | 角色一致性引擎 | 75-90%一致性 | I2V引擎→通用引擎 |
| AI原创画面 | 画质引擎 | 画质优质 | 通用引擎→免费引擎 |
| AI风格化 | 风格化引擎 | 模板+一键合成 | 免费引擎 |
| 真实素材 | 通用引擎 | 免费+字幕 | 风格化引擎 |
| 不确定/默认 | 通用引擎 | 免费+降级风险最低 | 无 |
| 预算受限 | 免费引擎 | 均免费 | 无 |
| 数字人出镜 | 口型同步引擎 | 口型同步 | 本地GPU降级 |
输入规范
生成短视频
{"action": "generate", "agent_id": "agent_001", "topic": "春季穿搭", "duration": 60, "platform": "douyin", "with_subtitle": true}
生成短视频(场景路由模式)
{"action": "generate", "topic": "春季穿搭", "duration": 60, "platform": "douyin", "scene": "scene_1", "with_subtitle": true}
口型同步视频
{"action": "lip_sync_video", "agent_id": "mengyao", "text": "嗨,今天想我了没?", "resolution": "480P", "scene": "咖啡厅"}
输出说明
{"success": true, "data": {"video_url": "...", "duration": 58, "with_subtitle": true}, "error": null, "code": "VG-SUCCESS-01"}
输出格式(场景路由模式)
..", "duration": 58, "with_subtitle": true, "route_metadata": {"scene": "scene_1", "engine_used": "universal_engine", "fallback_applied": false, "fallback_chain_used": [], "cost_estimate": 0}}, "error": null, "code": "VG-SUCCESS-01"}
异常管理
| 异常场景 | 原因 | 处理方式 | 错误码 |
|---|---|---|---|
| 参数无效 | topic空/duration超范围 | 返回错误,提示正确参数 | VG-ERR-01 |
| 脚本生成失败 | 内容模板接口失败 | 降级使用默认脚本模板 | VG-ERR-02 |
| TTS配音失败 | TTS引擎返回错误 | 3次→降级默认音色→备用TTS→静默+字幕 | VG-ERR-03 |
| 视频生成失败 | 视频接口返回失败 | 3次(间隔2分钟)→3次失败告警 | VG-ERR-04 |
| 字幕烧录失败 | ffmpeg未安装或执行失败 | 跳过字幕,返回无字幕视频 | VG-ERR-05 |
| 记录失败 | 日志写入失败 | 记录日志稍后3次失败告警 | VG-ERR-06 |
| 素材缺失 | 源视频不存在 | 跳过缺失素材,提示补充 | VG-ERR-07 |
| 人设未找到 | agent_id无档案 | 返回错误,提示先初始化人设 | VG-ERR-08 |
| 口型同步失败 | 口型同步接口失败 | 2次→告警→检查API额度 | VG-ERR-09 |
| 视频下载失败 | 口型同步视频下载失败 | 3次 | VG-ERR-10 |
| 引擎权限不足 | 权限校验失败 | 降级到允许的最高级引擎,记录告警 | VG-ERR-11 |
| 风格配置缺失 | 风格配置未找到 | 使用默认风格(default),不阻塞主流程 | VG-ERR-12 |
| 视频配额已用尽 | 日/月配额达到上限 | 返回配额状态数据,提示升级或等待配额重置 | VG-ERR-QUOTA |
| 场景路由失败 | scene_id无效 | 返回错误,提示检查scene_id | VG-ERR-ROUTE |
| 视频渲染失败 | 所有引擎(含降级链)均失败 | 返回错误,记录降级链日志,提示或更换场景 | VG-ERR-RENDER |
TTS降级策略
Layer1: 高质量TTS引擎(免费,85%场景) → Layer2: 备用TTS(本地,免费,10%) → Layer3: 静默+字幕(5%)
运行环境
运行环境
- Agent平台: Claude Code / Cursor / Codex / Gemini CLI / Windsurf 等支持SKILL.md的任意Agent
- 操作系统: Windows / macOS / Linux
- 运行时: 需要Agent支持exec(命令行执行)能力
第三方依赖
| 依赖项 | 类型 | 是否必需 | 获取方式 | 国内替代方案 |
|---|---|---|---|---|
| LLM API | API | 必需 | 任意LLM服务商,由Agent内置LLM提供 | DeepSeek/通义千问/文心一言/Kimi等国内模型 |
| TTS引擎 | API | 必需 | 高质量TTS/备用TTS/Edge-TTS三层降级 | CosyVoice2/鱼声Fish-Speech/Edge-TTS(免费) |
| 视频生成API | API | 必需 | 按智能路由决策树选择引擎 | 可灵AI/即梦AI/腾讯智影等国内视频生成 |
| ffmpeg | 工具 | 可选 | 字幕烧录(ffmpeg未安装时跳过字幕) | 系统包管理器安装,无海外依赖 |
API Key 配置与安全要求
- LLM_API_KEY: 必需(通常由Agent内置) - 脚本生成/营销策略注入
- TTS_API_KEY: 可选 - TTS引擎(Edge-TTS免费可用)
- VIDEO_API_KEY: 可选 - 视频生成引擎
- 配置方式: 在Agent的环境变量中设置
- 零暴露原则: API Key必须通过环境变量注入(如
$env:VIDEO_API_KEY),严禁硬编码在SKILL.md或脚本源码中;所有示例代码中Key位置使用环境变量占位符;禁止在日志、错误信息、输出JSON中打印Key明文
使用流程(补充)
TTS降级链最终方案为静默+字幕。通用视频引擎免费。ffmpeg用于字幕烧录,未安装时返回无字幕视频. 只需将SKILL.md文件放入Agent的skills目录即可直接使用. 如果Skill中包含exec工具调用,需要Agent支持命令行执行能力.
可用性分类
- 分类: MD+EXEC
- 说明: 纯Markdown,但需要exec能力(命令行执行),用于文件读写和命令调用
案例展示
以下案例展示了skill的工作流程和预期输出效果，由LLM按照skill定义的流程生成.
案例1: 抖音热点短视频生成(60秒,含配音字幕)
输入:
{
"action": "generate",
"topic": "春季穿搭3个显瘦技巧",
"duration": 60,
"platform": "douyin",
"with_subtitle": true
}
LLM生成输出:
{
"success": true,
"data": {
"video_url": "https://cdn.videostudio.com/output/spring_outfit_001.mp4",
"duration": 58,
"with_subtitle": true,
"route_metadata": {
"scene": null,
"engine_used": "universal_engine",
"fallback_applied": false,
"fallback_chain_used": [],
"cost_estimate": 0
}
},
"error": null,
"code": "VG-SUCCESS-01"
}
效果验证: ✓视频时长58秒(误差<2秒) ✓通用引擎免费路由 ✓字幕烧录成功 ✓TTS配音正常 ✓输出格式合规
案例2: 口型同步数字人视频(480P)
输入:
{
"action": "lip_sync_video",
"agent_id": "mengyao",
"text": "嗨,今天想我了没?春季新款到店啦,快来看看吧!",
"resolution": "480P",
"scene": "咖啡厅"
}
LLM生成输出:
{
"success": true,
"data": {
videostudio.com/output/lip_sync_mengyao_001.mp4",
"duration": 12,
"with_subtitle": false,
"route_metadata": {
"scene": "咖啡厅",
"engine_used": "lip_sync_engine",
"fallback_applied": false,
"fallback_chain_used": [],
"cost_estimate": 0.5
}
},
"error": null,
"code": "VG-SUCCESS-01"
}
效果验证: ✓口型同步引擎正确路由 ✓agent_id人设加载成功 ✓情感语音合成完成 ✓480P分辨率输出 ✓输出格式合规
案例3: 场景路由模式生成(scene_1,含配额管理)
输入:
{
"action": "generate",
"topic": "AI工具推荐:3款效率神器",
"duration": 30,
"platform": "xiaohongshu",
"scene": "scene_1",
"with_subtitle": true
}
LLM生成输出:
{
"success": true,
"data": {
videostudio.com/output/ai_tools_scene1_001.mp4",
"duration": 30,
"with_subtitle": true,
"route_metadata": {
"scene": "scene_1",
"engine_used": "universal_engine",
"fallback_applied": false,
"fallback_chain_used": [],
"cost_estimate": 0
}
},
"error": null,
## 重要特性
- **自动化执行**: 一个人就是一支视频团队
- **文件处理**: 支持多种文件格式的读取、解析和写入操作
- **API集成**: 通过标准化接口调用外部服务并处理响应
- **命令执行**: 在安全沙箱中执行系统命令并收集结果
## 错误处理指引
针对AI视频导演使用中可能遇到的常见问题,提供以下排查方案:
| 错误类型 | 原因分析 | 解决方案 |
|---------|---------|---------|
| API认证失败(401) | API密钥错误或过期 | 检查密钥配置,重新生成token |
| 接口限流(429) | 请求频率超出限制 | 降低调用频率,启用重试退避策略 |
| 响应超时(504) | 网络延迟或服务端负载过高 | 增加超时阈值,检查网络连接 |
| 文件不存在 | 路径错误或文件未创建 | 检查路径拼写,确认文件已生成 |
| 文件格式不支持 | 扩展名不在支持列表中 | 转换为支持的格式后重试 |
| 权限不足 | 当前用户无读写权限 | 检查文件权限,以管理员身份运行 |
| 命令执行失败 | 参数错误或环境依赖缺失 | 检查命令语法,确认依赖已安装 |
| 进程超时 | 命令执行时间过长 | 增加超时设置,优化命令参数 |
| 网络连接失败 | DNS解析失败或防火墙拦截 | 检查网络配置,确认代理设置 |
### AI视频导演通用排查步骤
1. **检查输入参数**: 确认所有必填参数已提供且格式正确
2. **查看日志输出**: 定位具体错误行和异常类型
3. **验证环境配置**: 确认依赖库版本和运行环境满足要求
4. **逐步调试**: 缩小问题范围,隔离故障模块
## 主要特性
- **自动化执行**: 一个人就是一支视频团队
- **文件处理**: 支持多种文件格式的读取、解析和写入操作
- **API集成**: 通过标准化接口调用外部服务并处理响应
- **命令执行**: 在安全沙箱中执行系统命令并收集结果
- Downloads
- Security audit
- Review
- Last updated
- 14h ago
- Current version
- v1.0.0
- License
- MIT-0