skill-promo-video
制作「数字人全程口播解说 + 真实案例展示」风格的技能/产品推广短视频(16:9,60-120s): 所有场景人物开口说话(音频驱动口型同步,双引擎自动决策——短段 H3 音频驱动 / 长段 Wan2.2 S2V 720p)、口型偏移互相关实测逐段补偿、文字场景 PE 一次成栈(构图卡文字直出 +逐行核对清单+逐字 OCR 复验)、人物服饰与案例提示词全参数化(换一份 config 即换 人设/换案例)、Blender 数据长廊确定性运镜、真实数据图表页、TTS 旁白、旁白数字口径闸、 品牌 signature 水印、三步式 ffmpeg 合成、五道 QC 闸门(文字稳定性/口型运动/手部逐指/ 音画对齐/听写检查)。管线模板化,换一份 config 即可为任何 skill 出同款风格视频。 当用户说 "给 XX skill 做推广视频/宣传片/爆款视频/数字人视频/口播讲解视频",或要求 复用数字人主讲风格的 showcase 视频时使用。
skill-promo-video — 数字人全程口播推广视频管线 v2.0(全程活体)
把一个 skill/产品的卖点做成「数字人全程口播 + 真实案例」推广视频。核心能力: 所有场景人物开口说话(音频驱动口型)、人物服饰与案例全参数化、Blender 确定性运镜、 QC 闸门内置。融合实战沉淀的风格宪法(P0 铁律见下节)。
一、风格宪法摘要(P0 一票否决)
- 文字场景 = PE 一次成栈:场景+人物+笔刷横幅+文字一次生成(构图卡/talker 帧皆然,
gen_scene_cards.py);prompt 末尾附逐行核对清单;出图 OCR 逐字+目检双验。 ⛔已证伪路线永不复用:PIL 素排版做文字页 / 换脸贴回 / 卡面文字直接交给引擎重绘 (H3-TALK 是参考重生成不是严格首帧——文字融化走card_composite.py静态面板兜底)。 - 人物纪律:表情丰富、动作自然、双手不拿任何物品(讲解手势);多指/并指=一票否决
(
qc_gates.py hands出 3x 裁片逐指清点);⛔正襟危坐。 - 环境纪律:⛔蜡烛烛台火焰;⛔与内容无关的元素;场景为文字区让位。
- 文案 = 真人白话:结果导向自然语言;⛔行话缩写、⛔规格罗列、⛔AI 腔、⛔生造词; 案例卡上的请求 = 用户会对智能体说的原话(一字不多不少)。
- 数字口径:旁白数值必须与屏上图表同值同精度;⛔成数(「一成六」)、⛔口语「X个点」;
百分数读法展开(「百分之…」)只进 TTS 字段——
qc_gates.py narr(正本narr_audit.py) exit 1 拦截发车。 - 案例真实性闸门:每个案例链路 用户请求→引擎命令→页面结果 必须真跑验证; 图页注脚每个数字与图同源;⛔引用未验证的名称/打分/比值。
二、成片结构(固定叙事骨架)
Blender 开场运镜(数据长廊推进,≈4.5s,可选)
→ 数字人开场口播(≤5s,H3 音频驱动,念出产品名)
→ 9×[构图卡(人物开口讲解该图型,H3-TALK + 文字稳定性闸门;文字融化→card_composite 兜底)
→ 图页(编号+标题+真实图表+来源注脚 5.0s)]
→ 数字人收尾口播 → 成绩卡(背书数据)
→ Blender 收尾运镜(拉远全览+品牌面板,可选)→ 片尾卡(大字金句+安装指引)
全程:signature 水印右上角 + 底部 ASS 字幕 + BGM(纯器乐,须独听听写体检)+ 旁白
三、执行流程(12 步;⛔ 纪律见括号,详解 references/pipeline.md)
- 策划:2 个核心卖点 + 3-4 项硬背书(评分/下载走 API 实测,榜单口径与用户核对)
- 数据工程:贴近目标用户领域;真实公开数据集优先(来源注脚如实标注模拟/真实)
- 图表渲染:目标产品的图表引擎(matplotlib 栈)150dpi/16:9(森林=HR 量级化;火山=构造式三带)
- 人物资产:用户自备角色卡/定妆照;PE 参考图键名
images.image_1带点嵌套+TE 接vae; 换装=configcharacter.costume一行(正向描述,cfg=1 负向无效) - 构图卡/口播首帧:
gen_scene_cards.py(layout=card|talker|talker_left|raw);PE 一次成栈 (⛔零 PIL 贴补);--wait自动回捞+空白图护栏;成图逐字 OCR 复验 - 图页版式:底图全部定稿之后才合成版式(⛔ 旧图混入两次的根因)
- 口播段:
talking_segment.py双引擎决策(≤5.1s→H3-TALK;>5.1s→S2V 720p;无旁白→H3-I2V; 引擎决策树 references/digital-human.md);⛔输出段一律-an剥音轨;⛔r2v 参考生成已证伪 - 口型补偿(可选增强):
measure_sync.py --video 段 --wav 旁白互相关实测偏移(0.04-0.46s 逐段不同),compose 注入 t0=段起点+delay;⛔阈值 onset 法(呼吸/起势污染误测为 0) - TTS:
tts_batch.py(⛔文本去「?」;⛔逐个验 wav mtime+size 防 GPU OOM 假 OK; ⛔TTS 新旁白必须先落地再跑口播段——并行抢 GPU+旧旁白=废一段) - 运镜段(可选):
blender_scene.pyheadless Cycles 数据长廊两镜;⛔EEVEE 无头黑帧风险; ⛔布景在 -Y 时相机俯仰必须负值(+θ 朝背后拍,pitfalls #39);不过验收降级静帧+zoompan - 三步式合成:
compose_3step.py(视频链→音轨→合并;⛔禁单巨链;唯一临时目录;ASS 全 10 字段; ⛔旁白 wav 不得长于所在段——溢出=双声事故 pitfalls #37) - 质检与交付:
qc_gates.pytext/lips/hands/av/narr + FunASR 全轨听写(--gate-cmd 接任意 听写实现;必含词选 ASR 稳定命中的中文整词,防同音字假阴性)+ 全片抽帧目检(覆盖每类页面)+ ffprobe 单视频流验证 +(可选)style_transfer.py素模风格化
四、环境要求(边界与限制)
- 需要本地 GPU(≥24G 显存实测可用)与本地部署的推理服务:文生图(Qwen-Image 系 PE 管线, 启动须带 QWEN_PE_LLAMA_SERVER,缺则文字页全废;默认 127.0.0.1:8190)、数字人视频 (H3 音频驱动,单 clip ≤124 帧≈5.1s;S2V 720p 为长旁白备选,默认 8189/8188)、本地 TTS、 Blender 4.x+、ffmpeg。模型从各官方发布页获取;技能包不含任何模型权重与人物资产。
- GPU 多实例串行:多实例并存时 TTS/生成必 OOM 假失败——每次 TTS/生成前查 nvidia-smi, 释放当前不需要的实例(kill→free→load 纪律)。
- Python 依赖仅 Pillow 与 numpy(QC 闸门用);另需 ffmpeg/ffprobe 与 curl 命令行; 水印/字幕需 Noto CJK 与霞鹜文楷字体(路径见 make_watermark.py/compose_3step.py,可改)。
- 听写闸门(FunASR 类)为外部命令接口(qc_gates.py asr --gate-cmd),听写实现需自备; 无听写实现时以人工试听替代该闸门。
- 无 GPU/无推理服务时:跳过口播与运镜段,退化为静态图文视频(TTS 也依赖本地算力, 无 TTS 时可静音+字幕交付;其余步骤不变)。
- 首次使用先跑各脚本
--help;talking_segment.py提交前自动做节点名与模型在盘预检 (模型名内置默认值,名称不同时改脚本顶部常量)。
五、安全与行为声明
- 全流程本地执行:外联仅限本机回环地址上的用户自建推理服务(HTTP);子进程仅限本地 ffmpeg/ffprobe/Blender/curl/用户本地 TTS;不访问任何远程服务,无遥测,不上传任何数据。
- 按需单次运行,无常驻后台、无定时任务、不安装依赖(依赖由用户按「环境要求」自行部署)。
- 产物写入用户指定的输出目录;QC 抽帧与提交载荷使用系统临时目录(唯一临时目录,用后即弃); 人物参考图与成片均不出本机。请仅使用你有权使用的人物参考图(肖像授权自审)。
六、参数化(换一份 config = 换一个视频)
references/config-template.json(合法 JSON)驱动构图卡/口播首帧的人物与九个案例;
其余段以它为单一事实来源派生。旁白纪律:陈述句(禁问号——TTS 静默失败);
口播段 ≤5s(H3 单 clip 窗口);≤ 所在段时长(溢出=双声)。
七、双引擎速查
| 旁白 | 引擎 | 参数 |
|---|---|---|
| ≤5.1s | H3-TALK(ref2va) | 1344×768@24fps,8 步,INT8 |
| >5.1s | S2V 720p | 1280×720@16fps,4n+1 帧,Lightning 4 步(cfg=1 负向无效) |
| 无旁白 | H3-I2V | 严格首帧微动 |
八、版本历史
- v2.0.0(2026-10-25)——「全程活体」首发:所有场景人物开口说话(双引擎决策+互相关口型补偿 +card_composite 文字兜底)、全参数化 config、Blender 数据长廊运镜、五道 QC 闸门+数字口径闸、 融合实战风格宪法(PE 文字栈/人物纪律/白话文案/案例真实性)。
- Downloads
- 68All time
- Security audit
- Review
- Last updated
- 3d ago
- Current version
- v2.0.0
- License
- MIT-0
