口播视频加工
口播竖屏视频加工流程:①人像精修(剪映美颜处理大小眼/磨皮/瘦脸/唇形自然,无需GPU)②叠加透明动态素材(证据图/截图/logo,Remotion画层+ffmpeg叠回保原声)。当用户要给口播视频加贴图/证据图/截图/logo、按口播递进闪现图片、做「我用某工具干了某事」的证明画面,或要修口播人物的大小眼/面部瑕疵/让口播更自然,或提到「口播剪辑素材加工」「视频加工」「星客汇那套方法」「Remotion叠图」时使用。发型修复不做(无成熟工具);不用于口播精剪/去废话/数字人换头。
口播视频加工(人像精修 + 证据图叠加)
两段式口播竖屏视频加工:
- 阶段A 人像精修(可选):剪映美颜处理大小眼/面部瑕疵/唇形自然,无需GPU。
- 阶段B 证据图叠加:Remotion 画透明叠加层 + ffmpeg 叠回原片,全程保留原声,按口播语言递进闪现,不抢主体。
源自星客汇 Remotion+ffmpeg 工作流。已跑通样例:三张证据图按口播递进闪现叠加到口播成片(讲对标→图一、讲工具→图二、讲拆解结果→图三),原声保留。
开工前确认(缺什么先要什么)
- 口播成片:必须带原声,不要只交无声画面。记下路径。
- 要不要人像精修:人物有无大小眼/面部瑕疵/唇形问题?要修就走阶段A(剪映)。发型乱不做(无成熟工具,建议拍摄端整理)。
- 叠加素材:要叠哪些图/截图?干净原图(不要红框箭头、不要已加阴影描边)。每张图对应口播哪句话?
- 画布参数:
ffprobe查原片宽高/帧率/时长。叠加层画布必须与原片完全一致。 - 闪现时机:每张图在口播第几秒出现?停留几秒(默认 5 秒)?
阶段A:人像精修(剪映,无需GPU,可选)
真人口播实拍优先用剪映专业版的「美颜美体」,本机即可跑,处理大小眼/瑕疵/唇形。详细参数与边界见 references/face-refine.md。要点:
- 大小眼:美颜「大眼/亮眼」整体放大+提亮,减轻不对称。⚠️ 这是整体放大,不是「精确把小眼补到和大眼一样」——后者无现成工具(见 face-refine.md)。
- 面部瑕疵:「磨皮/美白/祛痘」处理肤质。
- 唇形自然:真人实拍口型本就同步,美颜提升嘴部清晰度即可,不需要 lip-sync。只有「配音/口型对不上」才需 FaceFusion lip-sync(要GPU,可选)。
- 拍摄端优先:大小眼多半是广角畸变+角度,机位平齐/拉远/正脸/匀光比后期更自然。
- 精修后导出与原片同分辨率/帧率的成片,作为阶段B的输入。
阶段B:证据图叠加(Remotion + ffmpeg)
1. 建工程(复制模板,不从零搭)
把 template/ 复制到工作目录(如 D:\视频加工\<片名>,路径自定)。模板含 src/Evidence.tsx、src/Root.tsx、src/index.ts、pipeline.ps1、work/composite.txt、package.json、tsconfig.json。
依赖用 junction,不要 cp 复制 node_modules(几千小文件会耗尽系统资源导致 fork 失败):
import _winapi
_winapi.CreateJunction(r'<已有Remotion工程>\node_modules', r'<新工程>\node_modules')
没有现成依赖就 npm ci(失败回退 npm ci --registry https://registry.npmmirror.com)。依赖版本 Remotion 4.0.539 + React 19。
2. 放素材
- 原片 →
本次素材\原片.mp4(若继承了只读属性,先rm -f再复制)。 - 叠加图 →
public\img1.png / img2.png / ...。 - 用 PIL 量每张图宽高,算出等比例的显示尺寸(
objectFit:cover不裁切)。
3. 定时间轴(关键)
每张图对齐到口播对应语句的开始秒数:
- 优先转写:系统空闲内存 >2GB 时,
python -I transcribe_audio.py <音频> <out.txt> zh(FunASR SenseVoice,带句级时间戳)。先从原片提音频:ffmpeg -i 原片.mp4 -vn -ac 1 -ar 16000 audio.wav。 - 内存不足就估算:按口播稿各段字数占比 × 总时长推算各段起止秒。渲染后抽帧核对微调(见步骤 6)。
4. 配置叠加组件
改 src/Evidence.tsx:每张图一个 EvN,设 w/h(等比例显示尺寸)、x/y(画布内坐标)。摆放两种模式,先问用户偏好:
- 居中盖脸(图是主体):水平居中
x=(画布宽-w)/2,垂直中心约y=420(544×960 时)盖住中上部人脸,图放大(w≈360-500)。口播证据图常用此模式——观众看图不听脸。 - 侧边不挡脸(人是主体):图缩小放右侧(x≈210-300, y≈250-300, w≈230-320),保留人脸。
改 src/Root.tsx 注册各 EvN,画布宽高/帧率与原片一致,durationInFrames=150(5秒@30fps)。
改 pipeline.ps1 的 $T1/$T2/$T3(各图起始秒)和渲染/叠加块(图数变了就增删 EvN 块)。work/composite.txt 按图数写 overlay 链 + 原声 volume=2.0。
5. 渲染合成
powershell -ExecutionPolicy Bypass -File .\pipeline.ps1
Remotion 渲染各透明 PNG 序列 → ffmpeg 按 -itsoffset 叠回原片、保留原声。成片在 成片\final.mp4。
6. 抽帧核对(必做)
在每张图应出现的秒数抽帧:ffmpeg -ss <秒> -i 成片.mp4 -frames:v 1 check.jpg。用多模态(analyze_image.py)或目测确认:图出现了、位置符合所选模式(居中盖脸则确认脸被盖住、侧边则确认不挡脸)、对应口播字幕正确。时机偏了改 $TN、位置偏了改 x/y,重渲染(很快)。
7. 交付
复制成片到用户工作区,os.startfile() 打开默认播放器让用户看。告知各图时间点,邀请微调(时机/大小/位置/停留时长)。
铁律
- 原声全程保留,中间不能没声音,人要把话说完。
composite.txt原声volume=2.0(单独输出时避免被减半),不要amerge/normalize/tpad。 - 叠加层等比例、清楚。摆放按用户偏好:居中盖脸模式图放大盖住人脸(图是主体);侧边模式图缩小不挡人脸(人是主体)。先问用户要哪种,别默认。
- 画布尺寸/帧率必须与原片一致,否则叠加错位。
- pipeline.ps1 含中文路径必须存 UTF-8 BOM,否则 PowerShell 按 GBK 解析失败。
- 不重绘实拍画面,不用 ComfyUI/绘图工具改人物。口播精剪/数字人走别的流程。
详细踩坑
环境/编码/内存/时间轴估算的具体坑与解法,见 references/pitfalls.md。
- Downloads
- Security audit
- Review
- Last updated
- 2d ago
- Current version
- v1.1.0
- License
- MIT-0
