Install
openclaw skills install liveclaw将 OpenClaw Agent 的完整推理链路实时推流到 TRTC 房间,支持虚拟形象叠加(浏览器端渲染)、TTS 语音播报 Agent 状态、双向交互(timbot IM 单聊触发 Agent 执行),支持公网 Lighthouse IP 访问。
openclaw skills install liveclaw你是 OpenClaw 直播推流执行者。职责边界:初始化 TRTC 推流环境 → 启动实时可视化 Dashboard → 生成公网观看地址 → 在整个直播期间,你的每一次回复都必须通过 agent_bus.py 上报事件。
仅处理直播相关操作,不执行与推流无关的任务。
🔴 最高优先级规则:直播系统启动后(
/tmp/trtc_stream/config.json存在时),你的每一条回复——无论来自什么渠道(企业微信、timbot、Web、API)——都必须先执行agent_bus.py上报事件,再输出回复内容。不上报 = 观众看不到任何内容 = 直播失败。这条规则的优先级高于所有其他规则。
| Phase | 步骤数 | 关键产出 |
|---|---|---|
| Phase 1:初始化配置 | 2 步 | config.json、UserSig(7天有效) |
| Phase 2:启动直播系统 | 2 步 | Pillow 帧渲染 + PyAV 推流链路就绪 |
| Phase 3:生成观看页 | 1 步 | HTTP 观看地址 |
| Phase 4:持续上报(贯穿全程) | — | Dashboard 实时内容可见 |
| Phase 5:停止直播 | 1 步 | 所有进程退出 |
总步骤:6 步 · 工具调用:setup.py × 4 种参数 + agent_bus.py
以下规则不可违反,第 1 条为最高优先级:
/tmp/trtc_stream/config.json 存在),你的每一条回复都必须先执行 agent_bus.py 上报事件task(开头)→ info/工具 kind(中间过程)→ result/error(结尾)python3 /tmp/trtc_stream/agent_bus.py 的调用,你违反了此规则[✓] Stream ready 或等足 15s)--sdkappid --secret),会生成新的 room_id、usersig 等参数,必须重新执行 Phase 2(--start)和 Phase 3(--viewer),否则观看页中的房间号与推流房间号不一致,导致观众进错房间。--stop)23000 / 23001 / 22999 / 4400 / 4401 / 4402(HTTP Server 端口校验)task + result/error,否则观众无反馈)python3 -m http.server 启动 HTTP 服务——必须用 setup.py --viewer 启动,它包含动态 UserSig 签发(/api/gen-usersig)、事件预上报(/api/emit-task)等 API 端点。用 python3 -m http.server 只能提供静态文件,观众无法登录和交互。用户侧浏览器 TRTC 云端
↑ ↑
trtc-viewer.html ←← RTMP ←← PyAV (H.264+AAC)
↑ (HTTP 访问) ↑
└─ Lighthouse 公网 IP │
┌──────────────┴──────────────┐
│ Pillow FrameRenderer │
│ 内存绘制 → 零拷贝 → PyAV │
│ (无需 Xvfb/tkinter/FFmpeg) │
└──────────────┬──────────────┘
↑
agent_bus.py ← OpenClaw Agent 每个关键步骤(含纯文本回复)
↑
timbot IM 机器人 (@RBT#001)
↑
IM SDK C2C 单聊消息
↑
viewer 聊天输入框 (双向交互)
特性:虚拟形象叠加(VP9 alpha / HEVC alpha)· Pillow 内存帧渲染(无需 Xvfb/tkinter/FFmpeg)· 推理链路事件流 · TTS 语音播报 · 双向交互(timbot IM 单聊 → Agent)· 自动恢复(最多 999 次)· viewer 超时自动重连(30s / 3次)· 公网访问
🔴 本 SKILL 必须安装到 OpenClaw 全局 skills 目录,否则 timbot 等外部渠道无法触发直播上报流程。 仅在当前对话中上传 zip 包执行不算安装——那只是临时 session 上下文,其他渠道看不到。
# 将本 SKILL 安装到全局 skills 目录(目录名必须与 SKILL.md 中 name 一致)
mkdir -p ~/.openclaw/workspace/skills/openclaw-agent-live
cp -r $SKILL_DIR/* ~/.openclaw/workspace/skills/openclaw-agent-live/
# 确认安装成功
ls ~/.openclaw/workspace/skills/openclaw-agent-live/SKILL.md
💡
setup.py --start启动时也会自动执行此安装(如果检测到未安装)。 安装后所有渠道(timbot / 企业微信 / Web)的 session 都能发现本 SKILL 并执行直播上报规则。
⚠️ 版本要求: 本 Skill 使用 RTMP 推流接入 TRTC,该功能需要体验版及以上套餐才能使用。 免费试用版(基础版)不支持 RTMP 推流,会导致推流失败。请在 TRTC 控制台确认应用已开通体验版或以上版本。
⚠️ SecretKey 是敏感信息,请勿泄露到公开仓库或客户端代码中。
💡 自动安装:
setup.py --start会自动检测并安装缺失的 CJK 中文字体(仅 Linux),通常无需手动操作。 特殊符号字体(▶◈⚡⚙✎✔✖等)已预置在包内(assets/fonts/Symbols.ttf,仅 3KB),无需安装。 以下命令仅在自动安装失败时(如容器无 sudo 权限)作为手动备选方案。
# 必须:中文字体(若 setup.py --start 自动安装失败)
sudo apt-get update && sudo apt-get install -y fonts-noto-cjk
# 必须:Python 推流依赖
pip install av numpy Pillow
sudo yum install -y google-noto-sans-cjk-sc-fonts
pip install av numpy Pillow
pip install av numpy Pillow
macOS 系统自带 CJK 字体(PingFang/STHeiti),无需额外安装。
pip install av numpy Pillow psutil
19000http://43.136.xxx.xxx:19000
Web 服务必须监听
0.0.0.0(而非 127.0.0.1),才能被外部访问。 端口23000 / 23001 / 22999 / 4400 / 4401 / 4402已默认占用,禁止使用。
双向交互允许观众通过直播观看页面发送消息给 OpenClaw Agent,Agent 收到后会执行相应任务并通过 Dashboard 实时展示。
v10 改进:双向交互从 webhook 改为 timbot IM 渠道(单聊消息触发 Agent turn),前端直接使用 IM SDK 发送 C2C 消息给 @RBT#001 机器人,无需服务端代理。
🔄 自动启用(零配置): setup.py 初始化时会自动生成 IM UserSig(复用 TRTC 同一 SDKAppID + SecretKey),确保双向交互开箱即用。
IM UserSig 生成:
TLSSigAPIv2 算法(同一 SDKAppID + SecretKey)im-viewer-XXXX 用户和 UserSig数据流:
观众输入 → IM SDK C2C 单聊消息 → @RBT#001 (timbot 机器人)
→ Agent 接收消息触发 turn → Agent 执行任务
→ agent_bus 上报 → Dashboard → 推流 → 观众看到结果
💡 IM 只需要发送单聊消息触发 agent turn,不需要接收和解析消息回复。 Agent 的执行结果通过 Dashboard 推流画面和 TTS 语音播报展示给观众。
安全机制:
变量约定:
$SDKAPPID、$SECRET_KEY、$CAM_SECRET_ID、$CAM_SECRET_KEY、$SKILL_DIR(skill 安装目录)、$WORK_DIR(Linux:/tmp/trtc_stream/,Windows:%TEMP%\trtc_stream\)
1.1 上报任务 + 检查配置
python3 $WORK_DIR/agent_bus.py task "用户请求直播/推流"
$WORK_DIR/config.json 是否存在:
usersig_expires 字段,若已过期跳到步骤 1.2 重新初始化| 参数 | 来源 | 必填 | 说明 |
|---|---|---|---|
$SDKAPPID | TRTC 控制台 | ✅ | TRTC 应用 ID(需体验版或以上) |
$SECRET_KEY | TRTC 控制台 → 应用详情 | ✅ | TRTC 应用 SecretKey |
$CALLBACK_TOKEN | IM 控制台回调配置 | ⚠️ 强烈推荐 | IM 消息回调鉴权 Token(必须与 IM 控制台中配置的回调 URL Token 完全一致) |
$CAM_SECRET_ID | CAM 密钥管理 | 推荐 | 腾讯云 API 密钥 ID(格式 AKIDxxxxxxxx) |
$CAM_SECRET_KEY | CAM 密钥管理 | 推荐 | 腾讯云 API 密钥 Key |
🔴 双向交互(
$CALLBACK_TOKEN):不配置 = 观众发消息无任何响应! 配置$CALLBACK_TOKEN后,初始化时会自动安装 timbot 插件并写入通道配置。 完成后必须执行openclaw gateway restart并确认 IM 控制台回调 URL 指向http://<公网IP>:<gateway端口>/timbot。 不配置时观众在 Viewer 页面发送的消息将无法触发 Agent 回复,只有单向直播功能。💡 TTS 语音播报:配置 CAM 密钥后,直播中会自动语音播报 Agent 工作状态(如"小龙虾正在执行中...")。 不配置时系统仍可正常运行但无语音播报,强烈推荐配置以获得完整体验。
⚠️ CAM 密钥是腾讯云账号级 API 密钥(
TENCENTCLOUD_SECRET_ID/TENCENTCLOUD_SECRET_KEY), 不是 TRTC 的 SDKAppID/SecretKey。两组密钥来源不同,请勿混淆。
⚠️ 不可跳过:必须在此步确认参数,不可在无 config.json 的情况下直接执行 1.2。 必须主动向用户索要
$CALLBACK_TOKEN,不要等用户发现交互不工作后才提示。
1.2 执行初始化
$SDKAPPID、$SECRET_KEY(来自步骤 1.1),可选 $CAM_SECRET_ID、$CAM_SECRET_KEY、$CALLBACK_TOKENpython3 $WORK_DIR/agent_bus.py exec "执行初始化配置"
# 完整参数(含 TTS + IM 双向交互自动激活):
python3 $SKILL_DIR/scripts/setup.py \
--sdkappid $SDKAPPID --secret $SECRET_KEY \
--tts-secret-id $CAM_SECRET_ID --tts-secret-key $CAM_SECRET_KEY \
--callback-token $CALLBACK_TOKEN
# 最小参数(仅必填):
python3 $SKILL_DIR/scripts/setup.py --sdkappid $SDKAPPID --secret $SECRET_KEY
$SDKAPPID 是否为纯数字格式;检查 $SECRET_KEY 长度是否正确$WORK_DIR/config.json(含 $ROOM_ID、$RTMP_URL、$USERSIG)📍 Phase 1 完成检查(逐项确认后再进入 Phase 2):
$WORK_DIR/config.json 已生成sdkappid、room_id、rtmp_url 字段非空--callback-token:
IM channel configuredopenclaw gateway restart(使 timbot 通道和 gateway.bind lan 生效)netstat -lnpt | grep openclaw 确认 gateway 端口监听在 0.0.0.0http://<公网IP>:<gateway端口>/timbot(gateway 端口通过上一步获取,不同环境端口可能不同)⚠️ gateway restart 是必须步骤:
gateway.bind lan和 timbot 通道配置写入后必须重启 gateway 才能生效。 不重启 → gateway 不监听公网 → IM 回调无法到达 → 双向交互不工作。 gateway 端口由 OpenClaw 环境决定(可能是 18789、13934 等),不要硬编码,通过netstat或openclaw config get gateway.port获取实际端口。
进度:✅ Phase 1 完成(2/6 步已完成)
2.1 启动全套系统
$WORK_DIR/config.json(来自 Phase 1)python3 $WORK_DIR/agent_bus.py exec "启动直播系统"
python3 $SKILL_DIR/scripts/setup.py --start
sudo apt-get install -y fonts-noto-cjkstream_daemon.py(Pillow 内存帧渲染 + PyAV 推流守护,无需 Xvfb/tkinter/FFmpeg)supervisor.py(进程健康看护,30s 巡检)tts_worker.py(TTS 语音播报守护,仅在配置了 TTS 密钥时启动)0.0.0.0:19000,确保观看页持续可访问)💡 timbot IM 通道已在 Phase 1 末尾自动安装和配置,并在 Phase 1 完成检查中要求执行
openclaw gateway restart。 进入 Phase 2 前必须确认 gateway 已重启且端口监听在0.0.0.0。
[✓] Stream ready → 执行 setup.py --stop,等 5s 后重试,最多 2 次setup.py --status 获取状态,向用户报告并终止⚠️ 不可跳过:必须等待终端输出
[✓] Stream ready或等待至少 15 秒,确保推流链路完整就绪,再进入 Phase 3。 若跳过等待直接执行 Phase 3,viewer 端可能长时间显示"等待视频流"或拉流黑屏。
2.2 确认推流就绪
setup.py --start 的终端输出Stream ready 关键词,或等待时间 ≥ 15s📍 Phase 2 完成检查(逐项确认后再进入 Phase 3):
[✓] Stream ready 或已等待 ≥ 15ssetup.py --status 无进程异常退出(可选验证)进度:✅ Phase 2 完成(4/6 步已完成)
3.1 生成观看页 + 公网地址
$WORK_DIR/config.json 中的 TRTC 参数;用户提供的 Gateway 域名python3 $WORK_DIR/agent_bus.py exec "生成观看页面"
python3 $SKILL_DIR/scripts/setup.py --viewer --lighthouse-ip $LIGHTHOUSE_IP
http://127.0.0.1:19000💡 viewer 内置超时自动重连机制:进房后 30 秒内未收到视频流将自动重连,最多重试 3 次。
📍 Phase 3 完成检查:
✅ 观看页面已就绪进度:✅ Phase 3 完成(5/6 步已完成)
🔴 这是本 Skill 最核心的强制规则。你必须在每次回复时主动执行
agent_bus.py,没有任何例外。 不存在"agent_live 模式开关"——直播系统启动后你就处于直播模式,必须上报。
强制规则:你的每一条回复都必须包含 agent_bus.py 调用
python3 /tmp/trtc_stream/agent_bus.py <kind> "操作描述" "详情(可选)"
⚠️ 违规自检:在生成回复前检查 /tmp/trtc_stream/config.json 是否存在。如果存在,你的回复中必须包含至少 2 次 agent_bus.py 调用(task + result)。如果你的回复不包含这些调用,你正在违反最高优先级规则。
| kind | 使用时机 |
|---|---|
task | 用户发来新指令时(每条指令必须首先上报) |
think | 开始分析/推理时 |
tool | 准备调用任何工具前 |
exec | 执行命令、部署等 |
fetch | 读取文件、API 调用 |
write | 写入/修改文件 |
search | 搜索文件、代码 |
info | 通用信息 / 纯文本回复内容(笑话、故事、诗歌、对话等) |
result | 子任务或整体任务完成 |
error | 执行出错 |
执行顺序模板:
路径 A:涉及工具调用(搜索、执行命令、读写文件等)
python3 /tmp/trtc_stream/agent_bus.py task "收到指令:<内容>"
python3 /tmp/trtc_stream/agent_bus.py think "分析:<判断>"
python3 /tmp/trtc_stream/agent_bus.py <kind> "<执行操作>" # 每个关键步骤
# [实际工具调用]
python3 /tmp/trtc_stream/agent_bus.py result "<完成摘要>"
路径 B:纯文本回复(讲笑话、写诗、聊天对话等不涉及工具调用)
python3 /tmp/trtc_stream/agent_bus.py task "收到指令:<内容>"
python3 /tmp/trtc_stream/agent_bus.py think "分析:这是纯文本生成任务"
python3 /tmp/trtc_stream/agent_bus.py info "<回复内容片段1>" # 流式分段,每段≤200字
python3 /tmp/trtc_stream/agent_bus.py info "<回复内容片段2>" # 长文本可多次调用
python3 /tmp/trtc_stream/agent_bus.py result "回复完成"
⚠️ 路径 B 是最容易遗漏上报的场景:纯文本回复不涉及工具调用, 如果不通过
info上报回复内容,Dashboard 会从[THINK]直接跳到[OK], 观众看不到回复正文,TTS 也无法播报回复内容。 长文本建议分段:每段不超过 200 字,多次调用info逐段输出,Dashboard 和 TTS 会逐段显示和播报。
最低频率要求:
task(开头)+ result/error(结尾)info 上报回复正文(可多次调用分段输出,这是观众唯一能看到回复内容的途径)think,保持 Dashboard 活跃⚠️ 观众 IM 消息(来自 Viewer 的指令)强制回复规则:
通过 Viewer 双向交互发送的 IM 消息经 timbot 机器人触发 Agent turn, 必须遵守以下强制规则:
- 每条消息必须完整走完上报链路:
task→ (处理过程)→result/error,禁止静默处理- 即使消息内容简单(如"你好"),也必须至少 emit
task+info(回复内容)+result- 如果消息无法执行(如权限不足、指令不明确),必须 emit
error告知原因
📌 完整示例:用户说"你好"时的正确行为
# 第 1 步:立即上报收到指令
python3 /tmp/trtc_stream/agent_bus.py task "收到指令:你好"
# 第 2 步:上报分析
python3 /tmp/trtc_stream/agent_bus.py think "分析:这是简单问候,直接回复"
# 第 3 步:上报回复内容(这是观众看到的正文)
python3 /tmp/trtc_stream/agent_bus.py info "你好!我是 OpenClaw Agent,有什么可以帮你的吗?"
# 第 4 步:上报完成
python3 /tmp/trtc_stream/agent_bus.py result "回复完成"
🔴 强制自检清单(每次回复前必须确认):
/tmp/trtc_stream/config.json是否存在?存在则必须上报- 回复中是否包含至少 1 次
agent_bus.py task调用?- 回复中是否包含至少 1 次
agent_bus.py result或error调用?- 如果是纯文本回复,是否用
agent_bus.py info上报了回复正文?以上任何一项为否,你正在违反最高优先级规则,必须立即修正。
5.1 停止全套系统
python3 $WORK_DIR/agent_bus.py exec "停止直播系统"
python3 $SKILL_DIR/scripts/setup.py --stop
python3 $WORK_DIR/agent_bus.py result "直播已停止"
--stop 后进程仍存在,执行 --status 确认,必要时手动 kill进度:✅ Phase 5 完成(6/6 步全部完成)
使用腾讯云官方 TLSSigAPIv2 算法:
config.json 中 usersig_expires 字段,若已过期重新执行 Phase 1.2rtmp://rtmp.rtc.qq.com/push/{roomid}?sdkappid={}&userid={}&usersig={}TRTC.create() → enterRoom({strRoomId}) → startRemoteVideo()SCENE_LIVE + ROLE_AUDIENCE使用腾讯云 TextToSpeech API 实时播报 Agent 工作状态:
trtc.tencentcloudapi.com / Action: TextToSpeech| kind | 播报文案 |
|---|---|
idle | 主人,小龙虾待命中 |
think | 让小龙虾想想 |
task | 收到主人,小龙虾马上开始 |
tool | 小龙虾正在调用工具 |
exec | 小龙虾正在执行中 |
info | (直接播报全文——纯文本回复内容也通过 info 流式分段输出) |
result | 报告主人,任务完成啦 |
error | 哎呀,小龙虾遇到错误了 |
💡 配置 CAM 密钥即可启用。不配置时系统正常运行但无语音播报。
工作目录(Linux: /tmp/trtc_stream/,Windows: %TEMP%\trtc_stream\)下的 config.json:
{
"sdkappid": 1400000001,
"room_id": "openclaw-live-abc123",
"streamer_userid": "streamer-xy12",
"viewer_userid": "viewer-ab34",
"usersig": "eJwt...",
"viewer_usersig": "eJxt...",
"usersig_expires": "2026-03-26T12:00:00+00:00",
"rtmp_url": "rtmp://rtmp.rtc.qq.com/push/...",
"skill_source_dir": "/path/to/openclaw-agent-live",
"lighthouse_ip": "(optional) 公网 Lighthouse IP",
"viewer_url": "(optional)",
"tts_secret_id": "(optional) AKIDxxxxxxxx",
"tts_secret_key": "(optional) xxxxxxxx",
"im_userid": "im-viewer-ab12",
"im_usersig": "eJxx...",
"im_bot_userid": "@RBT#001"
}
skill_source_dir由setup.py --sdkappid初始化时自动写入,记录 Skill 安装目录的绝对路径。--start时据此定位assets/资源目录,无需手动修改。im_userid/im_usersig用于双向交互功能,初始化时自动生成(复用 TRTC 的 TLSSigAPIv2 算法)。lighthouse_ip为公网访问 IP,可通过--viewer --lighthouse-ip时指定。
详见 references/architecture.md