春登台桌面智能体

桌面智能体自动化技能。执行需要操作电脑的多步骤任务时激活。 能力：屏幕截图、视觉分析、浏览器自动化、桌面键鼠控制、文件shell操作、跨域握手协议。 触发场景： - "帮我自动完成XXX（需要操作电脑）" - "打开XX应用/网页，然后..." - "把桌面上的文件自动整理到..." - "自动登录XX网站并填入...

Security Scan

这个技能在功能上与“桌面自动化”宣称的一致，但存在明显的不一致和高风险能力（任意 shell 执行、下载/写磁盘、未声明的 macOS 依赖），在缺乏来源与安全保障下应谨慎对待。

Purpose & Capability

技能名与说明期望桌面自动化（截图、键鼠控制、浏览器交互、文件操作），这是合理的。但注册元数据宣称“无需二进制/环境变量/配置路径”，与 SKILL.md 中明确依赖 macOS 工具（screencapture、osascript、cliclick、browser 工具等）不一致。此外内置脚本暴露了一个通用的 'shell' 工具（可执行任意 shell 命令），这一能力超出了仅“点击/填表/整理文件”所必需的最小权限。总体上，声明与实际需求不一致，值得警惕。

Instruction Scope

SKILL.md 指示运行系统命令（screencapture、osascript、cliclick）、直接用 mv/cp 操作用户文件、用 curl 从任意 URL 下载并写入磁盘、并建议用 browser evaluate 获取下载链接再用 shell 下载。这些指令覆盖读取/修改/删除任意用户文件和从网络拉取内容，且没有把危险操作限定为需用户确认或受限白名单。SKILL.md 还要求在每步截图/验证，但没有限制或审计下载/shell 命令的来源或内容。

Install Mechanism

没有安装脚本或远程下载安装步骤（instruction-only + 一个本地 Python 脚本）。因此没有可疑的安装 URL 或外部二进制下载安装链。但包含的脚本会在运行时调用系统命令；没有安装阶段的风险，但运行阶段仍然有高权限行为。

Credentials

技能不要求任何环境变量或凭证，唯一显式请求的是 macOS Accessibility 权限（这对自动化输入/点击是合理必要的）。但尽管未请求凭证，技能通过 'shell' 功能和文件操作能够访问本地文件系统、剪贴板和网络，间接能够读取或发送敏感数据（例如钥匙串导出、读取私人文件、上传截图等）。因此在凭证层面看似低，但功能上能访问高敏感面。

Persistence & Privilege

always 为 false，但 disable-model-invocation 为 false（允许模型自主调用，这是平台默认）。当技能被允许自主调用时，内含的通用 shell 执行接口和文件/网络操作放大了自动执行的风险：模型可能在没有逐步人工审批的情况下运行能改动或下载任意内容的命令。没有任何内置确认/白名单约束来限制危险命令。

What to consider before installing

关键点与建议： - 风险摘要：内置 Python 脚本公开了一个可执行任意 shell 命令的工具（subprocess.run(..., shell=True)），并且 SKILL.md 鼓励用 curl 下载任意 URL 并写入磁盘。这些能力可以用来删除文件、窃取本地数据或下载恶意二进制。技能声明中没有来源或主页，增加了信任问题。 - 在决定安装/启用前考虑： 1) 要求作者或发布者提供来源、审核历史和托管仓库；不要信任匿名来源。 2) 要求把 'shell' 功能限制/移除或改为仅支持预定义、审计过的命令集合；并要求所有会修改文件或下载外部内容的操作必须显式向用户请求确认。 3) 如果尝试运行，请先在隔离环境（例如虚拟机或非关键账户）中测试，确保没有意外写入或外联行为。 4) 只在你理解并接受 macOS Accessibility 权限风险的情况下授予权限（该权限允许脚本模拟键盘/鼠标、读取窗口内容等）。 5) 若要使用此技能做文件整理或表单填充，优先寻找来自可信源的替代实现或要求源代码审计并移除任意 shell 执行接口。 - 额外信息可改变评估：若发布者提供可信仓库/签名、移除或限制通用 shell 执行接口、或加入交互式确认与白名单机制，则可把风险评估下调。当前在缺乏这些保障的情况下把它标记为“可疑”。

桌面智能体自动化

macOS 专用桌面自动化，执行看→想→做→验证循环完成任务。

双域架构

【浏览器域】→ browser 工具（网页操作）
【桌面域】  → screencapture + osascript + cliclick（系统操作）

核心循环（每步必须走完）

看 → 想 → 做 → 验证

浏览器域工具

使用 browser 工具：

• browser navigate url="..." — 导航
• browser snapshot — 获取DOM快照
• browser screenshot — 截图
• browser click ref="A7" — 按ref点击元素
• browser type ref="..." text="..." — 输入文本
• browser evaluate script="..." — 执行JS

桌面域工具

截图

screencapture -x /tmp/screen.png

然后用 image 工具分析截图内容。

点击（坐标）

cliclick p  # 先获取当前鼠标位置
cliclick c:500,300  # 点击坐标(500,300)
cliclick dc:500,300  # 双击

点击（图像匹配）

cliclick fi:/tmp/button.png  # 找图点击（全屏搜索）

键盘输入

# 文本粘贴法（推荐）
osascript -e 'set the clipboard to "要输入的文本"'
osascript -e 'tell application "System Events" to keystroke "v" using command down'

# 直接按键
osascript -e 'tell application "System Events" to keystroke "return"'
osascript -e 'tell application "System Events" to keystroke "g" using {command down, shift down}'

文件对话框（万能路径法）

# macOS打开/保存对话框输入路径
cliclick kd:cmd,shift:g  # Cmd+Shift+G
osascript -e 'set the clipboard to "/Users/macmini/Desktop/目标文件.txt"'
osascript -e 'tell application "System Events" to keystroke "v" using command down'
osascript -e 'tell application "System Events" to keystroke "return"'

文件操作（shell，禁用Finder）

mv /源路径 /目标路径
cp /源路径 /目标路径
mkdir -p /目录路径
curl -o /保存路径 "https://url"

跨域握手协议

浏览器域→桌面域切换时必须：

1. 离开前快照：browser screenshot → 记录状态
2. 切换执行：在桌面域完成操作
3. 回归前验证：切回浏览器，browser screenshot → 确认状态变化

五个触发信号：点击无响应超过2秒 | 出现macOS对话框 | 涉及文件保存/打开/下载 | 对话框消失 | 焦点切换到桌面应用

七条铁律

1. 每步先看后做：每个动作前必须先截图/快照
2. 坐标只在当前截图有效：页面变化后必须重新获取坐标
3. 系统弹窗用键盘：Cmd+Shift+G 输路径是万能招式
4. 文件操作用shell：mv/cp/mkdir，不开Finder
5. 跨域切换必须握手：离开前→执行→回归前验证
6. 连续失败2次停下：问用户，不盲目继续
7. 里程碑输出状态：[已完成] [当前] [下一步]

任务栈维护

执行复杂任务时维护任务栈：

主任务：用户任务描述
  [浏览器域] 步骤1      ✓ 完成
  [浏览器域] 步骤2      ● 进行中
    ├─ [浏览器域] 子步骤2a  ✓ 完成
    └─ [桌面域] 处理对话框    ● 当前位置
  [浏览器域] 步骤3        ○ 待执行

权限要求

桌面域需要 macOS Accessibility 权限：

• 系统设置 → 隐私与安全性 → 辅助功能 → 允许「终端」或「OpenClaw」

常用任务模板

飞书发消息

1. browser navigate → feishu网页版
2. browser snapshot → 找到输入框
3. browser click → 点击输入框
4. browser type → 输入内容
5. browser click → 发送按钮

批量文件整理

1. exec → mkdir -p ~/目标目录
2. exec → for f in ~/源目录/*.csv; do mv "$f" ~/目标目录/; done
3. exec → ls ~/目标目录/ | wc -l → 验证数量

下载并保存文件

1. browser navigate → 目标页面
2. browser evaluate → 获取下载链接
3. exec → curl -o ~/保存路径 "URL"
4. exec → ls ~/保存路径 → 验证