Windows GUI 自动化集成 (中文)

开箱即用的Windows桌面GUI自动化集成技能，整合原生UI自动化、鼠标控制、截图识别、AI视觉分析，一站式解决Windows桌面自动化需求。支持打开应用、点击、输入、截图、OCR识别、流程自动化。

Security Scan

The skill's instructions, metadata, and requirements are coherent with a Windows GUI automation integrator; it is instruction-only and requests no credentials or installs, but dependent skills it references should be reviewed before use.

Purpose & Capability

Name/description match the content: the SKILL.md describes Windows desktop automation (UI Automation, mouse control, screenshots, OCR/AI vision) and lists other related skills as dependencies. The package.json only lists these as peerDependencies. Nothing requested is out of scope for a GUI automation integrator.

Instruction Scope

Runtime instructions are high-level PowerShell examples (Start-Process, Get-Process, capture screenshots, read CSVs, logs). They instruct using other skills for heavy lifting (UI automation, AI vision). There are no instructions to read unrelated system secrets or to phone home from this skill itself. The SKILL.md does mention saving screenshots/logs and sending notifications — reasonable for automation but worth noting because those outputs could contain sensitive data depending on use.

Install Mechanism

No install spec and no code files beyond SKILL.md and package.json. Instruction-only skills have low install risk because they don't download or execute new code themselves.

Credentials

This skill declares no required environment variables, binaries, or config paths. That is proportionate to its instruction-only aggregator role. A caution: referenced dependent skills (e.g., midscene-computer-automation, windows-rpa) might require network access or credentials — those should be checked separately.

Persistence & Privilege

always is false and the skill does not request persistent system-wide presence or modify other skills' configurations. It instructs normal runtime actions (PowerShell, file logs) appropriate for desktop automation.

Assessment

This skill is an instruction-level integrator for Windows GUI automation and appears internally consistent. Before installing or invoking it: (1) inspect and vet the referenced dependency skills (windows-ui-automation, midscene-computer-automation, windows-rpa, etc.) because they may request network access, API keys, or elevated privileges; (2) be mindful that screenshots and logs can contain sensitive information—store or transmit them carefully; (3) avoid granting administrator or UAC-elevated runs unless necessary; and (4) test workflows in a non-production or isolated environment first.

一站式整合Windows平台上的所有桌面GUI自动化能力，开箱即用，无需复杂配置。支持原生UI自动化、鼠标键盘控制、截图识别、AI视觉分析，让你轻松构建Windows桌面自动化工作流。

触发词

当用户说这些话时，调用这个技能：

• "帮我自动化Windows桌面"
• "Windows GUI自动化"
• "桌面自动化"
• "点击这个窗口"
• "自动操作应用程序"
• "RPA Windows"
• "Windows原生自动化"
• "自动打开程序点击按钮"

功能特性

功能	说明	依赖技能
原生UI自动化	通过Windows UI Automation API查找和操作控件	windows-ui-automation
原生鼠标控制	高精度原生鼠标移动点击，支持DPI感知	win-mouse-native
桌面控制	整体桌面控制和输入能力	windows-desktop-control
AI视觉自动化	Midscene AI视觉驱动的桌面自动化	midscene-computer-automation
截图能力	全屏、区域、窗口截图	windows-screenshot
RPA框架	Windows RPA高级工作流支持	windows-rpa

快速开始

1. 环境检查

这个技能依赖以下已安装的技能，确保都已安装：

clawhub list | findstr windows

如果缺少任何依赖，运行：

clawhub install windows-ui-automation win-mouse-native windows-desktop-control midscene-computer-automation windows-screenshot windows-rpa

2. 基础使用示例

示例1：打开记事本并输入文字

# 使用windows-desktop-control启动应用
Start-Process notepad.exe
Start-Sleep -Milliseconds 500

# 获取窗口句柄
$notepad = Get-Process | Where-Object {$_.ProcessName -eq "notepad"} | Select-Object -First 1

# 使用原生UI自动化找到编辑区域并输入
# (具体实现由windows-ui-automation完成)

示例2：点击指定坐标

# 使用win-mouse-native进行高精度点击
# 已集成，直接调用相应函数即可

示例3：截图并AI分析

# 截图保存
windows-screenshot capture --output screenshot.png

# 使用AI分析截图内容
# (由midscene-computer-automation提供支持)

工作流模板

常用自动化模板

模板1：每天定时打开应用并签到

# 伪代码示例
1. 启动目标应用
2. 等待窗口加载完成
3. 查找"签到"按钮
4. 点击按钮
5. 确认签到成功
6. 记录结果到日志文件

模板2：批量数据录入

# 从CSV读取数据
# 循环逐条输入到应用表单
# 每次输入后点击保存
# 处理异常情况

模板3：监控窗口变化并通知

# 定时截图对比
# 检测到变化时发送通知
# 记录变化历史

API 使用方法

整合调用流程

1. 启动阶段

   • 检查依赖技能是否可用
   • 获取当前桌面状态
   • 启动目标应用程序

2. 定位阶段

   • 优先尝试原生UI自动化按控件类型/名称定位
   • 定位失败时使用AI视觉分析找图找元素
   • 返回定位结果和坐标

3. 操作阶段

   • 根据元素类型执行相应操作（点击、输入、选择等）
   • 验证操作是否成功
   • 重试处理失败情况

4. 完成阶段

   • 保存结果和截图
   • 记录执行日志
   • 返回执行状态

最佳实践

1. 总是先尝试原生UI自动化，它比视觉识别更快更可靠
2. 失败时自动降级到AI视觉识别，提高成功率
3. 添加合理的等待时间，应用加载需要时间
4. 总是保存执行截图，便于问题排查
5. 使用日志记录每一步，方便后续优化

常见问题

Q: 需要管理员权限吗？ A: 操作大部分应用不需要，但操作UAC提示或系统级应用需要管理员权限。

Q: 支持高DPI显示器吗？ A: 支持，win-mouse-native已经处理了DPI缩放问题。

Q: 可以自动化游戏吗？ A: 这个技能主要针对办公应用和GUI软件，不是为游戏设计的。许多游戏有反作弊保护，使用需谨慎。

更新日志

v1.0.0 (2026-03-30)

• 初始发布
• 整合主流Windows自动化技能到统一接口
• 提供中文文档和使用模板

相关技能

• windows-ui-automation - 原生Windows UI自动化
• win-mouse-native - 原生Windows鼠标控制
• midscene-computer-automation - AI视觉驱动的计算机自动化
• windows-rpa - Windows RPA高级功能

---

如果你觉得这个技能有用，请给它点个星，谢谢！⭐