Windows GUI 自动化集成 (中文)

开箱即用的Windows桌面GUI自动化集成技能，整合原生UI自动化、鼠标控制、截图识别、AI视觉分析，一站式解决Windows桌面自动化需求。支持打开应用、点击、输入、截图、OCR识别、流程自动化。

一站式整合Windows平台上的所有桌面GUI自动化能力，开箱即用，无需复杂配置。支持原生UI自动化、鼠标键盘控制、截图识别、AI视觉分析，让你轻松构建Windows桌面自动化工作流。

触发词

当用户说这些话时，调用这个技能：

• "帮我自动化Windows桌面"
• "Windows GUI自动化"
• "桌面自动化"
• "点击这个窗口"
• "自动操作应用程序"
• "RPA Windows"
• "Windows原生自动化"
• "自动打开程序点击按钮"

功能特性

功能	说明	依赖技能
原生UI自动化	通过Windows UI Automation API查找和操作控件	windows-ui-automation
原生鼠标控制	高精度原生鼠标移动点击，支持DPI感知	win-mouse-native
桌面控制	整体桌面控制和输入能力	windows-desktop-control
AI视觉自动化	Midscene AI视觉驱动的桌面自动化	midscene-computer-automation
截图能力	全屏、区域、窗口截图	windows-screenshot
RPA框架	Windows RPA高级工作流支持	windows-rpa

快速开始

1. 环境检查

这个技能依赖以下已安装的技能，确保都已安装：

powershell

clawhub list | findstr windows

如果缺少任何依赖，运行：

powershell

clawhub install windows-ui-automation win-mouse-native windows-desktop-control midscene-computer-automation windows-screenshot windows-rpa

2. 基础使用示例

示例1：打开记事本并输入文字

powershell

# 使用windows-desktop-control启动应用
Start-Process notepad.exe
Start-Sleep -Milliseconds 500

# 获取窗口句柄
$notepad = Get-Process | Where-Object {$_.ProcessName -eq "notepad"} | Select-Object -First 1

# 使用原生UI自动化找到编辑区域并输入
# (具体实现由windows-ui-automation完成)

示例2：点击指定坐标

powershell

# 使用win-mouse-native进行高精度点击
# 已集成，直接调用相应函数即可

示例3：截图并AI分析

powershell

# 截图保存
windows-screenshot capture --output screenshot.png

# 使用AI分析截图内容
# (由midscene-computer-automation提供支持)

工作流模板

常用自动化模板

模板1：每天定时打开应用并签到

powershell

# 伪代码示例
1. 启动目标应用
2. 等待窗口加载完成
3. 查找"签到"按钮
4. 点击按钮
5. 确认签到成功
6. 记录结果到日志文件

模板2：批量数据录入

powershell

# 从CSV读取数据
# 循环逐条输入到应用表单
# 每次输入后点击保存
# 处理异常情况

模板3：监控窗口变化并通知

powershell

# 定时截图对比
# 检测到变化时发送通知
# 记录变化历史

API 使用方法

整合调用流程

1. 启动阶段

   • 检查依赖技能是否可用
   • 获取当前桌面状态
   • 启动目标应用程序

2. 定位阶段

   • 优先尝试原生UI自动化按控件类型/名称定位
   • 定位失败时使用AI视觉分析找图找元素
   • 返回定位结果和坐标

3. 操作阶段

   • 根据元素类型执行相应操作（点击、输入、选择等）
   • 验证操作是否成功
   • 重试处理失败情况

4. 完成阶段

   • 保存结果和截图
   • 记录执行日志
   • 返回执行状态

最佳实践

1. 总是先尝试原生UI自动化，它比视觉识别更快更可靠
2. 失败时自动降级到AI视觉识别，提高成功率
3. 添加合理的等待时间，应用加载需要时间
4. 总是保存执行截图，便于问题排查
5. 使用日志记录每一步，方便后续优化

常见问题

Q: 需要管理员权限吗？ A: 操作大部分应用不需要，但操作UAC提示或系统级应用需要管理员权限。

Q: 支持高DPI显示器吗？ A: 支持，win-mouse-native已经处理了DPI缩放问题。

Q: 可以自动化游戏吗？ A: 这个技能主要针对办公应用和GUI软件，不是为游戏设计的。许多游戏有反作弊保护，使用需谨慎。

更新日志

v1.0.0 (2026-03-30)

• 初始发布
• 整合主流Windows自动化技能到统一接口
• 提供中文文档和使用模板

相关技能

• windows-ui-automation - 原生Windows UI自动化
• win-mouse-native - 原生Windows鼠标控制
• midscene-computer-automation - AI视觉驱动的计算机自动化
• windows-rpa - Windows RPA高级功能

---

如果你觉得这个技能有用，请给它点个星，谢谢！⭐