Skill: xiatian5/windows-gui-automation-cn (version 1.0.0)

--- name: Windows GUI 自动化集成 (中文) slug: windows-gui-automation-cn description: 开箱即用的Windows桌面GUI自动化集成技能，整合原生UI自动化、鼠标控制、截图识别、AI视觉分析，一站式解决Windows桌面自动化需求。支持打开应用、点击、输入、截图、OCR识别、流程自动化。 version: 1.0.0 author: xiatian5 tags: [windows, automation, gui, native, chinese, rpa, desktop] --- # Windows GUI 自动化集成 (中文) 🪟🤖 一站式整合Windows平台上的所有桌面GUI自动化能力，开箱即用，无需复杂配置。支持原生UI自动化、鼠标键盘控制、截图识别、AI视觉分析，让你轻松构建Windows桌面自动化工作流。 ## 触发词 当用户说这些话时，调用这个技能： - "帮我自动化Windows桌面" - "Windows GUI自动化" - "桌面自动化" - "点击这个窗口" - "自动操作应用程序" - "RPA Windows" - "Windows原生自动化" - "自动打开程序点击按钮" ## 功能特性 | 功能 | 说明 | 依赖技能 | |------|------|----------| | **原生UI自动化** | 通过Windows UI Automation API查找和操作控件 | `windows-ui-automation` | | **原生鼠标控制** | 高精度原生鼠标移动点击，支持DPI感知 | `win-mouse-native` | | **桌面控制** | 整体桌面控制和输入能力 | `windows-desktop-control` | | **AI视觉自动化** | Midscene AI视觉驱动的桌面自动化 | `midscene-computer-automation` | | **截图能力** | 全屏、区域、窗口截图 | `windows-screenshot` | | **RPA框架** | Windows RPA高级工作流支持 | `windows-rpa` | ## 快速开始 ### 1. 环境检查 这个技能依赖以下已安装的技能，确保都已安装： ```powershell clawhub list | findstr windows ``` 如果缺少任何依赖，运行： ```powershell clawhub install windows-ui-automation win-mouse-native windows-desktop-control midscene-computer-automation windows-screenshot windows-rpa ``` ### 2. 基础使用示例 #### 示例1：打开记事本并输入文字 ```powershell # 使用windows-desktop-control启动应用 Start-Process notepad.exe Start-Sleep -Milliseconds 500 # 获取窗口句柄 $notepad = Get-Process | Where-Object {$_.ProcessName -eq "notepad"} | Select-Object -First 1 # 使用原生UI自动化找到编辑区域并输入 # (具体实现由windows-ui-automation完成) ``` #### 示例2：点击指定坐标 ```powershell # 使用win-mouse-native进行高精度点击 # 已集成，直接调用相应函数即可 ``` #### 示例3：截图并AI分析 ```powershell # 截图保存 windows-screenshot capture --output screenshot.png # 使用AI分析截图内容 # (由midscene-computer-automation提供支持) ``` ## 工作流模板 ### 常用自动化模板 ### 模板1：每天定时打开应用并签到 ```powershell # 伪代码示例 1. 启动目标应用 2. 等待窗口加载完成 3. 查找"签到"按钮 4. 点击按钮 5. 确认签到成功 6. 记录结果到日志文件 ``` ### 模板2：批量数据录入 ```powershell # 从CSV读取数据 # 循环逐条输入到应用表单 # 每次输入后点击保存 # 处理异常情况 ``` ### 模板3：监控窗口变化并通知 ```powershell # 定时截图对比 # 检测到变化时发送通知 # 记录变化历史 ``` ## API 使用方法 ### 整合调用流程 1. **启动阶段** - 检查依赖技能是否可用 - 获取当前桌面状态 - 启动目标应用程序 2. **定位阶段** - 优先尝试原生UI自动化按控件类型/名称定位 - 定位失败时使用AI视觉分析找图找元素 - 返回定位结果和坐标 3. **操作阶段** - 根据元素类型执行相应操作（点击、输入、选择等） - 验证操作是否成功 - 重试处理失败情况 4. **完成阶段** - 保存结果和截图 - 记录执行日志 - 返回执行状态 ## 最佳实践 1. **总是先尝试原生UI自动化**，它比视觉识别更快更可靠 2. **失败时自动降级到AI视觉识别**，提高成功率 3. **添加合理的等待时间**，应用加载需要时间 4. **总是保存执行截图**，便于问题排查 5. **使用日志记录每一步**，方便后续优化 ## 常见问题 **Q: 需要管理员权限吗？** A: 操作大部分应用不需要，但操作UAC提示或系统级应用需要管理员权限。 **Q: 支持高DPI显示器吗？** A: 支持，`win-mouse-native`已经处理了DPI缩放问题。 **Q: 可以自动化游戏吗？** A: 这个技能主要针对办公应用和GUI软件，不是为游戏设计的。许多游戏有反作弊保护，使用需谨慎。 ## 更新日志 ### v1.0.0 (2026-03-30) - 初始发布 - 整合主流Windows自动化技能到统一接口 - 提供中文文档和使用模板 ## 相关技能 - [windows-ui-automation](https://clawhub.ai/skills/windows-ui-automation) - 原生Windows UI自动化 - [win-mouse-native](https://clawhub.ai/skills/win-mouse-native) - 原生Windows鼠标控制 - [midscene-computer-automation](https://clawhub.ai/skills/midscene-computer-automation) - AI视觉驱动的计算机自动化 - [windows-rpa](https://clawhub.ai/skills/windows-rpa) - Windows RPA高级功能 --- *如果你觉得这个技能有用，请给它点个星，谢谢！⭐*


Security scan verdicts — ClawScan: clean | static analysis: clean | VirusTotal: clean | SkillSpector: clean (LOW)