计算机使用

CU 能力

看得懂界面,也点得准控件

最新版本 v0.1.68 · 14.0 MB · 全部平台与安装说明

通过计算机使用能力操作 macOS 应用

具体能力

理解界面

辅助功能树提供结构与文本,截图补齐视觉信息,两者结合让 Agent 知道屏幕上究竟有什么。

按控件操作

按控件定位而不是硬编码坐标,窗口移动、分辨率变化都不会让操作失效。

不抢前台

输入在后台投递,不移动你的鼠标指针,也不把窗口抢到最前,你可以同时继续用电脑。

危险动作先确认

发送、删除、购买、发布这类不可逆操作,会先说明将要发生什么,再执行。

两种"眼睛"

计算机使用能力同时使用两条信息通道:

  • 辅助功能树:给出窗口、控件、文本与层级关系。它精确、可定位,并且告诉我们某个元素"是什么"而不是"长什么样"。
  • 截图:补齐辅助功能树说不清楚的部分——画布、图表、自定义绘制的界面。

两者结合后,Agent 既知道控件的名字,也知道它在屏幕上的位置。

后台输入

操作使用后台投递的鼠标与键盘事件:

  • 不移动你的鼠标指针,你可以继续正常使用电脑。
  • 不把目标窗口抢到前台,即使窗口被完全遮挡,输入依然能落地。
  • 对确实需要真实前台输入的极少数应用,才有显式的"提到前台"回退选项。

按控件而不是坐标

因为定位基于控件本身,所以:

  • 窗口挪了位置、换了分辨率、改了缩放比例,操作依然有效。
  • 同一个界面的不同语言版本也能识别。
  • 需要时仍可按坐标操作,用于画布、游戏类界面或手写输入。

安全边界

  • 操作前先说明将要做什么;不可逆动作需要你确认。
  • 辅助功能与屏幕录制权限由你授予,也可随时在系统设置里收回。
  • 不会自主下载或安装软件;所需应用由你按官方渠道安装。

下载 Deepseek Harness APP

DSH 的计算机使用能力:通过辅助功能树与截图理解界面,用后台键鼠完成操作,不抢前台、不移动你的鼠标指针。