
具体能力
理解界面
辅助功能树提供结构与文本,截图补齐视觉信息,两者结合让 Agent 知道屏幕上究竟有什么。
按控件操作
按控件定位而不是硬编码坐标,窗口移动、分辨率变化都不会让操作失效。
不抢前台
输入在后台投递,不移动你的鼠标指针,也不把窗口抢到最前,你可以同时继续用电脑。
危险动作先确认
发送、删除、购买、发布这类不可逆操作,会先说明将要发生什么,再执行。
两种"眼睛"
计算机使用能力同时使用两条信息通道:
- 辅助功能树:给出窗口、控件、文本与层级关系。它精确、可定位,并且告诉我们某个元素"是什么"而不是"长什么样"。
- 截图:补齐辅助功能树说不清楚的部分——画布、图表、自定义绘制的界面。
两者结合后,Agent 既知道控件的名字,也知道它在屏幕上的位置。
后台输入
操作使用后台投递的鼠标与键盘事件:
- 不移动你的鼠标指针,你可以继续正常使用电脑。
- 不把目标窗口抢到前台,即使窗口被完全遮挡,输入依然能落地。
- 对确实需要真实前台输入的极少数应用,才有显式的"提到前台"回退选项。
按控件而不是坐标
因为定位基于控件本身,所以:
- 窗口挪了位置、换了分辨率、改了缩放比例,操作依然有效。
- 同一个界面的不同语言版本也能识别。
- 需要时仍可按坐标操作,用于画布、游戏类界面或手写输入。
安全边界
- 操作前先说明将要做什么;不可逆动作需要你确认。
- 辅助功能与屏幕录制权限由你授予,也可随时在系统设置里收回。
- 不会自主下载或安装软件;所需应用由你按官方渠道安装。
下载 Deepseek Harness APP
DSH 的计算机使用能力:通过辅助功能树与截图理解界面,用后台键鼠完成操作,不抢前台、不移动你的鼠标指针。