计算机使用

计算机使用能力

通过辅助功能树与截图理解任意 macOS 界面，再用后台键鼠完成操作。

计算机使用（CU）让 Agent 操作没有 API 的应用 —— 只要有界面，它就能读、能点。

工具一览

计算机使用以 mcp__cu__* 工具的形式挂给 Agent。KimiCU 连上后共 11 个。

工具	作用
`list_apps`	列出正在运行的应用（名称、bundle id、pid）
`get_app_state`	截图与可访问性树，可只取其一；返回带索引的节点
`click`	按节点索引或截图坐标点击；不移动真实指针
`drag`	从一点拖到另一点
`drag_paths`	一次调用投递多条鼠标路径，用于绘制与连续手势
`scroll`	按页或按行滚动，也可滚到指定节点
`type_text`	输入 Unicode 文本，可先清空再输入，可带回车提交
`set_value`	直接设置控件值（原生控件走 AXValue，Web 控件走后台替换）
`press_key`	按键或组合键（`cmd+a`、`return` 这类写法）
`select_text`	在文本元素里选中一段文本，或定位光标
`perform_secondary_action`	触发元素的次要 AX 动作，例如弹出上下文菜单

定位基于控件本身，所以窗口挪了位置、换了分辨率也不失效。索引来自最近一次 get_app_state，这也是为什么先读状态再操作。

手段	提供什么
辅助功能树	控件的结构、角色与文本
截图	视觉信息，补齐树里读不到的内容

两者结合，既能拿到「这是个按钮」，也能看到「它现在长什么样」。

定位基于控件本身而不是硬编码坐标，所以窗口挪了位置、换了分辨率也不失效。这比「点 (120, 480)」稳得多。

操作在后台投递：不需要把窗口抢到前台，也不碰你的鼠标指针。你可以继续用电脑做别的事。

首次使用需要在「系统设置 → 隐私与安全性」里给 DSH 授予：

发送、删除、购买、发布这类不可逆操作，会先说明再做。