VE工具 / Vercel Labs

Vercel Agent Desktop

通过操作系统辅助功能树，让 AI Agent 读取和操作 macOS、Windows、Linux 桌面应用。

桌面自动化CLIAgent

01 / OVERVIEW

它能帮你做什么？

通过操作系统辅助功能树，让 AI Agent 读取和操作 macOS、Windows、Linux 桌面应用。CLI 返回带元素引用的 JSON 快照，Agent 按引用点击或输入，再读取快照验证结果，适合把桌面办公操作接入现有工作流。

需要跨桌面应用执行办公操作的 Agent 开发者
希望用结构化 UI 元素替代纯坐标定位的自动化团队

写代码编码助手、代码审查与工程技能

网页自动化浏览器操作、网页抓取与测试

02 / GET STARTED

如何开始使用

执行 npm install -g agent-desktop，先用 agent-desktop version 检查安装。macOS 运行 agent-desktop permissions --guide 并授予辅助功能权限；Linux 需要图形会话和 at-spi2-core。使用 list-apps 找应用，再用 snapshot --app 应用名 -i 读取可操作元素，按返回的完整引用执行 click 或 type，之后重新 snapshot 验证。可通过 npx skills add https://github.com/vercel-labs/agent-desktop --skill agent-desktop 安装配套技能，也可由自己的 Agent 调用 CLI。

macOSWindowsLinux

查看原始项目文档

03 / COST & LICENSE

费用与使用条件

CLI 与 C 库源代码采用 Apache-2.0，可自行运行；连接它的 Agent 或模型服务可能需要订阅或 API 费用。原生 CLI 与可选 JEV 屏幕描述助手应分开看待，后者会将屏幕描述发送给配置的模型服务。

查看 Apache-2.0 许可证

BEFORE YOU CHOOSE

特点与使用边界

以操作系统辅助功能树及快照引用为主要操作接口，而不是只靠像素匹配。工具负责观察和操作，规划循环留在调用方 Agent；同时提供 CLI 与 C FFI，适合已有 Agent 集成，不要求改成专用聊天客户端。

引用属于特定快照，界面变化后的 STALE_REF 或 AMBIGUOUS_TARGET 应重新观察，不能反复使用旧引用。
默认 headless 表示避免抢焦点和模拟物理输入，并不等于 Linux 可以没有图形会话；不同系统及 Wayland/X11 的输入、截图和窗口支持不同。
快照、剪贴板、截图和调试文件可能含私人内容，避免上传公共日志；先在测试资料上验证操作。
截至本轮 README，官方 Homebrew 和 Scoop 包仍在提交，不能按已上架默认仓库安装。国内安装连通性及任务效果未实测。

04 / SOURCES

介绍依据与原始来源

本站整理介绍并引导访问原始项目。功能、支持平台与价格可能变化，实际使用前请核对官方文档。

它能帮你做什么？

如何开始使用

费用与使用条件

特点与使用边界

介绍依据与原始来源

相关项目，换个角度选择

Agent Browser

Playwright MCP

Fetch MCP