支持哪些电脑和手机?
支持 macOS、Windows、Ubuntu* 操作系统的桌面软件操作;支持操作与电脑连接的 Android、HarmonyOS、iOS* 手机设备APP。
* Ubuntu 最低系统版本 24.04
* 仅 macOS 客户端支持操作 iOS 设备
支持 macOS、Windows、Ubuntu* 操作系统的桌面软件操作;支持操作与电脑连接的 Android、HarmonyOS、iOS* 手机设备APP。
* Ubuntu 最低系统版本 24.04
* 仅 macOS 客户端支持操作 iOS 设备
GUI智能体采用视觉大模型,使用点击、输入、滑动、快捷键等操作方式,可操作几乎全部桌面软件/浏览器/手机应用,完成企业营销、办公自动化、个人助理任务。
“游戏”与极少数应用软件内置自动化操作监测,操作时会被拦截。智能体Windows版本增强模式可通过系统驱动兼容限制模拟输入的桌面软件,增强模式仅向实名认证的企业用户开放。
提供 SKILL、MCP、命令行三种调用方式。可在智能体中以自然语言指令形式调用,不要求智能体具备视觉模型。
也可以在具有视觉模型的智能体中,以 MCP 的形式调用 GUI 原子操作工具,如点击、文本输入。
{ app: “NetEaseMusic” }{ target: “搜索框” }{ text: “海阔天空” }fushou@MacBook-Pro ~ % fushou-agent computer exec "打开网易云音乐,播放歌曲《海阔天空》"
{"success":true,"result":{"status":"completed","summary":"已打开网易云音乐并开始播放《海阔天空》。","detail":"网易云音乐中已搜索并播放 Beyond 演唱的《海阔天空》(时长 03:59)。","evidence":["底部播放器显示歌曲《海阔天空》和歌手 Beyond","底部中央显示暂停按钮,表示歌曲正在播放","歌曲列表中《海阔天空》所在行显示暂停图标,且歌曲标题为红色高亮"]},"errorMessage":null}
# 查看电脑操作功能
fushou@MacBook-Pro ~ % fushou-agent computer --help
用法:
fushou-agent computer COMMAND [PARAMETERS]
命令:
exec 用自然语言描述任务,操作电脑应用
rpa 生成或执行可复用的自动化脚本
mcp 为本地智能体提供界面操作工具
fushou@MacBook-Pro ~ %
Windows、macOS 系统支持操作后台窗口,尽量避免干扰用户正常使用电脑。仅当目标应用的某些操作不能在后台窗口完成时,智能体才会主动将其置为前台。
以此操作演示为例,AI 完成任务耗时80秒,人工执行耗时约30秒,AI 耗时约为人工的3倍。 此任务花费 ¥0.035 元。
操作微信,给文件传输助手发送消息,内容是”赋手智能体可以使用了“,然后从相册中选择赋手智能体手形LOGO图片发送到聊天”
GUI智能体可以将重复执行的任务转换为智能RPA脚本。通过执行脚本,可提升执行速度1倍以上。 以演示任务为例,GUI智能体通过自然语言执行任务耗时80s, 通过脚本执行耗时40s,接近人工执行速度。 脚本参数可调整,可通过命令行调用。脚本生成需要付费,脚本执行限时免费。
>_ OpenAI Codex (v0.162.1)
~
permissions: YOLO mode通过 $fushou-agent 生成 RPA 脚本,完成以下 iOS 任务: 操作微信,给文件传输助手发送消息,内容是“赋手智能体可以使用了”,然后从相册中选择赋手智能体手形 LOGO 图片发送到聊天。
我会使用 fushou-agent 技能,先查看 iOS RPA 生成命令和指南,再整理这次发送文字及 LOGO 图片的脚本需求。
Explored
└ Read SKILL.md (fushou-agent skill), rpa-generate-guide.md
Ran './fushou-agent --help'└ computer · android · harmony · ios
Ran './fushou-agent ios rpa generate --help'└ 生成可复用的 iOS RPA 自动化脚本
已确认 CLI 支持 iOS RPA 生成,建议使用以下指令:
操作微信,向目标客户依次发送文本内容和相册中现有的赋手智能体手形 LOGO 图片。明确发送顺序和固定图片。
目标客户=文件传输助手、文本内容=赋手智能体可以使用了以后可更换接收人和文案。
iPhone 已解锁且微信已登录;允许从微信聊天列表、其他聊天会话或手机主屏幕开始。多个起点统一进入聊天列表。
1. 搜索目标客户并打开会话。2. 输入文本内容并发送。3. 点击聊天加号进入相册,找到指定 LOGO。4. 仅选择这一张图片并发送。5. 检查文字及图片的发送结果。路径明确,避免多选图片。
会话中新出现指定文字及随后发送的 LOGO 图片,均无发送失败或未发送标记;停留在该会话。可从界面确认结果。
目标客户=文件传输助手、文本内容=赋手智能体脚本验证。保留已知联系人,更换文案验证参数生效。
生成过程会多次真实发送文字和图片。请通过 USB 连接 iPhone,保持解锁,将微信停留在聊天列表,并确保微信能够访问该相册图片;生成期间不要操作设备。 以上信息完整后,命令会自动继续,无需最终确认。
我将按已确认的需求开始生成脚本,并在回放验证通过后保存。
Ran './fushou-agent ios rpa generate "目标:操作微信,向目标客户依次发送文本内容和赋手智能体手形 LOGO 图片。…"'└ 正在初始化设备并执行操作步骤…
操作步骤已完成,正在编写脚本。
脚本已写好,先从聊天列表、手机主屏幕和其他聊天会话分别验证初始化,再用验证变量执行完整发送流程。
RPA 脚本已通过验证并保存。 脚本 ID:b810daaf-3ad1-4c8b-8050-79515cea2b14 参数:target_customer=文件传输助手;text_content=赋手智能体可以使用了 命令退出码:0
执行此脚本,目标客户不变,文本内容为:“赋手智能体RPA验证”。
我会使用 fushou-agent 执行刚生成的脚本,向“文件传输助手”发送“赋手智能体RPA验证”以及手形 LOGO 图片。
Ran './fushou-agent ios rpa exec --help'└ 按脚本 ID 和参数执行已保存的 RPA 脚本
Ran './fushou-agent ios rpa exec --script-id 'b810daaf-3ad1-4c8b-8050-79515cea2b14' --script-args '{"target_customer":"文件传输助手","text_content":"赋手智能体RPA验证"}''└ {"success":true}已向“文件传输助手”发送“赋手智能体RPA验证”及手形 LOGO 图片。 脚本执行成功,共 19 步,退出码 0。
Codex 内置 Computer Use 可以操作 macOS、Windows 电脑,但不能直接操作手机 App。在 Codex 中接入GUI智能体后,还能操作 Android、HarmonyOS、iOS 真机,无人值守执行测试用例,并把重复任务转成 RPA 脚本。 查看完整对比