GUI智能体

一句自然语言,操作电脑桌面与手机 App,可以直接在你现有的智能体里调用

支持哪些电脑和手机?

支持 macOS、Windows、Ubuntu 操作系统的桌面软件操作;支持操作与电脑连接的 Android、HarmonyOS、iOS 手机设备APP。

* Ubuntu 最低系统版本 24.04

* 仅 macOS 客户端支持操作 iOS 设备

支持哪些应用操作?

GUI智能体采用视觉大模型,使用点击、输入、滑动、快捷键等操作方式,可操作几乎全部桌面软件/浏览器/手机应用,完成企业营销、办公自动化、个人助理任务。

“游戏”与极少数应用软件内置自动化操作监测,操作时会被拦截。智能体Windows版本增强模式可通过系统驱动兼容限制模拟输入的桌面软件,增强模式仅向实名认证的企业用户开放。

场景示例

发起请假申请企业办公 · 钉钉

帮我申请下周一的年假,选择部门主管审批

发送客户提醒营销运营 · 企业微信

给指定客户发送续费提醒,附上服务介绍

挑选商品规格个人生活 · 淘宝

找到这款运动鞋,选择白色 42 码加入购物车

安排项目会议企业办公 · 飞书

创建明天下午三点的项目会议,邀请项目组成员

发布活动通知营销运营 · 微信

把活动海报和报名说明发到指定客户群

查看配送时间个人生活 · 京东

切换到家里的收货地址,看看这款冰箱什么时候送达

创建项目群聊企业办公 · 企业微信

把这几位同事拉进新群,群名设为春季项目组

编辑种草笔记营销运营 · 小红书

上传这三张产品图片,填入文案并保存草稿

查询包裹进度个人生活 · 菜鸟

打开待收货包裹,查看最新物流和取件码

接收验证码企业办公 · Outlook

打开最新的登录验证邮件,读取验证码

编辑公众号图文营销运营 · 公众号

新建图文,填入正文、插入配图并设置封面

选择午餐搭配个人生活 · 美团

选一份鸡肉沙拉,去掉洋葱,加入购物车

打印指定页面企业办公 · WPS

打开这份合同,选择双面打印第 3 到第 8 页

修改商品库存营销运营 · 抖店

找到这款商品,把黑色款库存调整为 50 件

筛选收藏酒店个人生活 · 携程

筛选周五入住、带早餐的酒店,收藏这两家

创建销售订单企业办公 · 金蝶

新建销售订单,选择客户和商品,填写数量并暂存

设置快捷回复营销运营 · 千牛

在客服设置中新增一条关于发货时间的快捷回复

查询高铁余票个人生活 · 铁路12306

查询周五晚上海到杭州的高铁,筛选有二等座的车次

怎么接进我的智能体?

提供 SKILL、MCP、命令行三种调用方式。可在智能体中以自然语言指令形式调用,不要求智能体具备视觉模型。

也可以在具有视觉模型的智能体中,以 MCP 的形式调用 GUI 原子操作工具,如点击、文本输入。

WorkBuddy编辑(E)窗口(W)帮助(H)—□×
A电脑操作助手
•••
打开网易云音乐,播放歌曲《海阔天空》
A

我将使用 fushou-agent Skill 操作本机应用。

✓
读取 Skillfushou-agent/SKILL.md
✓
检查命令fushou-agent computer exec --help
✓
执行任务fushou-agent computer exec “打开网易云音乐…”

✓ 已完成,网易云音乐正在播放《海阔天空》

今天帮你做些什么? @ 引用文件,/ 调用技能与指令
Craft⌄自动⌄⚒ 技能⌄默认权限⌄↑

智能体干活的时候,我还能正常用电脑吗?

Windows、macOS 系统支持操作后台窗口,尽量避免干扰用户正常使用电脑。仅当目标应用的某些操作不能在后台窗口完成时,智能体才会主动将其置为前台。

耗时、费用高吗?

以此操作演示为例,AI 完成任务耗时80秒,人工执行耗时约30秒,AI 耗时约为人工的3倍。 此任务花费 ¥0.035 元。

操作微信,给文件传输助手发送消息,内容是”赋手智能体可以使用了“,然后从相册中选择赋手智能体手形LOGO图片发送到聊天”

1倍速播放,推理中...

同样的操作每天都要做,能更快、更省吗?

GUI智能体可以将重复执行的任务转换为智能RPA脚本。通过执行脚本,可提升执行速度1倍以上。 以演示任务为例,GUI智能体通过自然语言执行任务耗时80s, 通过脚本执行耗时40s,接近人工执行速度。 脚本参数可调整,可通过命令行调用。脚本生成需要付费,脚本执行限时免费。

codex
>_ OpenAI Codex (v0.162.1)
   ~
   permissions: YOLO mode

常见问题

Codex 已经能操作电脑,还需要GUI智能体吗?

Codex 内置 Computer Use 可以操作 macOS、Windows 电脑,但不能直接操作手机 App。在 Codex 中接入GUI智能体后,还能操作 Android、HarmonyOS、iOS 真机,无人值守执行测试用例,并把重复任务转成 RPA 脚本。 查看完整对比

在真实场景中验证效果

告诉我们你的测试或自动化场景,免费预约演示,技术顾问会在一个工作日内与你联系。

预约演示