手机 + agent，这是要掀桌子！ 作者：小傅哥

博客： https://bugstack.cn (opens new window) 沉淀、分享、成长，让自己和他人都能有所收获！😄 大家好，我是技术UP主小傅哥。 这 + agent ， 那 + agent ，都是赋能，辅助提效。但 手机 + agent ，要掀桌子呀，这是要改变现有手机和APP厂商入口的格局。就像你开了个超市，别在你家开了个【超市入口】！

智能体时代，谁也阻挡不住！ 先是有豆包手机，之后GLM推出 AutoGLM-Phone-9B 模型，可以通知命令、API、语音等方式，以多模态形式，帮助用户完成手机任务。如， 打开xxxAPP，搜索xxx商品，完成下单，之后通知给xxx微信伙伴，在xxx时间，进行收货 。 也可以，告诉手机，定时定点完成xxxAPP的签到、领券，刷票抢票 。 还可以，为老年人对于手机的xxx业务复杂的操作，进行一些列的自动化完成处理 。 这将是下一代手机的使用体验，也是各大厂即将争夺的智能入口。接下来，小傅哥带着大家部署下 AutoGLM 模型，以及讲解如何配置使用和最终的效果。 目前 AutoGLM 还是面向研发使用的阶段，不是直接可以调用的 API，所以要自己部署。不过以后肯定会更加方便，也会附带的提供对应的产品。也有可能出新安卓/IOS+agent的手机系统。路已经开了，看谁跑的快吧！ # 一、模型介绍 官网： https://github.com/zai-org/Open-AutoGLM (opens new window)

Phone Agent 是一个基于 AutoGLM 构建的手机端智能助理框架，它能够以多模态方式理解手机屏幕内容，并通过自动化操作帮助用户完成任务。系统通过 ADB（Android Debug Bridge）来控制设备，以视觉语言模型进行屏幕感知，再结合智能规划能力生成并执行操作流程。用户只需用自然语言描述需求，如“打开小红书搜索美食”，Phone Agent 即可自动解析意图、理解当前界面、规划下一步动作并完成整个流程。系统还内置敏感操作确认机制，并支持在登录或验证码场景下进行人工接管。同时，它提供远程 ADB 调试能力，可通过 WiFi 或网络连接设备，实现灵活的远程控制与开发。 其他资料： https://mp.weixin.qq.com/s/wRp22dmRVF23ySEiATiWIQ (opens new window) # 二、安装教程 # 1. 环境要求 Python 3.10+ - 如果你是手动配置环境，可以参考 https://bugstack.cn/md/algorithm/model/2023-05-21-chatglm-6b.html (opens new window) GPU 24G * 2 显卡（单卡24G部署，成功概率低）推荐具备 AI 能力的云服务器，可以减少很多基础环境的配置。如： autodl.com (opens new window) 安卓手机一台 + 数据线（不能只是充电功能的线）， 设置-关于手机-版本号 然后连续快速点击 10 次左右，直到弹出弹窗显示“开发者模式已启用”。启用开发者模式之后，会出现 设置-开发者选项-USB 调试 ，勾选启用。（如果手机不是这样的，可以百度搜下设置） AutoGLM-Phone-9B/AutoGLM-Phone-9B-Multilingual 模型镜像地址: https://huggingface.co/zai-org/AutoGLM-Phone-9B/tree/main (opens new window) ADB (Android Debug Bridge) 桥接测试包 下载地址： https://developer.android.com/tools/releases/platform-tools?hl=zh-cn (opens new window) - 下载后配置路径 export PATH=${PATH}:~/Downloads/platform-tools Windows 电脑参考第三方教程： https://blog.csdn.net/x2584179909/article/details/108319973 (opens new window) ADB Keyboard 安卓手机输入法，用于连接桥接测试包 下载地址： https://github.com/senzhk/ADBKeyBoard/blob/master/ADBKeyboard.apk (opens new window) - 安装后在手机 设置-输入法 或者 设置-键盘列表 中启用 ADB Keyboard 才能生效 接下来介绍，各个环境配置以及验证使用。只想看效果的，可以翻看到最后（使用效果）。 # 2. 算力部署 目前具备 AI 算力的服务器(支持小时购买的，关机不收费)； www.autodl.com (opens new window) - 推荐 vGPUT-48GB，推荐 717机、708机 www.ucloud.cn (opens new window) https://gcs-console.jdcloud.com/instance/create?region=cn-central-xy1 (opens new window) - 2*24GB

注意，选择2卡，单卡24G的，否则大概率会失败。 # 2.1 创建实例（autodl） # 2.1.1 创建选择 地址： https://www.autodl.com/create (opens new window)

2.1.2 创建完成 地址： https://www.autodl.com/console/instance/list (opens new window) - 控制台

创建并开机后，稍等即可看到GPU服务运行。 注意，蓝色字 JupyterLab 是你登录地址，可以进入控制台部署模型。 其他的 GPU 服务器也都类似，如果使用的纯白 GPU 服务器，需要自己安装各种环，可参考；境。 https://bugstack.cn/md/algorithm/model/2023-05-21-chatglm-6b.html (opens new window) # 2.2 模型部署 # 2.2.1 进入终端

注意，进入后，要把服务和软件安装到 /root/autodl-tmp 下，否则系统盘安装满了，就不能运行了。 # 2.2.2 拉取代码

进入到 /root/autodl-tmp 拉取项目工程代码 git clone https://github.com/zai-org/Open-AutoGLM.git # 2.2.3 更新文件（requirements.txt）

Pillow>=12.0.0
openai>=2.9.0

# For Model Deployment
# Linux 云服务器环境下可以正常安装这些包
transformers>=4.30.0
vllm>=0.12.0

# Optional: sglang (如果需要的话)
# sglang>=0.5.6.post1

# Optional: for development
pytest>=7.0.0
pre-commit>=4.5.0
black>=23.0.0
mypy>=1.0.0

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16