Window10本地部署Open-AutoGLM链接Android手机
项目介绍
项目地址Open-AutoGLM, 访问地址可以查看官方推荐安装方法.
Phone Agent 是一个基于 AutoGLM 构建的手机端智能助理框架，它能够以多模态方式理解手机屏幕内容，并通过自动化操作帮助用户完成任务。系统通过 ADB(Android Debug Bridge)来控制设备，以视觉语言模型进行屏幕感知，再结合智能规划能力生成并执行操作流程。用户只需用自然语言描述需求，如“打开小红书搜索美食”，Phone Agent 即可自动解析意图、理解当前界面、规划下一步动作并完成整个流程。系统还内置敏感操作确认机制，并支持在登录或验证码场景下进行人工接管。同时，它提供远程 ADB 调试能力，可通过 WiFi 或网络连接设备，实现灵活的远程控制与开发。
环境配置adb
adb组件下载地址, 请访问：https://developer.android.google.cn/tools/releases/platform-tools?hl=zh-cn
解压压缩包后, 获得组件的文件夹, 比如这里地址是D:\Downloads\platform-tools-latest-windows\platform-tools, 依次操作修改环境变量配置
[我的电脑] --> 右键点击 --> [属性] -->
[高级系统设置] --> [高级]页签 --> [环境变量] -->
[path] --> 编辑 --> 新增 -->
填入新的内容 D:\Downloads\platform-tools-latest-windows\platform-tools
验证adb安装是否成功:
D:\>adb version
Android Debug Bridge version 1.0.41
Version 35.0.2-12147458
Installed as D:\android\android-sdk_r24.4.1-windows\android-sdk-windows\platform-tools\adb.exe
Running on Windows 10.0.19042
通过USB链接手机的调试模式
开发者模式启用：通常启用方法是，找到 设置-关于手机-版本号 然后连续快速点击 10 次左右，直到弹出弹窗显示“开发者模式已启用”。不同手机会有些许差别，如果找不到，可以上网搜索一下教程。或者直接在设置搜索中，搜索开发者选项也行。具体这个得看个人手机
USB 调试启用：启用开发者模式之后，会出现 设置-开发者选项-USB 调试，勾选启用。注意小米手机，额外打开usb调试（安全设置），以及usb安装
打开调试模式后,通过命令行链接手机, 出现端口信息表示链接成功
D:\>adb start-server
D:\>adb devices
List of devices attached
127.0.0.1:62001 device
额外安装ADB keyboard
下载地址 https://github.com/senzhk/ADBKeyBoard/blob/master/ADBKeyboard.apk
通过命令安装到手机上,
D:\>adb install -r -d "D:\Downloads\ADBKeyboard.apk"
Performing Streamed Install
Success
从github拉取项目并安装依赖
本地打开一个文件夹用于保存项目
git clone https://github.com/zai-org/Open-AutoGLM.git
cd Open-AutoGLM
安装依赖包
# 安装依赖包
D:\Workspace\github\Open-AutoGLM>uv pip install -r requirements.txt
Audited 2 packages in 346ms
# 安装 phone_agent
D:\Workspace\github\Open-AutoGLM>uv pip install -e .
Resolved 1 package in 35ms
Built open-autoglm @ file:///D:/Workspace/github/Open-AutoGLM
Prepared 1 package in 7.01s
Uninstalled 1 package in 23ms
Installed 1 package in 13ms
~ open-autoglm==0.1.0 (from file:///D:/Workspace/github/Open-AutoGLM)
模型配置与选择
选项 A：使用第三方模型服务(推荐，无需 GPU)，教程使用这个方案
智谱 BigModel：https://open.bigmodel.cn
ModelScope：https://modelscope.cn
需要申请 API Key
接入第三方api，我们只需去到官网，注册账户之后，在个人中心，申请一个apikey即可，这里一modelscope为例：
去到个人中心，可以添加令牌，并且将其复制下来
选项 B：本地部署模型(需要高配置)，这个具体就看官方文档吧，说的很清楚了
需要 NVIDIA GPU(建议 24GB+ 显存)
需要下载约 20GB 的模型文件
需要安装 vLLM 或 SGLang
使用模型
对于智谱 BigModel模型的使用方式：
文档: https://docs.bigmodel.cn/cn/api/introduction
--base-url: https://open.bigmodel.cn/api/paas/v4
--model: autoglm-phone
--apikey: 在智谱平台申请你的 API Key
对于ModelScope(魔搭社区)模型的使用方式：
文档: https://modelscope.cn/models/ZhipuAI/AutoGLM-Phone-9B
--base-url: https://api-inference.modelscope.cn/v1
--model: ZhipuAI/AutoGLM-Phone-9B
--apikey: 在 ModelScope 平台申请你的 API Key
第三方服务使用示例
# 使用智谱 BigModel
python main.py --base-url https://open.bigmodel.cn/api/paas/v4 --model "autoglm-phone" --apikey "your-bigmodel-api-key" "打开手机设置"
# 使用 ModelScope
python main.py --base-url https://api-inference.modelscope.cn/v1 --model "ZhipuAI/AutoGLM-Phone-9B" --apikey "your-modelscope-api-key" "打开手机设置"
看到输出完成,表示成功运行,错误示例:
🔍 Checking system requirements...
--------------------------------------------------
1. Checking ADB installation... ✅ OK (Android Debug Bridge version 1.0.41)
2. Checking connected devices... ✅ OK (1 device(s): 127.0.0.1:62027)
3. Checking ADB Keyboard... ❌ FAILED
Error: ADB Keyboard is not installed on the device.
Solution:
1. Download ADB Keyboard APK from:
https://github.com/senzhk/ADBKeyBoard/blob/master/ADBKeyboard.apk
2. Install it on your device: adb install ADBKeyboard.apk
3. Enable it in Settings > System > Languages & Input > Virtual Keyboard
--------------------------------------------------
❌ System check failed. Please fix the issues above.
如果运行出现上述情况, 在安装完ADBKeyborad后, 表示没有正确配置
- 确保设备已安装 ADB Keyboard
- 在设置 > 系统 > 语言和输入法 > 虚拟键盘 中启用
- Agent 会在需要输入时自动切换到 ADB Keyboard
正确运行示例
🔍 Checking system requirements...
--------------------------------------------------
1. Checking ADB installation... ✅ OK (Android Debug Bridge version 1.0.41)
2. Checking connected devices... ✅ OK (1 device(s): 127.0.0.1:62025)
3. Checking ADB Keyboard... ✅ OK
--------------------------------------------------
✅ All system checks passed!
🔍 Checking model API...
--------------------------------------------------
1. Checking API connectivity (https://api-inference.modelscope.cn/v1)... ✅ OK
--------------------------------------------------
✅ Model API checks passed!
==================================================
Phone Agent - AI-powered phone automation
==================================================
Model: ZhipuAI/AutoGLM-Phone-9B
Base URL: https://api-inference.modelscope.cn/v1
Max Steps: 100
Language: cn
Device: 127.0.0.1:62025 (auto-detected)
==================================================
Task: 打开手机设置
==================================================
💭 思考过程:
--------------------------------------------------
用户要求打开手机设置。从系统提示来看，当前app已经是AndroidSystemSettings（手机设置），并且屏幕截图显示的就是系统设置界面。
我可以看到屏幕上显示了各种设置选项，包括：
- 顶部有搜索框
- 浏览器、工具、游戏中心等应用图标
- Google设置、Play商店、ADBKeyBoard等应用
- 底部还有其他应用
这已经是手机设置界面了。用户的请求是"打开手机设置"，而现在已经在设置界面了。
我应该确认任务已完成，因为当前app已经是AndroidSystemSettings，并且屏幕显示的就是系统设置界面。
==================================================
⏱️ 性能指标:
--------------------------------------------------
首 Token 延迟 (TTFT): 0.776s
思考完成延迟: 3.385s
总推理时间: 4.462s
==================================================
--------------------------------------------------
🎯 执行动作:
{
"_metadata": "finish",
"message": "任务已完成！当前已经在手机设置界面中。您可以看到各种设置选项，包括浏览器、工具、游戏中心等应用管理，以及Google设置、Play商店、ADBKeyBoard等系统功能选项。"
}
==================================================
🎉 ================================================
✅ 任务完成: 任务已完成！当前已经在手机设置界面中。您可以看到各种设置选项，包括浏览器、工具、游戏中心、各歌安装器等应用 管理，以及Google设置、Play商店、ADBKeyBoard等系统功能选项。
==================================================
Result: 任务已完成！当前已经在手机设置界面中。您可以看到各种设置选项，包括浏览器、工具、游戏中心等应用管理，以及Google设置、Play商店、ADBKeyBoard等系统功能选项。