小天fotos·视频笔记:让你的安卓手机/平板拥有比Siri更强的AI助手
喂饭级教程:让你的安卓手机/平板拥有一个"比 Siri 更 Siri"的 AI 助手
一句话结论:把一套本地 Agent Harness 装进安卓设备,再用 ADB 把"手和眼"交给它,你的手机或平板就能变成一个能听、能看、能自己动手操作的语音助理——而且这一切只需要一台几年前的老设备。
一、背景:为什么值得折腾
苹果的 Siri 长期停留在"设闹钟、查天气"的层面,而安卓生态的开放性,在 AI Agent 时代反而成了最大的资产。视频作者用一个更形象的比喻来描述这件事:
- ADB 本质上就是 Agent 的 Harness。它让 AI 能截屏、能读取界面上的每一个按钮和文字、能模拟手指点击与滑动、能模拟键盘打字——相当于给模型装上了"一双能看见屏幕的眼睛"和"一只一直能动手的手"。
- 上一期视频里,作者演示了如何把 Agent Harness 装进平板,给它一个本地环境,让它替你开发安卓应用、小游戏。而这一期是"答应大家的手把手教程":如何让设备上的 Agent 反过来操作这台设备自己。
- 实测设备:一台几年前的小米 14 Pro(Android 16)+ 新买的小米平板 9(Android 17),两台都跑通,其他版本理论上问题不大。
软件侧,作者使用的是开源社区把 Agent Harness 封装进安卓的工程,并在此基础上按自己的需求做了改造(作者本人也开源了分支,但建议实践时使用主线仓库,因为个人分支不会频繁更新,更适合有能力魔改的人)。具体仓库地址见视频简介与评论区置顶。
术语说明:本文由视频音频转写整理,部分产品名、仓库名以读音记录,可能有细微偏差,以原视频画面与简介链接为准。
二、第一步:打开开发者模式与无线调试
所有操作都在开发者模式里完成,这是整条链路的地基。
- 解锁开发者模式:进入「设置 → 关于设备 → OS 版本」,连续点击数次,系统会提示"已解锁开发者模式"。
- 打开调试开关:在「开发者选项」中打开 USB 调试 与 无线调试。
- USB 安装(可选):如果你希望 Agent 直接帮你装应用,可以一并打开;不打这个开关也行——让 Agent 构建出 APK,你再手动安装即可,更稳妥。
- 无线配对:进入「无线调试 → 使用配对码配对设备」,屏幕上会给出一组 配对码 + IP 地址 + 端口。把这串信息交给同一局域网内的 Agent,它就能替你完成配对。前提是你要明确告诉它:"我需要一个 ADB 环境,请帮我下载配置。"
配对授权之后,这台电脑就相当于获得了对手机的完整操作能力:装应用、截屏、读取界面元素、模拟点击滑动与键盘输入。
三、第二步:把 Harness 部署到设备本地
作者的实操习惯是:调试阶段主要在电脑上操作,不在平板上戳来戳去,效率高得多。
做法极简,提示词只有一句话的量级:
"这是仓库地址(repo URL),帮我构建并安装到我这台小米 14 Pro 上,走无线调试。"
执行后流程如下:
- Agent 通过无线 ADB 找到目标设备,确认连接正常;
- 拉取仓库、完成构建,然后在设备上弹出安装确认(这一步需要你在屏幕上点一下"允许");
- 安装完成——此时设备上已经有了一个在安卓本地运行的 Agent Harness,不再依赖电脑。
如果使用的是作者的改造分支,进入「设置 → 插件」还能看到几个有意思的小改动。
四、第三步:本地 Harness 的可用插件(这块是体验分水岭)
装好只是骨架,插件决定它好不好用。作者逐项展示了自己的配置:
- 启动画面:一个"深海微光"风格的开机动画,纯氛围向,但能明显提升"这是个正经工具"的仪式感。
- Codex 登录插件:屏幕触控位置会出现一个悬浮图标,点开弹出网页,登录你自己的账号即可接入。
- 语音服务(关键):本地部署了 Qwen3 的 ASR(语音识别)与 TTS(语音合成);同时也填了云端 API,用 MiMo 2.5 的 ASR/TTS。界面上可以分别选择"语音输入用哪个"和"语音回复用哪个"——本地求隐私与离线,云端求识别率,可以混搭。
- 小米蓝牙遥控器(粉丝推荐的隐藏神器):它本质上是"蓝牙麦克风 + 按键"的组合。相比游戏手柄,手柄的麦克风必须有线连接,而它是真蓝牙麦。实际用法:遥控器操作平板,按住语音键唤起对话,确认键确认,还可以删除重来。
- ChatGPT Live 语音:如果你是 ChatGPT 订阅用户,在 Codex 里登录后可以启用语音对话,对话流畅度很高,同时还能调用 Codex 干活、通过 ADB 工具操作设备。
作者的判断很直接:这套东西的综合能力远超 Siri,唯一缺点是"有点慢"。
五、第四步:让设备上的 Agent 操作设备自己(最绕的一步)
到这里有个关键缺口:本地 Harness 虽然跑在设备上,但它还没有操作设备的权限。需要再做一次"自我配对"。
逻辑是这样的:之前是"电脑上的 Agent 通过无线 ADB 操作手机";现在手机里已经有一整套本地环境,我们要让这个本地环境里的 Agent,通过本机地址去操作它自己。形象地说,就是自己踩自己的脚。
操作技巧(这一步最容易卡住)
- 打开「无线调试 → 使用配对码配对设备」界面,并保持这个界面不要关闭——配对码只能用一次,界面一关,码就失效了。
- 如果你的手机/平板支持小窗模式(分屏),直接把配对信息发给 Agent,让它在本机完成配对。
- 如果不支持小窗,就让电脑上的 Agent 去控制设备:你前台保持配对界面不动,Agent 在后台调用本机 Harness 完成配对。
- 成功标志:Agent 自己报告"已连上",界面上出现本机设备(它就是 Harness 内部环境里的那个"设备")。
必须提前说明的风险
ADB 的权限极大,作者明确列出了边界:
- 如果 Agent 能力较差、或者干脆没有视觉能力,它可能看不懂屏幕、误判界面,做出意料之外的操作:在错误的 App 里替你发消息、改错设置、误删有权限访问的文件。
- 它确实能安装卸载应用、调整部分系统权限——但这些操作仍受安卓本身的权限约束,不会真的把系统搞坏;不过一次误操作也够你忙一阵。
- 它能在屏幕上看到理论上所有内容。如果你用的是云端模型,涉及隐私与资金的界面,绝对不要让它独自操作。
- 兜底手段很简单:这一切的前提是你主动配对授权;能连上设备的只有你配对过的客户端。不想让它动了,关掉无线调试,或者在配对列表里删掉,连接立刻中断。
六、原理:一个"看—想—动—检查"的循环
控制设备的原理其实不复杂,四步循环:
- 看:通过 ADB 截屏,或读取界面里能拿到的按钮与文字;
- 想:判断当前在哪个界面、下一步该做什么;
- 动:执行点击、滑动、输入;
- 检查:做完再重新看一眼,确认有没有成功。
以视频开头的"让 AI 给我画张自画像"为例:先用 Informative Drawings 模型把照片转成线稿,再把线稿转换成触控路径,配合模拟笔压与灰度,就能画出笔触的粗细深浅——看起来是 AI 在画,实际是程序在画。
其他应用的思路完全一致:只要能把问题拆解成"一组屏幕操作",再针对性地封装专门的 Skill,就能做出类似"豆包手机"那样的效果。
作者也坦率承认:在手机上,他目前还没发现 AI 操作设备特别有用的场景。但平板是另一回事——装上 Harness 之后,它就是一台性能可观的电脑。
七、真正的价值:出差只带一块平板
作者上次出差尝试不带笔记本,只带平板,踩了几个真实的坑:
- 拍摄的灰片 LUT 都存在以前的电脑里;
- iPhone 拍的素材传到平板上很不方便,一时不知道该用哪个应用。
于是他用 Harness 现场开发了几个"救急应用"。他还专门给这个词下了定义:
救急应用:你可能只用一次,但它会救你的命。 功能可能极小,但可以让平板自己帮你开发出来。
他实际做的是一个"扫码上传 + 自动烧 LUT"的小 App:启动一个本地服务器,手机扫码就能传素材,上传后自动把 LUT 烧进灰片里。做完之后,这块平板基本可以替代笔记本;如果确实需要桌面环境,也可以再带一台迷你主机,用平板当它的屏幕——这台平板支持 DP 输入(DP in)。
八、金句摘录
- "ADB 其实就应该是 Agent 的 Harness。"
- "它相当于给了电脑一双能看见屏幕的眼睛,和一只一直能动手的手。"
- "看起来是 AI 在画,实际是程序在画。"
- "救急应用:你可能只用一次,但它会救你的命。"
- "安卓生态相对 iOS,真的是好玩太多了——这种自由性,在 AI Agent 的时代会产生更多玩法。"
- "哪怕你的安卓设备是几年前的老设备,也非常值得折腾一下,说不定你就发现了更多有价值的事。"
九、给想动手的人的三个建议
- 先用主线仓库,跑通再魔改。个人分支不常更新,不适合作为学习入口。
- 视觉能力是安全底线。没有视觉的 Agent 操作 ADB 等于蒙眼开车;涉及支付、社交、隐私的界面,务必人工接管。
- 从"救急应用"切入,不要一上来就想做一个全家桶。一个能解决你当下痛点的极小工具,价值远大于一个跑不动的宏大方案。
视频来源:B站 @小天fotos(space.bilibili.com/28554995)〈喂饭,让你的安卓手机或平板比Siri更Siri〉2026-09-21,原视频链接:https://www.bilibili.com/video/BV1KLhi6oEh5(同内容亦发布于抖音号 969304610)。本文为视频内容的文字整理,版权归原作者所有,转载请注明出处。
