TaskWizard¶
TaskWizard 是一个 LLM 驱动的安卓手机操作 Agent。模型通过工具逐步观察并操作真实设备;运行壳(harness)提供工具、安全边界、上下文管理与运行记录,不替模型规划流程。

能力总览¶
| 能力 | 机制 |
|---|---|
| 界面元素定位 | 执行动作必须绑定当前屏幕的 mark;目标过期、歧义、未命中时工具拒绝执行并返回原因 |
视觉定位 locate |
本地视觉模型,默认原分辨率输入;支持可选的容器/锚点区域裁剪 |
| 安全门控 | 风险动作(支付、凭据、删除等)先返回预警,模型显式确认后才执行;支持四档模式 |
| 完成验收 | finish 两段式确认;高风险目标由独立上下文的验收器复核 |
| 成本控制 | token 预算硬上限;上下文接近窗口时两级 auto-compact |
| 应用记忆 | App-KB 记录本机应用与别名,按设备隔离,支持自动学习 |
| 经验记录 | 每次运行落盘结构化档案(episode),隐私白名单过滤 |
| 经验回想 | 本地向量索引(sqlite-vec + MLX 嵌入)shadow 模式召回历史经验,自动统计命中率 |
| 能力注册表 | 所有能力可独立开关、记录依赖关系、每次运行快照可审计 |
| 控制台 | 本地 Web 界面:实时画面、步骤时间线、任务板、应用库、记忆页 |
入口¶
License¶
Apache License 2.0