2026 年，桌面 AI 正在向"端上"迁移 — 几点观察

最近有一个不靠任何戏剧性事件就能看清的方向：相当一部分 AI 任务正在从云端迁回设备。这里不是预言，是我们自己的工作和评估的工具里观察到的事实。

迁移不是一刀切的。重型训练留在数据中心 — 这点没变。但日常任务的推理 — 语音识别、转录、即时翻译、代码补全、图片清理、简短摘要 — 越来越多地跑在用户机器上，尤其是知识工作者实际用的 macOS / Windows 笔记本。

在背后默默起作用的有三件事。一是有用模型的规模降下来了。量化、蒸馏、架构迭代，让 2023 年还需要一台服务器的模型，今天可以在消费级笔记本里跑。二是端侧硬件追上来了。Apple Silicon、新一代集成 GPU、近期 x86 平台上的专用 NPU，让本地推理快到"像本地推理"。三是运行时层 — 在通用硬件上跑紧凑模型的开源框架 — 达到了两年前还不具备的成熟度。

从工具开发者的角度看，结果就是：你现在可以选择推理跑在哪。这个选项之前并不存在 — 要么云，要么没有。

有四点影响值得标出。第一是延迟。本地跑的东西避开往返服务器一趟，对交互式用例 — 语音输入、自动补全、悬浮建议 — 来说 80ms 和 800ms 的体感差是决定性的。第二是隐私。一旦热路径在本地，"什么数据出去"就从默认行为变成了产品决策。第三是可靠性。飞机上、隧道里、Wi-Fi 差、企业网络出网受限，都能跑。第四是成本结构。没有 API 调用，就没有按调用计费的累积。

这些都不是绝对的。今天的本地推理在最吃力的任务上依然显著落后于最大的云端模型，有些工作真的需要云。对大多数产品来说，正解不是"全本地"也不是"全云"，而是热路径在本地、重型或稀疏的工作走远端的混合。

有意思的设计问题不再是"产品里有没有 AI"。问题变成了：哪个能力必须即时？哪个可以等两秒？哪个只需要偶尔工作？每个答案对应不同的运行位置。把这个映射做对的产品体感会快、会稳；把所有东西放云上的会卡、会脆；把所有东西放本地的会觉得能力不够。

我们自己已经按这个前提工作一段时间了。ORDO（原 HUM）的核心路径就是本地的。其他工具也是同一形态 — 面向用户的回路在设备上收紧，只有当工作明显值得时才出网。我们认为这会是接下来几年桌面 AI 工具的默认形态。