ローカル優先の推論がデスクトップのツールスタックを書き換えつつある

オンデバイスについてのメモの短い続編です。ここ一年で、新しいデスクトップ AI ツールのアーキテクチャ的な形は目に見えて変わっており、特定の製品名を出さずに記しておく価値があります。

一年前、「AI デスクトップツール」の支配的なパターンは、リモートの推論エンドポイントと話す薄いネイティブシェルでした。シェルは UI を担当し、興味深いことはすべてサーバ側で起きていました。ローカルのバイナリは事実上、OS 統合を備えたチャットクライアントでした。

現在のパターンは違います。シェルは依然として存在しますが、その下に非自明なローカルランタイムが置かれます — モデルローダー、量子化を意識した実行エンジン、デバイス上で完結するいくつかのパイプライン。リモートエンドポイントもまだ存在しますが、「仕事が起きる場所」から「ローカル経路で足りない場合の行き先」に格下げされました。デフォルトではなくオプトインのフォールバックになりつつあります。

この再配置は、製品の作り方と考え方の両方に影響します。ローカルランタイムは新しい依存表面をもたらします — モデルファイル、重み、ときにはアクセラレータ固有のカーネル。どれも配布・更新・バージョン管理が必要です。デスクトップ AI ツールのパッケージング物語は以前より重くなりました。初回ダウンロードは大きく、更新機構は無視できないサイズのバイナリ成果物を扱う必要があり、インストールフットプリントは説明を要します。

一方で運用の物語は大きく軽くなりました。ローカルが強いデフォルトを持つツールは、ユーザ数に同期して推論サーバ群をスケールさせる必要がありません。利用が急増すれば利用者のバッテリーが減りますが、運営者のクラウド請求書がそれに比例して増えるわけではありません。小規模チームにとってこれは構造的な優位です。

より興味深い影響は製品の表面に現れます。ローカル推論は「そもそもどんなインタラクションが成立するか」を組み替えます。1 キー打つたびに 600ms 待つスペル補正のオーバレイは現実的な製品ではありません。同じものが 30ms で応答するならば製品です。文章ごとに考え込む音声入力はぎこちなく、話者と同じテンポで文字を流していく音声入力は質的に別物です。最近「印象的」ではなく「良い」と感じられはじめたデスクトップ AI ツールには、共通の性質があります — ホットパスが短く、ローカルで、同期的だということです。

ツール設計についてここに含まれる教訓は、単一のルールには言いにくいものです。選んだアーキテクチャは、構築できるインタラクションを通常認識される以上に強く制約します。クラウド優先の設計は、トランスポートが報酬として与えるものに合わせて、非同期のリクエスト・レスポンス的なインタラクションへと押し続けます。ローカル優先の設計は、安価になるのが連続的・同期的なインタラクションだから、そちらへと押し続けます。表面が似ていても別の製品です。

一方が常に他方より良いと主張しているのではありません。形が変わったこと、その変化が利用者にはほぼ見えず、ツールを作る側にはほぼ見えていること、そして 2026 年にこの領域で何かを作る人はアーキテクチャを選ぶことで暗黙のうちにどちら側に立つかを選んでいる、ということを記しておきたかっただけです。