
AI丸投げはなぜ精度が落ちる?Softmax注意希釈の数理とクライアント・サーバ分業の復権
「AIのコンテキストウィンドウが100万トークン以上に広がったのだから、生のログや長大なコード、大量のドキュメントをそのまま全部AIに放り込めばいい」という風潮が開発現場や日常業務に広がっています。しかし、1+1が必ず2になる決定論的な処理まで巨大な確率モデル(LLM)へ丸投げするやり方は、電卓で済む計算のために発電所のタービンを回すような電力の空焚きであるだけでなく、AI自身の推論精度を劇的に劣化させる(コンテキスト劣化:Context Rot) 最大の原因になっています。
結論からお伝えすると、クライアント側(ローカルの決定論コード:SQLite・Rust・正規表現)でノイズを削ぎ落として構造化し、段階的開示(Progressive Disclosure)で純粋な論点だけをサーバのAIに渡す「クライアント・サーバ分業の復権」こそが、最大90%の省電力とハルシネーション抑制を同時に達成する数学的最適解です。本記事では、なぜ生データを丸投げするとトランスフォーマー(Transformer)の内部で「Softmax関数によるアテンション希釈」や「中間埋没(Lost in the Middle)」が起きてAIがボケるのかを数理と一次論文から解き明かし、必要な情報を切り捨てずに最小トークンで最高精度を引き出す「段階的開示+参照ID方式」の実装設計を解説します。
-
ビットコイン「暗号貢献」の嘘とGPU高騰の罪|AIとマイニングの電力消費の違い : 「ビットコインが暗号技術を進歩させた」という神話の技術史的誤解とGPU買い占め・中古グラボ汚染の実態、そして年間約150TWhで並ぶマイニングとAIの電力消費が生み出す価値の決定的違いを検証した記録です。
-
ビットコインはなぜお金になる?1844億枚増殖バグと2100万枚採掘後の『防衛予算問題』 : 無意味なハッシュ総当たりに電力と才能を空焚きするマイニングの構造的限界と、計算資源をAI効率化へ振り向けるべき理由を解剖した対になる記事です。
-
イーロン・マスクxAI崩壊の真因とAI分業設計|GPU20万基の限界とCSS・Rust外堀術 : GPU物量主義の限界とDeepMindが進めるSpeculative Cascades、ジョブズ氏とマスク氏の設計観の差を解説しています。
-
GEMINI.md・AGENTS.mdが長いと無視される原因|24KB壁・2万トークン予算と分割送信廃止術 : 本記事で解説する「段階的開示(Progressive Disclosure)」をAIエディタのルール管理へ実装し、24KB制限を突破した実測録です。
-
AIはなぜ嘘をつき長話でボケるのか?コンテキスト「1MB安全圏」とハルシネーションを防ぐ付き合い方 : 長文対話や大量PDF読込で記憶が抜け落ちる現象を、日常のファイル整理と1MB基準で防ぐ実践ガイドです。
-
AI丸投げ電力危機と米xAI崩壊の教訓|端末オフロードと光計算網による国家分業設計 : クライアント決定論オフロードと階層推論を社会インフラ全体へ実装するシステム設計書です。
-
長いソースコードや大量の資料をそのままAIに読み込ませると、指示を忘れたりハルシネーション(嘘)が増えたりして困っている方
-
「ロングコンテキスト対応モデルなら前処理や検索設計は不要になる」という通説に違和感を覚えているエンジニア・開発者の方
-
トランスフォーマーの自己注意機構(Self-Attention)が長文で劣化する数学的なメカニズムを、数式と学術論文の根拠つきで理解したい方
-
ローカル環境(SQLiteやRust等)とクラウドAIを賢く分業させ、APIコストや電力消費を削りながら推論精度を極限まで高めたい方

最近のAIは何十万文字でも一発で読み込めるって聞いたから、システムログも仕様書も丸ごとコピペして投げてるんだけどさ。なんだか資料を増やせば増やすほど、AIの回答がピント外れになって嘘が増えるんだよな……。

それはAIの頭が悪くなったのではなく、人間の「渡し方」に設計ミスがあるんです!手元のパソコンなら0.01秒で終わる検索や整理までクラウドの巨大AIに丸投げすると、電気代とトークンをドブに捨てるだけでなく、数学的な必然としてAIの注意力(アテンション)が薄まってしまうんですよ。
電卓に発電所を回す「AI丸投げ」と設計の甘え
現在のAI業界やシステム開発の現場が陥っている最大の設計ミスは、「1+1が必ず2になる決定論的な処理」まで、すべて巨大な確率モデル(LLM)に丸投げしていること にあります。
文字列の検索、条件に合うデータの抽出、ファイルツリーの走査、文字数や定型書式のルール検証といった処理は、本来クライアント側のプログラム(ネイティブコードやローカルデータベース)が最も得意とする領域です。手元のマシンで実行すれば数ミリ秒、消費電力もほぼ誤差の範囲で、しかも 100%の精度(誤りゼロ) で完了します。
それをわざわざネットワーク越しにクラウドのデータセンターへ送り、数千億パラメータの行列演算(GPUやTPUの力業)で「確率的に推論」させるのは、手元の電卓で済む四則演算のために毎回発電所の巨大タービンを回しているようなもの です。
- 入力データ :生のHTMLや長大なログ・全ファイル(例:10,000トークン)を無加工で送信
- 計算の無駄 :文字列検索や構文パースに数千億パラメータのGPU行列演算を浪費
- 精度の劣化 :9,950個のノイズがSoftmaxの重みを奪い合い、中間埋没とハルシネーションが激増
- 応答と電力 :通信肥大化・KVキャッシュ膨張によりレイテンシ悪化、電力を最大10倍浪費
- ローカル前処理 :SQLiteやRustバイナリが数ミリ秒・誤差電力で検索と構造化を完結
- 入力データ :ノイズを削ぎ落とした純粋な論点と構造化スキーマ(例:500トークン)のみ送信
- 推論の純化 :重要トークンにアテンション予算1.0が集中し、AIは高次の論理思考だけに全振り
- 事後検問 :AIが返した出力を再びクライアント側の決定論コードで100%機械検証して反映
コンピュータ・アーキテクチャの歴史を振り返れば、かつてすべての計算を中央の大型汎用機で行っていた「メインフレーム集中型」から、手元の端末と役割を分担する「クライアント・サーバ型」へと進化した歴史の振り子があります。現在の極端に中央集権化したクラウドAI一辺倒のトレンドも、電力網の限界と推論コストの壁に直面したことで、再び 「クライアントとサーバの適材適所の分業」 へと揺り戻しが起きています。
研究報告でも、推論時の入力最適化によって 最大73%、不要な冗長出力の抑制で 最大89%、さらにローカル処理や小型モデルの連携を組み合わせることで 最大90%ものエネルギー削減が可能 と試算されています。
では、なぜこれほど明白な無駄があるにもかかわらず、多くの開発現場が「とりあえず全部AIに投げる」という安易な設計に逃げてしまうのでしょうか。理由は大きく2つあります。
-
業務ロジックとスキーマを定義する設計力の甘え : 本来ならエンジニアが事前に「どのデータが判断に必要で、どの形式(スキーマ)に正規化すべきか」を厳密に定義しなければなりません。しかし、「プロンプトに生のテキストを全部詰め込めばAIがよしなに読んでくれるだろう」と考えるのは、基本設計の放棄(エンジニアリングの甘え)にほかなりません。
-
クライアント側の実装・配布の手間惜しみ : クライアント側に高速なローカルDB(SQLite等)や軽量なネイティブツールを持たせると、プログラムの配布やバージョン管理の手間が発生します。その手間を惜しんでサーバ側のLLM呼び出し1本で済ませようとする結果、実行するたびに莫大なAPI料金と電力を垂れ流す構造が出来上がってしまいます。
手元のクライアントで0.01秒で確定できる処理はクライアントに任せ、サーバのAIには「人間にはできない高度な比較・文脈判断・創造的推論」だけをさせる境界線を引くこと。これこそが、システム工学における正しいクライアント・サーバの復権です。
クライアント絞り込みで推論精度が上がる4つの数理
「クライアント側でデータを絞り込んでからAIに渡すと節電になるのは分かったけれど、最新のAIは100万トークン読めるのだから、精度自体は変わらないのではないか?」と疑問に思う方もいるかもしれません。
しかし実際には、クライアント側で生データを削ぎ落として構造化することは、単なる節電にとどまらず AIの推論精度向上とハルシネーション(もっともらしい嘘)の抑制に直結 します。生データを丸投げするとトランスフォーマー(Transformer)の内部で 「コンテキスト劣化(Context Rot:情報の薄まり)」 が起き、以下の4つの数学的・構造的メカニズムによって誤答率が跳ね上がるからです。
Softmaxの固定予算1.0とアテンション希釈
第1の理由は、トランスフォーマーの心臓部である 「自己注意機構(Self-Attention)」の数式そのものが持つ構造的な宿命 です。LLMが文脈のどこに注目するかを計算する基本的なアテンションは以下の数式で表されます。
ここで決定的に重要なのが、クエリ()とキー()の内積スコアを確率分布に変換している (ソフトマックス)関数 の性質です。トークン列の長さを とすると、 番目のトークンが 番目のトークンに割り当てるアテンション重み は次のようになります。
この式が示す通り、Softmax関数は 「すべてのトークンに対する重みの合計が、入力が何文字であっても必ず (100%)になるように正規化する」 という性質を持っています。つまり、アテンションとは 合計 という「固定予算」を全トークンで奪い合うゼロサムゲーム なのです。
たとえば、回答を導くのに本当に必要な「重要事実」が 50トークン だけだったとしましょう。
もし生データ 10,000トークン をそのまま丸投げすると、残りの 9,950個 の無関係なログやHTMLタグ、冗長な定型文に対しても、 である以上、必ず微小なプラスの重みが割り振られます。9,950個のノイズトークンが分母()を巨大に膨張させるため、本来50個の重要事実トークンに集中すべきだったアテンションの重みが塵のように削り取られ、全体に薄まってしまいます。
これが 「アテンションの希釈(Attention Dilution)」 です。逆に、クライアント側の決定論コードで不要な9,500トークンを事前に削ぎ落とし、500トークンに圧縮・構造化してAIに渡せば、固定予算 の大半が50個の重要トークンに鋭く集中 し、AIのフォーカスが一切ボケなくなります。
中間埋没(Lost in the Middle)の解消
第2の理由は、長文コンテキストにおける 「位置バイアス(場所による記憶力の偏り)」 です。
スタンフォード大学などの研究チームが発表した著名な論文(Liu et al., 2023 / arXiv:2307.03172)は、LLMに長い文書を与えて特定の事実を取り出させる実験を行い、衝撃的な事実を実証しました。LLMは 「プロンプトの先頭(Primacy bias)」と「末尾(Recency bias)」にある情報は高精度で認識できるのに、文書の「中間」に埋もれた情報の認識精度は20ポイント以上も急落する(U字型の性能曲線を描く) のです。
たとえば20個の文書を渡した実験では、正解が先頭付近にあるときは 70%〜75%超 の精度を出せたモデルが、同じ正解を10番目(真ん中)に配置しただけで 50%未満 へと劇的に劣化し、時には文書を何も渡さずに質問したとき(クローズドブック)よりも低い正答率に落ち込むことさえ確認されています。
さらに、「単純な文字列検索(干し草の中の針探し:Needle In A Haystack)なら最新モデルはクリアしているではないか」という疑問に対しても、2025年に発表された NoLiMaベンチマーク研究(Modarressi et al., 2025 / arXiv:2502.05167) が明確な答えを出しています。質問文と文字面が一致しない「連想や2段階の推論が必要な課題」では、入力長が 32,000トークン(32K)に増えただけで、調査された主要12モデルのうち11モデルが短文ベースラインの半分(50%)以下の性能へ崩壊した と報告されています。
-
広大な「中間領域(死角)」自体を作らない : 生データを何万トークンも流し込むからこそ、情報が埋没する広大な「真ん中の死角」が生まれます。クライアント側で関連箇所だけを数百〜数千トークンに絞り込めば、すべての情報が「先頭」と「末尾」の高感度ゾーンに収まります。
-
U字曲線の両端を活かす決定論的レイアウト : クライアント側のプログラムでプロンプトを組み立てる際、「絶対守るべき制約条件やスキーマ定義を先頭(最上部)に置き、抽出した核心データを末尾(質問文のすぐ直前)に配置する」 という構造化を行えば、モデルの注意力が最も高い領域だけを使って推論させることができます。
似た単語のノイズ遮断と構文解析コストの純化
第3および第4の理由は、「似た単語による推論経路の脱線(ディストラクター効果)」 と 「構文解析(パース)へのレイヤー浪費」 です。
Google Researchの研究チームがICML 2023で発表した論文(Shi et al., 2023 / arXiv:2302.00093)および後続のGSM-DC研究(EMNLP 2025)では、算数や論理推論の問題文の中に 「意味や単語は似ているが、答えには無関係な一文(ディストラクター)」をたった1つ混ぜるだけで、LLMの推論ステップの選択が狂い、計算精度が劇的に低下する ことが証明されています。
自己注意機構(Self-Attention)はトークン同士の「意味的な類似度(内積)」で重みを計算するため、本筋と関係なくても「同じ変数名」「似た専門用語」「過去の失敗した試行ログ」がコンテキスト内に残っていると、そちらへ勝手に注意が吸い寄せられて論理が脱線するのです。
また、整理されていない非構造化テキスト(崩れた表、ネストの深いHTML、表記揺れのある自由記述)をそのまま渡すと、トランスフォーマーが持つ限られた層(レイヤー)とアテンションヘッドの計算能力が 「どこからどこまでが1つの項目で、どの数字がどの主語に対応しているか」という低次元の構文解釈(パース処理) に費やされてしまいます。
クライアント側で正規表現やSQL、構文解析器(パーサー)を使ってあらかじめ JSONやMarkdownテーブル、正規化された箇条書きに構造化(スキーマ化) して渡せば、主語と数値の対応関係が決定論的に固定されます。その結果、AIは構文の読み解きに悩む必要がなくなり、ニューラルネットワークの表現力を 「比較・評価・統合・論理的判断」という高次の思考だけに100%集中投下 できるようになります。
| 劣化・改善のメカニズム | 生データをAIへ丸投げした場合(中央集権) | クライアントで絞り込み・構造化した場合(分業) | 推論精度・電力へのインパクト |
|---|---|---|---|
| ① Softmaxの注意予算(合計1.0) | 無関係な数千〜数万トークンが分母を膨張させ、重要事実への重みが希釈される | 数百トークンの核心情報に固定予算1.0が集中し、重要事実が鮮明に浮き彫りになる | 条件見落とし・指示忘れの激減、KVキャッシュ電力の大幅削減 |
| ② 位置バイアス(Lost in the Middle) | 広大な中間領域に埋もれた情報の認識精度が20ポイント以上急落(32Kで半減以下) | 全体長が圧縮され、先頭(ルール)と末尾(核心データ+質問)の高感度領域に全収容 | 長文での取りこぼし消滅、1発での正答率向上 |
| ③ 類似ノイズ(Distractor)の干渉 | 似た単語や古い失敗ログに内積スコアが反応し、推論経路が脱線(コンテキスト汚染) | SQL・正規表現・Rustで条件外レコードを物理遮断し、純粋な対象データのみを入力 | 数値の取り違え・別商品のスペック混同(ハルシネーション)の根絶 |
| ④ 構文解析(パース)と高次推論の配分 | 崩れたテキストやHTMLの構文解釈にレイヤーとヘッドを浪費し、思考力が低下 | クライアント側でJSONやMarkdown表へ正規化し、主語と属性の対応を決定論的に固定 | AIの全計算能力を「比較・統合・論理判断」へ100%全振り可能 |

なるほどなぁ!Softmaxの合計が常に「1.0」ってことは、ゴミデータを9,950個も混ぜたら、大事な50個のデータの存在感が薄まるのは当たり前じゃないか。しかも人間と同じで、分厚い資料の真ん中に書かれたことは読み飛ばしやすいんだな。

そうなんです!ただ、ここで1つだけ気をつけなければならない設計上の急所があります。クライアント側で機械的にデータを削りすぎた結果、「実は判断に必要だった例外条件まで切り捨ててしまうリスク」をどう防ぐか、という問題です。
切り捨てすぎを防ぐ『段階的開示+参照ID方式』
クライアント側での事前フィルタリングには、情報検索理論における 「適合率(Precision:ノイズの少なさ)を高めようとして条件を厳しくしすぎると、再現率(Recall:必要な情報の網羅性)が落ちて、一見無関係に見える重要な前提条件までローカルで切り捨ててしまう」 というトレードオフが存在します。
このジレンマを鮮やかに解決し、省電力・高精度・情報欠落ゼロのすべてを両立させるアーキテクチャが、Anthropicのエンジニアリング指針(Effective Context Engineering for AI Agents) などでも中核に据えられている 「段階的開示(Progressive Disclosure)+ 参照ID方式」 です。
最初から全文を渡すのでも、クライアントの独断で1回きり切り捨てるのでもなく、以下の 2段階(マルチステージ)の対話ループ を組みます。
クライアントのSQLite(FTS5全文検索)やRustネイティブバイナリがローカルの全データを走査し、該当候補の 「参照ID(ファイルパス+行番号範囲)・見出しツリー・1行要約・主要メタデータ」 だけをJSONやMarkdown表に構造化して抽出します。
AIはノイズのない軽量な一覧表(数百トークン)を俯瞰し、自分の固定予算1.0をフルに使って「どのデータが核心か」「例外条件が隠れていそうな項目はどれか」を判断します。原文の確認が必要な項目があれば、その 参照ID(例:ID:104) をクライアントへリクエストします。
クライアントは要求された ID:104 の該当行(たとえば40行分だけ)をローカルから切り出してAIへ渡します。AIは必要な文脈を1ミリも欠落させることなく、最小限のトークン空間で極めて精度の高い最終結論を出力します。
この「段階的開示+参照ID方式」は、まさに当ラボ(全 720記事・設計ルール文書 1,321行)の執筆・監査システムで毎日実稼働させている基盤そのものです。
もし当ラボのルール文書や全記事データを毎回丸ごとAIに読み込ませれば、1回の質問だけで数十万トークンが溶け、Softmaxのアテンション希釈によってAIは細かな表記ルールや過去の検証数値を次々と見落とします。そこで当ラボでは、クライアント側(Macのローカル環境)とクラウドAIの役割を以下の3層に完全分離しています。
全 720記事 の見出し・本文・経済定数・公理・過去の対話履歴をSQLiteデータベースに索引化。キーワードや記事IDを指定すると、Pure Rustバイナリが 約0.01秒 で該当箇所の「ファイル名と正確な行番号(例:L120-L155)」および波及影響度スコアを算出し、AIが読むべき数十行だけをピンポイントで特定します。
余計なHTMLや無関係な数万行のテキストが遮断されたクリーンなコンテキスト空間で、AIは「論理の整合性検証」「読者の疑問への先回り回答」「わかりやすい比喩と構造化」という、確率モデルにしかできない高次の知的作業だけに100%の計算資源を注ぎ込みます。
AIが出力した原稿に対し、見出しの文字数上限(H2は30文字以内・H3は28文字以内)、太字マーカー前後の半角スペース、内部リンクの実在確認、ハングル文字の混入ゼロなどをRAMディスク常駐のRustバイナリが 約4ミリ秒 で機械検問します。「文字数を数える」というAIが苦手な決定論チェックをローカルが100%引き受けます。
「探す・絞る・並べる・数える」はクライアントの決定論コードが0.01秒で担い、「考える・比べる・創る」だけをサーバのAIが担う。この3層構造によって、トークン消費量を10分の1以下に圧縮しながら、ルール違反や数値の取り違えを物理的にゼロへ抑え込んでいます。
実践:クライアント分業を支える母艦環境と指示テンプレート
このような「クライアント・サーバ分業」を自分の手元で快適に回すために、データセンターのような巨大なGPUサーバーを自宅に置く必要はまったくありません。
クライアント側に求められるのは、何千億パラメータものニューラルネットワークを力業で回す演算力ではなく、「SQLiteの全文検索インデックスやRustのネイティブバイナリ、そして高速なRAMディスク(メモリ上の仮想ディスク)を常駐させ、数万件のローカルファイルから0.01秒で必要な参照IDと構造化データを切り出すレスポンス性能」 だからです。
ローカル前処理とRAMディスク常駐を爆速化する母艦機材
当ラボでも実践している通り、頻繁に書き換わる検索インデックスや一時ファイル、ビルドキャッシュを大容量メモリ上の RAMディスク に配置すると、内蔵SSDの寿命(TBW)を一切削ることなく、ディスクI/Oの待ち時間を事実上ゼロにできます。
その母艦として最もコストパフォーマンスと静音性に優れているのが、大容量のユニファイドメモリを搭載した Apple M4 Pro搭載 Mac mini(64GBメモリ構成) です。
64GBの広大なメモリ空間があれば、OSやブラウザ、AIエディタを複数立ち上げた状態でも、16GB〜24GB規模の高速RAMディスクを余裕で常駐させ、SQLiteデータベースやRustの高速検問ツールをメモリ上で瞬時に駆動できます。仮に実勢価格を約25万〜30万円とし、毎日の開発や知的生産の母艦として5年間(1,825日)使い倒した場合、1日あたりのコストはわずか約137円〜165円(自販機の缶コーヒー1本分) で完全に元が取れる計算です。アイドル時の消費電力も数ワット台と極めて低く、まさに「省電力・高精度なクライアント分業」を体現する1台です。
また、AIに渡す前の生データ(過去の大量のPDF資料、Takeout履歴アーカイブ、写真・動画素材、ローカルDBのバックアップなど)を母艦の外に整理・保管し、必要なときだけThunderbolt経由で瞬時に検索・抽出するための外部ストレージには、プロの制作現場でも定番の SanDisk Professional PRO-G40 SSD(4TB) が頼りになります。
Thunderbolt 3(最大40Gbps)接続で読み出し最大3,000MB/s級の速度が出るため、数ギガバイト単位のローカル知識ベースや過去ログを対象にクライアント側で全文検索をかけても、内蔵ストレージと変わらない体感速度で一瞬でフィルタリングが完了します。IP68の防塵・防水性能と高い耐衝撃性を備えた堅牢なアルミ筐体なので、大切な一次データの長期保管庫としても安心です。
コピペで使える「段階的開示+参照ID方式」プロンプト
専用のスクリプトやSQLiteをまだ組んでいない方でも、日々のAIチャット(Gemini 4 Argon などの高性能モデル)やAIコードエディタを使う際に、「いきなり全文を読ませず、まず目次・構造・行番号(参照ID)を整理させてから深掘りする」 という段階的開示の思考プロセスを取り入れるだけで、回答の精度は見違えるほど向上します。
以下のテンプレートをコピーして、長文資料の分析や大規模なコード改修の際にお試しください。
# 指示:段階的開示(Progressive Disclosure)による2段階分析
今から複数の資料(またはコード)をもとに分析を行いますが、コンテキスト劣化(Softmaxのアテンション希釈および中間埋没)を防ぐため、いきなり全文の詳細推論は行わず、以下の2段階で進めてください。
## 【制約条件(最優先ルール)】
1. 推測で事実を補完しないこと(確認できない情報は「不明」または「追加データの提示が必要」と明記する)。
2. 回答は論理的かつ簡潔な構造化フォーマット(Markdown表および箇条書き)で出力すること。
## 【第1段階:構造化インデックスの作成と必要IDの特定】
以下に提示する「見出し一覧・要約・メタデータ(参照ID付き)」だけを読み、今回の質問に正確に答えるために **「原文の詳細を確認すべき参照ID(最大3〜5件)」** を特定し、その選定理由を簡潔に提示してください。まだ最終結論は出さないでください。
---
### 入力データ(構造化サマリー一覧)
- [ID:01] ファイル名 / セクション名(L1-L45):〇〇の基本仕様と前提条件の定義
- [ID:02] ファイル名 / セクション名(L46-L120):旧バージョンのエラーログ(※過去の試行記録)
- [ID:03] ファイル名 / セクション名(L121-L180):2026年最新の数値データと例外規定
---
### 今回の質問(ゴール)
〇〇の条件において発生する問題の原因を特定し、具体的な解決策を3つ提案してください。
(まずは上記一覧から、詳細原文が必要な [ID] だけを指定してください)
このように、第1ターンでAI自身に「本当に必要な ID:01 と ID:03 はどれか」を選ばせ、無関係な ID:02(古い試行ログなどのディストラクター)を除外したうえで、第2ターンで ID:01 と ID:03 の原文だけを質問の直前(末尾の高感度領域)に添えて渡してみてください。驚くほどハルシネーションが消え、鋭く的確な回答が返ってくるはずです。
まとめ:決定論でゴミを払いAIには純粋な思考をさせよう
本記事で解説した「AI丸投げが精度を落とす数学的理由」と「クライアント・サーバ分業」の要点を3つに整理します。
-
1+1=2の決定論処理はクライアントで完結させる : 文字列検索やデータ抽出、定型フォーマット検証までクラウドの巨大LLMに丸投げするのは、発電所のタービンで電卓を回す電力の空焚きです。ローカルのSQLiteやRust、正規表現で処理すれば、数ミリ秒・誤差電力・精度100%で片付きます。
-
Softmaxの固定予算「1.0」をノイズに奪わせない : トランスフォーマーの自己注意機構は重みの合計が常に1.0になるゼロサムゲームです。無関係な生データを削ぎ落としてJSONや表に構造化し、先頭(ルール)と末尾(核心データ)に配置することで、「アテンションの希釈」と「中間埋没(Lost in the Middle)」を数学的に防げます。
-
段階的開示(Progressive Disclosure)+参照ID方式で欠落を防ぐ : クライアント側の絞り込みで重要な例外情報を切り捨ててしまうリスクは、「最初に構造化サマリーと参照ID一覧を渡し、AIが要求したIDの原文だけをピンポイントで追加供給する」2段階設計によって完全に解消できます。

なんでもかんでも力業で詰め込むんじゃなくて、いらない毛玉(ノイズ)をブラッシングで綺麗に落としてから渡してあげるのが、AIと仲良く賢く暮らすコツなんだにゃ〜。ゴロゴロ……。


