
ローカルRAGにベクトルDBは不要?5大SQLite×Rustで個人知識庫を組んだ実測録
「AIが過去の記事も法令もPDFの取扱説明書も一瞬で正確に引いてくるけれど、その環境はいわゆるRAG(検索拡張生成)なの?」という質問をよくいただきます。
結論から申し上げると、当ラボの環境は広義のローカルRAGですが、世間で流行している「テキストを数値ベクトルに変換(Embedding)してChromaDBやQdrant等に格納する重いベクトルDB方式」は一切使っていません。
個人の知識管理や技術・法務・税務の実務においては、曖昧な意味検索を行うベクトルDBを排し、ローカルSQLiteの全文検索(FTS5)とPure Rust製エンジンによる「構造化エージェント検索」を組む方が、正確性・応答速度・維持費ゼロのすべてで圧倒的に優位です。本稿では、合計約2.33GB(記事・会話3,741件・全法令26.3万条文・PDF蔵書887冊・確定申告金庫)の5大ローカルSQLiteを数ミリ秒で横断照会している当ラボの実測アーキテクチャと、手元のPCで再現するための実践手順を余すところなく公開します。
-
AIトークン年3000万円破産とベクトルDB不要論|BM25・事前整理で消費91%減 :最新研究論文に基づき、高価なベクトルDBを排して事前構造化とBM25検索でトークン消費を劇的に削る基礎理論を解説しています。
-
Claude CodeのPreToolUseで丸読み防止|SQLite FTS5で10KB切り詰め回避とトークン節約 :AIエージェントのファイル丸読み癖をフックで物理遮断し、SQLite全文検索へ完全移行した実装記録です。
-
Web検索AIでも法律の条文を間違える4つの罠|26万条文SQLiteで820記事を監査した実測録 :Web検索RAGが陥る旧法混入や条文枝番ズレを防ぐため、デジタル庁e-Gov全法令をローカルSQLite化した検証録です。
-
大量の取扱説明書・医学PDF整理とAI検索|NotebookLM制限超えのVision OCR×SQLite術 :外付けSSD上の大量PDFを改変せず、macOS純正Vision OCRで全文検索DB化した設計を詳述しています。
-
AIチャットが長すぎて切り替えられない解決策|確定申告・長期実務を守るSQLite×正本MDの2階建て金庫術 :長大化したAI対話と税務・不動産の秘匿証憑を隔離金庫SQLiteと正本台帳で永続管理する実践手法です。
-
Mac版Gemini「Computer Use」と非公開MCP接続の使い方|AI暴走を防ぐ3階層認証と異常検知 :AIエージェントにローカル環境や業務ツールを安全に操作させる際の権限分離と異常検知の設計手順です。
-
自宅のMacやPCで個人用のローカルRAG(知識検索基盤)を作りたいが、DockerやベクトルDB、ローカルLLMの重さに挫折した経験がある方
-
Claude CodeやGemini CLI、Cursor等のAIエージェントに大量の過去ファイルやPDFを読ませた際、コンテキスト上限到達やトークン浪費に悩んでいる方
-
プログラムの関数名、家電の型番、法律の条文番号、確定申告の金額など、曖昧な類似検索ではなく「正確な一次情報」をAIに引かせたい方
-
外部クラウドへ絶対に送信したくない個人の税務・資産・医療データと、日常の公開知識ベースを安全に分離してAI活用したい方
結論:個人用ローカルRAGにベクトルDBが不要な理由
AIに自分専用の知識を参照させる「RAG(Retrieval-Augmented Generation:検索拡張生成)」という言葉が定着して久しいですが、いざ自分のパソコンで構築しようとすると、多くの入門記事が「まずはPythonでLangChainを入れ、Embedding APIやOllamaで文章をベクトル化し、ベクトルデータベースを立ち上げましょう」と案内します。
しかし、個人や小規模チームの実務データを扱う現場において、この「何でもベクトルDBに入れる」という定石こそが最大の落とし穴になっています。

AIが過去数百本の記事や何年も前のチャット履歴、さらに家電の取扱説明書PDFや六法全書まで一瞬で引っ張り出してくるから、てっきり裏側で巨大なベクトルDBサーバーが回っているのかと思ったよ!違うのかい?

はい、仕組みとしては「検索で知識を補う(RAG)」の一種なのですが、重くて曖昧なベクトルDBは使っていないんです。すべてMacの中の軽量な「SQLiteファイル5つ」と「Rust製の高速検索コマンド」だけで動いています。
まずは、世間で一般的なベクトルRAGと、当ラボが採用している「構造化エージェント検索(SQLite×Pure Rust)」が根本的にどう違うのか、全体像を比較してみましょう。
文章を固定長チャンクにぶつ切りにして数値ベクトル化。常駐メモリとAPI課金を食い潰すうえ、型番や条文枝番が似た「別物」を誤抽出してハルシネーションを誘発します。
文書構造・リンク網・メタデータを保ったままSQLite FTS5へ格納。API課金は0円、常駐サーバーも不要で、約2.33GBの知識庫から数ミリ秒で正確な一次根拠を抽出します。
世間のRAGと構造化エージェント検索の決定的な違い
そもそも「RAG」とは、AIモデル自体に追加学習(ファインチューニング)を施すのではなく、「質問に関連する外部データを検索(Retrieval)してプロンプトに添え、回答を生成(Generation)させる仕組み」の総称です。
つまり、検索エンジン側が「ベクトル検索(Embeddingによるコサイン類似度計算)」である必要はどこにもありません。
むしろ、近年の自律型AIエージェント(ツール呼び出し機能を備えた最上位AI)の登場によって、検索の主役は「受動的なベクトル類似度検索」から「AI自身がSQLや全文検索クエリを組み立てて何度も深掘りする 構造化エージェント検索(Agentic Search)」へと完全に覇権が移っています。
その決定的な裏付け(エビデンス)となるのが、2026年10月に公開された研究論文 arXiv:2610.41172(Context as Infrastructure: Knowledge Compilation for Retrieval in Agentic Systems with Harnesses) です。
この研究では、高価で複雑な密ベクトルDB(Dense Vector DB)を一切使わず、生の資料群を事前に構造化(Knowledge Compilation)したうえで古典的な BM25全文検索 を行わせるだけで、100件の難関マルチホップ推論タスクにおいて 91%の正解率 を達成し、読み込みトークン量を最大 91%削減 できたことが実証されています。
なぜベクトル検索よりも「事前構造化+全文検索」の方が圧勝するのでしょうか。理由は大きく3つあります。
-
最上位AI自身が「類義語の言い換え」と「検索クエリの組み立て」を行えるから :昔の検索システムは人間が打った1単語しか探せなかったため、Embeddingで「意味が近いベクトル」を探す必要がありました。しかし現在の最上位AI(Gemini 4 Carbon / ArgonやClaude等)は、質問から複数の同義語・関連キーワード・正規表現を自分で展開し、ミリ秒単位で全文検索エンジンを叩き直すことができます。
-
文書の見出し階層・テーブル構造・リンク関係を壊さずに保持できるから :ベクトルRAGは文章を500文字などの塊(チャンク)に機械的に切断してベクトル空間へ放り込むため、「どの章の、どの前提条件の下に書かれた数値か」という文脈が失われます。SQLiteなら親記事・章節・発リンク・逆リンクの関係性をリレーショナルに完全保持できます。
-
ローカル環境の維持コストと再インデックス負荷が桁違いに軽いから :ファイルを1つ修正するたびにEmbeddingモデルを回して数百次元〜数千次元の浮動小数点ベクトルを再計算させる方式は、CPU・GPUメモリを激しく消費します。SQLiteの差分更新なら、記事1本のインデックス再構築に0.1秒もかかりません。
ベクトル検索が必要な唯一の例外と個人データの現実
もちろん、技術的な公平性を期すために補足しておくと、ベクトル検索(Embedding)が輝く領域も世の中には存在します。
たとえば「数百万件のSNS投稿やカスタマーレビューの中から、特定のキーワードを含まない『なんとなく不満げなニュアンスの口コミ』をクラスタリングしたい」といった曖昧な感情分類や、「テキストで説明しにくい画像・音声・動画の類似パターンを探したい」というマルチモーダル検索の領域です。
しかし、私たちが個人のパソコンや社内の業務基盤でAIに探させたいデータを冷静に振り返ってみてください。
私たちが日常の実務で探したいのは「ニュアンスが似たポエム」ではなく、以下のような 1文字もズレては困る決定論的な事実 のはずです。
| 評価軸・用途領域 | ベクトルRAG(Embedding+ベクトルDB) | 構造化エージェント検索(SQLite FTS5+Rust) | 個人・実務での判定 |
|---|---|---|---|
| プログラムコード・設定値 | 似た構文の別関数や古い非推奨APIを混ぜて抽出しやすい | 関数名・型定義・環境変数・行番号を完全一致で数ミリ秒抽出 | SQLiteの圧勝 |
| 法律条文・契約書・規約 | 「第24条」と「第24条の2」や改正前後の近似文面を混同する | 法令ID・枝番・項番・施行日フィルタで現行条文を厳密特定 | SQLiteの圧勝 |
| 家電・機材の取扱説明書PDF | 型番違いの類似機種や別ページの注意書きを取り違える | 機種名・エラーコード・ページ番号・図表位置をピンポイント照会 | SQLiteの圧勝 |
| 確定申告・不動産・家計記録 | 過年度の似た費目や概算メモが混ざり金額根拠が崩れる | 年度・日付(西暦/和暦)・金額・証憑IDで1円の狂いもなく照合 | SQLiteの圧勝 |
| 過去記事・AIチャット履歴 | どの対話のどの結論だったか時系列と因果関係が消失する | スレッドID・日付・記事間の双方向リンク網(Graph)で追跡 | SQLiteの圧勝 |
| 数百万件のSNS感情分類・画像類似 | 表記が完全にバラバラな曖昧表現や非テキストの特徴量を捕捉 | 明示的な語句や構造化タグがない非テキスト類似検索には不向き | ベクトル検索が適任 |
このように、個人や技術者、執筆者、事業主が手元で扱うデータの99%以上は「曖昧な意味の近さ」ではなく「構造と文字列の厳密な一致+文脈の追跡」が求められる領域です。
にもかかわらず、SNS感情分析や巨大ECサイトのレコメンドエンジン向けに発達したベクトルDBを個人のローカル環境に持ち込んでしまうことが、多くの人がローカルRAG構築で挫折する根本原因となっています。
重いローカルベクトルRAGで多くの人が挫折する3つの罠
当ラボでもかつて、一般的なドキュメント検索手法やWeb検索RAGの限界を徹底的に検証したことがあります。
その過程で浮き彫りになった、従来のベクトルRAGや素のファイル読み込みが抱える「3つの構造的な罠」を整理しておきます。

確かに、ローカルでベクトルDBとEmbeddingモデルを動かそうとすると、パソコンのファンが唸りを上げてメモリがパンパンになるわりに、いざ質問すると的外れな答えが返ってきてガッカリすることが多いんだよなぁ。

まさにそれが「チャンク切断の罠」と「更新タイムラグの罠」なんです。なぜせっかく用意した自分のデータなのにAIが嘘をついてしまうのか、裏側のメカニズムを見ていきましょう。
チャンク切断と意味検索が招く型番や条文の取り違え
ベクトルRAGで最も深刻な事故は、文章を固定文字数で切り刻む「チャンキング(Chunking)」と「意味ベクトル化」の組み合わせによって、もっともらしい顔をして別の数値を繋ぎ合わせるハルシネーション が起きることです。
具体例を挙げましょう。たとえば自宅の冷蔵庫やMac用ドッキングステーションの取扱説明書PDFをベクトルDBに入れたとします。
取扱説明書の15ページに「モデルA(上位機種)の最大供給電力は100W、モデルB(標準機種)は60W」と書かれ、42ページの仕様表には見出しから離れた位置に「連続定格出力:85W(ただし周囲温度25℃以下)」と記載されていたとします。
これを500文字ごとのチャンクに切断してベクトル化すると、「電力」「出力」「W(ワット)」というベクトル空間上の距離が近いため、AIは別機種のチャンクや前提条件が切り落とされたチャンクを上位3件(Top-K)として拾い上げてしまいます。
さらに致命的なのが、法律の条文や税務の特例要件を扱う場合です。
当ラボの別記事『Web検索AIでも法律の条文を間違える4つの罠|26万条文SQLiteで820記事を監査した実測録』で詳しく実証した通り、日本の法令には「第19条の2第1項」と「第19条第2項」、あるいは「本則の条文」と「附則の経過措置(当分の間の特例税率)」のように、文字面と意味ベクトルが極めて酷似していながら法的効力が180度異なる条文が無数に存在します。
ベクトル検索は「文面の雰囲気が似ているもの」を高スコアで返してしまうため、枝番の脱落や未施行条文の混入を原理的に防ぐことができません。
更新タイムラグによる古い情報参照と常駐メモリの圧迫
2つ目の罠は、日々の運用における「インデックス更新の重さ(鮮度劣化)」と「計算資源の浪費」です。
知識庫(ナレッジベース)というものは、一度作って終わりではありません。毎日新しい記事を書き、AIと新しい壁打ち対話を行い、コードを書き換え、新しい領収書やPDFマニュアルが増えていきます。
ベクトルDB方式では、テキストが更新されるたびに以下の重い処理パイプラインを回す必要があります。
-
Embeddingモデルの常駐またはAPI通信 :ローカルで
bge-m3やnomic-embed-text等のEmbeddingモデルを動かす場合、それだけで数GBのVRAM(統合メモリ)を常時占有します。クラウドのEmbedding APIを使う場合は、更新のたびに通信待ちと従量課金が発生し、秘匿データを外部へ送信するリスクも生じます。 -
チャンク再分割とベクトル再計算のタイムラグ :数千ファイル・数万ページの知識庫でベクトル再計算が重くなると、人間は次第に「インデックス更新を回すのが面倒」になり、結果として AIが1週間前の古い仕様書や修正前のコードを参照して回答する という本末転倒な事故が頻発します。
-
常駐DBコンテナによるメモリ圧迫 :Docker上でQdrantやMilvus、Weaviate等のベクトルDBサーバーを常時起動させておくと、検索していないアイドル時でも数GBのメモリを食い続け、母艦PCでの動画編集やビルド作業の足を引っ張ります。
そして3つ目の罠が、ベクトルDBを諦めた人が次に陥りやすい 「AIエージェントに生のファイルを直接 read_file(丸読み)させる運用」 です。
Claude CodeやCursor、Antigravity等の高性能なAIコーディング環境を使うと、つい「RAGなんて組まなくても、AIが自分で grep や read_file でファイルを読んでくれるから大丈夫」と思いがちです。
しかし、数千行のMarkdown設計書や数MBのJSONログをAIが生のまま丸読み(Analyzed)すると、1回のファイル読み込みだけで数万トークンのコンテキストウィンドウが一瞬で吹き飛びます。
さらに、多くのAIエージェント環境では10KB〜数万バイトを超える出力が自動的に切り詰め(Truncated)られるため、AIがファイルの後半を読めないまま推測でコードを書き換えて破壊する事故が後を絶ちません(この丸読み遮断の詳細は『Claude CodeのPreToolUseで丸読み防止|SQLite FTS5で10KB切り詰め回避とトークン節約』で解説しています)。
つまり、「重いベクトルDBもダメ、生ファイルの丸読み放置もダメ」 という二律背反(トレードオフ)を根本から打ち破る第3のアーキテクチャが必要だったのです。
必要なのは、文書の見出し構造とリンク網を保ったまま単一ファイルDBへ事前コンパイルし、AIエージェントが必要な断面だけを数ミリ秒で引き抜ける「構造化検索基盤」です。実践公開:API課金ゼロで動く5大SQLite知識庫の全貌
ここからが本記事の核心です。当ラボが試行錯誤の末にたどり着き、現在進行形で毎日フル稼働している「2階建てローカル知識基盤(常時注入ルール × 5大SQLite × Pure Rust検索エンジン)」の実測スペックをすべて公開します。
最初に検証の境界条件(N=1の実機前提)を明示しておきます。以下の測定値はすべて、2026年11月21日時点において、当ラボの母艦である macOS環境(64GBメモリ搭載iMac+APFS RAMDisk常駐バイナリ+外付けSSD原本保管) で計測した実測値です。

現在このブログだけでも相当な記事数があるし、過去の対話や法令、PDF蔵書まで全部合わせたら、とんでもないデータ量になるんじゃないかい?

はい!現在このサイトで公開している全 885記事(AI国家構想 437記事+検証録レビュー 448記事)に加えて、3,741件のAI会話履歴、約26.3万条文の現行法令、887冊(22,829ページ)のPDF蔵書、そして確定申告用の隔離金庫まで、すべてが5つのSQLiteファイル(合計約2.33GB)に収まっています。
常時注入ルールと高速検索エンジンを結ぶ2階建て設計
なぜ2.33GBもの膨大な知識庫を持ちながら、AIのコンテキストウィンドウを圧迫せず、しかも数ミリ秒で的確な一次情報を引き出せるのでしょうか。
その秘密は、知識を「1階:常にAIの頭に入れておく最小限の回路図(インデックス)」と「2階:必要な瞬間だけPure Rustでミリ秒抽出する5大SQLite」に完全分離した 2階建て設計 にあります。
単一マスター設計書(現 1,405行)からコア原則と公理目次だけを抽出し、2万トークン予算内で常時注入。「何を聞かれたらどのDBのどのサブコマンドを叩くか」の地図だけをAIに持たせます。
APFS RAMDisk上に常駐する単一ネイティブバイナリ。外部依存クレートを一切使わずC言語の静的libsqlite3.aへ直結し、12スレッド並列で複数DBから該当行と前後文脈だけを切り出します。
WALモードとFTS5(BM25+Trigram)で索引化された5つの単一ファイルDB。常駐サーバープロセスはゼロで、API課金も1円もかからず、ファイルI/Oの限界速度で応答します。
この設計において極めて重要なのが、「AIに生ファイルを直接読ませる(read_file / cat / grep)ことをシステムフック(PreToolUse)で物理的に禁止している」 という点です。
AIに対してプロンプトで「なるべく検索ツールを使ってね」とお願いするだけでは、AIは少し複雑な調査になるとすぐに怠けて巨大ファイルを丸読みしようとします。
そこで当ラボでは、テキスト系ファイルに対する直接の read_file を検問フックでブロックし、必ず中間層のPure Rust製CLIエンジン ./scripts/run_kb_search.sh(バイナリ名 kb-search)を経由しなければデータの参照自体ができない管理体制(ガバナンス)を敷いています。
では、なぜ検索エンジンをPythonやNode.jsではなく Pure Rust(外部クレートゼロ+静的 libsqlite3.a 直結) で自作し、さらにメモリ上の仮想ディスク(APFS RAMDisk)に配置しているのでしょうか。
理由は明確です。AIエージェントが1つの記事を執筆・監査する際、裏側で数十回〜百回近く検索コマンドを連続実行するからです。
もしPythonスクリプトで毎回インタプリタを起動し、重いライブラリをインポートしてファイルを1つずつ開いていたら、1回の呼び出しに0.5秒〜2秒かかり、100回呼べばそれだけで数分の待ち時間になってしまいます。
一方、単一SQLiteへの格納が個別ファイルI/Oより35%高速であるというSQLite公式検証(35% Faster Than The Filesystem) が示す通り、数千個の小ファイルをOSのファイルシステム上で個別に open() / close() するより、単一のSQLiteファイルにまとめて WAL(Write-Ahead Logging)モード で読み出す方がOSのシステムコール負荷が劇的に下がります。
さらにRAMDisk上のPure Rustバイナリから静的リンクされた libsqlite3.a を直接叩くことで、プロセス起動からSQL実行・結果整形・終了までのトータル実行時間を わずか数ミリ秒〜20ミリ秒台 に抑え込んでいます。
記事・会話・法令・PDF・金庫の5大DB実測スペック
それでは、当ラボの2階部分を構成する「5大ローカルSQLite」の具体的な中身と実測サイズ、収録件数、そして平均照会速度を一覧で見てみましょう。
まずは全体の容量バランスが直感的にわかるよう、実測ファイルサイズ(合計 2,334.2MB = 約2.33GB)の内訳をグラフで示します。
わずか2.33GB――近年のローカルLLMの量子化モデル1個分にも満たない軽さでありながら、この中に当ラボの執筆資産・開発コード・対話履歴・日本国の全現行法令・大量の専門書PDF・個人の税務金庫のすべてが構造化されて詰まっています。
それぞれのデータベースが何を格納し、どのようなサブコマンドで何ミリ秒で応答しているのか、詳細スペックを比較表にまとめました。
| DB名称(ファイル名) | 実測容量 | 収録されている一次データの内訳 | 主な kb-search コマンド |
実測照会速度 |
|---|---|---|---|---|
① 知識・リンク網DBknowledge.sqlite |
408.3 MB | 公開全 885記事(解剖セクション10,659ブロック・約867万字)、内部リンク7,971本・論理鎖410本、プログラムコード465件、管理文書14件(階層見出し19,830節)、下書き・日報937件、アフィリエイト辞書506件 | search, tree, card, impact, axiom, manual, code, affiliate |
約 1.7 〜 27 ms |
② AI会話履歴DBconversations.sqlite |
1,117.1 MB | Antigravity対話 2,854件 + Web版Gemini(Google Takeout等)887件 = 総計 3,741スレッド、記事×会話の逆引き 19,405リンク、アクティブ記憶(/brain)ターン解析 |
convos, convo, brain, prep convo |
約 5 〜 25 ms |
③ 全法令・国会DBegov_laws.sqlite+ kokkai.sqlite |
418.6 MB | デジタル庁e-Gov現行全法令(約8,992〜8,994法令・約26.3万条文、未施行改正XML誤上書き防止フィルタ済)+国立国会図書館『国会会議録API』永続キャッシュ | law, law --scan, law --audit-blog, kokkai |
単発:数 ms 26万条スキャン:約 623 ms |
④ PDF蔵書DBpdf_library.sqlite |
361.0 MB | 外付けSSD上の原本PDF(合計5.12GB)を非破壊走査した 887冊・22,829ページ(うちスキャン画像2,112頁をmacOS Vision OCR救済、図表検出10,447件、出典URL426冊復元、個人秘匿14件自動除外) | pdf, pdf --doc, pdf --stats |
約 5 〜 20 ms |
⑤ 個人隔離金庫DBprivate_vault.sqlite+ 正本MD台帳 |
約 29.2 MB | 確定申告・不動産売却/賃貸・医療介護保険等の証憑 321件(833ページ日本語OCR) + 長期実務チャット95万字、西暦・和暦の双方向自動展開、.gitignore 完全隔離 |
vault, vault --md, vault --doc, vault --chat |
検索:約 20 ms 差分同期:1.62 秒 |
それぞれのデータベースに込められた設計上の工夫を、もう一歩踏み込んで解説します。
-
① 知識・リンク網DB(
knowledge.sqlite)の「見出し解剖格納」 :記事を1ファイル丸ごと1レコードに入れるだけでなく、H2・H3見出し単位の「解剖セクション(10,659ブロック)」と管理文書の「階層見出し(19,830節)」に分解して格納しています。これにより、AIは「第7章の公理7.14だけ」「特定の記事の対策セクションだけ」を1トークンも無駄にせずピンポイントで取得できます。 -
② AI会話履歴DB(
conversations.sqlite)の「記事×会話19,405逆引きリンク」 :過去数年間にわたるWeb版Gemini(Google Takeout書き出し分887件)とAntigravity(2,854件)の計3,741スレッドを統合し、「どの記事を書くときにどの会話スレッドを参照したか」を19,405本の逆引きリンクで結んでいます。これにより、数ヶ月前の壁打ちでボツにした代替案や生データも数ミリ秒で掘り起こせます。 -
③ 全法令・国会・学術DB(
egov_laws.sqlite+kokkai.sqlite+ndl_search.sqlite)の「未施行混入防止ロック×学術DOI永続化」 :デジタル庁『e-Gov 法令API Version 2 仕様書』 および一括公開XMLデータから全現行法令(約26.3万条文)を取り込む際、数年後に施行される改正法XMLが現行条文を上書きしてしまう罠を施行日判定フィルタで排除しています。さらに 国立国会図書館『国会会議録検索システム 検索用APIの仕様』 や国立国会図書館サーチ・J-STAGE・PubMedと直結し、国会答弁や査読論文の書誌・DOIをローカルSQLiteへ永続キャッシュしてオフラインでも即座に照合できる仕組みを構築しました(詳細は『国会会議録APIとe-Gov全法令XMLをSQLite化|26万条文の0.6秒監査術』および続編『国立国会図書館サーチAPI・J-STAGE・PubMedをSQLite化|4大一次情報DBのミリ秒裏取り術』参照)。 -
④ PDF蔵書DB(
pdf_library.sqlite)の「原本1バイト無改変×Vision OCR救済」 :外付けSSDに保管された5.12GB(887冊・22,829ページ)の取扱説明書・医学書・行政白書PDFに対し、原本ファイルを1バイトも書き換えず読み取り専用で走査しています。テキスト層を持たない古いスキャンPDF(2,112ページ)は、Apple Developer Documentation『VNRecognizeTextRequest(Vision Framework)』 が提供するmacOS純正のNeural Engine OCRを呼び出して高精度にテキスト化し、さらにファイルに付着した拡張属性(com.apple.metadata:kMDItemWhereFroms)から426冊分の一次出典URLまで自動復元しています。 -
⑤ 個人隔離金庫DB(
private_vault.sqlite)の「和暦・西暦双方向展開×正本台帳」 :確定申告や不動産の取得費計算では、昭和・平成・令和の契約書と西暦の明細が混在します。そこで取り込み時に「昭和63年⇔1988年」「令和5年⇔2023年」を自動双方向展開してFTS5索引に登録し、どちらで検索しても約20ミリ秒(0.02秒)で証憑OCRと過去チャットと正本台帳の3階層を同時串刺し検索できるようにしています。
ここで、技術に詳しい方なら「SQLiteの全文検索(FTS5)って、英語のスペース区切りには強いけれど、日本語の検索では形態素解析器(MeCab等)を入れないと検索漏れが起きるのでは?」と疑問に思われるかもしれません。
その疑問に対する当ラボの解答が、SQLite公式の FTS5拡張(BM25スコアリング+Trigramトークナイザー) と、短語(1〜2文字)自動分岐ハイブリッド検索 の組み合わせです。
FTS5標準の trigram トークナイザーを使うと、外部の辞書ライブラリを一切リンクしなくても、日本語テキストを3文字ずつの部分文字列(3-gram)に分解して転置インデックスを作成してくれます。
これにより、「減価償却費」「国家サイバー統括室」「VNRecognizeTextRequest」といった3文字以上の日本語・英数字キーワードは、辞書登録漏れゼロでBM25スコア順に数ミリ秒でヒットします。
一方、Trigramトークナイザーには「3文字未満(『税』『AI』『法』などの1〜2文字の単語)はインデックスの最小単位を下回るため単体ではFTSマッチしない」という仕様上の特性があります。
そこで当ラボの kb-search(Rustエンジン)では、クエリパーサーが検索語の長さを自動判定し、3文字以上の語句はFTS5 Trigram+BM25高速索引へ、1〜2文字の短語や特殊記号を含む語句はB-Tree補助索引およびRustのマルチスレッド高速バイトスキャン(memchr / LIKE 最適化)へ自動分岐して結果をマージする 設計を採っています。
これにより、外部形態素解析ライブラリの依存トラブルや辞書更新の手間をゼロに保ったまま、1文字の略称から長文の専門用語まで取りこぼしなくミリ秒検索できる強靱性(レジリエンス)を実現しました。
さらに、実際にSQLiteをローカルRAGのエンジンとして極限まで高速化する際に効いてくるのが、接続時のPRAGMAチューニングとFTS5のBM25カラム重み付け です。
初期設定のままのSQLiteでも十分に高速ですが、当ラボではインデックス構築時と検索時に以下の設定を適用することで、ディスクI/O待ちを極限まで削ぎ落としています。
-
PRAGMA journal_mode = WAL;とPRAGMA synchronous = NORMAL;:WAL(Write-Ahead Logging)モード を有効化することで、インデックスの差分更新(書き込み)とAIエージェントからの並列検索(読み出し)が互いにロックし合うのを防ぎます。複数サブエージェントが同時に12並列でクエリを投げても、読み出し待ち時間はゼロになります。 -
PRAGMA mmap_size = 1073741824;(メモリマップトI/Oの活用)とPRAGMA temp_store = MEMORY;:最大1GBのメモリマップ空間を許可し、ソートやBM25スコア集計に伴う一時テーブルをすべてRAM上で処理させています。これにより、26.3万条文の横断スキャンや数千スレッドの会話検索でもストレージへの一時ファイル書き出しが発生しません。 -
FTS5の
bm25()関数による見出し・タイトル重み付け :単なる全文一致ではなく、FTS5の組み込み関数(例:bm25(workspace_files_fts, 0.0, 0.0, 5.0, 1.0))を使って「タイトル・見出し列の一致(重み5.0倍)> 本文列の一致(重み1.0倍)」のようにカラム別の重み付けを行い、さらに記事検索では見出し役割や公理ソースの優先度と組み合わせてスコアリングしています。これにより、単語が本文中に1回だけ登場する無関係な記事よりも、そのテーマを正面から扱っている核心記事や該当条文が常に最上位へ浮上します。 -
前後文脈を1コールで切り出すチャンクフリー抽出 :FTS5でヒットしたブロックIDをもとに、同じトランザクション内で前後の行範囲(たとえば
-C 5指定で前後5行の生テキスト)を12スレッド並列で一気に引き出します。AIが「まず検索して、次にファイルを開く」という2段階の往復(ラウンドトリップ)をする必要がないため、ツール呼び出し回数が半減します。
リンク網を辿る決定論的GraphRAGと隔離金庫の境界
さらに、当ラボのSQLite基盤が単なる「キーワード全文検索」にとどまらない最大の理由が、決定論的GraphRAG(リンク網・論理鎖による連鎖波及エンジン) を内蔵している点にあります。
世間で言われる「GraphRAG」は、LLMに大量の文章を読ませてエンティティ(固有表現)と関係性を自動推測させ、Neo4j等のグラフDBを構築するため、構築だけで莫大なAPI課金と時間がかかります。
しかし、技術ブログや設計書、法令、プログラムコードには、最初から人間とシステムが明示的に張った「決定論的なグラフ(リンク網)」が存在します。
knowledge.sqlite には、全記事間の内部リンク(7,971本)、フロントマターの正規タグ、経済定数キー(economic_data.ts)、核心公理番号(axiom:7.x)、そして記事と会話履歴を結ぶ逆引きリンク(19,405本)がすべてエッジ(辺)として格納されています。
AIエージェントが質問に答えたり記事を執筆・修正したりする際は、以下の4ステップで自律的に知識グラフを辿ります。
1階の常時注入ルールを参照し、作業前の事前カルテ(prep)や法令(law)、PDF(pdf)、会話(convo)など最適な照会ルートを即座に決定します。
Pure Rustエンジンが12並列でSQLiteを叩き、マッチした見出しブロックと前後の生テキスト、さらに接続された関連ノードを1コールで引き出します。
数値や制度前提を更新する際は、リンク網と共有定数から影響を受ける連動記事(最優先・強関連)をスコア順に自動リストアップして矛盾を防ぎます。
抽出された条文・実測値・出典URLを照合し、不確実な推計には「推論」と明記したうえで、ハルシネーションゼロの回答や原稿を出力します。
たとえば、ある記事の統計数値や制度仕様を1つ更新したとします。
その瞬間に ./scripts/run_kb_search.sh impact <記事ID> --check "<旧数値|新数値>" --hops 2 を実行すると、直接リンクしている記事(1ホップ)だけでなく、同じ公理や経済定数を共有している2ホップ先の関連記事までが関連度スコア付き(🔴最優先 [55+]・🟡強関連 [30+])でわずか数ミリ秒で一覧表示されます。
具体的なエッジ重み付けの仕組みを挙げると、直接の双方向内部リンクには高い結合スコアを付与し、そこに「同じ経済定数を参照しているか」「整合性マップ(CONSISTENCY_MAP.md)の同一論理鎖に属しているか」「共通の専門タグをいくつ持っているか」をSQL上で合算して波及スコアを算出しています。
しかも、見出し(## / ###)や記事タイトル(title:)に古い数値が直書きされている箇所があれば、⚠️[見出し直書き] と自動警告して行番号まで教えてくれます。
この「全文検索(FTS5)× 決定論的グラフ追跡(GraphRAG)」が単一のSQLiteファイル内で完結しているからこそ、何百本記事が増えてもサイト全体の論理的整合性が崩れないのです。

なるほどなぁ!でも1つ心配なんだけど、公開ブログ用の知識DBと、確定申告や不動産の契約書が入った個人金庫DBが同じパソコンにあったら、うっかりブログ記事の中に個人の秘密が混ざって公開されちゃったりしないかい?

そこが一番大切なセキュリティ境界(サンドボックス設計)です!公開用の4大DBと、個人用の隔離金庫DB(private_vault.sqlite)は、物理パスも検索コマンドも、さらに混入防止フィルターも二重三重に分離されています。
個人の確定申告や医療費、不動産の売却・賃貸収支などをAIに相談したい場合、絶対に守らなければならないのが 「公開コンテンツへの個人情報漏洩ゼロ」 です。
当ラボでは、以下の3重の防壁によって公開知識庫と個人隔離金庫を厳格に切り離しています。
-
通常検索コマンドからの完全分離(明示的
vault指定時のみ解禁) :日常の記事執筆で使うkb-search searchやprep、grep、pdfコマンドは、公開用の4大DBしか参照しません。個人金庫(_local_db/private_vault/private_vault.sqlite)は、専用の/estate-taxスキル実行時に明示的にkb-search vaultサブコマンドを叩いたときだけ開かれる独立空間になっています。 -
PDF蔵書スキャン時の個人情報自動検問フィルター :外付けSSDのPDF蔵書(887冊)を
pdf_library.sqliteにインデックス化する際、クローラーがファイル名・フォルダ名・本文先頭を自動検問し、確定申告書・源泉徴収票・保険証券・年金記録などの個人秘匿書類(実測14件)を検知すると自動でスキップ(公開用PDF DBへの収録を拒否)します。 -
.gitignore物理隔離とデプロイ前ゲートキーパー検問 :隔離金庫フォルダはGit管理から完全に除外(.gitignore登録)され、WALチェックポイント整合を取ったうえで外付けSSDへローカルミラーバックアップされるだけで、クラウドや公開リポジトリには一切乗りません。万が一、公開記事の原稿内に個人名や特定自治体名・郵便局名などが紛れ込んだ場合は、本番転送前のPure Rustゲートキーパー(gemini-gate)がミリ秒で検知してデプロイを強制停止します。
この明確な境界設計があるからこそ、平日は公開ブログの執筆や法令監査にAIをフル回転させ、週末や確定申告シーズンには同じ母艦Mac上で1円単位の税務・資産防衛シミュレーションを安心してAIと壁打ちできるのです(隔離金庫の詳しい構築法は『AIチャットが長すぎて切り替えられない解決策|確定申告・長期実務を守るSQLite×正本MDの2階建て金庫術』をご参照ください)。
最上位AIで手元データをSQLite知識庫化する実践手順
「5大SQLite×Pure Rustの威力はよくわかったけれど、自分にはそんな検索エンジンをゼロからコーディングする時間がない」と思われる方もご安心ください。
私たちが生きている2026年現在は、最上位の推論AIモデルに対して適切な「設計図」と「事前調査プロトコル」を渡せば、AI自身があなたのパソコン内のフォルダ構造を調査し、あなた専用のSQLite知識庫と高速検索CLIを自動で組み上げてくれます。
ここでは、失敗しないための物理ハードウェア(メモリとストレージ)の配置設計と、そのままコピペして使える構築プロンプトをお伝えします。
母艦メモリと外付けSSDを分ける物理ストレージ設計
ローカルSQLite知識庫を最も快適かつ安全に運用するための物理設計のポイントは、「高速な検索インデックス(SQLite+検索バイナリ)は母艦の高速メモリ/内蔵SSDに置き、容量の大きい原本ファイル(大量のPDFやアーカイブ写真)と金庫バックアップは高速な外付けSSDに分ける」 という役割分担です。

何でもかんでもパソコンの内蔵ストレージに詰め込むと、すぐに容量がいっぱいになって動作が重くなっちゃうもんなぁ。

そうなんです!たとえば当ラボのPDF蔵書887冊は、原本PDFだけで5.12GBありますが、そこから抽出した全文検索用の pdf_library.sqlite はわずか361MBしかありません。原本は外付けSSDに置いておき、検索インデックスだけを母艦側で高速に叩くのが賢い設計です。
まず母艦となるパソコン(MacまたはPC)については、OSのファイルキャッシュ(ページキャッシュ)やAPFS RAMDiskに約2.33GBのSQLite群を余裕で乗せっぱなしにできるよう、メモリ(RAM)を大容量(32GB〜64GB以上)積んでおくこと が圧倒的な体感速度につながります。
SQLiteは独立した重いDBサーバープロセスを持たない代わりに、OSの空きメモリ(ファイルシステムキャッシュ)をそのまま高速キャッシュとして利用する設計になっています。
そのため、母艦に64GBのメモリがあれば、2.33GBのSQLiteファイル群は一度アクセスされた瞬間から実質的にすべてメインメモリ上にオンメモリ展開された状態になり、SSDやハードディスクへの物理アクセスすら発生せず1.7ミリ秒という驚異的な速度を叩き出します。
これからローカルAI知識庫や開発の母艦としてMacを新調されるなら、統合メモリ64GBを搭載したMac mini(M4 Pro構成など)が最も費用対効果の高い選択肢になります。また、メモリ増設スロットを備えたデスクトップ機やミニPCを現役で活用されている場合は、64GBメモリキットへの換装が劇的な延命・高速化をもたらします。
次にストレージ(原本保管&隔離金庫バックアップ)の設計です。
数千ページの取扱説明書PDFや技術書、過去のGoogle Takeoutアーカイブ、そして絶対に失ってはならない確定申告・不動産証憑の原本ファイルは、母艦の内蔵ストレージを圧迫させず、Thunderbolt / USB 3.2 Gen2対応の高速ポータブルSSDで管理するのが定石です。
当ラボでも、5.12GB(887冊)のPDF原本ライブラリや膨大な実機検証写真の保管、および private_vault.sqlite(個人隔離金庫)の自動ミラーバックアップ先として、耐衝撃・高耐久の高速外付けSSDを併用しています。
特にThunderbolt 3(40Gbps)とUSB両対応で圧倒的なランダムアクセス性能を誇る「SanDisk Professional PRO-G40 SSD」や、MacのAPFSフォーマットで箱出し即利用できる小型軽量の「Crucial X9 Pro for Mac」は、大量のPDFをVision OCRで一括スキャンする際も待たされることがなく非常に重宝します。
コピペで動く事前調査ファーストのAI構築プロンプト
ハードウェアの準備ができたら、いよいよお使いのAIコーディングエージェント(Antigravity、Claude Code、Gemini CLI、Cursor等)に自分専用のSQLite知識庫を構築させます。
AIエージェントに自分の知識庫を作らせる際に最も大切なのは、いきなりコードを書かせるのではなく、最初に手元フォルダの棚卸しと「公開知識/個人秘匿金庫の分離設計案」を提示させて人間が合意する「事前調査ファースト」の枠組み(スキーム)を徹底することです。ここで絶対に守っていただきたい鉄則を2つ整理します。
-
必ず「最上位の推論モデル」を選択して実行すること :軽量・高速モデル(Flash系やMini系、Haiku系など)は、全体のアーキテクチャ設計や日本語FTS5 Trigramと短語検索の分岐、個人情報隔離境界の設計で手抜きや浅い実装を行いがちです。必ず手元で使える 最上位モデル(
Gemini 4 Carbon/Gemini 4 Argon、Claude Opus 5.5 / Sonnet 5.5等) を明示的に選択してください。 -
いきなりコードを書かせず「事前調査ファースト(2段階合意)」で進めること :最初から「SQLiteを作って」と命じると、AIはフォルダの中身をよく確認しないまま見切り発車でスクリプトを書き始め、秘匿すべき確定申告ファイルまで一つのDBに混ぜてしまう事故を起こします。必ず「Step 1:手元フォルダの棚卸しと公開/秘匿分離プランの提示」を行わせ、人間が合意してから「Step 2:実装」へ進ませてください。
以下のプロンプトをそのままコピーし、末尾の 【対象フォルダのパス】 と 【主な用途】 だけご自身の環境に合わせて書き換えて、最上位AIエージェントに貼り付けてください。
あなたは熟練したローカル知識基盤アーキテクトです。
私のパソコン内にあるドキュメント・履歴・PDF・個人資料を、重いベクトルDB(Embedding)を使わずに、高速・維持費0円・ハルシネーションゼロで検索できる「ローカルSQLite(WAL+FTS5 Trigram)知識庫」へと構造化したいと考えています。
設計の基準として、まず以下の実測検証記事の構成と思想(2階建て設計、FTS5 Trigram+短語補助検索、原本非破壊スキャン、公開知識庫と個人隔離金庫の分離)を参照・理解してください。
参照URL: https://lab.chihouzakki.com/blog/review/local-rag-without-vector-db-5-sqlite-knowledge-base-guide/
【重要ルール:事前調査ファースト(いきなりコードを書かないこと!)】
まずはファイルを一切変更・作成せず、以下の「Step 1(事前調査と設計案の提示)」のみを実行して私に報告し、私の承認を待ってください。
■ Step 1:手元データの棚卸しとSQLite分割設計の提案
1. 私が指定する対象フォルダ内のファイル構成(拡張子別の件数、合計サイズ、ディレクトリ階層)を非破壊で調査してください。
2. 調査結果に基づき、以下のどれに分類すべきか「公開・一般知識用DB」と「個人秘匿・隔離金庫DB(.gitignore対象)」の境界線を含むSQLite分割プランを提案してください。
- 一般知識・原稿・メモ・コード類(見出し階層やリンク関係を保って格納)
- AIチャット履歴(Google Takeoutやローカル対話ログ)
- PDF資料・取扱説明書(原本は1バイトも書き換えず、テキスト抽出+スキャン画像はOS標準OCR等で救済)
- 個人秘匿データ(確定申告・契約書・医療・資産記録など、通常検索から隔離すべきもの)
3. 検索CLIツールの実装言語(環境にRustがあればRust、なければPython標準のsqlite3モジュール等の外部依存ゼロ構成)と、以下の検索仕様を満たすテーブル設計案を提示してください。
- SQLiteは `PRAGMA journal_mode = WAL;`、`PRAGMA synchronous = NORMAL;` で高速化すること
- 日本語全文検索は外部形態素解析器に依存せず `USING fts5(..., tokenize='trigram')` を基本とし、1〜2文字の短語検索時は自動でLIKE/補助索引へ分岐して検索漏れを防ぐこと
- 確定申告等の日付・年度データがある場合は、西暦と和暦(昭和・平成・令和)を双方向で引けるようにすること
- AIエージェント自身が将来巨大ファイルを丸読み(cat / read_file)せず、この検索CLIを1コールで叩いて該当箇所と前後文脈だけを取得できるコマンド体系にすること
私がStep 1の設計案を確認して「OK」と答えたら、Step 2としてインデックス構築スクリプトと高速検索CLIの実装・テスト・常時参照ルール(CLAUDE.mdやGEMINI.md等への検索コマンド記載)まで段階的に完遂してください。
---
【対象フォルダのパス】:
- (例:~/Documents/MyNotes、/Volumes/ExternalSSD/PDF_Manuals など)
【主な用途・やりたいこと】:
- (例:過去の原稿と取扱説明書PDFをAIに一瞬で検索させたい。確定申告フォルダは別金庫として隔離したい)
このプロンプトを最上位モデルに投げると、AIはまずあなたのフォルダを丁寧に棚卸しし、「このフォルダには契約書PDFが混ざっているので隔離金庫DBに分けましょう」「こちらのMarkdown群は見出し単位で分割してFTS5テーブルに入れましょう」という具体的な設計図を出してくれます。
ここでよくいただく3つの実務上の疑問についても、先回りして解決策をまとめておきます。
-
疑問①:ファイルを書き換えたり新しいPDFを追加したとき、どうやってSQLiteを最新状態に保つの? :全件を毎回作り直す必要はありません。テーブルに各ファイルのパスと一緒に「最終更新日時(
mtime)」または「SHA-256ハッシュ値」を記録しておけば、差分同期コマンドを走らせた際に「変更があったファイルだけ」を検知して0.1秒〜1秒程度で高速に差分更新(UPSERT)できます。当ラボでも記事編集後のfinishコマンドや金庫の--sync(実測1.62秒)で自動差分同期しています。 -
疑問②:表記揺れ(例:「パソコン」と「PC」、「引っ越し」と「引越」)はどうやって吸収するの? :2つの仕組みで完璧に吸収できます。1つ目は、検索を叩くのが人間ではなく最上位AIであるため、AIに検索CLIを使わせる際に
"パソコン|PC|Mac"のように複数キーワードのOR検索(パイプ区切り)を1コールで投げるよう常時ルールに1行書いておくことです。2つ目は、頻繁に使う重要概念や和暦・西暦などを取り込み時に正規化カラム(同義語展開カラム)へ自動追記しておく方法です。これでベクトル検索のような誤爆を起こさずに表記揺れだけを正確に拾えます。 -
疑問③:MacではなくWindowsやLinux環境でも同じように構築できる? :はい、100%可能です。SQLiteとRust(またはPython標準の
sqlite3)はOSを問わず全く同じ単一ファイル形式で動作します。PDFのOCR部分だけ、macOSなら純正のVisionフレームワーク、WindowsやLinuxならオープンソースのTesseract OCRやSurya OCR、PaddleOCR等に置き換えるよう上記プロンプトのStep 1でAIに指示すれば、環境に最適化されたパイプラインを組んでくれます。
まとめ:曖昧なベクトル検索を卒業し一生モノの知識庫へ
本稿では、「個人用のローカルRAGに重いベクトルDBは本当に必要なのか?」という問いに対し、当ラボで実働している5大SQLite(合計約2.33GB)とPure Rust検索エンジンの実測データを基に検証しました。
最後に、この記事の要点を振り返ります。
-
実務データの99%はベクトルDB不要 :コード、型番、法律の条文、取扱説明書、確定申告の金額など「正確な一次事実」を求める領域では、チャンク切断と意味ベクトル化による類似検索はハルシネーションの温床になります。
-
事前構造化+SQLite FTS5(BM25+Trigram)が圧勝 :最新のエージェント検索研究(arXiv:2610.41172)でも実証された通り、文書構造とリンク網を保ったままBM25全文検索を叩く方が、推論精度(91%)でもトークン削減率(最大91%減)でも密ベクトルDBを上回ります。
-
2.33GBの5大知識庫がAPI課金0円・数ミリ秒で応答 :記事・コード群(408.3MB)、AI会話3,741件(1,117.1MB)、現行全法令26.3万条文(418.6MB)、PDF蔵書887冊(361.0MB)、個人隔離金庫(29.2MB)を単一ファイルDBとして保持し、常駐サーバーなしで数ミリ秒〜20ミリ秒台で横断照会できます。
-
決定論的GraphRAGと3重のセキュリティ境界 :記事間リンクや共有定数から2ホップ先の波及影響をミリ秒追跡する一方、個人の税務・資産金庫は物理パスもコマンドも完全隔離することで、情報漏洩リスクゼロでAIを生活防衛の相棒にできます。
流行りのベクトルDBや複雑なフレームワークには毎年のように新しい名前が登場しては消えていきますが、米国議会図書館が長期デジタル保存推奨フォーマットに指定している SQLite とプレーンな Markdown / 原本PDF の組み合わせは、10年後・20年後にAIモデルがどれほど進化してもそのまま引き継げる「一生モノの資産」になります。
ぜひ今週末、あなたのパソコンの中に眠っている大切な過去ログやPDF、実務資料を、最上位AIと一緒に「自分専用のSQLite知識庫」へと進化させてみてください。一度このミリ秒応答の快感を体験すると、もう二度と重いベクトルDBや手探りのファイル検索には戻れなくなるはずです。

重たいサーバーを回さなくても、スッキリ整理されたSQLiteの引き出しがあれば一瞬で見つかるニャ。浮いたメモリと電気代で、ゆっくりお昼寝するニャ〜。
