PDFのダウンロード元URL確認と出典特定の自動化|SQLite管理と医療旧版検知でAI誤引用を防ぐ実証録
作成日:
更新日:

PDFのダウンロード元URL確認と出典特定の自動化|SQLite管理と医療旧版検知でAI誤引用を防ぐ実証録

IT・Mac・AI実践

論旨

長年 Mac の外付け SSD やハードディスクに保存してきた家電の取扱説明書・医学論文・官公庁の統計 PDF は、いざ AI エージェントの知識基盤(RAG・全文検索データベース)として活用しようとした瞬間、「001294820.pdf や siryou1_2.pdf といった記号的なファイル名ばかりで、どこからダウンロードした何の資料か分からない」 という最大の障壁(ボトルネック)に直面します。

さらに深刻なのが、数年前に保存した医学診療ガイドラインや食事摂取基準、旧法制度の PDF を無印のまま AI に検索させると、「すでに改訂された古い診断基準や旧基準値を、現行の最新ルールだと誤認して断定引用するハルシネーション(もっともらしい嘘)」 が発生することです。

結論からお伝えすると、当ラボのローカル PDF 蔵書(計 1,039 冊・26,019 ページ)に対し、① macOS 拡張属性(kMDItemWhereFroms)からの取得元回収(119 冊)、② PDF 内部リンク・DOI(10.xxxx/...)抽出(300 冊)、③ SHA-256 ハッシュ完全一致照合(72 冊)、④ 正式タイトル自動復元と公的 API 実体検証を組み合わせることで、API 課金 0 円のまま計 650 冊の公式一次出典 URL を特定し、さらに改訂済みの古い医療・法制度資料 56 冊へ「旧版(改訂注意)バッジ」を自動注入するフェイルセーフ設計によって AI の誤引用を根絶できました。

合わせて読みたい深まる関連情報
この記事の対象となる方
  • Mac や外付け SSD に長年溜め込んだ 取扱説明書・医学ガイドライン・省庁白書などの大量 PDF(数百〜数千冊)を、出典 URL 付きの信頼できる AI データベースに育てたい 方

  • 001768124.pdf や manual_jp.pdf のように ファイル名から中身もダウンロード元も判別できない PDF 群へ、正式名称と公式 URL を一括で復元したい 方

  • 過去の医学資料や法律・制度ドキュメントを消さずにアーカイブしつつ、AI が「古い版の基準値」を現行の最新基準と取り違えて引用する事故を仕組みで防ぎたい 方


記号名で出所不明なPDF群が招くAI誤引用の罠

前編の記事である 大量の取扱説明書・医学PDF整理とAI検索|NotebookLM制限超えのVision OCR×SQLite術 では、外付け SSD に保管していた大量の PDF を macOS 純正の PDFKit と Vision フレームワーク(日本語高精度 OCR)で全文テキスト化し、単一の SQLite(_local_db/pdf_library.sqlite)へ格納する基盤を構築しました。

その後、Mac「ブック」のPDF保存場所と一括取り出し手順|iCloud同期で空になる原因と800冊救出録 で救出した PDF や、当ラボの公開記事(現在 885記事)で引用した官公庁・学術論文の一次資料 PDF を自動回収(--harvest-blog)して統合した結果、ローカル蔵書は 総収録 1,039 冊・総ページ数 26,019 ページ(検出図表 11,477 件・代表ファイル合計 5.52 GB) まで拡大しました。

しかし、この 1,039 冊を日々の執筆や事実監査(ファクトチェック)で本格運用し始めると、「全文がミリ秒で検索できる」だけでは解決しない 2つの重大な壁 が浮かび上がってきたのです。

質問するおじさん

全文検索で該当ページがヒットするのは便利だけど、いざ記事やレポートに引用しようとすると「この 001294820.pdf って、どこの省庁のどのページから落とした資料だっけ?」と出典 URL が分からなくて立ち往生するんだよね……。

解説ナビゲーター

そこがまさに実務での最大の障壁(ボトルネック)なんです!しかも出所が分からないだけでなく、PDF の内部メタデータ(/Title)が文字化けしていたり、数年前の中古ガイドラインが混ざっていたりすると、AI が間違った出典名や古い基準値をそのまま書き出してしまう危険があります。

なぜファイル名から出典が消えるのか

手元の SSD やハードディスクにある PDF フォルダを開くと、人間が見ても AI が見ても意味不明なファイル名が並んでいることが珍しくありません。当ラボの 1,039 冊を精査したところ、ファイル名や初期メタデータが壊れている原因は大きく 4 つのパターンに分類できました。

📂 ローカルPDFのファイル名とタイトルが崩壊する4大原因
  1. 官公庁・自治体・メーカー特有の「連番・記号ファイル名」 :厚生労働省の審議会資料(001768124.pdf や siryou2_1.pdf)、日本年金機構の案内(4.pdf)、家電メーカーの型番のみ(to-402_manual.pdf)など、配布サーバー側の都合で付けられた記号名がそのまま残っているケースです。

  2. DTPソフト書き出し時の「印刷管理名・文字化けメタデータ」 :PDF 内部の /Title プロパティに 表紙_最終稿_アウトライン済.indd や Microsoft Word - 無題1.doc、さらには Shift_JIS と UTF-8 の変換ミスによる半角カナや 16 進数コードが埋め込まれているケースが多数存在します。

  3. 袋文字・シャドウ装飾や見開きスキャンによる「先頭行の崩壊」 :表紙タイトルを立体的に見せるため同じ文字を何重にも重ねた PDF(テキスト抽出すると Ⅰ章 Ⅰ章 Ⅰ章 最新の 最新の… と反復される)や、見開きスキャンで裏表紙の「お問い合わせ窓口・保証書」が 1 ページ目の先頭行として認識されてしまうケースです。

  4. 紙スキャン(自炊)やブラウザ印刷による「起源情報の欠落」 :製品の箱に入っていた紙の取扱説明書をスキャナで取り込んだものや、Web ページを Command + P で PDF 保存したファイルには、そもそも公式 PDF としての配布 URL が存在しません。

出所不明なPDFをAIに読ませる3大危険

このような「タイトル不詳・出典 URL 不明・刊行年混在」の PDF 群をそのまま AI エージェントに検索させると、単なる不便さにとどまらず、情報の信頼性を根底から壊す 3つの重大事故 を引き起こします。

素のPDF全文検索DBと出典証明・鮮度管理付きSQLiteの決定的な違い
誤引用リスク大
未整理のPDF全文検索DB(危険)
  • 類似URLの捏造(ハルシネーション) :出典 URL が空欄のまま AI に引用リンクを求めると、AI がファイル名や断片語から推測して「存在しない URL」や「別型番・別年度の資料 URL」を勝手に合成してしまいます。
  • 古い医療・法制度基準の現行断定 :2019 年版の古い診療ガイドラインや改正前の制度資料がヒットした際、AI が「現在の最新基準である」と誤認して記事に書き出します。
  • 個人書類の誤混入リスク :確定申告の控えや個人名入りの診断書・住宅図面が同じフォルダに紛れていると、検索結果経由で個人情報が露出する恐れがあります。
無謬性ロック
出典特定&旧版ガード付きSQLite(当ラボ)
  • SHA-256と実本文照合による650冊の公式URL確定 :OS 拡張属性・DOI・公的 API・実体フェッチ照合を通過した「真の一次出典 URL」のみを DB に固定し、1クリックで正確な引用リンクを出力します。
  • ローカル限定(37冊)の明確な区分 :最初から Web 上に URL が存在しない紙チラシ等は local_only として刻印し、AI に無理な URL 探索や捏造を一切させません。
  • 旧版56冊への自動警告バッジと秘匿書類検疫 :2024 年以前の医療・栄養・法制度基準には検索出力時に自動で [⚠️旧版注意] を注入し、個人書類は SHA-256 のみ記録して索引から完全隔離します。

この問題を根本から解決するため、当ラボでは Pure Rust 製ナレッジ検索 CLI(執筆時点 kb-search Rev. 2.55.0)に pdf_enrich.rs(出典 URL 自動探索・実体照合・トリアージ・旧版タグ付けエンジン) と pdf_title_engine.rs(日本語正式タイトル復元エンジン) を実装しました。


公式出典URLを650冊特定した多段階パイプライン

1,039 冊もの PDF に対して手作業で 1 冊ずつ Google 検索をかけて URL を探していては、何十時間あっても終わりませんし、途中で似たタイトルの別資料を貼ってしまうヒューマンエラーも避けられません。

そこで当ラボでは、外部の有料検索 API を 1 円も使わず、ローカルのファイルシステムに残された「デジタル指紋」から公的学術 API、そして最終的な PDF 実体バイナリ照合へと段階的に絞り込む「4段階の決定論的パイプライン」を構築しました。

まずは、./scripts/run_kb_search.sh pdf --stats で出力される最新の確定統計データをご覧ください。

統計指標・出典特定ルート 確定冊数 / 数値 全体比率・技術的裏付け(エビデンス)
総収録冊数(代表ファイル) 1,039 冊 合計 5.52 GB(スキャン検出総ファイル 1,086 件・SHA-256 重複統合 33 ファイル / 31 冊)
総ページ数 / 図表カタログ数 26,019 頁 うち macOS 純正 Vision 日本語 OCR 実行 2,427 頁 / 検出図表・画像 11,477 件
出典URL 登録済 合計 650 / 1,039 冊 全体の 62.6% に公式一次出典 URL を確定紐付け(残り 389 冊のうち 37 冊は local_only)
└─ ① xattr 拡張属性自動回収 119 冊 macOS の com.apple.metadata:kMDItemWhereFroms(バイナリ plist)から取得元 URL を直接復元
└─ ② pdf_link 本文・DOI抽出 300 冊 PDF 内部の /URI アノテーション・本文 DOI(ISO 26324)・当ラボ過去記事の引用実績から照合
└─ ③ auto_sha256 バイナリ一致 72 冊 公式候補 URL から実体 PDF をフェッチし、ローカル原本と SHA-256 ハッシュが 1 ビット完全一致
└─ ④ auto_verified 実本文整合 16 冊 公式信頼ドメインの実体 PDF を PDFKit で解析し、本文テキストと総ページ数の完全整合を自動検証
└─ ⑤ manual 候補昇格・手動確定 143 冊 正式タイトル復元(--auto-title)+公的 API 候補(candidate_url)からの目視承認・確定登録
旧版(改訂注意)バッジ付与 56 冊 2024 年以前刊行の医学診療ガイドライン・食事摂取基準・法制度資料へ自動警告タグを注入
API課金0円で650冊の公式出典URLを特定した多段階パイプライン
STAGE 1
OS拡張属性と内部DOI

macOS の kMDItemWhereFroms(119 冊)と PDF 内部 /URI・本文 DOI・過去記事引用(300 冊)から、外部通信ゼロで最初の 419 冊を即時特定します。

STAGE 2
正式題名復元と公的API

文字化けや OCR ゴミを除去して正式タイトルを合成し、PMDA・J-STAGE・NDLサーチ・メーカー公式直 URL をプローブします。

STAGE 3
SHA-256・実本文検証

候補 URL の PDF 実体をフェッチし、SHA-256 完全一致(72 冊)または PDFKit 本文・頁数一致(16 冊)+候補承認(143 冊)で誤紐付けゼロのまま本登録します。

それぞれのステージでどのような技術的工夫を凝らしたのか、具体的な実装ロジックを見ていきましょう。

拡張属性からダウンロード元URLを回収

最も確実で誤爆が 1 件も起きない宝の山が、macOS のファイルシステム(APFS)に備わっている拡張属性(Extended Attributes)です。

Safari や Chrome などのブラウザで PDF をダウンロードすると、macOS の Spotlight メタデータ機構は Apple Developer Documentation『kMDItemWhereFroms』 に定義されている通り、ファイル本体とは別の拡張属性領域(com.apple.metadata:kMDItemWhereFroms)へ 「要素 0:ファイルの直接ダウンロード URL」「要素 1:遷移元の Web ページ(リファラ)URL」 をバイナリ形式のプロパティリスト(bplist00)として自動的に記録します。

たとえダウンロード後にファイル名が 001294820.pdf のまま放置されていたり、別フォルダや外付け SSD へコピーされたりしていても、APFS ボリューム間で拡張属性が保持されていれば、このバイナリ plist を解析するだけで「何年前にどの URL から落としたファイルか」が 100% 判明します。

もし手元の Mac で 「まず目の前の PDF 1 冊だけ、今すぐダウンロード元 URL を確認したい」 という場合は、特別なツールを入れなくても macOS 標準の「ターミナル」で以下のコマンドを実行するだけで数秒で調べられます(Finder の「情報を見る」→「詳細情報:取得元」欄でも確認できますが、Spotlight 対象外の外付けドライブ等では表示されないことがあります)。

# ① Spotlight インデックス対象フォルダにある PDF を確認する場合
mdls -name kMDItemWhereFroms sample.pdf

# ② Spotlight 対象外の外付け SSD 等で拡張属性(バイナリ plist)を直接 XML 変換して読む場合
xattr -px com.apple.metadata:kMDItemWhereFroms sample.pdf | xxd -r -p | plutil -convert xml1 -o - -

2 つ目のコマンドのように xattr -px(16 進出力指定)から xxd -r -p でバイナリへ復元し、plutil -convert xml1 -o - -(または plutil -p -)へパイプすれば、Spotlight 索引の対象外になっている外付けドライブ上の PDF でも文字化けせず確実に取得元 URL を読み出せます。

1〜2 冊を手動で確認するだけならこの標準コマンドで数秒で解決しますが、1,000 冊超を一括走査しつつローカル検索エンジンのリダイレクト枠や一時キャッシュ URL まで選別するには自動回収パイプラインが必要です。当ラボのスキャナ(PdfLibraryScanner.swift および pdf_enrich.rs)では、このバイナリ plist を直接デコードしてノイズ URL を除外した上で、119 冊 の公式ダウンロード元 URL を一発で自動回収しました。

本文のDOIと内部リンクから300冊を抽出

では、なぜ便利な kMDItemWhereFroms だけでは 1,039 冊中 119 冊にとどまるのでしょうか。実は macOS の拡張属性は APFS / HFS+ ファイルシステム固有の付帯情報であるため、保存や移動の経路によっては途中で剥がれ落ちてしまうという明確な境界条件があります。

⚠️ 拡張属性(kMDItemWhereFroms)が消える3つの境界条件
  • Windows 環境や FAT32 / exFAT ドライブを経由した移動 :macOS 拡張属性を持たないファイルシステム(USB メモリ・SD カード等)や Windows PC を経由した時点でメタデータが消失するケース(または ._ 隠しファイルの取りこぼし)です。

  • メール添付・一部クラウドストレージ・ZIP 解凍ツール経由の保存 :メールやチャットでの送受信、iCloud 等のクラウド同期仕様、あるいはサードパーティ製の圧縮・解凍ソフトを通した展開時にブラウザ取得元属性が引き継がれないケースです。

  • コマンドライン(curl 等)での直取得や別アプリからの書き出し :Safari や Chrome などのブラウザ標準ダウンロード機構を通らずに保存された PDF には、最初から kMDItemWhereFroms が記録されません。

このように拡張属性が失われた PDF が全体の約 9 割を占めるからこそ、OS 側の付帯情報だけに頼らず 「第 2 段階:ファイル内部に刻まれた DOI・/URI 抽出(300 冊)」 と 「第 3 段階:ファイルシステムやファイル名に一切依存しない SHA-256 実体バイナリ照合(72 冊)」 を重ねる多段構成が決定的な威力を発揮します。まずは PDF ファイルの内部構造と本文テキストから「自己申告されている識別子」を掘り起こします。

1 つ目は、学術論文や医学ガイドラインに付与されている国際標準の永続的識別子 DOI(Digital Object Identifier:ISO 26324) です。本文の 1〜2 ページ目やフッターに記載された 10.xxxx/... 形式の DOI コードを正規表現で抽出し、末尾に付着しがちなピリオドや閉じ括弧などの OCR ノイズを洗浄すれば、https://doi.org/10.xxxx/... として永久にリンク切れしない公式出典 URL が確定します。

2 つ目は、PDF 内部のオブジェクト辞書に埋め込まれたリンクアノテーション(/Subtype /Link の /URI エントリ)と、当ラボの既存公開記事(885記事)の references・インライン外部リンクとのクロス照合です。

ただし、PDF 内部のリンクを無条件に拾うと、メーカー共通の「お問い合わせ窓口」「プライバシーポリシー」「SNS 公式アカウント」「すでに閉鎖された旧個人サイト」や、PDF 変換ツールの透かしリンクまで出典として誤登録してしまいます。そこで pdf_enrich.rs では、これらノイズ URL のブラックリスト除外と個人トラッキング URL(Garmin Connect や会員マイページ /app/profile/ 等)の遮断フィルタを通した上で、真にその文書自体を指し示す 300 冊 の出典 URL を確定させました。

SHA-256ハッシュ照合で72冊の原本を確定

ここまでのローカル抽出で 419 冊(119 冊+300 冊)が埋まりましたが、残る 600 冊以上は拡張属性も内部リンクも持たない「完全な出所不明 PDF」です。ここで威力を発揮するのが、SHA-256 暗号学的ハッシュ値(256 ビットのファイル指紋) を使った 2 段階のバイナリ照合です。

まずローカル内部では、異なるフォルダ(たとえば /Volumes/BACKUP2/取説/家電/ と /Volumes/BACKUP2/一次資料/)に別名で保存されていた同一内容の PDF 33 ファイル(31 冊分) を SHA-256 の先頭 16 桁(doc_id)で自動集約し、片方に URL が登録されていればもう片方へ即座に継承させました。

さらに強力なのが、「Web 上の公式サーバーにある PDF を実際にダウンロードして、手元の出所不明 PDF と SHA-256 ハッシュを突き合わせる」 という検証手法です。

後述する公的 API やメーカー公式サポートサイトのプローブで見つかった候補 PDF(.pdf 直リンク)を /usr/bin/curl で一時フェッチし、ローカルの原本と SHA-256 を比較します。ハッシュ値が一致したということは、ファイル名がどれほど違っていても 「先頭から末尾まで 1 ビットも違わない完全同一の公式原本である」 という数学的証明にほかなりません。この auto_sha256 照合だけで 72 冊 の出典 URL が一点の曇りもなく確定しました。

壊れた題名の自動修復と公式API多段照合

では、Web 上で PDF が再保存されてタイムスタンプが変わり SHA-256 が微妙に異なる場合や、そもそもファイル名が 00162938.pdf で何の検索キーワードも分からない場合はどうすればよいのでしょうか。

その鍵を握るのが、4,100 行超の専用モジュール pdf_title_engine.rs(kb-search pdf --auto-title)による正式日本語タイトルの自動復元 です。

🪄 pdf_title_engine.rs が壊れたPDF題名を正式名称へ復元する5つの処理
  1. 不可視文字・私用領域(PUA)とCJK組版スペースの正規化 :PDF 特有のゼロ幅スペースや FontAwesome 等のアイコン文字(\u{E000}〜\u{F8FF})、そして 取 扱 説 明 書 のように漢字 1 文字ずつ空いた組版スペースを自然な日本語へ結合します。

  2. 袋文字・シャドウ太字の連続反復除去(dedup_shadow_repetitions) :Ⅰ章 Ⅰ章 Ⅰ章 最新の 最新の… のように装飾フォントの重ね描きで二重・三重に抽出されたトークンを、1〜4 トークン窓のスライディング照合で綺麗に 1 回へ畳み込みます。

  3. 裏表紙・目次リーダー行・定型ヘッダーの自動スキップ :見開きスキャンで先頭に来てしまった「保証書付」「お問い合わせ先」「目次 …… 12」といった非タイトル行や、J-STAGE の早期公開ヘッダー・Web パンくずリストをスキップし、真の表題行(最大 4 行連結)を掘り当てます。

  4. OCR頻出誤字補正と旧字体正規化(fix_common_ocr_kanji_typos) :Vision OCR が古いフォントで誤読しやすい 取扱説明晝(書→晝)や 診療ガイドうイン 等の頻出誤字を辞書補正し、壊れた既存タイトルを自動検知して再合成トリガーをかけます。

  5. 抽出型番・医療機器承認番号・雑誌名の自動補完 :本文から抽出した製品型番(シンワ測定品番や家電型番)や医療機器承認番号(301AFBZX...)、学会誌名(生活衛生(Seikatsu Eisei 2011) 等)を表題と組み合わせて一意な正式名称に仕上げます。

この --auto-title エンジンにより、手で修正した 70 冊の manual タイトルを 100% 保護したまま、新たに 70 冊 の壊れた仮タイトルを正確な正式名称へ一括復元できました。

正式なタイトルと型番・承認番号さえ復元できれば、あとは pdf --discover-url の多段プローブ が自動で公式出典を探しに行きます。

こうして取得した候補 URL の実体 PDF を macOS PDFKit でその場で開いて 「1 ページ目の本文テキスト一致率」と「総ページ数」 を照合し、信頼できる公式ドメイン(.go.jp / .ac.jp / .or.jp / jstage.jst.go.jp / メーカー公式等)で完全整合が確認された 16 冊(auto_verified) を自動確定、さらに確信度の高い候補として candidate_url に保存されたものを BlogLedger(記事管理台帳アプリ Tab9)で目視確認・承認した 143 冊(manual) を合わせて、計 650 冊 の公式出典 URL 網が完成しました。


ローカル限定37冊の切り分けと秘匿書類の検疫

650 冊の公式 URL を特定した過程で、私たちが最も重視したのは「登録冊数の数字を無理やり 1,000 冊に近づけること」ではなく、「絶対に間違った URL を 1 件も混ぜないこと(1 ビットの無謬性)」 と 「個人のプライバシー書類を検索インデックスに一切残さないこと」 でした。

質問するおじさん

たしかに、残り 389 冊の中には「市役所でもらった紙のごみ分別カレンダーをスキャンした PDF」や「病院でもらった自分の検査結果」も混ざっているかもしれないね。それまで Web で自動検索されたら大変なことになるよ!

解説ナビゲーター

おっしゃる通りです。だからこそ「すべてに URL を付ける」のではなく、最初に kb-search pdf --triage(精密トリアージ&検疫コマンド) を走らせて、① Web 上に存在しないローカル限定資料と、② そもそも AI の知識 DB に入れてはいけない個人秘匿書類を物理的に切り分けたんです。

公開URLがない紙チラシ等に嘘をつかせない

ローカルに保存された PDF の中には、どうやってもインターネット上に公式 URL が存在しないものが確実に含まれています。

具体的には、自治体が各家庭に配布した紙のごみ出しチラシ、かかりつけ病院の院内だより、雑誌の切り抜きスキャン、そして数年前にブラウザから印刷保存したローカル控えなどです。これらに対して URL 探索スクリプトや AI エージェントを何度も走らせると、偶然似た単語を含む別自治体のチラシや無関係な Web ページを「出典 URL」として誤登録してしまう事故が起きます。

そこで --triage エンジンでは、これらの特徴を持つ 37 冊 を自動判定してデータベースの url_search_status カラムに 'local_only'(ローカル専用資料) を刻印し、以降の URL 自動探索ループから永久に除外しました。さらに kb-search pdf の検索結果や一覧にも 📄local_only(Web公開URLなし・ローカル原本参照) と明示することで、AI エージェントが「出典 URL がないから Web から適当な類似リンクを探して貼ろう」と暴走する余地を完全に封じています。

個人診断書や建築図面を索引から外す検疫設計

さらに徹底したのが、公開ブログの執筆・検証用データベース(pdf_library.sqlite)に個人のプライバシー書類を混入させない 「案A(秘匿書類の二重検疫ガード)」 です。

初期スキャン(PdfLibraryScanner.swift)の段階でも、ファイル名や先頭テキストから確定申告書・口座情報・マイナンバー・年金証書・通信契約アカウント等の 14 件 を自動スキップしていましたが、1,000 冊超の本文 OCR を精査すると、一見普通のファイル名なのに中身に個人情報が記載された資料が見つかりました。

🛡️ --triage が検索インデックスから完全隔離した秘匿書類(追加12冊・計26件)
  • 記入済みの個人診断書・医療費明細・検査結果控え :患者氏名・生年月日・受診医療機関名が印字された個人の医療書類。

  • 個別の住宅建築図面・不動産売却概算シート :地番・建物面積・所有者名や見積金額が記載された図面および査定書。

  • 行政の電子申請照会控え・年金請求の個別受付票 :照会番号や申請者個人の住所・連絡先が含まれる控え PDF。

  • 居住地ピンポイントの地震ハザードカルテ :特定番地の緯度・経度や住所ピンポイントで出力された診断カルテ(公開記事で引用すると生活圏の特定につながるため除外)。

これら計 26 件(初期スキップ 14 件+精密検疫 12 冊) については、外付け SSD 上の原本 PDF ファイルには一切触れず安全に保全したまま、pdf_library.sqlite 内の検疫テーブル(pdf_quarantined_private)へ 「ファイルの SHA-256 ハッシュ値」と「除外理由コード(medical_personal_record 等)」の 2 つだけ を記録し、pdf_documents・pdf_pages・pdf_visuals・全文検索 FTS5 インデックスからトランザクション処理で完全削除しました。

重要なのは、「なぜ除外したかという検疫テーブルの中にすら、個人名・生年月日・番地といった文字列を 1 文字(1 バイト)も残さない」 という設計です。SHA-256 ハッシュ値さえ記録しておけば、次回以降のスキャンで同じファイル(あるいは別名コピー)が検出されても 0 ミリ秒で自動スキップされ、データベースのバイナリを直接覗いても個人情報は一切存在しない状態が保たれます(※なお、確定申告や不動産管理で自分専用の AI 相談に使う証憑類は、公開記事用 DB とは物理的に完全分離した暗号化領域 _local_db/private_vault/estate_tax.sqlite[案B:完全隔離金庫]で別管理しています)。

ちなみに、現実の通院で受け取る紙の診断書・お薬手帳・医療費領収書・診察券などは、スキャン前の段階からリビングの書類山に紛れ込ませず、専用の通院ホルダーにひとまとめにしておくとデジタル検疫との仕分けが劇的に楽になります。

コクヨ 病院通院ケース(お薬手帳・診察券・医療費領収書ホルダー)

類似PDFや回収案内への誤紐付けを防ぐ防壁

もう一つ、自動 URL 特定(--discover-url)を実装する中で実際に遭遇し、即座にコードで塞いだ「3つの危険な誤紐付けエッジケース」も共有しておきます。

🚧 類似PDFの誤登録を機械的に遮断する3つのエッジケース防壁
  1. 「添付文書」と「自主回収・販売再開のお知らせPDF」の誤一致遮断 :医療機器の型番や販売名で検索した際、メーカー公式サイトに出ている「自主回収のお詫び(PDF)」や「販売再開のご案内」が製品名一致でヒットするケースがありました。そこで pdf_enrich.rs では、原本が取扱説明書・添付文書である場合に候補側のタイトルや本文に「自主回収」「販売再開」「お詫び」「回収終了」が含まれていたら自動確定(auto_verified)を即座に遮断するガードを入れました。

  2. 「二次書誌目録カード(HTML)」と「別論文ID」の混入排除 :CiNii や NDL サーチ、PMDA 検索では、PDF 直リンクではなく「書誌紹介ページ」や「日本語セッションエラー HTML(HTTP 200)」が返ることがあります。また J-STAGE でも同じ巻号の別論文(KJ0000... 固有論文 ID 違い)が候補に上がることがあるため、先頭バイトの %PDF- 検証・固有論文 ID 一致検証・総ページ数照合を必須としました。

  3. アンチボット・CAPTCHAへの絶対不干渉とオフライン汚染防止 :外部サイトへの照合中、HTTP 403 / 429(レート制限)や CAPTCHA(人間確認画面)が返された場合は、回避試行を一切行わず即座にその検索プロバイダをスキップします。またネットワーク遮断環境で実行した際に、すべての文書へ誤って not_found と書き込んで DB を汚染しないよう、通信失敗時はステータスを更新せず保護するフェイルセーフを徹底しています。


古い医療ガイドライン等56冊への旧版警告バッジ

さて、ここからが本記事で最もお伝えしたい 「AI 時代のローカル知識データベースにおける時間軸(鮮度)の安全設計」 です。

650 冊の公式出典 URL が確定し、タイトルも綺麗に整った PDF 蔵書を眺めていたとき、私たちは背筋が凍るような事実に気づきました。医学書・糖尿病・脂肪肝・ダイエット・障害福祉カテゴリの PDF の中に、『糖尿病診療ガイドライン 2019』『日本人の食事摂取基準(2020年版)』『肥満症診療ガイドライン 2022』など、すでに 厚生労働省『日本人の食事摂取基準(2025年版)』 等の後継改訂版が発行されている「旧版の公的ガイドライン」が数十冊眠っていた のです。

質問するおじさん

あっ……!たしかに 5〜6 年前に勉強用でダウンロードしたガイドラインの PDF って、新しい版が出たあともフォルダにそのまま残っているよ。これ、古いからって全部ゴミ箱に捨てちゃえばいいの?

解説ナビゲーター

いえ、捨ててしまうのも実は大きな損失なんです!過去記事の検証や「2019 年版から 2024 年版で診断基準や目標値がどう変わったか」を比較するときには、当時の一次資料 PDF が絶対に必要になります。問題なのは「持っていること」ではなく、「旧版であるという警告なしに検索ヒットしてしまうこと」 なんです。

削除も放置もできない旧版医学PDFのジレンマ

医療や栄養、法制度・公的統計の一次資料には、家電の取扱説明書とはまったく異なる性質があります。

2018 年に発売された電子レンジやカメラの取扱説明書は、2026 年になってもその製品を使い続ける限り「唯一無二の正しい現行マニュアル」です。しかし、医学の診療ガイドラインや厚生労働省の食事摂取基準、介護・障害福祉の報酬改定資料は、数年ごとに最新の臨床試験(裏付け・エビデンス)や法改正に基づいて基準値・推奨グレードが書き換わります。

もし、旧版の PDF を無印のまま SQLite の全文検索インデックスに置いておくと、AI エージェントが「糖尿病の目標値」や「脂質・食物繊維の摂取基準」を検索した際、たまたまキーワード密度の高かった 2019 年版や 2020 年版のページを引き当て、「公式ガイドライン(出典URL付き)によれば基準値は〇〇である」と自信満々に古い数値を出力 してしまいます。出典 URL が本物であるだけに、人間側も気づきにくい最悪の誤引用パターンです。

検索出力へ旧版注意バッジを自動注入する仕組み

「歴史的検証のために原本は 1 冊も消したくない。しかし AI や人間が現行基準と勘違いする事故は 100% 防ぎたい」。この二律背反(トレードオフ)を解決するために実装したのが、./scripts/run_kb_search.sh pdf --tag-outdated(旧版・改訂注意バッジ自動付与エンジン) です。

このエンジンは、pdf_library.sqlite 内の全 1,039 冊を走査し、以下の条件に合致する 56 冊 を自動検出してメタデータ(user_note)および検索出力層へ直接安全警告を焼き込みました。

🚨 --tag-outdated(56冊)の自動判定ロジックと出力層フェイルセーフ
  1. 対象領域と刊行年(西暦・和暦)の自動抽出 :医学書・一次資料、および 取説 内の医療・健康・制度関連サブカテゴリ(医学・糖尿・脂肪肝・ダイエット・薬・衛生・障害福祉・道路)に属する文書、またはタイトルに「診療ガイドライン」「治療ガイドライン」「食事摂取基準」「白書」「審議会」「手引き」「添付文書」等を含む文書から、刊行年(2011年〜2024年、または 平成〇〇年・令和元年〜令和6年)を解析します。

  2. 後継新版(Newer Edition)のDB内クロス照合 :同じシリーズ(たとえば『日本人の食事摂取基準』や特定学会のガイドライン)のより新しい年度版が同じ SQLite 内に収録されているかどうかを自動照合し、後継版が存在する場合は「※DB内に後継・新版あり」と明記します。

  3. 検索ヒット時・ページ精読時の強制ヘッダー注入 :AI エージェントが kb-search pdf "<検索語>" や pdf --doc <ID> を実行した瞬間、該当ページ本文の直前に 🚨 医療・法制度安全警告: [⚠️旧版注意(YYYY年刊): 引用時は最新改訂版・現行基準の有無を要確認] という目立つ警告バナーを自動出力します。

  4. GUI管理台帳(BlogLedger Tab9)での視覚バッジ表示 :macOS ネイティブ管理アプリ BlogLedger の PDF 蔵書タブでも、一覧カードにオレンジ色の ⚠️旧版の可能性:最新改訂版も要確認 バッジを常時表示し、人間の目視調査でも一目で判別できるようにしました。

これにより、AI エージェントがローカルの PDF 蔵書を検索して 2019 年や 2022 年のガイドラインがヒットすると、コンテキスト内に必ず 🚨 医療・法制度安全警告: [⚠️旧版注意(...)] が飛び込んできます。

その結果、AI は古い数値をそのまま現行基準として断定することを自ら止め、日本動脈硬化学会『動脈硬化性疾患予防ガイドライン』 をはじめとする各学会・省庁の最新公開ページ、あるいは当ラボの e-Gov法令SQLite(約26.3万条文) と突き合わせて「2019 年版では〇〇とされていたが、最新改訂版では△△へ改められている」と正確な時制で記述できるようになったのです。

さらに、この一連のタイトル復元・URL 登録・検疫削除・旧版タグ更新を終えたあと、./scripts/run_kb_search.sh db-health --optimize を実行して全 5 大 SQLite の FTS5 インデックス最適化(VALUES('optimize'))・WAL 切り詰め・VACUUM を行ったところ、データベース総容量は 3,852.78 MB から 2,838.54 MB へと一気に 1,014.24 MB(約 1 GB)もスリム化 され、検索応答速度も 2.5〜13 ミリ秒の爆速を維持しています。


自分のMacで出典特定台帳を構築するAIプロンプト

「自分の Mac にも、名前がバラバラな PDF や古い資料が何百冊も眠っている。同じように出典 URL の自動回収と旧版ガード付きの SQLite 台帳を作りたい!」という方のために、そのままコピー&ペーストして使える実践プロンプトを用意しました。

最上位モデル用・事前調査ファースト指示文

ファイルシステムの拡張属性(バイナリ plist)のデコードや SHA-256 照合、アンチボット不干渉の安全ガードを含むツールを正確に組ませるには、推論を省略しやすい軽量モデル(Flash 系など)ではなく、必ず 最上位の推論・コーディングモデル(Gemini 4 Carbon / Gemini 4 Argon 等) を選択し、「いきなりコードを書かせず、まず手元の PDF フォルダの現状を調査させる(事前調査ファースト)」のが失敗しない鉄則です。

📋 コピペ用:最上位AIモデル(Gemini 4 Carbon / Argon)でPDF出典特定&旧版ガード台帳を構築するプロンプト
  • 推奨モデル :Gemini 4 Carbon (High) または Gemini 4 Argon (High)(ターミナル・ファイル操作権限のあるエージェント環境)

  • プロンプト本文(~/Documents/PDF_Library のパスはご自身のフォルダに合わせて変更してください) :

あなたは熟練のシステムアーキテクト兼データエンジニアです。
私のMacの指定フォルダ(例: ~/Documents/PDF_Library)に保存されている大量のPDFファイル群について、AIの誤引用(ハルシネーション)を防ぐための「公式出典URL特定&旧版警告バッジ付きSQLite全文検索台帳」を構築したいと考えています。

【絶対ルール:事前調査ファースト】
いきなりスクリプトの作成やファイルの書き換えを始めないでください。まずはステップ1の現状調査をRead-Only(読み取り専用)で実行し、統計レポートと設計案を私に提示して合意を得てから実装に進んでください。

■ ステップ1:現状のRead-Only調査(最初にこれを実行して報告すること)
1. 指定フォルダ配下のPDF総数・合計サイズ・サブフォルダ構成を集計してください。
2. SHA-256ハッシュを計算し、別名で重複保存されているPDFが何件あるか確認してください。
3. 以下の3つのローカル手掛かりが何割のPDFに残っているかサンプリング調査してください:
   - macOSの拡張属性 `com.apple.metadata:kMDItemWhereFroms`(バイナリplist内のダウンロード元URL)
   - PDF内部のリンクアノテーション(`/URI`)および本文1〜2ページ目のDOI(`10.xxxx/...`)
   - PDF内部の `/Title` メタデータと、ファイル名が数字・記号のみ(例: `001234.pdf`, `siryou1.pdf`)になっている出所不明ファイルの割合
4. 個人情報(氏名・生年月日・住所・口座・確定申告・個別診断書など)を含む可能性のある秘匿ファイルと、最初からWeb上に公開URLが存在しないローカル限定資料(紙スキャン・チラシ等)の候補をリストアップしてください。

■ ステップ2:合意後に実装するSQLite台帳と安全ガードの要件
1. 原本PDFファイルは一切削除・改変せず、管理用の単一SQLiteデータベースを作成すること。
2. 秘匿書類はDB内に個人情報の文字列を1バイトも残さず、SHA-256ハッシュと除外理由コードのみを検疫テーブルに記録して全文検索インデックスから完全除外すること。
3. 出典URLは以下の優先順位で特定し、どこから特定したか(`url_origin`)を記録すること:
   ① `xattr`(`kMDItemWhereFroms`) → ② 本文DOI / 内部 `/URI` → ③ SHA-256一致 → ④ 正式タイトル復元後の公的API(J-STAGE / NDLサーチ等)+実体PDFの本文・総ページ数照合。
   ※HTTP 403/429やCAPTCHAには絶対に干渉せず即スキップし、公開URLが存在しない紙チラシ等は `local_only` として区分し無理にURLを捏造しないこと。
4. 2024年以前に刊行された医療ガイドライン・食事摂取基準・法制度・公的統計PDFを自動検出し、検索出力時に必ず `[⚠️旧版注意(YYYY年刊): 引用時は最新改訂版・現行基準の有無を要確認]` の警告ヘッダーを自動表示するフェイルセーフを実装すること。

このプロンプトを投げるだけで、AI エージェントがまず手元の PDF 資産の「健康診断カルテ(何冊に kMDItemWhereFroms が残っているか、重複や旧版がどれくらいあるか)」を一覧化してくれるため、大事な個人書類を巻き込むことなく安全に知識データベースを構築できます。

数万ページのOCRと高速照合を支える母艦環境

最後に、1,000 冊・26,000 ページを超える PDF 原本(数 GB〜数十 GB)と数 GB 規模の SQLite 全文検索データベースをストレスなく運用するためのハードウェア構成について触れておきます。

大量の PDF に対して PDFKit と Vision OCR を回し、さらに FTS5 の trigram インデックスや SHA-256 ハッシュ計算を十数スレッド並列で走らせる場合、ランダムリード/ライト性能の低い古い外付けドライブでは I/O 待ちが発生して処理時間が何倍にも膨れ上がります。

当ラボでは、母艦となる大容量メモリ搭載 Mac と、Thunderbolt 3 / USB 3.2 Gen 2 対応の高速外付け NVMe SSD(SanDisk Professional PRO-G40 や Crucial X9 Pro)を組み合わせることで、1,039 冊の差分スキャンと全文検索を数ミリ秒で完結させています。これからローカル一次資料基盤を本格構築される方は、まず外付け SSD と母艦メモリを固めておくのが最も費用対効果の高い投資になります。

SanDisk Professional PRO-G40 SSD 4TB / 2TB (Thunderbolt 3 & USB 3.2 Gen 2 両対応)

Crucial X9 Pro / X9 Pro For Mac 外付けポータブルSSD (1TB / 2TB / 4TB・USB 3.2 Gen 2 最大1,050MB/s)

※Mac向けAPFS出荷済みの『For Mac』限定パッケージが品薄・在庫切れの場合は、ハード性能とS.M.A.R.T.(属性ID 202)仕様が同一の通常版『Crucial X9 Pro』(ディスクユーティリティでAPFSへ初期化してそのまま使用可)をお選びいただけます。

Apple Mac Studio(Appleシリコン Max / Ultraチップ・Thunderbolt 5搭載 コンパクトワークステーション)

【中古・整備済品】Apple iMac 27インチ Retina 5K (2020年モデル / Intel最終世代・メモリ自己増設対応)

※EC検索結果には2019年以前の旧世代(Fusion Drive搭載機など)や増設メモリ単体も混在します。必ず『2020年モデル(第10世代Intel Core / iMac20,1・NVMe SSD標準搭載)』であることと販売店の保証条件をご確認ください。


まとめ:一次資料は出典証明と鮮度管理で武器になる

今回の「PDF 蔵書 1,039 冊・26,019 ページの公式出典 URL 特定と旧版医療ガイドライン安全ガード」の実証結果を振り返ります。

🧭 出所不明PDFの出典特定&AI誤引用ゼロ化・5つの結論まとめ
  1. OSの拡張属性(kMDItemWhereFroms)と内部DOIだけで4割(419冊)は即座に判明する :ファイル名が 001294820.pdf のように記号化していても、macOS が記録したバイナリ plist(119 冊)と PDF 内部の /URI・DOI・過去引用照合(300 冊)を掘り起こすだけで、外部通信ゼロで確実な一次出典が蘇ります。

  2. 壊れたタイトルの修復とSHA-256実体照合で計650冊の公式URLを確定 :袋文字の重複や OCR 誤字を pdf_title_engine.rs で修復(70 冊改善)した上で公的 API とメーカー公式直 URL をプローブし、実体 PDF の SHA-256 完全一致(72 冊)と PDFKit 本文・頁数検証(16 冊)、候補目視承認(143 冊)を経て誤紐付けゼロを達成しました。

  3. 公開URLがない37冊は local_only に区分し、AIのURL捏造を封じる :紙のごみチラシや院内紙など、最初から Web 上に URL が存在しない資料に「URL なし(ローカル専用)」という確定ステータスを与えることが、ハルシネーション防止の鍵になります。

  4. 個人診断書や建築図面(26件)は個人情報0バイトのSHA-256検疫で完全隔離 :秘匿書類は原本を傷つけず、pdf_quarantined_private テーブルに SHA-256 と理由コードのみを残して全検索インデックスから除外することで、プライバシー漏洩リスクを根絶しました。

  5. 古い医療ガイドライン等56冊には「旧版注意バッジ」を自動注入する :過去の貴重な資料を削除せず、検索ヒット時に [⚠️旧版注意(YYYY年刊): 引用時は最新改訂版・現行基準の有無を要確認] を強制表示させることで、歴史的検証力と最新基準の無謬性を両立できます。

どれだけ高性能な AI モデルが登場しても、与える一次資料の「出所(URL)」と「時間軸(いつの基準か)」が曖昧なままでは、AI はもっともらしい顔で古い基準や似た別資料を引用してしまいます。

逆に、自分の Mac の中に「1 ビット単位で出典が証明され、個人情報が検疫され、古い版には自動で注意札が貼られる SQLite 図書館」を一度築き上げてしまえば、AI エージェントは他の誰にも真似できない一生モノの調査・執筆パートナーへと進化します。手元の SSD に眠っている出所不明の PDF フォルダから、ぜひ今日から「出典と鮮度の棚卸し」を始めてみてください!

1,039冊のPDF出典特定と旧版医療ガイドラインの安全ガードを終えて安心する猫