行政APIおすすめ7選をSQLite自動更新化|e-Stat・gBizINFO・EDINET・国交省連携術
作成日:
更新日:

行政APIおすすめ7選をSQLite自動更新化|e-Stat・gBizINFO・EDINET・国交省連携術

IT・Mac・AI実践

論旨
  • 行政一次情報の「統計・企業公金・国土空間」3領域をローカルSQLiteへ統合 : 既存の法令(e-Gov)・国会会議録・学術文献(NDL/J-STAGE/PubMed)に加え、新たに 政府統計(e-Stat / 統計ダッシュボード)・法人公金と有価証券報告書(gBizINFO / 官公需ポータル / EDINET)・不動産と防災インフラ(不動産情報ライブラリ / 国土交通DPF) の7大行政APIを外部クレート依存ゼロの Pure Rust(追加10,596行)で実装しました。

  • e-Stat単体20秒タイムアウトの壁を突破し1.37ミリ秒検索を実現 : 巨大な政府統計表の検索で起きるタイムアウトを「統計ダッシュボードAPI×e-Stat API v3.0」の2段階ハイブリッド設計で解消。二重FTS5インデックスと単一ファイル確定(journal_mode = DELETE)により、オフラインで「消費者物価指数」を 1.37ミリ秒、「人口」(漢字2文字)を 1.43ミリ秒 で抽出します。

  • 「毎年検索し直さない」一括差分同期と7大一次情報DBの並列照会 : ./scripts/run_kb_search.sh gov-sync による定期自動同期パイプラインを構築し、統計の基準年改定や毎日の補助金・政府調達・入札公告を自動追従。さらに執筆前の prep コマンドが 7大ローカル一次情報DBの7スレッド同時並列走査 へ進化しました。

結論(忙しい人向けの要約)
  • RESAS APIは2025年3月24日に提供終了済み : 古い解説記事のコードをそのまま動かすと接続不能になります。地域マクロ統計は 総務省 統計ダッシュボード または e-Stat API へ、市区町村コードマスターは 国土交通省 不動産情報ライブラリAPI(XIT002)への移行が必須です。

  • 国税庁の法人番号APIを別契約しなくても13桁法人番号は引ける : 経済産業省 gBizINFO REST API v2 の法人検索(GET /hojin/v2/hojin?name=...)だけで法人名から13桁法人番号を確定でき、補助金・政府調達・財務から 金融庁 EDINET API v2 の有価証券報告書(JCN)まで一気通貫で名寄せ結合できます。

  • APIキーのプロセス露出防止とグレースフル・デグラデーションが鉄則 : /usr/bin/curl --config -(標準入力渡し)で ps aux へのキー露出を1文字も許さず、未取得のAPIキーがあってもエラー停止せずに設定済みAPIと認証不要API(統計ダッシュボード・官公需情報ポータル)だけで稼働し続ける設計が実務での最適解です。

合わせて読みたい深まる関連情報
この記事の対象となる方
  • AIの「古い統計値・架空の公的出典捏造」を根絶したい執筆者・アナリストの方 : 消費者物価指数や実質賃金、補助金・政府調達、不動産取引価格などの一次データを、民間予測と混同せずにローカルSQLiteからミリ秒単位で正確に引き出したい方。

  • 日本の行政オープンデータAPIを実務システムへ組み込みたい開発者の方 : 2025年3月のRESAS API終了後の移行先選定や、e-Stat APIのタイムアウト対策、gBizINFOとEDINETの13桁法人番号による名寄せ結合を堅牢に実装したい方。

  • 毎年・毎月の「データ検索のやり直し」を自動化したい個人開発者の方 : 統計の基準年改定や日々の公共調達・入札公告をコマンド1発(および定期バッチ)で差分同期し、手作業の検索時間をゼロにしたい方。

解説ナビゲーター

第1弾で「法律と国会答弁」、第2弾で「国立国会図書館と日米の学術論文」がローカルSQLiteに入って、言葉やルールの裏取りはミリ秒単位で完了するようになりましたよね。でも、実際の暮らしや経済、地域の課題を検証するときは、法律や論文だけでなく「最新の物価や賃金の統計」「どの企業がいくら補助金や公共事業を受注しているか」「実際の不動産取引価格やインフラの老朽化データ」が必要になりませんか?

質問するおじさん

まさにそこが、一次情報基盤における最後のミッシングリンクでした。しかも統計や公金、不動産のデータは、法律の条文以上に「毎月・毎年どんどん新しい数値へ更新される」という手強い性質を持っています。人間やAIがその都度ブラウザを開いて検索し直すやり方では、いずれ必ず古い数字の放置や転記ミスが起きるのです。

当ラボでは現在、448記事本の検証録を含む全記事において、公的統計や制度・技術仕様の裏付け(エビデンス)を一次情報と照合する厳格な監査を運用しています。

その中核を担うローカル一次情報基盤の完結編(第3弾)として、今回は日本の行政機関が公開しているデータ取得系APIの中から実務価値が極めて高い7つのAPIを厳選し、外部クレート依存ゼロの Pure Rust で3つの新SQLiteデータベース(estat.sqlite・gbiz_edinet.sqlite・mlit_spatial.sqlite)へ自動蓄積・差分同期するパイプライン を構築しました。

本記事では、2025年春のRESAS API提供終了をはじめとする「行政API連携の3つの罠」から、e-Stat検索の20秒タイムアウトを1.37ミリ秒へ短縮したハイブリッド設計、13桁法人番号による補助金・政府調達・有価証券報告書の名寄せ技術、そしてご自身の環境で同じ基盤を段階構築できるAIプロンプトまで、すべての実測値と設計手順を公開します。


法令と論文だけでは埋まらない一次情報の3大空白

これまで当ラボでは、第1弾の検証録『国会会議録APIとe-Gov全法令XMLをSQLite化|26万条文の0.6秒監査術』と第2弾『AIの架空論文を防ぐ国立国会図書館サーチ・J-STAGE・PubMed API×SQLite裏取り術』を通じて、「規範(法令)」「立法過程(国会答弁)」「学術知見(図書・査読論文)」「保有資料(PDF蔵書)」の4領域をローカルSQLite化してきました。

しかし、実際に生活防衛や経済・産業構造、住環境やインフラの検証記事を執筆・監査していくと、言葉とルールのデータベースだけではどうしても埋められない 「3つの一次情報の空白」 に直面します。

🧩 法令・論文DBだけでは埋まらない3つの一次情報領域
  1. 「現実の数字(マクロ・ミクロの公的統計)」の空白 : 消費者物価指数(CPI)、実質賃金(毎月勤労統計)、完全失業率、高齢化率、家計の品目別支出など、「今、日本の家計や労働現場がどうなっているか」を定量的に示す政府統計データです。

  2. 「お金と企業の動き(補助金・政府調達・有価証券報告書・入札)」の空白 : どの企業がどの省庁からいくらの補助金交付やシステム調達を受注しているのか、現在どんな公共調達(官公需)が入札募集されているのか、そして上場企業の有価証券報告書にどんな財務・大株主・リスク情報が記載されているのかという公金と企業活動の記録です。

  3. 「空間と土地・インフラ(不動産取引価格・市区町村境界・橋梁防災)」の空白 : 都道府県や市区町村ごとの実際の不動産取引価格(㎡単価や中央値)、統廃合を含む最新の市区町村コードマスター、そして全国の橋梁・河川・トンネルなどのインフラ老朽化・防災データです。

毎年検索し直す手作業が最大の障壁になる理由

これらのデータを記事やレポートで引用する際、従来のように「必要になったときだけ人間やAIがWeb検索で探す」という運用を続けていると、深刻な問題が発生します。

最大の障壁(ボトルネック)は、「統計や企業公金データは鮮度が命であり、毎年・毎月・毎日更新され続ける」 という点にあります。

たとえば、総務省の消費者物価指数は5年ごとに基準年が改定(2015年基準→2020年基準など)され、毎月新しい月次値が公表されます。経済産業省のgBizINFOや中小企業庁の官公需情報ポータルには、毎日新しい政府調達の実績や入札公告が追加されます。もしAPIによる自動同期パイプラインを組まずに手作業の検索や単発のCSVダウンロードに頼っていると、翌年になって過去記事を監査・更新する際、人間やAIがまたゼロから同じ統計表や企業ページを検索し直さなければなりません。

公的統計・企業公金データの裏取りにおける手作業検索とSQLite自動同期方式
旧来手法
都度Web検索・手動CSVダウンロード
  • 統計の基準年改定や月次更新のたびに、人間やAIがe-Stat等の複雑な画面を毎回検索し直す必要がある。
  • AIの汎用Web検索に任せると、民間シンクタンクの予測値を「省庁の公式統計」と取り違えるハルシネーションが混入しやすい。
  • 複数省庁にまたがる企業データ(経産省の補助金・各省庁の調達・金融庁の有報)を手作業で名寄せするのに膨大な時間がかかる。
当ラボの解決策
7大行政API×SQLite自動差分同期基盤
  • 公式APIから構造化JSON/XMLを直接取得し、時点・単位・秘匿注記・13桁法人番号ごとローカルSQLiteへ永続化する。
  • ./scripts/run_kb_search.sh gov-sync 1発(および朝夕の定期バッチ)で最新差分を自動追従し、毎年検索し直す手作業を根絶する。
  • 一度蓄えたデータは読み取り専用サンドボックスから 1.3〜1.5ミリ秒 で検索でき、執筆前の prep で7大DBを同時走査できる。

行政一次情報の5層マトリクスと7大APIの全体像

そこで当ラボでは、すでに稼働していた第1層(規範:e-Gov法令)および第2層(言論・文献:国会会議録・NDL・J-STAGE・PubMed)の土台の上に、第3層〜第5層を担う7つの行政公開APIを統合し、ローカル一次情報データベースを 合計6つの行政DB(+保有PDF蔵書DBを合わせた7大一次情報DB) へと拡張しました。

一次情報の階層 ローカルSQLite名 連携する行政API・データソース 認証要否と主な収録データ
第1層:規範
(現行法令・未施行改正)
egov_laws.sqlite
(933.40 MB)
・デジタル庁 e-Gov 法令API v2
・e-Gov 全法令一括XML
認証不要(一括XML+差分API)
全8,992法令・263,348条文・未施行改正日
第2層:言論・学術
(立法過程・図書・論文)
kokkai.sqlite (4.00 MB)
ndl_search.sqlite (0.35 MB)
・国会会議録検索システムAPI
・NDLサーチAPI / J-STAGE / PubMed
すべて認証不要
国会答弁・専門図書・国内外査読論文・DOI
第3層:現実の数字
(マクロ・基幹政府統計)
estat.sqlite
(0.50 MB / 随時拡張)
① 総務省 統計ダッシュボード Web API
② 総務省 e-Stat API v3.0
① 認証不要(主要マクロ時系列)
② 無料 appId(全府省の個別基幹統計表)
第4層:企業と公金
(法人・補助金・調達・有報)
gbiz_edinet.sqlite
(1.42 MB / 随時拡張)
③ 経済産業省 gBizINFO REST API v2
④ 中小企業庁 官公需情報ポータルAPI
⑤ 金融庁 EDINET API v2
③ 無料 X-hojinInfo-api-token
④ 認証不要(全省庁・自治体の入札公告)
⑤ 無料 Subscription-Key(有価証券報告書)
第5層:空間・国土
(不動産取引・インフラ防災)
mlit_spatial.sqlite
(キー設定で即時開通)
⑥ 国交省 不動産情報ライブラリAPI
⑦ 国交省 国土交通DPF GraphQL API
⑥ 無料 Ocp-Apim-Subscription-Key
⑦ 無料 apikey(橋梁・河川・防災データ)

この5層マトリクスが揃うことで、AIが記事を執筆・監査する際、「法律の条文」「国会の議論」「学術論文の実験結果」「政府統計の実測推移」「企業への補助金・調達・有報」「地域の不動産価格・インフラ老朽化」という6方向から、一切の推測を交えずに一次根拠を突き合わせることが可能になります。


行政APIを繋ぐ前に知るべき3つの致命的な罠

7つの行政APIを Pure Rust で実装するにあたり、まず世の中の技術ブログやAIの古い学習データで推奨されている「定番の行政API連携手法」を総点検しました。すると、古い記事を鵜呑みにしてコードを書くと確実に破綻する 3つの致命的な罠 が浮かび上がりました。

解説ナビゲーター

AIに「日本の行政APIで地域経済や人口のデータを取得するコードを書いて」と頼むと、真っ先に「RESAS API(地域経済分析システム)」を使ったサンプルコードを出してきますよね。あれをそのまま使えば簡単なのではないですか?

質問するおじさん

そこが最大の落とし穴なのです!実はRESAS APIは2025年3月24日をもって完全に提供終了しています。AIの古い記憶や数年前の技術記事を信じて実装すると、1バイトもデータが返ってこないデッドエンドに突き当たります。

RESAS API提供終了と移行先マスターの選定

1つ目の罠は、長年エンジニアや研究者に愛用されてきた 内閣府・経済産業省『地域経済分析システム(RESAS)』 の RESAS API が、2025年3月24日をもって提供終了(廃止)された ことです。

現在でも多くの生成AI(LLM)は学習カットオフ前の知識を引きずっており、「日本の地域統計や市区町村コード一覧をAPIで取るなら RESAS API の X-API-KEY を使いましょう」と自信満々に回答してきます。しかし、旧エンドポイント(opendata.resas-portal.go.jp)はすでに役目を終えています。

これから2026年以降の行政データ基盤を組む場合は、旧RESAS APIが担っていた役割を以下の現行公式APIへ明確に切り替える必要があります。

🔄 RESAS API(2025年3月終了)からの現行公式API移行マップ

申請手続き系APIと公開データ取得系APIの混同

2つ目の罠は、行政が公開しているAPI仕様書の中に 「国民や企業が行う行政手続き(申請・届出・自己情報取得)のためのAPI」 と 「公的オープンデータを機械可読形式で取得するためのAPI」 の2種類が混在していることです。

たとえば、デジタル庁のマイナポータルAPI、国税庁のe-Tax API、総務省のeLTAX API、厚生労働省のe-Gov電子申請APIなどは、仕様書こそ一般公開されていますが、これらは「本人がマイナンバーカード(公的個人認証)や法人電子証明書を用い、OAuth 2.0同意フローを経て自分の税務・社会保険手続きを行うための申請系API」です。リサーチや記事執筆の裏取り自動化システムにこれらを組み込むことは用途的にも規約的にもできません。

データ分析やAIのハルシネーション防止基盤を構築する際は、申請系APIを最初から除外し、「サーバー間のトークン認証(または認証不要)で公的統計・公開公金記録・公開空間データを取得できるオープンデータ系API」 に100%集中するのが鉄則です。

秘匿記号の欠落とgBizINFO特有の404応答仕様

3つ目の罠は、各省庁のAPIが返すレスポンス構造の「クセ」を無視して、素朴なJSONパーサーで値(数値や名称)だけを抜き出してしまう設計ミスです。実際のレスポンスを精査すると、以下の3つの仕様を正しく処理しないとデータの信頼性が根底から崩れることが分かりました。

⚠️ 実機検証で判明した行政APIレスポンスの3大仕様トラップ
  1. e-Stat統計データの「秘匿・欠損記号(*** / - / x)」と注記(NOTE)の切り捨て事故 : e-Stat APIの観測値(DATA_INF.VALUE)には、数値だけでなく調査対象が少数の場合の秘匿記号(*** や x)や該当なし(-)が入ります。さらに DATA_INF.NOTE には「基準改定に伴う不連続」「速報値」などの重要な注記が付与されます。値を単に f64(浮動小数点数)へ変換してパース失敗行を捨ててしまうと、「統計上は秘匿されているのにデータが存在しない(または0である)と誤認する」致命的なバグになります。したがって、生の文字列(value_raw)と数値(value_num)、そして注記(notes_json)を必ずセットでSQLiteへ保存しなければなりません。

  2. gBizINFO REST API v2 が「検索ヒット0件」のときに返す HTTP 404 仕様 : 通常のWeb APIでは、検索条件に合致する企業が0件だった場合、HTTPステータス 200 OK で空配列 [] を返します。ところが 経済産業省 gBizINFO REST API v2 は、該当レコードが0件のときに HTTPステータス 404 とメッセージ "404 - Not Found." を返す公式仕様 になっています。これを通信異常やエンドポイント誤り(エラー停止)として扱ってしまうと、補助金の交付実績がない企業や特定期間の調達を検索した瞬間にバッチ全体がクラッシュしてしまいます。

  3. 曖昧な「企業名文字列」による名寄せの破綻 : 「株式会社〇〇」と「(株)〇〇」、あるいは同名の別会社を文字列検索だけで結びつけようとすると、別企業の補助金や有価証券報告書を誤って合算する事故が起きます。日本の法人データを横断結合する際は、必ず国税庁が指定する 13桁法人番号(モジュラス9のチェックデジット付き) を唯一の主キー(Primary Key)として名寄せする枠組み(スキーム)が必要です。


政府統計を1ミリ秒で引く2段階ハイブリッド設計

ここからは、実際に Pure Rust で実装した3つの新エンジンの中身を順番に解説します。1つ目は、tools/kb-search/src/gov_estat.rs(全3,539行)で実装した政府統計データベース(_local_db/gov/estat.sqlite)です。

e-Stat単体検索で起きた20秒タイムアウトの壁

当初、政府統計の取得は 総務省『政府統計の総合窓口(e-Stat)API Version 3.0』(エンドポイント getStatsList および getStatsData)の一本だけで実装する予定でした。当ラボの .env には取得済みの ESTAT_APP_ID を設定し、さっそくテストとして「消費者物価指数」や「国内総生産」というキーワードを getStatsList(統計表情報取得API)へ投げてみました。

ところが、ここで予想外の現象が起きました。APIサーバーからの応答が20秒経っても返ってこず、タイムアウト(curl exit 28)で失敗してしまった のです。

解説ナビゲーター

えっ、公式のe-Stat APIなのに「消費者物価指数」で検索しただけでタイムアウトしてしまうのですか?なぜそんなことが起きるのでしょう?

質問するおじさん

原因はe-Statが収録している政府統計表の桁違いのスケールにありました。「消費者物価指数」のような基幹ワードだけで getStatsList を検索すると、過去数十年にわたる月次表・年次表・地域別表・品目別表が何万件もヒットしてしまい、サーバー側でのXML/JSON生成が20秒以内に終わらないのです。

一方、「労働力調査 完全失業率」や「家計調査 二人以上の世帯」のように調査名と表の条件を絞り込んだクエリや、すでに統計表ID(statsDataId)が判明している場合の getStatsData 呼び出しは、わずか1〜2秒で軽快に返ってきます。

つまり、e-Stat API v3.0 は「個別・詳細の統計表をピンポイントで掘り下げる」のには無類の強さを発揮する一方、「マクロ経済の主要時系列指標(CPI・GDP・失業率・総人口など)を素早く俯瞰する」用途には検索範囲が広すぎるという二律背反(トレードオフ)を抱えていたのです。

統計ダッシュボードとe-Stat v3の役割分担

この20秒タイムアウト問題を根本から解決するため、gov_estat.rs では 「総務省 統計ダッシュボード Web API」と「e-Stat API v3.0」を組み合わせた2段階ハイブリッドアーキテクチャ を採用しました。

総務省『統計ダッシュボード Web API』(https://dashboard.e-stat.go.jp/api/1.0/Json/getIndicatorInfo および getData)は、総務省統計局が主要マクロ指標約5,000系列を厳選し、19桁の指標コード(IndicatorCode)で時系列データを即座に返却してくれる公式APIです。しかも アプリケーションID(認証キー)が一切不要 で、レスポンスも極めて高速です。

gov_estat.rs における政府統計2大APIハイブリッド取得とSQLite確定フロー
STEP 1
統計ダッシュボードAPIの即応取得

認証不要の統計ダッシュボードAPIから、消費者物価指数・完全失業率・総人口・国内総生産などの主要マクロ時系列(19桁 IndicatorCode)をタイムアウトゼロで高速取得します。

STEP 2
e-Stat API v3.0 の詳細表展開

.env の ESTAT_APP_ID を標準入力経由で渡し、労働力調査・家計調査・毎月勤労統計などの詳細表を取得。分類コード(CLASS_INF)の人間可読ラベル展開と NOTE 秘匿注記を完全結合します。

STEP 3
二重FTS5更新と単一ファイル確定

estat_series と estat_observations に格納後、trigram と1〜2文字用 short_fts を更新。最後に wal_checkpoint(TRUNCATE) と journal_mode = DELETE で単一ファイルへ確定します。

さらに e-Stat API v3.0 の getStatsData をパースする際は、単に数値配列を読むだけでなく、JSON内の CLASS_INF.CLASS_OBJ(表章項目 @cat01、時間軸 @time、地域 @area などの階層マスタ)をメモリ上のハッシュマップへ自動展開し、各観測セルのコード値を 「二人以上の世帯_勤労者世帯 × 2026年9月 × 全国」のような人間とAIが即座に読める日本語ラベル に変換してSQLiteへ保存する実装としました。

二重FTS5による消費者物価1.37ミリ秒検索の実測

初回同期(./scripts/run_kb_search.sh estat --sync)を実行した結果、統計ダッシュボードから24系列、e-Stat API v3.0 から11系列の 合計35系列・1,251観測セル(DB容量 0.50MB、WAL残骸 0.00MB) が _local_db/gov/estat.sqlite に格納されました。

ここで前作の ndl_search.sqlite と同様に、3文字以上の部分一致を捌く estat_fts(trigram)と、「人口」「賃金」「物価」「米」などの漢字1〜2文字をミリ秒で拾う estat_short_fts(unicode61 / 短語トークン抽出)の二重FTS5インデックスを稼働させています。実機でのオフライン検索ベンチマーク結果は以下の通りです。

⚡ 政府統計DB(estat.sqlite)の実機オフライン検索ベンチマーク
  • 3文字以上の統計検索(./scripts/run_kb_search.sh estat "消費者物価指数" --offline) : 1.37ミリ秒 で完了。2000年基準・2005年基準・2010年基準・2015年基準・2020年基準の各系列コード(0703010101010090000 等)と最新観測値、そして記事へそのまま貼れるMarkdownインラインリンクおよび references: 用YAML行を即座に出力します。

  • 漢字2文字の短語検索(./scripts/run_kb_search.sh estat "人口" --offline) : 1.43ミリ秒 で完了。通常の trigram だけでは取りこぼす2文字クエリでも、estat_short_fts 経由で国勢調査および人口推計の系列を正確に抽出します。

  • 労働・雇用統計の検索(./scripts/run_kb_search.sh estat "完全失業率" --offline) : 1.41ミリ秒 で完了。男女計(2.5%)・男(2.7%)・女(2.2%)の直近四半期データ(2026年7-9月期)およびe-Stat v3側の労働力調査詳細テーブルを一括返却します。

一度わずか0.50MBのSQLiteファイルへ確定させてしまえば、外部APIでは20秒かかっても返ってこなかった「消費者物価指数」の検索が、約1万4,000分の1にあたる 1.37ミリ秒 で手元のメモリ上から完結します。


法人番号で補助金と調達と有報を束ねる名寄せ基盤

2つ目の新エンジンは、tools/kb-search/src/gov_gbiz.rs(全3,525行)で実装した法人・公金・有価証券報告書・入札公告の統合データベース(_local_db/gov/gbiz_edinet.sqlite)です。

ここでは、経済産業省『gBizINFO(Gビズインフォ)REST API v2』、中小企業庁『官公需情報ポータルサイト 検索API』、そして 金融庁『EDINET API Version 2』 の3つを1つのSQLiteスキーマ上に統合しました。

国税庁APIなしで13桁法人番号を確定させる技術

企業に関する公的データを横断しようとしたとき、多くの開発者が最初に躓くのが「国税庁の法人番号システムWeb-API(アプリケーションIDの郵送またはメール審査が必要)を別途契約しないと、企業名から13桁法人番号への変換ができないのではないか?」という疑問です。

解説ナビゲーター

確かに、経産省のgBizINFOで補助金や政府調達を調べるには13桁の法人番号が必要ですが、読者が知りたいのは「トヨタ自動車」や「さくらインターネット」といった会社名ですよね。国税庁のAPIキーを別に取らなくても会社名から引けるのですか?

質問するおじさん

実は、経済産業省の gBizINFO REST API v2 自体に、法人名(部分一致)や更新日から13桁法人番号を含む基本情報を直接検索できるエンドポイントが備わっています。つまり GBIZINFO_API_TOKEN が1つあれば、国税庁APIを別途使わなくても「企業名 → 13桁法人番号の確定 → 補助金・政府調達・財務の一括取得」までノンストップで完結するのです。

さらに gov_gbiz.rs には、行政システムと同等の 「13桁法人番号チェックデジット検証関数(モジュラス9)」 を Pure Rust で実装しました。日本の13桁法人番号は、下12桁(基礎番号)の各桁に1または2の重みを掛けて合算し、9で割った余りを9から引いた値が先頭1桁目(検査用数字)になる厳密な数学的規則を持っています。

/// 国税庁指定の13桁法人番号チェックデジット(モジュラス9)を検証する
pub fn is_valid_corporate_number(s: &str) -> bool {
    let trimmed = s.trim();
    if trimmed.len() != 13 || !trimmed.bytes().all(|b| b.is_ascii_digit()) {
        return false;
    }
    let bytes = trimmed.as_bytes();
    let check_digit = (bytes[0] - b'0') as u32;
    if check_digit == 0 || check_digit > 9 {
        return false;
    }
    let mut sum: u32 = 0;
    // 最下位桁(右端 index 12)から上位(index 1)へ向かって重み 1, 2, 1, 2... を掛ける
    for pos in 1..13 {
        let digit = (bytes[13 - pos] - b'0') as u32;
        let weight = if pos % 2 == 1 { 1 } else { 2 };
        sum += digit * weight;
    }
    let expected = 9 - (sum % 9);
    check_digit == expected
}

このチェックデジット検証を通過した正規の13桁法人番号のみを主キーとして扱うことで、単なる13桁のランダムな数字列や伝票番号との誤結合を100%防いでいます。また、先述した「gBizINFO v2が該当0件のときにHTTP 404 - Not Found. を返す仕様」も、エラーではなく「正常な該当0件(Ok(Vec::new()))」として安全にハンドリングしています。

官公需ポータル入札公告とEDINET有報の横断結合

この13桁法人番号をハブ(中核)に据えることで、性格の異なる3つの行政APIが以下のように有機的に結びつきます。

🏛️ gbiz_edinet.sqlite が13桁法人番号で束ねる3大公金・企業データ
  1. 経済産業省 gBizINFO REST API v2(過去〜現在の補助金・政府調達実績) : 基本情報(/hojin/v2/hojin)で確定した13桁法人番号を用い、補助金交付情報(/subsidy)、各省庁からの政府調達受注実績(/procurement)、および財務・表彰・届出情報(/finance 等)を自動取得して正規化テーブル(gbiz_profile / gbiz_subsidy / gbiz_procurement / gbiz_finance)へ格納します。

  2. 中小企業庁 官公需情報ポータルサイト 検索API(未来の入札・調達予定) : gBizINFOの /procurement が「すでに落札・契約された過去の調達実績」であるのに対し、認証不要で利用できる 官公需情報ポータルAPI(https://www.kkj.go.jp/api/)は 「いま現在、各省庁・独立行政法人・自治体が募集している最新の入札公告」 をXMLで返してくれます。CDATAセクションや数値文字参照(&#x...;)をデコードして kkj_tender テーブルへ格納することで、「過去の受注実績」と「現在進行形の入札案件」を同時に検索できます。

  3. 金融庁 EDINET API Version 2(上場企業の法定開示・有価証券報告書) : EDINET API v2 の書類一覧エンドポイント(GET /api/v2/documents.json)が返す各提出書類メタデータには、JCN(Japanese Corporate Number)というフィールド名で 13桁法人番号 がそのまま格納されています。これを edinet_filings テーブルの corporate_number カラムへ正規化して保存することで、./scripts/run_kb_search.sh gbiz --corp <13桁法人番号> と1回叩くだけで「その企業が国から受け取った補助金・受注した公共事業」と「金融庁へ提出した有価証券報告書・大量保有報告書」を一画面で突き合わせることができます。

当ラボの .env に設定済みの GBIZINFO_API_TOKEN と認証不要の官公需情報ポータルAPIを使って初回同期(./scripts/run_kb_search.sh gbiz --sync)を実行したところ、直近の政府調達更新分100件(すべて金額データ付き)、法人プロファイル93社、および官公需ポータルの募集中入札公告57件の 合計250レコード(DB容量 1.42MB、WAL残骸ゼロ) が一括で永続化されました。

また、EDINET_API_KEY のようにまだ .env へキーを設定していないプロバイダについては、プログラムをエラーで止めず、コマンド実行時に「金融庁EDINET APIの無料 Subscription-Key を約3分で発行して .env に1行追記する手順ガイド」を表示しつつ、設定済みの gBizINFO と官公需ポータルだけで正常に同期・検索を完走する設計としています。


不動産取引価格と防災インフラを統合する空間DB

3つ目の新エンジンは、tools/kb-search/src/gov_mlit.rs(全3,532行)で実装した国土・不動産・防災インフラデータベース(_local_db/gov/mlit_spatial.sqlite)です。

ここでは、国土交通省が推進する2大オープンデータ基盤である 国土交通省『不動産情報ライブラリ API』 と 国土交通省『国土交通データプラットフォーム(MLIT DPF)』 の GraphQL API を統合しました。

不動産情報ライブラリのgzip二重解凍と単価集計

不動産情報ライブラリAPIは、全国の不動産取引価格情報・成約価格情報(エンドポイント XIT001)および都道府県内市区町村一覧マスター(エンドポイント XIT002:旧RESAS APIの市区町村マスター代替)をJSON形式で提供してくれる非常に強力なAPIです。

しかし、このAPIをシステムへ組み込む際には2つの技術的なハードルがあります。

🏗️ 不動産情報ライブラリAPI(XIT001 / XIT002)実装の2大技術ポイント
  1. gzip圧縮レスポンスの二重ガード解凍 : 不動産情報ライブラリAPIはデータ量が大きいため、レスポンスボディが gzip 圧縮で返却されます。gov_mlit.rs では /usr/bin/curl --compressed --config - でHTTPレイヤーの自動解凍を有効化しつつ、万が一サーバー側から生の gzip バイナリ(先頭マジックバイト 0x1f 0x8b)がそのまま返ってきた場合でも、即座に /usr/bin/gunzip -c パイプでメモリ展開してJSONパーサーへ渡す二重ガードを実装しました。

  2. 何万件もの生取引レコードをそのまま溜め込まない「市区町村×種別ごとの自動統計集計」 : 都道府県単位(例:area=13 東京都)で1年分の取引価格(XIT001)を取得すると、数千〜数万件の個別取引JSONが返ってきます。これを無加工でそのままAIのプロンプトへ流し込むと、一瞬でコンテキストウィンドウが溢れてしまいます。そこで gov_mlit.rs では、取得した全取引レコードから取引総額と面積(㎡単価)を自動抽出し、「市区町村 × 物件種別(宅地・中古マンション等)ごとの件数・価格中央値・平均値・㎡単価中央値・平均値」 をRust側で瞬時に計算して mlit_spatial_records テーブル(集計種別 reinfolib_summary および代表取引レコード reinfolib_trade)へ格納する設計としました。

また、--area 東京都 や --area 島根、あるいは --municipalities 島根県 のように日本語の都道府県名(47都道府県すべて内蔵)を指定するだけで、内部で自動的に2桁都道府県コード(13 や 32)へ変換してクエリを発行できるようにしています。

国土交通DPFのGraphQL検索と即時開通設計

もう1つの 国土交通データプラットフォーム(MLIT DPF) は、REST APIではなく GraphQL API(POST https://data-platform.mlit.go.jp/api/v1/、ヘッダ apikey)を採用しています。全国の橋梁・トンネル・河川・砂防・浸水想定区域・道路点検結果など、省庁や自治体が保有するインフラ・防災データセットを横断検索できる基盤です。

gov_mlit.rs では、外部のGraphQLクライアントライブラリを一切使わず、検索キーワード・取得件数・座標範囲(緯度経度・自治体コード)を安全にJSONエスケープした GraphQL search クエリペイロードを組み立て、/usr/bin/curl --config - の標準入力経由でPOST送信するネイティブクライアントを実装しました。

現在、当ラボの環境では REINFOLIB_API_KEY および MLIT_DPF_API_KEY を利用申請後の即時開通レディ状態(オフラインセルフテストおよびFTS5スキーマ検証完了済み)として待機させており、.env に発行されたキーを1行追記した瞬間から、コードの再コンパイルすら不要で全国47都道府県の取引価格集計とインフラ防災データの自動同期が走り出す構成になっています。


毎年検索し直さない一括自動同期と7大DB並列照会

これで、既存の4大DB(法令・保有PDF・国会答弁・学術文献)に今回の3大DB(政府統計・法人公金有報・国土不動産)が加わり、合計7つのローカル一次情報SQLiteデータベース群 が完成しました。

しかし、データベースの数が増えれば増えるほど重要になるのが、「どうやって安全に自動更新し続け、どうやって執筆前の数十ミリ秒で全DBを横断照会するか」 という運用アーキテクチャです。

キー露出を防ぐ標準入力通信と単一ファイル確定

複数の行政APIキー(ESTAT_APP_ID・GBIZINFO_API_TOKEN・EDINET_API_KEY・REINFOLIB_API_KEY・MLIT_DPF_API_KEY)を扱うバッチ処理を自動実行する際、セキュリティと安定性の面で絶対に妥協できない3つの鉄則があります。

🛡️ 行政API自動同期エンジンに組み込んだ3大セキュリティ・堅牢化設計
  1. curl --config - 標準入力渡しによる ps aux キー露出の完全遮断 : サブプロセスとして curl を起動する際、コマンドライン引数に -H "X-hojinInfo-api-token: ..." や ?appId=... を直接渡してしまうと、実行中に同一マシン上で ps aux コマンドを叩かれた際、プロセス一覧にAPIキーやシークレット付きのURLが丸見えになってしまいます。今回の全モジュールでは、コマンドライン引数には /usr/bin/curl --config - のみを渡し、URL・カスタムヘッダ・POSTボディのすべてを 標準入力(stdin パイプ)経由でメモリから直接流し込む ことで、プロセステーブルへのシークレット露出を1文字も許さない設計を徹底しました。

  2. プロセス横断の flock(LOCK_EX) レート制限とアンチボット即時フォールバック : 複数のターミナルや並列サブエージェントから同時に同期・検索が走っても相手省庁のサーバーに負荷をかけないよう、ロックファイルを用いたOSカーネルレベルの排他制御(flock)で最小リクエスト間隔(0.8秒=800ミリ秒以上)を物理強制しています。万が一 HTTP 401 / 403 / 429 やアンチボット応答が返された場合は、リトライや回避試行を一切行わず、その場で即座にローカルSQLiteのオフライン検索へフォールバックします。

  3. 書き込み完了時のWAL完全切り詰め(journal_mode = DELETE) : データの挿入・更新トランザクションが完了した直後に、必ず INSERT INTO ..._fts(...) VALUES('optimize'); と PRAGMA wal_checkpoint(TRUNCATE); PRAGMA journal_mode = DELETE; を実行します。これにより -wal や -shm といった一時ファイルを1バイトも残さず単一 .sqlite ファイルへ確定させ、読み取り専用サンドボックスからの並列 Read-Only アクセス時にロック競合が起きる余地を根絶しています。

そして、これら全行政データベースの差分更新をコマンド1発で実行するのが、新しく新設した統合サブコマンド ./scripts/run_kb_search.sh gov-sync です。

# 全行政一次情報DB(e-Gov法令差分・政府統計・法人公金有報・国土不動産)を一括差分同期
./scripts/run_kb_search.sh gov-sync

さらに、この同期処理を人間が手動で叩く手間すら省くため、当ラボの朝夕の定期ニュース・行政データ収集バッチ(tools/kb-search/src/daily_news.rs)に gov_estat・gov_gbiz・gov_mlit の定期差分同期を直結しました(12時間〜30日のTTLガード付き)。これにより、毎朝・毎夕のバックグラウンド処理の中で最新のマクロ統計や直近の補助金・政府調達・入札公告が静かにSQLiteへ蓄えられ続けます。

執筆前コマンド1発で7大一次情報DBを並列走査

さらに、記事を執筆・改修する前の準備コマンド ./scripts/run_kb_search.sh prep(tools/kb-search/src/workflow_prep.rs)の並列照会エンジン gather_local_evidence_parallel を、従来の4スレッドから 7スレッド完全並列走査 へと拡張しました。

kb-search prep による7大一次情報SQLiteの7スレッド同時並列照会
STEP 1
記事テーマから最大12語を抽出

執筆・監査対象の記事タイトルや見出し案から重要キーワードを抽出し、法令略称(薬機法・取適法・36協定など)を正式名称へ自動展開します。

STEP 2
7大一次情報SQLiteを並列走査

std::thread::scope で7本のワーカースレッドを同時起動し、egov_laws・pdf_library・kokkai・ndl_search・estat・gbiz_edinet・mlit_spatial を並列照会します。

STEP 3
一次根拠と警告をカルテへ統合出力

該当条文・保有PDF(旧版警告付き)・国会答弁・学術DOI・政府統計の最新値・企業補助金/調達/入札・不動産/インフラデータを執筆用バンドルへ一括出力します。

実際に ./scripts/run_kb_search.sh prep new "消費者物価指数 実質賃金 政府調達 補助金" を実行すると、7本のスレッドがそれぞれのSQLiteファイルを独立した Read-Only 接続(SQLITE_OPEN_READ_ONLY | SQLITE_OPEN_NOMUTEX)で同時に開き、7大DBすべてを走査してもウォームキャッシュ時わずか 23.8ミリ秒(事前カルテ全体でも 60.70ミリ秒) で、法令条文・国会答弁・保有PDFとともに「消費者物価指数の基準年別推移」「最新の完全失業率」「直近の省庁調達・入札公告レコード」が執筆用カルテおよびバンドルへ自動挿入されます。

執筆を担当するAIエージェントは、記事の1文字目を書き始める前に、この7大一次情報DBから抽出された確定数値と公式URLの束を目の前に置いた状態でスタートするため、「記憶頼みで古い統計値や架空の出典を捏造する」というハルシネーションが構造的に発生しなくなります。


ローカルSQLite母艦環境とAI構築プロンプト

最後に、この7大一次情報SQLite基盤(母艦の knowledge.sqlite や対話履歴DBを合わせると総容量 約2.86GB)をミリ秒単位で並列走査している当ラボのハードウェア環境と、読者の皆さまがご自身のPC環境で同様の行政API連携SQLite基盤を構築するためのコピペ用AIプロンプトを紹介します。

7大一次情報DBをミリ秒走査する推奨ハード構成

現在、当ラボのローカルデータベース群は、e-Gov全法令DB(933.40 MB)、保有PDF一次資料DB(298.50 MB)、母艦ナレッジDB(437.10 MB)、対話履歴DB(1,168.66 MB)、そして今回拡張した国会・学術・政府統計・法人公金DB群を合わせて 合計 2,862.15 MB(約2.86GB) に達しています。

これだけの規模のSQLite群に対して7スレッド〜12スレッドの並列FTS5検索を飛ばし、わずか十数ミリ秒〜30ミリ秒で結果を返すには、SSDやハードディスクから毎回ブロックを読み出すのではなく、OSのファイルシステムキャッシュと PRAGMA mmap_size(メモリマップドI/O)によって データベース全体を大容量ユニファイドメモリ(RAM)上に常駐させること が決定的な意味を持ちます。

解説ナビゲーター

統計データや毎年の有価証券報告書、不動産取引価格が自動同期でどんどん蓄積されていくと、データベースの容量も数年かけて数GB〜十数GBへと育っていきますよね。母艦のMacやバックアップ用のストレージはどう選べばよいでしょうか?

質問するおじさん

今後何年分もの一次情報をローカルに蓄えてAIエージェントと同時に動かすなら、やはり64GBクラスのユニファイドメモリを積んだMac母艦が圧倒的に快適です。また、単一ファイル確定させた .sqlite 群はコピー1発で丸ごとバックアップできるのが強みですので、高速な外付けポータブルSSDへ定期的にスナップショットを逃がしておく構成を強くおすすめします。

当ラボでローカルSQLite母艦および高速バックアップ用ストレージとして活用・推奨しているハードウェアは以下の2機種です。

Apple Mac mini(M4 Pro 等 Appleシリコン Pro系チップ・64GBユニファイドメモリ構成)

Crucial X9 Pro / X9 Pro For Mac 外付けポータブルSSD (1TB / 2TB / 4TB・USB 3.2 Gen 2 最大1,050MB/s)

※Mac向けAPFS出荷済みの『For Mac』限定パッケージが品薄・在庫切れの場合は、ハード性能とS.M.A.R.T.(属性ID 202)仕様が同一の通常版『Crucial X9 Pro』(ディスクユーティリティでAPFSへ初期化してそのまま使用可)をお選びいただけます。

もちろん、今回ご紹介した政府統計DB(estat.sqlite:初期0.50MB)や法人・公金DB(gbiz_edinet.sqlite:初期1.42MB)から小さく始める場合は、数MB〜数十MBの空き容量があれば一般的なノートPCでも驚くほど軽快に動作します。

事前調査から段階構築させるコピペ用AIプロンプト

ご自身の業務やリサーチ領域(経済分析・企業調査・補助金リサーチ・不動産分析・防災インフラ調査など)に合わせて、今回解説した行政API連携とSQLite自動同期パイプラインをAIコーディングエージェントに構築させるための専用プロンプトを用意しました。

🤖 使用モデルの推奨と安全な段階構築のポイント
  • 最上位の推論・コーディングモデルを指定してください : 複数省庁APIのJSON/XML/GraphQLパース、13桁法人番号のモジュラス9検証、curl --config - 標準入力通信、プロセス横断 flock、二重FTS5、そして wal_checkpoint(TRUNCATE) による単一ファイル確定を漏れなく実装させるため、必ず Gemini 4 Carbon や Gemini 4 Argon をはじめとする各社の最上位推論・コーディングモデルを選択してください。

  • いきなりコードを書かせず「ステップ1:事前調査とAPI選定」から始めます : 以下のプロンプトは、廃止済みのRESAS APIや申請系APIを誤って組み込む事故を防ぎ、あなたの手元環境と利用可能なAPIキーを確認してから段階的に実装するよう安全ロックをかけています。そのままコピーしてAIエージェントへ貼り付けてください。

あなたは熟練したシステムアーキテクト兼公的オープンデータ基盤エンジニアです。
以下の検証記事で公開されている「7大行政公開API(統計ダッシュボード・e-Stat API v3.0・gBizINFO REST API v2・官公需情報ポータルAPI・EDINET API v2・不動産情報ライブラリAPI・国土交通DPF GraphQL API)のローカルSQLite永続化と一括自動差分同期アーキテクチャ」を参考に、私の手元環境に特化した行政一次情報データベース基盤を構築したいと考えています。

参照記事URL:
https://lab.chihouzakki.com/blog/review/gov-api-estat-gbizinfo-edinet-mlit-sqlite-auto-sync-guide/

【重要:いきなりコードの実装やファイルの作成を始めないでください】
まずは私の手元環境を安全に確認し、必要なAPIの選定と設計プランを合意するための「ステップ1:事前調査と要件ヒアリング」のみを実行してください。

■ ステップ1であなた(AI)に実行してほしいこと:
1. 現在のワークスペースのOS環境、利用可能な言語ツールチェーン(Rust / Python / Node.js 等)、および `sqlite3`(FTS5拡張の有効有無)・`curl`・`gzip` の状態を非破壊コマンドで確認してください。
2. ワークスペース内に既存のSQLiteデータベースや `.env` ファイルが存在するか確認してください(※ `.env` の中身・シークレット値は絶対に画面へ出力しないでください)。
3. 以下の6つの設計原則を満たす「行政一次情報SQLite構築プラン(案)」を日本語で分かりやすく提示し、私が優先して連携したい領域(①政府統計、②法人・補助金・調達・有報、③不動産・国土インフラ)と、現在保有しているAPIキーの有無について質問してください。
   - 原則①:2025年3月24日に提供終了した「RESAS API」や、本人認証・電子証明書が必要な「申請系API(マイナポータル・e-Tax等)」は一切使用せず、現行の公開データ取得系APIのみを採用すること。特にマクロ統計は認証不要の「統計ダッシュボードAPI」と「e-Stat API v3.0」のハイブリッド構成とし、e-Statの秘匿記号(`***` 等)と `NOTE` 注記を欠落なく保存すること。
   - 原則②:法人データは国税庁の13桁法人番号(モジュラス9のチェックデジット検証付き)を主キーとして gBizINFO・官公需ポータル・EDINET(`JCN`)を横断名寄せし、gBizINFO v2が該当0件時に返す HTTP 404 (`404 - Not Found.`) を正常0件として安全に処理すること。
   - 原則③:APIキーやトークンを `ps aux` に1文字も露出させないため、`curl --config -`(標準入力渡し)で通信し、プロセス横断の排他ロック(`flock` 等)で0.8秒以上のレート制限を強制すること。また、未設定のAPIキーがあってもエラー停止せず、設定済みAPIと認証不要API(統計ダッシュボード・官公需ポータル)だけで稼働し続けるグレースフル設計とすること。
   - 原則④:3文字以上の部分一致を担う `trigram` FTS5 と、漢字1〜2文字の重要語(「人口」「物価」「防衛」「橋梁」等)を拾う軽量補助 FTS5 の二重インデックス構成とすること。
   - 原則⑤:書き込み完了時に `PRAGMA wal_checkpoint(TRUNCATE); PRAGMA journal_mode = DELETE;` で単一 `.sqlite` ファイルへ完全確定させ、検索・並列照会時は Read-Only 接続でロック競合ゼロ・数ミリ秒で応答できるようにすること。
   - 原則⑥:一度取得したデータを毎年・毎月手作業で検索し直さなくて済むよう、`gov-sync` のような一括差分同期コマンドを用意し、検索結果にはそのまま記事やレポートに貼れるMarkdownリンクと出典リスト形式を自動出力すること。

私の回答と承認を得てから、ステップ2(SQLiteスキーマ作成と認証不要APIからの単体取得テスト)へ進んでください。

まとめ:自動更新される一次情報庫がAIの嘘を断つ

全3回にわたり、当ラボが Pure Rust と SQLite で構築してきた「ローカル一次情報ファクトチェック基盤」の全貌をお届けしました。

解説ナビゲーター

第1弾の「e-Gov全法令26万条文+国会会議録」、第2弾の「国立国会図書館+J-STAGE+PubMed」、そして今回の第3弾で「政府統計(統計ダッシュボード+e-Stat)・企業公金と有報(gBizINFO+官公需+EDINET)・国土空間(不動産情報ライブラリ+国土交通DPF)」までが揃い、しかも定期バッチで自動更新され続ける仕組みが完成したのですね!

質問するおじさん

はい。「AIが書いた数字や出典が本当かどうか、毎回人間がブラウザで検索して確かめる」という労働集約的なやり方では、いずれ必ず疲弊してチェック漏れが起きます。最初に礼儀正しく堅牢なAPI自動同期パイプラインを敷き、執筆前の30ミリ秒で7大一次情報SQLiteから確定した事実だけをAIの目の前に揃える。この「構造によるハルシネーション封殺」こそが、個人開発者やメディアがAI時代を生き抜く最強の武器になると確信しています。

本記事の要点を改めて整理します。

📌 本記事のまとめ:7大行政API×SQLite自動同期基盤の3つの要点
  1. RESAS終了等の3大トラップ回避と5層マトリクスの完成 : 2025年3月に提供終了したRESAS APIや申請系APIを排し、法令・国会・学術に続く第3層(政府統計)・第4層(法人公金・有報・入札)・第5層(不動産・防災インフラ)の7大公開データAPIを Pure Rust で統合しました。

  2. 20秒タイムアウトを1.37ミリ秒へ短縮するハイブリッド設計と13桁法人番号名寄せ : 統計ダッシュボードAPIとe-Stat API v3.0の2段構えで巨大統計表のタイムアウトを解消しつつ二重FTS5で 1.37〜1.43ミリ秒 のオフライン検索を実現。企業データは gBizINFO v2 とチェックデジット検証(モジュラス9)により、13桁法人番号で補助金・政府調達・入札公告・EDINET有報を一気通貫で結合しました。

  3. キー露出ゼロの一括差分同期(gov-sync)と7大DB並列 prep : curl --config - 標準入力通信と journal_mode = DELETE 単一ファイル確定により安全性を極限まで高め、定期自動同期で「毎年検索し直す手作業」を根絶。執筆前の prep コマンド1発で7大一次情報DBを7スレッド同時走査できる体制が整いました。

公的統計や補助金・調達データ、不動産・インフラ情報を使ったリサーチや執筆で「毎回最新データを探し直すのが大変」「AIの数字捏造が怖い」と感じている方は、ぜひ認証不要の統計ダッシュボードAPIや官公需ポータルAPIから、手元のローカルSQLite自動同期基盤を育ててみてください。

7大一次情報SQLiteデータベースの自動同期と並列照会を見守る猫