【AI取扱説明書⑥】なぜAIは速い整数ではなく浮動小数点を使う？65,536通りの16ビット（BF16）と256通りの8ビット（FP8）で壊れない秘密

コンピュータやプログラミングに触れたことがある方ほど、AI の中身を知ったときに 「ちょっと待って！ CPU や回路は『整数』で計算した方が圧倒的に速くて省電力なのに、なぜ AI はわざわざ重たい『浮動小数点（小数）』を使うの？ しかも 16 ビットなんて 65,536 通り、8 ビットなんてファミコンみたいな 256 通りしかないのに、なんで知識が壊れないの？」 と強い疑問を抱くはずです。

結論から言うと、AI は 「鍛えるとき（学習）は 0.00001 単位の微調整と自動ズームができる浮動小数点を使い、完成して動かすとき（推論）は高速な整数（INT8 / INT4）へ丸め込む」 という見事な二刀流で動いています。さらに最新の AI 学習では、重要な原本と集計器だけを 32 ビット（約 42.9 億通り）の金庫で守りつつ、計算の 9 割を占める掛け算だけを「0 付近に目盛りを全集中させた 16 ビット（BF16）」や「32 個単位で専用虫眼鏡を当てる 8 ビット（MXFP8）」へ圧縮することで、精度を落とさず計算速度と脳の規模を数倍に引き上げています。

• 【AI取扱説明書⑤】AIに人間の文字はどう見えている？『16進数・日英トークン格差・意味の座標』と次の1語を選ぶ確率の正体 : 前回記事です。私たちが入力した文字が、今回の主役である「小数の座標（ベクトル）」へ変換されるまでの 4 段階を解説しています。

• 【AI取扱説明書⑦】掛け算を捨てた『1.58ビットAI（BitNet）』の衝撃！3つの壁とIntel最終世代iMacでのローカルAI比較 : 次回記事です。8 ビットからさらに極限まで削ぎ落とし、重みを「-1, 0, +1」の 3 択にして掛け算そのものを消滅させた最新技術を掘り下げます。

• 【AI取扱説明書③】なぜ動画生成や長い会話でAIは急に重くなる？計算負荷の正体と『月25,000クレジット』のリアルな使い道 : データセンターの GPU がどれほどの行列計算とメモリ転送をこなしているか、体感コストの視点から紐解いた記事です。

• 【AI取扱説明書⑧】Ultra 20xからダウングレードして大丈夫？『週間残量68%の算数』と500記事を0.3秒で監査する節約術 : クラウドの巨大 AI クォータを節約しながら大規模サイトを高速運用する実践パイプラインを公開しています。

• 無圧縮の『日本特化型AI』と詐欺・工作を100%濾過する『二層式・AI浄水場』 : 無理なビット圧縮（量子化）に頼らず、モデルの設計自体から無駄を削ぎ落として推論精度を守るアーキテクチャ論考です。

• C 言語やアセンブラ、組み込み開発などの経験があり、「なぜ AI は計算の速い整数や固定小数点ではなく、浮動小数点を使うのか？」 と不思議に思っている方

• AI ニュースや GPU スペック表によく出てくる 「FP32」「FP16」「BF16」「FP8」「INT8 / INT4」 の違いを、仕組みの根っこからスッキリ理解したい方

• 「16 ビット＝ 65,536 通り、8 ビット＝ 256 通りしかない器で、なぜ何千億パラメータもの繊細な知識が潰れないのか」 その数学と回路のトリックを知りたい方

• NVIDIA の H100（Hopper）や Blackwell 世代の GPU がなぜ AI 覇権を握っているのか、ハードウェア設計の強みを知りたい方

① 神経回路の「重み（Weight）」と「バイアス（Bias）」 ：AI の脳は、無数の人工ニューロン（神経細胞）が網の目のように繋がってできています。この繋がりの強さを表すのが「重み」で、0.0234 や -0.1892 といった小数で記録されています。流れてきた信号にこの小数を掛け算することで、「この情報は大事だから強めよう」「ここは邪魔だからマイナスで抑えよう」という絶妙なボリューム調整を行っています。

② 「確率」の表現 ：AI が写真の被写体を判定して「猫である確率 0.85（85%）、犬である確率 0.12（12%）」と出したり、前回見たように「次に来る 1 語の確率分布（合計 1.0）」を計算したりするときに小数がそのまま使われます。

③ 言葉や画像の「意味の座標（ベクトル）」 ：「猫」や「コーヒー」といった言葉を [0.12, -0.45, 0.88, ...] という数千個の小数の並び（座標）に変換し、小数点以下のわずかな差で「意味の近さやニュアンスの方向」を測っています。

④ 学習時の「超微小なチューニング（勾配・学習率）」 ：AI を賢く鍛える（学習させる）ときは、お手本との誤差を減らすように何百億個もの「重み」を少しずつ書き換えます。このとき一気に 1 や 2 も動かすと知識が崩壊してしまうため、0.0001 や 0.00001 という極小の小数（学習率）を使って、顕微鏡レベルの微調整を何百万回も繰り返します。

① 「1 未満の超微小な修正」が階段に阻まれる（微分・勾配降下法の壁） ：AI の学習は、なだらかな坂道の傾き（微分）を測りながら、0.00001 ずつ重みを動かして谷底の正解を探す作業です。もし重みが -128 〜 +127 の整数（階段）だったら、「0.0001 だけ増やしたい」と思っても 0 の次は 1 しかありません。切り捨てれば 永遠に 0 のまま一歩も学習が進まず、無理やり 1 動かせば 修正しすぎて既存の知識が吹き飛んでしまう のです。

② 「普段は極小、たまに巨大」という桁のギャップ（ダイナミックレンジの壁） ：「じゃあ最初から全体を 1 億倍して整数にすればいいじゃないか！」と思うかもしれません。しかし AI の計算中には、普段は 0.0001 のような極小の値を精密に扱いたいのに、特定のニューロンで突発的に 10000 のような巨大な数値（外れ値）が飛び出してくる性質があります。刻み幅が常に一定の整数（固定小数点）では、細かい数に合わせると巨大数で桁あふれ（オーバーフロー）を起こし、巨大数に合わせると細かい数がすべて 0 に潰れてしまいます。その点、浮動小数点は「指数部」のおかげで 0 に近いときはミクロの目盛りに自動ズームインし、大きい数が来たときは自動でズームアウトしてパンクを防ぐ ことができます。

③ 何十層もの掛け算でビット幅が雪だるま式に膨張する ：8 ビットの整数同士を 1 回掛け算すると結果は最大 16 ビットになり、もう 1 回掛けると 32 ビット、64 ビット……と層を通過するたびに必要な桁数が倍増します。毎回割り算して桁を戻す（再スケーリング）手間を入れると、せっかくの整数の速さが帳消しになってしまうのに対し、-1.0 〜 +1.0 を中心とする浮動小数点なら指数部が自動で桁を吸収しながら何十層でも突き進めます。

・ 表現できる最大値 ：約 $\pm 3.39 \times 10^{38}$ （38 桁というとてつもない巨大数までパンクしない！）

・ -1.0 〜 +1.0 の間にある目盛り数 ：なんと 32,512 通り（全パターンの約 49.6% ＝ 約半分！） がこの狭い範囲だけに密集しています。

・ -0.01 〜 +0.01 の極小領域にある目盛り数 ：AI の重みが最も密集するこのわずか 2 センチ幅のような極小の隙間だけでも、実に 約 30,800 通り（全体の約 47%） もの目盛りが超高密度で詰め込まれています。

① 動的スケーリング（Per-Tensor Scaling） ：データをそのまま FP8 に入れるのではなく、事前にデータの塊の中で一番大きな値（絶対値最大：amax）を測り、「その最大値が 448 のギリギリ手前にピタッと収まるような倍率（FP32 の正確なスケール係数）」 を全体に掛けてから FP8 に変換します。8 ビットで超高速に掛け算したあと、32 ビットの集計皿で受け止めてから先ほどの倍率で割り算して元の桁に戻す――つまり 「256 目盛りの小さな定規に、毎回ベストな倍率の虫眼鏡を添えて当てている」 のです。

② ブロックスケーリング（MXFP8：32 個単位の小部屋分割） ：ところが①の方法には弱点がありました。100 万個のデータの中に、99 万 9,999 個の 0.1 と、たった 1 個だけの異常な巨大数 10,000（外れ値） が混ざっていた場合、その 1 個の 10,000 がパンクしないように全体を縮小すると、残り 99 万 9,999 個の小さなデータがすべて目盛り未満になって 0 に消えてしまうのです。そこで最新の Blackwell 世代（MXFP8：Microscaling FP8）などでは、100 万個全体を 1 つの倍率で縛るのをやめ、「隣り合う 32 個ずつの極小グループ（ブロック）」に小部屋分けして、32 個ごとに専用の倍率（8 ビット指数 E8M0）を持たせる 方式へ進化しました。これなら 10,000 が出ても影響を受けるのは同じ小部屋の 31 個だけで済み、他の何百万個ものデータは自分たちにピッタリの 256 目盛りをフル活用できます。最新 GPU はこの「32 個ごとに虫眼鏡を切り替えながら 8 ビットで掛け算する処理」を半導体回路の中で全自動で一瞬でやってのけます。

① AI は「学習＝浮動小数点（BF16 / FP8）」「推論＝整数（INT8 / INT4）」の適材適所で動いている ：微分の微調整が必要な育成期間だけ自動ズーム付きの浮動小数点を使い、完成後は軽快な整数へ丸め込むことでスピードと省電力を両立しています。

② 65,536 通りや 256 通りで壊れないのは「32 ビットの金庫＋ 0 付近への対数集中＋ブロック虫眼鏡」のおかげ ：単体で戦っているのではなく、原本と足し算の受け皿を 32 ビットで守りつつ、一番重い「掛け算の瞬間」だけを極限までスリム化しています。

③ AI の性能を決める真のボトルネックは「メモリ容量とメモリ帯域（データの通り道）」にある ：1 個あたりのビット数を半分に削れば、同じメモリにより巨大な脳（パラメータ数）を載せられ、データの運搬速度も倍増します。手元の Mac や PC でローカル AI を動かすときに「CPU のクロック数」以上に 「メモリ容量（GB）とメモリ帯域幅（GB/s）」 が効いてくるのも、まったく同じ理由です。