
ローカルLLMの無限ループ対策と4bit量子化の限界|Ollama・llama.cpp設定ガイド
ローカルLLM、とりわけ検閲解除(Abliterated)モデルを初期設定のまま動かすと、終了トークン(EOS)が出ずに同じ段落を十数回も反復し続ける無限ループ暴走が頻発します。
この反復ループは単に repeat_penalty の数値を上げるだけでは一切止まらず、Ollamaでは監視窓を広げる repeat_last_n 1024 と repeat_penalty 1.15 の組み合わせ、llama.cpp(llama-server)では思考過程のループを狙い撃ちする DRY multiplier 0.4(およびコンテキスト長 16384)の設定 が決定打となります。
さらにモデルの軽量化においても、4bit未満(3bitや2bit)への過度な量子化は初期層の重み崩壊とCPUのビット展開負荷を招き、フル精度(FP32)よりかえって推論速度が1.48倍〜最大21.5倍も遅くなる逆転現象が起きるため、重要層を混合保護する4bit(Q4_K_M)以上かつ相応のパラメータ規模を死守すること がローカルAI運用の鉄則です。
-
Gemini Canvasで比較グラフを自作する実践術|4軸切替で迷わず選ぶ方法とAI臭さ(Slop)消去プロンプト : 複雑なAIモデル選定や製品比較で縦長の表に迷うのをやめ、Gemini Canvasで評価軸をワンクリック切替できる対話型グラフを作って即断する実践術を解説。Chart.j…
-
Mac Studio(M5 Ultra・512GB)397万円は買いか?TB5の2台連結と帯域の壁 :量子化ビット数とメモリ帯域の算数、256GBモデル2台連結による価格逆転、およびローカルLLMとSQLite+クラウド最上位AIの適材適所の使い分けを徹底検証しています。
-
27B「自己書き換えAI」と思考ログ偽装の罠|llama.cppのMoE共有と監査術 :llama.cpp 1.0のCPUメモリ共有(
--moe-cache-cpu-share)で大型MoEモデルを手元で動かす実践手順と、AIの思考過程(CoT)を過信しない監査手法を解説しています。 -
BitNet b1.58(1.58ビットAI)の仕組みと3つの壁|Intel iMacローカルLLM比較 :学習段階から三値(-1, 0, +1)で訓練するネイティブ極低ビットAIと、学習済みモデルを事後圧縮(PTQ)する一般的な量子化との決定的な違いを整理しています。
-
macOS 27ローカルLLM「fmコマンド」の使い方と限界|0円JSON抽出・OCR・検閲術 :Apple純正ローカルAI基盤をコマンドラインから呼び出す
fmコマンドの実測と、小型オンデバイスAIにおける構造化JSON出力の限界を検証しています。 -
LLMのKVキャッシュ量子化とTurboQuant|VRAMを6倍削るPolarQuant・QJLと無劣化推論 :重みの4bit丸めではなく、長文推論で肥大化するKVキャッシュのみを極座標変換と1bit残差補正で約6倍無劣化圧縮する数理プロトコルと、
llama.cpp(-ctk/-ctv)やvLLMの実務設定を解説しています。
-
Ollamaやllama.cppでローカルLLM(特にAbliteratedモデルや推論モデル)を動かした際、同じ文章を延々と繰り返して止まらなくなる現象に悩んでいる方
-
repeat_penaltyを1.1や1.2に上げてもループが解消せず、具体的にどのパラメータをいくつに設定すれば自然な日本語とループ抑止を両立できるのか知りたい方 -
メモリを節約しようと
Q2_KやQ3_Kなどの極低ビット量子化モデルを試した結果、回答が支離滅裂になったり推論速度がかえって遅くなったりした原因を知りたい方 -
1B(10億パラメータ)前後の超小型ローカルモデルに高度なロールプレイ指示書(
SKILL.md等)を読ませても機能しない構造的な境界線を把握したい方

MacにOllamaを入れて検閲解除(Abliterated)の9Bモデルを動かしてみたんだけどさ、最初はいい感じに書いていたのに、途中から同じ段落を何十回もコピペみたいに繰り返して1万6,000文字まで暴走しちゃったんだよ!

ローカルLLMあるあるですね。しかもネットの記事を見て repeat_penalty を少し上げただけでは、1トークンも改善しなかったのではないでしょうか?実はループが止まらない真犯人は「ペナルティの強さ」ではなく「監視するトークン窓の広さ」と「思考過程(Reasoning)の肥大化」にあるんです。

えっ、思考過程のなかでループしていたの!?それにメモリをケチって3bit量子化や1Bの超小型モデルも試しているんだけど、なんだか挙動がおかしいんだよね……。

そこにも数理的な「絶対に越えてはいけない一線」があります。今回は実測データと最新の量子化論文をもとに、無限ループをピタッと止める具体的な設定値から「4bit死守」の根拠まで一気に解き明かしていきますよ!
検閲解除モデルの無限ループを止める実測設定
ローカル環境で自由な文章生成や検証を行う際、過剰な安全拒否(いわゆる説教モード)を取り除いた Abliterated(検閲解除)モデル は非常に重宝します。
しかし、拒否応答に関わる特定の表現方向を重みから直交除去(Abliteration)する過程で、文章を適切に締めくくる 終了トークン(EOS:End of Sequence)の出力確率まで相対的に弱まる副作用 が生じやすくなります。
その結果、一度似たようなフレーズが文脈内に現れると自己強化ループに吸い込まれ、コンテキスト上限に突き当たるまで同じ文を吐き出し続ける暴走が発生します。
なぜ初期設定だと同じ文を最大13回も繰り返すのか
この現象を定量的に解剖した Shinka Spool Labs氏によるOllamaとllama.cppのループ実測検証(Zenn) では、Mac mini上で qwen3.5-abliterated:9b を動かし、「日本の四季について1,000文字程度のエッセイを書く」という同一プロンプトでの挙動が計測されています。
なお、同検証は生成AIの確率的な揺らぎを含む各条件1回試行の実測値ですが、パラメータ間の構造的な効き方を比較する裏付け(エビデンス)として極めて示唆に富んでいます。
まず、何も対策しない初期設定(デフォルト)で生成させた場合、本来1,000文字程度で終わるはずのエッセイが 16,291文字 まで止まらずに暴走しました。
出力された全文を文単位で解析すると、実に 全体の76%がすでに出力された文の繰り返し で占められており、38種類の同じ文が 最大13回 も反復されていたのです。
ここで多くの方が最初に試すのが、同じ単語の反復に罰則を与える repeat_penalty を 1.1 に設定する方法です。
ところが、repeat_penalty 1.1 単独で実行しても出力文字数は 17,344文字、繰り返し率は 76%(最大11回反復) のままであり、初期設定とまったく変わらない結果に終わりました。
Ollamaはペナルティ値より監視窓の拡張が効く
なぜ repeat_penalty を有効にしてもループが止まらないのかというと、最大の障壁(ボトルネック)はペナルティの「強さ」ではなく、過去どこまでのトークンを振り返って監視するかという 範囲(repeat_last_n) にあります。
Ollamaにおける repeat_last_n の既定値はわずか 64トークン(日本語で約40〜60文字程度)しかありません。
段落単位や数百トークン周期でぐるぐる回る長周期ループが発生した場合、64トークン前の記憶しか見ない初期設定では「すでに同じ文を書いたこと」自体が視野の外に消えてしまい、ペナルティが一切発動しないのです。
そこで監視窓である repeat_last_n を既定の16倍にあたる 1024 へ広げた上で、repeat_penalty を段階的に調整した実測結果が以下の表およびグラフです。
| 設定条件(Ollama) | 総出力文字数 | 文の繰り返し率 | 最大反復回数 | 終了状態と日本語の品質 |
|---|---|---|---|---|
| 未対策(デフォルト) | 16,291文字 | 76% | 13回 | EOSが出ず上限まで暴走 |
repeat_penalty 1.1 単独(窓64) |
17,344文字 | 76% | 11回 | 周期が見えず効果なし |
1.15 + repeat_last_n 1024 |
大幅短縮 | 52% | 6回 | 自然終了(日本語も自然) |
1.3 + repeat_last_n 1024 |
適正長 | 6% | 2回 | 結論到達(末尾にやや不自然さ) |
グラフから一目瞭然のとおり、repeat_last_n 1024 に広げて初めてペナルティが機能し、repeat_penalty 1.15 で最大6回反復での自然終了、1.3 では繰り返し率 6%(最大2回) で綺麗に結論へ到達しています。
ここで「それなら最初から repeat_penalty 1.3 に固定すれば完璧ではないか?」と疑問に思われるかもしれません。
しかし、repeat_penalty は「一度使ったトークンすべて(助詞や一般的な接続詞・基本語彙を含む)」に対して一律に再出現を抑え込む仕組みです。
そのため 1.3 のように強くかけすぎると、文章の後半で本来使うべき自然な助詞や単語まで「使用禁止」に近い扱いとなり、末尾の日本語表現が不自然に歪む二律背反(トレードオフ) が生じます。
したがってOllamaで運用する際は、まず repeat_last_n 1024 + repeat_penalty 1.15 を標準の起点とし、それでも止まらないモデルに限って 1.2 〜 1.25 へ微調整するのが最も安全な定石です。
ループの主戦場は本文ではなく思考過程にあった
さらに興味深い事実が、同じモデルを llama.cpp の llama-server 上で動かし、モデル内部の 思考過程(Reasoning / <think> ブロック) と 最終的な回答本文 を分離して計測した実験で判明しています。
普段 ollama run をターミナルで実行すると、思考過程と本文がひと続きの出力として見えるため「記事全体が76%ループしている」ように映ります。
ところが llama-server で両者を分けて測定したところ、驚くべきことに 何もループ対策(DRYサンプラー等)を入れていない状態でも、最終的な「本文」の繰り返し率は0%(769文字) だったのです。
ではどこで無限ループが起きていたのかというと、出力の裏側にある 「思考過程(Reasoning)」の繰り返し率が64%(最大9回反復) に達していました。
つまり、Abliteratedモデルが「次に何を書こうか」「構成はどうすべきか」と自問自答する思考トークンのなかで同じ推論ループにハマり続けていたのが真相だったのです。
しかも、コンテキスト長を --ctx-size 8192 に設定していた回では、この思考ループだけで8,192トークンの枠を使い切ってしまい、肝心の「本文」が1文字も出力されないまま空っぽで終了する事故 まで確認されています。
推論(Reasoning)機能を持つ近年のローカルLLMを動かす際は、思考トークンの膨張で本文が押し潰されないよう、コンテキスト長を --ctx-size 16384 以上へ広げておくことが不可欠です。
DRYサンプラーの最適値とカギ括弧が増える副作用
この思考過程の長周期フレーズ反復をピンポイントで止めるために、llama.cpp に搭載されている強力な武器が DRY(Don’t Repeat Yourself)サンプラー です。
単一トークンの出現頻度を叩く repeat_penalty とは異なり、DRYサンプラーは「直前に出現した単語の並び(N-gramシーケンス)が再び続きそうになった瞬間」を検知し、一致する長さに応じて指数関数的にペナルティを跳ね上げます。
Shinka Spool Labs氏の実測データ において、--dry-base 1.75 および --dry-penalty-last-n 8192 を固定し、効きの強さを決める --dry-multiplier を変えた際の結果は以下のとおりです。
-
DRY未適用(multiplier
0.0/ 対照群) :思考過程の繰り返し率は 64%(最大9回) と激しくループする一方、本文は769文字・繰り返し率 0% で、本文中のカギ括弧「」の出現頻度は1,000文字あたり 1.3回 と極めて自然でした。 -
--dry-multiplier 0.8(一般的な強めの設定) :思考過程の繰り返し率は 0% へと完全に消滅し、本文も1,129文字・繰り返し率 0% で出力されました。しかし副作用として、本文中のカギ括弧「」が1,000文字あたり 52.3回(未適用時の約40倍) も乱用される異常が発生しました。 -
--dry-multiplier 0.4(スイートスポット推奨値) :思考過程の繰り返し率を 5% までほぼ抑え込みつつ、本文(1,197文字・繰り返し率 0%)におけるカギ括弧「」の出現を1,000文字あたり 15.0回(0.8の約3分の1) へと大幅に軽減できました。
なぜ --dry-multiplier 0.8 のようにDRYを強くかけすぎると、急にカギ括弧「」だらけの文章になるのでしょうか。
これは、DRYサンプラーが「過去に一度でも使った標準的な言い回しや助詞の連鎖」を片っ端から封鎖してしまうため、モデルがペナルティを回避しようと 普段は選ばないカギ括弧付きの強調表現へ逃げ込む(トークン分布の歪み) ために起こる現象です。
したがって、llama-server で思考ループを止めつつ日本語の自然さを守るには、--dry-multiplier を 0.3 〜 0.5(目安は 0.4) の範囲に留めるのが最もバランスの良い最適解となります。
量子化はどこまで落とせる?4bit死守の数理
無限ループ対策と並んで、ローカルLLM運用で誰もが直面するのが「メモリ(VRAM / ユニファイドメモリ)に収めるために、何ビット量子化まで落としてよいか?」という問題です。
Hugging Face等で配布されているGGUFファイルには、Q8_0(8bit)から Q4_K_M(4bit混合)、さらには Q3_K_S(3bit)や Q2_K(2bit)まで並んでいます。
「サイズが一番小さい2bitや3bitを選べば、メモリも食わないし計算も速くなるはずだ」と考えがちですが、ここには 精度崩壊とCPU速度逆転という2つの致命的な罠 が潜んでいます。
精度劣化ゼロの8bitと均一3bit崩壊の境界線
この「4bit未満(Sub-4-Bit)でなぜ急激にモデルが壊れるのか」という数理的なメカニズムを、徹底した実験で明らかにしたのがMichael Schroeder氏の論文 『Why Sub-4-Bit Vision CNNs Collapse and Where Mixed-Precision Recovery Stops』(arXiv:2611.23445v2) です。
ここで読者の方の疑問に先回りしてお答えすると、同論文の実験対象自体はImageNet-1k(検証画像50,000枚)における視覚畳み込みニューラルネットワーク(EfficientNet-B0およびResNet系)です。
しかし、この論文が突き止めた「少パラメータ層での量子化誤差の未相殺」「外れ値によるゼロ潰れ」「標準CPUにおけるサブバイト展開の遅延」という3つの物理法則は、マルチモーダルLLM(VLM)の視覚エンコーダ層はもちろん、Transformer系LLMのGGUF量子化(K-quant設計)にもそのまま直結する普遍的な知見です。
まず、EfficientNet-B0に対して追加学習なしの事後均一量子化(PTQ:Post-Training Quantization)を施した際の、ビット数別の精度・容量・CPU推論時間が以下の表です。
| 量子化ビット数(均一PTQ) | ImageNet-1k Top-1精度 | 精度劣化幅 | モデル容量 | CPU推論時間(1枚あたり) |
|---|---|---|---|---|
| FP32(32bitフル精度) | 72.86% | 基準(0.00pt) | 20.43 MB | 9.81 ms(基準) |
| INT8(8bit均一量子化) | 72.81% | -0.06pt(実質無劣化) | 6.00 MB | 6.65 ms(32.2%高速化) |
| W4(4bit均一量子化) | 23.03% | -49.83pt(大幅劣化) | 3.59 MB(WI4) | サブバイト展開負荷発生 |
| W3(3bit均一:-3〜+3の7段階) | 0.30% | -72.56pt(完全崩壊) | 2.47 MB(INT3) | サブバイト展開負荷発生 |
この実測データが示すとおり、8bit(INT8) はモデル容量を20.43MBから6.00MBへと70.7%圧縮し、CPU推論速度(中央値)も9.81msから6.65msへと 32.2%高速化 しながら、精度劣化はわずか 0.06ポイント(72.864%→72.81%)という実質無劣化の「黄金比」を達成しています。
ところが、すべての層を一律に4bitへ落とした均一W4では精度が 23.03% へ急落し、さらに3bit(-3から+3までのわずか7段階の整数しか表現できない均一W3)に落とすと、精度は 0.30%(1,000クラスの当て推量である0.1%とほぼ同等の完全なランダム状態)へと崩壊してしまいます。
初期層の誤差と外れ値が重みをゼロに潰す3つの罠
なぜ4bitから3bitへたった1ビット減らしただけで、ここまで断崖絶壁のような急落が起きるのでしょうか。Schroeder氏の論文(arXiv:2611.23445) は、その真因を以下の3つの数理メカニズムとして特定しています。
-
少パラメータ層(初期Depthwise層等)で量子化誤差が平均化されない :数百〜数千の入力を足し合わせる通常の全結合層や標準畳み込み層では、個々の重みの丸め誤差がプラスとマイナスで打ち消し合います(大数の法則)。しかしEfficientNetの初期3×3 Depthwiseフィルタは 1チャネルあたりわずか9個の重み しか持たないため誤差が一切相殺されず、ここで生じた歪みが後続の全層へ増幅伝播します。実際、モデル全体のわずか 0.34%(14KB)にあたる初期重みだけを8bit(W8)で保護 して残りを4bitにした途端、W4の精度は23.03%から 65.95%(+42.92ポイント) へと劇的に回復しました。
-
たった1つの外れ値(Outlier)が内側95%の重みを「ゼロ(q=0)」に潰す :3bit対称量子化では、重みを
-3, -2, -1, 0, +1, +2, +3の7つの箱に割り振ります。このとき層内にたった1つでも巨大な外れ値が存在すると、最大値に合わせて1目盛りのステップ幅が極端に引き伸ばされます。その結果、ゼロ付近に密集している 本来の重要な重みの95%以上がすべて中央の「0(q=0)」に丸め込まれて消滅 し、ニューロン間の結合が物理的に断線した状態になります。 -
丸め誤差の蓄積による正規化統計(BatchNorm)のズレ :各層で重みが粗く丸められると、出力される活性化(Activation)の平均値と分散が学習時の想定から大きくズレてしまい、凍結された正規化パラメータとの不整合が連鎖的な出力破綻を引き起こします(1,000枚の画像によるBatchNorm再校正だけでも+3.94ポイント回復します)。
この第1・第2の知見は、私たちが普段LLMのGGUFモデルを選ぶ際に 「なぜ単純な Q4_0 や Q3 ではなく、K-quant方式の Q4_K_M を選ぶべきなのか」 という理由を見事に説明しています。
Q4_K_M はすべての重みを一律4bitに潰すのではなく、外れ値や誤差に敏感な重要テンソル(Attentionの出力投影やFFNの一部、初期・最終層付近)を6bit等で混合保護し、さらにブロック単位でスケールを細かく適応させることで「ゼロ潰れ」を防いでいるのです。
混合精度回復の限界とCPUビット展開の遅延問題
では、最新の回復アルゴリズムを総動員すれば、3bit級の超低ビットでもフル精度並みに戻せるのでしょうか。
論文では、①重要層の5%未満を高精度(8bit等)に保つ混合精度保護、②外れ値を切り捨てるMSE最適クリッピング、③BatchNorm統計の再校正、④全82層に対する動的計画法(Dynamic Programming)でのビット配分最適化、⑤1エポックの量子化認識学習(QAT)という5段階の回復策をすべて投入しています。
しかし、これら全ての技術を極限まで尽くしても、平均 3.56bit における最終精度は 68.98% で頭打ちとなり、FP32(72.86%)との間に 約3.9ポイントの絶対に埋まらない「誤差の床(Error Floor)」 が残ることが証明されました。
さらに見逃せないのが、「ビット数を3bitや2bitに減らしたのに、かえってCPU推論が何倍も遅くなる」 というハードウェアの現実ギャップです。
- 精度と文脈維持 :重要層が保護され、8bitなら劣化ほぼゼロ(-0.06pt)、
Q4_K_Mでも実用十分な論理性を維持できます。 - ハードウェア整合 :8bit(1バイト)や4bit(半バイト=1ニブル)はメモリアライメントとSIMD命令の親和性が高く、メモリ帯域削減の恩恵をそのまま高速化へ転換できます。
- 日本語の安定性 :敬語や専門用語の微細な重みがゼロに潰れず、反復ループにも陥りにくくなります。
- 精度崩壊と誤差の床 :均一3bitでは精度0.30%へ崩壊し、高度な混合精度回復を尽くしても約3.9ptの誤差の床が残ります。
- CPUビット展開の激重遅延 :標準的なARM / x86 CPUには3bit等のサブバイト演算命令が存在せず、実行時のビット切り出し負荷でFP32より 1.48倍〜最大21.5倍も遅く なります。
- ループと幻覚の誘発 :重みの95%がゼロ付近へ潰れることで語彙選択が貧困化し、無限ループや意味不明な造語が多発します。
なぜ3bitや複雑な混合精度モデルがCPUで遅くなるのかというと、私たちが使うMac(Apple Silicon ARM)や一般的なPC(x86)のCPUは、8bit(1バイト)、16bit、32bitという「2のべき乗バイト境界」でデータを処理するように設計されているからです。
標準CPUには「3bit×3bitを直接掛け算する専用ハードウェア命令」が存在しません。
そのため、3bitや層ごとにビット数がバラバラな混合精度モデルをCPU上で動かすと、計算する直前にソフトウェア処理でバイト境界から3bitずつビットシフトとマスク演算で切り出し(bit-unpacking:ビット展開)、8bitや32bitのレジスタへ並べ直す膨大なオーバーヘッドが毎回発生します。
論文の実測でも、理論上のモデル容量は5倍以上小さくなっているにもかかわらず、このソフトウェア・ビット展開の負荷によって、CPU推論時間はFP32(9.81ms)と比べて 1.48倍(15.43ms)から、複雑な混合精度構成では実に21.5倍(376.8ms)も遅くなる という衝撃的な逆転現象が記録されています。
私たちが以前 Mac Studio(M5 Ultra・512GB)の量子化とメモリ帯域の検証記事 や BitNet b1.58の仕組みと壁の解説記事 でも触れたとおり、専用カーネルが最適化された方式を除き、既存の学習済みモデルを事後圧縮(PTQ)して使う場合は 「どんなに妥協しても Q4_K_M(4bit混合)を死守し、メモリに余裕があれば Q6_K や Q8_0 を使う」 のが数理的にもハードウェア的にも唯一の正解です。
名作指示書でも1B小型モデルを救えない理由
ここまで「パラメータ設定によるループ抑止」と「4bit以上の量子化死守」を見てきましたが、もう1つローカルLLMの限界として押さえておくべきなのが 「モデルそのもののパラメータ規模(1B=10億パラメータ級)の下限」 です。
「プロンプト(システム指示書)さえ緻密に作り込めば、ラズパイや古いPCでも動く1Bクラスの超軽量モデルでも賢く振る舞えるのではないか?」という期待を検証した好例があります。
答えを教えない102行の家庭教師スキルとは何か
世界的なクオンツ金融取引企業であるJane Streetが GitHubリポジトリ『janestreet/agent_skills』 で公開し、2026年11月17日時点で 9,618スター を集めている名作のAIエージェント指示書コレクションがあります。
そのなかに収録されている socratic-tutor(ソクラテス式家庭教師) は、SKILL.md としてわずか 102行・5,243バイト で記述された教育用プロンプトです。
この102行の指示書には、AIを「絶対に最初から答えを教えず、対話と問いかけだけで学習者自身の理解を引き出す一流の家庭教師」に変えるための厳格な行動規則(状態機械)が定義されています。
-
導入での理解度診断(3〜5問の事前テスト) :いきなり解説を始めることを禁じ、まず学習者の現在の理解度を測るために3〜5問の診断質問を行います。
-
内部での6段階ルーブリック採点(0〜5点) :各トピックに対する学習者の習熟度を0点(未理解)から5点(完全習得)までの基準で内部追跡し、点数が低い箇所から順番にカリキュラムを組み立てます。
-
「1回の返答につき質問は1つだけ」の厳守 :学習者が圧倒されないよう、一度に複数の質問を浴びせることを禁じ、必ず1ターン1問のキャッチボールを徹底します。
-
「答えの直接提示」の絶対禁止 :学習者が「答えを教えて」「わからない」と頼んでも直接正解や解き方を書き出さず、一段階手前のヒントや具体例への置き換え質問で気づきを促します。
公式READMEでも、ClaudeやGemini、ChatGPTといった指示追従能力の高い大型モデルに読ませて対話学習を行う使い方が本来の前提として設計されています。
ローカル1Bモデル3種が複合ルールで破綻した実測
では、この洗練された102行の指示書を、誰でも手軽に動かせる ローカル1B級(0.8B〜1.5B)の超小型モデル に与えたらどうなるのでしょうか。
この疑問を llama.cpp v1.0.0(llama-server、温度0.7・生成上限1,024トークン)で実機検証した ikesita氏による『socratic-tutor』ローカル1Bモデル実測記事(Zenn) では、以下の3つの小型モデルに SKILL.md(102行)をシステムプロンプトとして与え、共通して 「一次方程式を教えてください」 と話しかける実験が行われました。
| 検証されたローカル小型モデル | 量子化・容量 | 「一次方程式を教えてください」に対する実測挙動と破綻パターン |
|---|---|---|
Gemma-3-1b-it(1.0B) |
Q4_K_M(768.7MB) |
日本語では「一次方程式」が伝わらずトピックを聞き返し、英語(teach me linear equations)ではシステムプロンプト本文をそのままオウム返しして失敗。 |
Qwen3.5-0.8B(0.8B) |
Q4_0(537.0MB) |
「1. 診断問(3 問で判断)」と形だけ真似た直後から同じ文言を延々と繰り返す無限ループに陥り、上限1,024トークン(130.2秒)を使い切って途中切断。 |
Qwen2.5-1.5B-Instruct(1.5B) |
Q4_0(約1.07GB) |
一次方程式を頼んだにもかかわらず二次方程式(x^2 + 2x - 3 = 0)を例に挙げ、家庭教師とは真逆にユーザーへ「その答えを教えてください」と要求して破綻。 |
結果として、1B〜1.5B級の超小型ローカルモデルでは、3機種すべてにおいて診断テスト・スキルマップ・1問ずつの出題という中核ルールを1つも実行できなかった ことが実測で報告されています。とりわけ Qwen3.5-0.8B が複合指示に耐えきれず反復ループで1,024トークンを使い切った挙動は、前半で確認したループ問題とも根底で繋がっています。
なぜ1B級の小型モデルでは102行の指示書が効かないのかというと、「〜を教えて」というユーザー入力に対して「相手の質問にすぐ答えを出してはいけない」「まず3〜5問の診断計画を立てつつ、出力は1問だけに抑える」といった 「事前学習の自然な慣性に逆らう複合的な禁止条件」 を同時に満たすには、複数のAttentionヘッドでシステム指示の禁止事項と現在の対話段階を並列監視し続けるだけの表現容量(パラメータ数)が必要になるからです。
1B級の小型モデルではその「複合制約を保持し続けるワーキングメモリ」が決定的に不足しているため、指示文のオウム返しや意味のない反復ループ、あるいは役割の逆転といった崩壊が起きてしまうのです。
プロンプトで補える下限とクラウドAIの使い分け
この実測結果は、ローカルLLMを活用するエンジニアにとって非常に大切な教訓を含んでいます。
「プロンプトエンジニアリング(指示書の工夫)でモデルの賢さを引き出せる」というのは事実ですが、それには 「モデル自体が複数の制約条件を同時に保持できる最低限のパラメータ規模(および4bit以上の量子化精度)を備えていること」 という明確な下限が存在します。
当ラボの macOS 27純正ローカルLLM「fmコマンド」の検証記事 や llama.cppのCPUメモリ共有による大型MoE運用ガイド でも実証してきたとおり、実務でストレスなくローカルLLMを使いこなすための役割分担は以下のように整理できます。
-
1B〜3Bクラス(超小型オンデバイスAI)の守備範囲 :100行を超える複合ルールやロールプレイ(「答えを教えずに1問ずつ誘導する」等)には一切向きません。「与えられた短いテキストから日付と金額だけを抽出する」「定型フォーマットへ1対1で変換する」といった 単一目的・短文の単純タスク専用 と割り切る必要があります。
-
8B〜14Bクラス(
Q4_K_M〜Q8_0量子化)の守備範囲 :今回紹介したrepeat_last_n 1024+repeat_penalty 1.15(Ollama)やDRY multiplier 0.4+--ctx-size 16384(llama-server)を適用することで、日常の文章ドラフト作成や要約、ローカルでの壁打ち相手として実用十分な安定性を発揮します。 -
27B〜大型MoEモデル/またはクラウド最上位AI(
Gemini 4 Carbon/Argon等)の守備範囲 :socratic-tutorのような厳格な状態機械ロールプレイ、複数ファイルにまたがるコード監査、あるいは1bitの事実誤認も許されない一次情報の裏取りには、手元の小型モデルで無理をせず、大容量メモリ機での大型モデルかクラウドの最上位推論モデルを直結させるのが最も時間対効果に優れています。
推論として、手元の1Bモデルや2bit量子化モデルの暴走を止めようとプロンプトの書き換えに週末の10時間を費やすくらいなら、最初から Q4_K_M 以上の8B〜14Bモデルに正しいサンプラー設定(repeat_last_n 1024 / DRY 0.4)を与えるか、複雑な制御はクラウド最上位AIへ任せる ほうが、開発生産性は10倍以上高まります。
ローカル推論設定と量子化を診断するAI指示書
手元のMacやPCで動かしているOllamaの Modelfile、あるいは llama-server / llama-cli の起動スクリプトに「ループを招く初期設定の罠」や「4bit未満の危険な量子化指定」が紛れ込んでいないかを一発で点検できるよう、AIエージェント用の診断プロンプトを用意しました。
最上位AIで設定ファイルを事前診断するプロンプト
以下のプロンプトをコピーし、Gemini 4 Carbon (High) や Gemini 4 Argon (High) などの最上位推論モデル(またはコーディングエージェント)へ貼り付けて実行してください。既存の設定をいきなり書き換えず、まずは安全な Read-Only(読み取り専用)での事前調査 から開始する2段階構成になっています。
# ローカルLLM(Ollama / llama.cpp)無限ループ対策&量子化健全性・事前診断プロンプト
※推奨実行モデル:Gemini 4 Carbon (High) または Gemini 4 Argon (High)
あなたはローカルLLMの推論エンジン(Ollama / llama.cpp)および量子化最適化に精通したシニアAIインフラエンジニアです。
以下の技術検証記事の実測データと数理基準を参照し、私のローカルLLM環境の設定を【フェーズ1:Read-Only事前調査】から順番に診断してください。
■ 参照すべき一次基準記事:
https://lab.chihouzakki.com/blog/review/local-llm-abliterated-loop-fix-sub4bit-collapse-guide/
---
## 【絶対遵守ルール】
1. いきなり既存の `Modelfile` や起動スクリプト(`.sh` / `.plist` / `.service` 等)を上書き変更しないでください。
2. まずは【フェーズ1】として現在の設定値と使用モデルの量子化形式を読み取り、診断レポートと改善案を提示して私の承認(Yes/No)を待ってください。
---
## 【フェーズ1:Read-Only事前調査(現状の棚卸しと4大リスク判定)】
手元のプロジェクト(または私が貼り付ける設定内容・`ollama show --modelfile <モデル名>` の出力・`llama-server` 起動引数)を確認し、以下の4項目を点検して表形式で報告してください。
1. **反復監視窓(`repeat_last_n`)とペナルティ(`repeat_penalty`)の診断(Ollama)**
- `repeat_last_n` が既定の `64`(または未指定)のままになっていないか?
- 長周期ループを抑止しつつ末尾の日本語崩壊を防ぐ推奨起点(`repeat_last_n 1024` + `repeat_penalty 1.15`)との差分を判定すること。
2. **思考過程(Reasoning)のコンテキスト圧迫とDRYサンプラー診断(llama.cpp / `llama-server`)**
- 推論(`<think>`)を行うモデルに対し、`--ctx-size` が `8192` 以下で本文が空になるリスクはないか?(推奨:`16384` 以上)
- `--dry-multiplier` が未設定(`0.0` で思考ループ64%リスク)、または強すぎ(`0.8` 等でカギ括弧「」が52.3回/1,000字に急増する副作用リスク)になっていないか?(推奨スイートスポット:`--dry-multiplier 0.4 --dry-base 1.75 --dry-penalty-last-n 8192`)
3. **GGUF量子化ビット数とCPUサブバイト展開遅延の診断**
- 使用中のモデルが4bit未満(`Q2_K`, `Q3_K_S`, 均一W3相当など)になっていないか?
- 初期層の誤差未相殺・外れ値によるゼロ潰れ・CPUでのビット展開(bit-unpacking)遅延(FP32比1.48倍〜最大21.5倍の速度低下)を避けるため、マシンのメモリ容量に応じた `Q4_K_M` 〜 `Q8_0` への移行案を提示すること。
4. **パラメータ規模(1B級など)とシステムプロンプト複雑度の適合性診断**
- 1B〜1.5B級の超小型モデルに対して、複数の否定制約や多段階の状態遷移(100行規模のロールプレイ指示等)を無理に背負わせていないか?
---
## 【フェーズ2:承認後の段階的チューニング適用】
私がフェーズ1の診断結果を確認して「承認」したら、元の設定をバックアップした上で、改善済みの `Modelfile` または `llama-server` 起動コマンドを出力・反映し、約1,000文字の長文生成テストで「既出文の繰り返し率」と「記号(カギ括弧等)の偏り」が解消されたことを確認する検証ワンライナーを提示してください。
快適動作の推奨機材とまとめ:最適設定で回す
ローカルLLMを「無限ループなし・量子化崩壊なし」の快適な状態で常用するには、モデルを Q4_K_M(4bit混合)から Q8_0(8bit)の精度で保持し、かつ --ctx-size 16384 のKVキャッシュを余裕をもって展開できるユニファイドメモリ環境と、数十GBにおよぶGGUFモデル群を高速に読み書きできる外部ストレージが大きな力になります。
量子化4bit以上と長文窓を支える推奨ハード構成
8B〜14Bモデルを劣化ほぼゼロの8bit(Q8_0)で複数常駐させたり、27B〜70Bクラスの中・大型モデルを Q4_K_M +長文コンテキスト(16384トークン以上)でストレスなく回したりする場合、高帯域なユニファイドメモリを備えた Mac Studio はローカルAI母艦として極めて優秀な選択肢です。
また、Q4_K_M と Q8_0 の比較検証や、Abliteratedモデル・各種GGUF量子化バリエーションを何十本もダウンロードして手元に保管していると、内蔵SSDの容量はあっという間に圧迫されます。
USB 3.2 Gen2(最大1,050MB/s)に対応し、MacのAPFSフォーマットでそのまま高速なモデル置き場として使える Crucial X9 Pro for Mac(外付けポータブルSSD) を1台繋いでおくと、内蔵ストレージを一切汚さずに数多くのローカルLLMを瞬時にロードして実験できます。

なるほどなぁ……!repeat_penalty をいくらつついても止まらなかったのは、Ollamaの監視窓がたった64トークンしかなかったからなんだね。さっそく repeat_last_n 1024 と 1.15、それに llama-server の DRY 0.4 を試してみるよ!

はい!そしてメモリを節約したいときも、3bit以下に落とすと重みの95%がゼロに潰れてCPUのビット展開でかえって遅くなりますから、「量子化は Q4_K_M 以上を死守、余裕があれば Q8_0」を合言葉にしてくださいね。
-
Ollamaのループ対策は「監視窓の拡張」が最優先 :既定の64トークン窓では段落単位の反復が見えないため、まず
repeat_last_n 1024+repeat_penalty 1.15を設定します(1.3まで上げると繰り返し率は6%に減りますが、末尾の日本語が不自然になる二律背反[トレードオフ]に注意)。 -
llama.cpp(
llama-server)は思考ループをDRY 0.4で叩く :反復の主戦場は本文ではなく思考過程(未対策で繰り返し率64%)にあるため、思考枠で本文が消えないよう--ctx-size 16384に広げた上で、カギ括弧「」の乱用副作用(0.8で52.3回/1,000字)を抑える--dry-multiplier 0.4(0.3〜0.5)を指定します。 -
量子化は「4bit(
Q4_K_M)以上〜8bit(Q8_0)」を死守する :8bit量子化は精度劣化-0.06ポイントで32.2%高速化する黄金比ですが、4bit未満(均一3bit等)に落とすと初期層の誤差と外れ値で精度が0.30%へ崩壊し、標準CPUのビット展開負荷でFP32より 1.48倍〜最大21.5倍も遅く なります。 -
1B超小型モデルに複合ロールプレイは背負わせない :102行の名作指示書『socratic-tutor』でも1B級モデル(0.8B〜1.5B)では複数制約を維持できないため、1B級は単一抽出タスク専用と割り切り、高度な対話や監査には8B〜大型モデルおよびクラウド最上位AIを使い分けます。
ローカルLLMは、その内部で起きている「サンプラーの視野」と「量子化の物理法則」さえ正しく掴めば、不可解な暴走に振り回されることなく頼もしい相棒として手元で動かし続けることができます。ぜひご自身の Modelfile や起動スクリプトを見直してみてくださいね。
