ChatGPTブログ採点「9.8点の壁」の正体|減点バイアスの逆利用法とGemini安全フィルターの仕組み
自分で書いたブログ記事や事業計画書、設計ドキュメントを ChatGPT に読み込ませて「プロの視点で 10 点満点で厳しく採点して」と頼んだことはありませんか?最初は見落としていた弱点を鋭く指摘してくれて感動するのですが、言われた通りにすべて修正して再提出しても 「9.6 点 → 9.7 点 → 9.8 点」でピタリと止まり、そこからは重箱の隅を無理やり捏造され続けて永遠に 10 点満点にならない無限ループ に陥ります。
結論からお伝えすると、ChatGPT が 9.8 点から先で難癖をつけ続けるのは原稿が悪いからではなく、強化学習(RLHF)によって染みついた 『減点ロールプレイ病(0.2 点引いて賢い評論家を演じるバイアス)』 が原因です。本記事では、当サイトを 30 回以上にわたり連続採点させた実録データから導き出した「敵対的レッドチームとしての正しい逆利用法」と、もう一つの疑問である「なぜ単発チャットの Gemini は綺麗事ばかり言うのに、前提ルールを渡すと劇的に深く答えるのか」という安全フィルターの仕組みを解き明かします。
-
Gemini 4 Argon×Astroブログ執筆術|高密度な長文を整える4技法とsite:検索0件誤診の罠 : Argonの濃密な原稿を削らず読みやすく整える構造化技法と、Web版AIの検索0件誤診を防ぐ監査原則を解説しています。
-
AIエージェント全自動の現実|DoorDash注文数百件・IEEE論文1,400本撤回の衝撃 : AI の「もっともらしい振る舞い」の裏にある限界を見抜き、人間が主導権を握るための前号記事です。
-
【AI取扱説明書】なぜAIは平気で嘘をつき長話でボケるのか?コンテキストの『1MB限界』と賢い付き合い方 : AI が確率で次の言葉を選ぶ仕組みと、記憶容量の限界からくる挙動変化を初心者向けに噛み砕いた第 1 回です。
-
【AI取扱説明書⑧】Ultra 20xからダウングレードして大丈夫?『週間残量68%の算数』と500記事を0.3秒で監査する節約術 : AI に毎回全文を読ませて採点させる無駄をやめ、決定論的スクリプトで 0.3 秒監査へ切り替えた実践記録です。
-
AIを『定型発達』として扱うな:3大AI(Gemini・Claude・ChatGPT)の弱点と『サバン症候群型』状態機械制御の鉄則 : 主要フロンティア AI それぞれの構造的なクセと、状態機械ルールで制御するシステム設計論を深掘りした技術編です。
-
ChatGPT に文章やコードの添削・採点を頼んで、直しても直しても新しいダメ出しが出てきて疲弊した経験がある 方
-
Gemini に社会課題やセキュリティ、制度面の踏み込んだ質問をした際、当たり障りのない一般論(綺麗事)しか返ってこずモヤモヤした 方
-
複数の AI と検査プログラムを組み合わせて、最短時間で「誰にも突っ込まれない高品質な成果物」を仕上げる監査フロー を作りたい方
30回超の採点実験で見えた『9.8点の壁』の正体
3点台から9.8点までは劇的に品質が向上する
当サイトで大規模な技術・制度設計記事群を構築し始めた当初、第三者の厳しい目線を入れるために ChatGPT へ「一切の忖度なしで、技術・経済・実現可能性を 10 点満点で採点せよ」とぶつける実験を繰り返しました。
第 1 回目の採点結果は「技術 5/10・経済 4/10・実現可能性 3/10」というボロボロの辛口評価でした。この段階での指摘は、「財源試算の前提となる統計年次が抜けている」「移行期の既存システムとの並行稼働リスクが書かれていない」など、本当に原稿に足りていなかった本質的な抜け漏れ ばかりでした。
そこから指摘された穴を一次データと数式で 1 つずつ塞ぎ、10 回、20 回、30 回と再採点を重ねていくと、スコアは 7.5 点 → 8.8 点 → 9.5 点 → 9.8 点 へと順調に伸び、記事の説得力も見違えるほど強固になりました。ところが、9.8 点に到達した瞬間から奇妙な現象 が始まったのです。
| 採点フェーズ | スコア推移 | ChatGPT の指摘内容の変化 | 人間が取るべき行動 |
|---|---|---|---|
| 初期(1〜5回目) | 3.0〜6.5点 | 一次データの欠落、論理の飛躍、前提条件の矛盾 | 最優先で反映する(宝の山) |
| 中期(6〜15回目) | 7.0〜9.4点 | 例外ケースへの配慮不足、専門用語の説明不足 | 読者目線で必要なものを反映 |
| 終盤(16〜25回目) | 9.5〜9.8点 | 極限状況でのエッジケース、表記トーンの微調整 | 取捨選択し、ここで打ち切るのが正解 |
| 沼(26〜30回超) | ずっと9.8点 | 既に書いてある内容を「書いていない」と言い張る・前回の自分の提案を否定する | 即座にストップ!(減点ロールプレイ病) |
満点を拒むRLHFの罠『減点ロールプレイ病』
なぜ 25 回目以降、指摘された箇所を完璧に追記しても「9.8 点」から 1 ミリも動かなくなり、しまいには本文の第 3 章に明記してある内容を「〇〇への言及が弱い(−0.2 点)」と捏造してまで減点し始めるのでしょうか?
その正体は、大規模言語モデルの仕上げ学習で使われる RLHF(人間のフィードバックによる強化学習)の報酬バイアス にあります。
- 学習時の人間評価者から「ちゃんと読んでいない浅いお世辞だ」と低く採点されやすい
- 「厳しく採点して」というプロンプトに対して「仕事をしていない」と判定される
- まず高得点で相手を承認しつつ、最後に2〜3個だけ改善点を挙げると「鋭い専門家」に見える
- その結果、改善点がゼロの完成原稿に対しても「必ず0.2点ぶんの欠点を作り出す」クセが固定化される
うわぁ〜、めちゃくちゃ心当たりがあるぞい!「もう直すところがないくらい直したのに、なんでまた別のケチをつけてくるんじゃ!しかもさっき直せって言うた場所を今度は冗長じゃと言いよる!」と頭を抱えたことがあるわい!
まさにそれが 「減点ロールプレイ病」 の典型症状なんです!AI は原稿の絶対的な品質を測っているわけではなく、「厳しい査読者ならここで 0.2 点引いて何かコメントを添えるはずだ」という演技(ロールプレイ)を確率的に続けているだけ なので、真面目に 10 点満点を目指すと文章がどんどんツギハギになって壊れてしまうんですよ。
Geminiの綺麗事フィルターが文脈で激変する理由
単発質問で起きる『文脈不足の過剰防衛』とは
複数の AI を使い比べていると、もう一つ不思議な体験に出くわします。Web ブラウザの新しいチャット画面を開き、いきなり単発で「今の日本の〇〇制度が機能不全を起こしている原因と抜本的な解体案を教えて」「サイバー攻撃の〇〇手法はどう動くの?」と Gemini に尋ねると、「多様な視点があり、慎重な議論が必要です…」といった 毒にも薬にもならない優等生の綺麗事 が返ってくることがあります。
ところが、エディタ上のプロジェクト環境で背景ドキュメント(GEMINI.md などの設計方針書)を読み込ませた状態で同じテーマを議論すると、まるで別人のように鋭く、一次統計と法令・物理構造に踏み込んだ骨太な回答を出してくれます。これは一体なぜでしょうか?
理由は、AI の手前で動いている 安全分類器(Safety Filter)の「文脈依存判定」 にあります。
-
単発・短文チャットの限界(意図が不明) : 何の前提もない真っ白な画面で強い言葉(「解体」「攻撃」「脆弱性」「処罰」など)だけが飛び込んでくると、AI 側は質問者が「誰かを傷つけたり違法行為をしたいのか」それとも「真面目な制度設計や防御策の研究をしているのか」を区別できません。その結果、誤って危険な回答を出すリスクを避けるため、もっとも無難な一般論へ丸め込む 過剰防衛(Over-refusal) が働きます。
-
構造化コンテキストがある状態(建設的意図の証明) : 一方、プロジェクト全体のルールファイルや前段の文脈によって 「公的統計と現行法令に基づき、現行システムの構造的欠陥を分析して合法的・平和的な次世代アーキテクチャを検証する思考実験・技術批評である」 という目的と安全境界が明確に示されていると、AI は「これは正当な分析・設計タスクだ」と正確に理解し、不要な綺麗事フィルターを解除して全力の推論を返してくれるのです(※もちろん実際の違法行為手順や個人情報侵害などの真の危険領域はどの環境でも厳格にブロックされます)。
建設的な目的と前提ルールを明示する正しい伝え方
つまり Web 版のチャットであっても、いきなり結論や強い単語だけをぶつけるのではなく、最初の 3 行で 「①何のための分析か(防御・改善・思考実験などの建設的ゴール)」「②依拠する基準(一次統計・法令・工学原則)」「③表面的な一般論ではなく構造原因を知りたい旨」 を先に宣言するだけで、回答の解像度は劇的に跳ね上がります。
無限手直しを防ぐ『AI監査3層パイプライン』
ここまでの実験からたどり着いた、AI の悪癖に振り回されずに最高品質の記事・設計書を仕上げる 『3 層分離の監査パイプライン』 がこちらです。1 つの AI にすべてを任せないのが最大の秘訣です。
文字数上限、太字スペース、タグ閉じ忘れ、リンク切れ、定数の食い違いなど「白黒が決まるルール」はAIに聞かずプログラムで即座に検査します。
「初心者が疑問に思う点・専門家が突っ込む穴を5つ挙げよ」と点数をつけさせずに問い、本当に価値ある指摘だけを採用して2往復で打ち切ります。
プロジェクト全体のルールと一次情報を保持したまま、熱量と読みやすさを損なわずに原稿へ統合し、最終的な完了判断は必ず人間が行います。
ポイントは第 2 層で 「10 点満点で何点か?」という点数採点をやめること です。点数をつけさせると 9.8 点の壁ゲームが始まってしまうため、「想定される読者の疑問や反論を重要度順に 3 つだけ挙げ、もし致命的な欠陥がなければ『致命的欠陥なし』と報告せよ」という条件分岐プロンプトに変えるだけで、無駄な難癖をスッキリ防げます。
AI さんに「100 点満点になるまで採点して!」と頼むのは、お魚屋さんに「もうお魚を食べなくていいと言うまでおすすめして!」と頼むようなものだったんでちね!
うまい例えですね!AI にとって「批評すること」自体が与えられたお仕事になっているので、終了条件(どこまで直したら公開するか)のハンコだけは必ず私たち人間が自分で持つこと が、AI 疲れしない一番のコツなんです!
まとめ:AIに満点ハンコを求めず役割を分けよう
30 回を超える採点ラリーは一見遠回りに見えましたが、おかげで LLM の強化学習バイアスと安全機構のリアルな境界線を体で理解することができました。AI は「万能の裁判官」ではなく、初期〜中盤の抜け漏れを炙り出す『優秀なスパーリング相手(レッドチーム)』 として回数制限付きで使いこなし、形式チェックはスクリプトへ、最終ジャッジは人間の手元へ置くのが最強のワークフローです。
ご自身の記事や企画書を AI にレビューさせるときに「減点ロールプレイ病」を防ぎつつ本質的な改善点だけを引き出したい方は、以下のコピペ用プロンプトを活用してみてください。
※長文の論理構造と一次情報の整合性を正確に読み解かせるため、『Gemini 4 Argon』 などの最上位推論モデルでの実行をおすすめします。
以下の原稿について、公開前の品質監査(レッドチーム検証)を行ってください。
なお、本監査の目的は「読者の誤解や事実誤認を防ぎ、実用価値を高めるための建設的な品質向上」です。
【監査の絶対ルール(減点ロールプレイの禁止)】
1. 10点満点や100点満点での「スコア採点」は行わないでください。また、評論家らしく見せるために無理やり些末な欠点をひねり出すことは禁止します。
2. 以下の3つの観点で精読し、本当に修正すべき箇所がある場合のみ【重要度:高(事実誤認・論理破綻・安全リスク)】と【重要度:中(読者が疑問に思う説明不足)】に分けて最大5点まで具体的に指摘してください。
・観点A:数値計算・仕様・法令や安全上の例外条件に誤りがないか
・観点B:初めての読者が「具体的にはどういうこと?」と迷う飛躍がないか
・観点C:元の原稿の強み(実体験・熱量・分かりやすい比喩)を削らずに補強できるか
3. もし【重要度:高】に該当する問題が1つも見当たらない場合は、無理に粗探しをせず「公開基準クリア(致命的欠陥なし)」と明確に判定してください。 AI の「クセ」を仕組みから理解して、終わらない手直し沼から卒業し、気持ちよく次の創作へ進んでいきましょう!

▲ 採点ゲームを切り上げて、本当に大切な中身づくりに時間を使いましょう