AIはなぜ、自信たっぷりに間違えるの？

文章の確率と、命題の正しさは何が違うのか

言語モデルの生成を、文章の部品を順番に選ぶものとして書いてみます。質問が与えられたとき、最初の部品を選び、そこまでの文章に応じて次の部品を選ぶ。この積み重ねで、長い返答ができます。実際のモデルには事前学習後の調整や道具の利用などもありますが、続きの確率を扱うという入口は、誤りの考察に役立ちます。

例えば「ある研究者が大学を卒業した年」という問いに、年号を一つ入れる文章は自然です。年号が文法的に収まること、似た経歴でよく見かけること、その人について原資料に書かれていることは、それぞれ違います。文章の形を完成させられても、特定の事実を答えられるとは限りません。

ここでいう条件付き確率は、「ここまでの情報があるとき、次に何が出るか」の確率です。確率の条件に、実際の卒業証明書や大学の記録が必ず入っているわけではありません。学習で得た傾向から正答できることはあっても、原典が入力にあるか、正しく参照したかは別に確かめる必要があります。

誤りは、一語だけの取り違えとも限りません。存在しない論文名を置くと、その題名に合いそうな著者名や内容の説明が続くことがあります。文章の内部で筋が通っていることが、外部の事実との一致を補うわけではありません。途中の前提が誤っていれば、後に続く説明が丁寧でも結論は支えられません。

候補の選び方を変えれば解決するとも限りません。最も選ばれやすい候補だけを使っても、その候補が誤りなら誤答は残ります。別の候補を混ぜることが創作の幅に役立つ場面と、特定の事実を当てる場面では、求めるものが違います。生成の多様さ、事実性、同じ結果の出やすさを、それぞれ別に評価します。

推測できる規則と、記録が必要な事実

規則から補える情報と、記録へ戻らなければ分からない情報を分けます。括弧の閉じ方なら、開き括弧との対応から候補を絞れます。しかし、非公開の会議が何時に終わったかは、文章を大量に読んだだけでは決まりません。問いの形が簡単でも、答えを決める情報が与えられていなければ確定できません。

この違いは、「人にとって簡単そうな問いほどAIにも簡単」という見方を崩します。名前や日付は短く答えられますが、候補の多さに対して、答えを一つに決める証拠が足りない場合があります。反対に、長い文章でも、必要な条件がすべて提示された計算なら、途中を検算できる場合があります。

資料不足、問いの曖昧さ、計算の失敗は対処が違います。資料不足なら原典を探す。曖昧なら対象や期間を尋ねる。計算なら入力と手順を分けて検算する。「もう一度よく考えて」と頼むだけでは、足りない情報そのものは増えません。これは模型から導く使い分けであり、特定の依頼文で誤りが何％減るという実験結果ではありません。

出典があっても、問いへの答えが一つに決まらないこともあります。「最初に発見したのは誰か」という問いなら、理論上の予測、最初の測定、独立した再現のどれを指すかで答えが変わります。この場合、名前を即答するより、発見の意味を先に定めたほうが誤解を減らせます。問いの条件を明らかにすることも、調べものの一部です。

同じ答えを何度も出すかどうかも、証拠とは分けます。一貫している回答は比較の材料になりますが、同じ誤った前提を使えば、何回とも同じ誤答になり得ます。複数のAIが一致しても、参照した情報が共通なら、独立した確認が増えたことにはなりません。確認の回数だけでなく、確認の経路を見ます。

「確信度90％」を検査するには、回答を集める

確信度の数字が実際の正答率と対応している性質を、校正（確信の強さを成績に合わせること）と呼びます。2017年の機械学習研究は、分類器の精度が高くても、予測確率が適切に校正されているとは限らないことを示しました。その研究対象は画像などの分類器であり、現在の会話AI全般の成績を示す資料ではありません。

考え方は、言語モデルの評価にも使えます。説明用に、モデルが確信度90％と表した回答を100件集め、独立に正誤を調べたとします。約90件が正しければ、この集まりでは表明と成績が対応します。60件しか正しくなければ、表明は強すぎます。100件、90件、60件は仮定した数で、製品の測定値ではありません。

ただし、対応する集まりで90％だったからといって、今読んでいる一つの回答の正しさを判定できたわけではありません。また、文学の質問で対応していた数字が、最新の科学論文でも対応するとは限りません。分野、難しさ、言語、確認方法が変わった場合は、校正を確かめた範囲を超えていないか調べます。

モデル自身の「90％です」という文章と、生成時の各トークンの確率も同じものではありません。OpenAIは2024年のSimpleQA紹介で、表明した確信度と実際の成績を比べる方法を説明しています。これは当時の短い事実質問の評価です。長い科学解説全体が正確かを、そのまま一つの値で保証する方法ではありません。

校正だけが良ければ、有用な判断ができるわけでもありません。全体の正答率が50％の問いへ、毎回同じ確信度50％を返す模型を考えます。全体として数字は対応していても、どの問いなら答えられるかを見分けられません。正解をよく出す能力、難しい問いを見分ける能力、確信度を成績に合わせる性質は、関連しながらも別に調べる必要があります。

さらに、事実の種類によって、正誤の付け方自体を決める必要があります。日付を一日違えた答え、条件付きの結果を無条件にした答え、原典にない推測を補った答えは、失敗の種類が違います。校正を確かめる試験の正解表が曖昧なら、表明した確率との対応も曖昧になります。数字を付ける前に、何を正しい回答として数えるかを固定します。

答えを控える設計にも、測るべき損失がある

正答と誤答に加え、棄権（具体的な答えを控えること）を分けます。100問中、正答70、誤答30、棄権0の模型Aと、正答65、誤答5、棄権30の模型Bを置きます。正答数だけならAが上ですが、誤答を強く避けたい作業ならBを選ぶ理由があります。すべて本稿の仮想例です。

Bが答えたのは70問で、そのうち65問が正答です。「答えた範囲の正答率」は約92.9％ですが、全問のうち答えた割合は70％です。この二つを一緒に記録しなければ、難問を大量に避けたことを見落とします。全問に黙れば誤答は0でも、調べものは進みません。誤りを避けることと、役に立つ情報を返すことの両方を測ります。

もう一つ、正答で1点、誤答で−4点、棄権で0点という採点を仮定します。本当に正しい確率がqなら、答える期待得点はq−4（1−q）です。qが0.8を超えると正になります。ただし、AIが表明したqが正しく校正されているとは限りません。この式から「80％と言ったら信用してよい」という利用規則は作れません。

実務では、一つの結論を丸ごと肯定するより、確認済みの部分だけ返し、残りに必要な資料を示せるほうが役立ちます。論文は存在するが数値を確認できない、制度の説明はあるが適用日が不明、といった保留を具体的にします。人が続きを確認できる形で不確かさを残すことも、回答の品質です。

このサイトでも、文章が言い切っているかで審査を通しません。主張を原典の該当箇所へ対応させ、条件を外していないか調べます。検証できなかった主張を、自信がありそうな表現で埋めない。読みやすさを保ちながら、何を確かめれば結論を変えられるかまで示す。それが、滑らかな文章を学びに使うための編集方針です。

答えを控える理由も分けて残します。資料を取得できない場合と、資料を読めたが判断が割れる場合では、次に必要な作業が違います。「自信がない」という一言より、論文本文を未取得、対象期間が未指定、二つの出典で測定条件が違う、と書いたほうが確認を引き継げます。不確かさの説明は、曖昧な語尾を増やす作業ではありません。