新しいAIの「すごい」をどう確かめる？

割合には、分母と数え方がある

「誤り率7.7％」から最初に聞くのは、何を一件として数えたかです。一問の最終回答か、文章中の個別主張か、一連の作業かで単位が変わります。例えば十個の主張を書いた回答に一つ誤りがある場合、回答単位では誤りありの1件、主張単位では10件中1件です。同じ出力でも数え方で割合が変わります。

11.4％から7.7％への変化は、11.4−7.7＝3.7ポイントです。元の11.4を分母にして減った割合を出すと約32.5％になります。小さな元の割合を基準にすると、相対的な変化が大きく見える場合があります。どちらの計算も正しくても、見出しで伝える印象は違います。元の割合と差を一緒に残すと読み違いを減らせます。

一方、残りの92.3％を「すべて正しく、安全」とは言えません。評価で数えなかった種類の誤りや、課題への不十分な対応があるかもしれません。何を失敗に含めたか、採点基準を読む必要があります。事実性、指示への適合、安全性、使いやすさは、互いに関係していても同じ指標ではありません。

保留も分けて数えます。答えないことで誤りが減ったなら、使える回答も減っていないか確かめます。逆に、全問へ何か答える方針なら、正答数は増えても誤答が増える場合があります。OpenAIの2025年の研究紹介も、正答・誤答・棄権を区別しています。どの振る舞いを良いとするかは、用途と失敗の負担で変わります。

仮に100問中60問へ答え、54問正答、6問誤答、40問保留だったとします。答えた範囲では90％正しくても、全体で正答した割合は54％です。前者は「答えたうち」、後者は「尋ねたうち」が分母です。片方を隠すと、違う振る舞いのAIを同じ成績として扱ってしまいます。この例は採点の読み方であり、製品の測定値ではありません。

同じAIでも、問題の配分で平均点が変わる

評価問題は能力のすべてを含みません。短い知識問題、長い資料の読み取り、複数の道具を使う作業を、どの割合で入れるかで平均点が動きます。ベンチマーク（共通の課題で性能を比べる評価）は便利ですが、点数の外側に残る作業もあります。自分の用途へ近い問題構成かを確かめます。

独自の模型として、短い質問の正答率を90％、長い資料の正答率を50％とするAIを置きます。短い質問80％・長い資料20％の評価なら、平均は82％です。配分を半々にすると70％。モデルが変わらなくても12ポイント下がります。数字は説明のための仮定で、実在する製品の成績ではありません。

GPT-6.1 Solの例で、過去に誤りが指摘された会話を集めていることは、この問題構成の話に関わります。難しい失敗例で改善を調べる意義はありますが、その割合を普段の全質問へ移すには別の検証が要ります。評価で意図的に難問を増やしたのか、日常の配分に合わせたのかを分けて読みます。

2024年発表のSimpleQAは、短く、答えが一つに決まる事実質問を対象にしました。この限定によって採点しやすくなりますが、長い科学記事の数十の主張を正しく書けるかまでは直接測りません。良い評価にも対象範囲があります。評価の狭さを隠さず、その課題で何が分かったかを読むほうが、万能の順位を探すより具体的です。

公開された問題が学習や調整に使われていないか、似た問題へ慣れすぎていないかも確かめたい点です。ただし、公開資料に記載がないことから、漏洩があったと断定してはいけません。作成時期や除外手順が明示されているか、未公開の課題や別の言い方でも確かめたかという、確認できる情報を探します。

80問正解と、800問正解は同じ情報量ではない

100問中80問と1000問中800問は、どちらも80％です。しかし、有限の問題を選んで測った割合にはばらつきがあります。違う問題群を同じ方法で選べば、割合が少し変わることがあります。この不確かさを考えるには、分母の件数が必要です。小数点以下の桁が多いだけでは、精密な比較とは限りません。

まず、同じ成功確率pを持つ独立な二択試行をn回行う模型を置きます。NISTの統計資料が説明する二項分布です。正答数の標準偏差をnで割ると、割合の標準偏差は√（p（1−p）÷n）です。pが未知なら観測割合を入れた値を、標準誤差の目安として使えます。

pを0.8と置くと、n＝100なら0.04で4ポイント、n＝400なら0.02で2ポイントです。件数を4倍にして、ばらつきの尺度は半分になります。ただし、これは仮定した二項模型からの計算です。公式の11.4％と7.7％に、未公表の件数を仮定して当てはめてはいません。

実際のAI問題は、独立で同じ難しさとは限りません。同じ文章から作った十問、似た数学問題の言い換え、同じ道具に依存する作業には共通点があります。問題数だけ増えても、独立した情報が同じだけ増えるとは限りません。単純な式の適用条件から外れるときは、問題群や試行単位を考えた推定方法が必要です。

同じ問題を二つのAIへ出した比較では、「Aは正解しBは誤った」「Bは正解しAは誤った」という対応も重要です。別々の正答率だけでは、どの問題で差が付いたか消えてしまいます。数ポイントの差があっても、母数や対応、反復試行が不明なら優劣を断定しません。統計的な差があっても、自分の仕事で役立つ差かはさらに別です。

再現に必要なのは、モデル名より詳しい記録

評価を再現するには、モデルの版、指示文、問いと採点基準、使える資料、道具、考える処理量、試行回数を残します。外部検索を使うなら、参照先や取得した版も条件になります。同じ名前の製品へ同じ問いを送ったつもりでも、資料が更新されれば入力条件は変わります。

一回だけ答えさせた成績と、何度も試して最良の回答を選んだ成績も比べ方が違います。採点に別のAIを使う場合は、その採点器の版と基準も必要です。OpenAIの評価用公式文書は、入力データと期待する挙動を決め、採点条件を定義する手順を示しています。ツールが受け付けたことと、評価が妥当に設計されたことは同じではありません。

試行回数の効果も模型で計算できます。一回の成功確率を0.5、各試行を独立とすれば、3回とも失敗する確率は0.5³＝0.125。少なくとも一回成功する確率は87.5％です。ただし、成功した答えを見分ける採点器が必要で、実際の試行が独立とも限りません。何回でも出し直せば一回の回答が87.5％正しくなる、という意味ではありません。

企業の資料は、自社がどの条件で何を報告したかを確認する原典です。その企業自身が測った結果なのか、別組織の測定を引用したのかを記録します。査読の有無、データや採点器の公開範囲、独立再現の有無は別の欄です。企業資料だから無価値という結論にも、公式だから完全という結論にも進みません。

再現できた場合も、似た点数が出たことだけで結論しません。同じ問題で同じ種類の誤りが残ったか、採点が安定しているかを調べます。逆に再現できなくても、すぐに発表の虚偽と決めず、道具や版などの条件の差を点検します。合わなかった箇所を具体的に残すと、誰かが次の確認を続けられます。

このサイトで比較を試すなら、本人の用途に近い未公開の課題を用意し、正答、誤答、保留、根拠の対応、所要時間を同じ基準で記録する案が考えられます。費用を比較するなら、初回の成功だけでなく、失敗した試行と再試行も含めます。これは今後の評価設計の提案であり、本記事で有料APIや実測試験を行ったという記録ではありません。

新しいAIの数字を読む作業は、広告を否定するための粗探しではありません。何が改善し、どこへは結論を広げられないかを知るためです。最終的には「誰が何を、どの条件で何件測り、何を数えたか」が残れば、次の発表とも具体的に比較できます。大きな倍率より、この記録のほうが長く使えます。