偶然の点から、意味ありげな模様が見つかるのはなぜ？

01

短い答え：模様だけでなく、探し方を数える

たくさんの候補から目立つものを選べば、選ばれたものは目立って見えます。これは言葉遊びではありません。「先に決めた一つが目立った」と「大量に探して、どれかが目立った」では、確率として数える出来事が違うのです。複数の比較や検定を行うときに生じる問題を、多重比較と呼びます。

根拠：American Statistical Association [RP-S01]University of California, Berkeley [RP-S02]

たとえば、点が30個あれば、異なる2点を選ぶ組は30×29÷2で435組です。2点が同じ場所でなければ、その2点を通る直線は必ず引けます。3点目が線の近くに来る組を探す機会は、一つではありません。さらに線の太さや使う点の範囲まで変えると、探し方の自由度が増えます。

02

まず「並んでいる」を決める

点が線にぴったり重なることだけを求めるのか、少し離れていてもよいのか。離れてよいなら、どこまでを許すのか。「だいたい一直線」という言葉を計算に使うには、数え方が必要です。ここでは、直線からの垂直な距離がε（イプシロン）以下の点を数えます。つまり、中心線の両側にεずつ幅を持つ帯です。

座標は縦横とも0から1までの正方形にします。1点の位置は（x,y）という二つの数で表し、横の位置をx、縦の位置をyと呼びます。点を独立に、面積に対して一様に置く模型では、同じ面積の領域に入る確率は同じです。「一様」は各場所が均等という意味で、きれいに等間隔に並べるという意味ではありません。

中央の水平線y=0.5を先に固定した場合、εが0.5以下なら帯の面積は2εです。N個の独立な一様点について、帯に入る点数の平均は2εNになります。N=30、ε=0.02なら平均1.2個。ただし、どの画面も必ず1.2個になるのではなく、繰り返したときの平均です。後で選び直した線の点数へ、この計算をそのまま使うことはできません。

03

模型を動かす：先に決めた線と、選んだ線

下の模型には、先に固定した中央の水平線と、点を見た後に探した線があります。探索する候補は、中央の水平線に加え、異なる2点を通るすべての直線です。それぞれの帯に入る点を数え、最大の線を選びます。あらゆる位置・角度の直線を連続的に最適化しているわけではありません。探索の範囲を限定した教材です。

点数を増やすと、数える点だけでなく、候補となる線の組も増えます。帯を太くすれば、多くの点を含めやすくなります。同じ点群でεだけを大きくしたとき、最大点数が小さくならないことも確かめられます。図の出来がよく見えたら、結果だけでなく、どの設定を変えたかも振り返ってください。

04

p値は、何の確率なのか

ある規則が必要ないとしたら、どんな結果がどのくらい出るだろうか。この比較の出発点になる仮説を、帰無仮説と呼びます。硬貨なら「表の確率は0.5で、各回は独立」と置けます。点群なら「この正方形の中へ、独立に一様に点を置く」と置けます。仮説は、具体的な確率の模型として書く必要があります。

根拠：American Statistical Association [RP-S01]

公平な硬貨を10回投げ、先に「表が多い方向を調べる」と決めていたとします。表が9回出たら、公平な模型の下で9回以上の表が出る確率はどうなるでしょうか。9回表になる並びは、裏の位置を選ぶ10通り。10回すべて表は1通り。全1024通りが同じ確率なら、11通りを数えます。これは計算の例で、実際の実験を報告したものではありません。

p値は、指定した模型の下で、観察した値と同程度以上に極端な結果が出る確率です。何を極端と呼ぶかも、統計量と調べる方向によって決まります。小さければ、データと模型の組み合わせに疑問を持つ材料になります。しかし、1−pを計算して「仮説が正しい確率」とは呼べません。原因の候補や事前の情報を含む別の推論が必要です。

根拠：American Statistical Association [RP-S01]

05

5％を20回なら、全体でも5％？

検定には、帰無仮説が本当なのに棄却してしまう誤りがあります。事前に設定する有意水準α（アルファ）は、その誤りの確率を抑える基準です。α=0.05は、ある検定手順を繰り返すときの上限の設定であり、一つの発見が間違いである確率を5％と認定する数字ではありません。

根拠：American Statistical Association [RP-S01]University of California, Berkeley [RP-S02]

計算を単純にするため、帰無仮説がすべて本当で、各検定が独立し、それぞれちょうどαの確率で誤って棄却する場合を考えます。1回も誤らない確率は、1回の「誤らない確率」1−αを、回数mだけ掛けたものです。少なくとも1回の誤りは、その反対側です。

根拠：University of California, Berkeley [RP-S02]

物理学では、広い範囲から新しい粒子の兆候を探すときも、特定の場所の目立ち方と、どこかに同程度の目立ち方が出る確率を区別します。ルック・エルスウェア効果、つまり探索した他の場所も考慮する効果です。点の線探しと実験装置は違いますが、探索範囲を結果の評価に含めるという考え方は共通します。

根拠：Gross and Vitells / arXiv [RP-S04]

06

たくさん比較するとき、どう補正する？

事前に定めたm個の検定全体で、少なくとも一つ誤る確率をα以下にしたいとします。それぞれの検定にα/mを割り当てるのが、ボンフェローニ法の基本です。誤りの出来事を重ねて数えれば、少なくとも一つ起きる確率は、個々の確率の和を超えません。この上界は、検定どうしが独立でなくても使えます。

根拠：NIST [RP-S03]University of California, Berkeley [RP-S02]

代わりに、本当の変化を見つけにくくなることがあります。目的に応じて別の補正や、発見群の中の誤りの割合を扱う方法もあります。「補正したので全部正しい」という認証ではありません。また、データを見て都合よく選んだ線に、選択を無視した個別のp値を付け、線の本数だけ掛ければ済むとは限りません。使った探索手順に合う評価が必要です。

根拠：American Statistical Association [RP-S01]University of California, Berkeley [RP-S02]

07

偶然の模型にも、同じ探し方をさせる

点群の模型へ戻ります。線どうしの重なりが複雑なら、点の配置を多数作り直し、そのたびに同じ探索を実行する方法があります。比較するのは、固定した線の点数同士、または探索した後の最大点数同士です。観察側だけに線を選び直す自由を与え、比較側は固定した線だけにすると、条件がそろいません。

根拠：Gross and Vitells / arXiv [RP-S04]

上の教材の「99組を作って比較」は、同じN、同じε、同じ正方形の一様点の生成規則を使います。各組についても、水平線と全2点組の候補を調べ、最大点数を記録します。観察画面と同じか多い最大点数が99組のうち何組あるかを示します。表示される割合は、この有限回の教材シミュレーションの集計です。真の確率の正確な値でも、規則の正しさの確率でもありません。

少ない回数では割合がぶれます。0回でも、起きる確率がゼロと証明したことにはなりません。さらに、点が実際には道路沿いに多い、場所ごとに観測しやすさが違う、といったデータへ一様点の模型を使えば、問いそのものがずれてしまいます。精密に計算しても、比較の模型が現実に合っていなければ、根拠は強くなりません。

根拠：American Statistical Association [RP-S01]

08

見つけた後は、見ていないデータで確かめる

データを眺め、気になる規則を思いつくことは、科学の重要な部分です。その探索を、最初から決めていた検証として報告しないことが大切です。仮説、対象、除外条件、測る量、解析手順をデータを見る前に記録する事前登録は、何を先に決め、何を後で思いついたかを区別する助けになります。

根拠：Center for Open Science [RP-S05]

別のデータを使う場合は、新しい側を見る前に、調べる線や許容幅、点の選び方を固定します。新しいデータを見て線を調整し続ければ、そちらも探索用になっていきます。同じデータを乱数で作り直す模型と、独立に集めた新しい観測は別のものです。今回の教材で点群を作り直しても、それだけで現実の研究の再現実験を行ったことにはなりません。

根拠：Center for Open Science [RP-S05]Journal of Machine Learning Research [RP-S06]

新しいデータでも合えば、その規則を支える材料が増えます。それでも、選び方の偏り、測定誤差、共通の原因などは検討が必要です。逆に、合わなかったときも、すぐに不正や無価値と決めず、条件の違いと不確実さを調べます。事前登録も新データも、研究設計の誤りを自動で直す道具ではありません。

根拠：American Statistical Association [RP-S01]Center for Open Science [RP-S05]

09

AIが探す時代にも、分母が必要になる

AIや計算機は、人が試せなかった数の式、特徴の組み合わせ、設定を探せます。それは研究の力になりますが、調べた候補の中から一番よいものを選ぶと、偶然うまく合った候補も目立ちます。CawleyとTalbotの機械学習研究は、モデルを選ぶための評価基準自体にも過適合が起き、選択後の性能評価が偏りうることを論じています。

根拠：Journal of Machine Learning Research [RP-S06]

過適合とは、手元のデータに含まれる偶然の癖まで拾い、新しいデータで同じように働かなくなることです。「たくさん探せた」ことと「一般に成り立つ法則を確かめた」ことは、別々に評価します。点と線の教材は科学の全体を再現しませんが、発見の見出しを読んだときに、探索範囲と確認用データへ目を向ける練習になります。

根拠：Journal of Machine Learning Research [RP-S06]

きれいな模様を見つけたら、その面白さを残したまま、問いを具体的にできます。線を先に決めたのか、何本探したのか、幅はどこで決めたのか、同じ探し方を偶然の模型にもさせたのか、見ていないデータは残っているのか。発見の根拠には、目立つ結果だけでなく、そこへ至る探し方も含まれます。

根拠：American Statistical Association [RP-S01]Center for Open Science [RP-S05]Journal of Machine Learning Research [RP-S06]