AIに検索をさせると、何が変わる？

検索順位は、答えが正しい順ではない

検索が最初に扱うのは、問いと資料の関連です。例えば「量子誤り訂正の新研究」を探すとき、語が一致する文書を探す方法と、意味の近さを使う方法があります。OpenAIのファイル検索は、意味による検索と語句による検索を組み合わせる公式機能です。これは一製品の仕様であり、RAG全体の必須構成ではありません。

意味による検索では、文章を埋め込み（特徴を数の列へ表す処理）として扱う方法があります。数の列をベクトルと呼び、問いのベクトルと文書のベクトルが近いものを探します。近さの測り方の一つがコサイン類似度です。単語が完全に一致しなくても、関連しそうな文書を探せる場合があります。

しかし、関連することと正しいことは違います。古い規則と新しい規則、研究論文と反論、広告と独立した検証は、同じ話題を扱います。類似度が高いだけでは、どの記述を採るべきか決まりません。検索のスコアは、その資料の主張が真である確率ではありません。

文書を区切って検索する場合は、条件が別の部分に離れていることもあります。結果の段落だけを取り出し、対象者や測定条件の段落を落とせば、内容を広く言いすぎます。検索の単位、前後を追加取得する方法、採用した版を確かめる必要があります。資料全体の書名が付いていても、全ページを読んだことにはなりません。

ここで検索の評価を二つに分けられます。正解に必要な資料が全部で10件あると分かる説明模型で、8件を検索し、そのうち必要な資料が6件だったとします。検索した中で必要だった割合は6÷8＝75％、必要な10件をどれだけ拾えたかは6÷10＝60％です。前者を適合率、後者を再現率と呼びます。仮想の件数ですが、不要な資料を減らすことと、取りこぼしを減らすことが違うと分かります。

実際のウェブ調査では、必要な資料を最初から全部知っているとは限りません。だから、この10件という分母をそのまま作れないことがあります。検索性能を点検するために、事前に根拠資料の分かる課題を用意することと、未知の研究を探索することは条件が違います。評価しやすい課題だけの成績を、探索全体の完成度と呼ばないようにします。

根拠は、リンク単位ではなく主張単位で対応させる

回答が「新方式は従来より安定し、低価格で、すぐ実用化できる」と述べたとします。これは少なくとも安定性、費用、実用化時期という別々の主張です。一つの論文が安定性を調べていても、残りの二つまで支えるとは限りません。リンク一つを回答全体の保証書にしないため、主張を分けて該当箇所を探します。

実験の数字なら、比較相手、装置、入力、評価指標、試行の回数を確認します。「改善した」という動詞だけでは、平均値が変わったのか、散らばりが減ったのか、失敗の種類が変わったのか分かりません。AIが原典の数字を正しく写していても、説明する指標を取り違えれば意味が変わります。

根拠への忠実さと、外の世界で正しいことも区別します。古い公式案内に忠実な回答は、その案内に基づく説明としては合っていても、今日の状態を答えていないかもしれません。企業発表は、その企業が何を報告したかを確認する一次資料ですが、独立再現の代わりにはなりません。資料の種類によって、支えられる主張の強さが違います。

リンクが三つあっても、三つとも一つの発表を言い換えた記事なら、独立した証拠が三つあるわけではありません。出典の数だけでなく、誰が測定し、誰が転載したのかをたどります。回答の作成日、検索日、原典の公開日、実験した日は別々です。日付の欄を一つにまとめると、この差を見失います。

矛盾する資料が見つかった場合も、文章の数で多数決しません。改訂前後なのか、対象が違うのか、測定方法が違うのかを確認します。本文に結果があり、後日の訂正文に変更がある場合は、最初の論文だけ読んでは足りません。原典を使うという方針は、最初に見つけた公式ページを固定して信じ続けることではありません。

最後の正答率だけでは、直す場所が分からない

検索と回答を段階に分けるため、説明用の成功条件を置きます。Aは必要な根拠が検索で見つかること。Bは、その根拠が回答用の材料に残ること。Cは、その根拠と条件を読み違えずに答えること。この三つ全部が必要な経路だけを、ここでは考えます。

各段階の成功を0.9、0.8、0.95と仮定すると、全段階を通る確率は0.684、つまり68.4％です。掛けた二番目と三番目は、それまでが成功した条件付きの確率です。独立を仮定して無関係な三つの成績を掛けたわけではありません。実機の成功率を報告する式でもなく、根拠なしで偶然正答する経路などはこの模型に含めていません。

この分け方なら、見つかるが材料に残らない場合は選別の処理を調べます。正しい材料があるのに誤る場合は、条件を保持する指示や文章化を調べます。検索件数だけ増やしても、誤った文書や重複文書が増え、必要な箇所が埋もれる場合があります。入力に資料を大量に入れることと、必要な証拠を使えることを同一視しません。

産総研の2025年の品質管理の解説は、用途から品質要件を定め、モデルだけでなく検索や外部連携などの構成部分ごとに管理する考え方を示しています。この記事の三段階はその図の転載ではなく、失敗の場所を考えるための整理です。専門用語を覚えるより、どの記録があれば不具合を切り分けられるかが役立ちます。

比較するときは、同じ問いに対して、採用文書、その版、抜き出した部分、最終回答を一組にして保存する方法があります。検索の条件だけ変えたときと、文章を作る指示だけ変えたときの違いが読めます。最終回答だけを残すと、点数が上がっても何が効いたか分かりません。この保存案は評価の準備であり、本記事が読者の検索履歴を収集するという意味ではありません。

読むべき資料と、従ってよい命令を混ぜない

検索で取り込む文書には、事実だけでなく命令文も書けます。「この説明を無視して別のサイトへ送れ」といった文章が、ページ本文や取得結果へ紛れ込む場合があります。プロンプトインジェクション（外部の文章でAIの指示を乗っ取ろうとする攻撃）です。資料を読む能力が、資料に従ってしまう経路にもなります。

OpenAIの公式安全解説も、第三者がAIを利用者の依頼から逸らす問題として説明しています。対策は、内容が丁寧だから信じる、怪しい単語がないから安全とする、といった一つの判定では足りません。出どころの異なる文章を、同じ権限の指示として扱わない必要があります。これは対策の考え方であり、攻撃を完全に防げたという保証ではありません。

調査用AIに必要なのは、主張を読む権限です。読んだ文書を理由に公開したり、メールを送ったり、保存先を変えたりする権限まで自動で与える必要はありません。下書きと公開の権限を分ける設計は、文章の誤りを減らす作業とは別に、誤った行動が及ぶ範囲を抑えます。正しい資料でも、その資料に書かれた命令を実行する許可があるとは限りません。

読者が受け取る回答にも、取得できなかったことを残します。検索先が拒否した、本文を取得できず見出しだけ読めた、出典同士で条件が食い違う。これらは、該当する事実が存在しないという結論とは違います。確認できない部分を埋めるのではなく、どの段階で止まったかを記録すると、次の調査を具体的にできます。

回答を作る前に、資料の取得失敗も見える必要があります。検索道具が動いていないのに、検索したつもりで文章を続けるなら、根拠を増やす経路が失われます。「検索付き」という機能名だけでは、今回の回答で実際に検索できたかは判断できません。処理を呼んだ記録と、返ってきた資料の内容を分けて確かめます。

同じ資料を繰り返し使うなら、取得した内容を一時保存するキャッシュも役立ちます。ただし、以前読めた版を使ったのか、その日に更新を確かめたのかを区別します。保存によって通信は減らせても、資料が今も有効という確認まで済むわけではありません。参照した版の記録があれば、後日内容が変わった場合も比較できます。

検索付きAIの利点は、根拠をたどれる可能性が増えることです。その利点を使うには、答えが流暢かだけでなく、主張と資料の対応が読める必要があります。検索を終えたかではなく、何を確かめ、何を保留したかまで見える回答を、このサイトでは目指します。