目次
背景
- 最近の検索システムは、BM25のような古典的な手法と、LLM・埋め込みモデルのような手法を組み合わせて作ることが多い
- その前提として、まずBM25という手法自体がBag-of-Wordsとどう違うのかを整理する
- その上で、BM25とLLMをどう組み合わせるかというアーキテクチャを再整理する
Bag-of-Words（BoW）とは
- 文書を、単語の出現頻度だけで表現するモデル
- 単語の並び順や文法構造は無視し、「どの単語が何回出たか」だけを見る
例えば、次の2文をBoWで表現すると、以下のようなベクトルになる。
| |
どちらも{猫:1, 魚:1, 食べる:1, が:1, を:1}という同じベクトルになり、語順の違い（誰が誰を食べたか）はBoW表現からは区別できない。
- 検索においては、クエリと文書のBoWベクトルの内積やコサイン類似度を取ることで、素朴な関連度スコアを作れる
- ただし、このままでは「は」「が」「の」のような、どの文書にも高頻度で出る単語（ストップワード）が支配的になり、意味のある単語の重みが埋もれてしまう
TF-IDFという改良
- Term Frequency（TF）: その文書内での単語の出現頻度
- Inverse Document Frequency（IDF）: その単語が、全文書の中でどれだけ稀かを表す重み
- TF-IDFは、この2つを掛け合わせることで、「この文書に頻出するが、他の文書にはあまり出ない単語」を重視するようにする
以下のような式で表される。
$$ \text{tf-idf}(t, d) = \text{tf}(t, d) \times \log\frac{N}{n(t)} $$- $\text{tf}(t, d)$：単語$t$の文書$d$内での出現回数
- $N$：全文書数
- $n(t)$：単語$t$を含む文書数
これでストップワード問題はかなり改善するが、TFの部分は依然、出現回数に比例して線形に増加する。つまり、ある単語を10回書いた文書は、1回しか書いていない文書より単純に10倍関連度が高いと評価されてしまう。
BM25とは
- BM25（Okapi BM25）は、TF-IDFをさらに発展させた、Probabilistic Relevance Framework（確率的関連性モデル）に基づくランキング関数
- 検索エンジンやElasticsearch・Lucene系のデフォルトスコアリング関数として、実務で広く使われている
- SQLiteに組み込みの全文検索エンジンFTS5も、
bm25()という補助関数でBM25ベースのランキングを提供しており、外部の検索エンジンを立てずに手軽にBM25検索を試せる選択肢になる
スコアは、クエリ$Q$に含まれる各単語$q_i$について、次の式の合計として計算される。
$$ \text{score}(D, Q) = \sum_{i=1}^{n} \text{IDF}(q_i) \cdot \frac{f(q_i, D) \cdot (k_1 + 1)}{f(q_i, D) + k_1 \cdot \left(1 - b + b \cdot \dfrac{|D|}{\text{avgdl}}\right)} $$- $f(q_i, D)$：単語$q_i$の文書$D$内での出現回数（TFと同じ）
- $|D|$：文書$D$の長さ、$\text{avgdl}$：コーパス内の文書の平均長
- $k_1$：TFの飽和度を決めるパラメータ（通常1.2〜2.0程度）
- $b$：文書長による正規化の強さを決めるパラメータ（通常0.75程度）
- $\text{IDF}(q_i)$：BM25版のIDF
BM25版のIDFは、以下のように定義される。
$$ \text{IDF}(q_i) = \ln\left(\frac{N - n(q_i) + 0.5}{n(q_i) + 0.5} + 1\right) $$TFの飽和（$k_1$の役割）
- BoW・単純なTFでは、出現回数がそのままスコアに比例する
- BM25では、$f(q_i, D)$が分母にも登場するため、出現回数が増えるほどスコアの増加が徐々に緩やかになる（飽和する）
- 直感的には、「同じ単語を1回書くのと2回書くのとの差」は大きいが、「50回書くのと51回書くのとの差」はほとんど意味がない、という考え方を反映している
文書長の正規化（$b$の役割）
- 長い文書は、単語の出現回数がただ長いという理由だけで多くなりやすい
- $b$は、文書長が平均より長い場合にスコアを下げ、短い場合に相対的に有利にしすぎないよう調整する
- $b=0$なら文書長による補正なし、$b=1$なら文書長に完全に比例した補正になる
BoWとBM25の違い
| 観点 | Bag-of-Words（生TF） | BM25 |
|---|---|---|
| 出現回数の扱い | 線形に増加 | $k_1$により飽和する |
| 文書長の補正 | なし | $b$により正規化する |
| 単語の重み | 均一（IDFなし） | IDFで単語の稀さを重視 |
| 理論的基盤 | 特になし | 確率的関連性モデルに基づく |
具体例で比較する
クエリを「猫」とし、次の2つの文書を考える。
- 文書A: 「猫」を5回繰り返した、長さ5の文書
- 文書B: 「猫が座っている机の上」のような、長さ6で「猫」が1回だけ出る文書
$k_1=1.5$、$b=0.75$、コーパスの平均文書長$\text{avgdl}=5.5$とし、IDFは共通なのでTFの部分だけを比較する。
生TF（BoW）で比較すると、文書Aは文書Bの5倍のスコアになる。
$$ \text{文書A（生TF）} = 5, \qquad \text{文書B（生TF）} = 1 $$一方、BM25のTF部分を計算すると、次のようになる。
$$ \text{文書A} = \frac{5 \times (1.5+1)}{5 + 1.5\left(1-0.75+0.75\times\frac{5}{5.5}\right)} \approx \frac{12.5}{6.40} \approx 1.95 $$$$ \text{文書B} = \frac{1 \times (1.5+1)}{1 + 1.5\left(1-0.75+0.75\times\frac{6}{5.5}\right)} \approx \frac{2.5}{2.60} \approx 0.96 $$- BoWでは5倍だった差が、BM25では約2倍に縮まっている
- 「猫」を5回連呼した文書が、1回しか言及していない文書より多少有利にはなるが、5倍も関連度が高いわけではない、という直感をBM25が反映している
BM25の限界: 語彙のミスマッチ問題
- BM25はあくまで、クエリと文書の間で単語が一致するかどうかに基づくスパース検索（lexical retrieval）
- 「車」と「automobile」、「猫」と「ネコ」のような同義語・表記の違い・言い換えには対応できない
- クエリの単語が文書に一字一句含まれていなければ、意味的には関連していてもスコアが付かない
ここでLLM・埋め込みモデルの出番になる。
LLMによる密検索（Dense Retrieval）
- クエリと文書を、LLMベースの埋め込みモデル（bi-encoder）でベクトル化し、ベクトル空間上の距離（コサイン類似度など）で関連度を測る
- 単語の一致ではなく、意味的な近さで検索できるため、同義語や言い換えにも対応できる
- 代表的な手法としてDense Passage Retrieval（DPR）などがある
BM25（スパース検索）とDense Retrieval（密検索）は、得意なものが対照的になる。
| 観点 | BM25（スパース） | Dense Retrieval（密） |
|---|---|---|
| 得意なこと | 固有名詞・専門用語の完全一致 | 同義語・言い換え・意味的な近さ |
| 弱いこと | 語彙のミスマッチ | 稀な固有名詞・数値などの厳密な一致 |
| 計算コスト | 軽い（転置インデックス） | 埋め込み計算・ベクトル検索が必要 |
ハイブリッド検索
- BM25とDense Retrieialを両方使い、それぞれのスコア・順位を統合するのがハイブリッド検索
- 統合方法の一つがReciprocal Rank Fusion（RRF）で、各手法での順位の逆数を合計してスコアにする
- $\text{rank}_r(d)$：ランキング手法$r$における文書$d$の順位、$k$は定数（60程度がよく使われる）
- スコアのスケールが違う手法同士でも、順位ベースなので単純に統合できるのが利点
LLMによるリランキング
- BM25・Dense Retrievalで絞り込んだ上位数十〜数百件の候補に対し、より高精度だが計算コストの高いモデルで再順位付けするのがリランキング
- クエリと候補文書のペアをまとめて入力するCross-Encoderや、LLMに直接「どちらがより関連しているか」を判断させるLLM-as-a-judge方式などがある
- 候補全件に適用するのは計算コストが高いため、まず軽量なBM25・Dense Retrievalで絞り込み、上位のみをリランキングするという2段構成が一般的
RAGとの関係
- Retrieval-Augmented Generation（RAG）は、この「検索して、上位の文書をLLMのプロンプトに含めて生成する」というパイプライン全体を指す
- 検索の精度が低ければ、無関係な文書がプロンプトに混ざり、LLMの生成結果も悪化する
- つまりRAGの品質は、生成モデル自体の性能だけでなく、BM25・Dense Retrieval・リランキングを含む検索パイプライン全体の設計に大きく依存する
まとめ
- Bag-of-Wordsは単語の出現頻度だけを見る素朴な表現で、出現回数に比例してスコアが線形に増える
- TF-IDFはIDFで単語の重要度を重み付けするが、TF自体は依然線形
- BM25は$k_1$でTFの増加を飽和させ、$b$で文書長を正規化する、確率的関連性モデルに基づくランキング関数
- BM25はあくまで単語の一致に基づくスパース検索で、同義語・言い換えには弱い
- LLMベースの埋め込みによる密検索は意味的な近さで検索でき、BM25と相補的な関係にある
- 両者をRRFなどで統合するハイブリッド検索や、上位候補をLLMで再順位付けするリランキングが、実務でよく使われる構成
- この検索パイプライン全体の精度が、RAGの生成品質を直接左右する
参考文献
- Robertson, S., & Zaragoza, H. (2009). “The Probabilistic Relevance Framework: BM25 and Beyond”
- Robertson, S. E., & Sparck Jones, K. (1976). “Relevance weighting of search terms”
- Karpukhin, V. et al. (2020). “Dense Passage Retrieval for Open-Domain Question Answering”
- Cormack, G. V., Clarke, C. L., & Buettcher, S. (2009). “Reciprocal Rank Fusion outperforms Condorcet and individual Rank Learning Methods”
- Lewis, P. et al. (2020). “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”