分類器の比較で埋め込み空間の構造を診断する

背景

分布外データの対処方法の「線形Probeで特徴抽出できるのかを評価する」では、埋め込みの上に線形分類器を乗せて、クラスが線形分離可能かを確認する手法を扱った
今回は、この考え方を一歩進めて、線形分類器だけでなく複数の分類器族を横断的に比較することで、埋め込み空間の幾何構造そのものを診断できないかを整理する
ポイントは、精度の数字そのものより「どの分類器族が効き、どれが失敗するか」というパターンにある

実験: 複数の分類器族を横断的に比較する

ある2560次元の埋め込みベクトルを入力にした4クラス分類タスクで、複数の分類器を試した結果は以下の通りだった。

手法	精度	境界の仮定
ロジスティック回帰（L2, Cチューニング）	82.6〜82.7%（最良）	線形
決定木（生の埋め込み次元）	72.7%	軸並行分割
ロジスティック回帰（L1）	68.6〜79.1%	線形＋疎性
SVM（RBFカーネル, gamma既定）	57〜71%（最悪）	距離ベース

最も単純な線形分類器（L2ロジスティック回帰）が最良で、非線形・距離ベース・疎性を仮定する手法がいずれもそれを下回るという結果になった
Cを上げる（正則化を弱める）ほど精度が上がる傾向も見られ、現状は正則化が強すぎて情報を捨てているサインと考えられる

高次元の呪い（Curse of Dimensionality）

SVM（RBFカーネル）とKNNのような距離ベースの手法が高次元で弱くなる背景には、高次元の呪いと呼ばれる現象がある。

次元数が増えるほど、低次元での直感（近い・遠いという距離の感覚）が成り立たなくなる、という現象全般を指す
特に距離ベースの手法に関係が深いのは、距離の集中（Distance Concentration）と呼ばれる性質
次元数$d$が大きくなるにつれて、あるクエリ点から見た最も近い点までの距離と、最も遠い点までの距離の差が、距離そのものの大きさに対して相対的に小さくなっていく

$$ \lim_{d \to \infty} \frac{\text{dist}_{\max} - \text{dist}_{\min}}{\text{dist}_{\min}} \to 0 $$

直感的には、次元が増えるほど「近い点」と「遠い点」の区別がつきにくくなり、全ての点が似たような距離に押し込まれていく
KNNは「近い点ほど同じクラスである可能性が高い」という前提に立つが、近い・遠いの区別自体が薄れれば、この前提が機能しなくなる
RBFカーネルも$\exp(-\gamma\|x-x'\|^2)$という距離の関数なので、同じ理由で影響を受ける。gammaの調整だけでは、距離そのものが持つ情報量の低下は解決できない
一方、線形分類器（ロジスティック回帰）はユークリッド距離ではなく、重みベクトルとの内積（射影）で決定境界を作るため、この距離の集中の影響を直接は受けない
つまり、線形分類器が距離ベースの手法より高次元で有利になりやすいのは偶然ではなく、依拠している幾何学的な量（射影 vs 距離）自体が異なるため

なぜこのパターンになるのか

4つの結果は、1つの仮説で説明できる。

クラス情報が少数の次元に集中せず、多数の次元にまたがる密な線形結合として符号化されている

この仮説のもとで、各手法の結果を整理すると次のようになる。

手法	埋め込みの構造との相性
ロジスティック回帰(L2)	密な線形結合にそのままフィットする
決定木	軸並行分割しかできないため、次元をまたいだ線形結合を捉えられない
ロジスティック回帰(L1)	「少数の次元だけが重要」という疎性を仮定するため、情報が多数の次元に薄く分散していると、有用な次元まで削って悪化する
SVM(RBF)	距離ベースなので、高次元＋gamma未調整で近傍構造が崩れる（次元の呪い）

分類器族から埋め込みの構造を読み解く一般的な考え方

この4パターンの対比は、より一般化できる。分類器族ごとに、成功・失敗が何を意味するかを整理すると以下のようになる。

線形分類器が強い: クラスが線形分離可能で、かつ情報が多数の次元に分散している可能性が高い
距離ベース（KNN・RBFカーネルなど）が弱い: 高次元で距離の意味が薄れているか、そもそも局所的なクラスタ構造で表現されていない
疎性を仮定する手法（L1正則化など）が弱い: 情報が少数の次元に集中しておらず、次元選択的なアプローチとは相性が悪い
軸並行分割（決定木系）が弱い: 情報が個々の次元の閾値ではなく、次元をまたいだ線形結合として符号化されている

つまり、精度の一覧表そのものが、埋め込み空間がどんな幾何学的構造を持っているかについての手がかりになる。

さらなる検証: 仮説を反証する実験

上記の仮説が正しければ、以下の追加実験でも同じ傾向が再現されるはずである。逆に、これらの結果が仮説と食い違えば、その時点で仮説を見直す必要がある。

KNN（K=5/10/15）: 距離ベースの手法なので、RBFカーネルと同様に高次元で苦戦するはず
RandomForest・GradientBoosting: 軸並行分割という決定木の限界を引き継ぐため、決定木単体からの大幅な改善は見込みにくい
MLP（隠れ層1〜2層）: 線形分類器を包含する表現力を持つため理論上はL2ロジスティック回帰以上を狙えるが、データ量次第では、より複雑なモデルであるがゆえに過学習してむしろ悪化することもありうる
PCA50+LogReg: 分散の大きい方向だけを残して次元圧縮するため、クラス分離に効くが分散の小さい次元を、削ってしまう可能性がある。これはL1正則化が悪化したのと同じ理由で悪化しうる
SVM（RBFカーネル, gamma=auto, C=10）: gammaをscaleからauto（$1/n\_features$）に変えても大きく改善しなければ、原因は「gammaの設定ミス」ではなく、高次元で距離ベース手法そのものが不利という、より根本的な話だと確定できる

特にPCA50+LogRegとgamma調整後のRBF-SVMの2つは、仮説を検証する上で情報量が大きい。PCAが悪化すればL1と同じ「疎性の仮定が合わない」ことの再確認になり、gamma調整後もRBFが改善しなければ「次元の呪い」がより根本的な原因であることの裏付けになる。

まとめ

埋め込みの上に分類器を乗せる評価では、精度の数字だけでなく、どの分類器族が効き、どれが失敗するかというパターンからも埋め込み空間の構造についての情報が得られる
線形分類器が最良で、距離ベース・疎性仮定・軸並行分割の手法がいずれも劣る場合、クラス情報が多数の次元にまたがる密な線形結合として符号化されている可能性が高い
距離ベースの手法が高次元で弱くなる背景には高次元の呪い（距離の集中）があり、gammaの調整だけでは解決できない、より根本的な制約になりうる
複数の分類器族を横断的に比較することは、単なる精度競争ではなく、埋め込み空間の幾何構造を診断するための実験として位置づけられる
各追加実験の結果が仮説と一致するか反証するかを事前に予測しておくことで、結果が出た後の解釈がぶれにくくなる

参考文献

分布外データの対処方法
scikit-learn: sklearn.svm.SVC
Bellman, R. (1961). “Adaptive Control Processes: A Guided Tour”（次元の呪いの初出）
Beyer, K. et al. (1999). “When Is ‘Nearest Neighbor’ Meaningful?"（距離の集中についての基礎的な議論）