Featured image of post 中心化・標準化の次にある白色化(Whitening)

中心化・標準化の次にある白色化(Whitening)

目次

背景

  • データの前処理として中心化(Centering)と標準化(Standardization)はよく使うが、その先にある白色化(Whitening)は知らなかった
  • Geometry-Aware Adaptive Classificationという設計思想で、特徴空間の「形状(Shape)」を共分散行列の固有値で評価する軸を扱ったが、白色化はまさにこの共分散構造そのものに手を入れる前処理
  • 中心化・標準化・白色化がそれぞれ何を揃え、何を揃えないのかを整理する

中心化と標準化がそれぞれ揃えるもの

  • 中心化は平均を引くだけの変換
$$ x' = x - \mu $$
  • データの中心(平均)を0に揃えるだけで、各軸のスケールや軸間の相関には手を付けない
  • 標準化は、中心化した上で、各軸ごとにその軸自身の標準偏差で割る
$$ z = \frac{x - \mu}{\sigma} $$
  • 分散(スケール)の単位を、その軸の標準偏差(SD)そのものに揃える操作とみなせる。変換後は1目盛りがちょうど1SD分になるので、各軸の分散は1に揃う
  • ただし軸同士の相関には手を付けないので、相関は残ったまま
  • 例えば身長と体重のように相関の強い2軸を標準化しても、分布は依然として斜めに伸びた楕円のまま

標準化の別名: 無次元化・z値化

  • 標準化という操作には、文脈によっていくつかの呼び方がある
    • z値化・Zスコア化: 変換後の値がz値(Zスコア)と呼ばれることに由来する呼び方
    • 無次元化: 標準偏差で割ることで元の単位(cm, kgなど)が消え、単位の異なる変数同士を同じスケールで比較できるようになることに由来する呼び方
  • どの呼び方も指している操作自体は同じで、平均を引いて中心を0に揃え、標準偏差で割ってスケールをSD単位の1に揃える変換を指している

白色化とは

  • 白色化は、各軸の分散を1に揃えるだけでなく、軸同士の相関もゼロにする変換
  • 変換後の共分散行列が単位行列になることを目指す
$$ \mathrm{Cov}(z) = I $$
  • データの共分散行列を$\Sigma$とすると、適切な変換行列$W$を使って
$$ z = W(x - \mu) $$

という形で白色化を行う

  • 変換後の分布は、どの方向に対しても等方的(isotropic)になり、斜めに伸びた楕円が真円に近づく

変換行列Wの求め方: PCA白色化とZCA白色化

  • 共分散行列$\Sigma$を固有値分解する
$$ \Sigma = U \Lambda U^\top $$
  • $U$は固有ベクトルを並べた直交行列、$\Lambda$は固有値を対角に並べた行列
  • PCA白色化は、主成分の方向に回転してから、各軸を固有値の平方根で正規化する
$$ W_{\mathrm{PCA}} = \Lambda^{-1/2} U^\top $$
  • ZCA白色化は、PCA白色化の後にもう一度$U$で回転を戻し、元の座標系に最も近い形に揃える
$$ W_{\mathrm{ZCA}} = U \Lambda^{-1/2} U^\top $$
  • どちらも変換後の共分散は同じく単位行列になるが、ZCA白色化の方が元データの見た目に近い結果になるため、画像データの前処理などで好まれることが多い

なぜこれで共分散が単位行列になるのか

  • 変換後の共分散は、定義どおりに展開すると次のようになる
$$ \mathrm{Cov}(z) = \mathrm{Cov}(W(x-\mu)) = W \Sigma W^\top $$
  • $U$は固有ベクトルからなる直交行列なので$U^\top U = I$が成り立つことを使うと、PCA白色化の場合
$$ W_{\mathrm{PCA}} \Sigma W_{\mathrm{PCA}}^\top = \Lambda^{-1/2} U^\top (U \Lambda U^\top) U \Lambda^{-1/2} = \Lambda^{-1/2} \Lambda \Lambda^{-1/2} = I $$
  • 途中の$U^\top U$がすべて単位行列に潰れ、残るのは対角行列同士の積$\Lambda^{-1/2} \Lambda \Lambda^{-1/2}$だけになり、これは指数の足し算で$\Lambda^0 = I$に一致する
  • ZCA白色化も同じ理屈で、最後に外側へ掛かる$U$と$U^\top$がそのまま単位行列になって消える
$$ W_{\mathrm{ZCA}} \Sigma W_{\mathrm{ZCA}}^\top = U \Lambda^{-1/2} U^\top (U \Lambda U^\top) U \Lambda^{-1/2} U^\top = U (\Lambda^{-1/2} \Lambda \Lambda^{-1/2}) U^\top = U U^\top = I $$
  • つまりPCA白色化・ZCA白色化のどちらも、固有ベクトルの直交性($U^\top U = I$)と、固有値の平方根で正規化してから元に戻すという操作の対称性によって、共分散が単位行列に潰れる

中心化・標準化・白色化の違いを整理する

手法平均各軸の分散軸間の相関
中心化0に揃う揃わない残る
標準化0に揃う1に揃う残る
白色化0に揃う1に揃う0に揃う

相関のあるデータに中心化・標準化・白色化を適用した様子(概念図)

  • 標準化は各軸を独立に見た「縮尺」を揃える処理、白色化は軸同士の「向き」まで含めて分布の形そのものを揃える処理という整理ができる

埋め込み空間の幾何構造との関係

  • Geometry-Aware Adaptive Classificationという設計思想で挙げたCompactness(広がり)やSeparation(クラス間距離)のような指標は、ユークリッド距離をそのまま使うことが多い
  • 共分散が等方的でない埋め込み空間では、分散の大きい方向の違いが距離に過大に反映され、分散の小さい方向の違いは埋もれてしまう
  • 白色化してから距離を測ることは、実質的にマハラノビス距離を使うことと同じで、方向に依存しない形でクラス間の近さ・遠さを比較できる
  • ただし、分散が極端に小さい方向を$\Lambda^{-1/2}$でそのまま正規化すると、ノイズしか乗っていない方向を強調してしまう危険があるため、固有値が小さすぎる方向を正則化するか、PCAで事前に削っておく必要がある

まとめ

中心化は平均を揃え、標準化(z値化・無次元化とも呼ばれる)はそれに加えて各軸の分散をSD単位の1に揃えるが、どちらも軸同士の相関には手を付けない。白色化は共分散行列全体を単位行列に変換し、分散だけでなく軸間の相関もゼロにする点で標準化よりも強い前処理。PCA白色化は主成分方向への回転と正規化だけを行い、ZCA白色化はさらに元の座標系に回転を戻すことで、元データに近い見た目を保つ。埋め込み空間の幾何構造を評価する際も、白色化してから距離や分散を測ることで、分散が大きい方向に指標が引っ張られる問題を抑えられるが、分散が極端に小さい方向を正則化なしで白色化するとノイズを強調するリスクがある。

参考文献

Built with Hugo
テーマ Stack は Jimmy によって設計されています。