分布関係図

背景

出典: Lawrence M. Leemis and Jacquelyn T. McQueston, “Univariate Distribution Relationships,” The American Statistician, Vol. 62, No. 1, pp. 45-53, February 2008
76の単変量確率分布を、10×8のマトリクス状に配置し、それらを結ぶ矢印で関係を示した図
インタラクティブ版が公開されており、各分布のPDF・CDF・モーメントの情報や、矢印をクリックすると関係の証明を確認できる

分布関係図

図で示される矢印は、大きく4種類に分類される。

パラメータを特定の値に固定すると、別の（より単純な）分布に一致する関係。

ある分布に従う確率変数を変換すると、別の分布に従うようになる関係。

パラメータを極限に飛ばすと、別の分布に近づいていく関係。

二項分布$\mathrm{Binomial}(n,p)$で、$n \to \infty$かつ$np=\lambda$を一定に保つと、ポアソン分布$\mathrm{Poisson}(\lambda)$に近づく（ポアソンの少数の法則）
中心極限定理により、二項分布・ポアソン分布・ガンマ分布など、多くの分布はパラメータを大きくすると正規分布に近づく
t分布は、自由度を$\infty$に飛ばすと標準正規分布に近づく

ある尤度に対して、特定の分布を事前分布に選ぶと、事後分布が事前分布と同じ分布族になるという関係（共役性）。

検定でよく使われる3つの分布（$\chi^2$分布・t分布・F分布）は、いずれも標準正規分布から具体的な変換で導出できる。この繋がりを順番に追ってみる。

まず、標準正規分布に従う独立な確率変数$Z_1, \ldots, Z_k$を用意する。

$$ Z_i \sim N(0,1) \quad (i=1,\ldots,k) $$

これらの二乗和が、自由度$k$のカイ二乗分布に従う。

$$ \sum_{i=1}^{k} Z_i^2 \sim \chi^2(k) $$

標準正規分布に従う$Z$と、独立な$\chi^2(k)$を組み合わせると、自由度$k$のt分布が得られる。

$$ \frac{Z}{\sqrt{\chi^2(k)/k}} \sim t(k) $$

独立な2つのカイ二乗分布の比を取ると、F分布が得られる。

$$ \frac{\chi^2(d_1)/d_1}{\chi^2(d_2)/d_2} \sim F(d_1, d_2) $$

さらに、t分布とF分布の間にも直接の関係がある。

$$ t(k)^2 \sim F(1,k) $$

つまり、正規分布1つから出発して、二乗和・比という単純な演算を積み重ねるだけで、検定でよく使う分布が芋づる式に導出できる。

Leemis, L.M. and McQueston, J.T. (2008). “Univariate Distribution Relationships.” The American Statistician, Vol. 62, No. 1, pp. 45-53.
Univariate Distribution Relationship Chart（インタラクティブ版）
Univariate Distribution Relationships - about