確率分布のまとめ

背景

AIを使って、確率分布の特性についてまとめた

離散分布（Discrete Distribution）

とりうる値が飛び飛びである確率変数（離散型確率変数）の分布。

ベルヌーイ分布（Bernoulli Distribution）

成功確率$p$で1、失敗確率$1-p$で0を取る、最も単純な分布
定義

$$ P(X=1)=p, \quad P(X=0)=1-p $$

期待値・分散

$$ E(X)=p, \quad V(X)=p(1-p) $$

例: コインを1回投げて表が出るかどうか

二項分布（Binomial Distribution）

ベルヌーイ試行を独立に$n$回繰り返したときの「成功回数」の分布
定義

$$ P(X=r) = {}_nC_r \, p^r (1-p)^{n-r} \quad (r=0,1,\dots,n) $$

期待値・分散

$$ E(X)=np, \quad V(X)=np(1-p) $$

表記: $X \sim \mathrm{Binomial}(n,p)$
例: コインを$n$回投げて表が出る回数、当たり確率$p$のくじを$n$回引いて当たる回数

Probability mass functions for Binomial(n, 0.4) distributions

ポアソン分布（Poisson Distribution）

単位時間・単位面積あたりに平均$\lambda$回起こる稀な事象の「発生回数」の分布
定義

$$ P(X=k) = \frac{\lambda^k e^{-\lambda}}{k!} \quad (k=0,1,2,\dots) $$

期待値・分散

$$ E(X)=\lambda, \quad V(X)=\lambda $$

表記: $X \sim \mathrm{Poisson}(\lambda)$
二項分布で$n \to \infty$、$np=\lambda$を一定に保った極限にあたる（ポアソンの少数の法則）
例: 1時間あたりの窓口への来客数、1ページあたりの誤植の数

幾何分布（Geometric Distribution）

成功確率$p$のベルヌーイ試行を繰り返すとき、「初めて成功するまでの試行回数」の分布
定義

$$ P(X=k) = (1-p)^{k-1} p \quad (k=1,2,3,\dots) $$

期待値・分散

$$ E(X) = \frac{1}{p}, \quad V(X) = \frac{1-p}{p^2} $$

例: サイコロを振り続けて初めて6が出るまでの回数

連続分布（Continuous Distribution）

とりうる値が連続的な確率変数の分布。確率は密度関数（PDF）を積分して求める。

一様分布（Uniform Distribution）

区間$[a,b]$のどこでも同じ密度で値を取る、最も単純な連続分布
定義

$$ f(x) = \frac{1}{b-a} \quad (a \le x \le b) $$

期待値・分散

$$ E(X)=\frac{a+b}{2}, \quad V(X)=\frac{(b-a)^2}{12} $$

表記: $X \sim U(a,b)$

指数分布（Exponential Distribution）

ポアソン過程における「次の事象が起こるまでの待ち時間」の分布
定義

$$ f(x) = \lambda e^{-\lambda x} \quad (x \ge 0) $$

期待値・分散

$$ E(X) = \frac{1}{\lambda}, \quad V(X) = \frac{1}{\lambda^2} $$

「無記憶性」を持つ唯一の連続分布（すでに$t$秒待ったという事実が、その後の待ち時間の分布に影響しない）
例: 電球の寿命、次の地震が起こるまでの時間

正規分布（Normal Distribution）

独立な要因の合計・平均が近づいていく分布（中心極限定理）。統計で最も重要な分布
定義

$$ f(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right) $$

期待値・分散

$$ E(X)=\mu, \quad V(X)=\sigma^2 $$

表記: $X \sim N(\mu, \sigma^2)$。$\mu=0, \sigma^2=1$のものを標準正規分布と呼ぶ
$\chi^2$分布・t分布・F分布は、いずれも正規分布から具体的な変換で導出できる

ガンマ分布（Gamma Distribution）

指数分布に従う事象が「$k$回起こるまでの待ち時間」の分布（指数分布の一般化）
定義

$$ f(x) = \frac{\lambda^k}{\Gamma(k)} x^{k-1} e^{-\lambda x} \quad (x \ge 0) $$

期待値・分散

$$ E(X) = \frac{k}{\lambda}, \quad V(X) = \frac{k}{\lambda^2} $$

形状パラメータ$k=1$のとき指数分布に一致する（特殊ケース）
ポアソン分布の尤度に対する共役事前分布として、ベイズ統計でもよく登場する

ベータ分布（Beta Distribution）

区間$[0,1]$上に定義される分布で、「確率そのもの」を確率変数として扱うときによく使われる
定義

$$ f(x) = \frac{1}{B(\alpha,\beta)} x^{\alpha-1}(1-x)^{\beta-1} \quad (0 \le x \le 1) $$

期待値・分散

$$ E(X) = \frac{\alpha}{\alpha+\beta}, \quad V(X) = \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)} $$

パラメータが両方1のとき一様分布$U(0,1)$に一致する（特殊ケース）
二項分布の尤度に対する共役事前分布として、ベイズ統計でよく使われる

カイ二乗分布・t分布・F分布

いずれも標準正規分布から具体的な変換で導出される、検定でよく使われる分布

$$ \sum_{i=1}^{k} Z_i^2 \sim \chi^2(k), \qquad \frac{Z}{\sqrt{\chi^2(k)/k}} \sim t(k), \qquad \frac{\chi^2(d_1)/d_1}{\chi^2(d_2)/d_2} \sim F(d_1,d_2) $$

$Z \sim N(0,1)$、右辺の$\chi^2$は左辺と独立

まとめ

分布はまず「離散か連続か」「とりうる値の範囲」「何を数えている／測っているか」で見分けると、どれを使うべきか判断しやすい
二項分布・ポアソン分布・正規分布などの間の特殊ケース・変換・極限・ベイズ関係といった繋がりは「分布関係図」の記事にまとめてある

参考文献

6.2 Binomial distributions | An Introduction to Probability and Simulation

目次

背景