数学 > 確率・統計 on M1KE BL0G

正規分布の公式の意味

Mon, 18 Mar 2024 11:53:18 +0900

概要

統計でよくみる正規分布の式
平均値の周りにランダムに分布するという式
その意味を分解して説明する

$$ f(x) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp \left(-\frac{(x - \mu)^2} {2\sigma^2} \right) \hspace{20px} (-\infty < x < \infty) $$

正規分布の条件

正規分布の目的（条件）は次の4つ。

ピークが1つ
ピークを中心に左右対称
指数関数の速さで0に漸近
面積は1

条件の内訳

ピークが1つ

平均値 $\mu$ を中心にした分布であり、データが最も集中している場所を示す
つまり、平行移動すればOK

ピークを中心に左右対称

正と負で対象にしたいので、二乗すればOK
つまり、$(x - \mu)^2$

指数関数の速さで0に漸近

ゼロに漸近なので、$\frac{1}{x}$で
2の条件を適用すると、$\frac{1}{x^2}$
ただし、x=0 => エラーになってしまうので、$\frac{1}{x^2+1}$
ただし、リアルの分布は端になるほど急にしなければいけない
- 例) サイコロをn回振った時の分布だと$(\frac{1}{6})^n$で、反比例の傾きだと弱い
  - $\frac{1}{x}$でも$\frac{1}{x^2}$でも逆数は遅い
  - $(\frac{1}{a})^x$のような指数の方が早い
  - $a$は関数のパラメーター
- サイコロのように試行=指数関数的に作用する
$(\frac{1}{a})^n = a^{-n}$になる
それらを加味すると次になる
- $\frac{1}{e^{(x-\mu)^2}} = e^{-(x - \mu)^2}$
  - $(x - \mu)$だけずらすのは、1の条件のため
  - $(x - \mu)^2$乗するのは、2の条件のため
  - $a^{-(x - \mu)^2}$乗するのは、3の条件のため

原型としては、次となる。

$$ \frac{1}{a^{(x-\mu)^2}} = a^{-(x - \mu)^2} $$

面積は1

面積を面積で割れば1となるので、それを利用するため面積の式を求める
面積は次の式となる

$$ f(x) = \frac{1}{a^{(x-\mu)^2}} = a^{-(x - \mu)^2} \\\\ s = \int_{-\infty}^{+\infty} f(x) dx $$

単純化するために
- 定数の$\mu$は一旦無視する
- aはある定数とする
積分するため、底をaからeに書き直す
目的関数はf(x)

$$ f(x) = a^{-x^2} \\\\ a = e^{\log a} \\\\ f(x) = e^{(\log a)^{-x^2}} \\\\ f(x) = e^{\log a \times -x^2} \\\\ A = \log a \\\\ f(x) = e^{A \times -x^2} \\\\ f(x) = a^{-x^2} = e^{-A x^2} = e^{- \log a \times x^2} \\\\ $$

最後の行はを積分すると、下のようになる。

$$ \int f(x) = \int_{-\infty}^{\infty}e^{-Ax^2}dx=\sqrt{\dfrac{\pi}{A}} $$

下にガウス積分の公式を示す。

$$ \int_{-\infty}^{\infty}e^{-ax^2}dx=\sqrt{\dfrac{\pi}{a}} $$

この面積を逆数にして、もともとの関数にかければ結果が1になるので、下のようになる。

$$ \sqrt{\frac{A}{\pi}} e^{-A x^2} $$

最後条件1を満たすために、平行移動（$B$）の定数を入れると次になる。

$$ f(x) = \sqrt{\frac{A}{\pi}} e^{-A (x -B)^2} $$

条件1, 2, 3, 4を満たした、正規分布の原型の式が完成する
この原型の変数AとBを調整する方法は次
- 5. ヒストグラムから計算された平均と分散と、この原型の式から計算された平均と分散が一致すること。
という条件5を満たすAとBを探す

Bのパラメータ

Bの方は単純に平均を当てればOK。

Aのパラメータ

Aの方は単純から計算すればいい
Bは既に$\mu$としてわかっている
- NOTE: $f(x)$は確率が戻り値
分散は次を満たせばいい

$$ var = \sigma^2 = V(X) = \int (x - B)^2 f(x) dx \\\\ $$

Bは定数で面積に影響がないので、0と置くと以下になる。

$$ var = \sigma^2 = \int x^2 f(x) dx \\\\ var = \sigma^2 = \int x^2 \sqrt{\frac{A}{\pi}} e^{-A x^2} dx \\\\ $$

係数を前に出すと次になる。

$$ var = \sigma^2 = \sqrt{\frac{A}{\pi}} \int x^2 e^{-A x^2} dx $$

次のガウス積分の公式に当てはめられる。

$$ \int_{-\infty}^{\infty} x^{2n}e^{-ax^2}dx =\dfrac{(2n-1)!!}{2^na^n}\sqrt{\dfrac{\pi}{a}} $$

今回はn=1なので次になる。

$$ \int_{-\infty}^{\infty}x^2e^{-ax^2}dx=\dfrac{1}{2a}\sqrt{\dfrac{\pi}{a}} $$

つまり、次となる。

$$ var = \sqrt{\frac{A}{\pi}} \frac{1}{2A} \sqrt{\frac{\pi}{A}} $$

よって以下となる。

$$ var = \sigma^2 = V(X) = \frac{1}{2A} $$

結果は分散=$\frac{1}{2A}$
つまり、$\frac{1}{2A}$の$A$に逆$\frac{1}{2 \sigma^2}$を仕込めば、
結果は$var = \sigma^2$になる
つまり、$A=\frac{1}{2 \sigma^2}$となる

4つの条件のまとめ

これらの定数AとBを正規分布の原型に当てはめると、完成する。

$$ A = \frac{1}{2 \sigma^2}, \\; B = \mu \\\\ f(x) = \sqrt{\frac{A}{\pi}} e^{-A (x -B)^2} \\\\ f(x) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp \left(-\frac{(x - \mu)^2} {2\sigma^2} \right) \hspace{20px} $$

正規分布の変曲点について

上の$f(x)$を二回微分した関数の傾きが0になるところを求めると$f''(x)=0$
$x = \mu \pm \sigma$ となる
つまり、傾きが凸から凹に変わる傾き=0の点が$\mu \pm \sigma$ということ
また、正規標準分布の場合は平均は1、SDは1になるので、1の地点で凹凸の変曲点となる

まとめ

正規分布の式は、次のように導かれる。

分散 $\sigma^2$ と平均 $\mu$ を用いて、データの分布の広がりと中心を調整する
式内の $\exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right)$ 部分は、データが平均から離れるほど値が小さくなることを示しており、分布が急速に0に近づくことを表す
分布の全体の面積を1に保つため、$\frac{1}{\sqrt{2\pi \sigma^2}}$ で正規化される

参考文献

確率の復習

Fri, 20 Oct 2023 21:32:47 +0900

背景

プログラムでの計算で確率を使うことは多い
しかし、高校の時にやった確率をほとんど忘れてしまった
すると計算が必要な時に困るので改めて復習した
また、データ処理で特に間違いやすかったメモも入れた

確率

全体像

「確率」は、大きく分けると次の流れで進む

場合の数（数え方）
基本的な確率（数え方の比）
独立な試行・反復試行
条件付き確率

場合の数

事象

事象とは、試行（サイコロを振る、カードを引く等）の結果として起こりうる事柄のこと
例えば「サイコロを振って偶数の目が出る」も1つの事象
事象$A$・事象$B$のように、アルファベットで名前をつけて表すことが多い

樹形図

場合の数を数える基本は、樹形図で枝分かれを全て書き出すこと
樹形図を一般化した数え方が、次の和の法則と積の法則

和の法則

事象$A$がm通り、事象$B$がn通りで、$A$と$B$が同時には起こらないとき
$A$または$B$の起こり方は$m+n$通り

積の法則

事象$A$の起こり方がm通り
その各々に対して事象$B$の起こり方がn通り
$A$の後に$B$が続けて起こる場合の数は$m \times n$通り
例: サイコロを2回振るときの目の出方は、$6 \times 6 = 36$通り（積の法則）

階乗

$n!$は、$n$から$1$までを全て掛け合わせたもの
定義は以下

$$ n! = n \times (n-1) \times (n-2) \times \cdots \times 1 $$

便宜上、$0! = 1$と定義される

順列

順列（Permutation）の定義

異なる$n$個から$r$個を選んで、順序をつけて並べる場合の数
定義は以下

$$ {}_nP_r = n \times (n-1) \times \cdots \times (n-r+1) = \frac{n!}{(n-r)!} $$

並び方が違えば別の場合として数える
例: A・B・Cの3人から2人を選んで1列に並べる場合、AB・BA・AC・CA・BC・CBの6通り（${}_3P_2 = 6$）

例：順列

問題: 1〜9の数字が1つずつ書かれた9枚のカードから3枚を選んで並べ、3桁の整数を作る。何通りできるか？
「9個から3個選んで順序をつけて並べる」ので、そのまま順列の定義に当てはまる

$$ {}_9P_3 = 9 \times 8 \times 7 = 504 $$

百の位・十の位・一の位の順に「使えるカードの枚数」を掛けているのと同じこと
- 百の位: 9枚から選べる
- 十の位: 百の位で1枚使った残り8枚から選べる
- 一の位: さらに残り7枚から選べる
この「1つ選ぶごとに選択肢が1つ減っていく」感覚が、そのまま${}_nP_r$の掛け算の中身になっている

同じものを含む順列

$n$個のうち、同じものがそれぞれ$p$個、$q$個、$r$個…ずつ含まれるときの並べ方
定義は以下

$$ \frac{n!}{p! \, q! \, r! \cdots} $$

全部を区別して並べる${}_nP_n = n!$通りから、同じもの同士の並び替え分を割って重複を消しているイメージ

組み合わせ

組み合わせ（Combination）の定義

異なる$n$個から$r$個を選ぶ場合の数（順序は区別しない）
定義は以下

$$ {}_nC_r = \frac{n!}{r!(n-r)!} = \frac{{}_nP_r}{r!} $$

順列${}_nP_r$を、選んだ$r$個の並び替え分（$r!$通り）で割ったものがCのイメージ
例: A・B・Cの3人から2人を選ぶだけなら、AB・AC・BCの3通り（${}_3C_2 = 3$）、並び順は数えない

例：組合せを使った基本的な確率

問題: 22台の製品のうち3台が故障している。無作為に2台取り出すとき、ちょうど1台が故障している確率は？
全体の場合の数（22台から2台選ぶ）

$$ {}_{22}C_2 = \frac{22 \times 21}{2} = 231 $$

条件を満たす場合の数（故障3台から1台、正常19台から1台をそれぞれ選ぶ）

$$ {}_3C_1 \times {}_{19}C_1 = 3 \times 19 = 57 $$

求める確率は以下

$$ \frac{57}{231} = \frac{19}{77} $$

ポイントは、「故障からr台・正常から残りを選ぶ」と分けて、それぞれ組合せで数えてから割ること

表記の違い

高校では${}_nC_r$と書くが、大学以降や海外の教科書では二項係数の表記を使うことが多い
定義は同じで、記号が違うだけ

$$ \binom{n}{r} = {}_nC_r = \frac{n!}{r!(n-r)!} $$

読み方は「$n$ choose $r$」（$n$個から$r$個選ぶ）
縦に$n$、$r$を並べて大きい括弧で囲む書き方で、割り算の記号は書かない

基本的な確率の求め方

全ての場合が同様に確からしいとき、事象$A$の確率は以下

$$ P(A) = \frac{n(A)}{n(U)} $$

$n(A)$は事象$A$の場合の数、$n(U)$は全体（全事象）の場合の数
サイコロ・コイン・カード・くじのような「全パターンのうち何パターンが条件に合うか」を、前述の場合の数（樹形図・和の法則・積の法則・順列・組合せ）で数えれば求まる
「少なくとも1つ」「ちょうど1つ」のような条件は、全体からどの部分を数えるかの言い換えに過ぎない

余事象

余事象の定義

事象$A$が起こらない事象を余事象と呼び、$\bar{A}$（または$A^c$）と書く
全事象の確率は1なので、以下が成り立つ

$$ P(A) + P(\bar{A}) = 1 $$

「少なくとも1つは〜」のような計算は、直接数えると場合分けが多くなりがちなので、余事象（1つも〜でない）から引く方が楽なことが多い

例：余事象を使う確率

問題: サイコロを3回振るとき、少なくとも1回は6の目が出る確率は？
直接数えると「1回だけ6」「2回だけ6」「3回とも6」を別々に足す必要があり面倒
余事象「3回とも6が出ない」を考える方が早い
1回振って6以外が出る確率は$\frac{5}{6}$なので、3回とも6が出ない確率は以下

$$ \left(\frac{5}{6}\right)^3 = \frac{125}{216} $$

求める確率は、これを1から引く

$$ 1 - \frac{125}{216} = \frac{91}{216} $$

和事象と加法定理

$A$または$B$が起こる確率は以下
$A$と$B$が同時に起こる部分を二重に数えないよう、その分を引く

$$ P(A \cup B) = P(A) + P(B) - P(A \cap B) $$

$A$と$B$が同時に起こりえない（排反）場合は$P(A \cap B) = 0$なので、以下まで単純化できる

$$ P(A \cup B) = P(A) + P(B) $$

独立な試行・反復試行

独立な試行・反復試行の定義

事象$A$の結果が事象$B$の起こりやすさに一切影響しない場合、$A$と$B$は独立という
独立な場合、両方起こる確率は単純な掛け算になる

$$ P(A \cap B) = P(A) \times P(B) $$

独立でない場合は、そのまま掛け算にはできないので、後述の条件付き確率を使う
独立な試行を何度も繰り返すのが反復試行
確率$p$で起こる試行を$n$回繰り返したとき、ちょうど$r$回起こる確率は以下

$$ {}_nC_r \, p^r (1-p)^{n-r} $$

${}_nC_r$が出てくる理由は、$n$回のうち「どのタイミングで$r$回起こるか」の組み合わせの数だから
例: コインを5回投げて、ちょうど3回表が出る確率、当たり確率$p$のくじを$n$回引いて$r$回当たる確率など
この考え方をさらに一般化したものが二項分布

例：反復試行の確率（復元抽出）

問題: 箱に赤玉2個と白玉2個が入っている。1つ取り出して色を確認し、箱に戻す操作を3回繰り返すとき、赤玉がちょうど2回出る確率は？
「取り出して戻す」ので、毎回同じ条件（赤2個・白2個、計4個）で引く独立な試行になる
1回で赤が出る確率は以下

$$ p = \frac{2}{4} = \frac{1}{2} $$

3回中ちょうど2回赤が出る確率は、反復試行の公式に$n=3, r=2, p=\frac{1}{2}$を当てはめる

$$ {}_3C_2 \left(\frac{1}{2}\right)^2 \left(\frac{1}{2}\right)^1 = 3 \times \frac{1}{8} = \frac{3}{8} $$

毎回箱に戻す（復元抽出）から、3回とも独立に同じ確率$\frac{1}{2}$で扱える
もし戻さない（非復元抽出）なら、回を追うごとに箱の中身が変わるので独立にならず、反復試行の公式は使えない（前述の「組合せを使った基本的な確率」のように直接数える必要がある）

条件付き確率

$B$が起こったという条件のもとで、$A$が起こる確率
定義は以下

$$ P(A \mid B) = \frac{P(A \cap B)}{P(B)} $$

この式を変形すると、一般の乗法定理になる（独立でない場合もこちらを使う）

$$ P(A \cap B) = P(B) \times P(A \mid B) $$

期待値

確率変数$X$が値$x_1, x_2, \dots, x_n$を、それぞれ確率$p_1, p_2, \dots, p_n$でとるとき、期待値は以下

$$ E(X) = \sum_i x_i p_i $$

試行を何度も繰り返したときに、平均的にどれくらいの値になるかを表す指標

その他

月はカテゴリカル変数

1月〜12月を「月の区分」として扱う場合はカテゴリカル変数
月は周期的で、12月と1月は隣り合っているため、単純な数値として扱うのは適切でないことが多い
一方、「2024年1月 => 2024年2月 => …」のように時間の経過を表す場合は、年月を量的変数として扱える
つまり、月がややこしい理由は月が２つの意味を持つから
- 3月 = March（時点・カテゴリ） => カテゴリカル変数
- 3か月 = 3 months（期間・量） => 量的変数
まあ、「郵便番号」は数字だけど、カテゴリカル変数というのと同じ

クロス集計表の切り方

クロス表の分母も結構間違えがち。

例: ワクチンの有効性を説明するにはどう比較すればいいか？

-	感染した	感染しなかった	合計
ワクチン未接種	100人	900人	1000人
ワクチン接種済み	450人	8550人	9000人
合計	550人	9450人	10000人

2つの見方がある。

見方	計算	何がわかる？
A	(100/550)、(450/550)	感染した人の中で、接種・未接種がどれくらいいるか
B	(100/1000)、(450/9000)	接種した人・していない人の中で、どれくらい感染したか

この場合は、適切なのは、AではなくBとなる
理由は、Aだと、そもそも論、ワクチン接種者の方が多い可能性があり、ワクチン自体の有効性を示せないから
Bはワクチンを摂取した人の中で、という事になっている

言い換えると次になる:

A: 感染者のワクチンを接種したしていない人の“確率”を見る
B: ワクチンを接種した人と接種していない人の感染する“確率”を見る

Aだと、何人ワクチンを接種していたのかが加味されていないため、ワクチンの有効性を示す上では不適切ということ。

確率の直感の罠

例:

10の中に2つのあたりがあるくじ
AとBがいる
Aが先に引いた後に、Bが引く順番でくじを引く
Bの確率はどうなるのか？

一見、Aが引いた後に、Bが引くから確率が変わりそうだが実際は変わらない。

$$ A=2/10 B=2/10 \times 1/9 + 8/10 \times 2/9 = \frac{2+16}{90} = 18/90 = 2/10 $$

つまり、Aさんが先に引いても、Bさんが先に引いても同じということ。

ちなみに、もしAさんの結果をBさんが知れる場合は、総合的には以下になる。

Aの結果を知った場合:
- $P(Bあたり|Aあたり)1/9=0.111$
- $P(Bあたり|Aハズレ)=2/9=0.222$
Aの結果を知らない場合:
- $P(Bあたり)=2/10=0.2$

だから、事前条件を知った上だと、より精緻な確率になるということ。

確率の直感の罠②

モンティホール問題は、直感と実際の確率がずれやすい有名な例。

例:

3つのドアがある
1つだけ当たりで、残り2つはハズレ
Aさんが最初に1つのドアを選ぶ
司会者は当たりの場所を知っていて、Aさんが選んでいないドアの中から必ずハズレを1つ開ける
その後、Aさんは「最初に選んだドアのままにする」か「残ったもう1つのドアに変更する」かを選べる

一見、最後には2つのドアしか残っていないので、以下に見える。

$$ 1/2 $$

しかし実際には、以下となる。

最初に選んだドアが当たりである確率は$1/3$
最初に選んだドアがハズレである確率は$2/3$

言い換えると、

つまり、最初に当たりを選んでいた場合、ドアを変更するとハズレになる
一方、最初にハズレを選んでいた場合、司会者は残ったハズレを必ず開けるため、ドアを変更すれば必ず当たりになる

したがって、以下となる。

$$ P(\text{変更せずに当たる}) = 1/3 $$$$ P(\text{変更して当たる}) = 2/3 $$

つまり、ドアを変更した方が当たる確率は2倍になる
ポイントは、司会者がランダムにドアを開けているわけではなく、当たりを知ったうえで必ずハズレを開けていること
そのため、「最後に2つ残ったから確率は $1/2$ ずつ」とはならない
確率を考えるときは、単に残っている選択肢の数を見るのではなく、どのようなルールで情報が得られたのかを見る必要がある

PPDACサイクル

統計的な問題解決の進め方を5つのステップに整理したフレームワーク
Problem（問題）・Plan（計画）・Data（データ）・Analysis（分析）・Conclusion（結論）の頭文字
各ステップの内容
- Problem: 何を明らかにしたいか、問題を明確にする
- Plan: どうやって調べるか、調査方法やデータの集め方を計画する
- Data: 計画に沿ってデータを収集・整理する
- Analysis: データを分析し、パターンや傾向を見出す
- Conclusion: 分析結果から結論を導き、Problemに立ち返って答える
Conclusionの結果、新たな疑問が生まれた場合は、それを次のProblemとしてサイクルを繰り返す
統計は計算そのものより、このサイクル全体を意識することが大切

まとめ

計算しましょう！

統計の基本的なこと

Fri, 20 Oct 2023 21:32:47 +0900

背景

京大の統計の「統計の入門」イントロダクションのPDFを見ていたらいい事が書いてあった
そこで、AIで記述統計から検定・回帰・因果推論まで、基本的な用語と考え方を一覧化した

確率と統計の違い

以下の違いがある。

確率
- 「モデルから起こりうる事象の確率を計算する」学問
統計
- 「手元のデータから逆にモデルや母集団の性質を推測する」学問

統計学の分類

記述統計と推測統計

統計学は大きく2つに分かれる。

記述統計（Descriptive statistics）
- 手元にあるデータそのものの特徴を、要約・可視化してわかりやすくすること
- 例: クラス40人の身長を測って、平均や分布を出す
推測統計（Inferential statistics）
- 手元のデータ（標本）から、その背後にある母集団の性質を推測すること
- 例: そのクラス40人の身長から、日本全体の同学年の平均身長を推測する

手元のデータを「見やすくする」のが記述統計、手元のデータから「見えていないものを推測する」のが推測統計。

推測統計の方法（仮説検定と推定）

推測統計はさらに2つの方法に分かれる。

仮説検定（Hypothesis testing）
- 標本をもとに、母集団に関する仮説の真偽を調べる方法
推定（Estimation）
- 標本をもとに、母集団の未知のパラメータ（母数）の値を推定する方法

データの種類と尺度水準

統計データは大きく2種類に分かれる。

質的データ（Qualitative data）
- 血液型や好き嫌いのように、記号・カテゴリを値としてとるデータ
量的データ（Quantitative data）
- 身長や気温のように、数値を値としてとるデータ

さらに、データがどんな演算を許すかで4つの尺度水準に分けられる。

尺度	意味	許される演算	例
名義尺度（Nominal scale）	値がただのラベル	一致/不一致の判定のみ	血液型・性別
順序尺度（Ordinal scale）	順序に意味がある	大小比較まで	満足度アンケート（良い/普通/悪い）
間隔尺度（Interval scale）	間隔（差）に意味があるが原点は任意	加減算まで	気温（摂氏）
比率尺度（Ratio scale）	原点（0）にも意味がある	加減乗除すべて	体重・身長・金額

尺度水準を間違えると、平均を取ってはいけないデータの平均を取ってしまうような誤りにつながる。例えば、アンケートの「良い=3、普通=2、悪い=1」を単純平均するのは、間隔が本当に等しいとは限らないので本来は注意が必要。

データの整理と確認

量子化（Quantization）

量的データは、測定の精度によって際限なく細かい値を取りうるため、生のままでは種類が多すぎて分布をつかみにくい
そこで、値が取りうる範囲をあらかじめいくつかの区間（階級）に区切っておき、観測された値をどの階級に入るかで置き換えて集計することを量子化と呼ぶ
階級は英語でbin（ビン）とも呼ばれ、量子化は「連続的な値をbin単位の有限個の値にまとめ直す」処理といえる
例: 体重を1kg刻みの階級に量子化する場合、52.3kgも52.7kgも「52kg台」という同じ階級にまとめられる

データ・階級・度数

データ・階級・度数を、それぞれ記号で表すと以下のようになる。

データ（Data）
- $n$個のデータを$X = \{x_1, x_2, \ldots, x_n\}$とする
階級（Class）
- 値の範囲を$k$個の区間に分け、$j$番目の階級を$I_j = [a_j,\ a_{j+1})$とする
- つまり、下限を含み上限を含まない、など境界の扱いはあらかじめ決めておく
度数（Frequency）
- 階級$I_j$に入るデータの個数を$f_j$とする
- つまり$x_i \in I_j$を満たす$x_i$の個数

この記号からも、度数$f_j$がデータ$X$と階級$I_j$の両方に依存して決まる値であることがわかる。

累積度数・相対度数・累積相対度数

度数だけだと全体に対する割合がわかりにくい。そこで、以下のような指標もあわせて使う。

相対度数（Relative frequency）
- 度数を全体の件数で割ったもの
- 全ての階級で足し合わせるとちょうど1（100%）になる
累積度数（Cumulative frequency）
- $j$番目の階級までの度数を足し合わせたもの

$$ F_j = \sum_{i=1}^{j} f_i $$

累積相対度数（Cumulative relative frequency）
- 累積度数を全体の件数$n$で割ったもの（$F_j / n$）
- 例: テストの点数を階級ごとに集計したとき、「60点未満の階級までの累積相対度数」を見れば、そのテストで60点未満だった人が全体の何割いたかが一目でわかる

度数分布表とヒストグラム

各階級に入るデータの個数（度数）を数え、それを表・グラフにしたもの。

度数分布表（Frequency distribution table）
- 各階級の度数を表にまとめたもの
ヒストグラム（Histogram）
- 度数分布表をグラフにしたもの

階級の決め方

階級の幅を細かくしすぎるとデータがまばらになって分布が読み取りにくく、粗くしすぎると情報が潰れてしまう
ちょうどよい階級の数を決める目安として、スタージェスの公式（Sturges’ rule）がよく使われる

$$ k = 1 + \log_2 n $$

$n$はデータの個数、$k$は階級の数の目安（実際には四捨五入して使う）
データの個数が多いほど階級数を増やしてよいが、対数なので増え方は緩やか（データが2倍になっても階級を1つ増やす程度）
あくまで目安であり、データの分布の形に応じて調整してよい

データの要約

最小値・最大値・四分位数

データを小さい順に並べたときの端の値と、その幅を表す指標。

最小値（Minimum）
- 一番小さい値
最大値（Maximum）
- 一番大きい値
範囲（レンジ、Range）
- 最大値から最小値を引いたもの
- データ全体がどれくらいの幅に収まっているかを表す最も単純な散らばりの指標
- 外れ値が1つ混ざるだけで大きく変わってしまうので、外れ値に弱いという欠点がある

中央値と同じ考え方を応用したものが四分位数（Quartile）。

第1四分位数
- 小さい方から数えて全体の25%の位置にくる値
第2四分位数
- ちょうど中央値のこと（50%の位置）
第3四分位数
- 小さい方から数えて全体の75%の位置にくる値
四分位範囲（Interquartile range）
- 第1四分位数から第3四分位数までの幅
- データの真ん中50%がどれくらいの幅に収まっているかがわかる

代表値（Measure of central tendency）

データ全体を1つの値で代表させたものを代表値と呼ぶ。

平均値（Mean）
- 全データの合計をデータ数で割ったもの
- 外れ値の影響を強く受ける
中央値（Median）
- データを小さい順に並べたとき、ちょうど真ん中にくる値
最頻値（Mode）
- 最も出現頻度が高い値

例えば、社員9人の年収がだいたい400万円台に集まっている会社に、年収1億円の社長が1人加わると、平均年収は一気に跳ね上がるが、中央値はほとんど動かない。「平均的な年収」を知りたいなら、こういう場面では中央値の方が実態に近いことが多い。

散らばりの指標

代表値だけでは「データがどれくらいばらついているか」がわからない
平均値が同じでも、全員がほぼ同じ値のデータと、大きくばらついているデータでは意味が違う
分散（Variance）は、各データが平均からどれだけ離れているかの2乗を平均したもの

$$ s^2 = \frac{1}{n}\sum_{i=1}^{n}(x_i - \bar{x})^2 $$

2乗しているため単位がもとのデータと変わってしまうので、その平方根を取った標準偏差（Standard deviation）がよく使われる

$$ s = \sqrt{s^2} $$

箱ひげ図（Box plot）

最小値・第1四分位数・中央値（第2四分位数）・第3四分位数・最大値の5つを、まとめて1つの図に表したもの
箱の下端が第1四分位数、上端が第3四分位数、箱の中の線が中央値
箱から伸びるひげが、最小値と最大値の方向を示す
複数のグループのデータを並べて箱ひげ図にすると、ヒストグラムを並べるより一覧性が高く、グループ間のばらつきや中心の違いを比較しやすい

標本調査と推定

母集団と標本（Population and sample）

母集団（Population）
- 調査の対象となる集団全体
全数調査（Census）
- 母集団のすべてを漏れなく調べる方法
標本（Sample）
- 母集団の一部だけを抜き出したもの
標本調査（Sample survey）
- 標本を使って母集団の性質を推測する調査

全数調査はコストや時間の面で難しいことが多いため、標本調査が使われることが多い。

標本調査の方法（Sampling methods）

標本の選び方には大きく2種類ある。

無作為抽出（Random sampling）
- 母集団の各要素が等しい確率で選ばれるように、偶然に任せて抽出する方法
有意抽出（Purposive sampling）
- 調べる側の都合や意図で対象を選ぶ方法

さらに、無作為抽出には主に5種類の方法がある。

単純無作為抽出（Simple random sampling）
- 母集団全体に通し番号を振り、くじや乱数を使って必要な数をそのまま選ぶ、最も基本的な方法
系統抽出（Systematic sampling）
- 母集団の名簿に番号を振り、一定の間隔ごとに標本を選ぶ方法
多段抽出（Multi-stage sampling）
- 抽出を複数の段階に分けて行う方法
- 例: 全国調査で、まず都道府県を無作為に選び、その中から市区町村を選び、さらにその中から対象者を選ぶ
層化抽出（Stratified sampling）
- 母集団の構成（性別や年代の割合など）があらかじめ分かっている場合に、その構成比に合わせて各層から抽出する方法
集落抽出（Cluster sampling）
- あらかじめ母集団をいくつかのグループ（集落）に分けておき、グループ単位で無作為に選び、選ばれたグループ内は全員を調査する方法

有意抽出は手軽だが、選ばれ方に偏りが生まれやすい。

選択バイアス（Selection bias）
- 標本の選ばれ方が偏っていることで、標本が母集団を正しく代表しなくなること
- 例: 「駅前で道行く人にアンケートを取る」方法は、平日昼間に駅前を歩ける人に偏ってしまい、働き方や年齢層に偏りが出やすい

母集団全体について何かを言いたいなら、無作為抽出が原則望ましい。

推定（Estimation）

標本から母集団の値（母数）を推測することを推定と呼ぶ。

推定の方法（点推定と区間推定）

推定には大きく2種類の方法がある。

点推定（Point estimation）
- 母数を1つの値でズバリ言い当てる推定
- 例: 標本平均を、母平均の推定値としてそのまま使う
区間推定（Interval estimation）
- 母数がこの範囲に入っているだろう、という幅（区間）で推定する
- 「95%信頼区間（Confidence interval）」のように、どれくらいの確からしさで区間を示しているかをセットで表す

点推定は分かりやすいが、標本を変えるたびに値がずれるので、そのズレ（誤差）の大きさまでは分からない。区間推定は、その誤差の大きさまで含めて表現できるので、より情報量が多い。

仮説検定（Hypothesis testing）

帰無仮説と有意水準

仮説検定は、「差がない」「関係がない」という仮説が、データと矛盾するかどうかを確率的に判断する方法。

帰無仮説（Null hypothesis）
- 「差がない」「効果がない」のように、否定したい前提として立てる仮説
対立仮説（Alternative hypothesis）
- 帰無仮説が正しくなかった場合に採用する、本来主張したい仮説
有意水準（Significance level）
- 帰無仮説を誤って棄却してしまう確率の上限として、あらかじめ決めておく基準（よく5%や1%が使われる）

検定の考え方は、いきなり「差がある」ことを直接証明するのではなく、まず「差がない」と仮定して、それとデータが矛盾するかどうかを調べる、という間接的な進め方をする。具体的には、帰無仮説が正しいと仮定したときに、実際に観測された標本（またはそれ以上に極端な標本）が得られる確率を計算し、その確率が有意水準より小さければ「帰無仮説のもとでは起こりにくすぎる」とみなして帰無仮説を棄却する。

主な検定の種類（適合度の検定と独立性の検定）

限られた標本から母集団の性質を検定したいとき、よく使われる検定は主に2つある。

適合度の検定（Goodness-of-fit test）
- 母集団の分布が、ある理論値と差があるとみなせるかどうかを調べる検定
独立性の検定（Test of independence）
- 2つの事象の間に関係があるとみなせるかどうかを調べる検定

いずれも「差がある」「関係がある」と言えるかどうかを、カイ二乗統計量を使って判断する点は共通している。

適合度の検定（Goodness-of-fit test）

観測された度数の分布が、理論的に想定される分布と一致しているかを調べる検定
例: サイコロを600回振って、1〜6の目がそれぞれ均等（各100回程度）に出るはずのところ、実際の出目の分布が理論値からどれくらいズレているかを調べる
観測度数と期待度数のズレを、次のような統計量にまとめる（カイ二乗統計量、Chi-square statistic）

$$ \chi^2 = \sum_{i} \frac{(O_i - E_i)^2}{E_i} $$

$O_i$は実際に観測された度数、$E_i$は理論上期待される度数
このズレが偶然の範囲では説明しにくいほど大きければ、「理論値通りではない（サイコロが歪んでいる等）」と判断する

独立性の検定（Test of independence）

2つの質的データの間に関係があるかどうかを調べる検定
データをクロス集計表（分割表、Contingency table）に整理し、「もし2つの変数が独立だったら、理論的にはどんな表になるはずか」という期待度数を計算する
実際のクロス集計表と、独立を仮定した場合の期待度数のズレが大きいほど、2つの変数の間に何らかの関連があると判断できる
計算方法自体は適合度の検定と同じカイ二乗統計量を使う
例: 「コーヒーを毎日飲むかどうか」と「よく眠れているかどうか」を集計して、両者に関連があるかを調べる、といった使い方をする

相関と回帰

相関係数（Correlation coefficient）

2つの量的データの間に、直線的な関係がどれくらい強いかを表す指標が相関係数
$-1$から$1$までの値を取り、$1$に近いほど強い正の相関、$-1$に近いほど強い負の相関、$0$に近いほど直線的な関係が弱いことを表す

$$ r = \frac{\sum_{i}(x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum_{i}(x_i - \bar{x})^2}\sqrt{\sum_{i}(y_i - \bar{y})^2}} $$

散布図を描いて、実際の点の散らばり方を目で確認することも重要
相関係数だけを見ていると、直線的でない関係（例えばU字型の関係）を見落としてしまうことがある

相関と因果の違い

相関関係（Correlation）
- $X$が大きい（小さい）ほど$Y$も大きい（小さい）という、両者が連動する関係
- $X$と$Y$のどちらが原因でどちらが結果かは問わない、対称的な関係
因果関係（Causality）
- $X$の変化や差によって$Y$の変化や差が生じるという、一方向の関係

相関関係があるからといって、必ずしも因果関係があるとは限らない。

見せかけの相関（Spurious correlation）

見せかけの相関（Spurious correlation）
- 2つの変数の間に直接の因果関係がないにもかかわらず、統計的には相関が観測されてしまう現象
交絡因子（Confounding factor）
- 2つの変数の両方に影響を与えることで、見せかけの相関を生み出している別の要因

例えば、「アイスクリームの売り上げ」と「水難事故の件数」には正の相関があるが、アイスクリームが水難事故を引き起こしているわけではない。実際には「気温が高い」という共通の原因が、両方を同時に押し上げているだけである。相関関係を見つけたときは、両者を同時に動かしている交絡因子がないかを疑う必要がある。

因果関係の3条件

$X$が$Y$の原因であると言うためには、次の3条件をすべて満たす必要がある。

時間的先行性（Temporal precedence）
- 原因となる$X$の変化が、結果となる$Y$の変化より時間的に先に起きていること
共変関係（Covariation）
- $X$が変動すると、それに伴って$Y$も変動すること（相関関係があること）
他の説明の排除（No confounding）
- $X$と$Y$の両方に影響を与えるような別の要因（交絡因子）が存在しないか、その影響が取り除かれていること

3つ目の条件が特に満たしにくく、交絡因子を完全に排除できたと言い切るのは難しい。そこで、次に説明するランダム化比較試験のような手法で、この条件を実験的に近づけるアプローチが取られる。

単回帰分析（Simple regression）

1つの量的データ$x$から、別の量的データ$y$を予測する直線を求める方法
求める直線は次のような式で表される

$$ y = a + bx $$

$a$は切片、$b$は傾き
データ全体と直線とのズレ（残差、Residual）の2乗和が最小になるように、$a$と$b$を決める方法を最小二乗法（Least squares method）と呼ぶ
回帰分析はあくまで相関関係の延長にすぎず、$x$が$y$の原因であることまでは保証しない

因果推論（Causal inference）

相関だけでは因果関係を主張できないので、因果関係そのものを調べるための手法もある。

ランダム化比較試験（RCT）

対象を「介入する群」と「介入しない群（対照群）」にランダムに振り分けて、結果を比較する方法
ランダムに振り分けることで、年齢や生活習慣などのあらゆる交絡因子が、平均的には両群で同じくらいになることが期待できる
交絡因子を意図的にそろえるのではなく、ランダム化によって「均等にばらけさせる」のがポイント
新薬の効果を調べる臨床試験などで使われる代表的な方法

操作変数法（Instrumental variable method）

RCTのようにランダムな割り付けができない場面で、因果関係に迫るための手法の1つ
「結果には直接影響しないが、原因となる変数にだけ影響する」ような第三の変数（操作変数）を探し、それを手がかりに間接的に因果効果を推定する
適切な操作変数を見つけること自体が難しく、実務ではここが一番の勘所になる

まとめ

記述統計（データを要約する）と推測統計（母集団を推測する）の違いを整理した
データの尺度水準・代表値・散らばりの指標など、データを正しく要約するための基本用語をまとめた
推定・仮説検定・カイ二乗検定・感度特異度など、標本から判断を下すための道具を確認した
相関と回帰、因果推論についても、相関と因果を混同しないことを軸にまとめた
どの道具も「何のためにその計算をしているのか」を見失うと使い方を誤りやすいので、目的に立ち返って使うことを意識したい