統計の基本的なこと

背景

京大の統計の「統計の入門」イントロダクションのPDFを見ていたらいい事が書いてあった
そこで、AIで記述統計から検定・回帰・因果推論まで、基本的な用語と考え方を一覧化した

確率と統計の違い

以下の違いがある。

確率
- 「モデルから起こりうる事象の確率を計算する」学問
統計
- 「手元のデータから逆にモデルや母集団の性質を推測する」学問

統計学の分類

記述統計と推測統計

統計学は大きく2つに分かれる。

記述統計（Descriptive statistics）
- 手元にあるデータそのものの特徴を、要約・可視化してわかりやすくすること
- 例: クラス40人の身長を測って、平均や分布を出す
推測統計（Inferential statistics）
- 手元のデータ（標本）から、その背後にある母集団の性質を推測すること
- 例: そのクラス40人の身長から、日本全体の同学年の平均身長を推測する

手元のデータを「見やすくする」のが記述統計、手元のデータから「見えていないものを推測する」のが推測統計。

推測統計の方法（仮説検定と推定）

推測統計はさらに2つの方法に分かれる。

仮説検定（Hypothesis testing）
- 標本をもとに、母集団に関する仮説の真偽を調べる方法
推定（Estimation）
- 標本をもとに、母集団の未知のパラメータ（母数）の値を推定する方法

データの種類と尺度水準

統計データは大きく2種類に分かれる。

質的データ（Qualitative data）
- 血液型や好き嫌いのように、記号・カテゴリを値としてとるデータ
量的データ（Quantitative data）
- 身長や気温のように、数値を値としてとるデータ

さらに、データがどんな演算を許すかで4つの尺度水準に分けられる。

尺度	意味	許される演算	例
名義尺度（Nominal scale）	値がただのラベル	一致/不一致の判定のみ	血液型・性別
順序尺度（Ordinal scale）	順序に意味がある	大小比較まで	満足度アンケート（良い/普通/悪い）
間隔尺度（Interval scale）	間隔（差）に意味があるが原点は任意	加減算まで	気温（摂氏）
比率尺度（Ratio scale）	原点（0）にも意味がある	加減乗除すべて	体重・身長・金額

尺度水準を間違えると、平均を取ってはいけないデータの平均を取ってしまうような誤りにつながる。例えば、アンケートの「良い=3、普通=2、悪い=1」を単純平均するのは、間隔が本当に等しいとは限らないので本来は注意が必要。

データの整理と確認

量子化（Quantization）

量的データは、測定の精度によって際限なく細かい値を取りうるため、生のままでは種類が多すぎて分布をつかみにくい
そこで、値が取りうる範囲をあらかじめいくつかの区間（階級）に区切っておき、観測された値をどの階級に入るかで置き換えて集計することを量子化と呼ぶ
階級は英語でbin（ビン）とも呼ばれ、量子化は「連続的な値をbin単位の有限個の値にまとめ直す」処理といえる
例: 体重を1kg刻みの階級に量子化する場合、52.3kgも52.7kgも「52kg台」という同じ階級にまとめられる

データ・階級・度数

データ・階級・度数を、それぞれ記号で表すと以下のようになる。

データ（Data）
- $n$個のデータを$X = \{x_1, x_2, \ldots, x_n\}$とする
階級（Class）
- 値の範囲を$k$個の区間に分け、$j$番目の階級を$I_j = [a_j,\ a_{j+1})$とする
- つまり、下限を含み上限を含まない、など境界の扱いはあらかじめ決めておく
度数（Frequency）
- 階級$I_j$に入るデータの個数を$f_j$とする
- つまり$x_i \in I_j$を満たす$x_i$の個数

この記号からも、度数$f_j$がデータ$X$と階級$I_j$の両方に依存して決まる値であることがわかる。

累積度数・相対度数・累積相対度数

度数だけだと全体に対する割合がわかりにくい。そこで、以下のような指標もあわせて使う。

相対度数（Relative frequency）
- 度数を全体の件数で割ったもの
- 全ての階級で足し合わせるとちょうど1（100%）になる
累積度数（Cumulative frequency）
- $j$番目の階級までの度数を足し合わせたもの

$$ F_j = \sum_{i=1}^{j} f_i $$

累積相対度数（Cumulative relative frequency）
- 累積度数を全体の件数$n$で割ったもの（$F_j / n$）
- 例: テストの点数を階級ごとに集計したとき、「60点未満の階級までの累積相対度数」を見れば、そのテストで60点未満だった人が全体の何割いたかが一目でわかる

度数分布表とヒストグラム

各階級に入るデータの個数（度数）を数え、それを表・グラフにしたもの。

度数分布表（Frequency distribution table）
- 各階級の度数を表にまとめたもの
ヒストグラム（Histogram）
- 度数分布表をグラフにしたもの

階級の決め方

階級の幅を細かくしすぎるとデータがまばらになって分布が読み取りにくく、粗くしすぎると情報が潰れてしまう
ちょうどよい階級の数を決める目安として、スタージェスの公式（Sturges’ rule）がよく使われる

$$ k = 1 + \log_2 n $$

$n$はデータの個数、$k$は階級の数の目安（実際には四捨五入して使う）
データの個数が多いほど階級数を増やしてよいが、対数なので増え方は緩やか（データが2倍になっても階級を1つ増やす程度）
あくまで目安であり、データの分布の形に応じて調整してよい

データの要約

最小値・最大値・四分位数

データを小さい順に並べたときの端の値と、その幅を表す指標。

最小値（Minimum）
- 一番小さい値
最大値（Maximum）
- 一番大きい値
範囲（レンジ、Range）
- 最大値から最小値を引いたもの
- データ全体がどれくらいの幅に収まっているかを表す最も単純な散らばりの指標
- 外れ値が1つ混ざるだけで大きく変わってしまうので、外れ値に弱いという欠点がある

中央値と同じ考え方を応用したものが四分位数（Quartile）。

第1四分位数
- 小さい方から数えて全体の25%の位置にくる値
第2四分位数
- ちょうど中央値のこと（50%の位置）
第3四分位数
- 小さい方から数えて全体の75%の位置にくる値
四分位範囲（Interquartile range）
- 第1四分位数から第3四分位数までの幅
- データの真ん中50%がどれくらいの幅に収まっているかがわかる

代表値（Measure of central tendency）

データ全体を1つの値で代表させたものを代表値と呼ぶ。

平均値（Mean）
- 全データの合計をデータ数で割ったもの
- 外れ値の影響を強く受ける
中央値（Median）
- データを小さい順に並べたとき、ちょうど真ん中にくる値
最頻値（Mode）
- 最も出現頻度が高い値

例えば、社員9人の年収がだいたい400万円台に集まっている会社に、年収1億円の社長が1人加わると、平均年収は一気に跳ね上がるが、中央値はほとんど動かない。「平均的な年収」を知りたいなら、こういう場面では中央値の方が実態に近いことが多い。

散らばりの指標

代表値だけでは「データがどれくらいばらついているか」がわからない
平均値が同じでも、全員がほぼ同じ値のデータと、大きくばらついているデータでは意味が違う
分散（Variance）は、各データが平均からどれだけ離れているかの2乗を平均したもの

$$ s^2 = \frac{1}{n}\sum_{i=1}^{n}(x_i - \bar{x})^2 $$

2乗しているため単位がもとのデータと変わってしまうので、その平方根を取った標準偏差（Standard deviation）がよく使われる

$$ s = \sqrt{s^2} $$

箱ひげ図（Box plot）

最小値・第1四分位数・中央値（第2四分位数）・第3四分位数・最大値の5つを、まとめて1つの図に表したもの
箱の下端が第1四分位数、上端が第3四分位数、箱の中の線が中央値
箱から伸びるひげが、最小値と最大値の方向を示す
複数のグループのデータを並べて箱ひげ図にすると、ヒストグラムを並べるより一覧性が高く、グループ間のばらつきや中心の違いを比較しやすい

標本調査と推定

母集団と標本（Population and sample）

母集団（Population）
- 調査の対象となる集団全体
全数調査（Census）
- 母集団のすべてを漏れなく調べる方法
標本（Sample）
- 母集団の一部だけを抜き出したもの
標本調査（Sample survey）
- 標本を使って母集団の性質を推測する調査

全数調査はコストや時間の面で難しいことが多いため、標本調査が使われることが多い。

標本調査の方法（Sampling methods）

標本の選び方には大きく2種類ある。

無作為抽出（Random sampling）
- 母集団の各要素が等しい確率で選ばれるように、偶然に任せて抽出する方法
有意抽出（Purposive sampling）
- 調べる側の都合や意図で対象を選ぶ方法

さらに、無作為抽出には主に5種類の方法がある。

単純無作為抽出（Simple random sampling）
- 母集団全体に通し番号を振り、くじや乱数を使って必要な数をそのまま選ぶ、最も基本的な方法
系統抽出（Systematic sampling）
- 母集団の名簿に番号を振り、一定の間隔ごとに標本を選ぶ方法
多段抽出（Multi-stage sampling）
- 抽出を複数の段階に分けて行う方法
- 例: 全国調査で、まず都道府県を無作為に選び、その中から市区町村を選び、さらにその中から対象者を選ぶ
層化抽出（Stratified sampling）
- 母集団の構成（性別や年代の割合など）があらかじめ分かっている場合に、その構成比に合わせて各層から抽出する方法
集落抽出（Cluster sampling）
- あらかじめ母集団をいくつかのグループ（集落）に分けておき、グループ単位で無作為に選び、選ばれたグループ内は全員を調査する方法

有意抽出は手軽だが、選ばれ方に偏りが生まれやすい。

選択バイアス（Selection bias）
- 標本の選ばれ方が偏っていることで、標本が母集団を正しく代表しなくなること
- 例: 「駅前で道行く人にアンケートを取る」方法は、平日昼間に駅前を歩ける人に偏ってしまい、働き方や年齢層に偏りが出やすい

母集団全体について何かを言いたいなら、無作為抽出が原則望ましい。

推定（Estimation）

標本から母集団の値（母数）を推測することを推定と呼ぶ。

推定の方法（点推定と区間推定）

推定には大きく2種類の方法がある。

点推定（Point estimation）
- 母数を1つの値でズバリ言い当てる推定
- 例: 標本平均を、母平均の推定値としてそのまま使う
区間推定（Interval estimation）
- 母数がこの範囲に入っているだろう、という幅（区間）で推定する
- 「95%信頼区間（Confidence interval）」のように、どれくらいの確からしさで区間を示しているかをセットで表す

点推定は分かりやすいが、標本を変えるたびに値がずれるので、そのズレ（誤差）の大きさまでは分からない。区間推定は、その誤差の大きさまで含めて表現できるので、より情報量が多い。

仮説検定（Hypothesis testing）

帰無仮説と有意水準

仮説検定は、「差がない」「関係がない」という仮説が、データと矛盾するかどうかを確率的に判断する方法。

帰無仮説（Null hypothesis）
- 「差がない」「効果がない」のように、否定したい前提として立てる仮説
対立仮説（Alternative hypothesis）
- 帰無仮説が正しくなかった場合に採用する、本来主張したい仮説
有意水準（Significance level）
- 帰無仮説を誤って棄却してしまう確率の上限として、あらかじめ決めておく基準（よく5%や1%が使われる）

検定の考え方は、いきなり「差がある」ことを直接証明するのではなく、まず「差がない」と仮定して、それとデータが矛盾するかどうかを調べる、という間接的な進め方をする。具体的には、帰無仮説が正しいと仮定したときに、実際に観測された標本（またはそれ以上に極端な標本）が得られる確率を計算し、その確率が有意水準より小さければ「帰無仮説のもとでは起こりにくすぎる」とみなして帰無仮説を棄却する。

主な検定の種類（適合度の検定と独立性の検定）

限られた標本から母集団の性質を検定したいとき、よく使われる検定は主に2つある。

適合度の検定（Goodness-of-fit test）
- 母集団の分布が、ある理論値と差があるとみなせるかどうかを調べる検定
独立性の検定（Test of independence）
- 2つの事象の間に関係があるとみなせるかどうかを調べる検定

いずれも「差がある」「関係がある」と言えるかどうかを、カイ二乗統計量を使って判断する点は共通している。

適合度の検定（Goodness-of-fit test）

観測された度数の分布が、理論的に想定される分布と一致しているかを調べる検定
例: サイコロを600回振って、1〜6の目がそれぞれ均等（各100回程度）に出るはずのところ、実際の出目の分布が理論値からどれくらいズレているかを調べる
観測度数と期待度数のズレを、次のような統計量にまとめる（カイ二乗統計量、Chi-square statistic）

$$ \chi^2 = \sum_{i} \frac{(O_i - E_i)^2}{E_i} $$

$O_i$は実際に観測された度数、$E_i$は理論上期待される度数
このズレが偶然の範囲では説明しにくいほど大きければ、「理論値通りではない（サイコロが歪んでいる等）」と判断する

独立性の検定（Test of independence）

2つの質的データの間に関係があるかどうかを調べる検定
データをクロス集計表（分割表、Contingency table）に整理し、「もし2つの変数が独立だったら、理論的にはどんな表になるはずか」という期待度数を計算する
実際のクロス集計表と、独立を仮定した場合の期待度数のズレが大きいほど、2つの変数の間に何らかの関連があると判断できる
計算方法自体は適合度の検定と同じカイ二乗統計量を使う
例: 「コーヒーを毎日飲むかどうか」と「よく眠れているかどうか」を集計して、両者に関連があるかを調べる、といった使い方をする

相関と回帰

相関係数（Correlation coefficient）

2つの量的データの間に、直線的な関係がどれくらい強いかを表す指標が相関係数
$-1$から$1$までの値を取り、$1$に近いほど強い正の相関、$-1$に近いほど強い負の相関、$0$に近いほど直線的な関係が弱いことを表す

$$ r = \frac{\sum_{i}(x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum_{i}(x_i - \bar{x})^2}\sqrt{\sum_{i}(y_i - \bar{y})^2}} $$

散布図を描いて、実際の点の散らばり方を目で確認することも重要
相関係数だけを見ていると、直線的でない関係（例えばU字型の関係）を見落としてしまうことがある

相関と因果の違い

相関関係（Correlation）
- $X$が大きい（小さい）ほど$Y$も大きい（小さい）という、両者が連動する関係
- $X$と$Y$のどちらが原因でどちらが結果かは問わない、対称的な関係
因果関係（Causality）
- $X$の変化や差によって$Y$の変化や差が生じるという、一方向の関係

相関関係があるからといって、必ずしも因果関係があるとは限らない。

見せかけの相関（Spurious correlation）

見せかけの相関（Spurious correlation）
- 2つの変数の間に直接の因果関係がないにもかかわらず、統計的には相関が観測されてしまう現象
交絡因子（Confounding factor）
- 2つの変数の両方に影響を与えることで、見せかけの相関を生み出している別の要因

例えば、「アイスクリームの売り上げ」と「水難事故の件数」には正の相関があるが、アイスクリームが水難事故を引き起こしているわけではない。実際には「気温が高い」という共通の原因が、両方を同時に押し上げているだけである。相関関係を見つけたときは、両者を同時に動かしている交絡因子がないかを疑う必要がある。

因果関係の3条件

$X$が$Y$の原因であると言うためには、次の3条件をすべて満たす必要がある。

時間的先行性（Temporal precedence）
- 原因となる$X$の変化が、結果となる$Y$の変化より時間的に先に起きていること
共変関係（Covariation）
- $X$が変動すると、それに伴って$Y$も変動すること（相関関係があること）
他の説明の排除（No confounding）
- $X$と$Y$の両方に影響を与えるような別の要因（交絡因子）が存在しないか、その影響が取り除かれていること

3つ目の条件が特に満たしにくく、交絡因子を完全に排除できたと言い切るのは難しい。そこで、次に説明するランダム化比較試験のような手法で、この条件を実験的に近づけるアプローチが取られる。

単回帰分析（Simple regression）

1つの量的データ$x$から、別の量的データ$y$を予測する直線を求める方法
求める直線は次のような式で表される

$$ y = a + bx $$

$a$は切片、$b$は傾き
データ全体と直線とのズレ（残差、Residual）の2乗和が最小になるように、$a$と$b$を決める方法を最小二乗法（Least squares method）と呼ぶ
回帰分析はあくまで相関関係の延長にすぎず、$x$が$y$の原因であることまでは保証しない

因果推論（Causal inference）

相関だけでは因果関係を主張できないので、因果関係そのものを調べるための手法もある。

ランダム化比較試験（RCT）

対象を「介入する群」と「介入しない群（対照群）」にランダムに振り分けて、結果を比較する方法
ランダムに振り分けることで、年齢や生活習慣などのあらゆる交絡因子が、平均的には両群で同じくらいになることが期待できる
交絡因子を意図的にそろえるのではなく、ランダム化によって「均等にばらけさせる」のがポイント
新薬の効果を調べる臨床試験などで使われる代表的な方法

操作変数法（Instrumental variable method）

RCTのようにランダムな割り付けができない場面で、因果関係に迫るための手法の1つ
「結果には直接影響しないが、原因となる変数にだけ影響する」ような第三の変数（操作変数）を探し、それを手がかりに間接的に因果効果を推定する
適切な操作変数を見つけること自体が難しく、実務ではここが一番の勘所になる

まとめ

記述統計（データを要約する）と推測統計（母集団を推測する）の違いを整理した
データの尺度水準・代表値・散らばりの指標など、データを正しく要約するための基本用語をまとめた
推定・仮説検定・カイ二乗検定・感度特異度など、標本から判断を下すための道具を確認した
相関と回帰、因果推論についても、相関と因果を混同しないことを軸にまとめた
どの道具も「何のためにその計算をしているのか」を見失うと使い方を誤りやすいので、目的に立ち返って使うことを意識したい