背景

• プログラムでの計算で確率を使うことは多い
• しかし、高校の時にやった確率をほとんど忘れてしまった
• すると計算が必要な時に困るので改めて復習した
• また、データ処理で特に間違いやすかったメモも入れた

場合の数

場合の数とは

• 場合の数とは、ある事柄の起こり方が何通りあるかを数えた数のこと
• 例えば、サイコロを1回振ったときに出る目は1〜6の6通りで、これが「サイコロの目の出方の場合の数」
• 「偶数の目が出る」という事柄に限れば、2・4・6の3通りなので、この事柄の場合の数は3
• 確率を求めるには、まずこの場合の数を正確に数えられる必要があるため、樹形図・和の法則・積の法則・順列・組合せといった数え方を先に整理する

ラプラスの定義

• 場合の数を使った、確率の最も基本的な定義がラプラスの定義

• 全ての場合が同様に確からしいことが前提になる

試行・事象・余事象

試行とは

• 試行とは、サイコロを振る・カードを引くといった、結果が偶然によって決まる行為や実験のこと

事象とは

• 事象とは、試行の結果として起こりうる事柄のことで、標本空間（全事象）の部分集合にあたる
• 例えば「サイコロを振って偶数の目が出る」も1つの事象
• 事象$A$・事象$B$のように、アルファベットで名前をつけて表すことが多い

余事象とは

• 事象$A$が起こらない事象を余事象と呼び、$\bar{A}$（または$A^c$）と書く
• 具体的な計算例は後述の余事象のセクションで扱う

樹形図

• 場合の数を数える基本は、樹形図で枝分かれを全て書き出すこと
• 樹形図を一般化した数え方が、次の和の法則と積の法則

和と積の法則

和の法則

• 事象$A$がm通り、事象$B$がn通りで、$A$と$B$が同時には起こらないとき
• $A$または$B$の起こり方は$m+n$通り

積の法則

• 事象$A$の起こり方がm通り
• その各々に対して事象$B$の起こり方がn通り
• $A$の後に$B$が続けて起こる場合の数は$m \times n$通り
• 例: サイコロを2回振るときの目の出方は、$6 \times 6 = 36$通り（積の法則）

包除原理（Inclusion-Exclusion）

• 和の法則は、$A$と$B$が排反（同時に起こらない）であることが前提
• $A$と$B$が重なりうる場合は、重複分を引く必要がある

• 例: トランプ1枚を引いて「ハートが出る」（13通り）か「ジャックが出る」（4通り）の場合の数は、ハートのジャック（1通り）が重複するため、$13+4-1=16$通り。単純に$13+4=17$通りとするのは誤り

階乗

• $n!$は、$n$から$1$までを全て掛け合わせたもの
• 定義は以下

• 便宜上、$0! = 1$と定義される

順列（Permutation）

順列の定義

• 異なる$n$個から$r$個を選んで、順序をつけて並べる場合の数
• 定義は以下

• 並び方が違えば別の場合として数える
• 例: A・B・Cの3人から2人を選んで1列に並べる場合、AB・BA・AC・CA・BC・CBの6通り（${}_3P_2 = 6$）

順列の定義の意味

• たとえば、A・B・Cの3人から2人を選んで、1列に並べるとする

• 3x2=6の6通りになる

• 「最初の選択が3通りあり、そのそれぞれについて次の選択が2通りあるなら、全部で $3\times2$ 通り」
• これを一般化して、異なる $n$個から$r$個を選んで並べる
• 1番目はn通り
• 1つ使ったので、2番目はn-1通り
• さらに1つ使ったので、3番目はn-2通り
• そして、r番目まで来ると、$n-r+1$通りまで残っている

• では、なぜ階乗になるのか？
• 順列で欲しいのは、途中のところまで

• 例えば、7P3なら、7x6x5までほしい
• しかし、7!での余計な4x3x2x1を除く
• 従って、以下になる

• これをnとrで一般化すると、以下になる

• だから、両辺を $(n-r)!$ で割ると、以下になる

例：順列

問題: 1〜9の数字が1つずつ書かれた9枚のカードから3枚を選んで並べ、3桁の整数を作る。何通りできるか？

「9個から3個選んで順序をつけて並べる」ので、そのまま順列の定義に当てはまる。

同じものを含む順列

• $n$個のうち、同じものがそれぞれ$p$個、$q$個、$r$個…ずつ含まれるときの並べ方
• 定義は以下

• 全部を区別して並べる${}_nP_n = n!$通りから、同じもの同士の並び替え分を割って重複を消しているイメージ

組み合わせ（Combination）

組み合わせの定義

• 異なる$n$個から$r$個を選ぶ場合の数（順序は区別しない）
• 定義は以下

• 順列${}_nP_r$を、選んだ$r$個の並び替え分（$r!$通り）で割ったものがCのイメージ
• 例: A・B・Cの3人から2人を選ぶだけなら、AB・AC・BCの3通り（${}_3C_2 = 3$）、並び順は数えない

コンビネーションの表記の違い

• 高校では${}_nC_r$と書くが、大学以降や海外の教科書では二項係数の表記を使うことが多い
• 定義は同じで、記号が違うだけ

• 読み方は「$n$ choose $r$」（$n$個から$r$個選ぶ）
• 縦に$n$、$r$を並べて大きい括弧で囲む書き方で、割り算の記号は書かない

順列かコンビネーションかの見極め方

• 判断基準は、「入れ替えたら別物になるかどうか」
  • 定義的に、順列はnPr、組み合わせはnPr/r!となっている
  • 組み合わせはr!分だけ重複を取り除いている
• 例
  • 「5人から委員を2人選ぶ」→ Combination
  • 「5人から会長と副会長を選ぶ」→ Permutation
• つまり、選ぶだけ -> Combination、選んだ後に「誰がどの役割か」まで決める -> Permutation

例: コンビネーション

問題: 22台の製品のうち3台が故障している。無作為に2台取り出すとき、ちょうど1台が故障している確率は？

2つの考え方がある。

• 2つ引いた中で、故障から1台、正常から1台の考え方

• 順番に引く確率を計算して、「故障->正常」「正常->故障」の2通りを加算する

• それ順番に引く確率 × 並び方2通りのcombinationなので以下でもOK

• どちらも19/77

独立と排反

排反とは

• 2つの事象が同時には起こらないことを排反という
• 例えば、サイコロを1回振ったとき、「1が出る」と「2が出る」は同時に起こらないため排反
• 排反な事象同士は、確率・場合の数ともに単純に足し合わせられる（和の法則）

独立とは

• 事象$A$が起きたかどうかによって、事象$B$の起こりやすさ（確率）が変わらないことを独立という
• 例えば、雨が降る確率と傘をさす確率は、雨が降ったら傘をさす確率が上がるため独立ではない
• 独立な場合、両方起こる確率は単純な掛け算になる。詳しくは後述の独立な事象・独立な試行で扱う

排反と独立は別概念

• 排反と独立は似た言葉に見えるが、別の概念。排反かつ両方の確率が非ゼロの事象同士は、独立になりえない
• 独立なら$P(A\cap B)=P(A)\times P(B)$が成り立つはずだが、排反なら$P(A\cap B)=0$なので、$P(A)\times P(B)=0$が要求される
• $P(A)>0$かつ$P(B)>0$ならこれは矛盾するので、排反な事象同士は独立ではない
• むしろ排反な事象は、$A$が起きたと分かった瞬間に$B$が絶対に起きないと確定する、最も強い依存関係を持っている

基本的な確率

確率とは

• 確率とは、ある事象がどれだけ起こりやすいかを、0以上1以下の数値で表したもの
• 試行で起こりうる結果全体の集合を標本空間（全事象）と呼び、$U$や$\Omega$と書く
• 確率には、直感的に以下の性質が成り立つ
  • 全事象$U$が起こる確率は1
  • どの事象の確率も0以上
  • 排反な事象同士（同時には起こらない事象同士）が起こる確率は、それぞれの確率の和になる
• この性質を出発点に、余事象・和事象・条件付き確率といった具体的な計算ルールが導かれていく

基本的な確率の求め方

• 全ての場合が同様に確からしいとき、事象$A$の確率は以下

• $n(A)$は事象$A$の場合の数、$n(U)$は全体（全事象）の場合の数
• サイコロ・コイン・カード・くじのような「全パターンのうち何パターンが条件に合うか」を、前述の場合の数（樹形図・和の法則・積の法則・順列・組合せ）で数えれば求まる
• 「少なくとも1つ」「ちょうど1つ」のような条件は、全体からどの部分を数えるかの言い換えに過ぎない

余事象

余事象の定義

• 事象$A$が起こらない事象を余事象と呼び、$\bar{A}$（または$A^c$）と書く
• 全事象の確率は1なので、以下が成り立つ

• 「少なくとも1つは〜」のような計算は、直接数えると場合分けが多くなりがちなので、余事象（1つも〜でない）から引く方が楽なことが多い

例：余事象の考え方

コインを5回投げて「表が2回以上出る確率」

• 数直線で考えるとわかりやすい
• $X \ge 2$が表が二回以上でる確率なので、$0, 1$の二パターンになる

1
2
3

---+---+---+---+---+---+---
   0   1   2   3   4   5
           <- 求めたい ->

例：余事象を使う確率

問題: サイコロを3回振るとき、少なくとも1回は6の目が出る確率は？

• 直接数えると「1回だけ6」「2回だけ6」「3回とも6」を別々に足す必要があり面倒
• 例えば、1回目の6と3回目の6を区別しないのでcombinationになる

ゆえに、以下になる。

• 余事象「3回とも6が出ない」を考える方が早い

• 1回振って6以外が出る確率は$\frac{5}{6}$なので、3回とも6が出ない確率は以下

• 求める確率は、これを1から引く

和事象と加法定理

• $A$または$B$が起こる確率は以下
• $A$と$B$が同時に起こる部分を二重に数えないよう、その分を引く

• $A$と$B$が同時に起こりえない（排反）場合は$P(A \cap B) = 0$なので、以下まで単純化できる

独立性と反復試行

独立な事象

• 独立とは「Aを知っても Bの確率が変わらない」こと
• 雨降る確率と傘をさす確率が合った時に、雨が降った時に傘をさす確率が変わらなければ独立の事象となる
• 当然、雨降ったら傘を指す確率が上がるので、その2つは独立ではない

独立な試行・反復試行の定義

• 事象$A$の結果が事象$B$の起こりやすさに一切影響しない場合、$A$と$B$は独立という
• 独立な場合、両方起こる確率は単純な掛け算になる

• 独立でない場合は、そのまま掛け算にはできないので、後述の条件付き確率を使う
• 独立な試行を何度も繰り返すのが反復試行
• 確率$p$で起こる試行を$n$回繰り返したとき、ちょうど$r$回起こる確率は以下

• ${}_nC_r$が出てくる理由は、$n$回のうち「どのタイミングで$r$回起こるか」の組み合わせの数だから
• 例: コインを5回投げて、ちょうど3回表が出る確率、当たり確率$p$のくじを$n$回引いて$r$回当たる確率など
• この考え方をさらに一般化したものが二項分布

例：反復試行の確率（復元抽出）

問題: 箱に赤玉2個と白玉2個が入っている。1つ取り出して色を確認し、箱に戻す操作を3回繰り返すとき、赤玉がちょうど2回出る確率は？

• 「取り出して戻す」ので、毎回同じ条件（赤2個・白2個、計4個）で引く独立な試行になる
• 1回で赤が出る確率は以下

• 3回中ちょうど2回赤が出る確率は、反復試行の公式に$n=3, r=2, p=\frac{1}{2}$を当てはめる

• 毎回箱に戻す（復元抽出）から、3回とも独立に同じ確率$\frac{1}{2}$で扱える
• もし戻さない（非復元抽出）なら、回を追うごとに箱の中身が変わるので独立にならず、反復試行の公式は使えない（前述の「組合せを使った基本的な確率」のように直接数える必要がある）

同時確率と条件付き確率

同時確率

独立の時の同時確率の定義

独立の時の同時確率は、以下のように定義できる。

例えば、コインが表になる確率とサイコロの6の出目がでる同時確率は以下になる。

同時確率と条件付き確率

同時確率は次のように定義される。

• コイントスとサイコロのような独立している場合は$P(A|B)=P(A)$だったということ
• つまり、条件付き確率で表す同時確率は一般化した形ということ

同時確率の2つの定義

一般的な定義（乗法定理）:

AとBが独立している場合の特殊形:

周辺確率

周辺確率とは

• 周辺確率とは、複数の変数の同時確率から、着目しない変数を全て足し合わせて（周辺化して）消し、残った変数だけの確率にしたもの
• $A$・$B$それぞれが起こる/起こらないの2×2で、同時確率の表を作ると整理しやすい

• 表の右端・下端（合計の行・列）が、それぞれ周辺確率にあたる
• どちらの変数を固定し、どちらを場合分けして消すかで、2通りの周辺化ができる

① P(A)を求める

$B$と$\bar{B}$で場合分けして、$A$の行を合計する。

• $P(B\mid A) + P(\bar{B}\mid A) = 1$
• $A$が起きた前提のもとでは、$B$か$\bar{B}$のどちらかは必ず起こる
• なので、以下になる

• つまりこれは恒等式で、$P(A)$を求めるのには使えない（右辺に$P(A)$自身が残ったまま）
• 既に$A$で条件付けした確率（$P(B\mid A)$など）を使って$A$自身を求めようとしても、堂々巡りになるのは自然なこと

② P(B)を求める

今度は$A$と$\bar{A}$で場合分けして、$B$の列を合計する。

• こちらは、右辺に$P(B)$自身が出てこず、$P(A)$・$P(\bar{A})$・$P(B\mid A)$・$P(B\mid \bar{A})$という別の量だけで計算できる
• これが、後述のベイズの定理で分母$P(B)$を計算する際に使う式（全確率の定理）そのもの
• 一般に、事象$A$が$A_1, A_2, \ldots, A_n$のように互いに排反な$n$個に分割できる場合、以下のように一般化できる

ポイント:

• 周辺化したい変数（今回は$B$）とは別の変数（$A$）で場合分けすること
• 同じ変数で場合分けすると①のように恒等式に潰れてしまい、意味のある計算にならない

条件付き確率

条件付き確率の定義

• $B$が起こったという条件のもとで、$A$が起こる確率
• 定義は以下

• 例: 100人中女性が60人、女性かつ賛成が36人のとき、「女性」という条件のもとで賛成する確率は$36/60=0.6$

乗法定理

• 条件付き確率の式を変形すると、一般の乗法定理になる（独立でない場合もこちらを使う）

ベイズの定理

• 条件付き確率$P(A \mid B)$と、逆向きの条件付き確率$P(B \mid A)$を結びつける定理
• 定義は以下

• 分母$P(B)$は、$A$が起きた場合と起きなかった場合に分けて計算できる（全確率の定理）

ベイズの定理②

つまり、ベイズの定理は式変形すると、同時確率を2つの形で表しているということ。

条件付き確率→乗法定理→同時確率を2通りに表す→ベイズの定理という流れ。

例：ベイズの定理を使った確率

問題: 良品の確率は98%、不良品の確率は2%。チェック工程で良品を良品と判断する確率は99%、不良品を不良品と判断する確率は99%。不良品と判断されたものが、実際に不良品である確率は何%か？

事象を整理する:

• 真不：本当に不良品である（$P(\text{真不}) = 0.02$）
• 真良：本当に良品である（$P(\text{真良}) = 0.98$）
• 判不：チェック工程で不良品と判断されること
• 判正：チェック工程で良品と判断されること

Confusion Matrix:

• $P(\text{判不} \mid \text{真不}) = 0.99$
• $P(\text{判不} \mid \text{真良}) = 0.01$
• $P(\text{判正} \mid \text{真不}) = 0.01$
• $P(\text{判正} \mid \text{真良}) = 0.99$

求めたいのは$P(\text{真不} \mid \text{判不})$（不良と判定されたとき、本当に不良である確率）。

まず分母$P(\text{判不})$を全確率の定理で計算する。

• ベイズの定理に代入する

• 不良品と判断されたものが実際に不良品である確率は約66.9%
• 検査自体の精度（99%）は高いのに、実際に不良品と判定されたものが本当に不良品である確率は約7割にとどまる。理由は、そもそもの不良品の発生率（2%）が低く、母数の多い良品側から生まれる誤判定（偽陽性）の実数が無視できないほど積み重なるため

条件付き確率の可視化

条件付き確率の例

• P(A) = 雨が降る確率
• P(B) = 傘をさす確率
• これらが互いに独立なら、P(A) = P(B|A) となる
• つまり、独立なら、傘をさす確率 = 雨が振っている時に傘をさす確率
• 他方独立ではないなら、等式にならない
• 条件付き確率は面積で考えるとわかりやすい
  • $P(B\mid A) = \frac{\text{AとBが同時に起きる確率}} {\text{Aが起きる確率}} = \frac{P(A\cap B)} {P(A\cap B)+P(A\cap \neg B)}$
• つまり、条件付き確率は面積の割合という事

独立の場合

前提として、次の確率だったとする。

• Aになる確率

• Aにならない確率

• Bになる確率

• Bにならない確率

• また、今回の数値では

• AのときにBになる確率

• AではないときにBになる確率

• 独立の場合

一般的な場合

前提として、次の確率だったとする。

• Aになる確率

• Aにならない確率

• Bになる確率

• Bにならない確率

• AのときにBになる確率

• AではないときにBになる確率

• 全確率の公式からBになる確率を求める

• 今回は独立ではない

したがって、

なので、AとBは独立ではない。

確率論の基本公式

ベイズの定理までの流れ

• 同時確率は、A が起きた上で B が起きる確率として

• これを \(P(B|A)\) について変形すると、

• また、A が起きている場合は、その中で
  • B が起きる
  • B が起きない のどちらかなので、

• ②の分子 \(P(A,B)\) に①を代入すると

• \(P(A)\) が約分されるので、

となる（当然）。

• これは新しい公式ではなく、もとの定義を代入して元に戻っただけ。
• ベイズの定理で重要なのは、同じ同時確率 \(P(A,B)\) を逆方向からも書けること。
• A を基準にすると、

• B を基準にすると、

• この2つは、どちらも同じ $A\cap B$ の面積を表しているので、

• ④を $P(A|B)$ について解くと、

• これがベイズの定理。

• 当然、両辺に $P(B)$ を掛けると、

• となり、これは④とまったく同じ意味。
• つまりベイズの定理の本質は、

• という「同じ $A\cap B$ の面積を、A側から見るかB側から見るか」という関係を利用して、

と条件の向きを逆転させること。

• なお、ベイズの定理の分母のP(B)については次のようにとく

• これは面積の合算をしているということ

確率の基本公式のまとめ

周辺確率の表と条件付き確率の表を覚えておくとわかりやすい。

周辺確率はP(B)を求める場合は、P(B)を右辺に入れないのがポイント。

期待値

確率変数

確率変数とは

• 確率変数とは、試行の結果に応じて値が定まる変数のこと
• 例えば、サイコロを1回振ったときの出目を$X$とすると、$X$は1〜6のいずれかの値を確率的に取る確率変数になる
• 事象が「起こる／起こらない」という集合的な捉え方だったのに対し、確率変数はそれを数値として扱えるようにしたもの
• 取りうる値が1, 2, 3, …のように飛び飛びの離散型と、身長・時間のように連続的な値を取る連続型がある
• $P(X=x_i)$のように書くと、「確率変数$X$が値$x_i$を取る確率」を表せる

事象と確率変数の関係

事象・確率変数・指示確率変数（後述）の関係を整理すると、以下のようになる。

• 事象＝集合（起こる/起こらないという二値的な捉え方）
• 確率変数＝関数（標本空間の各結果に数値を対応させる、一般にはもっと多くの値を取れる）
• 指示確率変数=関数で「事象を0/1の値だけを取る確率変数として表現したもの」
• 指示関数は確率変数の特殊系ということ

期待値

• 確率変数$X$が値$x_1, x_2, \dots, x_n$を、それぞれ確率$p_1, p_2, \dots, p_n$でとるとき、期待値は以下

• 試行を何度も繰り返したときに、平均的にどれくらいの値になるかを表す指標

指示関数（指示確率変数）

指示関数の定義

• 事象$A$が起きたら1、起きなければ0を返す関数を指示関数（指示確率変数）と呼び、$\mathbb{1}_A$や$I_A$と書く
• 定義は以下

• 「試行の結果$\omega$に応じて値が決まる」という確率変数の定義そのものを満たしているので、$\mathbb{1}_A$自体が確率変数になっている（0と1の2値しか取らない、一番単純な確率変数）

例: 指示関数

• 例: サイコロの出目で「偶数の目が出る」という事象を$A$とすると、$\mathbb{1}_A$は出目が偶数なら1、奇数なら0を返す確率変数になる
• 指示確率変数の期待値を計算すると、以下のようにその事象の確率そのものになる

• つまり「事象$A$の確率」と「指示確率変数$\mathbb{1}_A$の期待値」は同じものであり、事象・確率・確率変数・期待値という一連の概念がこの一本の式でつながっている

その他

確率の直感の罠

例:

• 10の中に2つのあたりがあるくじ
• AとBがいる
• Aが先に引いた後に、Bが引く順番でくじを引く
• Bの確率はどうなるのか？

一見、Aが引いた後に、Bが引くから確率が変わりそうだが実際は変わらない。

つまり、Aさんが先に引いても、Bさんが先に引いても同じということ。

ちなみに、もしAさんの結果をBさんが知れる場合は、総合的には以下になる。

• Aの結果を知った場合:
  • $P(Bあたり|Aあたり)1/9=0.111$
  • $P(Bあたり|Aハズレ)=2/9=0.222$
• Aの結果を知らない場合:
  • $P(Bあたり)=2/10=0.2$

だから、事前条件を知った上だと、より精緻な確率になるということ。

確率の直感の罠②

モンティホール問題は、直感と実際の確率がずれやすい有名な例。

例:

• 3つのドアがある
• 1つだけ当たりで、残り2つはハズレ
• Aさんが最初に1つのドアを選ぶ
• 司会者は当たりの場所を知っていて、Aさんが選んでいないドアの中から必ずハズレを1つ開ける
• その後、Aさんは「最初に選んだドアのままにする」か「残ったもう1つのドアに変更する」かを選べる

一見、最後には2つのドアしか残っていないので、以下に見える。

しかし実際には、以下となる。

• 最初に選んだドアが当たりである確率は$1/3$
• 最初に選んだドアがハズレである確率は$2/3$

言い換えると、

• つまり、最初に当たりを選んでいた場合、ドアを変更するとハズレになる
• 一方、最初にハズレを選んでいた場合、司会者は残ったハズレを必ず開けるため、ドアを変更すれば必ず当たりになる

したがって、以下となる。

• つまり、ドアを変更した方が当たる確率は2倍になる
• ポイントは、司会者がランダムにドアを開けているわけではなく、当たりを知ったうえで必ずハズレを開けていること
• そのため、「最後に2つ残ったから確率は $1/2$ ずつ」とはならない
• 確率を考えるときは、単に残っている選択肢の数を見るのではなく、どのようなルールで情報が得られたのかを見る必要がある

まとめ

• 計算しましょう！