AI > 機械学習基礎 on M1KE BL0G

Excelで学ぶ最小二乗法

Mon, 24 Mar 2025 16:35:55 +0900

背景

機械学習を始めた頃に作った、5年前のスプレッドシートを見つけた
内容は、最小二乗法の考え方を使って、キロメートルをマイルに変換する係数を求めるもの
久々に見返してみると、単純な例ではあるものの、最小二乗法や機械学習の基本を理解するにはちょうどよい題材だった
そこで、あらためて内容を整理しておく

昔のファイル

Excelで、キロメートルからマイルへの変換係数を求めるファイルを作っていた。

解説

今回やることは、キロメートルをマイルに変換する係数を、最小二乗法の考え方で求めること
たとえば、100km は約 62.137mile
つまり、本来の変換式は次のようになる

$$ mile = km \times 0.62137 $$

この $0.62137$ が、キロメートルをマイルに変換するための係数
ただし今回は、この係数を最初から使うのではなく、Excel上で少しずつ係数を更新しながら、正しい値に近づけていく

やりたいこと

キロメートルを $x$、マイルを $y$ とする
変換式を次のように置く

$$ y = ax $$

ここで、$a$ が求めたい係数
今回の教師データは次の通り

$$ x = 100 $$$$ t = 62.137 $$

$t$ は正解データ、つまり教師データである
求めたいのは、次の式を満たす $a$ である

$$ 62.137 = a \times 100 $$

普通に計算すれば、次のようになる

$$ a = \frac{62.137}{100} \\\\ a = 0.62137 $$

つまり、正解となる係数は $0.62137$ である
しかし今回は、あえてこの値を直接求めず、Excelで学習させるようにして近づけていく

最小二乗法とは何か

最小二乗法とは、予測値と正解値のズレを二乗し、その値がなるべく小さくなるようにする方法
今回の予測値は $ax$
正解値は $t$
したがって、誤差は次のようになる

$$ ax - t $$

この誤差を二乗したものが、今回小さくしたい値となる

$$ (ax - t)^2 $$

Excelでは、この誤差の二乗がだんだん小さくなっていく様子をグラフで確認している

予測値を計算する

まずは、現在の係数 $a$ を使って予測値を計算する
数学の式で書けば次の意味になる

$$ y = ax $$

最初は当てずぽうの係数を当てはめる
たとえば、最初の係数を $a = 0.1$ とする
すると結果は、次のようになる

$$ y = 0.1 \times 100 \\\\ y = 10 $$

つまり、最初の予測では、100km を 10mile と予測していることになる
しかし、本当の値は 62.137mile である
この時点では、かなり大きく外れている

誤差を計算する

E列では、予測値と正解値の差を計算する
これを、数学の式では次の意味である

$$ ax - t $$

先ほどの例では、予測値が $10$だった
そして、正解値は $62.137$
なので、次のように誤差が求まる

$$ 10 - 62.137 = -52.137 $$

誤差がマイナスであるということは、予測値が正解値よりも小さいという意味となる

誤差の二乗を計算する

そこで、誤差の二乗を計算する。
これは、数学の式で書けば次の通り

$$ (ax - t)^2 $$

最小二乗法では、この値を小さくすることが目的となる
誤差をそのまま使わずに二乗する理由は、プラスの誤差とマイナスの誤差が打ち消し合わないようにするため
また、大きな誤差ほどより大きく評価されるため、誤差を小さくする方向がわかりやすくなる

係数を更新する

F列では、新しい係数 $a$ を計算している
これは、次のような意味となる

$$ a_{\text{new}} = a - \eta \times e \\\\ a_{\text{new}} = a - \eta(ax - t) $$

a_new: 新しいa
a: 現在のa
$\eta$: 学習率
e: 誤差

ここで、誤差 $e$ は次のように定義する。

$$ e = ax - t $$

そして、今回の学習率は $0.001$ である
最初の更新では、現在の係数が $0.1$、誤差が $-52.137$ なので、次のようになる

$$ a_{\text{new}} = 0.1 - 0.001 \times (-52.137) $$

計算すると、次の値になる。

$$ a_{\text{new}} = 0.152137 $$

誤差がマイナスなので、係数 $a$ は増える
これは自然な動きとなる
なぜなら、最初の予測値は $10$ であり、正解値 $62.137$ よりも小さすぎるから
予測値を大きくするには、係数 $a$ を大きくする必要がある

係数が正解に近づいていく

最初の係数は次の値である。

$$ a = 0.1 $$

一方、本当の係数は次の値である。

$$ a = 0.62137 $$

Excelでは、係数が次のように少しずつ更新されていく。

このように、係数 $a$ が少しずつ $0.62137$ に近づいていく。
係数が正しい値に近づくことで、予測値も正解値に近づいていく。

グラフからわかること

グラフでは、横軸に試行回数、縦軸に誤差の二乗を取っている
最初は誤差が大きい
これは、最初の係数 $a = 0.1$ では、100km を 10mile と予測してしまうから
正解は 62.137mile であるため、最初の誤差はかなり大きい
しかし、試行回数が増えるにつれて、係数 $a$ が更新される。その結果、予測値が正解値に近づき、誤差の二乗は急激に小さくなる
この「誤差が小さくなっていく様子」が、最小二乗法の基本的なイメージである

機械学習との関係

今回の例は非常にシンプル
入力は1つだけ（$x=100$）
正解も1つだけ（$t=62.137$）
求める係数も1つだけ（$a$）
しかし、考え方は機械学習の基本と同じ
流れは次の通り:
1. 適当な係数から始める
2. その係数を使って予測する
3. 予測値と正解値のズレを計算する
4. 誤差が小さくなるように係数を更新する
5. この処理を何度も繰り返す
今回の例では、まず適当な係数として $a = 0.1$ から始めている
次に、その係数を使って予測する $$ y = ax $$
そして、予測値と正解値のズレを計算する $$ e = ax - t $$
最後に、誤差が小さくなるように係数を更新する $$ a_{\text{new}} = a - \eta(ax - t) $$
この流れを何度も繰り返すことで、係数はだんだん正解に近づいていく
つまり、今回のExcelは、非常に小さな機械学習モデルを表していると言える

厳密な最小二乗法との違い

注意事項として、係数の更新式をわかりやすくするために、今回は次の形にしている

$$ a_{\text{new}} = a - \eta(ax - t) $$

しかし、最小二乗法では、本来は誤差そのものではなく、誤差の二乗を小さくする
誤差を $e$ とすると、次のようになる

$$ e = ax - t $$

そのため、誤差の二乗、つまり損失 $E$ は次のように定義できる

$$ E = e^2 = (ax - t)^2 $$

係数 $a$ をどの方向に更新すれば損失 $E$ が小さくなるかを知るために、$E$ を $a$ で微分する
すると、次のようになる

$$ \frac{dE}{da} = 2x(ax - t) $$

したがって、厳密な勾配降下法では、更新式は次のようになる

$$ a_{\text{new}} = a - \eta \cdot 2x(ax - t) $$

つまり、Excelで使った簡易版の更新式とは少し形が異なる
また、損失関数を次のように置くことも多い
なぜ $\frac{1}{2}$ を使うかというと、微分したときに $2$ が消えて、式が簡単になるからである

$$ E = \frac{1}{2}(ax - t)^2 $$

この場合、$E$ を $a$ で微分すると、次のようになる

$$ \frac{dE}{da} = x(ax - t) $$

したがって、更新式は次の形になる

$$ a_{\text{new}} = a - \eta x(ax - t) $$

今回のExcelでは、$x = 100$ が固定である
そのため、$x$ の影響を学習率側に含めた簡易版として、次の更新式を使っていると考えられる

$$ a_{\text{new}} = a - \eta(ax - t) $$

まとめ

今回は、Excelを使って、キロメートルをマイルに変換する係数を最小二乗法の考え方で求めた
最初は、適当な係数 $a = 0.1$ から始めた
そこから、次の流れを繰り返した
1. 予測する
2. 誤差を計算する
3. 誤差の二乗を計算する
4. 係数を更新する
この繰り返しによって、係数 $a$ は少しずつ正解である $0.62137$ に近づいていった
Excelを使うことで、最小二乗法の「誤差を小さくする」という考え方を視覚的に理解できる
特に、グラフで誤差の二乗が急激に小さくなっていく様子を見ると、数式だけではわかりにくい学習のイメージがつかみやすい。
キロからマイルへの変換という単純な例でも、最小二乗法や機械学習の基本的な考え方は十分に学ぶことができる

machinelearning.wtfの機械学習の用語の翻訳

Mon, 24 Mar 2025 16:35:55 +0900

背景

semi-supervised learningについて調べていたらmachinelearning.wtfというサイトにあたった
Machine Learning Glossary という基本的な機械学習の用語集のサイト
少し読んでて色々と面白かったので、全部読みたかったので、AIに簡潔にまとめてもらった

機械学習の設計と学習タイプ (Learning Paradigms)

基本的な学習方法

教師あり学習 (Supervised Learning)
- 定義: 入力データ $X$ と、それに対応する正解ラベル（ターゲット） $Y$ のペアを用いてモデルを訓練する手法。
- 目的: 未知の入力に対して、正しい出力（クラスや数値）を予測する関数を学習する。代表例に分類（Classification）と回帰（Regression）がある。
教師なし学習 (Unsupervised Learning)
- 定義: 正解ラベルのないデータを受け取り、データ自体に潜む構造、パターン、あるいは関係性を見つけ出す手法。
- 主なタスク: データを似たもの同士に分ける「クラスタリング」、高次元のデータを扱いやすくする「次元削減」、異常を検知する「異常検知」など。
半教師あり学習 (Semi-supervised Learning)
- 定義: 大量の「ラベルなしデータ」と、少量の「ラベルありデータ」を組み合わせて学習を行う手法。
- メリット: すべてのデータに手動でラベルを付けるコストを劇的に削減しつつ、教師なし学習よりも高い精度（予測の方向性）を得ることができる。

高度な学習アプローチ

自己教師あり学習 (Self-supervised Learning)
- 定義: データ自身から自動的に疑似的な正解ラベル（Pretext task）を生成して学習する手法。
- 応用: 大規模言語モデル（LLM）の「次の単語予測」や、画像表現学習（Contrastive Learning）などで中心的な役割を果たす。
弱教師あり学習 (Weak Supervision)
- 定義: 専門家による高品質なラベルの代わりに、クラウドソーシングによるノイズを含むラベル、大雑把なルールベースのラベル（Heuristic labels）、あるいは別の簡易モデルが出力した低品質なラベルを用いて訓練する手法。
強化学習 (Reinforcement Learning - RL)
- 定義: エージェント（行動主体）が環境（Environment）の中で行動（Action）を選択し、その結果得られる報酬（Reward）を最大化するように試行錯誤を通じて学習する手法。

データの割り当てと統計的仮定 (Data & Evaluation Setup)

データセットの分割

訓練データセット (Training Dataset)
- モデルのパラメータ（重みとバイアス）を直接更新・調整するために使用される最大のデータ。
検証データセット (Validation Dataset)
- 訓練中のモデルの性能を評価し、過学習を監視したり、ハイパーパラメータ（学習率や層の数など）を最適化するために使用されるデータ。
テストデータセット (Test Dataset)
- 訓練およびハイパーパラメータ調整が完全に終了した最終モデルに対して、一度だけ適用される独立したデータ。モデルの「真の汎化性能」を計測する。
ミニバッチ (Mini-batch)
- 巨大なデータセットを一度に処理できない場合や、効率的な最適化を行うために分割された小規模なデータの塊（サブセット）。

評価・検証アルゴリズム

交差検証 (Cross Validation)
- データを $K$ 個のグループ（フォールド）に分割し、そのうちの1つを検証用、残りを訓練用として $K$ 回学習と評価を繰り返す手法。限定されたデータセットで過学習を防ぎ、信頼性の高い評価を行う。
独立同分布 (i.i.d - Independent and Identically Distributed)
- データセット内の各サンプルが「互いに他のサンプルに影響を与えず（独立）」、かつ「すべて同じ確率分布から発生している（同分布）」という仮定。ほとんどの統計的機械学習アルゴリズムの前提となる。

エラー分析とモデルの課題 (Error Analysis & Constraints)

バイアスとバリアンス

バイアス・バリアンスのトレードオフ (Bias-Variance Tradeoff)
- モデルの予測誤差を構成する2つの主要因のバランス関係。一方を下げようとすると、もう一方が上がりやすくなる。
- バイアス (Bias): モデルの前提や構造が単純すぎるために発生する一貫した誤差。**アンダーフィッティング（過小適合）**を招く。
- バリアンス (Variance): 訓練データの微細なノイズや個体差に対してモデルが敏感すぎるために発生する誤差。**オーバーフィッティング（過学習）**を招く。

適合の課題

オーバーフィッティング (Overfitting / 過学習)
- モデルが訓練データのノイズや特殊なパターンまで過剰に学習してしまい、未知のテストデータに対する性能（汎化性能）が著しく低下する現象。
アンダーフィッティング (Underfitting / 過小適合)
- モデルの表現力が低すぎる（または訓練不足である）ため、データの根底にある本質的な構造やパターンを捉えきれていない状態。訓練データでもテストデータでもエラーが高くなる。

ニューラルネットワークの構成要素 (Neural Network Components)

活性化関数 (Activation Functions)

活性化関数 (Activation function)
- 各ニューロンの出力を決定する関数。入力の線形結合に対して適用され、ネットワークに非線形性を導入する。これにより、単純な直線の組み合わせでは表現できない複雑な境界線を学習可能にする。
ReLU (Rectified Linear Unit)
- 数式: $f(x) = \max(0, x)$
- 特徴: 入力が正であればそのまま出力し、負であれば0を出力する。計算が非常に高速で、勾配消失問題を劇的に緩和するため、最も広く使われている。
Leaky ReLU
- 数式: $f(x) = \max(\alpha x, x)$ （一般に $\alpha = 0.01$ などの小さな値）
- 特徴: 入力が負の領域でもわずかな傾きを持たせることで、ニューロンが完全に停止する問題を解決する。
Dying ReLU
- 現象: 訓練中の大きな勾配更新によって、あるニューロンの入力が常に負になってしまい、ReLUの出力と勾配が完全にゼロ（機能停止）になってしまう現象。一度この状態に陥ると、そのニューロンは二度と更新されなくなる。
Softmax (ソフトマックス関数)
- 役割: 出力層のベクトルを、各要素が0〜1の範囲に収まり、かつ総和が1になるように変換する関数。多クラス分類において、各クラスの「予測確率」を表現するために使用される。

最適化手法・アルゴリズム (Optimizers & Algorithms)

勾配降下法 (Gradient Descent)
- 損失関数（エラー）の勾配を計算し、その傾きと逆方向にモデルのパラメータ（重み）を繰り返し更新して最小値を目指す基本的なアルゴリズム。
確率的勾配降下法 (Stochastic Gradient Descent - SGD)
- 全データではなく、ランダムに選ばれた1つ（または少数）のサンプルごとに勾配を計算してパラメータを更新する手法。計算コストを抑え、局所最適解からの脱出を容易にする。
AdaGrad (Adaptive Gradient Algorithm)
- 過去の勾配の履歴を蓄積し、頻繁に更新されるパラメータの学習率を小さく、あまり更新されないパラメータの学習率を大きく自動調整する手法。稀な特徴量の学習に強い。
RMSprop (Root Mean Square Propagation)
- 過去の勾配の二乗を指数移動平均で減衰させながら蓄積し、学習率を調整する手法。AdaGradが訓練後半に学習率が下がりすぎて進まなくなる問題を解決する。
ADAM Optimizer (Adaptive Moment Estimation)
- 過去の勾配の平均（Momentum）と、過去の勾配の二乗の指数移動平均（RMSProp）の2つの概念を組み合わせた最適化アルゴリズム。現在のディープラーニングにおいて最も安定し、広く使われている。
適応的学習率 (Adaptive learning rate)
- 訓練の進捗やパラメータごとの勾配の振る舞いに応じて、ハイパーパラメータである学習率を動的かつ自動的に変化させる仕組み全般。
モメンタム (Momentum)
- 物理的な「慣性」の概念を勾配降下法に取り入れた手法。過去の更新方向を一定の割合で維持することで、局所最適解（ローカルミニマム）の脱出を助け、パラメータの振動を抑制する。
1-bit Stochastic Gradient Descent (1-bit SGD)
- 複数のマシンで並列して訓練を行う（分散学習）際、データ通信量を削減するため、各ノードが計算した勾配の値を1ビット（正か負か）の符号情報のみに量子化して通信する高速化技術。

正則化・初期化・課題 (Regularization, Initialization & Learning Issues)

バッチ正規化 (Batch Normalization)
- ニューラルネットワークの各中間層の出力を、ミニバッチごとに平均0、分散1に正規化（スケーリング）する手法。学習速度の向上、初期値依存の軽減、過学習の抑制（正則化効果）をもたらす。
内部共変量シフト (Internal Covariate Shift)
- ネットワークの層が深くなるにつれ、前の層のパラメータ更新によって、後ろの層への入力データの確率分布が訓練中に絶えず変化してしまう現象。バッチ正規化はこれを緩和するために導入された。
ドロップアウト (Dropout)
- 訓練の各ステップにおいて、ランダムに一定割合（例: 50%）のニューロンを無効化（ゼロに）して学習させる強力な正則化手法。特定のニューロンへの過度な依存（共同適応）を防ぎ、過学習を抑制する。
倒置ドロップアウト (Inverted Dropout)
- 訓練時にドロップアウトを適用すると、生存したニューロンの出力の総和が小さくなってしまうため、訓練時にあらかじめ出力を $(1-p)$ で割ることでスケールを補正する手法。これにより、推論（テスト）時に特別なスケーリング処理を行う必要がなくなる。
ランダム初期化 (Random Initialization)
- ネットワークのパラメータ（重み）を一様な0ではなく、ランダムな小さな値で初期化すること。
対称性の打破 (Symmetry Breaking)
- もしすべての重みを同じ値（例：0）で初期化すると、すべてのニューロンが全く同じ勾配を計算し、同じ値に更新されてしまう。これ（対称性）を防ぎ、各ニューロンに異なる役割を持たせるためにランダム初期化が必要となる。
Heの初期化 (He Initialization)
- 活性化関数にReLU（またはその派生）を使用するディープネットワークに最適化された重みの初期化手法。前層のノード数 $n$ に対して、分散 $2/n$ のガウス分布から重みを抽出する。層が深くても勾配消失・爆発を防ぐ。
勾配消失問題 (Vanishing Gradient Problem)
- ネットワークが深くなるにつれ、出力層から入力層へ向かって誤差を逆伝播する過程で勾配がどんどん小さくなり、入力層に近い層のパラメータが全く学習されなくなる現象。
勾配爆発問題 (Exploding Gradient Problem)
- 勾配消失とは逆に、大きな勾配（または1より大きな重み）が何層も掛け合わされることで勾配が指数関数的に肥大化し、モデルのパラメータが不安定になり破綻する現象。

ネットワーク特有の現象

破滅的忘却 (Catastrophic Forgetting)
- 一般的なニューラルネットワークが新しいタスク（例: 犬の分類）を学習した際、それ以前に完璧に学習していた古いタスク（例: 猫の分類）の知識（パラメータ）を急激に上書きしてしまい、完全に忘れてしまう現象。継続学習（Continual Learning）における大きな課題。

コンピュータビジョン (Computer Vision)

畳み込み演算と空間操作

フィルター (Filter / 畳み込みカーネル)
- 画像からエッジ、テクスチャ、形状などの特徴を抽出するために、入力画像の上をスライド（畳み込み）させる小さな行列。
1x1 Convolution (1x1 畳み込み)
- カーネルサイズが $1 \times 1$ の畳み込み。画像の縦横（空間解像度）サイズはそのままに、チャンネル（特徴量）の次元数を削減・増加させたり、非線形活性化関数を挟んで表現力を高めるために使われる。
プーリング層 (Pooling layer)
- 特徴マップの空間サイズを縮小し、計算量を削減すると同時に、物体の位置が多少ズレても同じ特徴として捉える「位置不変性」を付与する層。
Max Pooling (最大値プーリング)
- プーリング層の一種で、指定された領域内（ウィンドウ内）の最大値のみを抽出して出力する。エッジや特徴の存在を際立たせる効果がある。
Average Pooling (平均値プーリング)
- プーリング層の一種で、指定された領域内のピクセル値の平均値を計算して出力する。全体的な特徴を滑らかにダウンサンプリングする。
ストライド (Stride)
- 畳み込み演算やプーリングにおいて、フィルター（カーネル）を画像上で1ステップごとに「何ピクセルずつ移動させるか」を指定するハイパーパラメータ。
パディング (Padding)
- 畳み込み処理を行う前に、入力画像の周囲に特定のデータ（通常は0）を付け足す操作。画像の端にあるピクセル情報が消失するのを防ぎ、出力サイズを制御する。
- Same Convolution: 入力画像と出力特徴マップの空間サイズが全く同じになるように自動でパディングを行う設定。
- Valid Convolution: パディングを一切行わない（No padding）設定。出力サイズは入力より小さくなる。
- Zero Padding: パディングの際、周囲を「0」のピクセルで埋める最も標準的な手法。
ソーベルフィルター (Sobel Filter)
- 画像の水平方向・垂直方向における輝度の急激な変化（微分）を計算し、エッジ（輪郭）を検出する古典的な画像処理用畳み込みフィルター。

物体検出と認識

バウンディングボックス (Bounding Box)
- 画像内に存在する対象の物体を囲む四角い枠。一般的に、中心座標 $(x, y)$ と幅・高さ $(w, h)$、または左上と右下の2点の座標で指定される。
アンカーボックス (Anchor Box)
- 物体検出（YOLOやFaster R-CNNなど）において、画像内の各位置にあらかじめ配置される、様々なアスペクト比（縦横比）やサイズを持つ固定の候補枠。モデルはこの枠を基準に変形（オフセット）を予測する。
ノンマックスサプレッション (Non-Max Suppression / NMS)
- 物体検出モデルが、同じ1つの物体に対して重複して出力した大量のバウンディングボックスの中から、最も信頼度（確信度）が高いものだけを残し、それと大きく重なっている他の余分なボックスを排除するアルゴリズム。
物体位置特定 (Object Localization)
- 画像内に存在する「特定の1つの物体」が何であるかを分類すると同時に、それが画像内のどこにあるかをバウンディングボックスで特定するタスク。

顔に関するタスク区分

顔検出 (Face Detection)
- 画像や映像の中に「人間の顔」が映っているかどうかを判定し、存在する場合はその位置（バウンディングボックス）を特定するタスク。誰の顔かは識別しない。
顔認識 (Face Recognition)
- 検出された顔が「データベースに登録されている誰のものであるか」を特定（1対多の照合）するタスク。
顔検証 (Face Verification)
- 提示された2つの顔画像（または顔とIDカード）を比較し、「これらは同一人物であるか否か」を判定する1対1の認証タスク。

代表的なCNNアーキテクチャ

LeNet
- 1990年代にYann LeCun氏によって開発された、郵便番号の手書き数字認識（MNIST）用の初期の画期的な畳み込みニューラルネットワーク。
AlexNet
- 2012年のImageNet画像認識コンペティションで圧倒的な優勝を果たし、現在のディープラーニングブームの決定的な引き金となったモデル。ReLUやGPUの活用、ドロップアウトを導入。
VGGNet
- 2014年に提案されたモデル。$3 \times 3$ の非常に小さな畳み込みフィルターをシンプルに何層も深く積み重ねるアーキテクチャで、ネットワークの「深さ」の重要性を証明した。
ResNet (Residual Network)
- 「スキップ接続（残差接続）」という、入力を数層先へ直接バイパスする構造を取り入れた革新的モデル。これにより、100層や1000層を超えるような極めて深いネットワークでも、勾配消失を起こさずに安定して学習可能になった。

自然言語処理 (Natural Language Processing)

テキスト表現と単語分散表現

ワンホットエンコーディング (One-Hot Encoding)
- 語彙（単語リスト）の数と同じ次元を持つベクトルを作成し、対象の単語に対応するインデックスだけを「1」、他の要素をすべて「0」にする表現手法。単語同士の「意味の近さ」を表現できないデメリットがある。
単語埋め込み (Word Embedding / 単語ベクトル)
- 単語を、その意味的な類似性や文脈を反映した、固定長（例: 300次元）の連続的な実数密ベクトルに変換する技術。
word2vec
- 大量のテキストから、周辺の単語の文脈を利用して単語埋め込みを高速に学習する手法。内部に「CBOW」と「Skip-gram」という2つの手法を持つ。
CBOW (Continuous Bag-of-Words)
- word2vecの学習アプローチの1つ。周辺の複数の単語（文脈）を入力として与え、その中心にある1つの単語を予測・当てることで単語ベクトルを学習する。
Skip-gram
- word2vecの学習アプローチの1つ。1つの中心単語を入力として与え、その周辺に現れる可能性の高い複数の単語（文脈）を予測・当てることでベクトルを学習する。一般にCBOWより高精度とされる。
doc2vec / Paragraph Vector
- word2vecの仕組みを拡張し、単語だけでなく文、段落、あるいは文書全体を固定長のベクトルとして表現（分散表現）する手法。
fastText
- Facebook（現Meta）が開発したword2vecの発展系。単語を文字の集まり（Subword / 部分語）として扱う。辞書にない未知語（OOV）に対しても、部分語の組み合わせからベクトルを計算できる強みがある。
Bag-of-Words (BoW)
- 文章内の単語の出現順序や文法構造を完全に無視し、各単語が文章中に「何回出現したか」という頻度カウント（カウントベクトル）だけでテキストを表現する古典的かつ強力な手法。
N-gram
- テキストにおいて、連続する $N$ 個の単語（または文字）の塊やシーケンス。1つの場合はUni-gram、2つの場合はBi-gram、3つの場合はTri-gramと呼ぶ。
Bag-of-n-grams
- Bag-of-Wordsの拡張。単語1つずつではなく、連続する $N$ 個の単語の塊（N-gram）を1つの単位として扱い、その出現頻度を記録する。

言語タスクとアルゴリズム

ビームサーチ (Beam Search)
- 文章生成（翻訳やテキスト生成など）において、各ステップで最も確率が高い上位 $k$ 個（この $k$ をビーム幅と呼ぶ）の文候補を常にキープしながら探索を進める近似アルゴリズム。すべての組み合わせを探索する貪欲法（Greedy Search）より精度が高く、全探索より圧倒的に軽量。
Sequence to Sequence Learning (seq2seq)
- ある可変長の系列データ（例：英語の文）を入力として受け取り、別の可変長の系列データ（例：日本語の文）を出力するモデル構造。入力を固定長ベクトルに圧縮する「Encoder（符号化器）」と、そこから目的の系列を出力する「Decoder（復号化器）」のペアで構成される。
抽出型文書要約 (Extractive Sentence Summarization)
- 原文に含まれる文やフレーズの中から、重要度が高いと判定された部分をそのまま抜き出し（コピーして）、それらを組み合わせて要約文を作成する手法。
抽象型文書要約 (Abstractive Sentence Summarization)
- 原文の言葉をそのまま使うのではなく、モデルが文脈全体の意味を理解した上で、人間のように新しい言葉、文法、表現を使って自発的に要約文を1から生成する高度な手法。
固有表現認識 (Named Entity Recognition - NER)
- テキスト中から、人名、地名、組織名、日付、時間、パーセントといった、特定のカテゴリ（固有表現）に該当する単語やフレーズを抽出・分類するタスク。
共参照解析 (Coreference Resolution)
- テキスト中に登場する「彼」「彼女」「それ」などの代名詞や指示代名詞が、文内の具体的にどの名詞（指示対象）を指しているかを突き止め、紐付けるタスク。

生成モデル・回帰モデル・新興技術 (Advanced Architecture)

Generative Adversarial Network (GAN / 敵対的生成ネットワーク)
- 2つのネットワークを互いに競い合わせて成長させる生成モデルのフレームワーク。
- Generator (生成器): 本物のデータに似せた偽物データを生成し、識別器を騙そうとする。
- Discriminator (識別器): 入力されたデータが本物（実データ）か、Generatorが作った偽物かを見破ろうとする。
モード崩壊 (Mode Collapse)
- GANの訓練中に発生する代表的な失敗現象。Generatorが多様なデータを生成することを諦め、Discriminatorを最も簡単に騙すことができる特定の数少ないパターン（例：数字の生成で「1」ばかりを生成する）のみを繰り返し出力するようになる現象。
Autoencoder (自己符号化器)
- ニューラルネットワークに入力 $X$ を与え、出力層で同じ $X$ を復元（再現）するように学習するニューラルネットワーク。中間層（ボトルネック）の次元を小さくすることで、重要な特徴だけを抽出する「次元削減」や「異常検知」に応用される。
Long Short-Term Memory (LSTM)
- 従来の回帰型ニューラルネットワーク（RNN）が抱えていた長期間の時系列依存関係を学習できないという弱点を、情報を記憶・忘却・出力するための「3つのゲート構造（入力ゲート、忘却ゲート、出力ゲート）」と「セル状態」を導入することで解決したアーキテクチャ。
ニューラルチューリングマシン (NTM / Neural Turing Machine)
- ニューラルネットワークのアーキテクチャに、外部のデジタルメモリ（記憶装置）を結合した高度なモデル。ネットワークがメモリの特定のアドレスに対してデータの読み書きを行い、高度なプログラム的処理やアルゴリズムを学習できる。
プロンプトエンジニアリング (Prompt Engineering)
- 大規模言語モデル（LLM）に対して、期待する正確な回答、特定のフォーマット、あるいは適切な振る舞いを引き出すために、入力文（プロンプト）の文言や構造を設計・最適化する技術。

数学・統計・評価指標 (Mathematics & Evaluation Metrics)

Precision (適合率)
- 分類モデルの評価指標の1つ。モデルが「陽性（正）」と予測したサンプルのうち、実際に本物の陽性であったサンプルの割合。偽陽性（誤検出）を減らしたいタスクで重視される。
Recall (再現率)
- 分類モデルの評価指標の1つ。実際に存在する本物の陽性サンプルのうち、モデルが漏らさずに「陽性」と予測（検出）できたサンプルの割合。見落とし（偽陰性）を減らしたいタスクで重視される。
F1スコア (F1 Score)
- 分類モデルの評価指標。適合率 (Precision) と 再現率 (Recall) の調和平均。陽性と陰性のデータ数が極端に偏っている「不均衡データ」において、モデルの正確性をバランスよく測るのに最適。
Intersection over Union (IoU)
- 2つの集合の類似度を評価する指標で、数式は「共通部分の面積 $\div$ 集合全体の面積」。物体検出においては、正解のバウンディングボックスとモデルの予測ボックスがどれくらい正確に重なっているかを評価する（別名：ジャカード係数 / Jaccard Index）。
パープレキシティ (Perplexity)
- 言語モデルの性能を評価する指標で、直訳すると「当惑度」。モデルが次の単語を予測する際、候補を何単語にまで絞り込めているか（選択肢の数）を表す。値が小さいほど予測の迷いがなく、モデルが優秀であることを意味する。
ヒンジ損失 (Hinge Loss)
- 主にサポートベクターマシン（SVM）や最大マージン分類器で用いられる損失関数。正解クラスの予測値が、決定境界から一定以上のマージン（安全な余白）を持って正しく分類されているかを評価し、マージンを侵したデータに対してペナルティを課す。
アダマール積 (Hadamard Product)
- 同じサイズ（次元）を持つ2つの行列、またはベクトルにおいて、対応する位置にある要素同士を単純に掛け合わせる演算。記号 $\circ$ や $\odot$ で表現される。行列表現の積（内積など）とは異なる。
凸包 (Convex Hull)
- 幾何学の概念。与えられた点集合をすべて内側に包み込むような、最小の凸多角形（あるいは凸多面体）。点の集まりの一番外側を輪ゴムで囲んだときの形に相当する。

分散学習とスケーリング (Distributed Learning)

データ並列化 (Data Parallelism)
- 非常に大きなデータセットを用いてモデルを訓練する際、データを複数の計算ノード（複数のGPUなど）に分割して割り当てる並列化手法。各ノードは「全く同じモデルのコピー」を保持し、それぞれに割り当てられたデータで勾配を計算後、全員の勾配を集計（同期）して一斉にパラメータを更新する。
モデル並列化 (Model Parallelism)
- モデル自体のパラメータ数（サイズ）が巨大すぎて、1つのGPUのメモリに収まりきらない場合に使用される並列化手法。モデルの異なる層や、特定の大きな行列（パラメータ）自体を複数のGPUに分割して配置し、各GPUが協調しながら順伝播・逆伝播をバトンリレーのように計算する。

まとめ

基礎的な内容なので8割5分ぐらいは知っていたが、全体像としては悪くなかった
機械学習は広い分野なので、用語の整理は大切

参考文献

機械学習のモデル構築の所管

Thu, 16 Jan 2025 18:49:52 +0900

背景

いくつかの画像分類の機械学習プロジェクトを経験してきて思ったこと

結論

期待値を下げろ
- DNNのモデルなんて先行研究があってもどうなるかはわからない
- サンドボックスの理想的な環境で結果が出ても、Sim2Realに進んだらうまく行かない事が多い
- 人より精度が高かったら導入してもらうように説明するべき
- 機械の期待値を下げて、導入してもらうのが大切
- くれぐれもDNNで何でもできると説明するのはよすべき
学習データは絶対に生成する
- 生成データ（synthetic data）が一番大切
- それを確率的に生成するので、入力画像の分布をコントロールする
- 下地を寄せる (例えば、自動生成した画像の背景など)
- ノイズを入れる
- 文字のフォントを合わせる
- 自動運転だって何だって、うまく行くプロジェクトはそうなる
- これができないと、残念ながらPDCAを高速に回せない
画像の特徴
- PNGとJPGでは分布が異なる
- Y軸でLog、X軸は0~255のPixelでヒストグラムを作る
- 例えば、文字の中心は黒(0)で輪郭は(1~255)になる
- それがjpgだと0が弱い。他方、pngは非圧縮なので0が強い
- そうすると、二値化したときに変化がでる
- なので、最頻値を二値化するときはthreasholdで見る
- 最頻値の理由
  - 白と黒の図面の場合は、最も出現するのが白のため
- 経験的に決めていることもある
指標は一つにフォーカスする
- 例えば、取るのがそもそも難しい課題は、最初はRecallにフォーカスするとか
- Recallで間違ってもいいので欲しい画像を取れたら、あとあといらない物を消す前処理を入れる
- Precisionは低くてもやる
課題の選択
- 全部の課題に対処することはできない
- エッジケースを除いて、正常系で、さらに簡易的なものを選択する
- 別の言い方だと、分母を絞る
- 90点と50点だと印象が全然違う
- 先にテストの問題を自分で狭めて高いスコアを出せるように調整する
特徴
- RGBで特徴量を入れる
- 普通の画像で入れるよりも、RGBで解く超量をまとめる前処理をしてモデルに入れる
精度と速度
- 精度を優先したあとに、処理速度を最適化する
- ONNX Runtimeで最適化する
失敗時
- エラーについて考察をする（エラーアナリシス）
- 失敗を集めて、hard negative miningする
$時間軸 \times 課題軸$でReportをまとめる
- 例
  - 過去の課題 (past tasks)
  - 今週の課題 (present tasks)
  - 今週の進捗 (present progress)
  - 今週の改善点 (present conclusion)
  - 今後のスケジュール (future tasks)
- 課題ベースで話す
- スケジュールベースで話す
定量的と定性的に
- 数量的に判断する
データが中心
パターンの整理 (ルールベースの場合は)
- 特に、お客さん自体もルールを完全に把握していない時がある
- 情報を整理して交通整理することは大切
データの選別の基準
- 事業ドメインやスコープの内・外
- コアユーザー vs. ライトユーザーのデータ
- 標準データ（ISO標準） vs. 非標準データ
- フィージビリティ
  - できる所をやる => 費用対効果high
  - できない所をやらない => 費用対効果low
ベースラインを作る
- まずは簡単なやり方でベースラインを作る
- ムーンショットを狙うと、うまく行かなかった時にソフトランディングできない
- そのため、予め安全地帯を確保するのが大切
- 複数の手段を用意して、予め失敗に備える
アルゴが優先
- 機械学習のDNNよりアルゴを優先するべき
- もしくは、DNNよりLLMを優先
- なぜなら、DNNは未知の変数が多く汎化性能も不明な事が往々にして発生する
- 結果をCherry-pickしたり、一面的に見て精度を判断してしまう事が多い
- はじめから堅く古典的アルゴで攻めて、もしくは万能のLLMで攻める
- それでも要件を満たせないなら、DNNに進む
- DNNの場合はデータが命なので、どれだけデータを集められるかの戦いになる
課題もモデルもless is more
- 例えば、XXXの価格予測の問題
- まず価格を簡単なものと難しいものに分ける
- これは誰でもできる
- しかし本質は、モデルを2つに分けた方がいい
- つまり、そもそも混合モデルであるという前提を持つ
- なぜこうするかというと、１つのモデルだと外した時にエラーアナリシスがやりにくいから
- つまり、めんどくさいかもしれないが、予めモデル自体も分解する
- すれば、重み調整やモデルの調整やデバッグもしやすく、本当の課題が見やすくなる
EdgeではモデルはC++で動かす
- Edgeで早く動かしたいなら、まずはMobileNetとかの軽いモデルを選ぶ
- その上で、軽いランタイムを使ってC++で高速に動かす
- くれぐれも、Pythonで動かさないように
Server-sideのLLMの場合は
- Prompt Engineeringをする
  - 特にFew-shotが絶大
  - さらに、CoTで分割統治法的に課題をStepByStepで解くのも大切
  - 本質的にはその2つが一番効く
- Context engineeringも大事
  - Messageは圧縮するべき
  - これをしないと、メッセージが長くなると確実にやり取りがバグる
- Cacheを使う
  - 特にAWS BedrockのClaude系のモデルはCacheが強い
  - System Promptとかは、経験上9割引になるので有効活用する
- Routerパターンと特化Agentを使う
  - 一つのAgentに全部やらせるのは難しいのでAgentを複数用意し、Router Agentに振り分けさせるのがいい
  - Promptも最適化する事もできる
- Prompt Engineeringは限界がある
  - たとえRouterパターンやStrands-Agentが持つGraph機能やらで分割しても限界がある
  - 本質的にはLoRAなどでファインチューニングするべき
  - Agentは確率的に間違えるのでPromptのチューニングは限界がある
- SSEやNDJSONでStream処理するのは限界がある
  - structured outputをjson一つに対して行えないので、一度Agentが結果を間違えるとめんどくさくなる
  - シナリオテストをたくさん実行するのと、fallback用の処理がないと厳しい
  - 間違えたらリトライする仕組みを入れる必要がある
先行研究やOSSを真似る
- これは機械学習だけではないが、基本真似が一番速い
- 人類の進化も真似から始まったし、近代の日本も欧州の真似をしただけ
- 真似=学ぶ、学校だって先生を真似るし、武道でも守破離が基本
- 最初は先行者を真似るべき
- TPPした後に、進化させてTPPSする
- つまりは、最初はベースラインを少し改造しただけでOKという事
- ムーンショットは狙うより、実現可能性の検証のため、既存+ちょっと改造で最初はOK
HDDとSSDとRAMを使い分ける
- データセットは容量の大きいHDDに保存するべき
- しかし、データセットから計算した特徴量は、予め計算してNVMeのSSDに置くべき
- なぜなら、毎回特徴量の計算やEpochごとに大きなIOが発生するため
- 例えば、音系のモデルなら音声を圧縮したMelスペクトルとかは学習の前に計算しておく
- また、data mixingを学習時にやってaugumentationしているなら、それはオンメモリにするべき
- SSDはランダムアクセスに弱く、それをやると無駄なIOが発生して待ち時間が長くなるから
学習データの品質について
- データの量は大切だが、なぜ大切かというと多様性のため
- 特に、学習時の $データセットの分布=推論時の分布$ が理想
- そして、その分布のズレ（Distribution Shift）がそのままエラーになる
- 分布ズレの原因は以下が考えられる:
  - 共変量シフト：$P(X)$ が変わる（つまり、予測の割合は変わらないけど、入力の割合が変わる）
  - ターゲットシフト / ラベルシフト：$P(Y)$ が変わる（入力の割合は変わらないけど、予測の割合が変わる）
  - コンセプトシフト：$P(Y｜X)$ が変わる
- だからクラスの分布も大事
データの量と質
- 例えば、音からsilence/speakingの分類をするとする
- 学習後、推論すると環境音でsigmoidの結果が0.5になった
- この理由は、DNNから出力されたlogitが0を出したから
- つまり、どっちか分からないから0.5になった
- 本来はsigmoidの結果は0にならないといけないが、データセットに同じ環境音がないからそうなったということ
- 結局はDNNは巨大な場合分けをする機械なので、その機械にケースにあったデータを渡す必要があるということ
学習がうまくいかない時のシンプルなエラーアナリシス
- 学習後にテストデータでうまくいかない => 学習データが間違っている、学習方法の間違い、学習不足やShift、DNNのパラーメター不足など
- 学習後にテストデータでうまくいっている => 学習とデモの分布のズレが原因なので、学習データセットの不足
- Evalが頭打ち => モデルの未学習が多い（つまり、データをしっかり学習して汎化・一般化していない）
学習データの蒸留
- 基本的に蒸留してTPPするのが一番てっとり速い
- 特にデータセットが悪いと、いくら量や多様性を増やしてもgarbage in, garbage outになるから
- 質の高いデータセットを作る意味でも、予めteacher-studentモデルでやったほうがいい
- 特に、データセットは用意したのに、意図しない挙動をする時はデータセットの質が低い場合が多い
Dataのかさ増し
- 画像系では、マージンをいれるなどして汎化性能を高める為data augmentationを行う
- 音声系だと、noise mixing augumentationや、データの前後に無音margenを入れるなどのmixingが過学習を抑えられる
- Data Mixingは既存2つのデータの合成で、Data Aumentationは1つのデータを加工する

まとめ

色々なパターンがあるが、失敗しないと学ばなないことが多い
セルフニューラルネットワークの学習は続くだろう

決定木のアルゴの基本

Fri, 18 Oct 2024 22:41:54 +0900

背景

久々にXGBoostを仕事で使ったので、昔に残していた決定木のメモを移す
そのころは、RのC5.0アルゴを分類問題に使っていた
よく使われるXGBoostも中味は決定木が本質

概要

決定木

決定木とは

決定木の目的は目的は条件によって、エントロピーを下げること

決定疑は次の2つがある。

分類木（Classification Tree）
回帰木（Regression Tree）

イメージ

決定木の特徴

ノンパラメトリックな教師あり学習の手法
決定木はアルゴリズムの名前ではない
- アルゴリズム名はID3やC4.5，CART

決定木のPros&Cons

Pros
- 可読性が高い
  - NOTE: Random ForestやXGBoostは高くない
- 説明変数・目的変数共に名義尺度から間隔尺度まで様々扱える
  - 同一カラムの単純な比較であり、正規化も必要ない
- 外れ値に対して頑健
Cons
- 過学習を起こしやすい
  - max_depthを設定する必要がある
- 線形性のあるデータには適していない
  - 損失関数を使う回帰の方がいい

アルゴリズムの比較

決定木のアルゴリズム比較

よく使われる決定疑のアルゴ。

scikit-learn は最適化したバージョンの CARTのみを実装している
- CARTはC4.5 によく類似した手法
数値データで表現される目的変数（=回帰）にも対応している特徴がある
C5.0はC4.5 の改善版で、より少ないメモリ消費で動作するよう、パフォーマンスの改善が行われている
RではC5.0のパッケージを利用可能

種類	分岐に利用する情報	分岐数	目的変数の型	説明変数の型	特徴
AID	–	２分岐まで	数値変数	数値変数・カテゴリカル変数	1971年に、Morganらにより考案された「自動交互作用検知」と呼ばれるアルゴリズム。変数間の関連を統計的に検出することが目的でしたが、AIDからCHAIDへ発展し、それが決定木を構築するツールとして一般的に使われた
CHAID	カイ2乗値	３分岐以上可能	カテゴリカル変数	数値変数・カテゴリカル変数	1980年に、Perreaultらにより考案された「カイ2乗AID」と呼ばれる学習アルゴリズム。学習アルゴリズムの中で、最も古いものとして知られている。CARTやC5.0では過学習させてから枝刈りを行いうが、CHAIDでは過学習が起こるまえに木構造の生長を止める。
CART	ジニ係数	２分岐まで	数値変数・カテゴリカル変数	数値変数・カテゴリカル変数	1984年にBreimanらによって考案された「分類木と回帰木生成器」と呼ばれる学習アルゴリズム。CARTは、C5.0と並び、決定木を構築する代表的なアルゴリズムとして用いられている。CARTでは、過学習を避け、正確な予測モデルを構築するために、いったん木を生長させた後に枝刈りを行う。なお、scikit-learnでは、最適化したバージョンのCARTを実装しているため、Pythonによる実装が容易。
ID3	エントロピー	２分岐まで	カテゴリカル変数	数値変数・カテゴリカル変数	1986年に、Quinlanにより考案された「繰り返し2分木生成器」と呼ばれる学習アルゴリズム。最も単純な機械学習アルゴリズムとしても知られているいる。ヒストリカル変数に対して情報量を用いて、木を構築する。
C4.5	エントロピー	３分岐以上可能	カテゴリカル変数	数値変数・カテゴリカル変数	1993年に、Quinlanにより考案されたID3の改善版となる学習アルゴリズム。メモリ効率が良く、意思決定ツリーが小さく、またboostingと呼ばれる技術により高精度であることが利点。また、欠測のあるデータをそのまま利用することができるのも利点の一つとしてあげられる。C4.5 は学習済みの木を if-then で表されるセットに変換し、評価や枝刈り (決定木の不要な枝を取り除く技術) に用いられる。
C5.0	エントロピー	３分岐以上可能	カテゴリカル変数	数値変数・カテゴリカル変数	C4.5の改善版で、決定木を構築する代表的なアルゴリズムのひとつ。C4.5に比べ、より効率的にメモリを使用することでパフォーマンスの改善が行われている。CARTとよく似ているが、CARTでは常に２分木構造の決定木を生成するが、C5.0では３分岐以上の木を生成することができる。

決定木とベイジアンネットワーク

決定木では、説明変数の分岐条件の下において目的変数の分布を計算するが、実は左右対称のツリー構造を持つ決定木と子ノードが一つのベイジアンネットワークは等価となる

決定木の例

決定木の例（CART）

クラスは2つで分類木を行った
サンプルは4647個
無論、ルートノードで4647個のサンプルデータがある
ルートノード
- ある説明変数の0番目の値が
  - -0.074以下だった場合は、左のノードに移動し、63個サンプルがある
    - その移動先のノードでは、1番目のクラスは27個、2番目のクラスは36個だった
  - -0.074より大きかった場合は、右のノードに移動し、4584個サンプルがある
リーフノードでは基本的に多数決で決まる
- value = [14, 13] ⇒ 予測の時は全て1番目のクラスになる
ノードでgini不純度= 0 ⇒ そのノードは一つのクラスのみ
ノードでgini不純度= 0.5 ⇒ そのノードのクラスは半々

不純度

不純度と情報利得

不純度

1 つのノードに異なるクラスのサンプルが含まれる割合を数値化した値。
1 つのノードに含まれるサンプルが複数のクラスに由来しているものであれば、そのノードの不純度は大きい

情報利得

親ノードの不純度とその子ノードの不純度の差を表す。
親ノードの不純度が大きく、子ノードの不純度が小さいとき、情報利得が最も大きくなる

不純度の算出

不純度の算出のポイント

ポイントはノードの中のエントロピーを最小にする条件を選ぶこと

まず，構築のために学習データが全てルートノードに集め
そこで，そのデータの持つ特徴の中で集められたデータを一番よく分割する特徴と閾値の組を選ぶ
- 例: age > 12などの条件
その特徴と閾値で分割後，またそれぞれのノードで分割を繰り返し行っていいく

不純度の算出式

$$ I_H(t) = - \sum_{i = 1}^{c} p(i|t) \ log_2 p(i|t) $$

ただし、

$$ p(i|t) = \frac{n_i}{N} $$

変数はそれぞれ次を示している:

cはノード内のクラス数
tは現在のノード
$n_i$はノード内のクラス$i$に属するデータ数
Nはノード内データのデータ数

つまり、あるノード$t$において、そのノードに属しているデータを持つクラスに対して、データ全体を使って、クラス別エントロピーの総和を取っている。

不純度計算の例

上のノードtについて考えると

クラス数: 3
サンプル数: 9
赤のサンプル数: 3
青のサンプル数: 2
緑のサンプル数: 4

例) 上の例は3クラスなので、不純度は次となる

$$ I_H(t) = - ( \frac{3}{9} log_2 \frac{3}{9} + \frac{2}{9} log_2 \frac{2}{9} + \frac{4}{9} log_2 \frac{4}{9} ) \simeq 1.5294 $$

例) もっともエントロピーが低い状態(あるノードに1つのクラスのみで、全部サンプル同じところに属している)は:

$$ I_H(t) = - \sum_{i = 1}^{1} \frac{n_i}{N} log_2 \frac{n_i}{N} = \frac{N}{N} log_2 \frac{N}{N} = 0 $$

例) もっともエントロピーが高い状態(あるノードに全クラス別々に一つづつのサンプルが属している)は:

$$ {I_H(t) = - \sum_{i = 1}^{N} \frac{1}{N} log_2 \frac{1}{N} = log_2 N } $$

なお、$1/N$になっている理由は、N個あるが、N個が全部バラバラを想定しているから

つまり、不純度が最も低ければエントロピーの値は0，不純度が高くなればなるほどエントロピーの値が大きくなる

情報利得の算出

$$ {\Delta I_H(t) = I_H(t_B) - \sum_{i=1}^{b} w_i I_{Hi} (t_{Ai}) } $$

変数はそれぞれ下を示す

$b$は分岐（ブランチ）の数
$tB$は分岐前のノード
$tA$は分岐後のノード
$w_i$は重み（分岐前に対するデータの量の割合）
- 要はあるブランチでたくさんのデータが対称の場合はそれだけ不純度を重要視するということ
- あくまで不純度は全体に対するクラスの比の情報量なので、それに量を追加した感じ

分岐前のエントロピーと分岐後のエントロピーの合計との差を計算している

つまり、分岐前より分岐後の方がエントロピーが下がったかどうかを見ている
エントロピーには加法性があるので、元のエントロピー - ブランチ先でのエントロピーの合計で計算することによって、どれだけエントロピーを削減したかがわかる
また、決定木の役割はエントロピーを下げることであり、エントロピーが下がっていなかったら分岐の意味がないから

例

紅葉狩りに行くか否かを天気・気温・風速という素性から決定するモデルの構築の例

クラスは2つ。行くか行かないか。
初期状態では、行く
$ΔI_A$は「天気が晴・曇・雨」
- w: は晴れが2/5、曇りが2/5、雨が1/5
- ブランチは3つ
- 最初の重みは晴れで晴れは2つなので、晴れのノードではYes/Noが一つづつ
- $-2(\frac{1}{2} log_2 \frac{1}{2} )$なので1となる
$ΔI_S$は「天気が晴か否か」
$ΔI_C$は「天気が曇か否か」
$ΔI_R$は「天気が雨か否か」
$ΔI_T$は「気温が高いか低いか」
$ΔI_W$は「風速が強いか弱いか」

風速で分類が一番情報利得が高いので、それが選択される。

ジニ不純度

不純度が最も低ければ0，不純度が高くなればなるほどジニ不純度の値が1に漸近する不純度の指標

$$ I_G(t) = 1- \sum_{i = 1}^{c} p(i|t)^2 $$

ただし、

$$ p(i|t) = \frac{n_i}{N} $$

ノードの不純度が最も低いときのジニ不純度は、

$$ {I_G(t) = 1- \sum_{i = 1}^{1} (\frac{N}{N})^2 = 0 } $$

ノードの不純度が最も高いときのジニ不純度は、

$$ {I_G(t) = 1- \sum_{i = 1}^{N} (\frac{1}{N})^2 = 1 - \frac{1}{N} } $$

情報利得

エントロピーと同様に情報利得は次になる。

$$ {\Delta I_G(t) = I_G(t_B) - w_L I_G(t_L) - w_R I_G(t_R)} $$

$tB$は分岐前のノード
$tL$およびtRはそれぞれ分岐後の左ノード右ノード
$wL$およびwRはそれぞれ分岐後のノードの重み（分岐前に対するデータの量の割合）を示している

決定木の種類

分類木

例)

日々の温度と湿度のデータ、その日Aさんが暑いと感じたか暑くないと感じたかかのデータが与えられた状況で（赤=暑い、青=熱くない）

例えば、温度が27度で湿度が40%の日は暑くないと感じた
このデータから「温度と湿度がどのようなときにどう感じるのか？」といったことを木で表現すると、

この木をさっきのグラフに描画すると、下のようになる。

回帰木

日々の温度と湿度のデータ．その日Aさんが飲んだ水の量のデータが与えらえれた状況を例として考える。

例えば温度が27度で湿度が40%の日は水を1.5L飲んでいる。
分類木のときと同様にこのデータから「温度と湿度がどのようなときに水を何L飲むか？」といったことを木で表現できる

この図をグラフに描画するとこのようになる。

ランダムフォレスト

アンサンブル学習のバギングをベースに、少しずつ異なる決定木をたくさん集めたもの

勾配ブースティング木

有名なのは XGBoostとLightGBM。

XGBoost:

ブースティングベースのアンサンブル学習
複数の決定木を作成する
決定木ででのleafの結果とlabelを元に誤差を算出する
その誤差を更に目的関数にして学習する
これをK回繰り返す
ただし、前回の決定木での情報を利用するため決定木の勾配を使う

まとめ

決定木系のアルゴはよく使われかつ良く使えるアルゴ
派生形もあるが、基本となるアルゴはシンプルかつエレガントにできている

REF

野球のストライク判定でわかるAccuracy、Precision、Recall、FPR、F1

Wed, 01 May 2024 21:18:33 +0900

背景

機械学習の分類モデルを評価するとき、次のような指標がよく使われる。

Accuracy
Precision
Recall
False Positive Rate
F1 Score

数式だけを見ると、それぞれの違いが分かりにくい。

そこでこの記事では、投球をストライクかボールに分類する アンパイア（審判） を例に、各指標の意味を整理する。

ここでは、次のように考える。

positive: ストライク
negative: ボール
モデル: 投球をストライクかボールに判定するアンパイア
正解ラベル: センサーや人手によって事前に決められた正しい判定

つまり、アンパイアが「ストライク」と判定することをpositive判定として扱う。

用語（positive/negative、accept/reject）

分類の文脈では、次の4つの用語がよく使われる。

用語	意味	この記事での対応
Positive	検出したい方の事象	ストライク
Negative	それ以外の事象	ボール
Accept	受理する（通す）	ストライクと判定する（＝positive判定と同じ意味）
Reject	拒否する（弾く）	ボールと判定する（＝negative判定と同じ意味）

positive/negativeは、機械学習・統計の分類問題で最も一般的に使われる用語
accept/rejectは、検定（帰無仮説をrejectする、等）や、認証・品質検査（合格をaccept、不合格をrejectとする、等）の文脈でよく使われる、positive/negativeとほぼ同じ意味の言い換え
どちらも「2つのグループのどちらに分類するか」という同じ話をしているだけなので、出てきた分野によって呼び方が違う、程度に捉えておけばよい

前提

野球の混同行列

野球の判定を二値分類として考える。

アンパイアの判定結果は、次の4種類に分けられる。

-	実際はストライク	実際はボール
ストライクと判定	True Positive（TP）	False Positive（FP）
ボールと判定	False Negative（FN）	True Negative（TN）

それぞれを野球の言葉で表すと、次のようになる。

4つの結果

TP: True Positive
- 実際にストライクだった投球を、ストライクと正しく判定した
- これは正しい判定
FP: False Positive
- 実際にはボールだった投球を、ストライクと誤判定した
- 打者からすると、ボール球をストライクにされた状態
FN: False Negative
- 実際にはストライクだった投球を、ボールと誤判定した
- 投手からすると、ストライクを見逃された状態
TN: True Negative
- 実際にボールだった投球を、ボールと正しく判定した
- これも正しい判定

ラベルの意味

ラベルは以下の組み合わせになっている。

{審判の予測が正解かどうか} {審判の予測結果}

例えば、False Negative = ボールと誤判定した = 実際はストライクボールだったということ。

野球の具体例

100球を判定した例

アンパイアが100球を判定したとする。

実際の投球は、次のように分かれていた。

実際のストライク: 40球
実際のボール: 60球

アンパイアの判定結果は、次のようになった。

-	実際にストライク	実際にボール	合計
ストライクと判定	36	6	42
ボールと判定	4	54	58
合計	40	60	100

したがって、それぞれの件数は次のようになる。

TP: 36
FP: 6
FN: 4
TN: 54

この例を使って、各評価指標を確認する。

注意

Positiveの意味はタスクによって変わる
今回ではストライクをpositiveとしている
ボールをpositiveとして定義すれば、TP、FP、FN、TNの意味も逆になる

基本的な評価指標

AccuracyとErrorRate

Accuracy：全体として何割正しかったか

Accuracyは、すべての判定のうち正しかった割合を表す。

正しい判定は、TPとTNである。

$$ \mathrm{Accuracy}= \frac{TP+TN} {TP+FP+FN+TN} $$

今回の例では、次のようになる。

$$ \mathrm{Accuracy}= \frac{36+54}{100} = 0.9 $$

Accuracyは90%である。

野球の言葉で表すと、次の意味になる。

アンパイアは、ストライクとボールを合わせた全100球のうち、90球を正しく判定した。

Accuracyは、アンパイアの判定全体がどの程度正しかったかを見る指標である。

Error Rate：全体の誤審率

Accuracyが全体の正解率なら、その反対であるError Rate（$1 - Accuracy$）は全体の誤り率になる。

$$ \mathrm{Error\ Rate} = \frac{FP+FN}{TP+FP+FN+TN} = 1-\mathrm{Accuracy} $$

今回の例では、誤判定は次の2種類である。

ボールをストライクとした誤審: 6球
ストライクをボールとした誤審: 4球

したがって、全体の誤審率は次のようになる。

$$ \mathrm{Error\ Rate} = \frac{6+4}{100}=0.1 $$

全体の誤審率は10%である。

全100球のうち、10球を誤審した。

ただし、この値だけでは、どのような誤審が多かったのかは分からない。

ボールをストライクにしたのか
ストライクをボールにしたのか

この違いを見るには、Precision、Recall、FPRなどを確認する必要がある。

Precision

Precision：ストライク判定をどの程度信用できるか

Precisionは、アンパイアがストライクと判定した投球のうち、実際にストライクだった割合を表す。

$$ \mathrm{Precision}=\frac{TP}{TP+FP} $$

今回、アンパイアがストライクと判定したのは42球である。

そのうち、実際にストライクだったのは36球だった。

$$ \mathrm{Precision}=\frac{36}{36+6} \approx 0.857 $$

Precisionは約85.7%である。

野球の言葉で表すと、次の意味になる。

アンパイアが「ストライク」と言ったとき、その判定は約85.7%の確率で正しかった。

Precisionは、ストライクという判定の信頼性を見る指標と考えると分かりやすい。

Precisionが低いアンパイアは、ボール球に対してもストライクと言いやすい。

Precisionで無視されるもの

Precisionの計算には、FNとTNは直接含まれない
つまり、ボールと判定した投球については見ていない
Precisionが答えるのは、あくまで次の問いである

ストライクと判定した投球だけを見たとき、どのくらい正しかったか。

Recall

Recall：本当のストライクをどの程度見逃さなかったか

Recallは、実際にストライクだった投球のうち、アンパイアがストライクと判定できた割合を表す。

$$ \mathrm{Recall}=\frac{TP}{TP+FN} $$

今回、実際のストライクは40球だった。

そのうち、36球をストライクと判定できた。

$$ \mathrm{Recall}=\frac{36}{36+4} =0.9 $$

Recallは90%である。

野球の言葉で表すと、次の意味になる。

本当のストライク40球のうち、36球を見逃さずにストライクと判定した。

Recallは、ストライクをどの程度取りこぼさなかったかを見る指標である。

Recallが低いアンパイアは、本当のストライクをボールと判定しやすい。

Recallで無視されるもの

Recallの計算には、FPとTNは直接含まれない
そのため、ボール球をどれだけストライクと誤判定したかは、Recallだけでは分からない
極端な例として、すべての投球をストライクと判定した場合を考える
このアンパイアは、本当のストライクを一球も見逃さない
したがって、Recallは100%になる
しかし、すべてのボール球もストライクと判定しているため、良いアンパイアとはいえない
Recallだけでは、ストライク判定を乱発しているかどうかを評価できない

Recallの別名について

いくつかRecallは呼び名があるので注意。

TPR（True Positive Rate）：ROC曲線や統計・検定寄りの文脈でよく使う
Recall：機械学習、情報検索、Precision/Recallの文脈でよく使う
Sensitivity（感度）：医療・診断の文脈でよく使う

FPR

FPR：ボール球をストライクにした割合

False Positive Rateは、実際にはボールだった投球のうち、誤ってストライクと判定した割合を表す。

$$ \mathrm{FPR}=\frac{FP}{FP+TN} $$

今回、実際のボールは60球だった。

そのうち、6球をストライクと誤判定した。

$$ \mathrm{FPR}=\frac{6}{6+54} =0.1 $$

FPRは10%である。

野球の言葉で表すと、次の意味になる。

本当はボールだった60球のうち、10%をストライクと誤審した。

FPRは誤審率の一種だが、全体の誤審率ではない。

分母は全100球ではなく、実際にボールだった60球である。

FPR：全体の誤審率（Error Rate）とFPRの違い

今回の例では、たまたま次の2つが同じ10%になっている。

$$ \mathrm{Error\ Rate}=10% $$$$ \mathrm{FPR}=10% $$

しかし、両者は異なる指標である。

全体の誤審率は次のように計算する。

$$ \mathrm{Error\ Rate}=\frac{FP+FN}{全投球} $$

FPRは次のように計算する。

$$ \mathrm{FPR}=\frac{FP}{実際のボール} $$

全体の誤審率には、次の両方が含まれる。

ボールをストライクとした誤審
ストライクをボールとした誤審

一方、FPRが数えるのは、ボールをストライクにした誤審だけである。

FPR：FPRの別名について

FARはFalse Accept Rateの意味
accept＝positive判定という対応の生体認証（顔認証など）や検定の文脈ではこう呼ばれることが多い
FPRとFARは同じ指標で、呼び名が違うだけ

FNR

FNR：ストライクをボールとした割合

False Negative Rateは、実際のストライクのうち、誤ってボールと判定した割合を表す。

$$ \mathrm{FNR}=\frac{FN}{TP+FN} $$

今回の例では、次のようになる。

$$ \mathrm{FNR}=\frac{4}{36+4}=0.1 $$

FNRは10%である。

野球の言葉で表すと、次の意味になる。

本当はストライクだった40球のうち、10%をボールと誤審した。

FNR：FNRとRecallの関係

RecallとFNRには、次の関係がある。

$$ \mathrm{FNR}=1-\mathrm{Recall} $$

Recallが90%なら、見逃した割合であるFNRは10%になる。

FNR：FNRの別名について

FRRは、False Reject Rateの意味
reject＝negative判定という対応の生体認証（顔認証など）や検定の文脈ではこう呼ばれることが多い
FNRとFRRは同じ指標で、呼び名が違うだけ

Specificity

Specificity：ボールを正しくボールと判定した割合

Specificityは、実際のボールのうち、正しくボールと判定できた割合を表す。

$$ \mathrm{Specificity}=\frac{TN}{FP+TN} $$

今回の例では、次のようになる。

$$ \mathrm{Specificity}=\frac{54}{6+54} =0.9 $$

Specificityは90%である。

野球の言葉で表すと、次の意味になる。

本当のボール60球のうち、90%を正しくボールと判定した。

Specificity：SpecificityとFPRの関係

SpecificityとFPRには、次の関係がある。

$$ \mathrm{FPR}=1-\mathrm{Specificity} $$

F1

F1：PrecisionとRecallのバランス

F1 Scoreは、PrecisionとRecallの調和平均である。

$$ \mathrm{F1} = 2 \frac{ \mathrm{Precision}\cdot\mathrm{Recall} }{ \mathrm{Precision}+\mathrm{Recall} } $$

TP、FP、FNを使うと、次のようにも表せる。

$$ \mathrm{F1} = \frac{2TP}{2TP+FP+FN} $$

今回の100球の例では、次の値だった。

TP: 36
FP: 6
FN: 4

したがって、F1は次のようになる。

$$ \mathrm{F1} = \frac{2\times36}{2\times36+6+4} = \frac{72}{82} \approx 0.878 $$

F1は約87.8%である。

野球の言葉で表すと、次の意味になる。

ストライクと宣告した判定の信頼性と、本当のストライクを見逃さない能力を、一つの値にまとめた。

Precisionだけを高くしようとすると、明らかなストライクだけを宣告し、それ以外をすべてボールにする方法が考えられる
しかし、その場合は本当のストライクを見逃すため、Recallが低くなる
反対に、Recallだけを高くしようとすると、ほとんどすべての投球をストライクと宣告する方法が考えられ
しかし、その場合はボール球もストライクにするため、Precisionが低くなる
F1は、PrecisionとRecallのどちらか一方だけが高い判定を高く評価しにくい

F1：PrecisionとRecallのトレードオフ

PrecisionとRecallはトレードオフにある。

Recallを上げたい
- なんでもストライクと言えば上がる
- つまり、アンパイアのストライクゾーンを広げる
- しかし、誤審が増えるのでPrecisionが下がる
Precisionを上げたい
- 完全にストライクのものをストライク判定する
- つまり、アンパイアのストライクゾーンを狭める
- しかし、本来ストライクだったものを見逃しRecallが下がる

そして、それらを加味したのがF1スコアになっている。

F1：F1で無視されるもの

F1の計算にはTNが含まれない
つまり、本当のボールを正しくボールと判定した件数は、F1へ直接反映されない
そのためF1は、アンパイアとしての全判定を見るというより、ストライクを検出する能力に注目した指標である

F1：F1とAccuracyの違い

AccuracyとF1の最も大きな違いは、TNを評価に含めるかどうかである。

$$ \mathrm{Accuracy} = \frac{TP+TN}{TP+FP+FN+TN} $$$$ \mathrm{F1} = \frac{2TP}{2TP+FP+FN} $$

AccuracyはTPとTNの両方を正解として数える。

野球の例では、次の両方を評価する。

ストライクを正しくストライクと判定した
ボールを正しくボールと判定した

一方、F1はストライクをpositiveとして、次のバランスを見る。

ストライクと宣告した判定がどの程度正しいか
本当のストライクをどの程度見逃さなかったか

今回の100球の例では、次のようになる。

指標	値	見ているもの
Accuracy	90.0%	ストライクとボールを含む全判定の正しさ
F1	約87.8%	ストライク判定の信頼性と見逃しにくさ

F1：Accuracyを使いやすい場合

ストライクとボールの件数が極端に偏っていない
ストライクとボールの両方の正解を評価したい
FPとFNをおおむね同じ重さの誤りとして扱える
アンパイアの全判定の正しさを知りたい

F1：F1を使いやすい場合

ストライクがボールより非常に少ない
ストライクを検出する能力を重視したい
PrecisionとRecallの両方を一つの値で比較したい
大量のTNによって高いAccuracyが出る問題を避けたい

ただし、F1はFPとFNを実質的に同じ重さで扱う。

ボールをストライクにする誤審を特に避けたいなら、F1だけでなくPrecisionやFPRを確認する。

ストライクの見逃しを特に避けたいなら、RecallやFNRを確認する。

NOTE:

Accuracyは、アンパイアとして全体的に正しいかを見る
F1は、ストライク検出器としてPrecisionとRecallを両立できているかを見る
どちらか一方を常に使うのではなく、評価したい失敗の種類に合わせて選ぶ

F1：Accuracyだけでは不十分な場合

Accuracyは全体の正解率を表すため、直感的に理解しやすい。

しかし、ストライクとボールの割合が大きく偏っている場合は注意が必要である。

例えば、100球のうち次の割合だったとする。

ストライク: 10球
ボール: 90球

ここで、すべての投球をボールと判定するモデルを考える。

このアンパイアは、90球のボールをすべて正しく判定する。

そのため、Accuracyは90%になる。

$$ \mathrm{Accuracy}=\frac{90}{100}=0.9 $$

しかし、10球のストライクをすべてボールと判定している。

Recallは次のようになる。

$$ \mathrm{Recall}=\frac{0}{0+10}=0 $$

Accuracyは90%だが、ストライクを一球も判定できていない。

この場合、Recallは0であり、一般的な実装上の扱いではF1も0になる。

つまり、二つの指標は次のように評価する。

Accuracy
- ボール90球を正しく判定したため90%
F1
- ストライクを一球も検出できていないため0%

このように、クラスの割合が偏っている場合は、Accuracyだけではモデルの問題を見逃す可能性がある。

一方で、F1はTNを評価しないため、ボールを正しくボールと判定する能力も含めて評価したい場合には、F1だけでは不十分である。

指標同士の関係と使い分け

指標を野球の言葉で整理する

指標	野球での意味
Accuracy	全投球のうち、ストライク・ボールを正しく判定できた割合
Error Rate （1 - Accuracy）	全投球のうち、誤審した割合
Precision	ストライクと判定した投球のうち、本当にストライクだった割合
Recall	本当のストライクのうち、ストライクと判定できた割合
F1	ストライク判定の信頼性と、ストライクの見逃しにくさをまとめた値
FPR	本当のボールのうち、ストライクと誤審した割合
FNR （1 - Recall）	本当のストライクのうち、ボールと誤審した割合
Specificity	本当のボールのうち、ボールと正しく判定できた割合

もう少し短く表すと、次のようになる。

Accuracy: アンパイアは全体としてどの程度正しいか
Precision: アンパイアのストライク判定をどの程度信用できるか
Recall: アンパイアはストライクをどの程度見逃さないか
F1: ストライク判定の信頼性と見逃しにくさを両立できているか
FPR: アンパイアはボール球をどの程度ストライクにするか

指標の見方の流れ

概ね次の順に見ると分かりやすい。

Recall: 本当のストライクをどの程度見逃していないか
Precision: ストライクと宣告した判定をどの程度信用できるか
FPR: 本当のボールをどの程度ストライクと誤審するか
Accuracy: 全判定のうち何割が正しかったか
Error Rate: 全判定のうち何割を誤審したか
F1: PrecisionとRecallを一つの値で見たとき、どの程度両立できているか

判定しきい値と指標の変化

アンパイアは確信度を出力する

実際の分類モデルは、最初からストライクまたはボールを出力するとは限らない。

例えば、アンパイアが次のようなストライクらしさのスコアを出力するとする。

投球	ストライクスコア
A	0.95
B	0.72
C	0.51
D	0.48
E	0.10

このスコアに対して、どこからストライクと判定するかを決める必要がある。

この境界を判定しきい値と呼ぶ。

しきい値を0.5にした場合は、次のように判定する。

$$ \hat{y}=\begin{cases} \mathrm{ストライク} & s(x) \geq 0.5 \\\ \mathrm{ボール} & s(x) < 0.5 \end{cases} $$

この場合、A、B、Cはストライク、D、Eはボールになる。

しきい値を下げるとどうなるか

しきい値を0.5から0.3へ下げると、アンパイアはストライクと判定しやすくなる。

野球でいえば、少しでもストライクらしい投球を、積極的にストライクと判定するアンパイアである。

一般に、次のような変化が起きる。

ストライク判定が増える
本当のストライクを見逃しにくくなる
Recallが上がる
一方で、ボール球までストライクにしやすくなる
FPが増える
FPRが上がる

つまり、しきい値を下げると、ストライクの見逃しは減りやすいが、ボール球をストライクにする誤審は増えやすい。

しきい値を上げるとどうなるか

しきい値を0.5から0.9へ上げると、アンパイアはストライクと判定しにくくなる。

野球でいえば、明らかにストライクだと確信できる投球だけを、ストライクと判定するアンパイアである。

一般に、次のような変化が起きる。

ストライク判定が減る
ボール球をストライクにしにくくなる
FPが減る
FPRが下がる
一方で、本当のストライクもボールと判定しやすくなる
FNが増える
Recallが下がる

つまり、しきい値を上げると、ボール球をストライクにする誤審は減りやすいが、本当のストライクを見逃しやすくなる。

しきい値と指標の関係

同じ評価データに対してしきい値だけを動かした場合、基本的には次の関係になる。

しきい値	ストライク判定	Recall	FPR
下げる	増える	上がるか変わらない	上がるか変わらない
上げる	減る	下がるか変わらない	下がるか変わらない

Precisionについては、次のように説明されることが多い。

しきい値を上げるとPrecisionは上がりやすい
しきい値を下げるとPrecisionは下がりやすい

これは、確信度の高いストライク判定だけを残すと、誤ったストライク判定が減ると期待できるためである。

ただし、有限の評価データではPrecisionが必ず単調に変化するとは限らない。

しきい値を上げたとき、正しいストライク判定であるTPが多く除外され、スコアの高いFPが残ることもある。

Accuracyも、しきい値に対して必ず一方向に変化するとは限らない。

しきい値の違いを100球で比較する

実際の投球が次のように構成されているとする。

ストライク: 40球
ボール: 60球

ストライクを取りやすいアンパイア

しきい値を低く設定した結果、次の判定になったとする。

-	実際にストライク	実際にボール
ストライクと判定	39	18
ボールと判定	1	42

各指標は次のようになる。

$$ \mathrm{Recall}= \frac{39}{39+1}= 0.975 $$$$ \mathrm{FPR}=\frac{18}{18+42}=0.3 $$$$ \mathrm{Precision}=\frac{39}{39+18} \approx 0.684 $$

ストライクの見逃しは少ないが、ボール球までストライクと判定している。

ストライクを取りにくいアンパイア

しきい値を高く設定した結果、次の判定になったとする。

-	実際にストライク	実際にボール
ストライクと判定	24	2
ボールと判定	16	58

各指標は次のようになる。

$$ \mathrm{Recall}= \frac{24}{24+16} = 0.6 $$$$ \mathrm{FPR}=\frac{2}{2+58} \approx 0.033 $$$$ \mathrm{Precision}=\frac{24}{24+2} \approx 0.923 $$

ストライクと判定したときの信頼性は高いが、本当のストライクを多く見逃している。

比較

指標	ストライクを取りやすい	ストライクを取りにくい
Precision	約68.4%	約92.3%
Recall	97.5%	60.0%
FPR	30.0%	約3.3%
ストライクの見逃し	少ない	多い
ボールをストライクにする誤審	多い	少ない

どちらのアンパイアが良いかは、何を重視するかによって変わる。

ストライクの見逃しを減らしたい
- => Recallを重視する
ボール球をストライクにしたくない
- => PrecisionやFPRを重視する
全体の正解数を増やしたい
- => Accuracyを重視する

Accuracyが最大ならよいのか

しきい値をいくつか試せば、評価データ上でAccuracyが最大になる値を選ぶことができる。

しかし、Accuracyが最大になるしきい値が、必ずしも最適とは限らない。

Accuracyでは、次の誤審をどちらも1件の誤りとして扱う。

ボールをストライクにする
ストライクをボールにする

野球では、この2種類を同じ重さの誤審として扱えるかもしれない。

しかし、実際の機械学習システムでは、FPとFNのコストが大きく異なることがある。

例えば、不正利用の検知では、次の2種類の誤りが存在する。

正常な利用を不正と判定する
本当の不正利用を正常と判定する

どちらをより避けるべきかは、システムの目的によって異なる。

そのため、Accuracyを最大化するだけでなく、許容できるFPやFNを考慮してしきい値を決める必要がある。

しきい値を横断して評価する方法

ROC曲線

しきい値を少しずつ変化させると、RecallとFPRも変化する。

その関係を表すものがROC曲線である。

ROC曲線では、次の値を使う。

横軸
- FPR
縦軸
- Recall

野球の例では、次の関係を見ることになる。

ボール球をストライクにする割合を増やしたとき、本当のストライクをどの程度多く取れるようになるか。

しきい値を下げれば、ストライクを多く取るようになる。

そのため、一般にRecallは上がるが、FPRも上がる。

ROC曲線は、このトレードオフをしきい値ごとに確認するために使われる。

PR曲線（Precision-Recall曲線）

Precision-Recall曲線では、しきい値を変化させたときのPrecisionとRecallの関係を見る。

野球の例では、次の関係になる。

ストライクの見逃しを減らしながら、ストライク判定の信頼性をどこまで維持できるか。

ストライク判定を増やせば、Recallは高くなりやすい。

一方で、ボール球もストライクに含まれるようになるため、Precisionは低下しやすい。

特にpositiveが少ない分類問題では、ROC曲線だけでなくPrecision-Recall曲線も重要になる。

ROC-AUC：ROC曲線を一つの値にまとめる

ROC曲線全体の性能を一つの値にまとめたものがROC-AUCである。

AUCはArea Under the Curveの略で、ROC曲線の下側の面積を表す。

一般に、ROC-AUCは0から1の範囲を取り、値が大きいほどpositiveとnegativeをうまく順位付けできている。

1に近い
- ストライクとボールをうまく区別できている
0.5に近い
- ランダムに判定する場合と同程度
0.5より小さい
- スコアの大小関係が逆になっている可能性がある

ROC-AUCは、ランダムに選んだストライク1球とボール1球を比較したとき、ストライクの方に高いストライクスコアを与える確率としても解釈できる。

ただし、ROC-AUCが高くても、実際に使用する特定のしきい値でPrecisionやRecallが要件を満たすとは限らない。

そのため、ROC-AUCはモデル全体の順位付け性能を比較するために使い、実際のしきい値はFPRやRecallなどを確認して決める。

PR-AUCとAP：PR曲線を一つの値にまとめる

PR曲線全体を一つの値にまとめる指標として、PR-AUCとAP（Average Precision）がある。

PR-AUC
- Precision-Recall曲線の下側の面積
AP
- Recallが増加した区間ごとにPrecisionを重み付けして平均した値

APは、概念的には次のように表せる。

$$ \mathrm{AP} = \sum_n \left(R_n-R_{n-1}\right)P_n $$

ここで、$P_n$は各点のPrecision、$R_n$はRecallである。

PR-AUCとAPは、どちらもPrecisionとRecallの関係を一つの値にまとめるが、曲線の補間方法や計算方法が異なるため、同じ値になるとは限らない。

ライブラリによって定義や実装が異なることがあるため、評価結果を報告するときは、単に「AUC」と書かず、次のように区別する。

ROC-AUC
PR-AUC
AP

positiveが少ない不均衡なデータでは、ROC-AUCが高く見える場合がある。そのため、ストライクの検出性能を重視するなら、PR曲線やAPも合わせて確認する。

なお、PR曲線の基準となるPrecisionはpositiveの出現割合に依存する。

今回の100球の例では、ストライクは40球なので、positiveの割合は40%である。

$$ \frac{40}{100}=0.4 $$

したがって、ランダムな順位付けにおけるPrecisionの基準は、おおむね0.4となる。

ROC-AUCとpAUC

Partial AUC（部分ROC曲線下面積：pAUC）とは、特定の部分に行うAUC
具体的には、ROC曲線の全体ではなく、偽陽性率（FPR）などの特定の関心範囲に限定して計算する評価指標
一般的に、FPRが低く誤検知を許容できない領域などに適用する
つまり、ParitalでFPRの低い値のエリア（つまり、誤検知がすくないところ）のTPRを図る目的
言い換えると、実運用上で使うことを想定した区間の評価

※ TPR=Recall

「誤検知率を0〜1%に抑えて運用するとしたとき、その範囲でどれくらい真陽性を拾えるモデル」なのかを見る時に使う。

理由:

なぜ普通のAUCだけだとダメなことがあるかというと、次のような例があるから
たとえばモデルAとBが、以下のような性能だったとする。
- A：FPR 0〜1%ではかなり強い
- B：FPR 10〜50%ではかなり強い
ROC-AUC全体ではBの方が高くなる可能性がある
でも、実運用で「誤検知1%以上なんて絶対許容できない」というシステムなら、FPR 10〜50%で強くても何の意味もない

pAUCとTPR@FPR

pAUCだと評価が大きい場合は、TRP@FPRも使ったリする。意味の違いは以下。

点推定（TPR at fixed FPR）
- TPR@FPR=1%
- 実際の運用ポイントでの性能
区間推定
- pAUC (FPR 0〜1%)
- 実運用候補となる低FPR領域全体での総合性能

EER

EERとCERとは

しきい値を動かすと、FPR（＝FAR、ボールをストライクと誤判定する率）とFNR（＝FRR、ストライクをボールと誤判定する率）はトレードオフの関係になる
- しきい値を下げる（甘くする）と、FPRは上がりFNRは下がる
- しきい値を上げる（厳しくする）と、FPRは下がりFNRは上がる
この2つの曲線がちょうど交わる点（FPR=FNR）のエラー率を、EER（Equal Error Rate、等誤り率）と呼ぶ
同じ概念を、CER（Crossover Error Rate、交差誤り率）と呼ぶこともある。呼び名が違うだけで、指しているものは同じ

$$ EER（\text{Equal Error Rate}） = CER（\text{Crossover Error Rate}） $$

生体認証（顔認証など）のモデル比較でよく使われ、EERが低いほど良いモデルとされる
野球の例で言えば、「ボールをストライクと言ってしまう割合」と「ストライクをボールと言ってしまう割合」がちょうど同じになるしきい値、というイメージ

EERの実務上の計算方法

しきい値は実際には離散的にしか動かせないため、FAR(t)とFRR(t)がぴったり同じ値になる$t$が存在しないことが多い
そこで実務上は、FARとFRRが入れ替わる境目（FAR<FRRからFAR>FRRに切り替わる付近）の$t^*$を見つけ、その時点でのFARとFRRの平均をEERの近似値とする

$$ \mathrm{EER} \approx \frac{\mathrm{FAR}(t^*) + \mathrm{FRR}(t^*)}{2} $$

この式は、どのしきい値でも使えるわけではなく、あくまでFARとFRRが交差する付近の$t^*$でだけ使う近似計算である点に注意

EERを使う際の注意点

EERはFPRとFNRを均等に重視するしきい値なので、この後の「しきい値は目的に合わせて決める」で述べる考え方とは相性が良くない場合がある
例えば、際どい判定はできるだけボール（negative）に倒したい、のような非対称な優先度がある場合、EERの交点をそのまま採用するのは適切ではない

確信度スコアと確率校正

アンパイアがストライクスコア0.9を出したとしても、それが必ず「90%の確率でストライク」という意味になるとは限らない
例えば、スコアが0.9前後だった投球を100球集めたとする
そのうち、実際にストライクだった投球が70球しかなければ、モデルは確信しすぎている
モデルが出したスコアと、実際の正解率の対応を整えることを確率校正と呼ぶ
確率が適切に校正されていない場合、しきい値を0.9にしても、期待したPrecisionが得られない可能性がある
また、評価時と実際の試合で投球の分布が変わると、同じしきい値でも性能が変わる可能性がある

例えば、次のような変化が考えられる。

投手が変わる
球速の分布が変わる
変化球の種類が変わる
カメラやセンサーが変わる
左打者と右打者の割合が変わる
評価データに少なかった投球が増える

したがって、評価指標は、使用したデータと判定しきい値をセットで報告する必要がある。

しきい値は目的に合わせて決める

しきい値に唯一の正解はない。

例えば、次のような決め方が考えられる。

ボール球をストライクにしたくない

打者に不利な誤審であるFPを抑えたい場合は、次のような条件でしきい値を選ぶ。

FPRが1%以下になるしきい値の中から、Recallが最も高い値を選ぶ。

ストライクを見逃したくない

投手に不利な誤審であるFNを抑えたい場合は、次のような条件でしきい値を選ぶ。

Recallが99%以上になるしきい値の中から、FPRが最も低い値を選ぶ。

ストライク判定を信用できるようにしたい

ストライクと判定したときの正しさを重視する場合は、次のように決める。

Precisionが99%以上になるしきい値の中から、Recallが最も高い値を選ぶ。

このように、単にAccuracyが最大になる値を選ぶより、システムの要件を条件として定義した方がよい場合がある。

評価時の注意点

しきい値は検証データで決める

しきい値を決めるために使ったデータで、そのまま最終性能を報告すると、性能を過大評価する可能性がある。

データは次のように分ける。

学習データ
- モデルを学習する
検証データ
- 判定しきい値を決める
テストデータ
- 最終的な性能を確認する

テストデータの結果を見ながら何度もしきい値を変更すると、テストデータが実質的に検証データになる。

投球の割合を確認する

評価データに含まれるストライクとボールの割合も重要である
Precisionは、実際のストライクがどの程度出現するかによって変化する
評価データではストライクとボールが半分ずつでも、実際の運用環境では割合が異なる可能性がある
その場合、同じモデルと同じしきい値を使っても、Precisionが変化することがある

件数も確認する

FPRが低くても、ボール球の総数が非常に多ければ、FPの件数は多くなる。

例えば、ボール球が100万件あり、FPRが0.1%だった場合、FPは1,000件発生する。

$$ 1{,}000{,}000 \times 0.001= 1{,}000 $$

割合だけでなく、実際に発生する誤判定の件数も確認する必要がある。

まとめ

AIによるストライク判定を例にすると、各評価指標は次のように理解できる。

Accuracy
- 全投球のうち、正しく判定できた割合
Error Rate
- 全投球のうち、誤審した割合
Precision
- ストライクと判定した投球のうち、本当にストライクだった割合
Recall
- 本当のストライクのうち、ストライクと判定できた割合
F1
- ストライク判定のPrecisionとRecallを一つにまとめた値
FPR
- 本当のボールのうち、ストライクと誤審した割合
FNR
- 本当のストライクのうち、ボールと誤審した割合

特に、次の違いが重要。

Precision
- ストライクという判定を基準にする
Recall
- 本当のストライクを基準にする
FPR
- 本当のボールを基準にする
Error Rate
- 全投球を基準にする
F1
- ストライク判定に関するPrecisionとRecallを基準にし、TNは直接使わない

AccuracyとF1の使い分けは、次のように整理できる。

Accuracy
- ストライクとボールを含め、アンパイアの全判定の正しさを見たい場合
F1
- ストライクの検出を重視し、PrecisionとRecallを一つの値で比較したい場合

また、これらの指標はアンパイアに固有の固定値ではない。

ストライクと判定する確信度のしきい値を変えると、TP、FP、FN、TNの数が変わり、Accuracy、Precision、Recall、FPR、F1も変化する。

しきい値を下げる
- ストライクを取りやすくなり、RecallとFPRが上がる
しきい値を上げる
- ストライクを取りにくくなり、RecallとFPRが下がる

どのしきい値が適切かは、どちらの誤審を避けたいかによって異なり、次を参考にする。

ROC-AUC
- RecallとFPRのトレードオフを、しきい値全体にわたってまとめた値
PR-AUC
- PrecisionとRecallの関係を、曲線の面積としてまとめた値
AP
- Recallの増加量でPrecisionを重み付けして平均した値

分類モデルを評価するときに重要なのは、Accuracyが高いかどうかだけではない。

何をpositiveと定義し、どの誤りを避け、どのしきい値で判定したのか。

ここまで含めて、初めて評価指標の意味を正しく理解できる。

参考文献

機械学習でよく出るシャノンの情報量

Sun, 19 Nov 2023 13:34:35 +0900

情報量とエントロピー

情報理論における「情報」とは何か
重要なのは、情報の中身ではなく「どれくらい意外か」ということ
その意外さを数値にしたものが、情報量
そして、その情報量の平均がエントロピー
そこらへんは機械学習でよく出るので改めてまとめた

情報量

情報量の基準は珍しさ

たとえばコイン投げ
表が出る確率50%
裏が出る確率50%
この場合、どちらが出てもある程度の情報

一方で、かなり偏ったコイン。

表が出る確率 99%
裏が出る確率 1%
99%で出る表には、ほとんど驚きなし
1%しか出ない裏には、大きな驚き

つまり以下の関係。

起こりやすい出来事 → 情報量が小さい
起こりにくい出来事 → 情報量が大きい

これを数式にしたものが、自己情報量。

$$ I(x)=-\log p(x) $$

$p(x)$ は、出来事 $x$ が起こる確率
確率が小さくなるほど、大きくなる情報量
「珍しい出来事ほど情報量が大きい」という考え方

なぜマイナスがつくのか

確率の範囲は以下。

$$ 0

確率は0より大きく、1以下

この範囲の値に対して対数を取ると、0以下の値

たとえば底を2にした場合。

$$ \log_2\frac{1}{2}=-1 $$$$ \log_2\frac{1}{4}=-2 $$$$ \log_2\frac{1}{8}=-3 $$

確率が小さくなるほど、対数の値はより小さな負の値
一方で、情報量は珍しい出来事ほど大きくしたいところ
そこでマイナス符号の登場

自己情報量を底2で表したもの。

$$ I(x)=-\log_2p(x) $$

たとえば、確率が半分の出来事。

$$ p(x)=\frac{1}{2} $$

情報量は以下。

$$ I(x)=-\log_2\frac{1}{2}=1 $$

1bitの情報量となる

確率が8分の1の場合。

$$ p(x)=\frac{1}{8} $$

情報量は以下。

$$ I(x)=-\log_2\frac{1}{8}=3 $$

3bitの情報量

つまり、珍しくなるほど増えることを表現するために、負の対数になった。

なぜ対数なのか

情報量を以下とする理由。

$$ I(x)=-\log p(x) $$

単なる数学上の都合ではないもの
重要なのは、「情報は足し算できてほしい」という要請

たとえば、独立した2つの出来事$A$ と$B$。

それぞれの確率。

$$ p(A)=\frac{1}{2} $$$$ p(B)=\frac{1}{4} $$

独立なので、両方が起こる確率は掛け算。

$$ p(A,B)=\frac{1}{2}\times\frac{1}{4}=\frac{1}{8} $$

両方が起きたときの情報量。

$$ I(A,B)=-\log_2\frac{1}{8}=3 $$

一方、それぞれの情報量。

$$ I(A)=-\log_2\frac{1}{2}=1 $$$$ I(B)=-\log_2\frac{1}{4}=2 $$

それぞれを足した結果。

$$ I(A)+I(B)=3 $$

つまり以下の関係。

$$ I(A,B)=I(A)+I(B) $$

確率については掛け算。

$$ p(A,B)=p(A)p(B) $$

情報量については足し算。

$$ I(A,B)=I(A)+I(B) $$

これを可能にしているものが、対数の性質。

$$ \log(ab)=\log a+\log b $$

確率の掛け算を、情報量の足し算に変換する対数
情報量に対数が登場する大きな理由

情報量を「二択の回数」と考える

底を2にすると、情報量をより直感的に理解可能
たとえば8個の箱
そのうち1つだけが当たり
どの箱も同じ確率

当たりの確率。

$$ p=\frac{1}{8} $$

当たりの箱を知ったときの情報量。

$$ -\log_2\frac{1}{8}=3 $$

3 bitの情報量

これは、二択の質問を3回すれば8個から1個を特定できることに対応。

8個 → 4個
4個 → 2個
2個 → 1個

候補数との関係。

$$ 2^3=8 $$

3回のYes / Noで1つに特定
1bitとは、ざっくり言えば「二択を1回解決するための情報量」

エントロピー

エントロピーとは

ここまでは、実際に起きた1つの出来事についての情報量
しかし結果を見る前には、どの出来事が起きるか不明
そこで知りたいのが、「平均するとどれくらいの情報が得られるのか」ということ
その量がエントロピー

確率変数 $X$ が、以下のいずれかの値を取るとする。

$$ x_1,x_2,\dots,x_n $$

それぞれの確率。

$$ p_1,p_2,\dots,p_n $$

出来事

$$x_i$$

が起きたときの情報量。

$$ -\log p_i $$

これを、それぞれの発生確率で重み付けして平均。

$$ H(X)=\sum_i p_i(-\log p_i) $$

整理すると以下。

$$ H(X)=-\sum_i p_i\log p_i $$

これがシャノンエントロピー
自己情報量の期待値
結果を見る前の不確実性を表す量

エントロピーは「平均的な驚き」

エントロピーの直感。

自己情報量 → 実際に起きた出来事の驚き
エントロピー → 起こりうる出来事についての平均的な驚き

たとえば公平なコイン。

表と裏の確率。

$$ p(\text{表})=\frac{1}{2} $$$$ p(\text{裏})=\frac{1}{2} $$

エントロピー。

$$ H(X)=-\frac{1}{2}\log_2\frac{1}{2}-\frac{1}{2}\log_2\frac{1}{2} $$

計算結果。

$$ H(X)=1 $$

1bit
結果を見るまで、表か裏か分からない状態
二択が完全に不確実な状態

一方で、必ず表が出るコイン。

$$ p(\text{表})=1 $$$$ p(\text{裏})=0 $$

結果を見る前から答えが分かっている状態
新しく得られる情報はなし

この場合のエントロピー。

$$ H(X)=0 $$

情報量ゼロ
完全に予測可能な状態

偏るほどエントロピーは小さくなる

たとえば、かなり偏ったコイン。

$$ p(\text{表})=0.99 $$$$ p(\text{裏})=0.01 $$

ほとんど表
結果を見る前から、かなり予測可能な状態
そのためエントロピーも小さめ

逆に、公平なコイン。

$$ p(\text{表})=0.5 $$$$ p(\text{裏})=0.5 $$

どちらが出るか最も分からない状態
このときエントロピーは最大

つまり以下の関係。

結果が予測しやすい → エントロピーが小さい
結果が予測しにくい → エントロピーが大きい
確率分布が偏っている → エントロピーが小さい
確率分布が均等 → エントロピーが大きい

別の言い方をすると、

エントロピーを「乱雑さ」と説明することもある
情報理論では「不確実性」と考える方が直感的

4つの選択肢

たとえば4種類の結果
すべて同じ確率の場合

それぞれの確率。

$$ p_1=p_2=p_3=p_4=\frac{1}{4} $$

エントロピーは以下。

$$ H(X)=-4\times\frac{1}{4}\log_2\frac{1}{4} $$

計算結果。

$$ H(X)=2 $$

2bit
4択から1つを特定するために必要な二択質問が2回

具体的には以下。

4個 → 2個
2個 → 1個

一方、以下のような偏った確率分布。

$$ p=(0.97,0.01,0.01,0.01) $$

ほぼ最初の結果
結果をかなり予測可能
不確実性が小さい状態
そのためエントロピーも小さい状態
同じ「4つの選択肢」でも、確率分布によって変わるエントロピー

エントロピーが最大になるとき

$n$個の結果が存在する場合
エントロピーが最大になるのは、すべてが等確率のとき

それぞれの確率。

$$ p_i=\frac{1}{n} $$

エントロピーの定義に代入。

$$ H(X)=-\sum_{i=1}^{n}\frac{1}{n}\log_2\frac{1}{n} $$

同じ項が $n$個あるため、以下。

$$ H(X)=-\log_2\frac{1}{n} $$

したがって以下。

$$ H(X)=\log_2n $$

具体例。

2通り → 1 bit
4通り → 2 bit
8通り → 3 bit
16通り → 4 bit
256通り → 8 bit

つまり、

候補が倍になるごとに、必要な情報量が1 bit増加
対数らしい増え方

BitとNat

BitとNatとは

情報量の基本形。

$$ I(x)=-\log p(x) $$

ここで重要なのが「対数の底」
どの底を使うかによって変わる情報量の単位

Bit

底を2にした場合
単位はbit

定義。

$$ I(x)=-\log_2p(x) $$

たとえば確率が半分。

$$ p=\frac{1}{2} $$

情報量は以下。

$$ I=1\ \mathrm{bit} $$

確率が4分の1の場合。

$$ p=\frac{1}{4} $$

情報量は次になる。

$$ I=2\ \mathrm{bit} $$

確率が8分の1の場合。

$$ p=\frac{1}{8} $$

情報量は以下。

$$ I=3\ \mathrm{bit} $$

二進数との相性がいい単位
コンピュータや通信でよく登場するbit
二択を何回繰り返せば特定できるか、という直感との相性の良さ

Nat

自然対数を使った場合
単位は nat

定義。

$$ I(x)=-\ln p(x) $$

natは natural unit of information に由来する単位
対数の底は自然対数の$e$

たとえば、確率が以下の出来事。

$$ p=\frac{1}{e} $$

その情報量。

$$ I(x)=-\ln\frac{1}{e}=1 $$

1nat

BitとNatは別の情報なのか

違いは単位だけ
情報量そのものが変わるわけではない
同じ距離をメートルとフィートで表すようなもの

bitとnatの変換関係。

$$ 1\ \mathrm{nat}=\log_2e\ \mathrm{bit} $$

近似値。

$$ 1\ \mathrm{nat}\approx1.443\ \mathrm{bit} $$

逆方向の変換。

$$ 1\ \mathrm{bit}=\ln2\ \mathrm{nat} $$

近似値。

$$ 1\ \mathrm{bit}\approx0.693\ \mathrm{nat} $$

たとえば公平なコイン。

bitで測った場合。

$$ -\log_2\frac{1}{2}=1\ \mathrm{bit} $$

natで測った場合。

$$ -\ln\frac{1}{2}=\ln2\approx0.693\ \mathrm{nat} $$

数字は違う
表している情報量は同じ
違うのは単位だけ

なぜ機械学習ではNatをよく見るのか

情報理論ではbitが直感的
一方で、機械学習や統計では自然対数も頻繁に登場
その場合、情報量の単位はnat

たとえばクロスエントロピー。

$$ H(p,q)=-\sum_xp(x)\ln q(x) $$

自然対数を使えば単位はnat
自然対数を使う理由のひとつが、数学的な扱いやすさ

自然対数の微分。

$$ \frac{d}{dx}\ln x=\frac{1}{x} $$

非常にシンプルな形
微分や最適化との相性の良さ
最適化を大量に行う機械学習で自然対数がよく使われる理由のひとつ

ざっくりとした傾向。

通信・情報理論 → bit
数学・統計・機械学習 → natも頻繁に利用
ただし、本質的な違いではなく単位の選択

情報量とエントロピーの違い

自己情報量の定義。

$$ I(x)=-\log p(x) $$

ある出来事$x$が実際に起きたときの情報量
その出来事がどれくらい珍しいかを表す量

エントロピーの定義。

$$ H(X)=-\sum_xp(x)\log p(x) $$

起こりうるすべての出来事について、自己情報量を平均したもの
結果を見る前の不確実性を表す量

ざっくり言えば以下。

情報量 → 1回の驚き
エントロピー → 驚きの平均
確率が低い → 情報量が大きい
確率が高い → 情報量が小さい
予測しにくい → エントロピーが大きい
予測しやすい → エントロピーが小さい
底が2 → bit
底が$e$ → nat

まとめ

情報理論における情報とは、単なるデータの量ではないもの
「どれだけ予想外だったか」を定量化したもの

その基本となる自己情報量。

$$ I(x)=-\log p(x) $$

珍しい出来事ほど大きな情報量
起こりやすい出来事ほど小さな情報量
確率の掛け算を、情報量の足し算に変える対数

そして、その平均としてのエントロピー。

$$ H(X)=-\sum_xp(x)\log p(x) $$

これがシャノンエントロピー
結果が読める世界では、小さなエントロピー
結果が読めない世界では、大きなエントロピー
エントロピーとは、不確実性の大きさ

対数の底によって変わる単位。

$\log_2$ → bit
$\ln$ → nat

最後に一言でまとめるなら以下。

情報量 → 「その結果はどれくらい意外だったか」
エントロピー → 「結果を見る前にどれくらい分からないか」

機械学習でよく出る関数

Sun, 19 Nov 2023 13:34:35 +0900

背景

最近機械学習をまたよく仕事でやり始めたが、やっぱり関数を忘れがち
特に数年前に学んだことはちょっとは覚えていてもindexレベルしか覚えていない
そこで、備忘録としてAIに一覧化してもらった

関数・損失関数まとめ

機械学習で頻繁に登場する関数の整理。

大きく分けると、以下のカテゴリ。

確率への変換：Sigmoid、Softmax
確率から実数への変換：Logit
活性化関数：ReLU、GELU、SiLU、tanh
分類の損失関数：BCE、Cross Entropy、NLL
回帰の損失関数：MSE、MAE、Huber Loss
確率分布の指標：Entropy、KL Divergence
数値安定化：LogSumExp、LogSoftmax
正規化：LayerNorm、BatchNorm、RMSNorm
ベクトルの類似度・距離：Dot Product、Cosine Similarity、L1、L2
Transformer系：Scaled Dot-Product Attention

Sigmoid

実数を $0$ から $1$ の範囲へ変換する関数。

$$ \sigma(x)=\frac{1}{1+e^{-x}} $$

主な特徴。

$x\to-\infty$ で $0$
$x=0$ で $0.5$
$x\to+\infty$ で $1$
二値分類で頻出
logitから確率への変換

関係としては以下。

$$ \text{logit} \rightarrow \text{sigmoid} \rightarrow \text{probability} $$

Logit

Sigmoidの逆関数。

$$ \operatorname{logit}(p) = \log\frac{p}{1-p} $$

確率 $p$ を $-\infty$ から $+\infty$ の実数へ変換する関数。

$p=0.5$ なら logit は $0$
$p\to0$ なら logit は $-\infty$
$p\to1$ なら logit は $+\infty$
ニューラルネットの最終層が出力する「生のスコア」として頻出する logits

Sigmoidとの関係。

$$ p \xrightarrow{\operatorname{logit}} z \xrightarrow{\sigma} p $$

Softmax

複数のlogitを、合計が $1$ になる確率分布へ変換する関数。

$$ p_i=\frac{e^{z_i}}{\sum_j e^{z_j}} $$

主な用途。

多クラス分類
Attention weight
次トークン予測
logitsからcategorical probabilityへの変換

Sigmoidが二値分類寄りなのに対して、Softmaxは多クラス分類寄りの関数。

LogSoftmax

Softmaxの出力にlogを取ったもの。

$$ \log\operatorname{softmax}(z_i) = z_i-\log\sum_j e^{z_j} $$

主な特徴。

Softmaxとlogを別々に計算するより数値的に安定
Negative Log Likelihoodとの組み合わせ
Cross Entropy内部で頻出

LogSumExp

機械学習の数値計算で非常によく登場する関数。

$$ \operatorname{LSE}(x) = \log\sum_i e^{x_i} $$

そのまま計算すると $e^x$ が非常に大きくなり、overflowする可能性。

そこで最大値 $m$ を使った変形。

$$ m=\max_i x_i $$$$ \operatorname{LSE}(x) = m+ \log\sum_i e^{x_i-m} $$

主な用途。

Softmax
LogSoftmax
Cross Entropy
BCE
確率モデル
数値安定化

機械学習における重要な「計算テクニック」の一つ。

Binary Cross Entropy（BCE）

二値分類で使われる代表的な損失関数。

$$ L = -\left[ y\log p+ (1-y)\log(1-p) \right] $$

正解が $y=1$ の場合。

$$ L=-\log p $$

正解が $y=0$ の場合。

$$ L=-\log(1-p) $$

つまり、以前出てきた $-\log p$ そのもの。

正解に高い確率を付けるほどLossが小さい
正解に低い確率を付けるほどLossが大きい
二値分類の基本Loss

BCEWithLogitsLoss

SigmoidとBCEをまとめて計算するもの。

概念的には以下。

$$ \text{logit} \rightarrow \text{sigmoid} \rightarrow \text{BCE} $$

実際の実装では、Sigmoidを明示的に計算せず、数値的に安定した式による計算。

二値分類で非常に頻出
PyTorchなどで定番
logitsを直接入力
LogSumExp系のテクニックによる数値安定化

Cross Entropy

多クラス分類で代表的な損失関数。

$$ H(p,q) = -\sum_i p_i\log q_i $$

教師ラベルがone-hotの場合、正解クラスだけが残る形。

$$ L = -\log p_{\mathrm{correct}} $$

つまり本質的には、

正解クラスの確率が高い → Loss小
正解クラスの確率が低い → Loss大

という仕組み。

典型的な流れ。

$$ \text{logits} \rightarrow \text{softmax} \rightarrow \text{probabilities} \rightarrow \text{cross entropy} $$

Negative Log Likelihood（NLL）

正解データの尤度にマイナスlogを取ったもの。

$$ L=-\log p(y\mid x) $$

モデル学習では尤度最大化が基本。

$$ \max p(y\mid x) $$

logを取っても最大値の位置は同じ。

$$ \max \log p(y\mid x) $$

最小化問題として書けば、

$$ \min -\log p(y\mid x) $$

Cross Entropyとの強い関連。

Entropy

確率分布の「不確実性」を表す量。

$$ H(p)=-\sum_i p_i\log p_i $$

例えば、

$$ p=[0.99,0.005,0.005] $$

なら低いEntropy。

一方、

$$ p=[0.33,0.33,0.34] $$

なら高いEntropy。

直感的には、

一つの選択肢に集中 → Entropy小
どれもどれも同じくらいありそう → Entropy大

という関係。

KL Divergence

2つの確率分布の違いを測る量。

$$ D_{\mathrm{KL}}(p|q) = \sum_i p_i \log\frac{p_i}{q_i} $$

重要な関係式。

$$ H(p,q) = H(p) + D_{\mathrm{KL}}(p|q) $$

教師分布 $p$ が固定なら、

$$ \text{Cross Entropyの最小化} \Longleftrightarrow \text{KL Divergenceの最小化} $$

主な用途。

VAE
Knowledge Distillation
Reinforcement Learning
LLM
確率分布同士の比較

活性化関数

ReLU

ニューラルネットで最も基本的な活性化関数の一つ。

$$ \operatorname{ReLU}(x) = \max(0,x) $$

特徴。

$x<0$ なら $0$
$x>0$ ならそのまま $x$
計算が単純
ニューラルネットへの非線形性の導入

Leaky ReLU

ReLUの負の領域にも小さな傾きを持たせたもの。

$$ f(x) = \begin{cases} x & x>0 \ \alpha x & x\le0 \end{cases} $$

ReLUで起こるDead Neuron問題への対策の一つ。

tanh

出力を $-1$ から $1$ に収めるS字型の関数。

$$ \tanh(x) = \frac{e^x-e^{-x}} {e^x+e^{-x}} $$

特徴。

出力範囲 $[-1,1]$
$\tanh(0)=0$
Sigmoidと似た形
RNNなどで頻出

GELU

Transformer系モデルで頻出する活性化関数。

$$ \operatorname{GELU}(x) = x\Phi(x) $$

$\Phi(x)$ は標準正規分布の累積分布関数。

直感的には「滑らかなReLU」。

Transformer
BERT系
GPT系などで頻出

SiLU / Swish

Sigmoidを利用した滑らかな活性化関数。

$$ \operatorname{SiLU}(x) = x\sigma(x) $$

特徴。

滑らかなReLU系
Swishとも呼ばれる関数
現代的なニューラルネットで頻出

Softplus

ReLUを滑らかにしたような関数。

$$ \operatorname{Softplus}(x) = \log(1+e^x) $$

導関数がSigmoid。

$$ \frac{d}{dx}\operatorname{Softplus}(x) = \sigma(x) $$

興味深い関係。

$$ \operatorname{Softplus}(x) \approx \operatorname{ReLU}(x) $$

回帰でよく使う損失関数

MSE

Mean Squared Error。

$$ L =(y-\hat y)^2 $$

特徴。

誤差を二乗
大きな誤差への強いペナルティ
回帰問題の代表的Loss
L2 Lossとも関連

MAE

Mean Absolute Error。

$$ L = |y-\hat y| $$

特徴。

誤差の絶対値
MSEより外れ値の影響を受けにくい性質
L1 Lossとも関連

Huber Loss

MSEとMAEの中間的なLoss。

小さい誤差 → 二乗誤差
大きい誤差 → 絶対誤差
MSEの滑らかさとMAEの外れ値耐性の折衷

ベクトル計算でよく出るもの

Dot Product

ベクトルの内積。

$$ x^\top y = \sum_i x_i y_i $$

主な用途。

Attention
類似度
線形層
Embedding

Cosine Similarity

ベクトル同士の向きの近さ。

$$ \operatorname{cos_sim}(x,y) = \frac{x^\top y} {|x|_2|y|_2} $$

主な用途。

Embedding検索
Semantic Search
文書類似度
Recommendation

L2 Distance

ユークリッド距離。

$$ d(x,y) = |x-y|_2 $$

つまり、

$$ d(x,y) = \sqrt{ \sum_i(x_i-y_i)^2 } $$

L1 Distance

マンハッタン距離。

$$ d(x,y) = |x-y|_1 $$

つまり、

$$ d(x,y) = \sum_i|x_i-y_i| $$

Transformerで特に重要な式

Scaled Dot-Product Attention

Transformerの中心となるAttention。

$$ \operatorname{Attention}(Q,K,V) = \operatorname{softmax} \left( \frac{QK^\top}{\sqrt{d_k}} \right)V $$

内部の流れ。

QueryとKeyのDot Product
$\sqrt{d_k}$ によるスケーリング
Softmaxによる重みへの変換
Valueの加重平均

これまで出てきた関数が一つの式に集約された構造。

LayerNorm

ニューラルネット内部の値を正規化する処理。

$$ \hat{x} = \frac{x-\mu} {\sqrt{\sigma^2+\epsilon}} $$

その後のAffine変換。

$$ y = \gamma\hat{x}+\beta $$

Transformerを構成する基本要素の一つ。

RMSNorm

LayerNormに近い正規化手法。

RMSは、

$$ \operatorname{RMS}(x) = \sqrt{ \frac{1}{n} \sum_i x_i^2 } $$

RMSNormの基本形。

$$ \hat{x} = \frac{x} {\operatorname{RMS}(x)+\epsilon} $$

特徴。

LayerNormのような平均の減算なし
現代的なLLMで頻出
比較的シンプルな計算

特に覚えたい重要関数

まず優先して押さえたいもの。

$\exp(x)$
$\log(x)$
$-\log(p)$
Sigmoid
Logit
Softmax
LogSoftmax
LogSumExp
BCE / BCEWithLogitsLoss
Cross Entropy
Entropy
KL Divergence
ReLU
GELU

特に重要な一本の流れ。

$$ \text{logit} \rightarrow \text{sigmoid / softmax} \rightarrow \text{probability} \rightarrow -\log \rightarrow \text{cross entropy} $$

機械学習でバラバラに登場する用語をつなげて理解するための中心線。

まとめ

DNNやNLPの概念は繋がっている
シャノンの情報理論、エントロピーからトランスフォーマーまで
ココらへんはよく出るので、一度定義を書く下しておいてして、必要な時に再度参照するのが良い

参考文献

Implicit Function - GeeksforGeeks

混同行列について

Sun, 19 Nov 2023 13:34:35 +0900

背景

機械学習でも頻出する話題である混同行列について改めてまとめる。

前提

分類の全体像

まず、分類には付けるlabelが単数か複数（単数もしくは複数）かによって、大きく2つの型がある。その上で、今回は単数のSingle-label classificationを扱う。

Single-label classification

二値分類（Binary Classification）
- 0か1などのように2つに分類するパターン
多クラス分類（Multi Class Classification=MCC）
- 1つのインスタンスに複数のクラスから1つのクラスが付くパターン
- 物体検知などで利用される

multi-label classification

1つのオブジェクトに複数のラベルが付くパターン
LLMなどでトークンのNER（Named Entity Recognition）分類などに使われる

マルチラベルとマルチクラスの違い

ややこしい為まとめると、次のように、マルチラベルとマルチクラスの違いがある。一般的に、Single-labelのみ混合行列が適用可能になる。

特徴	マルチラベル分類	マルチクラス分類
クラス割り当て	各インスタンスに複数のラベルを割り当てる	各インスタンスを一つのクラスに割り当てる
ラベルの数	インスタンスごとに異なる数のラベル	各インスタンスは一つのラベルのみを持つ
典型的な使用例	映画のジャンル分類（例：アクション、ロマンス）	動物の種類分類（例：犬、猫、鳥）
混同行列の使用	伝統的な混同行列は適用しにくいが、適応された方法が使用される	直接使用可能
評価指標	ハミング損失、ラベルごとの精度・再現率・F1スコア	全体の精度、クラスごとの精度・再現率・F1スコア

ラベルとクラスの違い

微妙なニュアンスの違いがある。

ラベル（Label）：
- 個々のデータポイントに割り当てられる具体的なカテゴリ
- 例: メールが「スパム」や「非スパム」とラベル付けされる
クラス（Class）：
- 分類タスクにおける全ての可能なカテゴリのセットを指す
- 例: スパムメール分類タスクにおいて、可能なクラスは「スパム」と「非スパム」の2つ

つまり、ラベルはラベリングというように、個々の事例に焦点を当てており、クラスはが識別することができる全てのカテゴリの集合を意味する。

ちなみに、オブジェクトとインスタンスも混合しがちだが、分類の文脈ではインスタンスが適切である。

混同行列とは

混同行列（Confusion Matrix）とは、機械学習の2値分類問題の分類結果をまとめた行列。予測とその予想の正解かどうかの組み分けを表にまとめたもの。

二値分類

犬と猫の例

一目で分かりやすいのが次の画像。次のマトリックスになっている。

行を正解ラベル
列を予測結果

評価指標

陽性 / 正例（Positive）、陰性 / 負例（Negative）

機械学習では正例 / 負例の翻訳をよく使う。これは予測とGrand-Truthの予測ラベルにおけるPositive / Negativeの事を意味する。

陽性 / 正例（Positive）: 予測対象の特定の状態または属性（例えば病気である、スパムであるなど）が存在する場合
陰性 / 負例（Negative）: 予測対象の特定の状態または属性が存在しない場合

真陽性（TP） / 偽陽性（FP） / 偽陰性（FN） / 真陰性（TN）

予測結果と実際の正解ラベルを基にマトリックスを作ったのが、TP / FP / FN / TNである。

真陽性（TP, True Positive）: モデルが陽性と予測し、実際に陽性であるケース
偽陽性（FP, False Positive）: モデルが陽性と予測したが、実際には陰性であるケース
偽陰性（FN, False Negative）: モデルが陰性と予測したが、実際には陽性であるケース
真陰性（TN, True Negative）: モデルが陰性と予測し、実際に陰性であるケース

また、その割合はRateを付けて、TPR（陽性率）などと表現する。

正解率（Accuracy）

正解率は、全てのケースの中で正しく予測されたケース（TPとTN）の割合。

$$ Accuracy = \frac{(TP+TN)}{(TP+FP+FN+TN)} $$

誤答率（Error rate）

誤答率は、全てのケースの中で誤って予測されたケース（FPとFN）の割合。

$$ \text{Error Rate} = 1 - Accuracy $$

適合率 / 精度（Precision）

適合率は、陽性と予測されたケースの中で、実際に陽性である割合。

$$ Precision = \frac{TP}{(TP+FP)} $$

再現率（Recall）/ 感度（Sensitivity）

再現率は、実際に陽性であるケースの中で、正しく陽性と予測された割合。

$$ Recall = \frac{TP}{(TP+FN)} $$

適合率と再現率のトレードオフ

適合率（Precision）と再現率（Recall）にはトレードオフの関係がある
簡単に言えば、スナイパーライフルとマシンガンの戦略の違いのようなもの

特異度（Specificity）

特異度は、実際に陰性であるケースの中で、正しく陰性と予測された割合。
つまり、適合度のNegative版ということ

$$ Specificity = \frac{TN}{(TN+FP)} $$

特異度と感度のトレードオフ

特異度と感度（適合率）もまたトレードオフである

F値

F値（F-measure）/ F1スコア（F1-score）

適合率と再現率のトレードオフ関係に着目し、調和平均を算出した値がF値（F-measure）。

$$ F_{1} = \frac{2 \times \text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}} $$

重み付きF値（Weighted F-measure）/ Fβスコア（Fβ-score）

F値 / F1スコアは調和平均で、適合率と再現率をどちらも同じように扱った
それのバランス調整をするのが、重み付きF値
β>1なら再現率を重視し、β<1なら適合率を重視する

$$ F_{\beta} = \frac{\text{Precision} \times \text{Recall} \times (\beta + 1)}{\text{Precision} + \text{Recall} \times \beta^{2}} $$

マイクロF1とマクロF1

指標	計算方法	重視するもの
Macro-F1	各クラスのF1を単純平均	各クラスを平等に評価
Micro-F1	TP・FP・FNを全部合計	全サンプルの正解性能
Weighted-F1	データ数でF1を加重平均	多数クラスの性能

LogLoss（Binary Logarithmic Loss）

分類の正確さ（Accuracy）よりも、確率の高さ（Probability）を評価スコアとして取得したい場合に利用する。

つまり、0, 1のカテゴリカル変数ではなく、[0, 1]の範囲と閾値を基にした確率的な評価スコアと言う事
LogLossは[0, -∞]までの値域

また、交差エントロピー誤差（Cross entropy error）と考え方は一緒
平均二乗誤差（MSE：Mean Squared Error）との比較が次の画像
図の通り、両端の扱いが違う

上記図の指数関数的な変化を-log(p)としてマイナス自然対数を使う
すると、pを確率、-log(p)を正解との誤差に利用している
0は不正解で、1は正解である

下のloglossはクロスエントロピー誤差である
nはクラス数、y_iは正解ラベル、p_iは予測結果を示している

$$ LogLoss = - \frac{1}{n} \sum_{i=1}^n (y_i log p_i + (1- y_i) log(1-p_i))) $$

ポイント系

カットオフポイント（cutoff point）

PR曲線やROC曲線を出すのに閾値を複数用いて評価スコアを算出し、総合的にモデルの性能の評価をする必要がある
その閾値の事をカットオフポイントと言う
例えば、閾値の数が200個なら、ある閾値のレンジを200分割し、それぞれを閾値（カットオフポイント）として利用する

データの分布とカットオフ値の関係を上に示す
モデルが完全にPositiveとNegativeを予測できない限り、Grand-truthのPositiveとNegativeの分布は重なる
カットオフより+はPositiveと予測し、カットオフより－はNegativeと予測している事を意味する

分布をベン図で示すと上になる

ブレイクイブンポイント

ブレイクイブンポイント（BEP）は、適合率と再現率が等しくなる点を指す
この点は、モデルが偽陽性と偽陰性を同じ程度に重視している状態を示し、PR曲線上で見つけることができる
BEPはモデルの全体的なバランスを理解するのに役立つ

AUC系

AUCの目的

機械学習モデルの性能を比較するためなど、モデルの精度（＝性能）をより汎用的に計測したい場合に利用する
正解率よりも優れている利点としては、AUCはしきい値の影響を受けないことが挙げられる
正解率は、デフォルトで0.5をしきい値として、予測値は0.5以上なら1、0.5未満なら0という形で評価値が決まる
つまり、このしきい値は変えることもできるが、その場合、評価値も変わってしまうという問題があると言う事

AUCは二種類ある

通常の、ROC曲線を使ったAUC
PR曲線を使ったPR-AUC（Area Under the Precision-Recall Curve、AUC-PR）

通常はROC曲線を使ったAUCをAUCと表記する。

AUC（Area Under the ROC Curve）

AUC（Area Under the Curve）はROC曲線（Receiver Operating Characteristic curve）の下の面積
値域は[0, 1]で、高いほどいい精度を示す
AUCは特に不均衡なデータセットでのモデルの性能を評価するのに有効

ROC曲線（Receiver Operating Characteristic curve：受信者操作特性曲線）とAUC

ROC曲線は、異なるしきい値における真陽性率（TPR）と偽陽性率（FPR）の関係をプロットしたグラフ
曲線が左上に近づくほどモデルの性能が高いと評価される
ROC曲線は、特にバイナリ分類問題においてモデルの診断能力を評価するのに役立つ

AUCグラフは、X軸はFPR、Y軸はTPRで成り立つ
上図の水色の領域の面積がAUCの値
ランダムに推測（random guess）するモデルだと、基本的にAUCは0.5となる

意味は次になる。

0.9～1.0：非常によい（excellent）
0.8～0.9：よい（good）
0.7～0.8：まあまあ（fair）
0.6～0.7：よくない（poor）
0.5～0.6：失敗（fail）

ROC曲線の描き方。

閾値を変えてTPRとFPRを計測する
元々、感度や特異度では分類判定のしきい値を指定していた
しかし、AUCの真陽性率＆偽陽性率では0.0～1.0の範囲でしきい値を細かく指定していく
この閾値を（threshold value＝カットオフポイント：cutoff points（分割点））と言う
例えば、cutoff pointsを200とすると、[0, 1]を200分割して計測してグラフを描写することになる
下の画像はその一例となる

PR曲線とPR-AUC（Area Under the Precision-Recall Curve、AUC-PR）

PR曲線（Precision-Recall curve）は、適合率（Precision）と再現率（Recall）の関係をプロットしたグラフ
特に陽性クラスのサンプルが少ない不均衡なデータセットにおいて、モデルの性能を評価するのにPR-AUCは有効
PR曲線では、曲線が右上に近づくほどモデルの性能が良いとされる

PR-AUCグラフは、X軸は適合率（Precision）、Y軸は再現率（Recall）で成り立つ
PR曲線はROC曲線と同じように閾値を変更してプロットする形になる

そもそも適合率と再現率はトレードオフ関係にあり、再現率（x軸）の数値が大きくなるにつれて、適合率（y軸）は小さくなる。

ROC曲線とPR-ROC曲線の違い

ROC曲線では、ランダムに推測（random guess）すると、基本的にAUCは0.5
他方、PR-ROC曲線はランダムに予測しても、陽性と陰性のデータ数の割合によって数値が変わる
よってPR-AUCは、ROC曲線のAUCと比べて「モデルの汎用的な精度の測定や比較という用途にはあまり向いていない」ともいえる

値系

閾値

モデルの分類スコアをベースに属するか属さないかを決める為のスコア

評価スコア

これはTPRやAUCなど、性能の評価として取った代表値の総称の事

分類スコア

分類スコアは、分類モデルが特定のクラスに属する確率を示す数値
このスコアは、モデルがどの程度自信を持って、予測を行っているかを示している
しきい値を調整することで分類の精度を変えることができる

Average Precision系

適合率 / AP（Average Precision）

平均適合率（AP）は、異なるしきい値で計算された適合率の平均を意味する
APはPR曲線の下の面積としても解釈され、モデルの平均的な適合率の性能を示す
不均衡データで有効

平均適合率 / mAP（mean Average Precision）

mAP（mean Average Precision）は、複数のクラスまたは複数の検出タスクに対するモデルの平均適合率の平均
これは、特にオブジェクト検出やマルチクラス分類問題でよく使用される指標で、モデルが全体的にどれだけうまく機能しているのかを判断する指標

多クラスの混同行列

分かりやすい例

下の画像が一番わかりやすい
多クラス分類の場合でも、二値分類の場合と同様にTP / FP / FN / TNを計算できる
ただし、クラス毎に計算する

上の例では、犬を陽性とするバージョンと同様に、猫を陽性とするバージョンと、熊を陽性とするバージョンの計3パターンを考える必要がある
つまり、クラスの数だけ「二値分類の混同行列」を作るという事
また、全体的な評価方法として、マクロ平均とマイクロ平均がある
例えば、F1スコアもMicro-F1スコアやMacro F1スコアなどのように分かれる

マクロ平均（Macro Average）

各クラスごとに指標を計算し、その後でこれらの平均を取る
つまり、これは各クラスを同等に扱うことを意味する
故に、不均衡データにおいては、マクロ平均を使った方が良い

マイクロ平均（Micro Average）

全クラスにわたって集計された真陽性（TP）、偽陽性（FP）、偽陰性（FN）の値を使用して指標を計算する
つまり、個々のクラスよりも全体のパフォーマンスに焦点を当てるアプローチ

マクロ平均とマイクロ平均の使い分け

マイクロはクラス毎のTF / FP / FN / TPなどを計算し合算して評価スコアを出す
故に、少数のデータしかないクラスのでーたががあったとしてもそれは反映されにくい
逆に、マクロ平均はTP / TN / FP / FNなどをクラスごとに計算して代表値を出しその平均を取る
故に、マクロ平均は少数のデータでも代表値を出し別のクラスと同様に扱うため、不均衡データに適する

バイアス

特徴選択のバイアス

みにくいアヒルの子の定理（Ugly Duckling theorem）

事前の知識や仮定がなければ、あらゆる物事は同程度に似ている（または異なっている）というもの
つまり、特定の特徴や属性を重視するかどうかは、その特徴がどのように重要視されるか（または無視されるか）によって決まる
つまり、特徴選択（Feature Selection）というバイアス（人間の主観性）によって、前提が決まると言う事を示している

学習のバイアス

Inductive Bias

機械学習における学習アルゴリズムが、学習データから一般化する際に持つ、事前の仮定や傾向を指す
別言い方だと、アルゴリズムが未知のデータに適用された際にどのような予測を行うかに影響を与える、アルゴリズム固有のバイアス
inductive biasは過度な単純化や過学習（Overfitting）を起こす

データのバイアス

不均衡データの問題

データセット内の異なるクラス（カテゴリー）が非常に不均等な割合で存在する状態の事。

例

クレジットカードの不正使用検出のようなケースでは、
不正なトランザクション（異常）は正常なトランザクションに比べて非常に少なく、データセットは不均衡になる
この場合、単純な精度（Accuracy）だけでモデルを評価すると誤解を招く可能性がある
なぜなら、モデルがすべてのトランザクションを「正常」と予測しても高い精度を示すから

オーバーサンプリング、アンダーサンプリング

オーバーサンプリングは、少数派クラスのデータポイントを増やすことでクラス間の不均衡を解消する
アンダーサンプリングは、多数派クラスのデータポイントを減らすことでバランスを取る

合成データ生成（Synthetic Data Generation）

主に次の3つの手法を利用する。

データ拡張（Data Augmentation）
GANsで生成
統計的シミュレーション

試験者によるバイアス

主観的なバイアスを排除するための検査方法
実験の被験者や評価者がどのサンプルや治療を受けているかを知らない状態で行う検査

ランダム比較試験（RCT： Randomized Controlled Trial）

RCTは医学や心理学、教育学など多くの分野で用いられる、科学的な研究の手法。

コアは被験者をランダムに対照群（コントロールグループ）と実験群（治療群または介入群）に割り当てること
これにより、他の変数が結果に与える影響を最小限に抑え、介入の効果をより正確に評価することができる

ランダムサンプリング

母集団からランダムサンプリングしないデータはbiasedなデータになる
恣意的にデータを選択しないようにするため、分割や抽出はランダムに行う

その他

野球と混合行列

野球と混合行列を考えるとわかりやすい。

実際 \ 判定	ストライク	ボール
ストライクゾーン	True Positive (TP)	False Negative (FN)
ボールゾーン	False Positive (FP)	True Negative (TN)

Recallを上げる
- 本当はストライクの球を見逃さない
- 多少ボール球をストライクと言ってしまっても、ストライクを多く拾う方向
Precisionを上げる
- ストライクと言った球の正確さを上げる
- 怪しい球はボールにして、本当にストライクの球だけをストライクと言う方向

TP FPなどの覚え方

TP/FPなどは、次のように考えると分かりやすい。

予測が正しいかどうかで次の2つ。

True
False

予測結果は次の2つ。

Positive
Negative

それを組み合わせると次になる。

TP // 正しくPositiveと予測（正解はPositive）
FP // 間違ってPositiveと予測（正解はNegative）
FN // 間違ってNegativeと予測（正解はPositive）
TN // 正しくNegativeと予測（正解はNegative）

AccuracyとPrevisionのトレードオフ

下の図が一番わかりやすい。

Accuracyは真値からの分布全体のズレ
Precisionは分布のばらつき度合

算術平均と調和平均

調和平均（Harmonic Mean）
- 率の平均を算出するのに適している。
算術平均（Arithmetic mean）
- 量の平均を算出するのに適している

例：

ある車が100キロメートルの距離を行く際には時速50キロメートル、帰る際には時速100キロメートルで移動した時、往復の平均速度は何キロメートル/hか？

算術平均 = $\frac{(50 + 100)}{2} = 75$
調和平均 = $\frac{2}{\frac{1}{50}+\frac{1}{100}}=66.67$

Scikit-learn

利用するMatrixの関数

混合行列を作る時に、scikit-learnではそれぞれ次の関数を使う。

二値分類の場合：
- sklearn.metrics.confusion_matrix()
多クラス分類の混同行列の場合：
- sklearn.metrics.multilabel_confusion_matrix()関数

Scikit-learnでの例

二値分類の場合のScikit-learnでの例。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32


from sklearn.metrics import precision_score, recall_score, confusion_matrix, accuracy_score
import numpy as np

# 関数定義
def f_measure(precision, recall, beta=1.0):
 return (1 + beta**2) * (precision * recall) / (beta**2 * precision + recall)

# サンプルデータの作成
y_true = np.array([0, 1, 1, 0, 1, 1, 1, 0, 0, 0])
y_pred = np.array([0, 1, 0, 0, 0, 1, 1, 1, 0, 0])

# 適合率と再現率の計算
precision = precision_score(y_true, y_pred)
recall = recall_score(y_true, y_pred)

# 混同行列の計算
tn, fp, fn, tp = confusion_matrix(y_true, y_pred).ravel()

# 特異値（Specificity）と誤答率（False Positive Rate, FPR）の計算
specificity = tn / (tn + fp)
fpr = fp / (tn + fp)

# 正確度（Accuracy）の計算
accuracy = accuracy_score(y_true, y_pred)

# 重み（Fβスコアの場合）
beta = 2.0

# F値（Fβスコア）の計算結果
score = f_measure(precision, recall, beta)

precision, recall, specificity, fpr, accuracy, score