分布外データを含む分類でFalse Positiveを抑える方法

背景

機械学習モデルを利用したシステムの開発で、precisionを高める必要があった。
特に、対象ではないデータをpositiveと誤判定するFalse Positive（FP）のコストが高かったた
そのため、評価データ上でFPを発生させず、可能な限り高いrecallやcoverageを維持することを目標にした
しかし、本番環境では入力がフリーフォームに近く、事前にすべての入力パターンを列挙したり、完全に制限したりすることは難しい
なので、学習時に想定していなかった未知のデータ、すなわち分布外データに対する対策が必要になった
この記事では、そのときに実施した対策と、それぞれの限界についてまとめる
なお、有限の評価データでFPが0件だったとしても、将来のあらゆる入力に対してFPが発生しないことを保証できるわけではない
本記事における「FPを抑える」とは、モデルとシステムの両面から誤判定のリスクを下げることを意味する

用語

ラベル

positive
- 判定対象であるデータに付ける正例ラベル
negative
- 判定対象ではないデータに付ける負例ラベル

IDとOOD

ID（In-Distribution）
- 学習時および運用時に想定している分布に属するデータ
OOD（Out-of-Distribution）
- 学習時に想定した分布から外れるデータ
疑似OOD
- 外部データやデータ加工によって作成した、OODを模したデータ

NOTE:

ID/OODとpositive/negativeは別の概念
ID/OODは「想定した分布に属するか」を表し、positive/negativeは「判定対象であるか」を表す。したがって、IDのnegativeやOODのpositiveが存在する可能性もある
実装上、OODをnegativeまたはNoneとして扱う場合があるが、概念として同一ではない

Mining

mining
- 大量の候補から、学習に役立つデータを発掘すること
hard negative mining
- 現在のモデルがpositiveと誤判定しやすい負例を優先的に発掘すること

OOD検出

入力が学習時に想定した分布の範囲内か、それとも分布外かを判定すること
一般には、モデルや特徴量からOODスコアを算出し、しきい値を超えた入力をOODとして扱う
ただし、IDとOODの境界は絶対的なものではなく、「何を想定範囲とするか」というタスクの定義にも依存する

i.i.d.（独立同分布）

データが互いに独立であり、同じ確率分布に従うという仮定のこと
機械学習では、学習データと評価・運用データが同じ分布から生成されるという仮定を置くことが多い
現実の運用環境では、時間、ユーザー、センサー、入力方法などの変化によって、この仮定が崩れることがある

内挿と外挿

内挿（interpolation）
- 学習データが十分に存在する領域における予測
外挿（extrapolation）
- 学習データがほとんど存在しない領域における予測
学習域
- 学習データが分布している領域を指す非形式的な表現

多次元データでは、各特徴量が単独では学習時の範囲内でも、特徴量の組み合わせとしては学習データから大きく外れていることがある。

なお、外挿とOODは関係が深いが、必ずしも同じ概念ではない。

分布シフト

機械学習モデルの前提と問題

教師あり機械学習モデルは一般に、学習データから得た統計的な関係が評価時や運用時にも成立することを期待して学習される。

しかし、現実の運用環境では次のような理由でデータ分布が変化する。

データの収集方法が変わる
ユーザー層が変わる
撮影環境やセンサーが変わる
時間の経過によって対象の性質が変わる
学習データの選び方に偏りがある
データ生成メカニズムそのものが変わる

このような学習時と運用時の分布の違いを、分布シフトと呼ぶ。

主なデータセットシフト

シフト	変化するもの	不変と仮定するもの
Covariate Shift	$P(x)$	$P(y \mid x)$
Label Shift	$P(y)$	$P(x \mid y)$
Concept Shift	$P(y \mid x)$	一般には特に定まらない

他にも、次のような表現が使われる。

用語	内容
Domain Shift	撮影環境、計測方法、データセット、利用環境などのドメインが変化すること
Sample Selection Bias	データの選択方法や収集方法によって、観測された分布に偏りが生じること

例えば、道路画像が昼から夜に変化するケースはDomain Shiftに当たる
これによって$P(x)$が変化し、$P(y \mid x)$が変わらないと仮定できる場合はCovariate Shiftとしても扱える
実際のシステムでは、複数の種類のシフトが同時に発生することもある

評価指標

False Positiveを議論するときは、precisionとFalse Positive Rateを区別する必要がある。

$$ \mathrm{Precision} = \frac{TP}{TP + FP} $$

$$ \mathrm{FPR} = \frac{FP}{FP + TN} $$

NOTE:

precisionは、モデルがpositiveと判定したもののうち、実際にpositiveだった割合を表す
FPRは、実際にはnegativeだったデータのうち、誤ってpositiveと判定された割合を表す

また、すべての入力をnegativeまたは棄却にすれば、FPを0件にすること自体はできる。そのため、安全性を評価する際にはFPだけでなく、recallやcoverageも同時に確認する必要がある。

recall
- 実際のpositiveをどの程度検出できたか
coverage
- 全入力のうち、棄却せず自動判定できた割合
selective risk
- 棄却せず受理した予測における誤り率

対処方法

そもそもデータセットの確認

traindataが一部間違っていた結果精度がでずに。。。ということもおうおうにしてある
ゴミを入れたらゴミがでるだけなので、そこのCheckを先にするべき
それをし終わった後に、モデルのパラメーター増やすなどの改善フローに入れる

クラスの定義を絞る

精度が低いものに対して、データ量を増やして曖昧な境界線を学習させるのではなく、クラス自体の範囲を狭める
クラスの判定対象を狭め、クラス間の境界が太くなるようにモデルの設計をする

Userの入力を狭める

任意の入力を完全に扱うという要件を見直し、システムが対応する入力の範囲を明確にした。

例えば、次のような条件を定義する。

対応するデータ形式
対応するクラス
必要な画像品質
許可するユーザーや利用環境
モデルが判定してよい状況

ユーザーごとに対象データを登録または学習し、その範囲だけを判定対象にする方法も考えられる。

機械学習モデルの改善だけで安全性を確保しようとせず、モデルが動作してよい範囲をシステム側で定義することが重要だった。

ゲート処理

ブラックリスト方式ですべての不正入力を列挙するのではなく、条件を満たした入力だけを許可するホワイトリスト方式のゲートを設けた
ゲート処理によって、OODや不適合入力が分類モデルまで到達する可能性を減らせる。その結果、False Positiveを抑えやすくなる
一方で、本来はpositiveである入力まで棄却するとFalse Negativeが増える
そのため、ゲートの厳しさとcoverageのトレードオフを評価する必要がある

Noneクラスを追加する

低い確信度を単純に棄却するだけでなく、明示的なNoneまたはOtherクラスを追加した
これにより、モデルは既知のpositiveクラスだけでなく、学習時に与えた負例をNoneとして識別できるようになる
ただし、Noneクラスを追加しても、あらゆる未知入力を識別できるわけではない
学習に使用した負例や、それに近いOODには有効でも、まったく異なる未知入力に対して誤って高い確信度を出す可能性は残る

また、$K+1$クラスのsoftmax分類では、あるクラス$k$について次の関係がある。

$$ 1-p_k = p_{\mathrm{None}} + \sum_{j \ne k,\mathrm{None}} p_j $$

したがって、$p_{\mathrm{None}}$は「他の既知クラスではなくNoneらしい」という情報を持つが、$1-p_k$と独立した別の確率ではない。

二値分類の場合は、原則として次のようになる。

$$ p_{\mathrm{None}} = 1-p_{\mathrm{positive}} $$

負例をepochごとに入れ替える

Noneクラスとして利用できる負例が大量にある場合、各epochで異なる負例をサンプリングした
これにより、Noneクラスの件数を極端に増やさずに、多様な負例をモデルへ提示できる
ただし、epochごとにランダムに入れ替えるだけではhard negative miningとは限らない
現在のモデルが高いpositiveスコアを出した負例を優先的に選ぶ場合に、hard negative miningと呼べる
また、学習時のクラス比率を変えること自体は禁止ではない
クラス比率、サンプリング方法、クラス重みは、precision、recall、確率校正に影響するため、目的に合わせて検証する必要がある

OODスコアを算出する

分類モデルのsoftmax確率だけでなく、入力が分布外である可能性を表すOODスコアを算出した。

OODスコアとしては、例えば次のようなものがある:

Maximum Softmax Probability
Energy Score
特徴空間における学習データからの距離
複数モデル間の予測の不一致
OOD検出専用モデルの出力

OODスコアにしきい値を設定し、しきい値を超えた入力をOut of Scopeとして棄却する。

ただし、OODスコアは必ずしもOODである確率ではない。また、学習分布から明確に離れたfar-OODは検出できても、IDに近いnear-OODは検出が難しい場合がある。

判定しきい値を上げる

positiveと判定するしきい値を上げる方法は、False Positiveを抑えるための単純で有効な方法である
一般には、しきい値を上げるとprecisionは上がりやすくなるが、recallとcoverageは下がる
また、DNNは未知入力に対しても高いsoftmaxスコアを出すことがある。そのため、分類確率のしきい値だけに依存せず、OODスコアやゲート処理と組み合わせる必要がある

相対的な確信度を利用する

一つのクラスの確信度だけでなく、複数クラス間のスコアを比較した。

例えば、次のような値を利用できる。

Top-1とTop-2の確率差
Top-1とTop-2のlogit差
予測分布のエントロピー
複数モデル間の予測のばらつき

同じTop-1確率でも、他のクラスと僅差の場合と、一つのクラスだけが突出している場合では意味が異なる。

ただし、相対的な確信度は主に既知クラス間の曖昧さを表す指標であり、それだけでOODを検出できるわけではない。OOD入力に対して一つのクラスが突出することもある。

アンサンブルで判定する

複数のモデルを利用し、予測結果やモデル間の不一致を判定材料にした。

例えば、次のような方法が考えられる。

複数モデルの平均確率を使う
すべてのモデルがpositiveと判定した場合だけ受理する
モデル間の予測分散が大きい場合は棄却する
異なる特徴や学習データを使ったモデルを組み合わせる

アンサンブルは予測性能や不確実性推定を改善する可能性がある。

ただし、複数モデルが同じ学習データや特徴に依存している場合、同じ入力に対して同時に誤る可能性がある。アンサンブルだけで安全性を保証できるわけではない。

Selective Classification

確信度が不十分な場合に、モデルが無理に分類せず棄却できる仕組みを追加した。

棄却された入力については、次のようなフローへ移す。

ユーザーに確認する
管理者によるレビューへ送る
より高精度なモデルで再判定する
安全側のデフォルト処理を実行する

これはSelective ClassificationまたはClassification with a Reject Optionと呼ばれる考え方に近い。

棄却を増やせば受理した予測の精度は高めやすいが、自動処理できるcoverageは下がる。そのため、誤り率とcoverageの両方を評価する必要がある。

また、ユーザーへの確認を追加しても、ユーザー自身が正解を判断できなければ安全性は保証されない。誰が何を根拠に確認するかまで設計する必要がある。

タスクに適したモデルへ変更する

分類対象同士の違いが細かい場合は、Fine-grained classificationに適したモデルや学習方法を採用する。

例えば、車とペットボトルのような上位カテゴリ間の分類に比べ、タカとワシのように同じ上位カテゴリ内の下位カテゴリを区別する分類では、細かな局所特徴が重要になる。

この場合、次のような方法が考えられる。

高解像度の入力を使う
局所特徴や部位に注目するモデルを使う
Metric LearningやContrastive Learningを使う
階層分類を行う
タスク専用の特徴抽出器を利用する

Fine-grained classificationへの対応は既知クラス間の識別性能を改善する方法であり、それ自体がOOD対策になるわけではない。

事前確率を考慮する

クラスの発生頻度が学習時と運用時で異なる場合、運用環境の事前確率を考慮する方法がある。

Label Shiftを仮定できる場合、推論結果は次のように補正できる。

$$ P_{\mathrm{test}}(y \mid x) \propto P_{\mathrm{train}}(y \mid x) \frac{P_{\mathrm{test}}(y)} {P_{\mathrm{train}}(y)} $$

ただし、この補正は主に次の仮定が成立する場合に利用できる。

$$ P_{\mathrm{test}}(x \mid y) = P_{\mathrm{train}}(x \mid y) $$

運用環境の事前確率を正しく推定できない場合や、Concept Shiftも発生している場合には、単純な補正が逆効果になる可能性がある。

また、False PositiveとFalse Negativeのコスト差を反映したい場合は、事前確率補正とは分けて、コストを考慮した判定しきい値を設計する。

転移学習を利用する

大規模データで事前学習されたモデルを利用し、対象タスクへFine-tuningする
事前学習によって得られた汎用的な表現は、限られた学習データだけで一から学習する場合よりも、分類性能や分布シフトへの頑健性を改善する可能性がある
LLMにおけるLoRAは、事前学習済みモデルを少ない追加パラメータでFine-tuningするParameter-Efficient Fine-Tuningの一手法である。LoRA自体が転移学習と同義というわけではない
また、転移学習を行ってもOODを必ず検出できるわけではないため、OODスコアや棄却処理とは別に考える必要がある

運用中の監視と再学習

開発時に想定できなかった入力は、運用開始後にも発生する。

そのため、次の情報を継続的に収集する。

棄却された入力
高い確信度で誤判定した入力
モデル間で判定が分かれた入力
ユーザーが訂正した入力
時間経過による入力分布の変化

収集したデータからhard negativeを発掘し、評価データの追加や再学習に利用する。

ただし、同じデータをしきい値調整と最終評価の両方に使うと、性能を過大評価する可能性がある。学習用、検証用、最終評価用のデータは分ける必要がある。

信頼度をキャリブレーション

分類器が出力する信頼度 (confidence) が、分類結果が真に正しい可能性を表すように補正する
これを、信頼度キャリブレーション (confidence calibration) と呼ぶ
つまり、AIや自動化システムへの信頼を、そのシステムの実際の当たりやすさに近づけていく手法

評価方法

OOD対策は、単一のテストデータだけで評価しないほうがよい。

例えば、次のように評価データを分ける。

IDのpositive
IDのnegative
IDに近いnear-OOD
IDから明確に離れたfar-OOD
実際の運用ログから作ったデータ
時期、ユーザー、環境などで分けたデータ

確認する指標には次のようなものがある。

対象	主な指標
通常の分類	Precision、Recall、FPR、F1
OOD検出	AUROC、AUPR、FPR@95TPR
棄却を含む分類	Coverage、Selective Risk
安全性	受理した予測におけるFP件数・FP率と信頼区間

しきい値は検証データで決定し、最終評価データを確認してから変更しないことも重要である。

評価データ上でFPが0件だった場合も、「観測されたFPが0件だった」と表現し、将来のFPが0であると断定しない。

まとめ

ID/OODとpositive/negativeは別の概念として扱う必要がある
DNNは未知入力に対しても高い確信度を出すことがあるため、分類確率のしきい値だけでは十分ではない
False Positiveを抑えるには、入力ゲート、Noneクラス、疑似OOD、hard negative mining、OODスコア、アンサンブル、棄却などを組み合わせる必要がある
Noneクラスや転移学習は有効な場合があるが、単独で未知入力全般に対応できるわけではない
安全性が重要なシステムでは、確信度が不十分な入力を無理に分類せず、人間による確認や安全側の処理へ移す設計が重要である
有限の評価データから、将来のあらゆる入力に対するFP 0件を保証することはできない
FPだけを減らすとrecallやcoverageが低下するため、これらのトレードオフも評価する必要がある
OODへの対処は単一のモデルや手法で完結するものではなく、入力制約、モデル、棄却、監視、再学習を含むシステム全体で設計する必要がある

OOD対策の本質は、すべての入力を無理に分類することではなく、モデルが判断してよい範囲を定め、判断できない入力を安全に棄却すること。