Crf on M1KE BL0G

Crf on M1KE BL0Ghttps://www.m1ke.org/tags/crf/Recent content in Crf on M1KE BL0GHugo -- gohugo.ioja-jpmikeThu, 08 Oct 2026 23:00:00 +0900確率的グラフィカルモデルの分類https://www.m1ke.org/p/%E7%A2%BA%E7%8E%87%E7%9A%84%E3%82%B0%E3%83%A9%E3%83%95%E3%82%A3%E3%82%AB%E3%83%AB%E3%83%A2%E3%83%87%E3%83%AB%E3%81%AE%E5%88%86%E9%A1%9E/Thu, 08 Oct 2026 23:00:00 +0900https://www.m1ke.org/p/%E7%A2%BA%E7%8E%87%E7%9A%84%E3%82%B0%E3%83%A9%E3%83%95%E3%82%A3%E3%82%AB%E3%83%AB%E3%83%A2%E3%83%87%E3%83%AB%E3%81%AE%E5%88%86%E9%A1%9E/<img src="https://www.m1ke.org/p/%E7%A2%BA%E7%8E%87%E7%9A%84%E3%82%B0%E3%83%A9%E3%83%95%E3%82%A3%E3%82%AB%E3%83%AB%E3%83%A2%E3%83%87%E3%83%AB%E3%81%AE%E5%88%86%E9%A1%9E/pgm.webp" alt="Featured image of post 確率的グラフィカルモデルの分類" /><h2 id="背景">背景</h2> <ul> <li><a class="link" href="https://www.m1ke.org/p/mecab%E3%81%AE%E4%BB%95%E7%B5%84%E3%81%BF/" >MeCabの仕組み</a>で、Naive Bayes・Logistic Regression・HMM・CRFの対応関係（generative-discriminative pairs）を扱ったが、これはさらに一般化できる</li> <li>この記事では、確率的グラフィカルモデル（Probabilistic Graphical Models, PGM）全体を、「生成か識別か」という軸と、「データ構造の複雑さ」という軸の、2つの軸で整理する</li> </ul> <h2 id="前提知識">前提知識</h2> <h3 id="naive-bayes">Naive Bayes</h3> <ul> <li>特徴量$X$の各要素がクラス$Y$ごとに独立に生成されると仮定した、最も単純な生成モデルの分類器</li> <li>詳しい仕組みと計算例は<a class="link" href="https://www.m1ke.org/p/%E3%83%8A%E3%82%A4%E3%83%BC%E3%83%96%E3%83%99%E3%82%A4%E3%82%BA%E5%88%86%E9%A1%9E%E5%99%A8/" >ナイーブベイズ分類器</a>で扱う</li> </ul> <h3 id="logistic-regression">Logistic Regression</h3> <ul> <li>Naive Bayesと同じ特徴量を使うが、同時分布$P(X,Y)$を生成的にモデル化せず、条件付き分布$P(Y\mid X)$を直接モデル化する識別モデルの分類器</li> <li>特徴量の重み付き線形和を、シグモイド関数（2クラスの場合）やソフトマックス関数（多クラスの場合）に通して確率に変換する</li> </ul> $$ P(Y=1\mid X) = \frac{1}{1+\exp(-w\cdot X)} $$<ul> <li>Naive Bayesのような特徴量の独立性の仮定を置かないため、特徴量同士の相関が強い場合でも、Naive Bayesより精度が高くなりやすい</li> <li>Naive Bayesとは「生成・識別ペア」の関係にあたる（Ng & Jordan, 2002）</li> </ul> <h2 id="確率的グラフィカルモデルとは">確率的グラフィカルモデルとは</h2> <ul> <li>複数の確率変数の関係性を、グラフ（ノードとエッジ）で視覚的に表現し、確率の計算を効率化・体系化するための枠組み</li> <li>ノードが確率変数、エッジが変数間の依存関係を表す</li> <li>有向グラフ（ベイジアンネットワーク、因果関係を矢印で表す）と、無向グラフ（マルコフ確率場、条件付き確率場）の2種類に大きく分かれる</li> </ul> <p><img src="https://www.m1ke.org/p/%E7%A2%BA%E7%8E%87%E7%9A%84%E3%82%B0%E3%83%A9%E3%83%95%E3%82%A3%E3%82%AB%E3%83%AB%E3%83%A2%E3%83%87%E3%83%AB%E3%81%AE%E5%88%86%E9%A1%9E/pgm.webp" width="4024" height="2412" srcset="https://www.m1ke.org/p/%E7%A2%BA%E7%8E%87%E7%9A%84%E3%82%B0%E3%83%A9%E3%83%95%E3%82%A3%E3%82%AB%E3%83%AB%E3%83%A2%E3%83%87%E3%83%AB%E3%81%AE%E5%88%86%E9%A1%9E/pgm_hu_7a74db0798c808f4.webp 480w, https://www.m1ke.org/p/%E7%A2%BA%E7%8E%87%E7%9A%84%E3%82%B0%E3%83%A9%E3%83%95%E3%82%A3%E3%82%AB%E3%83%AB%E3%83%A2%E3%83%87%E3%83%AB%E3%81%AE%E5%88%86%E9%A1%9E/pgm_hu_a825f663cdd97d66.webp 1024w" loading="lazy" alt="PGM" class="gallery-image" data-flex-grow="166" data-flex-basis="400px" ></p> <h2 id="軸1-生成モデルと識別モデル">軸1: 生成モデルと識別モデル</h2> <h3 id="生成モデルgenerative-models">生成モデル（Generative Models）</h3> <ul> <li>データがどのように発生したかを、同時分布$P(X,Y)$としてモデル化する</li> <li>未知のデータが入力されたとき、「もっともらしいか」を評価したり、新しいデータを生成したりできる</li> <li>例: Naive Bayes、Markov Models（マルコフモデル）、有向グラフィカルモデル（ベイジアンネットワーク）</li> </ul> <h3 id="識別モデルdiscriminative-models">識別モデル（Discriminative Models）</h3> <ul> <li>入力$X$から正解ラベル$Y$を予測する条件付き分布$P(Y\mid X)$を直接モデル化する</li> <li>分類・予測の正確さに特化しており、多くの場合、生成モデルより予測精度が高くなりやすい</li> <li>例: Logistic Regression、Linear-Chain CRF、CRF（条件付き確率場）</li> </ul> <h2 id="軸2-データ構造の複雑さ">軸2: データ構造の複雑さ</h2> <h3 id="独立データ">独立データ</h3> <ul> <li>データ同士のつながりを考えない（あるいは独立と仮定する）、最もシンプルなモデル</li> </ul> <h3 id="シーケンスデータ">シーケンスデータ</h3> <ul> <li>文章の単語の並びや時系列データのように、前後の文脈・順序関係があるデータを扱う</li> </ul> <h3 id="一般のグラフ構造">一般のグラフ構造</h3> <ul> <li>一列（チェーン）ではなく、網の目のように複雑に絡み合った関係性を扱う</li> </ul> <h2 id="2つの軸によるモデルのマッピング">2つの軸によるモデルのマッピング</h2> <ul> <li>2つの軸を組み合わせると、見た目の違うモデルが同じ構造の中に位置づけられる</li> </ul> <table> <thead> <tr> <th>-</th> <th>独立データ</th> <th>シーケンスデータ</th> <th>一般のグラフ構造</th> </tr> </thead> <tbody> <tr> <td>生成モデル</td> <td>Naive Bayes</td> <td>Markov Models（HMMなど）</td> <td>ベイジアンネットワーク（有向グラフィカルモデル）</td> </tr> <tr> <td>識別モデル</td> <td>Logistic Regression</td> <td>Linear-Chain CRF</td> <td>CRF（一般のグラフ上の条件付き確率場）</td> </tr> </tbody> </table> <ul> <li>横に見ると、同じ「生成・識別」のペアが、データ構造が複雑になるにつれて進化していく <ul> <li>Naive Bayes → Markov Models: 特徴量の独立性の仮定を、系列方向のマルコフ性に拡張したもの</li> <li>Logistic Regression → Linear-Chain CRF: 条件付き分布のモデル化を、系列全体に拡張したもの</li> </ul> </li> <li>縦に見ると、同じデータ構造に対して、生成モデルと識別モデルという2つのアプローチが対になっている</li> <li>この整理は、Sutton & McCallum (2010) “An Introduction to Conditional Random Fields"が示した、生成・識別モデルの対応関係（generative-discriminative pairs）を、データ構造の軸まで拡張したもの</li> </ul> <h2 id="mecabとの接続">MeCabとの接続</h2> <ul> <li><a class="link" href="https://www.m1ke.org/p/mecab%E3%81%AE%E4%BB%95%E7%B5%84%E3%81%BF/" >MeCabの仕組み</a>で扱ったMeCabのCRFは、まさにこの表のLinear-Chain CRFにあたる。系列ラベリング（形態素解析の分割・品詞タグ付け）という、シーケンスデータへの適用そのもの</li> <li>より複雑な依存関係（例えば、文全体の構文木のような、チェーンに収まらない構造）を扱う場合は、表の右下、一般のグラフ構造上のCRFが使われる</li> </ul> <h2 id="まとめ">まとめ</h2> <ul> <li>確率的グラフィカルモデルは、「生成か識別か」という軸と、「データ構造が独立・シーケンス・一般グラフのどれか」という軸の組み合わせで整理できる</li> <li>Naive BayesからCRFまで、見た目の違うモデルも、この2軸のマッピングの中では同じ位置づけ（generative-discriminative pair）として理解できる</li> <li>MeCabのCRFは、この表のシーケンスデータ×識別モデル（Linear-Chain CRF）にあたる</li> </ul> <h2 id="参考文献">参考文献</h2> <ul> <li><a class="link" href="https://www.m1ke.org/p/mecab%E3%81%AE%E4%BB%95%E7%B5%84%E3%81%BF/" >MeCabの仕組み</a></li> <li>Sutton, C., & McCallum, A. (2010). “An Introduction to Conditional Random Fields” (<a class="link" href="https://arxiv.org/abs/1011.4088" target="_blank" rel="noopener" >arXiv:1011.4088</a>)</li> <li>Ng, A. Y., & Jordan, M. I. (2002). “On Discriminative vs. Generative Classifiers: A comparison of logistic regression and naive Bayes”</li> <li><a class="link" href="https://medium.com/razorthink-ai/how-are-conditional-random-fields-applied-to-image-segmentation-ef511bf34a3f" target="_blank" rel="noopener" >How are Conditional Random Fields Applied to Image Segmentation? - Razorthink AI (Medium)</a></li> </ul>