パターン認識と機械学習 : グラフィカルモデル (準備編)

パターン認識と機械学習 (Pattern Recognition and Machine Learning; PRML) のメイントピックの一つであるグラフィカルモデルについての記事を書いていきたいと思います.

1. 準備

加法定理と乗法定理

PRMLでは1章で確率論の基本事項を一通り紹介しています. ここではその中でも重要な二つ、加法定理と乗法定理について軽く紹介します.

• 加法定理

  のとき、 $$ P(A \cup B) = P(A) + P(B) $$ が成り立つことを加法定理と呼びます. 例えば、サイコロを投げて1が出る事象をとし、3が出る事象をとします. このとき、であり、です.

  したがって、加法定理より、サイコロを投げて1か3が出る確率は、となります.

  より一般系では、となります. 上の加法定理は の場合の特殊なケースです.

• 乗法定理

  他の事象を観測した下で、事象の起こる確率のことを、を条件とするの条件付き確率と呼び と定義されます. この式の両辺にを掛けると、 $$ P(A | B)P(B) = P(A \cap B) $$ が得られ、これを乗法定理と呼びます. 条件付き確率の時は、のとき分母に0が来てしまうため、定義できませんが、乗法定理の場合はのときでも定義できます.

確率論はこの二つの定理から成り立っています.

2. グラフィカルモデルの特徴

確率的推論を用いた機械学習の分野では複雑なモデルも、加法定理と乗法定理を繰り返し適用しているだけです. したがって、純粋な代数的操作を行うだけで複雑なモデルも定式化して解く事ができるはず.

しかし、代数的操作をするをよりもモデルを図式的に表現し、グラフ上の操作をして解いた方が便利なケースもあります. ここで確率モデルの図式的表現を確率的グラフィカルモデルと呼びます.

3. 用語の説明

グラフはノードとリンクの集まりで形成されます. ここで確率的グラフィカルモデルでは、各ノードが確率変数を表し、リンクが変数間の確率的関係を表します. グラフは、「全確率分布が、一部の変数のみに依存する因子の席としてどのように分解可能か」という情報を表現します.

PRMLではまず、有向グラフで表現されるベイジアンネットワークについて議論していて、その後で無向グラフで表現されるマルコフ確率場について紹介しています.

• ベイジアンネットワーク：確率変数間の因果関係を表現
• マルコフ確率場：確率変数間の緩い束縛関係を表現

4. 参考文献

• パターン認識と機械学習 下 第8章

パターン認識と機械学習 下 (ベイズ理論による統計的予測)