ベイジアン研究所

プログラミング言語(アルゴリズム的な話が中心)やガジェットの紹介をしています。時々心理学の話も。

【ベイズ理論入門】ベイズの定理

1. 記事の目的
ベイズ理論に関して、数式を用いない解説を以下の記事で行った。

camelsan.hatenablog.com

本記事では、ベイズの定理を中心に、数式を用いたベイズ理論の基本の解説を行う。

2.確率の定義
サイコロを振ったら出てくる目全ての集合など、試行の結果全ての集合を\Omegaとする(標本空間という)。事象の集合(標本空間の部分集合)をEとする。
標本空間\Omegaに関する確率とは、\Omegaの任意の部分集合Eに対し、実数\rm{P}(E)を対応させる関数で、次の三つの条件を満たすものである。
(1)任意の事象Eに対し、\rm{P}(E)\ge 0を満たす。
(2)\rm{P}(\Omega)=1
(3)事象E_1,E_2,\dotsが互いに排反(i\neq jならばE_i\cap E_j=\emptyset)ならば

\rm{P}(\displaystyle\cup_{i=1}^{\infty}E_i)=\displaystyle\sum_{i=1}^{\infty}\rm{P}(E_i)

3.条件付き確率
事象Bが起きた時のAの条件付き確率を次のように定義する

\rm{P}(A|B)=\frac{\rm{P}(A\cap B)}{\rm{P}(B)}

ただし、\rm{P}(B)>0

4.ベイズの定理
標本分布\Omegaの分割{E_1,E_2,\dots}(E_iが互いに排反で、\Omega=\displaystyle\cup_{i=1}^{\infty}E_i)、及び任意の事象Fが与えられた時、\rm{P}(E_i|F)を計算する公式が次のように与えられる。

\rm{P}(E_i|F)=\frac{\rm{P}(E_i)\cdot \rm{P}(F|E_i)}{\displaystyle\sum_{j=1}^{\infty}\rm{P}(E_j)\cdot \rm{P}(F|E_j)}\tag{1}

この公式をベイズの定理(ベイズの公式、ベイズの規則ともいう)という。ここで\rm{P}(E_i)事前確率\rm{P}(E_i|F)事後確率という。

5.ベイズの定理の証明
証明と言っても基本的には、確率と条件付き確率の定義を変形することにより導出することができる。

\Omegaの分割{E_1,E_2,\dots}、及び任意の事象Fが与えられた時、条件付き確率の定義より、

\rm{P}(E_i|F)=\frac{\rm{P}(E_i\cap F)}{\rm{P}(F)}\tag{2}

事象FE_iが起きた時の条件確率は、

\rm{P}(F|E_i)=\frac{\rm{P}(E_i\cap F)}{\rm{P}(E_i)}\tag{3}

式(3)を変形して、

\rm{P}(E_i\cap F)=\rm{P}(E_i)\cdot\rm{P}(F|E_i)\tag{4}

また、{E_1\cap F,E_2\cap F,\dots}はFの分割であることから、確率の定義(3)を用いることにより

\rm{P}(F)=\displaystyle\sum_{j=1}^{\infty}\rm{P}(E_j\cap F)\tag{5}

式(5)に式(4)を代入すると、

\rm{P}(F)=\displaystyle\sum_{j=1}^{\infty}\rm{P}(E_j)\cdot\rm{P}(F|E_j)\tag{6}

式(2)の分子に式(4)、式(2)の分母に式(6)を代入すると、目的の式

\rm{P}(E_i|F)=\frac{\rm{P}(E_i)\cdot \rm{P}(F|E_i)}{\displaystyle\sum_{j=1}^{\infty}\rm{P}(E_j)\cdot \rm{P}(F|E_j)}

が得られる。

5.ベイズの定理の利用例(壺のモデル)
2つの壺があり、壺1には赤い玉が1個、白い玉が2個入っており、壺2には赤い玉が2個、白い玉が1個入っているとする(図1参照)

f:id:camelsan:20210109223227p:plain
図1 壺のモデル
今、いずれかの壺から玉を取り出した結果、白い玉が取り出されたと仮定する。この時、壺1から取り出された事後確率と壺2から取り出された事後確率を求めることにする。

Aを白い玉を取り出す事象、H_1を壺1から玉を取り出す事象、H_2を壺2から玉を取り出す事象とする。上記の問題は、事後確率\rm{P}(H_1|A)\rm{P}(H_1|A)ベイズの定理を用いて求めることと定式化できる。

冒頭の記事の事後確率の求める手順に従って求める。

  1. いずれの壺を選ぶのも等しい確率と考えると、\rm{P}(H_1)=\rm{P}(H_2)=\frac{1}{2}

  2. 壺1から白い玉を取り出す確率\rm{P}(A|H_1)と壺2から白い玉を取り出す確率\rm{P}(A|H_1)は、\rm{P}(A|H_1)=\frac{2}{3}\rm{P}(A|H_2)=\frac{1}{3}である。

  3. ベイズの定理を使って、事後確率を求める。

\rm{P}(H_1|A)=\frac{(\frac{1}{2})\cdot (\frac{2}{3})}{(\frac{1}{2})\cdot (\frac{2}{3})+(\frac{1}{2})\cdot (\frac{1}{3})}=\frac{2}{3}
\rm{P}(H_2|A)=\frac{(\frac{1}{2})\cdot (\frac{1}{3})}{(\frac{1}{2})\cdot (\frac{2}{3})+(\frac{1}{2})\cdot (\frac{1}{3})}=\frac{1}{3}

最終的な結果を観察すると、壺1から白い玉が取り出される確率が大きいことから、白い玉が多く入っている壺1から白い玉が取り出されやすいという直感にも当てはまっている。この直感の当てはまり具合もベイズ理論の有用性を表している。

6.参考文献
この記事は次の本の第1章を主に参考にした。次の本の第1章をじっくり読だけでも有益と思う。