【ベイズ理論入門】ベイズの定理

1. 記事の目的
ベイズ理論に関して、数式を用いない解説を以下の記事で行った。

camelsan.hatenablog.com

本記事では、ベイズの定理を中心に、数式を用いたベイズ理論の基本の解説を行う。

2.確率の定義
サイコロを振ったら出てくる目全ての集合など、試行の結果全ての集合を $\Omega$ とする(標本空間という)。事象の集合(標本空間の部分集合)を $E$ とする。
標本空間 $\Omega$ に関する確率とは、 $\Omega$ の任意の部分集合 $E$ に対し、実数 $\rm{P}(E)$ を対応させる関数で、次の三つの条件を満たすものである。
(1)任意の事象 $E$ に対し、 $\rm{P}(E)\ge 0$ を満たす。
(2) $\rm{P}(\Omega)=1$
(3)事象 $E_1,E_2,\dots$ が互いに排反( $i\neq j$ ならば $E_i\cap E_j=\emptyset$ )ならば

$\rm{P}(\displaystyle\cup_{i=1}^{\infty}E_i)=\displaystyle\sum_{i=1}^{\infty}\rm{P}(E_i)$

3.条件付き確率
事象 $B$ が起きた時の $A$ の条件付き確率を次のように定義する

$\rm{P}(A|B)=\frac{\rm{P}(A\cap B)}{\rm{P}(B)}$

ただし、 $\rm{P}(B)>0$ 。

4.ベイズの定理
標本分布 $\Omega$ の分割{ $E_1,E_2,\dots$ }( $E_i$ が互いに排反で、 $\Omega=\displaystyle\cup_{i=1}^{\infty}E_i$ )、及び任意の事象 $F$ が与えられた時、 $\rm{P}(E_i|F)$ を計算する公式が次のように与えられる。

$\rm{P}(E_i|F)=\frac{\rm{P}(E_i)\cdot \rm{P}(F|E_i)}{\displaystyle\sum_{j=1}^{\infty}\rm{P}(E_j)\cdot \rm{P}(F|E_j)}\tag{1}$

この公式をベイズの定理(ベイズの公式、ベイズの規則ともいう)という。ここで $\rm{P}(E_i)$ を事前確率、 $\rm{P}(E_i|F)$ を事後確率という。

5.ベイズの定理の証明
証明と言っても基本的には、確率と条件付き確率の定義を変形することにより導出することができる。

$\Omega$ の分割{ $E_1,E_2,\dots$ }、及び任意の事象 $F$ が与えられた時、条件付き確率の定義より、

$\rm{P}(E_i|F)=\frac{\rm{P}(E_i\cap F)}{\rm{P}(F)}\tag{2}$

事象 $F$ の $E_i$ が起きた時の条件確率は、

$\rm{P}(F|E_i)=\frac{\rm{P}(E_i\cap F)}{\rm{P}(E_i)}\tag{3}$

式(3)を変形して、

$\rm{P}(E_i\cap F)=\rm{P}(E_i)\cdot\rm{P}(F|E_i)\tag{4}$

また、{ $E_1\cap F,E_2\cap F,\dots$ }は $F$ の分割であることから、確率の定義(3)を用いることにより

$\rm{P}(F)=\displaystyle\sum_{j=1}^{\infty}\rm{P}(E_j\cap F)\tag{5}$

式(5)に式(4)を代入すると、

$\rm{P}(F)=\displaystyle\sum_{j=1}^{\infty}\rm{P}(E_j)\cdot\rm{P}(F|E_j)\tag{6}$

式(2)の分子に式(4)、式(2)の分母に式(6)を代入すると、目的の式

$\rm{P}(E_i|F)=\frac{\rm{P}(E_i)\cdot \rm{P}(F|E_i)}{\displaystyle\sum_{j=1}^{\infty}\rm{P}(E_j)\cdot \rm{P}(F|E_j)}$

が得られる。

5.ベイズの定理の利用例(壺のモデル)
２つの壺があり、壺１には赤い玉が１個、白い玉が２個入っており、壺２には赤い玉が２個、白い玉が１個入っているとする(図１参照)

f:id:camelsan:20210109223227p:plain — 図１壺のモデル

今、いずれかの壺から玉を取り出した結果、白い玉が取り出されたと仮定する。この時、壺１から取り出された事後確率と壺２から取り出された事後確率を求めることにする。

$A$ を白い玉を取り出す事象、 $H_1$ を壺１から玉を取り出す事象、 $H_2$ を壺２から玉を取り出す事象とする。上記の問題は、事後確率 $\rm{P}(H_1|A)$ と $\rm{P}(H_1|A)$ をベイズの定理を用いて求めることと定式化できる。

冒頭の記事の事後確率の求める手順に従って求める。

いずれの壺を選ぶのも等しい確率と考えると、 $\rm{P}(H_1)=\rm{P}(H_2)=\frac{1}{2}$
壺１から白い玉を取り出す確率 $\rm{P}(A|H_1)$ と壺２から白い玉を取り出す確率 $\rm{P}(A|H_1)$ は、 $\rm{P}(A|H_1)=\frac{2}{3}$ 、 $\rm{P}(A|H_2)=\frac{1}{3}$ である。
ベイズの定理を使って、事後確率を求める。