唯物是真 @Scaled_Wurm

プログラミング(主にPython2.7)とか機械学習とか

幾何分布の期待値の導出

TLで以下のツイートと続く議論を見かけたのでメモ。

幾何分布

こういう◯◯が連続して\(k\)回まで成功する確率をあらわしている分布として幾何分布というものがある

f:id:sucrose:20140118203404p:plain
図は英語版のWikipedia(Author: Skbkekas)より
$$P(X=k)=p(1-p)^k$$
ベルヌーイ試行(いわゆるコイン投げなどの確率\(p\)で成功して、\(1-p\)で失敗するもの)をしたとき、初めて成功するまでに連続で\(k\)回失敗したときの確率の分布をあらわす(定義式によっては初めて成功した時までに投げた回数の確率の分布

冒頭で紹介したツイートの定義とは成功と失敗が逆になっているのに注意

期待値

期待値はいわゆる平均のこと

定義は確率変数\(X\)が取りうる値とその確率の積の総和
$$E[X]=\sum_k kP(k)$$
以下期待値は\(E\)と省略して書く

幾何分布の期待値は次のようになっている
$$E = \frac{1-p}{p}$$
この式は失敗確率を\(p\)としたときの初めて成功するまでに失敗した回数の期待値である
成功するまでの回数の期待値は、成功の分の\(1\)を足すだけでよく、\(E = \frac{1-p}{p} + 1= \frac{1}{p}\)

初めて成功するまでに失敗した回数の期待値を使うと以下のツイートの問題の期待値は\(E = \frac{0.999^{30}}{1 - 0.999^{30}}\approx 32.8\)となる(ツイートとは成功と失敗の定義が逆

期待値の導出

3つの方法を書いておく

級数の差を取る方法

大雑把な説明

期待値の定義より

$$E = \sum_{k=1}^\infty k p(1 - p)^k=p \sum_{k=1}^\infty k (1-p)^k$$
\(E\)に\((1-p)\)をかけたものを\(E\)から引くと、項内の係数部分の\(k\)が消せるので
$$E - (1 - p)E= pE =p \sum_{k=1}^\infty (1-p)^k$$
等比級数の総和の公式より
$$\sum_{k=1}^\infty (1-p)^k = \frac{1-p}{p}$$
よって
$$E = \frac{1-p}{p}$$

微分による式変形を使う方法

以下のページの幾何分布の平均を求めるところに書いてある方法

Wikipediaの等比級数のページにも書いてある次の公式\(\sum_{k=1}^\infty k r^k=\frac{r}{(1-r)^2}\)を使うと考えるとわかりやすい

上の公式を使うと
$$E = \sum_{k=1}^\infty k p (1-p)^k=p \sum_{k=1}^\infty k (1-p)^k=p\frac{1 - p}{p^2}=\frac{1 - p}{p}$$

以下に公式の導出を書いておく
微分を使うと級数を次のように表すことができる
$$\sum_{k=1}^\infty k r^k=r \sum_{k=1}^\infty \frac{d}{dr}r^k$$
一様収束な級数微分と項の微分は総和との順序を交換できるので
$$\sum_{k=1}^\infty \frac{d}{dr}r^k = \frac{d}{dr}\sum_{k=1}^\infty r^k$$
項内の係数部分の\(k\)が消せたので、等比級数の総和の公式を使うと
$$\frac{d}{dr}\sum_{k=1}^\infty r^k = \frac{d}{dr}\frac{r}{1-r}=\frac{1}{(1-r)^2}$$
まとめると以下の級数に対する公式が得られる
$$\sum_{k=1}^\infty k r^k=r \sum_{k=1}^\infty \frac{d}{dr}r^k=\frac{r}{(1-r)^2}$$

期待値の方程式を立てて解く

この方法はもっと複雑な式の期待値を求めるのにも使えて便利
下の式は簡単だけど何を意味しているかわかりづらいので、↓の詳しい記事を読んだほうがいいかも

幾何分布では、1回めの試行が成功か失敗のどちらであったとしても、2回目以降の確率に変化はない(無記憶性)
なので、期待値\(E\)についても変化はなく、仮に1回失敗した時の期待値を考えると、失敗した1回分と期待値\(E\)を足せばよい
条件付きの期待値とその条件の確率をすべての条件について足し合わせると、条件なしの期待値と等しくなる
つまり、ある確率\(1 - p\)で失敗した時の条件付きの期待値は\(1 + E\)なので、条件なしの期待値\(E\)は以下のような式で表すことができる(成功した時の期待値は0なので考えなくてよい
$$E=(1 - p)(1+E)$$
\(E=\)の形に直すと
$$E=\frac{1 - p}{p}$$