唯物是真 @Scaled_Wurm

プログラミング(主にPython2.7)とか機械学習とか

ベイズ的ってなに?

パターン認識機械学習(PRML)」を読むとまず「ベイズ的ってなに?」ていうのでつまづきます.
事前分布を考えてベイズの定理を使えばいいのかと思えば,「もっとベイズ的にすると云々」という文章が登場.
ベイズ的」ってのは,「すごくベイズ的」だったり,「少しだけベイズ的」だったり度合いのある概念なのかとよくわからなくなります.


個人的な理解を下に書いときます.
以下の3つの違いを把握すればよい.下に行くほどベイズ的.

最尤推定
もっとも尤度の高くなるようなパラメータの推定.
MAP推定
最尤推定と違って事前分布を考慮して,事後確率を最大化するパラメータを求める.
ベイズ推定
MAP推定は事後確率が最大となるパラメータの点しか推定していなかったが,ベイズ推定は点ではなくパラメータの分布を推定する.


いつの間にか丸善出版に版元が変わっていますね.

パターン認識と機械学習 上

パターン認識と機械学習 上

パターン認識と機械学習 下 (ベイズ理論による統計的予測)

パターン認識と機械学習 下 (ベイズ理論による統計的予測)

参考

翻訳者のしましま先生の以下のようなコメントがあります.
「MAPだとどこでも誤差分布は一定ベイズ推定は分布も分かるので,データのないところは分布がひろがって予測にぶれがあり,データがあるところは分布が絞られて予測が確かだってことが分かるメリットもあります」