唯物是真 @Scaled_Wurm

プログラミング(主にPython2.7)とか機械学習とか

KLダイバージェンス の検索結果:

2013年にはてブされたこのブログの記事

… みんな大好き(?)KLダイバージェンスとかを使ってTwitterの投稿時間分布の差を調べています 論文紹介 “Representing Topics Using Images” (NAACL 2013) - 唯物是真 @Scaled_Wurm トピックモデルで推定したトピックに適切な画像を選ぶ話 論文紹介がブクマされるのは珍しいのでびっくり 画像がたくさん出てくるからわかりやすかったのかな(?)あんまり画像の分野には詳しくなかったので、bag of visual words…

Twitterの投稿時間で類似度を計算してみた - 確率分布の類似度

…特によく使われているKLダイバージェンスと、その仲間であるJSダイバージェンスを紹介します 以下の数式では対数の底を2としていますが、自然対数などの他の底を使っても単位や値域が変わるだけでだいたい一緒です KLダイバージェンス(Kullback–Leibler divergence) カルバック・ライブラー情報量 - Wikipedia KLダイバージェンスは情報理論に基づいた確率分布の違いの大きさを表す尺度で、エントロピー(情報量)と関係があります 他にも情報利得(Info…

正規分布間のKLダイバージェンスの導出

…(多次元)正規分布のKLダイバージェンスの求め方 - EchizenBlog-Zwei 上の記事を読んで勉強になったのですが、数式がテキストで読みづらかったのと、多変量でない1次元の正規分布の導出の段階でよくわからなかったので調べて記事にまとめました 注意 数式はMathJax(JavaScriptのライブラリ)を使って表示しています SVGが描画できないと表示されないので、最近のブラウザで閲覧してください KLダイバージェンス(Kullback–Leibler diverg…

論文感想: "Automatically Constructing a Normalisation Dictionary for Microblogs"(EMNLP-CoNLL 2012)

…。 類似度の測り方 KLダイバージェンス JSダイバージェンス ユークリッド距離 cos距離 評価 Amazon Mechanical Turkで作った正解データと一致したら、その頻度分スコアが増加。(Cumulative Gain) 窓幅3, bigram、ポジションインデックスあり、All、KLダイバージェンスのとき最も良い結果。 リランキング 頻度とか編集距離とかstring subsequenceカーネルとか。 string subsequenceカーネルと、音声的な…