日本語形態素解析器のイメージ

前にこんなツイートをしたけどもうちょっとちゃんとメモっておく
ゆるふわカジュアル勢()なので内容に間違ってる点があったら教えてくださると嬉しいです

勝手なイメージだと、MeCab →一番使われてる。速い。辞書を弄くるのが簡単。いろいろ移植されてる。Juman→出力が詳しい。代表表記に正規化できる。KNPを使うときはこれ。KyTea→新しくていろいろ更新されてる。読みの推定ができる。部分的タグ付けによるドメイン適応ができる。
— 無限猿(id:sucrose)@12月病 (@Scaled_Wurm) October 22, 2014

大雑把に言うと形態素解析では文章を単語+品詞の列に分解する
いわゆる学校でならった文法とは違う文法を使っているので注意が必要
ただし形態素解析器によって品詞体系や辞書に載っている単語が異なる

形態素解析器では単語や品詞の列にコストが計算できるようになっていて、そのコストが最小になる形態素の分け方を計算して出力する

MeCab

MeCab: Yet Another Part-of-Speech and Morphological Analyzer

一番よく使われている形態素解析器で情報が多い
高速
Javaなどの他の言語による実装が多くあるためいろいろな環境で使いやすい
- 数年前に調べた記事→MeCabのバリエーションいろいろ - 唯物是真 @Scaled_Wurm
多くの辞書が公開されている
- IPADic, NAIST jdic, UniDic
- 最近の単語にはあまり強くない感じ
- 辞書に単語を追加しやすくWikipediaの単語などを追加するのもそこそこ簡単
CRFによる機械学習でコストを学習している
訓練データを用意すれば追加で学習できる