2005-09-02から1日間の記事一覧

Shlomo Argamon et al, Efficient Unsupervised Recursive Word Segmentation Using Minimum Description Length

単語中の形態素を発見するアルゴリズム。形態素辞書と、単語の集合で初期化する。 辞書とそれによって符号化したコーパスの記述長をもっともよく減らす 接頭辞形態素を見つけ、それを辞書に追加する。 記述長を減らす接頭辞が存在しなくなれば終了。接頭辞を…