Self-supervised Chinese Word Segmentation
汎用の教師なし単語分割では、EM アルゴリズムを使うのはけっこうメジャーらしい。
~~~~~~
ローカルには尤度最大の分割を与えることができる。
単語候補となりうる文字列を蓄えた辞書を使って、
期待値最大化。
まず辞書を収集してから、
分割を適用し、あいまいになる部分をPP最小基準で選択する。
汎用の教師なし単語分割では、EM アルゴリズムを使うのはけっこうメジャーらしい。
~~~~~~
ローカルには尤度最大の分割を与えることができる。
単語候補となりうる文字列を蓄えた辞書を使って、
期待値最大化。
まず辞書を収集してから、
分割を適用し、あいまいになる部分をPP最小基準で選択する。