現在の実装↓ データ： { 本体文字列の連結リスト 単語1〜4gramの出現頻度を保持するハッシュ }for(;;) { 1) 連結した場合の記述長変化分が最小の候補を求める： { foreach [ 連結候補 1.1) 連結した場合の記述長変化分の計算： { 連結候補 AB の連結される出…

表題：言語モデル性能の改善を目指した最小記述長原理にもとづく単語分割 概要： 自然言語処理において、統計的言語モデルは音声認識、機械翻訳など幅広い応用に用いられている基礎的手法のひとつである。統計的言語モデルは、文を単語列として見たとき、あ…