2005-12-03 符号化のときの確率推定にも汎化を考慮する segmentation 2-gram エントロピー最小化の方法は、1-gram よりも少ない連結しかしない。 2-gram 確率を使うため、スパースネスが大きいのが原因だと思う。 データを増やすか、確率推定にスムージングを施す必要がある。