接続確率最小法による教師なし単語分割 (飯塚2000)

文字列 C[i-n .. i] が”単語”であるなら、(つまり C[i] が単語の終わりなら)、
C[i-n .. i-1] から C[i] を高い確率で予想できるのに対し、
C[i-n+1 .. i] から C[i+1] を低い確率でしか予想できない。
すなわち、
P( C[i] | C[i-n .. i-1] ) > P( C[i+1] | C[i-n+1 .. i] )

これを発展させて、位置 i の直後で分割が起きる<=>