過学習を避ける方法。 推定用にはあって、評価用にはない、という N-gram ができることがあるので、 バックオフが必須。 あと、評価用のために過学習すると本末転倒なので、 交差検定のようなことをする必要があるかと。
引用をストックしました
引用するにはまずログインしてください
引用をストックできませんでした。再度お試しください
限定公開記事のため引用できません。