Reinhard Kneser and Hermann Ney, Improved Clustering Techniques for Class-based Statistical Language Modelling

Leaving-one-out Perplexity の閉じた式の導出を含む。
ここでは、クラスベース言語モデルのための単語クラスタリングをやるのが目的。
あるクラスタリングがどれくらいよいかを評価するために、クラスベース言語モデルでの Leaving-one-out Perplexity を使っている。
その方法は、クラス＝単語と考えれば、ほとんどそのまま、非クラスベース言語モデルでも使える。
１つだけ注意が必要なのは、単語のみに依存する項を（クラスタリングの評価には無関係なので）途中で消してしまっているところ。
それを消さずに、単語wのクラスをあたえる関数 G を G(w)=w とすれば、[2006-01-06-1]の Leaving-one-out Perplexity の式になる。