2005-09-13から1日間の記事一覧
パープレキシティ: ある言語モデルのもとで、対象テキスト(単語列、文字列)が生成される確率の逆数の、 単語(文字)あたりの平均。 たとえば、w1,w2,w3,w4 という単語列に対して perplexity = ( P(w4|w1w2w3) P(w3|w1w2) P(w2|w1) P(w1) ) ^ (-1/4) n 乗…
パープレキシティ: ある言語モデルのもとで、対象テキスト(単語列、文字列)が生成される確率の逆数の、 単語(文字)あたりの平均。 たとえば、w1,w2,w3,w4 という単語列に対して perplexity = ( P(w4|w1w2w3) P(w3|w1w2) P(w2|w1) P(w1) ) ^ (-1/4) n 乗…