2007-05-01から1日間の記事一覧

言語モデルの評価について

lm

パープレキシティは簡単な比較をするためには便利だけれど、 特徴を分析して改良のヒントを探すためには粗すぎる。というわけでもっと細かい評価の方法:1. テストコーパスを文程度のレベルで区切って、 長さ正規化された確率降順でセグメントをランキング2.…

もっとも近い点を探す

離散値(あるいは有限精度の実数値)の高次元空間を考える。 サイト集合と問い合わせ点が与えられたとき、 問い合わせ点にもっともちかく、サイトのひとつである点を出力せよ。近さはユークリッド距離で定義する。 ただし、他の距離で高速な手法があればその…