新聞記事コーパスの特徴

segmentation nlp

新聞記事を集めたコーパスには「長く重複する部分文字列」が現れることがある。
同じ日に別の紙面で同じことがらを取り上げるとき、文章のコピー、引用が行われているようだ。

「尼崎公害訴訟」で毎日新聞1月31日を検索した例。
前後がまったく同じものがいくつかある。

/mnt/datastorage/documents/Mainichi/sgml/00/01/JA-000131271.txt:159: -31nn　尼崎公害訴訟では、自動車排ガスに含まれる
/mnt/datastorage/documents/Mainichi/sgml/00/01/JA-000131202.txt:179: -31nn　尼崎公害訴訟の神戸地裁判決は、道路公害に
/mnt/datastorage/documents/Mainichi/sgml/00/01/JA-000131264.txt:187: -31nn　尼崎公害訴訟の神戸地裁判決は、道路公害に
/mnt/datastorage/documents/Mainichi/sgml/00/01/JA-000131273.txt:68: /SECTION>n尼崎公害訴訟　「一日も早く健康改善を」　
/mnt/datastorage/documents/Mainichi/sgml/00/01/JA-000131278.txt:68: /SECTION>n尼崎公害訴訟　原告団長の松光子さん、勝訴
/mnt/datastorage/documents/Mainichi/sgml/00/01/JA-000131254.txt:68: /SECTION>n尼崎公害訴訟　国・公団が敗訴　初の差し止
/mnt/datastorage/documents/Mainichi/sgml/00/01/JA-000131276.txt:68: /SECTION>n尼崎公害訴訟　勝訴の垂れ幕に歓声 神戸
/mnt/datastorage/documents/Mainichi/sgml/00/01/JA-000131274.txt:68: /SECTION>n尼崎公害訴訟　勝利集会に３５０人 兵庫
/mnt/datastorage/documents/Mainichi/sgml/00/01/JA-000131266.txt:68: /SECTION>n尼崎公害訴訟　談話　その１　【大阪】n尼崎公害訴訟　談話　その２止　【大阪】n尼崎公害訴訟　排ガスだけの規制は限界　【
/mnt/datastorage/documents/Mainichi/sgml/00/01/JA-000131267.txt:68: /SECTION>n尼崎公害訴訟判決理由（要旨）　【大阪】n［解説］尼崎公害訴訟　「強い違法性」指弾　求めら
/mnt/datastorage/documents/Mainichi/sgml/00/01/JA-000131266.txt:220: 　　　　中尾英夫・尼崎公害訴訟弁護団長　公害被害の因果関係
/mnt/datastorage/documents/Mainichi/sgml/00/01/JA-000131264.txt:1971: 　　　　　　　　◆尼崎公害訴訟の争点◆　　　　　　　　　　
/mnt/datastorage/documents/Mainichi/sgml/00/01/JA-000131267.txt:181: ３１日言い渡された「尼崎公害訴訟」の判決理由要旨は次の通り。
/mnt/datastorage/documents/Mainichi/sgml/00/01/JA-000131231.txt:124: う建設省、環境庁----尼崎公害訴訟・原告勝訴n
/mnt/datastorage/documents/Mainichi/sgml/00/01/JA-000131202.txt:1524: が成立し、決着した。尼崎公害訴訟も関係者は今後、和解の可能性
/mnt/datastorage/documents/Mainichi/sgml/00/01/JA-000131264.txt:1516: が成立し、決着した。尼崎公害訴訟も関係者は今後、和解の可能性
/mnt/datastorage/documents/Mainichi/sgml/00/01/JA-000131186.txt:452: の差し止めを求めた「尼崎公害訴訟」の判決が３１日午前、神戸地
/mnt/datastorage/documents/Mainichi/sgml/00/01/JA-000131254.txt:387: の差し止めを求めた「尼崎公害訴訟」の判決が３１日午前、神戸地
/mnt/datastorage/documents/Mainichi/sgml/00/01/JA-000131202.txt:108: の新たな対策迫る----尼崎公害訴訟・神戸地裁判決n