「昭和・平成書き言葉コーパス」の語彙統計情報の公開

2023年に「昭和・平成書き言葉コーパス」2）が公開された[1]。このコーパスは、1933年から2013年までの80年間を8年おきに雑誌・新聞・ベストセラー書籍を収録した通時的なコーパスであり、「日本語歴史コーパス」3）と「現代日本語書き言葉均衡コーパス」[2]などの現代語コーパスの間をつなぐものである。これにより、現代日本語がどのような変化を経て成立してきたのかを計量的に探るための基礎となるデータが整備されたことになる。自然言語処理の分野では近年、通時的なコーパスを用いた研究が注目を集めている。特に、単語の通時的な意味変化を検出・分析することは、言語学・社会学だけでなく情報検索や大規模言語モデルの効率的な追加訓練に有用[3,4]であり、盛んに取り組まれている。歴史的な言語変化に関するワークショップであるLChange4）も2023年で4回目を迎え、関心の高まりを見せている。しかし、様々な言語で歴史的な言語変化に関する研究が進められている一方で、日本語では利用可能な大規模コーパスが存在しないため、日本語におけるこの分野の研究は1）https://github.com/a1da4/shc-data2）https://clrd.ninjal.ac.jp/shc/3）https://clrd.ninjal.ac.jp/chj/4）https://languagechange.org/events/十分な進展を遂げていない。そこで、本研究では、構築された「昭和・平成書き言葉コーパス」をもとに、研究利用可能なデータを公開する。上記のコーパスは権利上、生のテキストデータを配布できないため、今回は𝑛-gram頻度形式とSVMlight形式の共起情報を提供する5）。