『現代日本語書き言葉均衡コーパス』長単位への分類語彙表番号悉皆付与

本研究は、『現代日本語書き言葉均衡コーパス』（BCCWJ）[1]に対して長単位への『分類語彙表増補改訂版』[2]に基づく分類語彙表番号を悉皆付与し、語義情報とすることでコーパスの検索性を向上させることを目的とする。付与作業について、本研究ではエンコーダ型の言語モデルを用い、系列ラベリング手法に基づくall-wordsWSD技術によって自動付与を行った。本稿では、利用したデータおよび解析手法を解説するとともに、BCCWJの各レジスタに対し語義の分布の差異を検証する。また、BCCWJに対する短単位における語義分布と長単位における語義分布の差異についても検証する。解析モデルは学習データを訓練データ・検証データ・テストデータに分割し、いくつかの言語モデルを試したうちテストデータで最良の結果を出したモデルとした。語義の分布について、分類語彙表の中項目を基にして調査した。