# 『現代日本語書き言葉均衡コーパス』に対する 分類語彙表番号悉皆付与

浅田宗磨
東京農工大学
s231157v@st.go. tuat.ac.jp
}

古宮 嘉那子
東京農工大学
kkomiya@go. tuat.ac.jp
}

浅原正幸
国立国語研究所
masayu-a@ninjal.ac.jp

## 概要

本研究では、コーパスを語義情報で検索できるようにすることを目標とし、『現代日本語書き言葉均衡コーパス』 (BCCWJ) に対して『分類語彙表』の語義情報を悉皆付与した。BCCWJ-WLSPを訓練デー タとした all-words WSD モデルを構築し、BCCWJ 1 億語規模の分類語彙表番号付きデータを構築した。訓練に用いなかった 10 レジスタについて、500 語に対して人手による性能評価を行い、データの有用性を検証した。さらに、構築した語義付き語彙表について解説する。

## 1 はじめに

『現代日本語書き言葉均衡コーパス』(BCCWJ)[1] は検索系「中納言」により、文字列、正規表現や形態論情報に基づく検索を行うことができる。品詞連接や活用形に基づく表現の問い合わせが可能であるが、語義情報に基づく問い合わせは行えない。本研究では、多様なレジスタからなる 1 億語規模の BCCWJ を語義情報で検索できるようにすることを目標とし、all-words WSD 技術を用いて BCCWJ 全体に語義タグとして『分類語彙表』[2] の分類番号を付与した。本稿では、 1 億語規模の語義情報付与作業について、利用したデータと解析手法を解説する。解析モデルは学習データを訓練データ・検証デー タ・テストデータに基づいて最良のものを用いたが、訓練データにないレジスタのデータについてさらに 500 語ずつ人手で語義情報を確認し、解析結果の性能を検証した。言語研究に資するために同デー タに基づき語義タグつき頻度表を構成した。語義タグに基づくレジスタ差を検証するとともに、新聞記事レジスタについては記事分類についての語彙分布の差についても検証した。

## 2 作業の内容

## 2.1 利用したデータ

『分類語彙表』[2]は区切り記号を含めて 101,170 エントリからなる語義情報付き辞書である。語義情報は分類番号と呼ばれる5 ケタの数字で表現される。例えば、分類番号 1.1920 は、「体-関係-量-程度・限度」を表す。この分類番号を語義タグとして用いる。分類番号のうち、ピリオドの左の数字は類と呼び、「1. 体」・「2. 用」・「3. 相」・「4. 他」の 4 つに分類される。またピリオドの右 1 ケタの数字は部門と呼び「. 1 関係」・「. 2 主体」・「. 3 活動」・「. 4 生産物」・ $「 .5$ 自然」の 5 つに分類される。

『現代日本語書き言葉均衡コーパス』(BCCWJ)[1] は短単位で 1.2 億語規模からなる日本語コーパスである。コーパスは生産実態サンプルに相当する書籍 $(\mathrm{PB})$ ・雑誌 $(\mathrm{PM})$ ・新聞 $(\mathrm{PN})$ 、流通実態サンプルに相当する書籍 (LB)、特定目的サンプルに相当する白書 $(\mathrm{OW})$ ・教科書 $(\mathrm{OT})$ ・広報紙 $(\mathrm{OP})$ ・ベストセラー $(\mathrm{OB}) \cdot Y$ Yahoo! 知恵袋 $(\mathrm{OC}) \cdot Y a h o o !$ ブログ $(\mathrm{OY}) \cdot$ 韻文 $(\mathrm{OV}) \cdot$ 法律 $(\mathrm{OL})$ ・国会会議録 $(\mathrm{OM})$ の 13 レジスタからなる。このうち $\mathrm{PB}, \mathrm{PM}, \mathrm{PN}, \mathrm{OW}, \mathrm{OC}, \mathrm{OY}$ の一部約 120 万語はコアと呼ばれ、人手による形態論情報が付与されている。

BCCWJ-WLSP[3, 4] はコアデータのうち PB, PM, PN の約半分のサンプルについて、人手で『分類語彙表』の語義情報を付与したものである。 BCCWJ-WLSP の統計情報を表 1 に示す。今回、 BCCWJ-WLSP を学習用データとして用いるにあたり、各入力文の先頭にその文の出典情報を示す title_idを付与する。title_id はコーパス中の $「$ pSampleID」からレジスタ情報を含む先頭 4 文字を用いて、それをひとつのラベルとした。具体的には
「PN3g_00001」となっているところを「PN3g」のようにした。

UniDic2WLSP[5] は BCCWJ に付与された形態論情報 (UniDic 品詞体系) の語彙素番号に対して、可能な『分類語彙表』の語義情報を枚挙したデータである。本研究で、対象単語の候補となるラベルの展開に用いた。

## 2.2 解析手法

本研究では系列ラベリング手法で all-words WSD を行った。ただし、固有表現抽出や品詞タグ付けなどの一般的な系列ラベリングタスクとは異なり、 all-words WSD では対象とする単語によって候補となるラベルの種類や数が異なる。そのため、単語ごとの候補となる語義をまとめた集合を予め作成し、 システムが参照できるようにした。たとえば、「召す」という単語に「召す」が取りうる語義以外の語義を推論に入れる必要はない。そこで、「召す」が取りうる語義を予め収集して語義候補を立てることで、効率的な推論が可能になる。また、文の出典レジスタを示す IDを入力トークンの先頭に加えた。各単語の語義候補の中で最も高い出力値のものを正解とみなして学習およびタグ付けを行った。

BCCWJ を対象にした all-words WSD の先行研究に Suzuki et al.[6] の研究がある。この研究では、文中での単語の語義は文脈によって決定するという考えの下、対象単語の周辺単語の分散表現と、類義語の周辺単語の分散表現を比較し、ユークリッド距離を計算することで対象単語の語義を決定し、その有効性を示した。本研究では大規模言語モデルである BERT[7]を用いて all-words WSDを行った。BERTを用いた all-words WSD の研究に Asada et al.[8] の研究がある。この研究は『日本語歴史コーパス』[9]を対象とし、BERT が all-words WSD に有効であることを示した。更に、入力文の先頭に出典作品を示す id を付与することでシステムの正解率が向上することを示した。本研究では先行研究 [8] に倣い、システムへの入力は文単位で行った。コーパス中で句点 $\left.\left(\Gamma_{0}\right.\rfloor\right)$ あるいは文境界で区切られる一文を入力する。学習時には 510 トークンを超える文については最初の 510 トー クンのみを入力とする。語義タグ付与時には超過した分のトークンは別の文として入力する。入力文をつくる各トークンは出現書字形をトークナイズしたものである。トークンを BERT encoderにより id 化するとき、BCCWJでは一単語として扱われている語が複数の単語に分割される場合がある。たとえば 「盛り上がる」という語が BERT encoder により「盛り/上がる」のように分割される。この場合、先頭のトークンのみを入力とする。

本研究では BERT の日本語モデル1)を WSD タスクに向けて fine-tuning した。BCCWJ-WLSPを finetuning 用の学習コーパスとして用いた。学習コーパスのうちから句点（「。」）あるいは文境界で区切られるトークン列を入力文とし、文のコーパスでの出現順序を無作為にシャッフルして五分割したものをデータセットとして扱った。そのうちの $3 / 5$ を訓練データ、 $1 / 5$ を検証データ、 $1 / 5$ をテストデータとした。学習時は、入力データ列とそれに対応した語義候補集合の列および正解語義列を用いて、入力デー タ列中の各トークンの予測語義と正解語義を比較して学習を進めた。なお、title_id トークンは「語義無し」の単義語として扱った。学習率、最大エポック数を変えてモデルを作成し、それぞれの学習結果の中から最良の正解率 (正解率 A) をテストデータで示したモデルを実際の語義タグ付与に用いた。正解率 A は以下の式で計算される。タグ付け自体は単義語にも行ったが、正解率 Aを算出するときには単義語は含めなかった。

$
\text { 正解率 } \mathrm{A}=\frac{\text { 対象単語正解数 (多義語のみ) }}{\text { 対象単語出現数 (多義語のみ) }}
$

学習時には損失関数にクロスエントロピー誤差を、最適化関数に Adamを用いた。最良モデルのテストデータでの正解率は、 $88.05 \%$ であった。語義タグ付与時には、作成したモデルを読み込み、BCCWJに出現する全単語に語義タグを付与した。

## 3 評価

BCCWJ に全体に付与した語義タグの性能を評価するために、学習に用いなかった 10 レジスタにつ

1) https://huggingface.co/cl-tohoku/ bert-base-japanese-v2

いて語義タグの正誤を検証した。助詞・助動詞などの語義タグが付与されていない単語も含めて 500 語ずつ人手により語義タグの確認作業を行った。表 2 に以下に示す 2 種類の正解率を示す。

$
\begin{aligned}
& \text { 正解率 } \mathrm{B}=\frac{\text { 対象単語正解数 (単義語も含む) }}{\text { 対象単語出現数 (単義語も含む) }} \\
& \text { 正解率 } \mathrm{C}=\frac{\text { 全単語正解数 (タグなしも含む) }}{\text { 全単語 }}
\end{aligned}
$

正解率 B は語義付与対象である主に自立語のみを分母とした評価である。正解率 C は語義付与対象外である付属語・句読点も含めた全単語 500 語を分母とし、語義付与対象外の単語に対して語義を付与しないことについても正解とした評価である。

表 2 人手による評価結果 (各レジスタ 500 語)

なお、OV (韻文) については、14 件 $(2.8 \%)$ が形態素解析誤りに基づく語義タグ誤りであった。

データを確認したところ、異なり201,797 語中 172,819 語が語義タグ 1.1960 「体-関係-量-数記号 (一二三)」が付与されていることが分かった。これは学習データにおける未知語に対して、多様な単語に連接する数詞相当の 1.1960 が付与されたからだと考える。延べ語数にすると $124,100,965$ 語中の 10,250,986 語に相当するが、このうちの $3,789,581$ 語が品詞「名詞-数詞」に相当し、残りの 6,461,405 語 $(5.2 \%)$ が未知語に由来する誤りだと考える。また、未知語全体のうち、語義タグ 1.1960 が付与されていたものは 27,177,289 語中の 7,238,358 語 (26.6\%) に相当した。未知語かつ語義タグ 1.1960 が付与された単語のうち、頻出の単語の多くは全角の算用数字やダッシュ (一)のような記号である傾向が見られた。 しかし、一部のレジスタでは他の単語が頻出であっ
た。たとえば OL(法律)では「当該」「前項」といった単語が、OM(議事録)では「ただいま」といった単語が頻出であった。

語義情報の悉皆付与に際して、学習データにおける未知語の WSD が今後の課題である。この解決のために、たとえば単語の品詞情報を明示的に利用した WSD システムにすることで、明らかなタグ付与の誤りを減らせると考えられる。

## 4 語義タグつき語彙表の構築

今回悉皆付与した語義タグつき BCCWJ に基づき、語義タグつき語彙表を構築した。前節に示した 1.1960 の語義タグについては、品詞が「名詞-数詞」 ではない単語について解析困難語として x.xxxx の語義タグに修正を行った。

メタデータに基づいて以下の 3 種類の語義タグつき語彙表を構築した。
- BCCWJ 全体の語彙表

・BCCWJレジスタ毎の語彙表

・BCCWJ PN (新聞) メタデータつきの語彙表

表 $3 \mathrm{BCCWJ}$ 全体の語義タグの分布（粗頻度）

表 3 に BCCWJ 全体の語義タグの分布を示す。類が体・相の語については、部門「. 1 関係」が最も多く占めていた。類が用の語については、部門「. 3 活動」の割合が多かった。

表 4 に BCCWJレジスタ毎の上位頻度の語義夕グを調整頻度 (pmw: per million word) とともに示す。 $\ulcorner 1.1960$ 体-関係-量-数記号 (二二三)」「2.1200 用-関係-存在-存在」、2.3430 用-活動-行動-行動・活動」が頻度上位を占める傾向にあるが、レジスタによってその程度が異なることがわかる。さらに OL (法律)

 & 54330 \\

に「3.1101 相-関係-類-等級・系列」が多く、OV (韻文)に「1.2010体-主体-人間-われ・なれ・かれ」が多
いなど、特徴的な傾向が確認された。

BCCWJ の PN (新聞) サンプルについては、新聞記事の境界情報とともに記事単位に分類情報が付与されている [10]。新聞記事の大分類情報ごとに語義夕グの類と部門の粗頻度を係数したものを付録の表 5 に示す。この分割表に基づき、カイ二乗分析を行い、得られた標準化残差を付録の表 6 に示す。

新聞記事の語彙分布の差異は名詞 $(\ulcorner 1$. 体」) に顕著にみられる。「1.1 体-関係」は経済・スポーツに多く、総類・文化に少ない。「1.2 体-主体」は政治・国際に多く、科学・社会に少ない。「1.3 体-活動」は政治・経済・国際に多く、科学・社会・スポーツに少ない。「1.4 体-生物」は経済・社会に多く、政治・スポーツに少ない。「1.5 体-自然」は科学・社会に多く、政治・スポーツに少ない。この体の部門の分布は、必ずしも用の部門の分布の傾向と相関しているわけではなく、例えば科学は「1.1 体-関係」が少ないが、「2.1 用-関係」が多い傾向がみられた。

## 5 おわりに

本研究では、BCCWJを語義で検索できるようにすることを目標として、all-words WSD 技術を用いて『分類語彙表』の語義情報を付与した。言語研究において、BCCWJ のような大規模な言語データを語義に基づいて分析することで、言語の用法、意味を計量的に分析できるようになる。

本研究の有効性を検証するために語義情報つきの語彙表を構成し、レジスタごと・新聞記事分類ごとの分布の傾向を確認した。メタデータと結合することにより、語義の出現傾向の偏りを確認できた。また、学習データにおける未知語に対する語義情報付与が課題であることがわかった。

今後、検索系「中納言」への BCCWJ 語義検索機能の実装を進めるとともに、他のコーパスに対する語義情報付与を進める。

## 謝辞

本研究は JSPS 科研費 JP22K12145, 18K00634 及び国立国語研究所共同研究プロジェクト「アノテー ションデータを用いた実証的計算心理言語学」の助成を受けたものです。

## 参考文献

[1] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso, Takehiko Maruyama, Hideki Ogura, Wakako Kashino, Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, and Yasuharu Den. Balanced Corpus of Contemporary Written Japanese. Language Resources and Evaluation, Vol. 48, pp. 345-371, 2014.

[2] 国立国語研究所 (編). 分類語彙表増補改訂版. 大日本図書, 2004.

[3] Sachi Kato, Masayuki Asahara, and Makoto Yamazaki. Annotation of 'word list by semantic principles' labels for balanced corpus of contemporary written japanese. In Proceedings of the 32nd Pacific Asia Conference on Language, Information, and Computation (PACLIC 32), 2018.

[4] 加藤祥, 浅原正幸, 山崎誠. 分類語彙表番号を付与した『現代日本語書き言葉均衡コーパス』の書籍・新聞・雑誌データ. 日本語の研究, Vol. 15, No. 2, pp. 134-141, 2019.

[5]近藤明日子, 田中牧郎. 「分類語彙表番号-UniDic 語彙素番号対応表」の構築. 国立国語研究所論集, No. 18, pp. 77-91, 2020.

[6] Rui Suzuki, Kanako Komiya, Masayuki Asahara, Minoru Sasaki, and Hiroyuki Shinnou. All-words word sense disambiguation using concept embeddings. In Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018), 2018.

[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In Jill Burstein, Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACLHLT 2019, Minneapolis, MN, USA, June 2-7, 2019, Volume 1 (Long and Short Papers), pp. 4171-4186. Association for Computational Linguistics, 2019.

[8] Soma Asada, Kanako Komiya, and Masayuki Asahara. All-words word sense disambiguation for historical japanese. In The 37th Pacific Asia Conference on Language, Information and Computation (PACLIC 37), 12 2023.

[9] 国立国語研究所.『日本語歴史コーパス』,2023.(バー ジョン 2023.3) https://clrd.ninjal.ac.jp/chj/.

[10] 加藤祥, 浅原正幸. 『現代日本語書き言葉均衡コー パス』新聞サブコーパスの記事情報. 日本語の研究, Vol. 19, No. 2, pp. 206-214, 2023.

## A 付録

表 5 BCCWJ PN (新聞) メタデータ付きの語彙表の語義タグの分布（粗頻度）

表 6 BCCWJ PN (新聞) メタデータ付き語彙表の語義タグの分布に基づく標準化残差