日本語歴史コーパスの All-words WSD
浅田宗磨
東京農工大学工学部
s197006x@st.go.tuat.ac.jp

概要
本研究では，日本語歴史コーパスの語義曖昧性解

古宮嘉那子
東京農工大学大学院工学研究院
kkomiya@go.tuat.ac.jpて語義の識別精度が低いことが課題であった．しかし，2022 年の前半に CHJ の語義タグのタグ付け作業が終了したため，現在では多くのデータが手に入消を行った．日本語歴史コーパスの語義曖昧性解消るようになった．の研究には，頻出語のみを対象とする lexical sampletask を一つの単語ごとにモデルを作成する手法で日本語歴史コーパスを対象とした WSD の先行研究としては，lexical sample task として解いた [1] が解いた [1] があるが，本研究では系列ラベリングのあるが，本研究では同じデータに対して all-words

手法で全単語について一つのモデルを学習させ，WSD を行う．このことにより，コーパス中にあらall-words の語義曖昧性解消を行った．また，単語にわれる頻度の低い多義語についての語義を推定する

割り当てられた分類語彙表による語義の概念の粒度ことが可能になる．また，本研究では，語義としてを変更して 2 通りの実験を行った．実験の結果，ど利用されている，分類語彙表の概念の粒度を変更しちらの実験でも提案する手法が最頻出語義のベースて実験を 2 通り行った．

ラインを有意に上回った．

1

はじめに

2

関連研究
all-words WSD の先行研究には，鈴木ら [3] の研究

語義曖昧性解消（Word Sense Disambiguation，WSD）がある．この研究では対象単語の周辺単語の分散表とは，文中の多義語がどのような語義か判断する処現を作成し，類義語の周辺単語の分散表現とのユー理である．多義語とは，複数の語義を有している単クリッド距離を計算することで対象単語の語義を語のことで，たとえば「夢」という単語には「睡眠時にみられる現実に似た一連の観念や心像」という予測し，その手法の有効性を示した．ただし，対象文書は古文ではなく，現代日本語書き言葉均衡コー語義や「実現させたいと思っているがまだ空想の域パス [4] である．また，同様に BCCWJ を対象にしを出ない事柄」という語義がある．

た all-words WSD の先行手法には，Shinnou ら [5] が多義語の語義は，文脈によって判断される．機械ある．京都大学のテキスト解析ツール KyTea1）を用学習においては，文脈情報として対象単語の周囲のいて all-words WSD を行っている．また，all-words

単語の品詞や，単語同士の共起関係などを特徴とし

WSD の手法で同形異音語の読み推定を行った研究て語義を推定する．WSD は，文中の単語の語義をに，小林ら [6] の研究がある．この研究では，単語の示すため，初学者に向けた文章読解や単語学習に役「読み」を「語義」とみなして，BERT の ﬁne-tuning立てられる．

を用いて読み推定を行った，

WSD には，コーパス中に頻出する単語だけを対BERT[7] を用いた英語の all-words WSD に，Jiaju

象にする lexical sample task と，コーパス中の全単語

ら [8] の研究がある．彼らは，BERT を encoder としを対象にする all-words WSD がある．一般に，lexicalて利用し，得られた素性が all-words WSD に有効でsample task では単語ごとに分類モデルを学習する方法をとるのに対して，all-words WSD では系列ラベあると示した．

リングの手法で全単語についてひとつのモデルを学

WSD に古文と現代日本語文の通時的な領域適応を行った論文として，Komiya ら [9] の研究がある．

習させることが多い．古文の WSD を行うにあたり，この研究では，古文の WSD のための素性として日本語歴史コーパス（CHJ）[2] においては語義タ様々な種類を比較し，古文によって作成された分散グ付きデータが少量であったため，現代文と比較し

1） http://www.phontron.com/kytea/index-ja.html

表現に現代文による ﬁne-tuning を行った素性が古文る 1 文を入力とする．虎明本狂言は台本形式のたの WSD に有効であると示した．また，日本語歴史

め，句点が文中に出現しない．そのため，鍵括弧

コーパスの頻出単語の WSD として，Komiya ら [1]（「，『』），文境界で B（区切り）が割り当てられたの研究がある．彼らは訓練事例の不足を，現代文読点（、）を，句点に置換した上で文末として 1 文を大量に利用して学習した BERT を利用することを区切る．入力文中の各単語の素性として，日本語で補い，これを新たにタグ付けされた古文の WSD

歴史コーパスの出現書字形，語彙素，分類語彙表番

用のデータで ﬁne-tuning することで，高い性能を得号を用いる．入力文は時代や作品によらずランダムられることを示した．先行研究は lexical sample taskな順序で学習を行った．日本語歴史コーパスの単であるが，本研究では同じデータを用いて all-words

語区切りは Unidic[10] の区切りとなっているため，WSD を行った．

BERT には Unidic の区切りで encode する東北大学の提案手法

3

bert-base-japanese-v2 を利用した．しかし，BERT の語彙は限られているため，BERT encoder により文を本研究では，先行研究 [1] にならい，対象コーパ分割すると，日本語歴史コーパスの単語が複数に分スは古文であるが，現代文の BERT を事前学習モデルとして利用し，これを古文の語義タグつきデータ割されることがある．例えば，「痛み入る」は日本
語歴史コーパス中では１つの単語として扱われていで ﬁne-tuning することで WSD を行った．また，本るが BERT encoder によって「痛み／入る」のように研究では，all-words WSD を，入力文中の WSD の対分割される．こうした場合には，最初のトークンを象単語すべてに語義タグを付与する，系列ラベリンWSD の対象単語として利用した．

グのタスクとしてとらえ，実装を行った．ただし，また，学習時には最適化関数に Adam を，損失関固有表現抽出などの一般的な系列ラベリングタスク数にクロスエントロピー誤差を用いた．ハイパーパと違って，all-words WSD では単語ごとに候補となラメータは表 1 に示す値のグリッドサーチを行い，る語義ラベルの集合が異なる．例えば，「犬」とい開発データにおいて最も正解率の高い値を採用しう単語に「犬」以外の単語の語義ラベルを付与するた．訓練データ: 検証データ：テストデータは 3:1:1のは望ましくない．そのため，WSD の対象単語ごとして五分割交差検定を行った．とに候補となる語義ラベル集合を参照し，その候補

表1

ハイパーパラメータの調整の語義ラベル集合の中で最も softmax 関数の出力が分類語彙表番号高いものを正解とみなして学習及び推論を行った．

5桁5,10,15 3e-5,1e-5,3e-6

3桁

10,15

実験

4

本研究では，東北大学が公開した日本語の訓練済
み現代文 BERT モデル2）を利用する．本研究で用いる BERT モデルは，BERT-base と同等のアーキテクチャで，2020 年 8 月 31 時点の日本語 Wikipedia から作成された約 3,000 万文のコーパスを用いた事前学習が行われたものである．本研究ではこの現代文
BERT を ﬁne-tuning する．
実験は，分類語彙表番号が最も詳細な 5 桁の番号と，上 3 桁のみ残し他は切り捨てたものの 2 種類を行う．

4.1

実験設定

システムへの入力は文とした．この際，日本語
歴史コーパス中の句点（。）を文末として区切られ
2） https://huggingface.co/cl-tohoku/
bert-base-japanese-v2

4.2

epochlr
3e-5,1e-5,3e-6

評価手法

コーパス中の全多義語について，以下の式を用いて正解率を求めた．
正解率 =正解単語数
全多義語数

(1)

なお，ある単語がコーパス中で複数の語義を有しているとしても，それらがすべて訓練データにもテストデータにも登場するとは限らない．日本語歴史
コーパス中で 2 回しか登場しない多義語はコーパス中の多義語の 1 割程度を占める．
本 実 験 で は，最 頻 出 語 義（Most Frequent Sense,MFS）をベースラインに設定した．MFS は以下の式で求められる．
対象単語の MFS =最頻出語義出現数
全出現回数

(2)

5

表 3 WSD の実験結果

コーパス
本研究では，竹取物語，土佐日記，今昔物語集，分類語彙表番号

実験手法

5桁

MFS

81.61

提案手法

84.52

MFS

84.10

提案手法

87.11

方丈記，宇治拾遺物語，十訓抄，徒然草，虎明本狂言，太陽，尋常小学読本（1904,1910）の計 10 作品

3桁の日本語歴史コーパスを用いる．コーパスの統計情

正解率 (%)

報を表 2 に示す．表 2 から，分類語彙表番号の桁を5 桁から 3 桁にすることで，曖昧性が減少し，対象語義種類数が大幅に減少していることが分かる．また，WSD の対象単語出現数と，対象単語種類数もともに減少している．結果として，対象単語平均語義数は 2.91 と 2.73 であり，対象語義種類数と比較すると，小さな差となっている．

ない際には MFS を超すのは難しいとされる（[1]，[9]）．また，今回の研究と同じコーパス中に 1,000 回以上出現する 33 単語を対象語とした lexical sample
task の 5 桁の分類語彙番号を使用した際の正解率 [1]はマクロ平均で 84.68%，MFS が 78.29%であった．
比較すると，本研究で利用した全単語のデータの方

表 2 日本語歴史コーパスの統計情報

が 3.32 ポイント MFS が高いため，コーパス中に出5桁3桁てくる頻度の小さい単語のほうが MFS が高いこと

総単語出現数

647,751

647,751が分かる．しかし，一般に機械学習においては学習

対象単語出現数

329,109324,952

対象単語種類数

3,878

3,672

データが少ない場合，正解率が低い傾向にある．そのため，MFS を 2.91 ポイント及び 3.01 ポイント上

対象語義種類数

1,747

304

回った今回の結果は十分良い結果だと考えている．

対象単語平均語義数

2.91

2.73
表4

出現頻度の小さい場合の正解率 (%)

出現回数

5桁

MFS

3桁

MFS

理したシソーラス（類義語集）である．分類語彙表

251.91

50.00

53.43

50.00

は似た概念を持つ単語や，概念の包含関係などの情

3

51.13

63.35

55.43

63.98

報が扱いやすい形態で記録されている．分類語彙表

451.08

62.92

58.48

63.66

中の一つのレコードは「レコード ID 番号／見出し553.56

67.06

59.81

67.80

番号／レコード種別／類／部門／中項目／分類項

6

55.98

67.21

61.69

69.11

目／分類番号／段落番号／小段落番号／語番号／

7

59.62

69.43

62.40

70.74

見出し／見出し本体／読み／逆読み」の項目からな

8

59.48

71.22

61.73

72.01

る．分類番号はこのうち，「類／部門／中項目／分

9

61.66

70.87

66.24

70.11

分類語彙表 [11] とは，語を意味によって分類・整類項目」と対応する．たとえば「言う」という単語に 2.3102 という番号が振られている場合，各項目との対応は「2. ／ 3 ／ 1 ／ 02」となる．分類番号は位

表 5 誤答が頻出した単語

順位

5桁

3桁

1

為る

為る

23成る
然る

成る
然る

実験結果を表 3 に示す．分類語彙表番号が 5 桁，4物

物

3 桁の双方において正解率がベースラインを上回っ5取る取るた．これらの差は，有意水準を 0.05 としたカイ二6

人共乗検定により有意であった．実験結果から，現代文

7様様

BERT は古文の all-words WSD にも有効であること

8共ばかりがわかる．

9中

皆10時

又の大きさが小さくなるにつれ分類がより詳細になっている．

6

実験結果

コーパス内の頻出語のみを対象語とした lexical
sample task の WSD においても，学習データ数が少7

考察

謝辞

コーパス中での出現頻度の小さい単語での正解率

本 研 究 は JSPS 科 研 費 17KK0002，18K11421，を表 4 に示す．分類語彙表番号が 5 桁，3 桁の両方

22K12145 の 助 成 を 受 け た も の で す．ま た，国 立の場合において，正解率は出現回数が 2 回であるも国語共同研究プロジェクト「開かれた共同構築環境のを除いて MFS を大きく下回った．これは，6 節による通時コーパスの拡張」「多様な語義資源を統で述べた，学習データ数が少ない場合の極端な例で合した研究活用基盤の共創」「アノテーションデーある．この結果は，対象単語が訓練データに出現せタを用いた実証的計算心理言語学」の成果です．

ず，学習による語義推定の手がかりが得られない確率が高いためだと考えられる．そのため，今後は，出現頻度が低い単語については，MFS にフォールバックした結果を出すことで，正解率を上げられる可能性がある．
また，システムがよく誤答した 10 単語を上から頻出順に表 5 に示す．システムが誤答した単語で多かったのは，「為る」「成る」「然る」といったコーパス中に頻出で，語義数が 10 を超えるものであった．
一方で，また，語義の概念の粒度によってよく誤答する単語に違いがみられた．たとえば「人」という単語は，分類語彙表番号が 5 桁の場合では 7 種類の語義に分類される中で 484 回誤答していた．3 桁の場合では 6 種類の語義に分類される中で 123 回誤答していた．この結果から，「人」という単語は微妙で学習しづらい細分化された概念を有していると考えられる．

8

おわりに本研究では，日本語歴史コーパスの all-words WSDを行った．語義として利用した分類語彙表番号を 5桁すべて利用する場合と，上位 3 桁までを利用した

参考文献[1] Komiya Kanako, Oki Nagi, and Asahara Masayuki. Word
sense disambiguation of corpus of historical japanese usingjapanese bert trained with contemporary texts. In PACLIC
2022, 2022.
[2] 国立国語研究所. 『日本語歴史コーパス』バージョン 2022.3, 2022. https://clrd.ninjal.ac.jp/chj/.
[3] 鈴 木 類, 古 宮 嘉 那 子, 浅 原 正 幸, 佐 々 木 稔, 新 納 浩
幸. 概念辞書の類義語と分散表現を利用した教師なし all-words wsd. 自然言語処理, Vol. 26, No. 2, pp.
361–379, 2019.
[4] Kikuo Maekawa, Makoto Yamazaki, Toshinobu Ogiso,
Takehiko Maruyama, Hideki Ogura, Wakako Kashino,
Hanae Koiso, Masaya Yamaguchi, Makiro Tanaka, andYasuharu Den. Balanced corpus of contemporary writtenjapanese. Language Resource and Evaluation, Vol. 33,
No. 7, pp. 345–371, 2014.
[5] Shinnou Hiroyuki, komiya Kanako, Sasaki Minoru, andMori Shinsuke. Japanese all-words wsd system using thekyoto text analysis toolkit. In PACLIC 2017, 2017.
[6] 小林汰一郎, 古宮嘉那子, 新納浩幸. 疑似訓練データを用いた bert による同形異音語の読み推定. 第 253回自然言語処理研究発表会, 2022.
[7] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectionaltransformers for language understanding. In Proceedings of the 2019 Conference of the North American
Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1(Long and Short Papers), pp. 4171–4186, Minneapo-場合の 2 種類の実験を行った．実験により，両方の場合において，現代文 BERT は古文の all-words WSDに有効であることがわかった．コーパス中の出現頻度が小さい単語については，MFS と比較して高い精度を得られなかった．また，語義の概念の粒度が異[8]なると，一部の単語において語義数に違いがあまり見られないのにもかかわらず誤答が多くなることが[9]わかった．
[10]

[11]

lis, Minnesota, June 2019. Association for ComputationalLinguistics.
Jiaju Du, Fanchao Qi, and Maosong Sun.
Using
bert for word sense disambiguation. arXiv preprint
arXiv:1909.08358, 2019.
Komiya Kanako, Tanabe Aya, and Shinnou Hiroyuki. Diachronic domain adaptation of word sense disambiguation
for corpus of historical japanese using word embeddings.
NINJAL Research Papers, Vol. 23, pp. 29–57, jul 2022.
康晴伝, 智信小木曽, 秀樹小椋, 篤山田, 信明峯松, 清貴内元, 花絵小磯. コーパス日本語学のための言語資
源 : 形態素解析用電子化辞書の開発とその応用. 日
本語科学, Vol. 22, pp. 101–123, oct 2007.
国立国語研究所. 『分類語彙表増補改訂版データベース』(ver.1.0), 2004. https://clrd.ninjal.ac.jp/
goihyo.html.