概要

はじめに
11
語義曖昧性解消(Word Sense Disambiguation, WSD)とは、自然言語処理(NLP)の分野において、ある単語が持つ複数の意味の中から、文脈に応じて最も適切な意味を特定するタスクである。例えば、「きれい」という単語には「外観が愉快な」あるいは、「清潔な」などの意味があり、機械学習において、対象単語の周囲の単語の品詞や単語同士の共起関係などを文脈情報として語義を推定する。語義を正しく推定することは機械翻訳、質問応答などのタスクにも繋がる。 WSDは諸言語において研究されているが、英語では、一般的にWordNet[1]のsynset IDが語義ラベルとして利用される。日本語WordNet[2]もあるが、英語のWordNetを翻訳したものであり、誤りを含んでいる。そのため、日本語のWSDには、語義ラベルとして分類語彙表[3]を利用することが多い。多言語のWSDを行うには、多言語共通の語義ラベルが必要である。本研究では、多言語のWSDを目指し、まずは多言語共通の語義ラベルを利用した日本語のWSDを行う。多言語のWordNet型の概念辞書BabelNet[4]がある。 BabelNetにはWordNetのように、1つの概念を表現するsynsetがあり、それぞれ言語共通のIDを持っている。例えば、日本語の単語「銀行」と英語の単語「bank」は同じ概念を示しているため、同じsynset IDを持つ。 BabelNetのsynset IDが付与されている日本語コーパスの量は限られている。そのため、本研究では、英語の語義ラベルつきコーパスから訓練したWSDモデルと、機械翻訳によって英語から和訳された語義ラベルつきデータでWSDモデルを学習し、それらを日本語のテストデータで評価して、比較と分析することを目的とする。また、これらの性質を利用した、日英のハイプリッドモデルを提案する。
2
関連研究
BabelNetのsynset IDを利用した日本語のWSDの研究にはPasiniら[5]の研究がある。この研究では、英語のWSDで最もよく使われるSemCorコーパス1 )とWNGコーパス(Princeton WordNet Gloss Corpus) 2)を機械翻訳し、語義ラベルをつけたデータで東北大学が公開した日本語BERTモデルをfine-tuningして、WSDを行っている。fine-tuningされたモデルは日本語WordNetの例文から作成されたテストデータで評価している。彼らは、事前学習済みの多言語モデルを英語で学習し、日本語で評価するzero-shot設定でも実験を行っている。 BERTを用いた英語のWSDに、Jiajuら[6]の研究があり、WSDでBERTをencoderとして利用することの有効性を示した。日本語のWSDには、Caoら[7]の研究がある。この研究では、京都大学が公開した日本語BERTのfeature-basedを用いて日本語の50個の単語に対してlexical sample taskでWSDを行い、BERTが日本語WSDにも有効であることを示した。また、日本語歴史コーパスのWSDの研究にははAsadaらの[8]がある。この研究では、現代文で訓練されたBERTを古文でfine-tuningすることで、古文のall-words WSDを行っている。日本語WordNetに関する平尾ら[9]の研究がある。日本語WordNetには5 %程の不整合が含まれているという報告があり、この研究では、日本語WordNetのミスを分類し、それらを機械的に抽出する手法を提案し、実験を行っている。
3 データ
3.1 コーパス
本研究では、Pasiniら[5]が公開した言語横断的なコーパス、XL-WSDを用いた。XL-WSDは英語と日本語を含め、18つの言語のWSDのgoldテストデータと韓国語と中国語以外の言語のsilverトレーニングデータからなる。 BabelNetの多言語共通の語義ラベルを利用することで、言語横断のWSDが可能である。本研究では、公開されたコーパスの英語と日本語コーパスを用いて、日本語のWSDを行う。
3.2 日本語の実験データ
日本語の学習データ、検証データ、テストデータはは、Pasiniら[5]によるXL-WSDデータを利用した。学習データはSemCorとWNGコーパスを英語から日本語に翻訳したコーパスである。検証データとテストデータは日本語WordNetの例文から作成されており、1文に1つの対象単語を含むため、対象単語数は例文数と等しい。検証データとテストデータは、対象単語の語義ラベルを日本語WordNetから英語WordNetヘマッピングし、さらにBabelNetヘマッピングすることで作成されている。データの詳細を表1に示す。

3.3 英語の実験データ
Pasiniら[5]にならい、英語の学習データにはSemCorとWNGコーパスを利用し、検証データにはSemEval-07[10]を利用した。その詳細は表2の通りである。
本研究は日本語のWSDであるため、そのまま英語データで学習したモデルを利用することはできない。そのため、英語モデルのテストには日本語のテストデータを翻訳して利用した。翻訳にはChatGPTのGPT-4[11]3)とDeepLをそれぞれ利用して比較する。
4
語義曖昧性解消モデル
本研究では、ベースラインとなる英語WSDモデルと日本語WSDモデルを作成し、それらを合わせたハイプリッドモデルをいくつか提案する。 WSDモデルの作成にはGoogle社の提供する英語BERT[12]と東北大学が公開した日本語BERT4)を用いた。英語と日本語のモデルはそれぞれfine-tuningしてWSDを行った。BERTモデルは、WSDの対象単語ごとに語義を付与する系列ラベリングタスクとして設計した。 fine-tuningを行う際に、対象単語の候補となる語義ラベルの集合に注目し、その中で、 softmax関数の出力が最も高いものを正解として学習及び推論を行った。
日本語のWSDモデル
4.1
日本語のモデルに関しては、東北大学が公開した日本語BERTモデルのcl-tohoku/bert-base-japanese-v3を事前学習済みモデルとして利用し、SemCorコーパスとWNGコーパスの語義ラベル付きの日本語翻訳コーパス[5]でfine-tuningをしてWSDを行った。 Tokenizerは、日本語BERTに付属するMeCab版のtokenizerを利用した。
4.2 英語のWSDモデル
英語のWSDモデルの訓練には、BERTモデルのbert-base-uncasedを事前学習済みモデルとして利用-し、語義ラベルつきSemCorコーパスとWNGコーパスでfine-tuningを行った。英語のモデルを日本語のデータで評価するために、日本語のテストデータをChatGPTとDeepLで英語に翻訳した。この際、 WSDの対象単語は二重引用符で囲むこと（“x”）で指定した。 ChatGPTでは、プロンプトとして「以下の文を英語に翻訳してください。その際に、二重引用符で囲まれている単語の翻訳語も二重引用符で囲んでください。」と与えた。しかし、翻訳した後に、テストデータとして利用できない例文があった。 (1)翻訳によってWSDの対象単語の特定が出来なかったことと(2)対象単語を特定しても、翻訳の質により正解を出せないことに原因がある。例えば、「“初演”は好評を博した.」という日本語のテスト事例では「初演」がWSDの対象単語である。この際(1)英訳では「初演」に対する英訳に二重引用符がつかないことがある。別の意味の単語についたり、そもそも二重引用符を含まない訳を返すことがあるためである。こういう場合には、翻訳によってWSDの対象単語の特定が出来ず、結果として英語モデルがうまく働かない。この処理で対象単語を特定できた例文は7,602文中、ChatGPTでは7,219件とDeepLでは6,314件であった。また、この例文をChatGPTで翻訳すると「The “debut” was well-received.」になる。英語モデルは「debut」が持つsynset IDの集合の中から答えを探すが、実はこの中には、「初演」の正解のsynset IDが含まれない。これが(2)対象単語を特定しても、翻訳の質により正解を出せない例である。正解をモデルに与えることはできないが、「debut」が持つsynset IDの集合と、 「初演」の持つsynset IDの集合に重なりがない場合には、英語モデルでは正解が出せないことが明らかである。こうして推定した、英語モデルで正解を出す可能性がある例文に絞ると、ChatGPTでは5,433件でDeepLでは4,820件であった。
4.3 単純日英ハイブリッドモデル
単純日英ハイブリッドモデルは、英語のモデルで解ける例文を英語のモデルを使用し、それ以外の例文は日本語のモデルを使用する手法である。具体的には、ChatGPTとDeepLで翻訳した際に、対象語の英訳（二重引用符で囲まれた単語）のもつ語義候補(synset IDの集合）と、もともとの日本語のWSDの対象語のもつ語義候補（synset IDの集合）に重複がない場合には日本語モデルを利用する。
4.4  Lemma推定による日英ハイブリッド
モデル
Lemma推定による日英ハイプリッドモデルは英語のモデルで正解を出す可能性がない例文の対象単語を英語のモデルで評価できるようにlemmaを自動的に推定する手法である。日本語のテストデータをChatGPTとDeepLで英語に翻訳した際に、対象単語の訳語の語義候補に日本語のその単語の語義候補と一致するものが存在しない場合、英語の単語リストから日本語の語義候補を持つlemmaを探して、対象単語をそのlemmaで書き換えている。こうすることで、WSDの対象単語を特定出来なかった例文以外の英語に翻訳された例文を英語のモデルで評価できるようになる。例えば、先ほどの例文「“初演”は好評を博した.」の対象単語「初演」の語義候補を持つ英語を調べると、「premiere」という単語が該当する。翻訳例文の対象単語をこの単語で書き換える。この例では、書き換えた例文は「The “premiere” was well-received.」になり、英語モデルで正解できる可能性がある。正解ラベルを持つ単語が複数ある場合、最初に出現した単語に決める。ただし、語義候補を持つ単語なので、正解ラベルの語義を持つとは限らない。なお、文中に引用符がない文については日本語モデルを利
用した。
4.5対象単語修正による日英ハイブリッド
モデル
ChatGPTで翻訳した際に、WSDの対象単語が変わってしまう問題があった。例えば、「彼は“出口”を閉鎖した.」のChatGPTの翻訳は「He “closed” the exit.」であり、対象単語であるはずの「exit」ではなく「closed」に二重引用符がついた形で訳されてしまった。これを回避する手法として、対象単語修正による日英ハイプリッドモデルを提案する。本手法では二重引用符の代わりに、ChatGPTで直接対象単語を推定し、指定する。例えば、上述の例では、ChatGPTにWSDの対象単語である「出口」の可能な翻訳を出力させ、[exit, way out]を得る。これらの単語を翻訳文から探し、見つかった場合、対象単語をその単語にする。この例の場合には訳文に「exit」を含むため、exitを対象語として英語のWSDを行う。なお、対象単語を直接推定するのは対象語の英訳のもつ語義候補と、もともとの日本語のWSDの対象語のもつ語義候補に重複がない場合のみとした。この処理を行った場合、7,602文中5,803件について英語モデルで答えを返すことができた。これ以外の文については、日本語モデルを利用した。
5
実験
本研究では、英語BERTのbert-base-uncasedと東北大学が公開した日本語BERTをそれぞれfine-tuningすることで英語と日本語のWSDモデルを作成する。実験は、1)英語モデル、2)日本語モデル、3)単純日英ハイプリッドモデル、4)Lemma推定による日英ハイプリッドモデル、5)対象単語修正による日英ハイプリッドモデルの五種類を行った。 1)では、英語のモデルで評価できない例文の回答を不正解とみなして正解率を求めた。
5.1 実験設定
英語と日本語モデルは、エポック数は[5,10,15]、バッチサイズは[4,8,16]、学習率は[2e-6,2e-5,2e-4]の設定でグリッドサーチを行い、検証データにおいて最も正解率の高いものを採用した。学習時に学習データはをランダムにシャッフルし、最適化関数にAdam、損失関数にクロスエントロピー設差を用いた。
5.2 評価手法
本研究では、正解率を評価手法として用いた。語義ラベルを正しく当てた回数を全対象語数に割って正解率を求める。ハイプリッドモデルの正解率は以下の式で求めた。 num + num j hybridモデルの正解率=全対象単語数num ,は英語モデルの正解数、num ;は日本語モデルの正解数を表す。
6　実験結果
日本語WSDの正解率を表3に示す。また、ハイプリッドモデルの言語ごとの例文数と正解率を表4に示す。なお、表中における「単純」は単純日英ハイプリッドモデル、「Lemma推定」はLemma推定による日英ハイプリッドモデル、「対象単語修正」は対象単語修正による日英ハイプリッドモデルを表す。
7　考察
表3,4から英語モデルは日本語モデルより性能が高いことが分かる。原因として、日本語の学習デー
タが英語から翻訳したものであるため、誤訳や不自然な語を含んでいる場合があること、また、日本語の学習データが英語より少ないことが考えられる。また、ハイプリッドモデルは英語モデルよりも性能が高い。中でも、ChatGPTの翻訳はDeepLより正解率が高かった。これは、ChatGPTにはユーザがプロンプトを与えられるため、条件にあった出力を多く得られ、結果として、ChatGPTの方がDeepLよりも英語モデルで評価できる例文数が多くなったためであると考えられる。しかし、それでも名詞を動詞にして意訳する場合などがあり、WSDの対象単語の訳語が得られない場合もあった。そのため、対象単語修正による日英ハイプリッドモデルを利用した場合でも、英語モデルでテストできない例文があった。今後は、その点を含めより深く分析したい。
8おわりに
本研究では、BabelNetのsynset IDを用いた日本語のWSDを行った。英語と日本語のWSDモデルを比較したところ、英語モデルの方が日本語モデルよりも正解率が高かった。また、単純日英ハイブリッドモデル、Lemma推定による日英ハイブリッドモデル、対象単語修正による日英ハイプリッドモデルを提案し比較したところ、対象単語修正によるモデルが最も良い正解率を示した。 Toutanova.  Bert: Pre-training of deep bidirectional trans- formers for language understanding, 2019.本研究は、科研費22K12145の助成を受けたものです。 [1] George A. Miller. WordNet: A lexical database for En- glish. In Speech and Natural Language:  Proceedings of a Workshop Held at Harriman, New York, February 23-26, 1992, 1992. Francis  Bond,  Hitoshi  Isahara,  Sanae  Fujita,  Kiyotaka [2] Uchimoto, Takayuki Kuribayashi, and Kyoko Kanzaki. Enhancing the Japanese WordNet.  In Hammam Riza and Virach Sornlertlamvanich, editors, Proceedings of the 7th Workshop on Asian Language Resources (ALR7), pp. 1–8, Suntec, Singapore, August 2009. As- sociation for Computational Linguistics.国立国語研究所. 『分類語彙表増補改訂版データ[3]ベース』. https://clrd.ninjal.ac.jp/goihyo.html. 2024年1月3日確認Roberto Navigli and Simone Paolo Ponzetto.  BabelNet: [4] Building a very large multilingual semantic network. In Jan Hajič, Sandra Carberry, Stephen Clark, and Joakim Nivre, editors, Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics , pp. 216–225, Uppsala, Sweden, July 2010. Association for Computational Linguistics. [5] Tommaso Pasini, Alessandro Raganato, and Roberto Nav- igli.  Xl-wsd:  An extra-large and cross-lingual evalu- ation framework for word sense disambiguation.  Pro- ceedings of the AAAI Conference on Artificial Intel- ligence , Vol. 35, No. 15, pp. 13648–13656, May 2021. Jiaju Du, Fanchao Qi, and Maosong Sun.  Using bert for [6] word sense disambiguation, 2019. Cao Rui, Tanaka Hirotaka, Bai Jing, Ma Wen, and Shin- [7] nou Hiroyuki.  Word sense disambiguation using super- vised learning with bert. Proceedings of Language Re- sources Workshop , Vol. 4, pp. 273–279, 2019. Shoma Asada, Kanako Komiya, and Masayuki Asa- [8] hara.  All-words word sense disambiguation for historical japanese. In Proceedings of the 37th Pacific Asia Con- ference on Language, Information and Computation, Hong Kong, December 2023. Association for Computa- tional Linguistics. Takuya Hirao, Takahiko Suzuki, Kouki Miyata, Koki Miy- [9] ata, and Sachio Hirokawa.  Detection of inconsistency in japanese wordnet. IPSJ SIG Technical Peport, pp. 1–5, 2012. Roberto Navigli, Kenneth C. Litkowski, and Orin Har- [10] graves.  Semeval-2007 task 07:  Coarse-grained english all-words task. In Proceedings of the 4th International Workshop on Semantic Evaluations , SemEval '07, p. 30–35, USA, 2007. Association for Computational Lin- guistics. OpenAI. Gpt-4 technical report. [ 1 ] ArXiv ,   Vol. abs/2303.08774, , 2023. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina [12]