カタカナ語の意味分類におけるFine-Tuningの有効性検証：頻度と多義性が精度に与える影響

大規模言語モデル(LLM)および事前学習言語モデル(PLM)に関する研究は、自然言語処理分野で活発に行われており、様々なタスクに適用する研究も進んでいる.WSD(語義曖昧性解消)もその一つである.WSDは文脈によって曖昧な対象単語の意味を正しく決定するタスクであり[1]、教師あり学習法と知識ベース法の2つの主要なアプローチがある.教師あり学習法は、人間が対象となる多義語に正しい語義を付与したコーパスでモデルを訓練し、曖昧な単語に対して適切な語義を分類する.知識ベース手法は、辞書やオントロジーなど外部知識を用いた分類手法である.これらの手法を基にLLMや生成AIをWSDに使用する試みがなされている[2,3,4].これらの研究は有望な性能を示しているが、まだ最先端レベルには達していない.ChatGPTを含む多くのLLMは主に英語データで訓練されており、日本語データは相対的に限られている.さらにカタカナ語には、英語を語源とする外来語や和製英語が含まれ、元来の意味と異なる場合があるため、文脈中の意味分類が正しく行われない可能性が高いという特有の課題を有する.これらの理由からカタカナ語のWSDは他の言語にはない特有の課題を有する.したがって本論文では日本語固有のデータで事前学習済みモデルをFine-Tuningすることにより、カタカナ語の意味分類精度を向上させ、その分類傾向を分析することを目的とする.国立国語研究所が提供する現代日本語書き言葉均衡コーパスBCCWJ[5]からデータセットを構築し、日本語データで追加学習した日本語DeBERTaV3モデル(ku-nlp/deberta-v3-base-japanese)[6,7]をファインチューニングした.対象単語の持つ頻度や多義性などの特性を分析し、カタカナ語WSDの課題と改善の可能性を議論する.カタカナ語に焦点を当て、頻度と多義性の両方の観点から体系的にWSD解消を試みた先行研究はほとんどない.