複単語表現検出におけるLLMファインチューニングの有効性

言語を理解するためには語彙が必要である。一般的に語彙の大部分は単語で構成されるが、複単語表現（multiwordexpression、MWE）も重要な一部をなす。MWEは、イディオム性を持つ単語の系列と定義される[1]。たとえば、次の文の太字部分がMWEに該当する1）。(a)Pickmeupatthestation.(b)Hehasbeenundertheweatherlately.テキスト中のMWEを自動的にタグ付けする処理は、複単語表現検出（MWEidentiﬁcation、MWEI）と呼ばれる[2]。MWEIは、機械翻訳や語彙難解度推定など様々な下流タスクにおいて、重要な役割を果たすことがある[3,4]。近年、MWEIの関連タスクである固有表現抽出を含む自然言語処理タスクにおいて、大規模言語モデル（LLM）のファインチューニングを用いた手法が高い性能を示すと報告されてきた[5]。しかしMWEIでは、管見のかぎりLLMの性能は検証1）(a)のMWEは「～を（車などで）迎えに行く」、（b）のMWEは「体の具合が悪い」を意味する。されていない。これを受けて、本研究では、LLMファインチューニングがMWEIにも有効かどうか検証する。実験で用いるLLMは、Llama[6]およびQwen[7]のファミリーから選ぶ。また、比較対象として、エンコーダベースの手法であるMWEasWSD（MaW）[8]も検証する。MaWは、DiMSUMデータセット[9]で最高精度を達成したモデルである。実験の結果、ファインチューニングされた72BパラメータのQwenモデルが、MWEasWSDの各システムを大きく上回る性能を示した。一方で、すべてのモデル・システムが低い再現率（recall）に苦しむという課題もあることが明らかになった（例：Qwen-72Bでも50.7%）。エラー分析の結果、realestateなど、WordNet[10]に含まれないMWEは、特に検出が難しいことが分かった。この事象の原因としては、これらのMWEは、MWEまたはイディオムとして広く認識されていないことが考えられる。また、モデルサイズを考慮した比較では、最も性能のよいMaWシステムは、数倍のメモリを要するQwen-8B等と同等の性能を実現することを示し、MaWはメモリ効率に優れることを示唆する。