ペア類似度に基づく統計的な意味変化検出法

単語の意味は、時間の経過や使用されるドメインの違いに応じて変化することがある。このような意味変化を検出することは、言語学および辞書編纂にとって重要であるだけでなく、文化的・社会的動向を分析する上でも不可欠である[1,2]。さらに、こうした人文学的応用にとどまらず、近年の研究では、情報検索[3]やマスク化言語モデルの効率的な更新[4]など、さまざまな目的において意味変化検出の重要性が示されている。意味変化検出（SemanticChangeDetection;SCD）タスクは、意味が変化した単語を自動的に特定することを目的とする。SemEval-2020Task1[5]やWUGS[6]フレームワークといった近年の共有タスクにより、本タスクに対するベンチマークデータセットおよび評価プロトコルが整備されてきた。SCDには2つのサブタスクが存在する。一つは、対象語が意味変化を起こしたか否かを予測する分類タスクであり、もう一つは、意味変化の程度に基づいて対象語を並べ替えるランキングタスクである[5]。本問題は教師なし学習の性質を持つため、従来研究の多くはランキングタスクに焦点を当て、2つの時期またはドメインにおける単語埋め込み間の類似MethodENDELASVSGNS[11]73.054.245.061.3SGNS[12]62.275.070.067.7BERT[13]70.375.055.074.2Pólya(ours)76.180.0N/A88.6提案手法は、現在主流である単語埋め込みベースの手法とは異なり、用例間の類似度の一貫性を直接モデル化することで、高い分類性能を達成する。度スコアに基づいて評価してきた[7,8,9,10]。しかし、ランキングに基づく評価には、生の類似度スコアの解釈が困難である点や、順位リストのどの部分が信頼できるのかが不明確である点など、本質的な制約が存在する。これらの問題点から、分類タスクにより強く焦点を当てる必要性が示唆される。本研究では、用例レベルの類似度スコア集合における通時的／共時的な一貫性を評価することにより、語が意味変化を経験したか否かを統計的に判定する新しい手法を提案する。本手法は、SemEval-2020Task1やWUGSといった既存のベンチマークデータセットにおいて、人手アノテーションによって1）用例レベルの類似度スコアが与えられているという前提の下で検出を行う。これらの類似度スコアをどのように予測するかについては扱わず、用例レベルの類似度情報が与えられた状況において、意味変化をいかに統計的に判定するかに焦点を当てる。この設計方針により、特定の類似度推定手法に依存することなく、検出部分を独立に検討することが可能となる。本研究では類似度スコアの分布をPólya分布によってモデル化し、2つの時期におけるスコアが同一の分布から生成された可能性が高いか（意味変化がないことを示す）、あるいは異なる分布から生成された可能性が高いか（意味変化1）4.2節で述べるように、提案手法は人手に限らず、LLMなどによる自動的なアノテーションの場合でも適用できる。Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).クごとのPólya分布の積として尤度が与えられる。4Ö𝑝(X|𝜃=1)=𝑛=1𝑝(X𝑛)(5)ここで、各X𝑛（𝑛=1,...,4）は式(2)で定義されるXの部分行列であり、𝑛𝑘と𝐿も同様に各X𝑛内で計算される。したがって、事前確率を𝑝(𝜃=0)=𝑝(𝜃=1)=1/2とすると、𝜃の事後確率は次のように求められる：(𝑝(X|𝜃=0)𝑝(𝜃|X)∝𝑝(X|𝜃)𝑝(𝜃)∝𝑝(X|𝜃=1)(6)ここで、𝑝(X|𝜃=0)および𝑝(X|𝜃=1)は、それぞれ式(4)と式(5)により与えられる。直感的には、この確率は観測されたスコア行列が一様であるか否かを測る指標となっている。4実験4.1実験設定データセット提案手法の評価には、二つのベンチマークであるSemEval-2020Task1と、WUGSデータセットの一部を用いる。2）評価どちらのベンチマークにおいても、正解率を用いてすべての手法を評価する。各対象語は意味変化の有無がラベル付けされているため、予測結果と比較して評価を行った。比較手法SemEval-2020Task1に対しては、共有タスクにおいて各言語で最も高い性能を示した3つのシステム[11,12,13]と比較を行う。これらのベースラインはいずれも、静的または動的な単語埋め込みに基づく手法である。一方、言語やドメインをまたいでシステム出力を直接比較することが困難なWUGSデータセットに対しては、単純なベースラインとして各データセットにおける多数派クラスを予測するMostFreqを採用する。提案手法と意味変化を起こした語であるplaneについてのスコア行列を示している3）。この図は、意味的に不変2）データセットはhttps://www.ims.uni-stuttgart.de/en/research/resources/experiment-data/wugs/から入手可能である。本研究では、用例間類似度アノテーションを含むデータセットのみを選択した。これは、本手法が類似度スコア分布を前提とするためである。3）図2aに見られる十字状のパターンは、WUGSのアノテーション手順に起因する。WUGSでは、すべての用例対を網羅的に注釈するのではなく、情報量の高い用例対を優先して注釈する[6]。その結果、ある用例は多くの他用例と比較される一方で、多くの要素は未注釈（0）のままとなり、観察(a)“attack”(b)“plane”化。attackは意味変化が生じていない語を、planeは意味変化が生じた語を表す。各行列において、0–99番の用例は前期、100–199番は後期の用例を表す。アノテーションは1（無関係）から4（同一）までの尺度で付与され、0は未付与または未知のラベルを示す[6]。な単語／変化した単語では、スコア行列がそれぞれ均一／不均一になる傾向があるという、本手法の重要な直観を示している。予測は、意味変化がない場合と意味変化がある場合での対数尤度を比較することで行う（𝑝(X|𝜃=1)>𝑝(X|𝜃=0)のとき、意味変化があると予測する）。attackに対しては、log𝑝(X|𝜃=0)=−6213.9およびlog𝑝(X|𝜃=1)=−6282.8が得られ、モデルは意味変化があると予測した。一方、planeに対しては、log𝑝(X|𝜃=0)=−7427.2およびlog𝑝(X|𝜃=1)=−7095.6が得られ、モデルは意味変化がないと予測した。このいずれも、正解のラベルと等しい。これらの例は、提案手法の定性的な振る舞いを示すとともに、次に示す実験結果の直観的なされる十字状の構造が生じる。org/licenses/by/4.0/).DataLanguageGrouping1Grouping2Accuracy(%)MostFreqPólyaDWUGENEN1810–18601960–201054.376.1DWUGENResampledEN1810–18601960–201060.080.0DWUGDEDE1800–18991946–199060.080.0DWUGDEResampledDE1800–18991946–199060.073.3DiscoWUGDE1800–18991946–199051.072.0RefWUGDE1750–18001850–190054.545.5DURelDE1750–18001850–190063.663.6SURelDEgeneraldomainspeciﬁc63.668.2RuSemShift1RU1682–19161918–199077.577.5RuSemShift2RU1918–19901991–201662.362.3RuShiftEval1RU1700–19161918–199074.874.8RuShiftEval2RU1918–19901992–201670.370.3RuShiftEval3RU1700–19161992–201668.568.5DWUGESES1810–19061994–202055.578.0DiaWUGESSpanishvariant1Spanishvariant265.681.3DWUGSVSV1790–18301895–190368.188.6DWUGSVResampledSV1790–18301895–190360.073.3ChiWUGZH1954–19781979–200357.552.5DWUGITIT1948–19701990–201469.2N/ADWUGLALA−200–00–200055.5N/ANorDiaChange1NO1929–19651970–201367.575.0NorDiaChange2NO1980–19902012–201977.570.0するPólya分布に基づく手法の正解率を示す。提案手法は、言語やデータセットの種類に依らず高い性能を示しており、通時的・共時的な意味変化検出の双方において高い頑健性を有することが確認できる。理解を与える。4.2結果と考察結果を示した。提案手法は単語埋め込みに一切依存しないにもかかわらず、4言語中3言語において、すべての埋め込みベースの最先端手法を上回る精度を達成しており、用例間類似度の分布における時間的一貫性をモデル化することの有効性が示されている。SemEvalの設定を超えた枠組みの頑健性を評価するため、表2にはWUGSデータセットにおける結果を示した。提案手法は、すべての言語において一貫して高い精度を達成しており、通時的・共時的設定の双方において安定した性能を示す。これらの結果は、提案フレームワークがSemEvalデータセットにとどまらず、多様な言語およびドメインに対して良好に一般化可能であることを示唆している。考察本実験では、人手による用例類似度アノテーションを使用しているが、近年の研究により、高品質なラベルがモデルによって比較的容易に得られることが示されている。DURelAnnotationTool[15]には、すでにXL-LEXEME[8]が統合されており、用例類似度のアノテーションを自動的に提供する仕組みが備わっている。さらに、PeritiandTahmasebi[9]は、動的な単語埋め込みや大規模言語モデルが、人手アノテーションに近い品質のラベルを生成可能であることを示している。これらの進展により、用例類似度ラベルを人手で収集するのではなく、自動的に予測する完全自動の設定においても、本研究で提案した統計的枠組みが将来的に適用可能であることが示唆される。5おわりに本研究では、用例間の類似度スコア分布における一貫性をモデル化することによる、意味変化検出のための統計的枠組みを提案した。SemEval-2020Task1およびWUGSデータセットに対する実験により、提案手法は言語や設定を問わず、既存手法と同等またはそれ以上の精度を達成することが確認された。これらの結果は、用例レベルの類似度スコアをモデル化することが、意味変化検出を効果的に実現する上で有効であることを示している。さらに、高品質な類似度ラベルを自動的に予測する近年の技術的進展と組み合わせることで、完全自動かつ解釈性の高い意味変化検出が期待できる。org/licenses/by/4.0/).