不均衡最適輸送を用いた意味変化検出

時代とともに意味が変化した単語を特定し，具体的にどの語義が消失または出現したのかを同定することを意味変化検出と呼ぶ[2]．深層学習が自然言語処理に導入されて以後，新旧のコーパスから得られる単語埋め込みを用いた意味変化検出手法が注目を集めている．従来手法[3,4,5]は，新旧コーパスから得られる対象単語の文脈付き埋めこみの集合間の差異を通して，単語の意味変化を検出する．これらの手法は，対象単語の使用事例集合全体の変化に着目している．一方で，言語学的な分析では，個々の使用事例における詳細な情報も重要となる．例えば，対象単語のある語義での使用頻度が他の語義と比較してどの程度激しく変化したかを定量化できれば，対象単語の意味変化の様子や理由を見出すことができる．そこで本稿では，新旧コーパスから得られる対象本稿は[1]を改変したものである．(a)record(b)ball象単語の文脈付き埋め込みのt-SNEによる可視化．各事例の色はそのSenseUsageShift(SUS)を表す．赤い事例の語義での単語使用頻度は他の語義での使用頻度に比べて増加し，青い事例の語義での使用頻度は減少していることを表す．詳細は4.3節を参照．単語の文脈付き埋め込みの集合間に不均衡最適輸送(UOT)を適用し，使用事例間のアライメントの過不足に着目することで，各使用事例の意味変化の様子を明らかにする．特に，意味変化の度合いを定量化するためにSenseUsageShift(SUS)という新しい指標を提案する．SUSは，各使用事例に対応する語義の相対的な使用頻度が，新旧のコーパス間でどの程度変化したかを表す量である．い，すなわち新コーパスで使用頻度が増加・出現した語義をもつ使用事例を表す．青色は，逆に消失の.パス間において使用頻度が増加/減少した語義をもつ．語義‘undeﬁned’については，付録Aを参照されたい．年代使用事例語義SUSTop31960–2010...SodidSireRecords...undeﬁned([music])0.471960–2010...ateamwiththethird-worstrecord...[achievement]0.451960–2010...theAMCUsingle-seasonrecord...[achievement]0.45Bottom31810–1860...interpretationsoftheMosaicrecord...[information]-0.231810–1860...therecordsofaprofessedrevelation...[information]-0.241810–1860...therecordofwhosewisdomisincludedin...[information]-0.25傾向にある語義をもつ使用事例を表す．表1には具体的なSUS値の上位下位の使用事例を示した．3.3節で詳細に述べるが，図2に例示するように，通常の最適輸送(OT)を用いた従来手法[4]では，語義の出現・消失を適切にモデリングできない．さらに，実際の言語データを用いた評価実験で，SUSが事例ごとの意味変化を測る上で従来手法よりも有用であることを示す．