DualCSE:文の明示的・暗黙的意味の埋め込み学習

文埋め込みは自然言語処理分野において広く研究されてきた[2,3,4]．しかしながら，ほとんどの既存手法は文の暗黙的な意味2）を捉える能力に課題を抱えている．Sunらによると，最先端の文埋め込み手法[5,6,7]であっても，MTEBの分類タスク[8]における明示的な意味と暗黙的な意味に対する精度の間に約0.2ポイントもの差が存在する[9]．この要因のひとつとして，既存手法は文に複数の解釈があることを想定せず，1つの文に1つのベクトルしか割り当てないことが考えられる．この課題に対処するため，本研究では1つの文に対しその文の明示的な意味と暗黙的な意味を表す2つの埋め込みを割り当てる手法を提案する．以下，本手法をdual-semanticconstrastivesentenceembeddingframework(DualCSE)と呼ぶ．図1に示す1）本論文の完全版は[1]を参照されたい．2）本論文では，「明示的な意味」を字義的な意味，「暗黙的な意味」を比喩的あるいは語用的な用法に由来する非字義的な意味として用いる．の意味空間で表現される．ように，DualCSEでは文の明示的な意味と暗黙的な意味は同一空間上の異なるベクトルで表現される．例えば，“Sheconqueredhisheart.”(𝑠2)の明示的な意味は“Shedefeatedhisheartinbattle.”(𝑠3)の明示的な意味に近く，𝑠2の暗黙的な意味は“Shewonhisaﬀectionandlove.”(𝑠1)の明示的な意味に近い．さらに，𝑠1および𝑠3は明確に暗黙的な意味を持たないため，それぞれにおける明示的な意味と暗黙的な意味の類似度は𝑠2のそれより高い．DualCSEにより得られた文の明示的および暗黙的な意味の埋め込みは，従来の単一のベクトルを付与する文埋め込み手法では困難であった言外の意味の表現を可能にし，情報検索[10]やテキスト分類[11]といった基本的なタスクにおいて有用な文の抽象表現を提供するだけでなく，入力文の暗黙性の度合いを推定する指標[12]の計算にも活用できる．DualCSEは，従来の教師あり文埋め込み手法[13,14,15]に基づき，自然言語推論(NaturalLanguageInference;NLI)データセットを用いた対照学習[16]により文のエンコーダを訓練する．具体的には，明示的な意味と暗黙的な意味の双方を考慮したNLIデータセット[17]を学習データとして利用し，本研究で新たに導入する対照損失によりパラメータを更新する．DualCSEの文間および文内の関係を捉える能力を，含意関係認識(RecognizingTextualEntailment;RTE)および暗黙度推定(EstimatingImplicitnessScore;EIS)の2タスクで評価する．実験により，DualCSEは従来手法よりも文間および文内の関係をより正確Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).いる．Cross-Encoder単一のBERT[20]もしくはRoBERTa[21]モデルである．明示的な意味の表現rを取得するときは入力“[CLS]𝑠[SEP]explicit”を与え，暗黙的な意味の表現uを取得するときは入力“[CLS]𝑠[SEP]implicit”を与える．Bi-Encoder