\label{sec:introduction}深層学習の発展とともに，自然言語処理技術は目覚ましい発展を遂げた．中でも，自然言語文を実数ベクトルとして表現する\textbf{文埋め込み}は，類似文検索，質問応答，機械翻訳といった多様なタスクに応用することができ\cite{SGPT,xu-etal-2020-boosting}，より優れた文埋め込みがこれらのタスクにおける性能を広く向上させる可能性があることから，深層学習を用いた自然言語処理の基礎技術として盛んに研究されている．文埋め込みを構成する手法は数多く存在するが，近年では自然言語推論(NaturalLanguageInference;NLI)タスクに基づいて文埋め込みモデルを獲得する手法が主流となっている．NLIタスクは与えられた文のペアに対して，その文ペアの含意関係が「含意」「矛盾」「その他」のうちのどれであるかを予測する分類タスクである．複数の研究がNLIタスクに基づく文埋め込み手法を提案しており\cite{InferSent,SBERT,SimCSE}，文埋め込み評価のための標準的なベンチマークタスクで高い性能を達成してきた．しかし，NLIタスクに基づく手法は大規模なNLIデータセットが整備されている言語でしか利用できないという問題がある．実際，NLIタスクに基づく手法として代表的なSentence-BERT(SBERT)\cite{SBERT}は，人手でラベル付けされた約100万文ペアからなるNLIデータセットに基づくが，英語以外の言語ではこのようなデータセットは限られた量しか存在しない．したがって，既存のNLIタスクに基づく文埋め込み手法を英語以外に適用しても，英語と同等の精度は期待できない．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[b]\begin{center}\includegraphics{30-1ia5f1.pdf}\end{center}\caption{Sentence-BERT（左）と提案手法である\textbf{DefSent}（右）の概要図．}\label{fig:overview}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%本研究ではこの問題を解決するため，辞書に含まれる単語とその定義文が基本的に同一の意味内容を表すという関係に着目し，辞書の定義文を用いた文埋め込み手法である\textbf{DefSent}を提案する．NLIデータセットと比べて辞書は，はるかに多くの言語において既に整備がされている言語資源であり，辞書の定義文を用いた文埋め込み手法は多くの言語に適用できる可能性が高い．既存研究であるSBERTと，提案手法であるDefSentの概要を図\ref{fig:overview}に示す．本研究で提案する文埋め込み手法はSBERTと同様に，BERT\cite{BERT}やRoBERTa\cite{RoBERTa}といった事前学習済み言語モデルに基づく．これらのモデルに定義文を入力して得られる文埋め込みから，対応する単語を予測できるように事前学習済み言語モデルをfine-tuningする．単語予測というタスクを通して，事前学習済み言語モデルが備える単語埋め込み空間の意味情報を活用することで，文埋め込みを効率的に構成できるようになる．本研究では，2つの方法で提案手法による文埋め込みの有用性を評価した．一つ目は，文埋め込みモデルが捉える文ペアの意味的類似度がどれほど人間評価と近しいかを評価するSemanticTextualSimilarity(STS)タスクによる実験である．STSタスクを用いた評価により，提案手法が大規模なNLIデータセットを用いる既存手法と同等の性能を示すことを確認した．二つ目は，文埋め込みにどのような情報が捉えられているかを評価するソフトウェアのSentEval\cite{SentEval}を用いた評価である．SentEvalを用いた評価により，提案手法が既存手法の性能と同等の性能を示し，種々のタスクに有用な文埋め込みを構成することが確認できた．さらに本研究では，提案手法による文埋め込みの性質が，既存手法と比較してどのように異なるかを分析した．一般的に，機械学習モデルは学習に用いたデータセットやタスクによって異なる振る舞いを示す．文埋め込みモデルも同様に，これらの教師信号に影響を受け，文埋め込み手法ごとに異なる性質の文埋め込みが構成されると考えられる．それぞれの文埋め込みがどのような性質を持っているのか理解することは，よりよい文埋め込み手法の研究のために有益であると考えられる．上記を踏まえ，提案手法であるDefSentと，既存手法として代表的なSBERTを対象とし，STSタスクとSentEvalを用いた文埋め込みの性質分析を行った．最後に，性質の異なる文埋め込みを統合することによって，下流タスクでさらに高い性能を示す文埋め込みを構成できることを示した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%