人の日常生活に自然言語処理システムを取り入れるとき，そのシステムに人の語に関する背景知識を与えることで，より適切な動作が行えるようになるだろう．たとえば，人やロボットに「洗濯機を運んで欲しい」と依頼する場面を考える．人に依頼する場合，人は「運ぶ」という動作に対して「誰が」「何を」「どこから」「どこへ」という情報が必要であることを理解しているため，「どこへ」置いたら良いかが不明である場合には「どこへ置けば良い？」と聞き返して，運ぶ場所を特定し，その動作を達成することができる．一方で，ロボットに依頼する場合，ロボットが「運ぶ」の知識を持っていなければ，「どこへ」置けば良いかわからないまま運び，依頼者の意図通りにならない可能性がある．意味フレームとは，このような「運ぶ」に対して「誰が」「何を」「どこから」「どこへ」という情報が必要であるといった人が持つ語の背景知識をまとめたものであり，それを自然言語処理システムに明示的に与えることでこのような問題は解消される可能性がある．意味フレームの代表的なリソースとしてFrameNet\cite{baker-1998-berkeley-framenet,ruppenhofer-2016-framenet}が存在する．FrameNetの意味フレームは，特定の動作や状況などの概念に対応し，そのフレームを喚起する語(LexicalUnits;LUs)とそのフレーム固有の意味役割であるフレーム要素(FrameElements;FEs)に関する知識で構成されている．FrameNetは高品質なリソースであるが，人手で整備されたものであることから語彙やフレームのカバレッジに限界がある．このため，大規模なテキストコーパスから動詞の意味フレームを自動構築する取り組みが行われている\cite{kawahara-2014-inducing,ustalov-2018-unsupervised}．しかし，これらは動詞や項の表層的な情報に基づき構築されているため，それらの出現する文脈が十分に考慮されておらず，その品質は十分とはいえない．そこで，本研究では，文脈を考慮した単語埋め込みを活用して動詞や項の出現文脈を考慮することで，より高品質な意味フレームの自動構築を目指す．これを実現するためには，動詞の意味フレーム推定とフレーム要素推定が必要であるが，本論文では，前者の動詞の意味フレーム推定に焦点を当てる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[t]\input{01table01.tex}%\caption{FrameNet内のフレームを喚起する動詞の事例}\label{tab:examples}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[t]\begin{center}\includegraphics{30-4ia1f1.pdf}\end{center}\hangcaption{(a)VanillaBERTと(b)AdaCosを用いてfine-tuningしたBERTによる動詞の文脈化単語埋め込みの2次元マッピング．各色（形）は{\color[HTML]{1f77b4}\textsc{Filling}}({\large$\bullet$})，{\color[HTML]{ff7f0e}\textsc{Placing}}({\small${\boldsymbol\times}$})，{\color[HTML]{2ca02c}\textsc{Removing}}({\scriptsize$\blacksquare$})，{\color[HTML]{d62728}\textsc{Topic}}({\scriptsize${\boldsymbol+}$})フレームを示し，数字は表\ref{tab:examples}と対応する．}\label{fig:examples}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%動詞の意味フレーム推定は，テキスト中の動詞を，その動詞が喚起するフレームごとにまとめるタスクである．たとえば，表\ref{tab:examples}に示すFrameNetの8つの事例の場合，各動詞が喚起するフレームごとで事例をグループ化し，\{(1),(2)\},\{(3),(4)\},\{(5),(6)\},\{(7),(8)\}の4つのクラスタを形成することが目標となる．本タスクでは，事例(1)の「cover」と事例(2)の「fill」のように異なる動詞であっても同じ\textsc{Filling}フレームを喚起する事例もあれば，事例(1)と(7)の動詞「cover」のように同じ動詞であっても異なるフレームを喚起する事例も存在するという特徴がある．動詞の意味フレーム推定において，ELMo\cite{peters-2018-deep}やBERT\cite{devlin-2019-bert}などの文脈化単語埋め込みの有用性が報告されている\cite{arefyev-2019-neural,anwar-2019-hhmm,ribeiro-2019-l2f,yamada-2021-verb,yamada-2021-semantic}．図\ref{fig:examples}(a)はFrameNetに含まれる事例中の動詞の事前学習のみに基づくBERT(VanillaBERT)による埋め込みをt-SNE\cite{maaten-2008-visualizing}で2次元に射影し，可視化した結果である．動詞「cover」の事例(1)と(7)は埋め込み空間上で離れている一方，同じ\textsc{Topic}フレームを喚起する動詞の事例(7)と(8)は近くに位置しており，ある程度，意味フレームの違いを反映した埋め込み空間であるといえる．しかし，同じフレームを喚起する動詞の事例が離れた位置に存在するケースも散見される．たとえば，同じ\textsc{Removing}フレームを喚起する動詞の事例(5)と(6)は互いに離れた位置に存在している．これはVanillaBERTの埋め込み空間が，意味的に類似した事例が近い位置に，異なる事例が離れた位置に存在するという人の直観と常に一致しているわけではないことを意味している．本研究では，フレームに関する人の直観をより強く反映した意味フレーム推定を実現するため，コーパス内の一部の述語に対して意味フレームラベルが付与された教師データの存在を仮定し，深層距離学習に基づき文脈化単語埋め込みをfine-tuningすることで，高精度な意味フレーム推定を実現する手法を提案する．深層距離学習とは，同じラベルの事例を埋め込み空間上で近づけ，異なるラベルの事例を遠ざける学習を行う手法であり，教師データに基づく埋め込み空間の調整が期待できる．図\ref{fig:examples}(b)は代表的な深層距離学習手法の1つであるAdaCos\cite{zhang-2019-adacos}を用いてfine-tuningしたBERTによる埋め込みを2次元に射影し，可視化した結果である．VanillaBERTにおいて同じ意味フレームを喚起する動詞の事例であるにも関わらず，距離が離れていた事例(3)と(4)，事例(5)と(6)が，AdaCosを用いてfine-tuningしたBERTでは，互いに近い位置に存在していることが確認できる．これは，深層距離学習によって，意味フレームに関する人の直観をより反映させた埋め込み空間が得られたことを示している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%