\section{はじめに}
人の日常生活に自然言語処理システムを取り入れるとき，そのシステムに人の語に関する背景知識を与えることで，より適切な動作が行えるようになるだろう．たとえば，人やロボットに「洗濯機を運んで欲しい」と依頼する場面を考える．人に依頼する場合，人は「運ぶ」という動作に対して「誰が」「何を」「どこから」「どこへ」という情報が必要であることを理解しているため，「どこへ」置いたら良いかが不明である場合には「どこへ置けば良い？」と聞き返して，運ぶ場所を特定し，その動作を達成することができる．一方で，ロボットに依頼する場合，ロボットが「運ぶ」の知識を持っていなければ，「どこへ」置けば良いかわからないまま運び，依頼者の意図通りにならない可能性がある．意味フレームとは，このような「運ぶ」に対して「誰が」「何を」「どこから」「どこへ」という情報が必要であるといった人が持つ語の背景知識をまとめたものであり，それを自然言語処理システムに明示的に与えることでこのような問題は解消される可能性がある．意味フレームの代表的なリソースとしてFrameNet\cite{baker-1998-berkeley-framenet,ruppenhofer-2016-framenet}が存在する．FrameNetの意味フレームは，特定の動作や状況などの概念に対応し，そのフレームを喚起する語(LexicalUnits;LUs)とそのフレーム固有の意味役割であるフレーム要素(FrameElements;FEs)に関する知識で構成されている．FrameNetは高品質なリソースであるが，人手で整備されたものであることから語彙やフレームのカバレッジに限界がある．このため，大規模なテキストコーパスから動詞の意味フレームを自動構築する取り組みが行われている\cite{kawahara-2014-inducing,ustalov-2018-unsupervised}．しかし，これらは動詞や項の表層的な情報に基づき構築されているため，それらの出現する文脈が十分に考慮されておらず，その品質は十分とはいえない．そこで，本研究では，文脈を考慮した単語埋め込みを活用して動詞や項の出現文脈を考慮することで，より高品質な意味フレームの自動構築を目指す．これを実現するためには，動詞の意味フレーム推定とフレーム要素推定が必要であるが，本論文では，前者の動詞の意味フレーム推定に焦点を当てる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[t]\input{01table01.tex}%\caption{FrameNet内のフレームを喚起する動詞の事例}\label{tab:examples}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[t]\begin{center}\includegraphics{30-4ia1f1.pdf}\end{center}\hangcaption{(a)VanillaBERTと(b)AdaCosを用いてfine-tuningしたBERTによる動詞の文脈化単語埋め込みの2次元マッピング．各色（形）は{\color[HTML]{1f77b4}\textsc{Filling}}({\large$\bullet$})，{\color[HTML]{ff7f0e}\textsc{Placing}}({\small${\boldsymbol\times}$})，{\color[HTML]{2ca02c}\textsc{Removing}}({\scriptsize$\blacksquare$})，{\color[HTML]{d62728}\textsc{Topic}}({\scriptsize${\boldsymbol+}$})フレームを示し，数字は表\ref{tab:examples}と対応する．}\label{fig:examples}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%動詞の意味フレーム推定は，テキスト中の動詞を，その動詞が喚起するフレームごとにまとめるタスクである．たとえば，表\ref{tab:examples}に示すFrameNetの8つの事例の場合，各動詞が喚起するフレームごとで事例をグループ化し，\{(1),(2)\},\{(3),(4)\},\{(5),(6)\},\{(7),(8)\}の4つのクラスタを形成することが目標となる．本タスクでは，事例(1)の「cover」と事例(2)の「fill」のように異なる動詞であっても同じ\textsc{Filling}フレームを喚起する事例もあれば，事例(1)と(7)の動詞「cover」のように同じ動詞であっても異なるフレームを喚起する事例も存在するという特徴がある．動詞の意味フレーム推定において，ELMo\cite{peters-2018-deep}やBERT\cite{devlin-2019-bert}などの文脈化単語埋め込みの有用性が報告されている\cite{arefyev-2019-neural,anwar-2019-hhmm,ribeiro-2019-l2f,yamada-2021-verb,yamada-2021-semantic}．図\ref{fig:examples}(a)はFrameNetに含まれる事例中の動詞の事前学習のみに基づくBERT(VanillaBERT)による埋め込みをt-SNE\cite{maaten-2008-visualizing}で2次元に射影し，可視化した結果である．動詞「cover」の事例(1)と(7)は埋め込み空間上で離れている一方，同じ\textsc{Topic}フレームを喚起する動詞の事例(7)と(8)は近くに位置しており，ある程度，意味フレームの違いを反映した埋め込み空間であるといえる．しかし，同じフレームを喚起する動詞の事例が離れた位置に存在するケースも散見される．たとえば，同じ\textsc{Removing}フレームを喚起する動詞の事例(5)と(6)は互いに離れた位置に存在している．これはVanillaBERTの埋め込み空間が，意味的に類似した事例が近い位置に，異なる事例が離れた位置に存在するという人の直観と常に一致しているわけではないことを意味している．本研究では，フレームに関する人の直観をより強く反映した意味フレーム推定を実現するため，コーパス内の一部の述語に対して意味フレームラベルが付与された教師データの存在を仮定し，深層距離学習に基づき文脈化単語埋め込みをfine-tuningすることで，高精度な意味フレーム推定を実現する手法を提案する．深層距離学習とは，同じラベルの事例を埋め込み空間上で近づけ，異なるラベルの事例を遠ざける学習を行う手法であり，教師データに基づく埋め込み空間の調整が期待できる．図\ref{fig:examples}(b)は代表的な深層距離学習手法の1つであるAdaCos\cite{zhang-2019-adacos}を用いてfine-tuningしたBERTによる埋め込みを2次元に射影し，可視化した結果である．VanillaBERTにおいて同じ意味フレームを喚起する動詞の事例であるにも関わらず，距離が離れていた事例(3)と(4)，事例(5)と(6)が，AdaCosを用いてfine-tuningしたBERTでは，互いに近い位置に存在していることが確認できる．これは，深層距離学習によって，意味フレームに関する人の直観をより反映させた埋め込み空間が得られたことを示している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
意味フレームの自動構築へ向けて，テキスト中の述語を，その述語が喚起するフレームごとにまとめるタスクとして，意味フレーム同定(frameidentification)と意味フレーム推定(semanticframeinduction)の2つのタスクが存在する．意味フレーム同定は，事前に定義された意味フレームを与えた上で，テキスト中の述語に対して，その述語が喚起するフレームを同定するタスクである．これは意味フレーム解析のサブタスクの1つとして扱われることが多く，意味フレームが事前に定義されていることを前提とするため，フレーム数をはじめとして，フレームの定義文やフレーム要素知識などのフレーム情報が利用可能な教師ありタスクとして取り組まれている．近年では，文脈化単語埋め込みモデルであるBERTを用いた手法が主流となっている．たとえば，\citeA{jiang-2021-exploiting}はフレームとLUsの定義文に基づく文埋め込みを活用したフレーム同定モデルを構築しており，\citeA{su-2021-knowledge}はフレーム喚起語の周囲の文脈を埋め込む文脈エンコーダと，フレームの定義文とフレーム要素を埋め込むフレームエンコーダを構築し，それらに基づき生成された埋め込み表現を基にフレームを同定している．また，\citeA{yong-2020-semi}は，意味フレーム同定をクラスタリングタスクとして扱っている．具体的には，まず，異常検知モデルを応用することで，FrameNetに存在しないフレームを喚起する述語を除去し，その後，述語の文脈化単語埋め込みとフレームの定義文に基づく文埋め込みを用いて，テキスト中の述語をクラスタリングすることで，意味ごとにまとめている．意味フレーム推定は，テキスト中の述語を，その述語が喚起するフレームごとにまとめるタスクである．多くの研究では，事前に定義されたフレームの存在を仮定せず，フレーム情報を利用しない教師なしタスクとして取り組まれており，文脈化単語埋め込みを用いた手法が提案されている．\citeA{arefyev-2019-neural}は，まず，BERTによるフレーム喚起語の文脈化単語埋め込みを用いて階層型クラスタリングを行い，その後，多義性のあるフレーム喚起語に対応するため，BERTを用いてフレーム喚起語の言い換えを生成し，それを基に各クラスタを2分することでフレームクラスタを生成している．\citeA{anwar-2019-hhmm}は，skip-gram\cite{mikolov-2013-distributed}やELMoによって獲得できる，フレーム喚起語の埋め込みと文中の全ての単語の埋め込みを平均した埋め込みを基に階層型クラスタリングを行っている．\citeA{ribeiro-2019-l2f}は，フレーム喚起語のELMoによる埋め込みに基づきグラフクラスタリングを行っている．\citeA{yamada-2021-semantic}は，フレーム喚起語の文脈化単語埋め込みを用いて一度に全ての事例をクラスタリングする従来手法の欠点を改善するため，マスクされたフレーム喚起語の文脈化埋め込みと2段階クラスタリングを行う手法を提案している．これらの研究はすべて，教師データを使用しない教師なし意味フレーム推定に焦点を当てている．一方，本研究では，コーパス中に出現する述語のサブセットに対してフレームがラベルづけられたデータの存在を仮定した教師あり意味フレーム推定に取り組む．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{動詞の教師あり意味フレーム推定}
\label{sec:method}本研究では，より性能の高い動詞の意味フレーム推定手法を実現するため，コーパス内の一部の動詞については教師データが存在することを仮定した教師あり意味フレーム推定に取り組む．ベースライン手法として，教師なし意味フレーム推定で広く用いられているフレーム喚起語の文脈化単語埋め込みを用いてクラスタリングする手法を採用し，教師データを用いて深層距離学習に基づき文脈化単語埋め込みモデルをfine-tuningすることによって，より高性能な意味フレーム推定手法を実現する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{ベースライン手法}\label{sec:method_baseline}本研究では，2つのベースライン手法を使用する．まず，シンプルなベースライン手法として，動詞の文脈化単語埋め込みを用いて一度に全ての事例をクラスタリングする1段階クラスタリングを導入する．クラスタリング方法には，ユークリッド距離に基づく群平均法による階層型クラスタリングを採用する．群平均法では，クラスタリングの終了条件を決める必要があるが，本研究ではクラスタ間距離に関する閾値を導入し，その閾値より小さなクラスタ間距離となるクラスタのペアがなくなった時点でクラスタリングを終了している．閾値の決定には開発セットを利用し，開発セットを対象にクラスタリングを実施した場合に，生成されるクラスタの数と，開発セット中の用例に付与されたフレームの数が等しくなるような値に設定している．もう1つのベースライン手法として，\citeA{yamada-2021-semantic}によって提案されたマスクされた単語埋め込みと2段階クラスタリングを導入する．マスクされた単語埋め込み($v_\mathit{mask}$)とは，動詞を特殊トークン``[MASK]''に置き換えたときの文脈化単語埋め込みのことである．これは動詞の文脈化単語埋め込み($v_\mathit{word}$)がその動詞の表層情報の影響を受けて意味ごとにまとまりにくい傾向がある欠点を解消するために提案されたものである．本研究では，式(\ref{eq:wm})で定義されるように，$\alpha$を重みとして，$v_\mathit{word}$と$v_\mathit{mask}$を加重平均した埋め込み($v_\mathit{w+m}$)を利用している．\begin{equation}v_\mathit{w+m}=(1-\alpha)\cdotv_\mathit{word}+\alpha\cdotv_\mathit{mask}\label{eq:wm}\end{equation}2段階クラスタリングは，1段階クラスタリングのノイズとなる事例に弱い点を指摘して提案された手法である．具体的には，1段階目に動詞ごとで事例をクラスタリング，2段階目に動詞横断的にクラスタリングを行う手法である．ここで，1段階目で得られたクラスタは，意味ごとにまとめられた同じ動詞の事例のクラスタであるため，\citeA{yamada-2021-semantic}と同様に本論文では擬似LU(pseudo-LU;pLU)と呼ぶことにする．クラスタリング手法として，1段階目にX-means\cite{pelleg-2000-x-means}，2段階目に群平均法を用いる．それぞれのクラスタ数に関しても，\citeA{yamada-2021-semantic}と同様の手法を用いて決定する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{深層距離学習を用いた動詞の意味フレーム推定手法}本研究では，深層距離学習を用いた動詞の意味フレーム推定手法を提案する．提案手法では，まず，意味フレームリソースの一部から作成した学習セットを用いて，深層距離学習に基づき文脈化単語埋め込みモデルをfine-tuningし，その後，ベースライン手法と同様の方法で，モデルから動詞の埋め込みを獲得し，クラスタリングを行うことで意味フレームクラスタを作成している．ここで提案する深層距離学習とは，埋め込み空間上で，同じラベルの事例を近づけるように，異なるラベルの事例を遠ざけるように深層学習モデルを学習する方法である\cite{kaya-2019-deep,musgrave-2020-metric}．これによって，埋め込み空間上で，類似したフレームの事例が近づき，異なるフレームの事例が遠ざかるため，動詞の意味フレーム推定手法の性能向上が期待される．本論文では，距離ベースと分類ベースの2つの代表的な深層距離学習アプローチを採用する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{距離ベースのアプローチ}距離ベースのアプローチは，一般に複数エンコーダを用いて事例ペア間の距離を直接学習する方法である．事例ペアは，ある事例をアンカーとし，アンカーと同じクラスの事例を正例，アンカーと異なるクラスの事例を負例としてそれぞれ作成される．本研究では，以下の2つの損失を導入する．1つ目は，Contrastive損失\cite{hadsell-2006-dimensionality}である．これはパラメータを共有した2つのエンコーダを持つネットワークを用いて，事例ペアの距離を学習するために使用される．具体的には，正例ペアを近づけ，負例ペアを一定のマージン以上遠ざける学習を行うために使用される．以下の式(\ref{eq:contrastive})で定義される．\begin{equation}L_{\mathrm{cont}}=\begin{cases}D\left(\boldsymbol{x}_i,\boldsymbol{x}_j\right)&i=j\\\max\left(m-D\left(\boldsymbol{x}_i,\boldsymbol{x}_j\right),0\right)&i\neqj\end{cases}\label{eq:contrastive}\end{equation}ここで，$\boldsymbol{x}_i$はエンコーダを用いて得られるクラス$i$の事例の埋め込み，$m$はマージン，$D$は平方ユークリッド距離に基づく距離関数を意味する．2つ目はTriplet損失\cite{weinberger-2009-distance}である．これはパラメータを共有した3つのエンコーダを持つネットワークを用いて，事例の3つ組の距離を学習するために使用される．具体的には，事例の3つ組に対して，負例ペアの距離を正例ペアの距離より一定のマージン以上遠ざけるために使用される．Triplet損失は，負例ペアを正例ペアに対して相対的に遠ざける点でContrastive損失とは異なる．以下の式(\ref{eq:triplet})で定義される．\begin{equation}L_{\mathrm{tri}}=\max\left(D\left(\boldsymbol{x}_a,\boldsymbol{x}_p\right)-D\left(\boldsymbol{x}_a,\boldsymbol{x}_n\right)+m,0\right)\label{eq:triplet}\end{equation}ここで，$\boldsymbol{x}_a$はアンカー事例の埋め込み，$\boldsymbol{x}_p$は正例の埋め込み，$\boldsymbol{x}_n$は負例の埋め込みを意味する．本研究では，1つのフレームを1つのクラスとみなし，同じフレームの事例を近づけ，異なるフレームの事例を遠ざける学習を行うことで，よりフレームの持つ情報を反映した埋め込み表現の獲得を実現する．本研究における事例ペアの作成方法は，学習セット内の各事例において，その事例と同じフレームの事例を無作為に選択して正例とし，その事例と異なるフレームの事例を無作為に選択して負例としている．その際に同じ動詞の事例であるか否かは考慮していない．また，より汎用的な埋め込み空間を獲得するため，学習時の事例ペアはエポックごとで変更させている．マージンはハイパーパラメータであり，開発セットにおける評価スコアに基づき決定している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{分類ベースのアプローチ}分類ベースのアプローチは，近年，顔認識タスクを中心に広く利用されている．このアプローチの多くは，単一のエンコーダと多クラス分類のための線形層を持つネットワークを利用している．距離ベースのアプローチと比較して，サンプリングの検討が不要である点や，単一エンコーダであることから学習時に必要なメモリを減らすことができる利点がある．このアプローチに用いる損失は，式(\ref{eq:softmax})に示すSoftmax損失がベースとなっている．\begin{equation}L_{\mathrm{soft}}=-\log\frac{e^{\boldsymbol{w}_i^{\top}\boldsymbol{x}_i+b_i}}{\sum_{j=1}^{n}e^{\boldsymbol{w}_j^{\top}\boldsymbol{x}_i+b_j}}\label{eq:softmax}\end{equation}ここで，$\boldsymbol{w}_i$と$b_i$はクラス$i$の線形層の重みとバイアス，$n$はクラス数を示している．分類ベースのアプローチでは，Softmax損失に対して様々なマージンを導入する損失が提案されている\cite{liu-2017-sphereface,wang-2018-cosface,deng-2019-arcface}．これらの損失では，線形層の重み$\boldsymbol{w}_i$をクラス$i$の埋め込みと捉え，事例とクラスの埋め込みの距離を学習するように設計されている．ArcFace損失\cite{deng-2019-arcface}は，その中でも幾何的な解釈に優れることから広く利用されている．ArcFace損失は，式(\ref{eq:arc})のように定義されており，Softmax損失から線形層のバイアス$b_i$を除き，$\boldsymbol{w}_i$と$\boldsymbol{x}_i$に$l_2$正規化を適用することで$\boldsymbol{w}_i^{\top}\boldsymbol{x}_i$を$\cos\theta_i$と表現している．加えて，同じクラス内の集約性と異なるクラス間の分散性を強化するため，角度ベースのマージン$m$とスケール$s$を導入している．\begin{equation}L_{\mathrm{arc}}=-\log\frac{e^{s\cdot\cos\left(\theta_i+m\right)}}{e^{s\cdot\cos\left(\theta_i+m\right)}+\sum_{j=1,j\neqi}^{n}e^{s\cdot\cos\theta_j}}\label{eq:arc}\end{equation}\citeA{zhang-2019-adacos}はArcFace損失を用いたモデルの性能がハイパーパラメータに依存する点を指摘し，マージンやスケールの振る舞いを調査している．その結果，マージンとスケールの効果が類似することを確認したため，ArcFace損失からマージンを除き，また，事例数やクラス数に応じて動的に決めるスケール$\tilde{s}$を導入したAdaCos損失を提案している．AdaCos損失は式(\ref{eq:ada})で定義される．\begin{equation}L_{\mathrm{ada}}=-\log\frac{e^{\tilde{s}\cdot\cos\theta_i}}{\sum_{j=1}^{n}e^{\tilde{s}\cdot\cos\theta_j}}\label{eq:ada}\end{equation}本研究では，1つのフレームを1つのクラスとみなし，学習セットに存在するフレームを分類できるように学習を行うことで，よりフレームの持つ情報を反映した埋め込み表現の獲得を実現する．分類ベースのアプローチの中でSoftmax損失やAdaCos損失を用いたモデルではハイパーパラメータの探索が不要であるが，ArcFace損失を用いたモデルではマージンとスケールを探索する必要がある．本研究では，これらの働きが類似することが報告されている\cite{zhang-2019-adacos}ことから片方のハイパーパラメータのみを探索することにし，距離ベースのアプローチがマージンを探索しているため，ArcFace損失を用いたモデルもマージンのみを探索する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験}
動詞の教師あり意味フレーム推定において，深層距離学習を用いた文脈化単語埋め込みモデルのfine-tuningの有用性を検証した．具体的には，fine-tuningしたモデルを，fine-tuningしていないモデルや先行研究のモデルと性能を比較した．また，学習に用いた事例数の変化による提案手法の性能への影響を調査した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{実験設定}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{データセット}FrameNet1.7\cite{ruppenhofer-2016-framenet}から，フレームを喚起する動詞の事例を抽出し，データセットを作成した．学習セットに存在しない動詞の意味フレーム推定に対応するため，データセットに含まれる事例を動詞単位で3分割し，3つのサブセットを作成した．このとき，サブセット間の多義動詞の割合は一定としている．作成した3つのサブセットは，3分割交差検証に利用され，それぞれ学習セット，開発セット，テストセットとして用いる．表\ref{tab:dataset}にその統計値を示す\footnote{異なる動詞が同一のフレームを喚起するケースが存在することからサブセット間で重複するフレームが存在するため，全体のフレーム数が全サブセットのフレーム数の和とは一致していない．}．学習セットは文脈化単語埋め込みモデルのfine-tuningに使用し，開発セットは$v_\mathit{w+m}$の重み$\alpha$，クラスタ数，マージンの決定に使用する．$\alpha$は0から1まで0.1刻みで探索し，マージンはContrastive損失とTriplet損失では，0.1,0.2,0.5,1.0の4値，ArcFace損失では，0.01,0.02,0.05,0.1の4値を候補に探索する．テストセットにおいて，動詞の事例を意味ごとにまとめたフレームクラスタを生成することで手法の性能を評価する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{比較手法}文脈化単語埋め込みモデルとして，HuggingFaceのTransformers\cite{wolf-2020-transformers}で提供されている事前学習済みBERT(\textsf{bert-base-uncased})\footnote{\url{https://huggingface.co/bert-base-uncased}}を使用する．fine-tuningしていないモデル(Vanilla)と5つのfine-tuningしたモデル(Contrastive，Triplet，Softmax，ArcFace，AdaCos)に対して，それぞれ1段階クラスタリングと2段階クラスタリングを用いた全部で12の手法を比較する．Vanillaモデルを用いた2段階クラスタリングの手法は，\citeA{yamada-2021-semantic}の提案手法に対応している．埋め込み表現は全て$l_2$正規化を適用している．ハイパーパラメータに関して，バッチサイズは32，学習率は$1\mathrm{e}-5$，エポック数は5とし，ArcFaceモデルのスケールは64に固定する．最適化アルゴリズムは，AdamW\cite{loshchilov-2017-decoupled}を使用する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table2\begin{table}[b]\input{01table02.tex}%\caption{3分割交差検証で用いたFrameNetデータセットの統計値}\label{tab:dataset}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%また，SemEval-2019Task2のサブタスクAの共有タスク\cite{qasemizadeh-2019-semeval}で用いられた3つの教師なし意味フレーム推定手法\cite{arefyev-2019-neural,anwar-2019-hhmm,ribeiro-2019-l2f}も比較する．Arefyevらは，まず，フレームを喚起する動詞のBERTによる埋め込み表現を利用して群平均法によるクラスタリングを行い，その後，その動詞の言い換えをBERTを用いて生成し，それに基づくTF-IDF特徴量を用いて，各クラスタを2分割することでフレームクラスタを形成している．Anwarらは，skip-gram\cite{mikolov-2013-distributed}によって得られる，フレームを喚起する動詞の埋め込みと，文中の全単語の埋め込みの平均を結合した表現を用いて，群平均法によるクラスタリングを行っている．Ribeiroらは，フレームを喚起する動詞のELMoによる埋め込みを用いて，Chinesewhispers\cite{biemann2006}によるグラフクラスタリングを適用している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{評価指標}評価指標として，Purity(\textsc{Pu})，InversePurity(\textsc{iPu})，およびその調和平均であるF値(\textsc{PiF})\cite{zhao-2001-criterion}と，B-cubedPrecision(\textsc{BcP})，Recall(\textsc{BcR})，およびその調和平均であるF値(\textsc{BcF})\cite{bagga-1998-entity-based}を使用する．\textsc{Pu}はクラスタが単一のラベルの事例で占められている度合いを示す指標であり，\textsc{iPu}は同じラベルの事例が単一のクラスタに集中する度合いを示す指標である．また，\textsc{BcP}と\textsc{BcR}は，クラスタとラベルを関連付けずに，各事例の適合率と再現率をそれぞれ評価する指標である．SemEval-2019Task2のサブタスクAの共有タスク\cite{qasemizadeh-2019-semeval}では，\textsc{BcF}に従ってシステムをランク付けされている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table3\begin{table}[b]\input{01table03.tex}%\hangcaption{3分割交差検証による動詞の教師あり意味フレーム推定の実験結果．\#pLUと\#CはそれぞれpLU数とクラスタ数を示す．}\label{tab:clustering}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{実験結果}\label{sec:result}実験結果を表\ref{tab:clustering}に示す．クラスタリング方法に関わらず，fine-tuningしたモデルを用いた手法は，Vanillaモデルを用いた手法と比較して全体的に高い\textsc{PiF}および\textsc{BcF}を示している．特に，Triplet，ArcFace，AdaCosモデルを用いた手法において，\textsc{PiF}で73ポイント以上，\textsc{BcF}で62ポイント以上の高いスコアを達成しており，これらのモデルを用いて文脈化単語埋め込みモデルをfine-tuningする有用性が確認できる．一方，Contrastiveモデルを用いた手法では相対的に低いスコアとなっている．これはContrastiveモデルのマージンが適切な粒度のクラスタ構築との親和性が低いことが主な要因であると考えられる．クラスタリング方法を比較すると，2段階クラスタリングの手法が1段階クラスタリングの手法に比べて，全体的に高いスコアを達成している．しかし，Vanillaモデルの場合では，\textsc{BcF}と\textsc{PiF}共に12ポイント以上の差があったが，fine-tuningしたモデルの最高スコアを比較すると，その差が2ポイント程度に縮まっている．この結果から，fine-tuningを行う場合，2段階クラスタリングだけではなく1段階クラスタリングも有望な選択肢になる．ただし，1段階クラスタリングの手法は2段階クラスタリングの手法と比較して実装は容易であるが，一度にクラスタリングする事例数が多いことから計算コストが高いことに注意が必要である\footnote{本実験では，16コアのIntelXeonGold6134CPU(3.20GHz)を用い，1段階クラスタリングで約10分，2段階クラスタリングで約5分の実行時間であった．}．重み$\alpha$に着目すると，スコアの高いAdaCosモデルやTripletモデルを用いた2段階クラスタリングの手法において，その値は0.5であるため，マスクされた単語埋め込みを考慮する効果が確認できる．しかし，Vanillaモデルを用いたときほどの効果が確認できない．一方，1段階クラスタリングの手法では，fine-tuningしたモデルの方がVanillaモデルよりマスクされた単語埋め込みを考慮するという逆の傾向が確認できる．これは，Vanillaモデルを用いた1段階クラスタリングの手法では，十分にフレームを表現した埋め込み空間となっていなかったために，動詞の表層ごとでまとまる方がより尤もらしいフレームクラスタを構築できていたが，fine-tuningしたモデルでは埋め込み空間が改善され，動詞の表層ではなく，意味ごとでまとまるようなフレームクラスタを構築できるようになったためであると考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table4\begin{table}[b]\input{01table04.tex}%\caption{先行研究の手法と提案手法の比較結果}\label{tab:previous}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%表\ref{tab:previous}に先行研究の手法と，TripletモデルとAdaCosモデルをそれぞれ用いた1段階クラスタリングと2段階クラスタリングの手法の比較結果を示す．提案手法は，先行研究の手法より高い評価スコアを達成しており，提案手法の中でも最もスコアの高いAdaCosモデルを用いた2段階クラスタリングの手法では，両評価指標において従来の最高スコアを8ポイント以上上回る結果が得られており，その有用性が確認できる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{学習事例数の変化による性能への影響}前節の実験を通して，約30,000という学習事例数が比較的多く存在する場合では，深層距離学習に基づき文脈化単語埋め込みモデルをfine-tuningすることで高性能な動詞の意味フレーム推定手法を実現できることを示した．しかし，提案手法を意味フレームリソースの存在しない言語へ適用する場合，フレームを定義するコストやフレーム情報をテキストに付与するコストが高いことから，学習事例が少量しか存在しない場合であっても高い性能を示すことが重要となる．そこで，学習事例数を変化させた実験を行い，学習事例数の性能への影響を調査した．具体的には，LUごとの最大学習事例数の条件を`1',`2',`5',`10',`all'と変化させて実験を行った．3セットの平均学習事例数は，それぞれ1,273,2,445,5,680,10,053,27,537であった．ここで，LUごとで学習事例数を変更しているため，学習セット内の動詞，LU，フレームの異なり数は変更していない点，また，学習セットで使用する事例数のみを変更しているため，開発セットおよびテストセットは変更していない点に注意が必要である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table5\begin{table}[b]\input{01table05.tex}%\hangcaption{学習事例数を変化させたときの実験結果．各列は学習セット内の各LUに対して使用された最大学習事例数を示す．}\label{tab:n_instances}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%表\ref{tab:n_instances}に学習事例数を変化させたときの各手法の\textsc{PiF}と\textsc{BcF}のスコアを示す．Vanillaモデルは，fine-tuningを行わないため，各設定で同じスコアとなっている．Tripletモデルの結果に着目すると，`1'や`2'の設定において，Vanillaモデルと比較してかなり高いスコアを示しており，少ない学習事例数においても有用であることが確認できる．特に，2段階クラスタリングの手法では，`1'と`all'において学習事例数が1,273と27,536と大きな差があるにも関わらず，スコアは3ポイント程度の差しかなかった．このため，少量であっても教師データが存在するのであれば，Tripletモデルを用いた2段階クラスタリングの手法を使用することで，高性能な意味フレーム推定が実現可能であると考えられる．一方，ArcFaceモデルやAdaCosモデルは，`5'や`10'の設定ではTripletモデルと同程度のスコアを得ているが，さらに学習事例数が少ない場合，Vanillaモデルからの改善はほとんど確認できなかった．これは少量の学習事例数では線形層の重みの学習を十分に行えないためであると考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{Fine-tuningした埋め込み表現の分析}
クラスタリングによる評価は，埋め込み表現だけではなくクラスタリング手法やクラスタ数にも性能が影響されるため，埋め込み表現のみの性質を分析することは容易ではない．そこで，fine-tuningした埋め込み表現をより直感的に理解するために，事例間の類似度に基づく評価と埋め込み表現の可視化を行う．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{類似度ランキング評価}深層距離学習に基づき文脈化単語埋め込みモデルをfine-tuningすることによって，埋め込み空間上で，同じフレームの事例が近づき，異なるフレームの事例が遠ざかっているのかを確認するため，埋め込み表現の類似度に応じて事例をランク付けし，評価する類似度ランキング評価を行った．具体的には，特定の動詞の事例をクエリ事例とし，クエリ事例とそれ以外の事例の埋め込みのコサイン類似度を計算して，その値を基に事例を降順に並べ，評価した．埋め込み表現は，\ref{sec:result}節の1段階クラスタリングの手法の$v_\mathit{w+m}$を使用する．評価指標にはRecallを用いている．これはクエリ事例と同じフレームの事例である正解事例と，正解事例と同じ数のランキング上位の事例を抽出して得られる予測事例の一致率である．たとえば，表\ref{tab:dataset}のセット1では，全事例28,314件のうち，\textsc{Filling}フレームの事例が153件存在する．このうちの1つをクエリ事例とするとき，正解事例は152件となる．全事例からクエリ事例に類似した上位152件の予測事例を抽出し，その中で114件が正解事例であれば，Recallは$114/152=0.75$となる．各事例をクエリ事例としてRecallを算出し，そのスコアの平均を評価する．予測事例の対象に関して3つ設定で類似度ランキング評価を行う．1つ目は全事例が対象である\textsc{All}であり，これは埋め込み空間全体の改善が見られるかを検証するための設定である．2つ目はクエリ事例と同じ動詞の事例のみを対象\footnote{単一のフレームの事例しか存在しない動詞は，Recallが必ず1となるため，対象に含まない．}とする\textsc{Same}であり，表層が同じ事例に対して，意味の異なることを埋め込み空間が反映しているかを検証するための設定である．3つ目はクエリ事例と異なる動詞の事例のみを対象とする\textsc{Diff}であり，これは埋め込み空間上で，異なる動詞で同じフレームの事例が互いに近い位置になっているかを検証する設定である．実験結果を表\ref{tab:ranking}に示す．まず，\textsc{All}に着目するとfine-tuningしたすべてのモデルでVanillaモデルからの改善が見られる．特にContrastiveモデル以外の4つのfine-tuningしたモデルは20ポイント以上スコアが向上し，埋め込み空間がかなり改善されたことがわかる．次に，\textsc{Same}と\textsc{Diff}に着目すると，その両方でスコアの向上が確認でき，動詞の表層に関係なく，深層距離学習によるfine-tuningが有用であることがわかる．\textsc{Same}と\textsc{Diff}を比較すると，\textsc{Same}の方が対象事例数が少ないこともあり，全体的に高いスコアとなっている．ただし，\textsc{Diff}の方が\textsc{Same}よりもスコアの向上度合いが大きく，fine-tuningによるクラスタリング性能の向上は，主に同じフレームを喚起する異なる動詞の事例が互いに近づくように学習したことに起因することが示唆される．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table6\begin{table}[b]\input{01table06.tex}%\hangcaption{3分割交差検証による類似度ランキング評価の実験結果．\textsc{All}，\textsc{Same}，\textsc{Diff}は，ランキングする対象がそれぞれ，全事例，クエリ事例と同じ動詞の事例，クエリ事例と異なる動詞の事例を意味している．}\label{tab:ranking}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%また，fine-tuningによる意味フレーム推定手法の性能向上が，学習セットに含まれるフレームによるもののみではないことを検証することは重要である．そこで，クエリ事例のフレームが学習セットに含まれる場合(\textsc{Overlap})と含まれない場合(\textsc{Non-Overlap})に分けて，表\ref{tab:ranking}の\textsc{All}のスコアを集約した．その結果を表\ref{tab:ranking_agg}に示す．いずれのfine-tuningしたモデルも，学習セットに含まれるフレームだけではなく，含まれないフレームについても，Vanillaモデルより高いスコアを実現している．このため，深層距離学習を用いたfine-tuningによって，学習セットに含まれていないフレームにも対応した埋め込み空間を獲得できることが確認できる．ここで，\textsc{Non-Overlap}の設定の各手法のスコアが，\textsc{Overlap}の設定におけるスコアよりも全体的に高くなっている．これは直感に反するかもしれないが，\textsc{Overlap}の設定に含まれるフレームは多くの動詞の事例が存在するため，\textsc{Non-Overlap}の設定に比べて難しい設定となっていることが要因だと考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table7\begin{table}[t]\input{01table07.tex}%\hangcaption{表\ref{tab:ranking}の\textsc{All}の結果を，テストセットに含まれるフレームが学習セットに存在する場合\textsc{Overlap}と存在しない場合\textsc{Non-Overlap}で分けて集約した結果である．}\label{tab:ranking_agg}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{埋め込み表現の可視化}文脈化単語埋め込みモデルのfine-tuning前後で，埋め込み空間がどれほど変化しているのかを直感的に理解するため，埋め込み表現の可視化を行った．表\ref{tab:dataset}のセット1の全事例を対象に，Vanillaモデル，Tripletモデル，AdaCosモデルによるフレームを喚起する動詞の文脈化単語埋め込みをt-SNEにより2次元に射影し，可視化した結果を図\ref{fig:visualization}に示す．Vanilla，AdaCos，Tripletのモデルにおいて，それぞれ$v_\mathit{word}$，$v_\mathit{w+m}$，$v_\mathit{mask}$を使用している．$v_\mathit{w+m}$の重み$\alpha$は，\ref{sec:result}節の実験結果でTripletモデルとAdaCosモデルを用いた1段階クラスタリングの手法の最適値であった0.3としている\footnote{Vanillaモデルでは，$v_\mathit{w+m}$の$\alpha$は0であったが，これは$v_\mathit{word}$と同じであるため，ここでは$\alpha$が0.3のときの結果を示す．}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.2\begin{figure}[t]\begin{center}\includegraphics{30-4ia1f2.pdf}\end{center}\hangcaption{Vanillaモデル，AdaCosモデル，Tripletモデルにおける$v_\mathit{word}$，$v_\mathit{w+m}$，$v_\mathit{mask}$の2次元マッピング．各色および形状は事例数の多い上位10フレームを示す．}\label{fig:visualization}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%まず，Vanillaモデルに関して，$v_\mathit{word}$の結果に着目すると，フレームごとに事例がまとまる傾向は見られるものの，たとえば，\textsc{Self\_motion}フレームや\textsc{Experiencer\_obj}フレームの事例は2つの大きなグループに分かれており，\textsc{Removing}フレームの事例もかなり散在しており，フレームごとに十分にまとまっているとはいえない．また，$v_\mathit{mask}$の結果を見ると，$v_\mathit{word}$の結果より，さらに事例が全体的に散在する傾向が確認できる．$v_\mathit{w+m}$に関しては，$v_\mathit{word}$と$v_\mathit{mask}$に比べて，同じフレームの事例がまとまる傾向が確認でき，両方の埋め込みを考慮する利点があることを示している．次に，AdaCosモデルとTripletモデルの$v_\mathit{word}$は，Vanillaモデルの$v_\mathit{word}$と比較して，意味フレームごとで事例がまとまっていることが確認できる．特に，Vanillaモデルでは識別困難であった\textsc{Placing}フレームや\textsc{Filling}フレームのような類似した意味のフレームの事例に対しても，ある程度識別可能であるような事例の分布になっていることが確認された．しかし，これらのモデルの$v_\mathit{word}$は，同じ意味フレームごとでまとまっているが，その中で事例の塊のようなものが観測される．これは深層距離学習によるfine-tuningよって，動詞の埋め込み表現がその表層情報を考慮しすぎていることを示唆している．AdaCosモデルとTripletモデルの$v_\mathit{mask}$の結果を見ると，Vanillaモデルの$v_\mathit{mask}$よりは事例が意味フレームごとにまとまっている傾向は確認できるものの，これらのモデルの$v_\mathit{word}$ほど意味フレームごとにまとまらなかった．これは，$v_\mathit{mask}$を獲得する際のトークンがすべて同じ``[MASK]''トークンであるため，学習が難しいことが要因であると考えられる．AdaCosモデルとTripletモデルの$v_\mathit{w+m}$に関しては，他の埋め込み表現と比較して，最もフレームごとに事例ごとにまとまっており，その有用性が確認できる．AdaCosモデルとTripletモデルによる結果を比較すると，全体的に類似した事例の分布になっており，これは共に距離を学習している点は変わらないため，類似した埋め込み空間になっていると考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}
本論文では，文脈化単語埋め込みを深層距離学習に基づきfine-tuningすることで高性能な意味フレーム推定手法が可能となることを示した．fine-tuningしたモデルの中では，Triplet，ArcFace，AdaCosモデルが全体的に高いスコアを達成しており，意味フレーム推定における有用性が確認された．特に，Tripletモデルにおいては，少量の学習事例数でもVanillaモデルと比較して，かなり性能が向上することから，人手で作成された意味フレームリソースが存在しないような言語に対しても意味フレームリソース構築へ有用であることが期待できる．また，fine-tuningしたモデルを利用する際には，2段階クラスタリングの手法だけではなく，1段階クラスタリングの手法も有用であることが明らかとなった．本研究の最終目標は，大規模なテキストコーパスから意味フレームを自動的に構築することである．この目標を達成するためには，テキスト中の動詞を，その動詞が喚起するフレームごとにまとめる動詞の意味フレーム推定だけでなく，その項となる語句もその役割ごとにグループ化するフレーム要素推定も必要である．フレーム要素推定においても，動詞の項となる語句の役割を表現する埋め込み空間を獲得できれば実現可能であるため，本研究で提案した深層距離学習によるfine-tuningが有効である可能性は高いと考えられる．また，FrameNet内で実験を行うだけではなく，実際に大規模なテキストコーパスにおいて，本手法を適用することで，意味フレームリソースの構築を行うことを考えている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\acknowledgment本研究は，JST創発的研究支援事業JPMJFR216N，およびJSPS科研費21K12012と23KJ1052の支援を受けたものである．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\bibliographystyle{jnlpbbl_1.7}\bibliography{01refs}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{biography}\bioauthor{山田康輔}{%2021年名古屋大学大学院情報学研究科博士前期課程修了．同年，同大学院同研究科博士後期課程に進学．2022年より日本学術振興会特別研究員(DC2)．}\bioauthor{笹野遼平}{%2009年東京大学大学院情報理工学系研究科博士課程修了．京都大学特定研究員，東京工業大学助教を経て，2017年より名古屋大学准教授．博士（情報理工学）．2019年より理化学研究所AIPセンター客員研究員を兼任．}\bioauthor{武田浩一}{%1983年京都大学大学院工学研究科情報工学専攻修士課程修了．同年日本アイ・ビー・エム株式会社に入社．2017年より名古屋大学教授．博士（情報学）．}\end{biography}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\biodate\end{document}