\section{はじめに}
人は言葉を理解するとき，これまでの経験から得た単語の背景知識を利用している．たとえば，動詞「振る舞う」において，「シェフが料理を振る舞う」と言われれば「誰かが誰かに何らかの料理を提供している」状況を想像し，「紳士のように振る舞う」と言われれば「誰かがある特定の様子で行動している」状況を想像する．人はこれらの「振る舞う」の意味の違いをその前後の文脈によって理解し，さらに「``誰かに''提供している」や「``誰かが''行動している」のような状況を理解するのに必要とされる事柄を補完して，これらの言葉を理解している．フレーム知識とは，このような単語の背景知識を，同じ状況を想起させる語と状況の記述に必要な要素を含んだ意味フレームの形式でまとめたものである．その代表的なリソースの1つとして，FrameNet\cite{baker1998,ruppenhofer2016}が存在する．これはFillmoreが提唱するフレーム意味論\cite{fillmore1982}に基づいたフレーム知識リソースである．FrameNetは，テキスト中の単語に対してフレームやフレーム要素のラベル付けを行う意味解析器の構築\cite{das-etal-2014-frame,swayamdipta2017frame}に加え，イベント検出\cite{liu-etal-2016-leveraging}や関係抽出\cite{zhao2020cfsre}のような情報抽出に関するシステム構築などに利用される．しかし，FrameNetは人手で整備されていることから，語彙やフレームのカバレッジに限界がある．このため，大規模なテキストコーパスから自動的に動詞のフレーム知識を構築する取り組みが行われている\cite{kawahara2014,ustalov2018}．しかしながら，これらの手法では，大規模コーパスから動詞とその項を収集し，それらの表層的な情報に基づきクラスタリングをしているため，動詞や項の出現する文脈を十分に考慮できていない．そこで，本研究では，文脈を考慮した単語埋め込みを活用することで，より高品質なフレーム知識の自動構築の実現を目指す．フレーム知識を自動構築するためには，動詞の意味フレーム推定とフレーム要素推定が必要となるが，本論文では，最初の段階である動詞の意味フレーム推定に焦点を当てる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[b]\input{05table01.tex}\caption{FrameNetにおける動詞「get」と「acquire」の用例と各動詞が喚起するフレーム（括弧内）．}\label{tab:examples}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%動詞の意味フレーム推定は，テキスト中の動詞を，その動詞が喚起する意味フレームごとにまとめるタスクである．本論文では，FrameNetで定義されている意味フレームごとに，動詞の用例をクラスタリングすることで本タスクを実現する．たとえば，表\ref{tab:examples}の(1)～(4)に示す動詞「get」と「acquire」の用例の場合，\{(1)\},\{(2)\},\{(3),(4)\}の3つのクラスタにまとめることを目標とする．本タスクの大きな特徴の1つとして，同じ動詞の用例であってもその動詞が示す状況が異なる場合，それらは異なるフレームを喚起し，異なる動詞の用例であってもそれらの動詞が類似した状況を示す場合，それらは同じフレームを喚起することが挙げられる．動詞の意味フレーム推定タスクに対して，すでにELMo\cite{peters2018}やBERT\cite{devlin2019}などの文脈化単語埋め込みを用いたクラスタリング手法が提案されている．たとえば，SemEval2019における動詞の意味フレーム推定の共有タスク\cite{qasemizadeh2019}では，ベースラインを超えた3グループ\cite{arefyev2019,anwar2019,ribeiro2019}はいずれも，推定対象動詞の文脈化単語埋め込みを用いて，動詞全体で一度にクラスタリングを行っている．しかしながら，このような手法には大きく2つの欠点がある．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[b]\begin{center}\includegraphics{29-2ia5f1.pdf}\end{center}\hangcaption{動詞「get」と「acquire」の文脈化単語埋め込みの2次元マッピング．左図が動詞の通常の埋め込み，右図がマスクされた動詞の埋め込みによる結果である．2つの図の間にある括弧付きの数字は表\ref{tab:examples}の用例に対応し，$+$と$\bullet$はそれぞれ動詞「get」と「acquire」の埋め込み，各色は{\color[HTML]{ecaa0a}\textbf{Arriving}}，{\color[HTML]{0da579}\textbf{Transition\_to\_state}}，{\color[HTML]{57c3f5}\textbf{Getting}}フレームを示す．}\label{fig:visualization}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%1つ目の欠点は，フレーム推定対象となる動詞の表層的な情報を過度に考慮してしまうことである．表\ref{tab:examples}の動詞「get」のように，一部の動詞は文脈により異なるフレームを喚起する．しかし，文脈化単語埋め込みはその単語の表層情報も含むことから，同じ動詞の埋め込みは文脈が異なっていたとしても類似する傾向がある．このため，文脈化単語埋め込みに基づくクラスタリングを行うとき，異なる意味の動詞の用例であっても同じ動詞であれば，1つのクラスタにまとめられてしまう事例が多い．たとえば，FrameNetから動詞「get」と「acquire」の用例を抽出し，事前学習済みBERT\cite{devlin2019}を用いて「get」と「acquire」の文脈化単語埋め込みを獲得し，t-SNE\cite{maaten2008}によって2次元にマッピングした結果を図\ref{fig:visualization}左に示す．「get」が喚起するフレームのうちGettingフレームを喚起する「get」の埋め込みは，同じくGettingフレームを喚起する「acquire」の埋め込みに近い位置に分布する傾向はあるものの，動詞ごとにまとまって分布する傾向が強いことが確認できる．本研究ではこの問題を解消するため，フレーム推定対象の動詞をマスクしたときの文脈化単語埋め込みを利用する手法を提案する．具体的には，推定対象の動詞を``[MASK]''に置き換えたときの文脈化単語埋め込みを利用する．図\ref{fig:visualization}左と同様にして，マスクされた動詞の文脈化単語埋め込みを2次元にマッピングした結果を図\ref{fig:visualization}右に示す．マスクを用いた埋め込みの場合，動詞の表層的な情報が限定的となり，同じフレームを喚起する動詞の埋め込みが近い位置に分布することが確認できる．2つ目の欠点は，同じ動詞が喚起するフレームの異なり数は数個程度と限定的であるにも関わらず，その動詞の用例が多くの異なるクラスタに分かれる事例が多いことである．これは，動詞の埋め込みが外れ値となる場合，それぞれ別のクラスタに属するようにクラスタリングされるためである．このような事態を避けるため，本研究ではまず動詞ごとに用例のクラスタリングを行った後，フレーム単位でまとめるために動詞横断的にクラスタリングを行う2段階クラスタリング手法を提案する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
FrameNetなどのフレーム知識リソースの構築や拡張は，人手で整備されていることから多大なコストがかかる．このため，大規模なテキストコーパスからフレーム知識を自動構築する取り組みが行われている．Kawaharaらは大規模なWebコーパスから動詞とその項を抽出し，ChineseRestaurantProcess\cite{aldous1985}を用いて，動詞ごとに意味の類似した項をまとめるクラスタリングを行うことで，動詞の意味フレームを獲得している\cite{kawahara2014}．また，Ustalovらは大規模コーパスから動詞，主語，目的語から成る3つ組を収集し，それらの3つ組の文脈を考慮しない単語埋め込みを連結した表現に基づき，グラフベースのクラスタリングを行うことで実現している\cite{ustalov2018}．しかし，これらの手法は，大規模コーパスから動詞とその項を収集し，動詞や項の表層的な意味に基づきクラスタリングを行っているため，動詞や項の文脈による意味の違いをほとんど考慮できていない．本研究で使用するように，文脈化単語埋め込みを利用することで，より高品質なフレーム知識の自動構築が期待できる．フレーム知識の自動構築において，文脈化単語埋め込みを利用した取り組みが行われている．SemEval2019の共有タスク\cite{qasemizadeh2019}では，動詞の意味フレーム推定や項の意味役割推定に対し，ELMoやBERTから獲得した文脈化単語埋め込みを用いた手法が提案されている．特に，動詞の意味フレーム推定に関して，Arefyevら\cite{arefyev2019}，Anwarら\cite{anwar2019}，Ribeiroら\cite{ribeiro2019}による手法が高いパフォーマンスを示すと報告されている．Arefyevらは，推定対象の動詞のBERTから獲得した埋め込みを基に階層型クラスタリングを行い，その後，BERTを用いて対象動詞の言い換え単語を推定し，それらの単語を用いて各クラスタを2分するクラスタリングを行っている．この手法は，本研究の提案手法と同様に2段階でクラスタリングしているが，1段階目に動詞横断的なクラスタリングを行っており，我々が指摘する欠点を持つ．Anwarらは，skip-gram\cite{mikolov2013}による推定対象動詞の埋め込みと文全体の埋め込みを連結した表現を用いて階層型クラスタリングを行っている．Anwarらは共有タスクのスコア提出後に，ELMoから獲得した埋め込みを用いた同様のモデルを検討し，skip-gramを用いたときより高いスコアが得られたと報告している．Ribeiroらは，推定対象動詞のELMoによる文脈化単語埋め込みを基に，グラフベースのクラスタリング\cite{biemann2006}を行っている．文脈化単語埋め込みは，動詞の意味フレーム推定タスクと類似した語義推定タスクにおいても有用であることが報告されている．Amramiらは，ELMoを用いて語義推定対象語の言い換え候補となる語の出現確率を算出し，それに基づき語義を推定している\cite{amrami2018}．Arefyevらは，推定対象語の前後の文脈情報をより考慮することで，Amramiらの手法を改善している\cite{arefyev2019b}．また，AmramiらはELMoをBERTに置き換えることで，さらに高いパフォーマンスが得られたと報告している\cite{amrami2019}．語義推定は同じ語の意味を識別するタスクであるため，意味の似た異なる動詞をまとめることは考慮されていない．このため，これらの手法を動詞の意味フレーム推定に直接適用することは容易でない．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}
本研究では，動詞の意味フレーム推定において，文脈化単語埋め込みとして動詞をマスクした場合の埋め込みを利用し，動詞ごとの用例クラスタリングと動詞横断クラスタリングの2段階でクラスタリングを行う手法を提案する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{マスクされた単語の埋め込みの利用}動詞の意味フレーム推定に用いる埋め込みとして，従来手法で使用された推定対象動詞の文脈化単語埋め込みに加え，その動詞をマスクした場合の文脈化単語埋め込みを利用する．近年，BERTなどの多くの事前学習済みモデル\cite{devlin2019,liu2019,lan2019,he2020deberta}では，テキストの一部の単語を特殊トークンである``[MASK]''などに置き換え，周囲の文脈からそのマスクされた単語の元単語を推定するマスク単語穴埋めタスクによる事前学習が行われている．この事前学習により，マスクされた単語埋め込みは，表層的な情報を抑えつつ周囲の文脈を考慮した埋め込みが獲得できていると考えられ，動詞横断的にフレームを推定する際に有用であることが期待される．本研究では，文脈化単語埋め込みとしてBERTを利用する．BERTはYamadaら\cite{yamada-etal-2021-verb}の文脈化単語埋め込みを用いた動詞のフレーム識別実験において高い評価スコアを獲得しており，本研究においても有用と考えられる．具体的には，以下の3種類の文脈化単語埋め込みを考える．\begin{description}\item[$v_{\textsc{word}}$:]フレーム推定対象動詞の通常の文脈化単語埋め込み\item[$v_{\textsc{mask}}$:]フレーム推定対象動詞を``[MASK]''に置き換えた場合の文脈化単語埋め込み\item[$v_{\textsc{w+m}}$:]式(\ref{eq:wm})で定義される上記2つの加重平均\begin{equation}v_{\textsc{w+m}}=(1-\alpha)\cdotv_{\textsc{word}}+\alpha\cdotv_{\textsc{mask}}\label{eq:wm}\end{equation}\end{description}$v_{\textsc{w+m}}$は推定対象動詞をマスクした場合と，しない場合の文脈化単語埋め込みの加重平均である．開発セットを用いて重み$\alpha$を適切に設定することにより，推定対象動詞の表層的な情報と周辺文脈から得られる情報を適切に考慮した埋め込みが得られることを期待している．$v_{\textsc{w+m}}$は，$\alpha$が0のときに$v_{\textsc{word}}$と一致し，$\alpha$が1のときに$v_{\textsc{mask}}$と一致する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{2段階クラスタリング}動詞の意味フレーム推定で行うクラスタリングとして，1段階目に動詞ごとの用例クラスタリング，2段階目に動詞横断クラスタリングを行う2段階クラスタリングを提案する．1段階目のクラスタリングでは，同じ意味の同じ動詞の用例をまとめたクラスタが得られる．その後，2段階目のクラスタリングでは，同じ意味の異なる動詞の用例をまとめたクラスタが得られ，クラスタはFrameNetの意味フレームと対応するものとする．1段階目のクラスタリングにおいて各動詞の用例を少数の意味ごとのクラスタにまとめておくことで，同じ動詞の用例が多くの異なるクラスタに分割しないことを期待している．図\ref{fig:method}に動詞「get」と「acquire」の用例を2段階クラスタリングしたときの流れを示す．この例では，まず，1段階目のクラスタリングを行い，「get」の用例は3つのクラスタ，「acquire」の用例は1つのクラスタにまとめられている．次に，1段階目でまとめられたクラスタ内で埋め込みの平均を算出し，2段階目のクラスタリングで用いる埋め込みを作成している．最後に，2段階目のクラスタリングを行い，「get」のクラスタのうちの1つと「acquire」のクラスタがマージされ，3つのクラスタとなっている．以下では，各クラスタリングの詳細について説明する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.2\begin{figure}[t]\begin{center}\includegraphics{29-2ia5f2.pdf}\end{center}\hangcaption{2段階クラスタリングの流れ．左上，左下図はそれぞれ動詞「get」と「acquire」を対象とした1段階目の動詞ごとの用例クラスタリング，中図は1段階目のクラスタリングで構築したクラスタ内の埋め込みの平均の算出，右図は2段階目の動詞横断クラスタリングを示している．各図における$+$と$\bullet$は用例中の「get」と「acuquire」の埋め込みを表す．}\label{fig:method}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{1.動詞ごとの用例クラスタリング}1段階目のクラスタリングは，各動詞の用例をその動詞の意味ごとにまとめることを目的とする．このクラスタリングの対象となる動詞は共通であるため，文脈化単語埋め込みとして$v_{\textsc{word}}$を用いる場合と，$v_{\textsc{mask}}$を用いる場合で結果に大きな違いはないと考えられる\footnote{実際に本研究で行った実験では，スコアの差はほとんど見られなかった．}．このため，1段階目のクラスタリングでは$v_{\textsc{mask}}$のみを用いる．クラスタリング手法は，X-means\cite{pelleg2000}，またはユークリッド距離に基づく群平均法による階層型クラスタリングを用いる．X-meansは，全ての用例を1つのクラスタにした状態から，クラスタ数2のK-meansを繰り返し行い，ベイズ情報量基準(BIC)\cite{schwarz1978}に基づき自動的にクラスタリングを終了する手法である．一方，群平均法は，クラスタ間の全要素ペアの平均距離をクラスタ間距離として定義し，クラスタ間距離の小さいクラスタペアから順にマージする手法であるが，自動的にクラスタ数を決められない．このため，群平均法ではクラスタリングの終了基準が必要である．本研究では，クラスタ間距離が閾値$\theta$以下となるクラスタペアがなくなった時点を終了基準とする．閾値$\theta$は全動詞で共有され，十分に大きな値に設定した場合，すべての動詞のクラスタはそれぞれ1つとなる．閾値$\theta$を十分に大きな値から徐々に小さくしていき，全動詞のクラスタ数の平均が，開発セットにおける各動詞が喚起するフレームの異なり数の平均と最も近い値に設定する．FrameNet\cite{baker1998,ruppenhofer2016}では，意味フレームとそのフレームを喚起する語を結び付けたものを語彙項目(LexicalUnit;LU)と呼ぶ．動詞「get」の場合，get-Arriving，get-Transition\_to\_state，get-GettingがLUにあたる．1段階目のクラスタリングにより構築されたクラスタは，各動詞の用例を，その動詞が喚起するフレームごとにまとめたものであることから，各クラスタはLUに対応する集合とみなすことができる．そこで，本研究では1段階目のクラスタリングで構築されたクラスタを疑似LU(pseudo-LU;pLU)と呼ぶことにする．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{2.動詞横断クラスタリング}2段階目のクラスタリングでは，1段階目のクラスタリングで構築されたpLUに対して，動詞横断的にクラスタリングすることで，同じ意味フレームを喚起する異なる動詞の用例をまとめることを目的とする．ここでは，まず，pLUごとに動詞の埋め込みの平均を算出する．その後，得られた埋め込みに基づき，動詞横断的にクラスタリングを行う．クラスタリング手法は，ユークリッド距離に基づく群平均法，またはウォード法による階層型クラスタリングを用いる．これらの手法は共にクラスタリングの終了基準が必要である．単純な基準として，フレーム数と動詞数の比率を用いることが考えられるが，フレームの種類数は上限があり，フレーム数は動詞数に対して線形に増加しないため，終了基準として適切ではない．そこで，本研究では，開発セットにおける同じフレームに属するLUペアの割合と，同じクラスタに属するpLUペアの割合を用いた基準を提案する．具体的には，pLUペアが同じクラスタに属する割合$P_{\textsc{c}_1=\textsc{c}_2}$が，開発セットにおけるLUペアが同じフレームに属する割合$P_{\textsc{f}_1=\textsc{f}_2}$以上となった時点でクラスタリングを終了する．$P_{\textsc{f}_1=\textsc{f}_2}$は式(\ref{eq:p})により算出される．一方，$P_{\textsc{c}_1=\textsc{c}_2}$も同様に計算できるが，全てのpLUペア数はクラスタリングの段階に依らず一定であるのに対し，同じクラスタに属するpLUペア数はクラスタリングが進むにつれて単調増加し，全体が1つのクラスタとなった時点で1となる．このため，クラスタリングの過程で$P_{\textsc{f}_1=\textsc{f}_2}$以上の値となることが保証される．また，無作為に抽出したLUペアが同じフレームに属する確率はデータサイズに依らないことから，このような基準はテストセットのサイズに依らず有効であると考えられる．\begin{equation}p_{\textsc{f}_1=\textsc{f}_2}=\frac{\mbox{\small同じフレームに属するLUペア数}}{\mbox{\small全てのLUペア数}}\label{eq:p}\end{equation}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験}
\label{sec:experiment}マスクされた単語埋め込みと2段階クラスタリングを用いた提案手法の有用性を確認するため，動詞の意味フレーム推定タスクによる実験を行った．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{実験設定}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{データセット}FrameNet1.7\footnote{\url{https://framenet.icsi.berkeley.edu/fndrupal/}}\cite{ruppenhofer2016}から，\pagebreakいずれかのフレームにおいて20件以上の用例が存在する動詞，および該当するLUの用例を抽出し，実験に使用した．LUごとの用例数は上限100件とし，それを越える場合は無作為に100件を選択し用いた．全部で1272動詞が抽出され，そのうち20\%の255動詞を開発セット，残りの1017動詞をテストセットとして使用した．この際，文脈に応じて異なるフレームを喚起する動詞\footnote{全1272動詞の約14\%にあたる178動詞がそれに該当した．}の割合が開発セットとテストセットで一致するように注意した．なお，開発セットは$v_{\textsc{w+m}}$の重み$\alpha$\footnote{0から1まで0.1刻みで探索した．}，クラスタ数，および文脈化単語埋め込みとして使用するBERTの層の決定に利用した\footnote{提案モデルの多くは11層目が選択された．}．表\ref{tab:dataset}に作成したデータセットの統計値を示す．全体のフレーム数が開発セットとテストセットのフレーム数の和より小さな数になっているのは，開発セットとテストセットは動詞単位で分割していることから，それぞれに含まれるフレームは一部重複するためである．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table2\begin{table}[b]\input{05table02.tex}\caption{FrameNetを用いたデータセット}\label{tab:dataset}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{評価尺度}評価尺度として，B-CubedPrecision\textsc{(BcP})，B-CubedRecall(\textsc{BcR})，およびその調和平均であるB-CubedF-score(\textsc{BcF})\cite{bagga1998}と，Purity(\textsc{Pu})，InversePurity(\textsc{iPu})，およびその調和平均であるF-score(\textsc{PiF})\cite{zhao2001}の6つを利用した．B-Cubedはクラスタ集合とラベル集合のサンプルの分布に着目した評価指標である．クラスタにラベルを割り当てず，サンプルごとでPrecisionとRecallを計算し，その調和平均によってクラスタリング評価を行う．Purityはクラスタが単一のラベルで占められている度合い，InversePurityは単一のラベルが1つのクラスタに集中している度合いを評価する指標である．SemEval2019の共有タスク\cite{qasemizadeh2019}では，\textsc{BcF}を基準にシステムの順位を決定している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{比較モデル}提案手法では，文脈化単語埋め込みとしてHuggingFaceが公開しているTransformers\footnote{\url{https://github.com/huggingface/transformers}}\cite{wolf-etal-2020-transformers}に含まれる事前学習済みのBERT(bert-base-uncased)を利用した\footnote{BERT(bert-large-uncased)はBERT(bert-base-uncased)と比較して，スコアが少し高かったが，全体の傾向は変わらなかったため，BERT(bert-base-uncased)を利用した．また，他の文脈化単語埋め込みに関しては，Yamadaら\cite{yamada-etal-2021-verb}の研究が参考になる．}．クラスタリング手法に関しては，1段階目のクラスタリングとして群平均法による階層型クラスタリングまたはX-meansの2種類を，2段階目のクラスタリングとしてウォード法または群平均法による階層型クラスタリングの2種類をそれぞれ利用し，これらの組み合わせた計4種類のモデルを比較した．また，各動詞の用例集合をそれぞれ1クラスタとして扱うモデル(1-cluster-per-verb;1cpv)，各動詞の用例集合をそれぞれ1クラスタ(1cpv')とした上で，2段階目のクラスタリングを行うモデルとも比較した．SemEval2019の共有タスクのスコアの高かった上位3つの従来研究のモデルとの比較も行った．Arefyevらは，推定対象動詞のBERTの埋め込みを用いて，そのコサイン類似度に基づく群平均法による階層型クラスタリングを行った後に，BERTを用いて獲得した推定対象動詞の言い換え単語によるtf-idfベースの特徴量を作成して，各クラスタを2分するクラスタリングを行っている\cite{arefyev2019}．また，開発時とテスト時の差をなくすために，開発セットとテストセットを統合してクラスタリングを行っている．開発時には，開発セットのフレームラベルのみを用い，1段階目のクラスタリング終了基準となるクラスタ数と，使用するBERTの埋め込みの層を\textsc{BcF}を基準に決定している．Anwarらは，skip-gramで推定対象動詞の埋め込みと文全体の埋め込みを連結した表現を用い，そのマンハッタン距離に基づく群平均法による階層型クラスタリングを行っている\cite{anwar2019}．開発時には，クラスタリング終了基準となるクラスタ間距離を\textsc{BcF}を基に決定している．Rebeiroらは，推定対象動詞のELMoの埋め込みを獲得し，ChineseWhispers\cite{biemann2006}によるグラフクラスタリングを行っている\cite{ribeiro2019}．ChineseWhispersはクラスタ数を自動的に決定する手法であるため，開発セットによるハイパーパラメータを調整する必要はない．さらに，2段階クラスタリングの有用性を確認するため，1段階でクラスタリングを行うモデルとの比較も行った．1段階クラスタリングに基づくモデルでは，提案モデルと同様に，文脈化単語埋め込みとして$v_{\textsc{w+m}}$を使用し，重み$\alpha$を開発セットにより調整し，ウォード法または群平均法による階層型クラスタリングを用いた．ここで指定したクラスタ数は，データセット中のフレーム数とし，クラスタ数がフレーム数と一致した時点でクラスタリングを終了した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{実験結果}表\ref{tab:result}に実験結果を示す．SemEval2019の共有タスクにおいてシステムの順位付けに使用された\textsc{BcF}で比較した場合，1段階目にX-means，2段階目に群平均法を用いた手法のスコアが63.4となり，全手法の中で最も高いスコアを達成した．\textsc{PiF}においても最も高いスコアである71.9を達成しており，有用な手法であるといえる．また，2段階目のクラスタリングの終了基準に関しても，テストセット中のフレーム数は393であるのに対してクラスタ数は410であり，有効に機能していることが確認できる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table3\begin{table}[t]\input{05table03.tex}\hangcaption{動詞の意味フレーム推定実験の結果．$\alpha$は$v_{\textsc{w+m}}$の重み，\#pLUは1段階目のクラスタリング後のpLU数，\#Cは最終的に得られたクラスタ数を表す．}\label{tab:result}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{マスクされた単語の埋め込みの有用性}2段階クラスタリングに基づくモデルの多くは$\alpha$が0.0と1.0以外の値となっていることから，$v_{\textsc{word}}$と$v_{\textsc{mask}}$の両方を考慮することの有効性が確認できる．また，多くのモデルで$\alpha$は1.0に近い値となっており，2段階目の動詞横断クラスタリングにおいて$v_{\textsc{mask}}$が有用であることがわかる．一方，1段階クラスタリングに基づくモデルにおける$v_{\textsc{w+m}}$は，$\alpha$が0.0で$v_{\textsc{word}}$と同等な埋め込みとなっている．すなわち，用例全体でクラスタリングする場合，$v_{\textsc{mask}}$の有用性は確認できなかった．これは動詞全体で一度にクラスタリングを行う場合，異なる動詞の用例をまとめることよりも，同じ動詞の用例をまとめることを優先した方がスコアが高くなるためであると考えられる．また，$v_{\textsc{mask}}$は同じ``[MASK]''トークンの埋め込みであることから，$v_{\textsc{word}}$と比較して多くの動詞の埋め込みが類似していると考えられる．このため，異なる意味の動詞の用例であっても同じクラスタに含まれる傾向がある．加えて，1段階クラスタリングでは，類似した用例集合による動詞の埋め込みの平均ではなく，単独の動詞の埋め込みを利用するため，その影響をより受けやすくなっていると考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{2段階クラスタリングの有用性}2段階目に群平均法を用いたモデルのスコアが全体的に高く，1段階でクラスタリングを行う手法と比較しても10ポイント前後高いスコアを達成している．このことから2段階クラスタリングが有用であるといえる．1段階目のクラスタリングに関して，1cpv'の後に群平均法を利用するモデルよりも，X-meansの後に群平均法を利用したモデルのスコアが2.9ポイント高いことが確認できる．ただし，1段階目に群平均法，2段階目に群平均法を利用したモデルは，1cpv'の後に群平均法を利用するモデルよりも0.4ポイント低く，必ずしも1段階目のクラスタリングが有用であるという結果は得られなかった．しかしながら，本実験では，用例数の少ないLUを利用していないことから全体的に複数のフレームを喚起しうる動詞が少なくなっているが，実際に大規模なテキストコーパスからフレーム知識を構築する場面では，文脈に応じて意味の異なる動詞の数が増えるため，1段階目のクラスタリングが有用となる可能性があると考えている．これらのクラスタリング法について，\ref{sec:discussion_1step}節においても言及する．2段階目のクラスタリングに関して，2段階目にウォード法を用いたモデルは，2段階目に群平均法を用いたモデルより10ポイント以上低いスコアとなっている．これは本タスクで構築したいクラスタとウォード法から構築するクラスタの傾向が異なることが要因であると考えられる．ウォード法では，クラスタサイズの大きいクラスタペアほど結合しにくくなる特徴により，同程度のサイズのクラスタを多く構築する傾向がある．一方で，FrameNetにおけるそれぞれのフレームを喚起する動詞数の分布はロングテールとなっている．これらの違いがスコアの低下につながっていると考えられる．このことについて，\ref{sec:discussion_2step}節でさらに言及する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{提案手法によって得られたクラスタの例}提案手法によって構築されたクラスタが意味フレームをどれほど表現できているかを確認するために，実験で最もスコアの高かった，1段階目にX-means，2段階目に群平均法を用いたモデルによるクラスタリング結果の一部を示す．表\ref{tab:examples_cluster_xmeans_ga}に，クラスタ内の合計動詞数の多い上位5クラスタを示し，また，表\ref{tab:examples_frame_xmeans_ga}に，データセット中のフレーム内の合計動詞数の多い上位5フレームを示す．表\ref{tab:examples_cluster_xmeans_ga}より，クラスタ内の合計動詞数の最も多いクラスタIDが139のクラスタでは，自ら移動することを意味するSelf\_motionフレームを喚起する動詞の用例を中心にクラスタが構築されていることが確認できる．Self\_motionフレームはデータセットにおいて最も多くの種類の動詞が喚起するフレームであり，それを反映したクラスタリング結果が得られている．他のフレームに関して，MotionフレームはSelf\_motionフレームの上位フレーム\footnote{FrameNetでは，一部のフレーム間に継承などの階層関係が定義されている．詳しくはRuppenhoferらの文献に記載されている\cite{ruppenhofer2016}．}であり，また，Operate\_vehicle，Motion\_noise，Body\_movementフレームの上位フレームでもある．すなわち，このクラスタはSelf\_motionフレーム，およびそのフレームと関係の深いフレームを喚起する動詞の用例がまとまっていることを意味し，動詞の意味に合わせてクラスタが構築できていることがわかる．また，表\ref{tab:examples_frame_xmeans_ga}にSelf\_motionフレームを喚起する動詞の用例の属しているクラスタを示しているが，クラスタIDが139のクラスタにおいて，Self\_motionフレームが付与された動詞71個のうち57個をまとめることに成功していることが確認された．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table4\begin{table}[t]\input{05table04.tex}\hangcaption{1段階目にX-means，2段階目に群平均法を用いたモデルによるクラスタリング結果．クラスタ内の合計動詞数の多い上位5クラスタを示す．クラスタ内で最も動詞数の多いフレームをそのクラスタの代表フレームとし，$^\dag$は代表フレームの上位にあたるフレーム，$^\ddag$は代表フレームと下位にあたるフレーム，$^{\dag\dag}$は代表フレームと共通の上位フレームを持つフレームであることを意味する．}\label{tab:examples_cluster_xmeans_ga}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table5\begin{table}[t]\input{05table05.tex}\hangcaption{1段階目にX-means，2段階目に群平均法を用いたモデルによるクラスタリング結果．FrameNetを用いたデータセット中のフレーム内の合計動詞数の多い上位5フレームを示す．}\label{tab:examples_frame_xmeans_ga}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%表\ref{tab:examples_cluster_xmeans_ga}より，クラスタIDが232のクラスタはクラスタ内の用例中の動詞はすべて同じExperiencer\_objフレームを喚起するものとなっており，フレームに対応したクラスタが形成されていることが確認できる．このように，単独のフレームに対応したクラスタが形成された理由は2つあると考えられる．1つは，Experiencer\_objフレームは何らかの事象により人などの生物が感情を引き起こすことを意味するフレームであるが，上位下位関係にあるフレームが感情に関するEmotionsフレームのみであり関係の深いフレームが少ないことである．このため，フレームの曖昧さによる影響を受けづらい．もう1つは，このフレームを喚起する動詞は感情に関するもののみであることから，動詞そのものの意味が類似しているものが多く，また，構文が類似する傾向がある．このような理由で，Experiencer\_objフレームを喚起する動詞の文脈化単語埋め込みの類似度が高いと考えられる．また，表\ref{tab:examples_frame_xmeans_ga}からExperiencer\_objフレームが付与された動詞47個のうち35個をまとめており，適切にクラスタが構築できていることがわかる．Experiencer\_objフレームは，Self\_motionフレームより最大クラスタに属さない動詞も他のクラスタでまとまる傾向が見られるため，他のフレームより推定しやすいフレームであると考えられる．表\ref{tab:examples_cluster_xmeans_ga}より，クラスタIDが319のクラスタはStatementフレームを喚起する動詞を中心にクラスタが形成されている．しかし，このクラスタでは15種類のフレームがそれぞれ付与された動詞の用例がクラスタ内に含まれている．これには大きく2つの理由が考えられる．1つは，クラスタIDが139のクラスタと同様に，クラスタ内の代表的なフレームと関係の深いフレームが同じクラスタとしてまとまってしまったという理由である．Statementフレームは話し手から聞き手に向けてメッセージを伝えることを意味するフレームであるが，クラスタ内に含まれているReveal\_secret，Complaining，Affirm\_or\_deny，Tellingフレームは，Statementフレームの下位の関係にあたり，より具体的な状況を意味することから同じクラスタに属していると考えられる．もう1つは，1段階目のクラスタリングにおいて，同じ動詞の用例間のフレームを識別できず，異なるフレームを喚起する動詞の用例を1つのクラスタにまとめてしまい，最終的に同じクラスタになったという理由である．このクラスタでは，動詞「say」，「suggest」，「mention」，「confide」，「urge」，「argue」，「conclude」がそれに該当する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{1段階目のクラスタリングに関する考察}\label{sec:discussion_1step}2段階クラスタリングにおいて，2段階目に群平均法を用いたモデルのスコアが高い傾向にあった．その1段階目のクラスタリング手法を比較すると，群平均法を用いたモデルは，X-meansを用いたモデルよりもスコアが低く，1cpv'モデルと同等のスコアを示すことが確認された．これには大きく2つの理由が考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.3\begin{figure}[b]\begin{center}\includegraphics{29-2ia5f3.pdf}\end{center}\hangcaption{1段階目に群平均法（左）またはX-means（右），2段階目に群平均法を用いたモデルのクラスタリング結果を付与した，動詞「lead」のマスクされた動詞のBERTから獲得した埋め込みのt-SNEによる2次元マッピング．各色は{\color[HTML]{57c3f5}\textbf{Leadership}}，{\color[HTML]{ecaa0a}\textbf{Cotheme}}フレームを示し，数字は2段階クラスタリングによって得られた最終的なクラスタのクラスタIDを示す．}\label{fig:lead}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%1つは，外れ値の影響を受けたクラスタを構築する傾向があることである．たとえば，図\ref{fig:lead}にクラスタリング結果を付与した，動詞「lead」の埋め込みのt-SNEによる2次元マッピングを示す．図\ref{fig:lead}からわかるように，X-meansを用いたモデルは動詞が喚起するフレームごとに適切にクラスタが構築されている．一方で，群平均法を用いたモデルは2つのクラスタがあるものの，片方はほとんどの用例が1つのクラスタにまとまっており，適切にクラスタが構築されていない．これは群平均法がクラスタを結合する際に，クラスタサイズを考慮しないことが要因である可能性が高い．群平均法を用いたモデルでは，このような事例が複数確認されたことから，スコアが低くなっていると考えられる．もう1つは，特定のフレームしか喚起しない動詞であるにも関わらず，その動詞の用例が複数のクラスタに分かれてしまうことである．実験に用いたテストセットの中には，特定のフレームしか喚起しない動詞が875個存在する．X-meansを用いた場合，875個全ての動詞において，その用例がそれぞれ1つのクラスタにまとまった一方で，群平均法を用いた場合，87個の動詞でその用例が複数のクラスタに分かれた．これは郡平均法におけるクラスタ数の決定方法に影響されていると考えられる．郡平均法では，各動詞が喚起するフレームの異なり数の平均を基準としてクラスタリングを終了させているため，ある動詞のフレームの識別度合いが他の動詞のフレーム識別に影響を及ぼす．たとえば，複数の意味を持つ動詞の意味フレームを識別できずに1つのクラスタとなった場合，特定の意味しか持たない動詞のクラスタが分割される可能性が高い．このため，1段階目に群平均法を用いたモデルのスコアが低くなっていると考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{2段階目のクラスタリングに関する考察}\label{sec:discussion_2step}2段階クラスタリング手法では，2段階目にウォード法を用いたモデルの方が，2段階目に群平均法を用いたモデルよりも全体的にスコアが低くなった．この1つの要因として，各クラスタの大きさが，データセット中の各フレームの傾向を十分に反映していないことが考えられる．具体的には，各クラスタに含まれる動詞数の分布が，データセット中の各フレームを喚起する動詞数の分布とは異なっていると考えられる．これを検証するために，1段階目にX-means，2段階目にウォード法または群平均法を用いたモデルを使用し，得られた各クラスタの動詞数の分布とデータセット中の各フレームを喚起する動詞数の分布と比較した．図\ref{fig:ranking}にデータセット中の各フレームを喚起する動詞の異なり数と，2つのモデルによって得られた各クラスタに含まれる動詞数の分布を示す．縦軸は各フレームを喚起する動詞数および各クラスタに含まれる動詞の異なり数，横軸はそれらを動詞数が多い順に並び替えたときの順位を示している．各フレームを喚起する動詞数の多い上位5フレームは，表\ref{tab:examples_frame_xmeans_ga}に示すように，Self\_motion，Experiencer\_obj，Statement，Body\_movement，Placingフレームである．これらのフレームを喚起する動詞はそれぞれ71個，47個，26個，26個，24個存在する．また，1段階目にX-means，2段階目に群平均法を用いたモデルでは，クラスタ内に含まれる動詞数の多い上位5クラスタは，表\ref{tab:examples_cluster_xmeans_ga}に示すように，クラスタIDが139，232，319，146，309のクラスタである．これらのクラスタに含まれる動詞はそれぞれ65個，35個，24個，23個，18個存在する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.4\begin{figure}[t]\begin{center}\includegraphics{29-2ia5f4.pdf}\end{center}\hangcaption{FrameNetを用いたデータセット中の各フレームを喚起する動詞の異なり数，および1段階目にX-means，2段階目にウォード法または群平均法を用いたモデルによる各クラスタ内の動詞数．縦軸は各フレームを喚起する動詞の異なり数および各クラスタに含まれる動詞数，横軸はそれらを動詞数が多い順に並び替えたときの順位を示している．}\label{fig:ranking}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%図\ref{fig:ranking}からわかるように，2段階目に群平均法を用いたモデルによる各クラスタ内の動詞数の分布が，データセット中の各フレームを喚起する動詞の異なり数の分布とかなり類似している．一方，2段階目にウォード法を用いたモデルによる各クラスタに含まれる動詞数の分布は，データセット中の各フレームを喚起する動詞の異なり数の分布と異なることがわかる．これらの結果から，ウォード法はクラスタ内の動詞数が多いほど他のクラスタと結合しづらくなるため，このタスクには適しておらず，群平均法のようなクラスタ内の動詞数を考慮しない手法が動詞横断的なクラスタリングにおいて有用であると考えられる．
\section{おわりに}
本研究では，動詞の意味フレーム推定において，マスクされた単語の埋め込みと2段階クラスタリングを用いた手法を提案した．FrameNetを用いた評価実験を行い，提案手法が従来手法より高いスコアを達成できることを示し，提案手法の有用性を確認した．具体的には，マスクされた単語埋め込みを用いることによって，同じフレームを喚起する異なる動詞の用例をよりまとめられるようになること，また，2段階クラスタリングによって，同じ動詞の用例が多くのクラスタに分割されることを防ぐことを示した．本研究の最終目標は，実用的な意味処理を支援するために，大規模コーパスからフレーム知識を自動構築することである．フレーム知識を自動構築するためには，動詞の意味フレーム推定に加えて，フレーム要素推定が必要となる．従来研究\cite{kawahara2014,ustalov2018}におけるフレーム要素は，動詞に対して同じ依存関係ラベルが付与されたものとしている．しかし，動詞との依存関係が同じ語であっても意味役割の異なるものや，依存関係が異なっていても意味役割が同じものは存在する．文脈化単語埋め込みは周囲の文脈を考慮していることから，意味役割の違いを認識し，このような事例に対応できる可能性がある．今後の課題として，依存関係ラベルより的確な単位である意味役割に基づいたフレーム要素の推定手法を検討したい．また，本研究ではFrameNetを用いたデータセットに対する動詞の意味フレーム推定に取り組んでいる．しかし，大規模コーパスに対して，提案手法を単純に適用できるとは限らない．たとえば，FrameNetの用例は，フレームや意味役割が人手でラベル付けされたものであるが，大規模コーパスの中には人手でさえラベル付けることが難しい事例が存在すると考えられる．このような事例の対処法を検討したい．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\acknowledgment本論文の一部は，The59thAnnualMeetingoftheAssociationforComputationalLinguisticsandthe11thInternationalJointConferenceonNaturalLanguageProcessingで発表したものである\cite{yamada-etal-2021-semantic}．また，本研究の一部はJSPS科研費21K12012の助成，および，JST及び名古屋大学による名古屋大学融合フロンティアフェローシップの支援を受けたものである．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\bibliographystyle{jnlpbbl_1.6}\bibliography{05refs}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{biography}\bioauthor{山田康輔}{%2021年名古屋大学大学院情報学研究科博士前期課程修了．同年，同大学院同研究科博士後期課程に進学．2022年より日本学術振興会特別研究員(DC2)．}\bioauthor{笹野遼平}{%2009年東京大学大学院情報理工学系研究科博士課程修了．京都大学特定研究員，東京工業大学助教を経て，2017年より名古屋大学准教授．博士（情報理工学）．2019年より理化学研究所AIPセンター客員研究員を兼任．}\bioauthor{武田浩一}{%1983年京都大学大学院工学研究科情報工学専攻修士課程修了．同年日本アイ・ビー・エム株式会社に入社．2017年より名古屋大学教授．博士（情報学）．}\end{biography}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\biodate\clearpage\clearpage\end{document}