人は言葉を理解するとき，これまでの経験から得た単語の背景知識を利用している．たとえば，動詞「振る舞う」において，「シェフが料理を振る舞う」と言われれば「誰かが誰かに何らかの料理を提供している」状況を想像し，「紳士のように振る舞う」と言われれば「誰かがある特定の様子で行動している」状況を想像する．人はこれらの「振る舞う」の意味の違いをその前後の文脈によって理解し，さらに「``誰かに''提供している」や「``誰かが''行動している」のような状況を理解するのに必要とされる事柄を補完して，これらの言葉を理解している．フレーム知識とは，このような単語の背景知識を，同じ状況を想起させる語と状況の記述に必要な要素を含んだ意味フレームの形式でまとめたものである．その代表的なリソースの1つとして，FrameNet\cite{baker1998,ruppenhofer2016}が存在する．これはFillmoreが提唱するフレーム意味論\cite{fillmore1982}に基づいたフレーム知識リソースである．FrameNetは，テキスト中の単語に対してフレームやフレーム要素のラベル付けを行う意味解析器の構築\cite{das-etal-2014-frame,swayamdipta2017frame}に加え，イベント検出\cite{liu-etal-2016-leveraging}や関係抽出\cite{zhao2020cfsre}のような情報抽出に関するシステム構築などに利用される．しかし，FrameNetは人手で整備されていることから，語彙やフレームのカバレッジに限界がある．このため，大規模なテキストコーパスから自動的に動詞のフレーム知識を構築する取り組みが行われている\cite{kawahara2014,ustalov2018}．しかしながら，これらの手法では，大規模コーパスから動詞とその項を収集し，それらの表層的な情報に基づきクラスタリングをしているため，動詞や項の出現する文脈を十分に考慮できていない．そこで，本研究では，文脈を考慮した単語埋め込みを活用することで，より高品質なフレーム知識の自動構築の実現を目指す．フレーム知識を自動構築するためには，動詞の意味フレーム推定とフレーム要素推定が必要となるが，本論文では，最初の段階である動詞の意味フレーム推定に焦点を当てる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[b]\input{05table01.tex}\caption{FrameNetにおける動詞「get」と「acquire」の用例と各動詞が喚起するフレーム（括弧内）．}\label{tab:examples}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%動詞の意味フレーム推定は，テキスト中の動詞を，その動詞が喚起する意味フレームごとにまとめるタスクである．本論文では，FrameNetで定義されている意味フレームごとに，動詞の用例をクラスタリングすることで本タスクを実現する．たとえば，表\ref{tab:examples}の(1)～(4)に示す動詞「get」と「acquire」の用例の場合，\{(1)\},\{(2)\},\{(3),(4)\}の3つのクラスタにまとめることを目標とする．本タスクの大きな特徴の1つとして，同じ動詞の用例であってもその動詞が示す状況が異なる場合，それらは異なるフレームを喚起し，異なる動詞の用例であってもそれらの動詞が類似した状況を示す場合，それらは同じフレームを喚起することが挙げられる．動詞の意味フレーム推定タスクに対して，すでにELMo\cite{peters2018}やBERT\cite{devlin2019}などの文脈化単語埋め込みを用いたクラスタリング手法が提案されている．たとえば，SemEval2019における動詞の意味フレーム推定の共有タスク\cite{qasemizadeh2019}では，ベースラインを超えた3グループ\cite{arefyev2019,anwar2019,ribeiro2019}はいずれも，推定対象動詞の文脈化単語埋め込みを用いて，動詞全体で一度にクラスタリングを行っている．しかしながら，このような手法には大きく2つの欠点がある．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[b]\begin{center}\includegraphics{29-2ia5f1.pdf}\end{center}\hangcaption{動詞「get」と「acquire」の文脈化単語埋め込みの2次元マッピング．左図が動詞の通常の埋め込み，右図がマスクされた動詞の埋め込みによる結果である．2つの図の間にある括弧付きの数字は表\ref{tab:examples}の用例に対応し，$+$と$\bullet$はそれぞれ動詞「get」と「acquire」の埋め込み，各色は{\color[HTML]{ecaa0a}\textbf{Arriving}}，{\color[HTML]{0da579}\textbf{Transition\_to\_state}}，{\color[HTML]{57c3f5}\textbf{Getting}}フレームを示す．}\label{fig:visualization}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%1つ目の欠点は，フレーム推定対象となる動詞の表層的な情報を過度に考慮してしまうことである．表\ref{tab:examples}の動詞「get」のように，一部の動詞は文脈により異なるフレームを喚起する．しかし，文脈化単語埋め込みはその単語の表層情報も含むことから，同じ動詞の埋め込みは文脈が異なっていたとしても類似する傾向がある．このため，文脈化単語埋め込みに基づくクラスタリングを行うとき，異なる意味の動詞の用例であっても同じ動詞であれば，1つのクラスタにまとめられてしまう事例が多い．たとえば，FrameNetから動詞「get」と「acquire」の用例を抽出し，事前学習済みBERT\cite{devlin2019}を用いて「get」と「acquire」の文脈化単語埋め込みを獲得し，t-SNE\cite{maaten2008}によって2次元にマッピングした結果を図\ref{fig:visualization}左に示す．「get」が喚起するフレームのうちGettingフレームを喚起する「get」の埋め込みは，同じくGettingフレームを喚起する「acquire」の埋め込みに近い位置に分布する傾向はあるものの，動詞ごとにまとまって分布する傾向が強いことが確認できる．本研究ではこの問題を解消するため，フレーム推定対象の動詞をマスクしたときの文脈化単語埋め込みを利用する手法を提案する．具体的には，推定対象の動詞を``[MASK]''に置き換えたときの文脈化単語埋め込みを利用する．図\ref{fig:visualization}左と同様にして，マスクされた動詞の文脈化単語埋め込みを2次元にマッピングした結果を図\ref{fig:visualization}右に示す．マスクを用いた埋め込みの場合，動詞の表層的な情報が限定的となり，同じフレームを喚起する動詞の埋め込みが近い位置に分布することが確認できる．2つ目の欠点は，同じ動詞が喚起するフレームの異なり数は数個程度と限定的であるにも関わらず，その動詞の用例が多くの異なるクラスタに分かれる事例が多いことである．これは，動詞の埋め込みが外れ値となる場合，それぞれ別のクラスタに属するようにクラスタリングされるためである．このような事態を避けるため，本研究ではまず動詞ごとに用例のクラスタリングを行った後，フレーム単位でまとめるために動詞横断的にクラスタリングを行う2段階クラスタリング手法を提案する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%