# マスクされた単語埋め込みと 2 段階クラスタリングを用いた 動詞の意味フレーム推定

山田 康輔 $\dagger$ ・笹野 遼平 $\dagger,+\dagger$ ・武田 浩一 $\dagger$
}

近年, 動詞の意味フレーム推定タスクでは, 推定対象の動詞の文脈化単語埋め込み に基づき，動詞全体で一度にクラスタリングを行う手法がいくつか提案されている。 しかし, このような手法には大きく 2 の欠点が存在する. 1 つは動詞の表層的な 情報を過度に考慮するため, 意味の似た異なる動詞の用例をまとめづらいこと，も う 1 つは同じ動詞の用例がその動詞自身が持つ意味の異なり数以上のクラスタに分割されることである。本論文では，これらの欠点を克服するために，マスクされた 単語埋め込みと 2 段階クラスタリングを用いた動詞の意味フレーム推定手法を提案 する. FrameNetを用いた実験を通し，マスクされた単語埋め込みを活用することが 動詞の表層的な情報に強く依存したクラスタの構築を抑制し，また， 2 段階のクラ スタリングを行うことで各動詞の用例が属するクラスタの異なり数を適正化できる ことを示す.

キーワード : 意味フレーム推定, マスクされた単語埋め込み, 文脈化単語埋め込み, FrameNet
## Semantic Frame Induction using Masked Word Embeddings and Two-Step Clustering

\author{
Kosuke Yamada $^{\dagger}$, Ryohei Sasano ${ }^{\dagger}{ }^{\dagger \dagger}$ and Koich Takeda ${ }^{\dagger}$
}

Recent studies on semantic frame induction show that relatively high performance has been achieved by using clustering-based methods with contextualized word embeddings. However, there are two potential drawbacks to these methods: one is that they focus too much on the superficial information of the frame-evoking verb and the other is that they tend to divide the instances of the same verb into too many different frame clusters. To overcome these drawbacks, we propose a semantic frame induction method using masked word embeddings and two-step clustering. Through experiments on the dataset from the English FrameNet, we demonstrate that using the masked word embeddings is effective for avoiding too much reliance on the surface information of frame-evoking verbs and that two-step clustering can improve the number of resulting frame clusters for the instances of the same verb.

Key Words: Semantic Frame Induction, Masked Word Embeddings, Contexutualized Word Embeddings, FrameNet


## 1 はじめに

人は言葉を理解するとき，これまでの経験から得た単語の背景知識を利用している。たとえば，動詞「振る舞う」において，「シェフが料理を振る舞う」と言われれば「誰かが誰かに何らかの料理を提供している」状況を想像し，「紳士のように振る舞う」と言われれば「誰かがある特定の様子で行動している」状況を想像する，人はこれらの「振る舞う」の意味の違いをその前後の文脈によって理解し，さらに「“誰かに”提供している」や「“誰かが”行動している」 のような状況を理解するのに必要とされる事柄を補完して，これらの言葉を理解している。フレーム知識とは, このような単語の背景知識を, 同じ状況を想起させる語と状況の記述に必要な要素を含んだ意味フレームの形式でまとめたものである。その代表的なリソースの1つとして, FrameNet (Baker et al. 1998; Ruppenhofer et al. 2016) が存在する.これは Fillmore が提唱するフレーム意味論 (Fillmore 1982) に基づいたフレーム知識リソースである. FrameNet は, テキスト中の単語に対してフレームやフレーム要素のラベル付けを行う意味解析器の構築 (Das et al. 2014; Swayamdipta et al. 2017) に加え，イベント検出 (Liu et al. 2016) や関係抽出 (Zhao et al. 2020)のような情報抽出に関するシステム構築などに利用される.

しかし, FrameNet は人手で整備されていることから, 語彙やフレームのカバレッジに限界がある.このため, 大規模なテキストコーパスから自動的に動詞のフレーム知識を構築する取り組みが行われている (Kawahara et al. 2014; Ustalov et al. 2018)。しかしながら，これらの手法では, 大規模コーパスから動詞とその項を収集し, それらの表層的な情報に基づきクラスタリングをしているため, 動詞や項の出現する文脈を十分に考慮できていない. そこで，本研究では，文脈を考慮した単語埋め达みを活用することで，より高品質なフレーム知識の自動構築の実現を目指す.フレーム知識を自動構築するためには，動詞の意味フレーム推定とフレーム要素推定が必要となるが, 本論文では, 最初の段階である動詞の意味フレーム推定に焦点を当てる.

動詞の意味フレーム推定は，テキスト中の動詞を，その動詞が喚起する意味フレームごとにまとめるタスクである。本論文では, FrameNetで定義されている意味フレームごとに, 動詞の用例をクラスタリングすることで本タスクを実現する。たとえば，表 1 の (1)〜 (4) に示す動詞「get」と「acquire」の用例の場合, $\{(1)\},\{(2)\},\{(3),(4)\}$ の 3 つのクラスタにまとめることを目標とする。本タスクの大きな特徴の1つとして, 同じ動詞の用例であってもその動詞が示す

表 1 FrameNet における動詞「get」と「acquire」の用例と各動詞が喚起するフレーム（括弧内）．
状況が異なる場合，それらは異なるフレームを喚起し，異なる動詞の用例であってもそれらの動詞が類似した状況を示す場合，それらは同じフレームを喚起することが挙げられる。

動詞の意味フレーム推定タスクに対して， すでに ELMo (Peters et al. 2018) や BERT (Devlin et al. 2019) などの文脈化単語埋め込みを用いたクラスタリング手法が提案されている。たとえば，SemEval2019における動詞の意味フレーム推定の共有タスク (QasemiZadeh et al. 2019)では，ベースラインを超えた 3 グループ (Arefyev et al. 2019a; Anwar et al. 2019; Ribeiro et al. 2019) はいずれも，推定対象動詞の文脈化単語埋め込みを用いて，動詞全体で一度にクラスタリングを行っている。しかしながら，このような手法には大きく 2 つの欠点がある.

1つ目の欠点は，フレーム推定対象となる動詞の表層的な情報を過度に考慮してしまうことである．表 1 の動詞「get」のように，一部の動詞は文脈により異なるフレームを喚起する。しかし, 文脈化単語埋め込みはその単語の表層情報も含むことから, 同じ動詞の埋め込みは文脈が異なっていたとしても類似する傾向がある。このため, 文脈化単語埋め込みに基づくクラスタリングを行うとき，異なる意味の動詞の用例であっても同じ動詞であれば，1つのクラス夕にまとめられてしまう事例が多い。たとえば，FrameNetから動詞「get」と「acquire」の用例を抽出し, 事前学習済み BERT (Devlin et al. 2019) を用いて「get」と「acquire」の文脈化単語埋め込みを獲得し, t-SNE (Maaten and Hinton 2008) によって 2 次元にマッピングした結果を図 1 左に示す.「get」が喚起するフレームのうち Getting フレームを喚起する「get」の埋め込みは,

図 1 動詞「get」と「acquire」の文脈化単語埋め込みの 2 次元マッピング. 左図が動詞の通常の埋め込み，右図がマスクされた動詞の埋め込みによる結果である．2つの図の間にある括弧付きの数字は表 1 の用例に対応し, +と・はそれぞれ動詞「get」と「acquire」の埋め込み, 各色は Arriving, Transition_to_state, Getting フレームを示す.
同じくGetting フレームを喚起する「acquire」の埋め込みに近い位置に分布する傾向はあるものの，動詞ごとにまとまって分布する傾向が強いことが確認できる。本研究ではこの問題を解消するため，フレーム推定対象の動詞をマスクしたときの文脈化単語埋め込みを利用する手法を提案する，具体的には，推定対象の動詞を“[MASK]” に置き換えたときの文脈化単語埋め込みを利用する。図 1 左と同様にして，マスクされた動詞の文脈化単語埋め込みを 2 次元にマッピングした結果を図 1 右に示す。マスクを用いた埋め込みの場合，動詞の表層的な情報が限定的となり，同じフレームを喚起する動詞の埋め込みが近い位置に分布することが確認できる.

2 つ目の欠点は, 同じ動詞が喚起するフレームの異なり数は数個程度と限定的であるにも関わらず，その動詞の用例が多くの異なるクラスタに分かれる事例が多いことである。これは，動詞の埋め込みが外れ值となる場合，それぞれ別のクラスタに属するようにクラスタリングされるためである．このような事態を避けるため，本研究ではまず動詞ごとに用例のクラスタリングを行った後，フレーム単位でまとめるために動詞横断的にクラスタリングを行う 2 段階クラスタリング手法を提案する。

## 2 関連研究

FrameNet などのフレーム知識リソースの構築や拡張は, 人手で整備されていることから多大なコストがかかる．このため，大規模なテキストコーパスからフレーム知識を自動構築する取り組みが行われている. Kawahara らは大規模な Webコーパスから動詞とその項を抽出し, Chinese Restaurant Process (Aldous 1985)を用いて，動詞ごとに意味の類似した項をまとめるクラスタリングを行うことで，動詞の意味フレームを獲得している (Kawahara et al. 2014). また, Ustalov らは大規模コーパスから動詞，主語，目的語から成る 3 つ組を収集し，それらの 3 つ組の文脈を考慮しない単語埋め込みを連結した表現に基づき，グラフベースのクラスタリングを行うことで実現している (Ustalov et al. 2018). しかし, これらの手法は, 大規模コーパスから動詞とその項を収集し，動詞や項の表層的な意味に基づきクラスタリングを行っているため, 動詞や項の文脈による意味の違いをほとんど考慮できていない。本研究で使用するように，文脈化単語埋め込みを利用することで，より高品質なフレーム知識の自動構築が期待できる.

フレーム知識の自動構築において, 文脈化単語埋め込みを利用した取り組みが行われている. SemEval2019 の共有タスク (QasemiZadeh et al. 2019)では，動詞の意味フレーム推定や項の意味役割推定に対し, ELMo や BERT から獲得した文脈化単語埋め込みを用いた手法が提案されている. 特に, 動詞の意味フレーム推定に関して, Arefyev ら (Arefyev et al. 2019a), Anwar ら (Anwar et al. 2019), Ribeiro ら (Ribeiro et al. 2019)による手法が高いパフォーマンスを示すと報告されている. Arefyev らは, 推定対象の動詞の BERT から獲得した埋め込みを基に階層型クラスタリングを行い，その後，BERT を用いて対象動詞の言い換え単語を推定し，それら

の単語を用いて各クラスタを 2 分するクラスタリングを行っている. この手法は, 本研究の提案手法と同様に 2 段階でクラスタリングしているが，1 段階目に動詞横断的なクラスタリングを行っており，我々が指摘する欠点を持つ. Anwar らは, skip-gram (Mikolov et al. 2013) による推定対象動詞の埋め込みと文全体の埋め込みを連結した表現を用いて階層型クラスタリングを行っている。 Anwar らは共有タスクのスコア提出後に，ELMoから獲得した埋め込みを用いた同様のモデルを検討し， skip-gram を用いたときより高いスコアが得られたと報告している． Ribeiro らは，推定対象動詞の ELMo による文脈化単語埋め込みを基に，グラフベースのクラスタリング (Biemann 2006) を行っている.

文脈化単語埋め込みは，動詞の意味フレーム推定タスクと類似した語義推定タスクにおいても有用であることが報告されている．Amrami らは，ELMoを用いて語義推定対象語の言い換え候補となる語の出現確率を算出し，それに基づき語義を推定している (Amrami and Goldberg 2018). Arefyev らは，推定対象語の前後の文脈情報をより考慮することで，Amrami らの手法を改善している (Arefyev et al. 2019b)。また, Amrami らは ELMoを BERT に置き換えることで，さらに高いパフォーマンスが得られたと報告している (Amrami and Goldberg 2019). 語義推定は同じ語の意味を識別する夕スクであるため，意味の似た異なる動詞をまとめることは考慮されていない。このため, これらの手法を動詞の意味フレーム推定に直接適用することは容易でない.

## 3 提案手法

本研究では，動詞の意味フレーム推定において，文脈化単語埋め込みとして動詞をマスクした場合の埋め込みを利用し, 動詞ごとの用例クラスタリングと動詞横断クラスタリングの 2 段階でクラスタリングを行う手法を提案する。

## 3.1 マスクされた単語の埋め込みの利用

動詞の意味フレーム推定に用いる埋め込みとして，従来手法で使用された推定対象動詞の文脈化単語埋め込みに加え, その動詞をマスクした場合の文脈化単語埋め込みを利用する。近年, BERT などの多くの事前学習済みモデル (Devlin et al. 2019; Liu et al. 2019; Lan et al. 2020; He et al. 2020) では，テキストの一部の単語を特殊トークンである“[MASK]”などに置き換え，周囲の文脈からそのマスクされた単語の元単語を推定するマスク単語穴埋めタスクによる事前学習が行われている。この事前学習により，マスクされた単語埋め込みは，表層的な情報を抑えつつ周囲の文脈を考慮した埋め込みが獲得できていると考えられ，動詞横断的にフレームを推定する際に有用であることが期待される。

本研究では, 文脈化単語埋め込みとして BERT を利用する. BERT は Yamada ら (Yamada
et al. 2021b) の文脈化単語埋め込みを用いた動詞のフレーム識別実験において高い評価スコアを獲得しており, 本研究においても有用と考えられる。具体的には, 以下の 3 種類の文脈化単語埋め込みを考える。

$v_{\text {word }}$ ：フレーム推定対象動詞の通常の文脈化単語埋め込み

$v_{\text {mask }}$ フレーム推定対象動詞を“[MASK]”に置き換えた場合の文脈化単語埋め込み

$v_{\mathbf{w}+\mathbf{m}}$ : 式 (1) で定義される上記 2 つの加重平均

$
v_{\mathrm{W}+\mathrm{M}}=(1-\alpha) \cdot v_{\mathrm{WORD}}+\alpha \cdot v_{\mathrm{MASK}}
$

$v_{\mathrm{W}+\mathrm{M}}$ は推定対象動詞をマスクした場合と, しない場合の文脈化単語埋め込みの加重平均である.開発セットを用いて重み $\alpha$ を適切に設定することにより，推定対象動詞の表層的な情報と周辺文脈から得られる情報を適切に考慮した埋め込みが得られることを期待している． $v_{\mathrm{W}+\mathrm{M}}$ は， $\alpha$ が 0 のときに $v_{\mathrm{WORD}}$ と一致し， $\alpha$ が 1 のときに $v_{\mathrm{MASK}}$ と一致する.

## 3.22 段階クラスタリング

動詞の意味フレーム推定で行うクラスタリングとして，1段階目に動詞ごとの用例クラスタリング， 2 段階目に動詞横断クラスタリングを行う 2 段階クラスタリングを提案する. 1 段階目のクラスタリングでは，同じ意味の同じ動詞の用例をまとめたクラスタが得られる．その後, 2 段階目のクラスタリングでは，同じ意味の異なる動詞の用例をまとめたクラスタが得られ，クラスタは FrameNet の意味フレームと対応するものとする。1 段階目のクラスタリングにおいて各動詞の用例を少数の意味ごとのクラスタにまとめておくことで, 同じ動詞の用例が多くの異なるクラスタに分割しないことを期待している.

図 2 に動詞「get」と「acquire」の用例を 2 段階クラスタリングしたときの流れを示す.この例では，まず，1 段階目のクラスタリングを行い，「get」の用例は 3 つのクラスタ，「acquire」の用例は 1 つのラスタにまとめられている。次に，1段階目でまとめられたクラスタ内で埋め込みの平均を算出し， 2 段階目のクラスタリングで用いる埋め込みを作成している. 最後に, 2 段階目のクラスタリングを行い,「get」のクラスタのうちの1つと「acquire」のクラスタがマー ジされ, 3 つのクラスタとなっている. 以下では, 各クラスタリングの詳細について説明する.

1. 動詞ごとの用例クラスタリング 1段階目のクラスタリングは, 各動詞の用例をその動詞の意味ごとにまとめることを目的とする。このクラスタリングの対象となる動詞は共通であるため, 文脈化単語埋め込みとして $v_{\text {WORD }}$ を用いる場合と， $v_{\text {MASK }}$ を用いる場合で結果に大きな違いはないと考えられる 1 .このため，1 段階目のクラスタリングでは $v_{\text {MASK}}$ のみを用いる. クラスタリング手法は, X-means (Pelleg and Moore 2000), またはユークリッド距離に基づく群平均


1段階目：動詞ごとの用例クラスタリング

## 2段階目：動詞横断 クラスタリング

図 22 段階クラスタリングの流れ. 左上, 左下図はそれぞれ動詞「get」と「acquire」を対象とした 1 段階目の動詞ごとの用例クラスタリング, 中図は 1 段階目のクラスタリングで構築したクラスタ内の埋め込みの平均の算出, 右図は 2 段階目の動詞横断クラスタリングを示している. 各図における + と・は用例中の「get」と「acuquire」の埋め込みを表す.

法による階層型クラスタリングを用いる．X-means は，全ての用例を 1 つのクラスタにした状態から，クラスタ数 2 の K-means を繰り返し行い，ベイズ情報量基準 (BIC) (Schwarz 1978) に基づき自動的にクラスタリングを終了する手法である。一方, 群平均法は, クラスタ間の全要素ぺアの平均距離をクラスタ間距離として定義し, クラスタ間距離の小さいクラスタペアから順にマージする手法であるが，自動的にクラス夕数を決められない。このため，群平均法ではクラスタリングの終了基準が必要である。本研究では, クラスタ間距離が間値 $\theta$ 以下となるクラスタペアがなくなった時点を終了基準とする。閥値 $\theta$ は全動詞で共有され，十分に大きな值に設定した場合，すべての動詞のクラスタはそれぞれ 1 つとなる. 閾値 $\theta$ を十分に大きな値から徐々に小さくしていき, 全動詞のクラスタ数の平均が, 開発セットにおける各動詞が喚起するフレームの異なり数の平均と最も近い值に設定する.

FrameNet (Baker et al. 1998; Ruppenhofer et al. 2016) では，意味フレームとそのフレームを喚起する語を結び付けたものを語彙項目 (Lexical Unit; LU) と呼ぶ．動詞「get」の場合, get-

Arriving, get-Transition_to_state, get-Getting がLUにあたる. 1段階目のクラスタリングにより構築されたクラスタは, 各動詞の用例を，その動詞が喚起するフレームごとにまとめたものであることから，各クラス夕は LUに対応する集合とみなすことができる。 そこで，本研究では 1 段階目のクラスタリングで構築されたクラスタを疑似 LU (pseudo-LU; pLU) と呼ぶことにする。

2. 動詞横断クラスタリング 2 段階目のクラスタリングでは, 1 段階目のクラスタリングで構築された $\mathrm{pLU}$ に対して, 動詞横断的にクラスタリングすることで, 同じ意味フレームを喚起する異なる動詞の用例をまとめることを目的とする。ここでは，まず，pLUごとに動詞の埋め込みの平均を算出する. その後, 得られた埋め込みに基づき, 動詞横断的にクラスタリングを行う．クラスタリング手法は，ユークリッド距離に基づく群平均法，またはウォード法による階層型クラスタリングを用いる.

これらの手法は共にクラスタリングの終了基準が必要である。単純な基準として，フレーム数と動詞数の比率を用いることが考えられるが，フレームの種類数は上限があり，フレーム数は動詞数に対して線形に増加しないため, 終了基準として適切ではない. そこで, 本研究では, 開

割合を用いた基準を提案する。具体的には, $\mathrm{pLU}$ ぺアが同じクラスタに属する割合 $P_{\mathrm{C}_{1}=\mathrm{C}_{2}}$ が,開発セットにおける $\mathrm{LU}$ ペアが同じフレームに属する割合 $P_{\mathrm{F}_{1}=\mathrm{F}_{2}}$ 以上となった時点でクラスタリングを終了する． $P_{\mathrm{F}_{1}=\mathrm{F}_{2}}$ は式 $(2)$ により算出される。一方, $P_{\mathrm{C}_{1}=\mathrm{C}_{2}}$ も同様に計算できるが, 全ての $\mathrm{pLU} ゚ ア$ 数はクラスタリングの段階に依らず一定であるのに対し, 同じクラスタに属する $\mathrm{pLU}$ ペア数はクラスタリングが進むにつれて単調増加し，全体が1つのクラスタとなった時点で 1 となる.このため, クラスタリングの過程で $P_{\mathrm{F}_{1}=\mathrm{F}_{2}}$ 以上の値となることが保証される。また，無作為に抽出した LUペアが同じフレームに属する確率はデータサイズに依らないことから, このような基準はテストセットのサイズに依らず有効であると考えられる.

$
p_{\mathrm{F}_{1}=\mathrm{F}_{2}}=\frac{\text { 同じフレームに属する } \mathrm{LU} \text { ペア数 }}{\text { 全ての } \mathrm{LU} \text { ペア数 }}
$

## 4 実験

マスクされた単語埋め込みと 2 段階クラスタリングを用いた提案手法の有用性を確認するため，動詞の意味フレーム推定タスクによる実験を行った。

## 4.1 実験設定

データセット FrameNet $1.7^{2}$ (Ruppenhofer et al. 2016) から，いずれかのフレームにおいて 20

件以上の用例が存在する動詞，および該当する $\mathrm{LU}$ の用例を抽出し，実験に使用した．LUごとの用例数は上限 100 件とし，それを越える場合は無作為に 100 件を選択し用いた。全部で 1272 動詞が抽出され，そのうち $20 \%$ の 255 動詞を開発セット，残りの 1017 動詞をテストセットとして使用した。この際，文脈に応じて異なるフレームを喚起する動詞 ${ }^{3}$ 割合が開発セットとテストセットで一致するように注意した，なお，開発セットは $v_{\mathrm{w}+\mathrm{M}}$ の重み $\alpha^{4}$ ，クラスタ数，および文脈化単語埋め达みとして使用する BERT の層の決定に利用した 5 . 表 2 に作成したデー タセットの統計値を示す。全体のフレーム数が開発セットとテストセットのフレーム数の和より小さな数になっているのは, 開発セットとテストセットは動詞単位で分割していることから, それぞれに含まれるフレームは一部重複するためである。

評価尺度評価尺度として， B-Cubed Precision (BCP), B-Cubed Recall (BCR)，およびその調和平均である B-Cubed F-score (BCF) (Bagga and Baldwin 1998) と, Purity (PU), Inverse Purity (IPU)，およびその調和平均である F-score (PIF) (Zhao and Karypis 2001)の6つを利用した．B-Cubed はクラスタ集合とラベル集合のサンプルの分布に着目した評価指標である。 クラスタにラベルを割り当てず，サンプルごとで Precision と Recallを計算し，その調和平均によってクラスタリング評価を行う．Purity はクラスタが単一のラベルで占められている度合い， Inverse Purity は単一のラベルが1つのクラスタに集中している度合いを評価する指標である. SemEval2019 の共有タスク (QasemiZadeh et al. 2019)では，BCF を基準にシステムの順位を決定している.

比較モデル提案手法では，文脈化単語埋め込みとして Hugging Face が公開している Transformers $^{6}$ (Wolf et al. 2020) に含まれる事前学習済みの BERT (bert-base-uncased) を利用した 7 . クラスタリング手法に関しては，1 段階目のクラスタリングとして群平均法による階層型クラスタリングまたは X-means の 2 種類を，2 段階目のクラスタリングとしてウォード法または

表 2 FrameNet を用いたデータセット

群平均法による階層型クラスタリングの 2 種類をそれぞれ利用し, これらの組み合わせた計 4 種類のモデルを比較した。また，各動詞の用例集合をそれぞれ1クラスタとして扱うモデル (1-cluster-per-verb; 1cpv), 各動詞の用例集合をそれぞれ 1 クラスタ (1cpv')とした上で， 2 段階目のクラスタリングを行うモデルとも比較した.

SemEval2019 の共有タスクのスコアの高かった上位 3 つの従来研究のモデルとの比較も行った. Arefyevらは，推定対象動詞の BERT の埋め込みを用いて，そのコサイン類似度に基づく群平均法による階層型クラスタリングを行った後に，BERT を用いて獲得した推定対象動詞の言い換え単語による tf-idf ベースの特徴量を作成して，各クラスタを 2 分するクラスタリングを行っている (Arefyev et al. 2019a). また，開発時とテスト時の差をなくすために，開発セットとテストセットを統合してクラスタリングを行っている。開発時には，開発セットのフレームラベルのみを用い，1段階目のクラスタリング終了基準となるクラスタ数と，使用する BERT の埋め込みの層を BCF を基準に決定している. Anwar らは, skip-gram で推定対象動詞の埋め込みと文全体の埋め込みを連結した表現を用い，そのマンハッタン距離に基づく群平均法による階層型クラスタリングを行っている (Anwar et al. 2019). 開発時には，クラスタリング終了基準となるクラスタ間距離を BCF を基に決定している. Rebeiro らは，推定対象動詞の ELMoの埋め込みを獲得し, Chinese Whispers (Biemann 2006)によるグラフクラスタリングを行っている (Ribeiro et al. 2019). Chinese Whispers はクラスタ数を自動的に決定する手法であるため,開発セットによるハイパーパラメータを調整する必要はない.

さらに，2 段階クラスタリングの有用性を確認するため，1段階でクラスタリングを行うモデルとの比較も行った，1段階クラスタリングに基づくモデルでは，提案モデルと同様に，文脈化単語埋め込みとして $v_{\mathrm{W}+\mathrm{M}}$ を使用し，重み $\alpha$ を開発セットにより調整し， ウォード法または群平均法による階層型クラスタリングを用いた。ここで指定したクラスタ数は, データセット中のフレーム数とし, クラスタ数がフレーム数と一致した時点でクラスタリングを終了した.

## 4.2 実験結果

表 3 に実験結果を示す. SemEval2019の共有タスクにおいてシステムの順位付けに使用された BCF で比較した場合，1段階目にX-means, 2 段階目に群平均法を用いた手法のスコアが 63.4 となり，全手法の中で最も高いスコアを達成した，PIFにおいても最も高いスコアである 71.9 を達成しており, 有用な手法であるといえる。また，2 段階目のクラスタリングの終了基準に関しても，テストセット中のフレーム数は 393 であるのに対してクラスタ数は 410 であり，有効に機能していることが確認できる.

マスクされた単語の埋め込みの有用性 2 段階クラスタリングに基づくモデルの多くは $\alpha$ が 0.0 と 1.0 以外の値となっていることから， $v_{\mathrm{WORD}}$ と $v_{\mathrm{MASK}}$ の両方を考慮することの有効性が確認できる。また，多くのモデルで $\alpha$ は 1.0 に近い値となっており，2 段階目の動詞横断クラスタリン

} & 1 段階目 & 2 段階目 & & & & & \\

表 3 動詞の意味フレーム推定実験の結果． $\alpha$ は $v_{\mathrm{w}+\mathrm{M}}$ の重み，\# $\mathrm{pLU}$ は 1 段階目のクラスタリング後の $\mathrm{pLU}$ 数, $\# \mathrm{C}$ は最終的に得られたクラスタ数を表す.

グにおいて $v_{\mathrm{MASK}}$ が有用であることがわかる.

一方，1段階クラスタリングに基づくモデルにおける $v_{\mathrm{W}+\mathrm{M}}$ は， $\alpha$ が 0.0 で $v_{\mathrm{WORD}}$ と同等な埋め込みとなっている。すなわち, 用例全体でクラスタリングする場合, $v_{\mathrm{MASK}}$ の有用性は確認できなかった。これは動詞全体で一度にクラスタリングを行う場合, 異なる動詞の用例をまとめることよりも，同じ動詞の用例をまとめることを優先した方がスコアが高くなるためであると考えられる。また， $v_{\mathrm{MASK}}$ は同じ“[MASK]” トークンの埋め込みであることから， $v_{\mathrm{WORD}}$ と比較して多くの動詞の埋め込みが類似していると考えられる。このため, 異なる意味の動詞の用例であっても同じクラスタに含まれる傾向がある。加えて，1段階クラスタリングでは，類似した用例集合による動詞の埋め込みの平均ではなく，単独の動詞の埋め込みを利用するため，その影響をより受けやすくなっていると考えられる。

2 段階クラスタリングの有用性 2 段階目に群平均法を用いたモデルのスコアが全体的に高く, 1 段階でクラスタリングを行う手法と比較しても 10 ポイント前後高いスコアを達成している. このことから 2 段階クラスタリングが有用であるといえる.

1段階目のクラスタリングに関して, 1cpv'の後に群平均法を利用するモデルよりも，X-means の後に群平均法を利用したモデルのスコアが 2.9 ポイント高いことが確認できる。ただし， 1 段階目に群平均法，2段階目に群平均法を利用したモデルは，1cpv'の後に群平均法を利用するモデルよりも 0.4 ポイント低く, 必ずしも 1 段階目のクラスタリングが有用であるという結果は得られなかった。しかしながら，本実験では，用例数の少ないLU を利用していないことから全体的に複数のフレームを喚起しうる動詞が少なくなっているが，実際に大規模なテキストコー パスからフレーム知識を構築する場面では, 文脈に応じて意味の異なる動詞の数が増えるため,

1 段階目のクラスタリングが有用となる可能性があると考えている。これらのクラスタリング法について，4.3節においても言及する.

2 段階目のクラスタリングに関して，2段階目にウォード法を用いたモデルは，2 段階目に群平均法を用いたモデルより 10 ポイント以上低いスコアとなっている. これは本タスクで構築したいクラスタとウォード法から構築するクラスタの傾向が異なることが要因であると考えられる. ウォード法では，クラスタサイズの大きいクラスタペアほど結合しにくくなる特徴により，同程度のサイズのクラスタを多く構築する傾向がある。一方で, FrameNetにおけるそれぞれのフレームを喚起する動詞数の分布はロングテールとなっている。これらの違いがスコアの低下につながっていると考えられる。このことについて， 4.4 節でさらに言及する.

提案手法によって得られたクラスタの例提案手法によって構築されたクラスタが意味フレー ムをどれほど表現できているかを確認するために，実験で最もスコアの高かった，1段階目に X-means, 2 段階目に群平均法を用いたモデルによるクラスタリング結果の一部を示す. 表 4 に, クラスタ内の合計動詞数の多い上位 5 クラスタを示し, また, 表 5 に, データセット中のフレー ム内の合計動詞数の多い上位 5 フレームを示す.

表 4 より, クラスタ内の合計動詞数の最も多いクラスタ IDが 139 のクラスタでは, 自ら移動することを意味する Self_motion フレームを喚起する動詞の用例を中心にクラスタが構築されていることが確認できる. Self_motion フレームはデータセットにおいて最も多くの種類の動詞が喚起するフレームであり，それを反映したクラスタリング結果が得られている．他のフレームに関して, Motion フレームは Self_motion フレームの上位フレーム8であり, また, Operate_vehicle, Motion_noise, Body_movement フレームの上位フレームでもある. すなわち, このクラスタは Self_motion フレーム，およびそのフレームと関係の深いフレームを喚起する動詞の用例がまとまっていることを意味し, 動詞の意味に合わせてクラスタが構築できていることがわかる。また, 表 5 に Self_motion フレームを喚起する動詞の用例の属しているクラスタを示しているが, クラスタ IDが139のクラスタにおいて, Self_motion フレームが付与された動詞 71 個のうち 57 個をまとめることに成功していることが確認された.

表 4 より，クラスタ ID が 232 のクラスタはクラスタ内の用例中の動詞はすべて同じ Experiencer_obj フレームを喚起するものとなっており，フレームに対応したクラスタが形成されていることが確認できる。このように，単独のフレームに対応したクラスタが形成された理由は 2 つある考えられる．1つは，Experiencer_objフレームは何らかの事象により人などの生物が感情を引き起こすことを意味するフレームであるが，上位下位関係にあるフレームが感情に関する Emotions フレームのみであり関係の深いフレームが少ないことである.このため, フ
^{8}$ FrameNet では, 一部のフレーム間に継承などの階層関係が定義されている．詳しくは Ruppenhofer らの文献に記載されている (Ruppenhofer et al. 2016).
}

 \\

表 4 1 段階目に X-means, 2 段階目に群平均法を用いたモデルによるクラスタリング結果. クラスタ内の合計動詞数の多い上位 5 クラスタを示す. クラスタ内で最も動詞数の多いフレームをそのクラス夕の代表フレームとし, †は代表フレームの上位にあたるフレーム， は代表フレームと下位にあたるフレーム，† は代表フレームと共通の上位フレームを持つフレームであることを意味する。

レームの曖昧さによる影響を受けづらい。もう 1 つは，このフレームを喚起する動詞は感情に関するもののみであることから，動詞そのものの意味が類似しているものが多く，また，構文が類似する傾向がある。このような理由で，Experiencer_obj フレームを喚起する動詞の文脈化単語埋め込みの類似度が高いと考えられる。また, 表 5 から Experiencer_obj フレームが付与された動詞 47 個のうち 35 個をまとめており，適切にクラスタが構築できていることがわかる. Experiencer_obj フレームは, Self_motion フレームより最大クラスタに属さない動詞も他のクラ

表 51 段階目に X-means, 2 段階目に群平均法を用いたモデルによるクラスタリング結果. FrameNetを用いたデータセット中のフレーム内の合計動詞数の多い上位 5 フレームを示す.

スタでまとまる傾向が見られるため，他のフレームより推定しやすいフレームであると考えられる。

表 4 より, クラスタ ID が 319 のクラスタは Statement フレームを喚起する動詞を中心にクラスタが形成されている。しかし, このクラスタでは 15 種類のフレームがそれぞれ付与された動詞の用例がクラスタ内に含まれている。これには大きく 2 つの理由が考えられる. 1 つは，クラ

スタ IDが 139 のクラスタと同様に，クラスタ内の代表的なフレームと関係の深いフレームが同じクラスタとしてまとまってしまったという理由である. Statement フレームは話し手から聞き手に向けてメッセージを伝えることを意味するフレームであるが，クラスタ内に含まれている Reveal_secret, Complaining, Affirm_or_deny, Telling フレームは, Statement フレームの下位の関係にあたり，より具体的な状況を意味することから同じクラスタに属していると考えられる。もう 1 つは，1段階目のクラスタリングにおいて，同じ動詞の用例間のフレームを識別できず，異なるフレームを喚起する動詞の用例を 1 つのクラスタにまとめてしまい，最終的に同じクラスタになったという理由である。このクラスタでは, 動詞「say」,「suggest」,「mention」,「confide」,「urge」,「argue」,「conclude」がそれに該当する.

## 4.31 段階目のクラスタリングに関する考察

2 段階クラスタリングにおいて，2 段階目に群平均法を用いたモデルのスコアが高い傾向にあった。その 1 段階目のクラスタリング手法を比較すると，群平均法を用いたモデルは， X-means を用いたモデルよりもスコアが低く, 1 cpv'モデルと同等のスコアを示すことが確認された。これには大きく2つの理由が考えられる。

1 つは，外れ値の影響を受けたクラスタを構築する傾向があることである．たとえば，図 3 にクラスタリング結果を付与した, 動詞「lead」の埋め込みの t-SNE による 2 次元マッピングを

群平均法

X-means

図 31 段階目に群平均法（左）または X-means （右），2 段階目に群平均法を用いたモデルのクラスタリング結果を付与した, 動詞「lead」のマスクされた動詞の BERT から獲得した埋め込みの t-SNE による 2 次元マッピング. 各色は Leadership, Cotheme フレームを示し, 数字は 2 段階クラスタリングによって得られた最終的なクラスタのクラスタ ID を示す.
示す. 図 3 からわかるように，X-means を用いたモデルは動詞が喚起するフレームごとに適切にクラスタが構築されている。一方で，群平均法を用いたモデルは 2 つのクラスタがあるものの，片方はほとんどの用例が 1 つのクラスタにまとまっており，適切にクラスタが構築されていない. これは群平均法がクラスタを結合する際に，クラスタサイズを考慮しないことが要因である可能性が高い．群平均法を用いたモデルでは，このような事例が複数確認されたことから，スコアが低くなっていると考えられる。

もう 1 つは, 特定のフレームしか喚起しない動詞であるにも関わらず, その動詞の用例が複数のクラスタに分かれてしまうことである。実験に用いたテストセットの中には, 特定のフレー ムしか喚起しない動詞が 875 個存在する. X-means を用いた場合, 875 個全ての動詞において, その用例がそれぞれ 1 つのクラスタまとまった一方で, 群平均法を用いた場合, 87 個の動詞でその用例が複数のクラスタに分かれた。これは郡平均法におけるクラスタ数の決定方法に影響されていると考えられる．郡平均法では，各動詞が喚起するフレームの異なり数の平均を基準としてクラスタリングを終了させているため, ある動詞のフレームの識別度合いが他の動詞のフレーム識別に影響を及ぼす。たとえば，複数の意味を持つ動詞の意味フレームを識別できずに1つのクラスタとなった場合，特定の意味しか持たない動詞のクラスタが分割される可能性が高い.このため, 1 段階目に群平均法を用いたモデルのスコアが低くなっていると考えられる。

## 4.42 段階目のクラスタリングに関する考察

2 段階クラスタリング手法では，2 段階目にウォード法を用いたモデルの方が， 2 段階目に群平均法を用いたモデルよりも全体的にスコアが低くなった。この1つの要因として, 各クラス夕の大きさが，データセット中の各フレームの傾向を十分に反映していないことが考えられる.具体的には，各クラスタに含まれる動詞数の分布が，データセット中の各フレームを喚起する動詞数の分布とは異なっていると考えられる。これを検証するために，1段階目にX-means， 2 段階目にウォード法または群平均法を用いたモデルを使用し, 得られた各クラスタの動詞数の分布とデータセット中の各フレームを喚起する動詞数の分布と比較した.

図 4 にデータセット中の各フレームを喚起する動詞の異なり数と，2つのモデルによって得られた各クラスタに含まれる動詞数の分布を示す。縦軸は各フレームを喚起する動詞数および各クラスタに含まれる動詞の異なり数，横軸はそれらを動詞数が多い順に並び替えたときの順位を示している，各フレームを喚起する動詞数の多い上位 5 フレームは，表 5 に示すように， Self_motion, Experiencer_obj, Statement, Body_movement, Placingフレームである. これらのフレームを喚起する動詞はそれぞれ 71 個, 47 個, 26 個, 26 個, 24 個存在する.また, 1 段階目にX-means，2 段階目に群平均法を用いたモデルでは，クラスタ内に含まれる動詞数の多い上位 5 クラスタは，表 4 に示すように，クラスタ IDが $139,232,319,146,309$ のクラスタで

図 4 FrameNet を用いたデータセット中の各フレームを喚起する動詞の異なり数，および 1 段階目に X-means，2 段階目にウォード法または群平均法を用いたモデルによる各クラスタ内の動詞数．縦軸は各フレームを喚起する動詞の異なり数および各クラスタに含まれる動詞数，横軸はそれらを動詞数が多い順に並び替えたときの順位を示している.

ある。これらのクラスタに含まれる動詞はそれぞれ 65 個, 35 個, 24 個, 23 個, 18 個存在する.

図 4 からわかるように，2段階目に群平均法を用いたモデルによる各クラス夕内の動詞数の分布が，データセット中の各フレームを喚起する動詞の異なり数の分布とかなり類似している.一方，2 段階目にウォード法を用いたモデルによる各クラスタに含まれる動詞数の分布は，デー タセット中の各フレームを喚起する動詞の異なり数の分布と異なることがわかる。これらの結果から, ウォード法はクラスタ内の動詞数が多いほど他のクラスタと結合しづらくなるため, このタスクには適しておらず，群平均法のようなクラスタ内の動詞数を考慮しない手法が動詞横断的なクラスタリングにおいて有用であると考えられる.

## 5 おわりに

本研究では, 動詞の意味フレーム推定において, マスクされた単語の埋め込みと 2 段階クラスタリングを用いた手法を提案した．FrameNetを用いた評価実験を行い，提案手法が従来手法より高いスコアを達成できることを示し，提案手法の有用性を確認した。具体的には，マスクされた単語埋め込みを用いることによって，同じフレームを喚起する異なる動詞の用例をよりまとめられるようになること，また，2 段階クラスタリングによって，同じ動詞の用例が多くのクラスタに分割されることを防ぐことを示した。

本研究の最終目標は，実用的な意味処理を支援するために，大規模コーパスからフレーム知
識を自動構築することである、フレーム知識を自動構築するためには，動詞の意味フレーム推定に加えて, フレーム要素推定が必要となる. 従来研究 (Kawahara et al. 2014; Ustalov et al. 2018) におけるフレーム要素は，動詞に対して同じ依存関係ラベルが付与されたものとしている.しかし, 動詞との依存関係が同じ語であっても意味役割の異なるものや, 依存関係が異なっていても意味役割が同じものは存在する。文脈化単語埋め込みは周囲の文脈を考慮していることから, 意味役割の違いを認識し, このような事例に対応できる可能性がある．今後の課題として，依存関係ラベルより的確な単位である意味役割に基づいたフレーム要素の推定手法を検討したい.

また, 本研究では FrameNet を用いたデータセットに対する動詞の意味フレーム推定に取り組んでいる。しかし, 大規模コーパスに対して, 提案手法を単純に適用できるとは限らない. たとえば，FrameNetの用例は，フレームや意味役割が人手でラベル付けされたものであるが，大規模コーパスの中には人手でさえラベル付けることが難しい事例が存在すると考えられる。このような事例の対処法を検討したい.

## 謝 辞

本論文の一部は, The 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing で発表したものである (Yamada et al. 2021a). また, 本研究の一部は JSPS 科研費 $21 \mathrm{~K} 12012$ の助成, および, JST 及び名古屋大学による名古屋大学融合フロンティアフェローシップの支援を受けたものである.

## 参考文献

Aldous, D. J. (1985). "Exchangeability and Related Topics." In École d'Été de Probabilités de Saint-Flour XIII-1983, pp. 1-198.

Amrami, A. and Goldberg, Y. (2018). "Word Sense Induction with Neural biLM and Symmetric Patterns." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP 2018), pp. 4860-4867.

Amrami, A. and Goldberg, Y. (2019). "Towards Better Substitution-based Word Sense Induction." arXiv preprint arXiv:1905.12598.

Anwar, S., Ustalov, D., Arefyev, N., Ponzetto, S. P., Biemann, C., and Panchenko, A. (2019). "HHMM at SemEval-2019 Task 2: Unsupervised Frame Induction using Contextualized Word Embeddings." In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 125-129.

Arefyev, N., Sheludko, B., Davletov, A., Kharchev, D., Nevidomsky, A., and Panchenko, A. (2019a). "Neural GRANNy at SemEval-2019 Task 2: A Combined Approach for Better Modeling of Semantic Relationships in Semantic Frame Induction." In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 31-38.

Arefyev, N., Sheludko, B., and Panchenko, A. (2019b). "Combining Lexical Substitutes in Neural Word Sense Induction." In Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2019), pp. 62-70.

Bagga, A. and Baldwin, B. (1998). "Entity-Based Cross-Document Coreferencing Using the Vector Space Model." In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics (COLING 1998), pp. 79-85.

Baker, C. F., Fillmore, C. J., and Lowe, J. B. (1998). "The Berkeley FrameNet Project." In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics (ACL-COLING 1998), pp. 86-90.

Biemann, C. (2006). "Chinese Whispers: An Efficient Graph Clustering Algorithm and its Application to Natural Language Processing Problems." In Proceedings of TextGraphs: The 1st Workshop on Graph Based Methods for Natural Language Processing (TextGraphs 2006), pp. 73-80.

Das, D., Chen, D., Martins, A. F. T., Schneider, N., and Smith, N. A. (2014). "Frame-Semantic Parsing." Computational Linguistics, 40 (1), pp. 9-56.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2019), pp. 4171-4186.

Fillmore, C. J. (1982). Frame Semantics. Hanshin Publishing Company.

He, P., Liu, X., Gao, J., and Chen, W. (2020). "DeBERTa: Decoding-enhanced BERT with Disentangled Attention." arXiv preprint arXiv:2006.03654.

Kawahara, D., Peterson, D., Popescu, O., and Palmer, M. (2014). "Inducing Example-based Semantic Frames from a Massive Amount of Verb Uses." In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2014), pp. 58-67.

Lan, Z., Chen, M., Goodman, S., Gimpel, K., Sharma, P., and Soricut, R. (2020). "ALBERT: A Lite BERT for Self-supervised Learning of Language Representations." In Proceedings of
the International Conference on Learning Representations (ICLR 2020).

Liu, S., Chen, Y., He, S., Liu, K., and Zhao, J. (2016). "Leveraging FrameNet to Improve Automatic Event Detection." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL 2016), pp. 2134-2143.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. (2019). "RoBERTa: A Robustly Optimized BERT Pretraining Approach." arXiv preprint arXiv:1907.11692.

Maaten, L. v. d. and Hinton, G. (2008). "Visualizing Data using t-SNE." Journal of Machine Learning Research, 9, pp. 2579-2605.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., and Dean, J. (2013). "Distributed Representations of Words and Phrases and their Compositionality." In Advances in Neural Information Processing Systems (NIPS 2013), pp. 3111-3119.

Pelleg, D. and Moore, A. (2000). "X-means: Extending K-means with Efficient Estimation of the Number of Clusters." In Proceedings of the 17th International Conference on Machine Learning (ICML 2000), pp. 727-734.

Peters, M., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. (2018). "Deep Contextualized Word Representations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2018), pp. 2227-2237.

QasemiZadeh, B., Petruck, M. R. L., Stodden, R., Kallmeyer, L., and Candito, M. (2019). "SemEval-2019 Task 2: Unsupervised Lexical Frame Induction." In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 16-30.

Ribeiro, E., Mendonça, V., Ribeiro, R., Martins de Matos, D., Sardinha, A., Santos, A. L., and Coheur, L. (2019). "L2F/INESC-ID at SemEval-2019 Task 2: Unsupervised Lexical Semantic Frame Induction using Contextualized Word Representations." In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 130-136.

Ruppenhofer, J., Ellsworth, M., Schwarzer-Petruck, M., Johnson, C. R., and Scheffczyk, J. (2016). FrameNet II: Extended Theory and Practice. International Computer Science Institute.

Schwarz, G. (1978). "Estimating the Dimension of a Model." The Annals of Statistics, 6 (2), pp. 461-464.

Swayamdipta, S., Thomson, S., Dyer, C., and Smith, N. A. (2017). "Frame-Semantic Parsing with Softmax-Margin Segmental RNNs and a Syntactic Scaffold." arXiv preprint arXiv:1706.09528.

Ustalov, D., Panchenko, A., Kutuzov, A., Biemann, C., and Ponzetto, S. P. (2018). "Unsupervised

Semantic Frame Induction using Triclustering." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL 2018), pp. 55-62.

Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., Davison, J., Shleifer, S., von Platen, P., Ma, C., Jernite, Y., Plu, J., Xu, C., Scao, T. L., Gugger, S., Drame, M., Lhoest, Q., and Rush, A. M. (2020). "Transformers: State-of-the-Art Natural Language Processing." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations (EMNLP 2020), pp. 38-45.

Yamada, K., Sasano, R., and Takeda, K. (2021a). "Semantic Frame Induction using Masked Word Embeddings and Two-Step Clustering." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2021), pp. 811-816.

Yamada, K., Sasano, R., and Takeda, K. (2021b). "Verb Sense Clustering using Contextualized Word Representations for Semantic Frame Induction." In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021 (ACL-IJCNLP 2021 Findings), pp. 4353-4362.

Zhao, H., Li, R., Li, X., and Tan, H. (2020). "CFSRE: Context-aware based on Frame-Semantics for Distantly Supervised Relation Extraction." Knowledge-Based Systems, 210. 106480.

Zhao, Y. and Karypis, G. (2001). "Criterion Functions for Document Clustering: Experiments and Analysis." Tech. rep., Retrieved from the University of Minnesota Digital Conservancy.

## 略歴

山田康輔：2021 年名古屋大学大学院情報学研究科博士前期課程修了. 同年,同大学院同研究科博士後期課程に進学. 2022 年より日本学術振興会特別研究員 (DC2).

笹野遼平：2009 年東京大学大学院情報理工学系研究科博士課程修了. 京都大学特定研究員, 東京工業大学助教を経て, 2017 年より名古屋大学准教授. 博士 (情報理工学)。2019 年より理化学研究所 AIP センター客員研究員を兼任.

武田浩一：1983 年京都大学大学院工学研究科情報工学専攻修士課程修了. 同年日本アイ・ビー・エム株式会社に入社. 2017 年より名古屋大学教授. 博士 (情報学).