# 深層距離学習を用いた動詞の意味フレーム推定

山田 康輔 $\dagger$ ・笹野 遼平 $\dagger,+\dagger$ ・武田 浩一 $\dagger$
}

意味フレーム推定において, 文脈化単語埋め込みを用いる手法が高い性能を達成す ることが報告されている。しかし, 汎用的な埋め込み空間は, 意味的に類似したフ レームの事例が近くに位置しているという人間の直観と必ずしも一致しているわけ ではないため, 事前学習のみに基づく文脈化単語埋め込みを用いる手法の性能には 限界がある。 そこで, 本研究では, 意味フレーム推定をコーパス内の一部の動詞に ついてのラベル付きデータの存在を仮定した教師ありタスクとして取り組み, 深層距離学習に基づき文脈化単語埋め込みモデルを fine-tuning することで高精度な意味 フレーム推定を実現する手法を提案する．FrameNetを用いた実験を通し，深層距離学習を適用することで 8 ポイント以上スコアが向上することを示す. さらに，教師 データが極めて少量である場合でも，提案手法が有効であることを示す.

キーワード：意味フレーム推定, 深層距離学習, 文脈化単語埋め込み, FrameNet
## Semantic Frame Induction with Deep Metric Learning

\author{
Kosuke Yamada ${ }^{\dagger}$, Ryohei Sasano ${ }^{\dagger \dagger \dagger}$ and Koichi Takeda ${ }^{\dagger}$
}

\begin{abstract}
Recent studies have demonstrated the usefulness of contextualized word embeddings in unsupervised semantic frame induction. However, they have also revealed that generic contextualized embeddings are not always consistent with human intuitions about semantic frames, which causes unsatisfactory performance for frame induction based on contextualized embeddings. In this paper, we tackle supervised semantic frame induction, which assumes the existence of frame-annotated data for a subset of verbs in a corpus and propose to fine-tune contextualized word embedding models using deep metric learning for high-performance semantic frame induction methods. Our experiments on FrameNet show that fine-tuning with deep metric learning considerably improves the clustering evaluation scores by about 8 points or more. We also demonstrate that our approach is effective even when the number of training instances is small.
\end{abstract}

Key Words: Semantic Frame Induction, Deep Metric Learning, Contextualized Word Embeddings, FrameNet


## 1 はじめに

人の日常生活に自然言語処理システムを取り入れるとき，そのシステムに人の語に関する背景知識を与えることで，より適切な動作が行えるようになるだう。たとえば，人やロボットに「洗濯機を運んで欲しい」と依頼する場面を考える。人に依頼する場合，人は「運ぶ」という動作に対して「誰が」「何を」「どこから」「どこへ」という情報が必要であることを理解しているため,「どこへ」置いたら良いかが不明である場合には「どこへ置けば良い？」と聞き返して, 運ぶ場所を特定し, その動作を達成することができる。一方で, ロボットに依頼する場合, ロボットが「運ぶ」の知識を持っていなければ，「どこへ」置けば良いかわからないまま運び，依頼者の意図通りにならない可能性がある。意味フレームとは，このような「運ぶ」に対して 「誰が」「何を」「どこから」「どこへ」という情報が必要であるといった人が持つ語の背景知識をまとめたものであり，それを自然言語処理システムに明示的に与えることでこのような問題は解消される可能性がある。

意味フレームの代表的なリソースとして FrameNet (Baker et al. 1998; Ruppenhofer et al. 2016) が存在する. FrameNetの意味フレームは, 特定の動作や状況などの概念に対応し, そのフレームを喚起する語 (Lexical Units; LUs) とそのフレーム固有の意味役割であるフレーム要素 (Frame Elements; FEs) に関する知識で構成されている. FrameNet は高品質なリソースであるが，人手で整備されたものであることから語彙やフレームのカバレッジに限界がある。このため，大規模なテキストコーパスから動詞の意味フレームを自動構築する取り組みが行われている (Kawahara et al. 2014; Ustalov et al. 2018). しかし, これらは動詞や項の表層的な情報に基づき構築されているため，それらの出現する文脈が十分に考慮されておらず，その品質は十分とはいえない，そこで，本研究では，文脈を考慮した単語埋め込みを活用して動詞や項の出現文脈を考慮することで，より高品質な意味フレームの自動構築を目指す。これを実現するためには，動詞の意味フレーム推定とフレーム要素推定が必要であるが，本論文では，前者の動詞の意味フレーム推定に焦点を当てる.

動詞の意味フレーム推定は，テキスト中の動詞を，その動詞が喚起するフレームごとにまとめるタスクである。たとえば，表 1 に示す FrameNetの 8 つの事例の場合, 各動詞が喚起するフレームごとで事例をグループ化し, $\{(1),(2)\},\{(3),(4)\},\{(5),(6)\},\{(7),(8)\}$ の 4 つのクラス夕を形成することが目標となる。本タスクでは，事例 (1)の「cover」と事例 (2)の「fill」のように異なる動詞であっても同じ FILLING フレームを喚起する事例もあれば, 事例 (1)と (7) の動詞「cover」のように同じ動詞であっても異なるフレームを喚起する事例も存在するという特徴がある。動詞の意味フレーム推定において, ELMo (Peters et al. 2018) や BERT (Devlin et al. 2019) などの文脈化単語埋め込みの有用性が報告されている (Arefyev et al. 2019a; Anwar et al. 2019; Ribeiro et al. 2019; Yamada et al. 2021b, 2021a). 図 1 (a) は FrameNet に含まれる事例中

表 1 FrameNet 内のフレームを喚起する動詞の事例

(a) Vanilla BERT

(b) Fine-tuned BERT w/ AdaCos

図 1 (a) Vanilla BERT と (b) AdaCos を用いて fine-tuning した BERT による動詞の文脈化単語埋め込

レームを示し，数字は表 1 と対応する。

の動詞の事前学習のみに基づく BERT (Vanilla BERT) による埋め込みを t-SNE (Maaten and Hinton 2008)で 2 次元に射影し, 可視化した結果である。動詞「cover」の事例 (1)と (7) は埋め込み空間上で離れている一方, 同じ TOPIC フレームを喚起する動詞の事例 (7) と (8) は近くに位置しており，ある程度，意味フレームの違いを反映した埋め込み空間であるといえる。しかし，同じフレームを喚起する動詞の事例が離れた位置に存在するケースも散見される。たとえば，同じ REmoving フレームを喚起する動詞の事例 (5) と (6) は互いに離れた位置に存在している。これは Vanilla BERT の埋め込み空間が，意味的に類似した事例が近い位置に，異なる事例が離れた位置に存在するという人の直観と常に一致しているわけではないことを意味して $いる$.
本研究では，フレームに関する人の直観をより強く反映した意味フレーム推定を実現するため，コーパス内の一部の述語に対して意味フレームラベルが付与された教師データの存在を仮定し, 深層距離学習に基づき文脈化単語埋め达みを fine-tuning することで，高精度な意味フレー 么推定を実現する手法を提案する。深層距離学習とは, 同じラべルの事例を埋め込み空間上で近づけ，異なるラベルの事例を遠ざける学習を行う手法であり，教師デー夕に基づく埋め达み空間の調整が期待できる。図 1 (b) は代表的な深層距離学習手法の 1 つである AdaCos (Zhang et al. 2019)を用いて fine-tuning したBERT による埋め达みを 2 次元に射影し, 可視化した結果である. Vanilla BERTにおいて同じ意味フレームを喚起する動詞の事例であるにも関わらず，距離が離れていた事例 (3) と (4), 事例 (5) と (6) が, AdaCos を用いて fine-tuning した BERT では，互いに近い位置に存在していることが確認できる。これは，深層距離学習によって，意味フレームに関する人の直観をより反映させた埋め达み空間が得られたことを示している。

## 2 関連研究

意味フレームの自動構築へ向けて, テキスト中の述語を，その述語が喚起するフレームごとにまとめるタスクとして，意味フレーム同定 (frame identification) と意味フレーム推定 (semantic frame induction)の2つのタスクが存在する.

意味フレーム同定は, 事前に定義された意味フレームを与えた上で，テキスト中の述語に対して，その述語が喚起するフレームを同定するタスクである。これは意味フレーム解析のサブタスクの 1 つとして扱われることが多く, 意味フレームが事前に定義されていることを前提とするため, フレーム数をはじめとして，フレームの定義文やフレーム要素知識などのフレーム情報が利用可能な教師ありタスクとして取り組まれている。近年では，文脈化単語埋め込みモデルである BERT を用いた手法が主流となっている。たとえば，Jiang and Riloff (2021)はフレームと LUs の定義文に基づく文埋め込みを活用したフレーム同定モデルを構築しており，Su et al. (2021) はフレーム喚起語の周囲の文脈を埋め込む文脈エンコーダと，フレームの定義文とフレーム要素を埋め达むフレームエンコーダを構築し，それらに基づき生成された埋め込み表現を基にフレームを同定している，また，Yong and Torrent (2020) は，意味フレーム同定をクラスタリングタスクとして扱っている．具体的には，まず，異常検知モデルを応用することで, FrameNet に存在しないフレームを喚起する述語を除去し, その後, 述語の文脈化単語埋め込みとフレームの定義文に基づく文埋め込みを用いて，テキスト中の述語をクラスタリングすることで，意味ごとにまとめている.

意味フレーム推定は，テキスト中の述語を，その述語が喚起するフレームごとにまとめる夕スクである，多くの研究では，事前に定義されたフレームの存在を仮定せず，フレーム情報を利用しない教師なしタスクとして取り組まれており，文脈化単語埋め込みを用いた手法が提案

されている. Arefyev et al. (2019a)は，まず，BERTによるフレーム喚起語の文脈化単語埋め込みを用いて階層型クラスタリングを行い，その後，多義性のあるフレーム喚起語に対応するため，BERT を用いてフレーム喚起語の言い換えを生成し，それを基に各クラスタを 2 分することでフレームクラスタを生成している. Anwar et al. (2019) は, skip-gram (Mikolov et al. 2013) や ELMo によって獲得できる，フレーム喚起語の埋め込みと文中の全ての単語の埋め込みを平均した埋め込みを基に階層型クラスタリングを行っている. Ribeiro et al. (2019) は， フレーム喚起語の ELMo による埋め込みに基づきグラフクラスタリングを行っている. Yamada et al. (2021a)は，フレーム喚起語の文脈化単語埋め込みを用いて一度に全ての事例をクラスタリングする従来手法の欠点を改善するため, マスクされたフレーム喚起語の文脈化埋め込みと 2 段階クラスタリングを行う手法を提案している。これらの研究はすべて，教師データを使用しない教師なし意味フレーム推定に焦点を当てている。一方, 本研究では，コーパス中に出現する述語のサブセットに対してフレームがラベルづけられたデータの存在を仮定した教師あり意味フレーム推定に取り組む。

## 3 動詞の教師あり意味フレーム推定

本研究では，より性能の高い動詞の意味フレーム推定手法を実現するため，コーパス内の一部の動詞については教師データが存在することを仮定した教師あり意味フレーム推定に取り組む. ベースライン手法として，教師なし意味フレーム推定で広く用いられているフレーム喚起語の文脈化単語埋め込みを用いてクラスタリングする手法を採用し, 教師データを用いて深層距離学習に基づき文脈化単語埋め込みモデルを fine-tuning することによって，より高性能な意味フレーム推定手法を実現する。

## 3.1 ベースライン手法

本研究では，2つのベースライン手法を使用する．まず，シンプルなベースライン手法として，動詞の文脈化単語埋め込みを用いて一度に全ての事例をクラスタリングする 1 段階クラスタリングを導入する．クラスタリング方法には，ユークリッド距離に基づく群平均法による階層型クラスタリングを採用する。群平均法では，クラスタリングの終了条件を決める必要があるが, 本研究ではクラスタ間距離に関する閥値を導入し, その閥値より小さなクラスタ間距離となるクラスタのペアがなくなった時点でクラスタリングを終了している。間値の決定には開発セットを利用し，開発セットを対象にクラスタリングを実施した場合に，生成されるクラスタの数と，開発セット中の用例に付与されたフレームの数が等しくなるような值に設定している.

もう1つのベースライン手法として，Yamada et al. (2021a)によって提案されたマスクされた単語埋め込みと 2 段階クラスタリングを導入する. マスクされた単語埋め込み $\left(v_{\text {mask }}\right)$ とは,
動詞を特殊トークン“[MASK]”に置き換えたときの文脈化単語埋め込みのことである。これは動詞の文脈化単語埋め込み $\left(v_{w o r d}\right)$ がその動詞の表層情報の影響を受けて意味ごとにまとまりにくい傾向がある欠点を解消するために提案されたものである. 本研究では, 式 (1) で定義されるように， $\alpha$ を重みとして， $v_{\text {word }}$ と $v_{\text {mask }}$ を加重平均した埋め込み $\left(v_{w+m}\right)$ を利用している.

$
v_{w+m}=(1-\alpha) \cdot v_{w o r d}+\alpha \cdot v_{m a s k}
$

2 段階クラスタリングは，1 段階クラスタリングのノイズとなる事例に弱い点を指摘して提案された手法である。具体的には，1段階目に動詞ごとで事例をクラスタリング，2 段階目に動詞横断的にクラスタリングを行う手法である。ここで，1段階目で得られたクラスタは，意味ごとにまとめられた同じ動詞の事例のクラスタであるため, Yamada et al. (2021a) と同様に本論文では擬似 LU (pseudo-LU; pLU) と呼ぶことにする.クラスタリング手法として，1 段階目に X-means (Pelleg and Moore 2000)，2 段階目に群平均法を用いる。それぞれのクラスタ数に関しても，Yamada et al. (2021a) と同様の手法を用いて決定する.

## 3.2 深層距離学習を用いた動詞の意味フレーム推定手法

本研究では, 深層距離学習を用いた動詞の意味フレーム推定手法を提案する。提案手法では, まず，意味フレームリソースの一部から作成した学習セットを用いて，深層距離学習に基づき文脈化単語埋め込みモデルを fine-tuning し, その後, ベースライン手法と同様の方法で, モデルから動詞の埋め込みを獲得し，クラスタリングを行うことで意味フレームクラスタを作成している. ここで提案する深層距離学習とは，埋め込み空間上で，同じラベルの事例を近づけるように，異なるラベルの事例を遠ざけるように深層学習モデルを学習する方法である (Kaya and Bilge 2019; Musgrave et al. 2020). これによって, 埋め込み空間上で, 類似したフレームの事例が近づき，異なるフレームの事例が遠ざかるため，動詞の意味フレーム推定手法の性能向上が期待される。本論文では, 距離べースと分類べースの 2 つの代表的な深層距離学習アプローチを採用する。

## 3.2.1 距離ベースのアプローチ

距離ベースのアプローチは，一般に複数エンコーダを用いて事例ぺア間の距離を直接学習する方法である。事例ぺアは，ある事例をアンカーとし，アンカーと同じクラスの事例を正例，アンカーと異なるクラスの事例を負例としてそれぞれ作成される。本研究では，以下の 2 つ損失を導入する。

1 つ目は, Contrastive 損失 (Hadsell et al. 2006)である.これはパラメータを共有した 2 つのエンコーダを持つネットワークを用いて，事例ぺアの距離を学習するために使用される．具体
的には，正例ぺアを近づけ，負例ぺアを一定のマージン以上遠ざける学習を行うために使用される。以下の式 (2) で定義される.

$
L_{\text {cont }}= \begin{cases}D\left(\boldsymbol{x}_{i}, \boldsymbol{x}_{j}\right) & i=j \\ \max \left(m-D\left(\boldsymbol{x}_{i}, \boldsymbol{x}_{j}\right), 0\right) & i \neq j\end{cases}
$

ここで， $\boldsymbol{x}_{i}$ はエンコーダを用いて得られるクラス $i$ の事例の埋め达み， $m$ はマージン,$D$ は平方ユークリッド距離に基づく距離関数を意味する.

2 つ目は Triplet 損失 (Weinberger and Saul 2009) である。これはパラメータを共有した 3 つのエンコーダを持つネットワークを用いて, 事例の 3 つ組の距離を学習するために使用される.具体的には，事例の 3 つ組に対して，負例ぺアの距離を正例ぺアの距離より一定のマージン以上遠ざけるために使用される。 Triplet 損失は, 負例ぺアを正例ぺアに対して相対的に遠ざける点で Contrastive 損失とは異なる。以下の式 (3) で定義される.

$
L_{\text {tri }}=\max \left(D\left(\boldsymbol{x}_{a}, \boldsymbol{x}_{p}\right)-D\left(\boldsymbol{x}_{a}, \boldsymbol{x}_{n}\right)+m, 0\right)
$

ここで, $\boldsymbol{x}_{a}$ はアンカー事例の埋め込み, $\boldsymbol{x}_{p}$ は正例の埋め込み, $\boldsymbol{x}_{n}$ は負例の埋め込みを意味する.

本研究では，1つのフレームを 1 つのクラスとみなし，同じフレームの事例を近づけ，異なるフレームの事例を遠ざける学習を行うことで，よりフレームの持つ情報を反映した埋め込み表現の獲得を実現する。本研究における事例ぺアの作成方法は, 学習セット内の各事例において，その事例と同じフレームの事例を無作為に選択して正例とし，その事例と異なるフレームの事例を無作為に選択して負例としている。その際に同じ動詞の事例であるか否かは考慮していない. また, より汎用的な埋め込み空間を獲得するため, 学習時の事例ぺアはエポックごとで変更させている，マージンはハイパーパラメータであり，開発セットにおける評価スコアに基づき決定している.

## 3.2 .2 分類ベースのアプローチ

分類ベースのアプローチは，近年，顔認識タスクを中心に広く利用されている。このアプロー チの多くは，単一のエンコーダと多クラス分類のための線形層を持つネットワークを利用している. 距離ベースのアプローチと比較して, サンプリングの検討が不要である点や, 単一エンコーダであることから学習時に必要なメモリを減らすことができる利点がある。このアプロー チに用いる損失は，式 (4) に示す Softmax 損失がベースとなっている.

$
L_{\mathrm{soft}}=-\log \frac{e^{\boldsymbol{w}_{i}^{\top} \boldsymbol{x}_{i}+b_{i}}}{\sum_{j=1}^{n} e^{\boldsymbol{w}_{j}^{\top} \boldsymbol{x}_{i}+b_{j}}}
$

ここで, $\boldsymbol{w}_{i}$ と $b_{i}$ はクラス $i$ の線形層の重みとバイアス, $n$ はクラス数を示している.
分類ベースのアプローチでは， Softmax 損失に対して様々なマージンを導入する損失が提案されている (Liu et al. 2017; Wang et al. 2018; Deng et al. 2019). これらの損失では，線形層の重み $\boldsymbol{w}_{i}$ をクラス $i$ の埋め込みと捉え, 事例とクラスの埋め込みの距離を学習するように設計されている. ArcFace 損失 (Deng et al. 2019) は, その中でも幾何的な解釈に優れることから広く利用されている. ArcFace 損失は，式 (5)のように定義されており, Softmax 損失から線形層のバイアス $b_{i}$ を除き, $\boldsymbol{w}_{i}$ と $\boldsymbol{x}_{i}$ に $l_{2}$ 正規化を適用することで $\boldsymbol{w}_{i}^{\top} \boldsymbol{x}_{i}$ を $\cos \theta_{i}$ と表現している. 加えて, 同じクラス内の集約性と異なるクラス間の分散性を強化するため, 角度べースのマージン $m$ とスケール $s$ を導入している.

$
L_{\mathrm{arc}}=-\log \frac{e^{s \cdot \cos \left(\theta_{i}+m\right)}}{e^{s \cdot \cos \left(\theta_{i}+m\right)}+\sum_{j=1, j \neq i}^{n} e^{s \cdot \cos \theta_{j}}}
$

Zhang et al. (2019) は ArcFace 損失を用いたモデルの性能がハイパーパラメータに依存する点を指摘し，マージンやスケールの振る舞いを調査している。その結果，マージンとスケールの効果が類似することを確認したため，ArcFace 損失からマージンを除き，また，事例数やクラス数に応じて動的に決めるスケール $\tilde{s}$ を導入した AdaCos 損失を提案している。 AdaCos 損失は式 (6) で定義される.

$
L_{\mathrm{ada}}=-\log \frac{e^{\tilde{s} \cdot \cos \theta_{i}}}{\sum_{j=1}^{n} e^{\tilde{s} \cdot \cos \theta_{j}}}
$

本研究では, 1 つのフレームを 1 つのクラスとみなし, 学習セットに存在するフレームを分類できるように学習を行うことで，よりフレームの持つ情報を反映した埋め込み表現の獲得を実現する。分類ベースのアプローチの中で Softmax 損失や AdaCos 損失を用いたモデルではハイパーパラメータの探索が不要であるが, ArcFace 損失を用いたモデルではマージンとスケールを探索する必要がある。本研究では, これらの働きが類似することが報告されている (Zhang et al. 2019) ことから片方のハイパーパラメータのみを探索することにし, 距離べースのアプローチがマージンを探索しているため, ArcFace 損失を用いたモデルもマージンのみを探索する.

## 4 実験

動詞の教師あり意味フレーム推定において，深層距離学習を用いた文脈化単語埋め込みモデルの fine-tuning の有用性を検証した。具体的には, fine-tuning したモデルを, fine-tuning していないモデルや先行研究のモデルと性能を比較した。また，学習に用いた事例数の変化による提案手法の性能への影響を調査した。

## 4.1 実験設定

データセット FrameNet 1.7 (Ruppenhofer et al. 2016) から，フレームを喚起する動詞の事例を抽出し，データセットを作成した。学習セットに存在しない動詞の意味フレーム推定に対応するため, データセットに含まれる事例を動詞単位で 3 分割し，3つのサブセットを作成した. このとき，サブセット間の多義動詞の割合は一定としている．作成した 3 つのサブセットは， 3 分割交差検証に利用され，それぞれ学習セット，開発セット，テストセットとして用いる。表 2 にその統計値を示す 1 。学習セットは文脈化単語埋め込みモデルの fine-tuning に使用し, 開発セットは $v_{w+m}$ の重み $\alpha$, クラスタ数，マージンの決定に使用する。 $\alpha$ は 0 から 1 まで 0.1 刻みで探索し，マージンは Contrastive 損失と Triplet 損失では, $0.1,0.2,0.5,1.0$ の 4 値, ArcFace 損失では， $0.01,0.02,0.05,0.1$ の 4 值を候補に探索する。テストセットにおいて，動詞の事例を意味ごとにまとめたフレームクラスタを生成することで手法の性能を評価する.

比較手法文脈化単語埋め込みモデルとして, Hugging Faceのの Transformers (Wolf et al. 2020)で提供されている事前学習済み BERT (bert-base-uncased) ${ }^{2}$ を使用する． fine-tuning していないモデル (Vanilla)と 5 つの fine-tuning したモデル (Contrastive, Triplet, Softmax, ArcFace, AdaCos) に対して，それぞれ 1 段階クラスタリングと 2 段階クラスタリングを用いた全部で 12 の手法を比較する. Vanilla モデルを用いた 2 段階クラスタリングの手法は, Yamada et al. (2021a)の提案手法に対応している. 埋め込み表現は全て $l_{2}$ 正規化を適用している. ハイパーパラメータに関して, バッチサイズは 32 , 学習率は $1 \mathrm{e}-5$, エポック数は 5 とし, ArcFace モデルのスケールは 64 に固定する。最適化アルゴリズムは, AdamW (Loshchilov and Hutter 2017) を使用する.

また，SemEval-2019 Task 2 のサブタスク A の共有タスク (QasemiZadeh et al. 2019) で用いられた 3 つの教師なし意味フレーム推定手法 (Arefyev et al. 2019a; Anwar et al. 2019; Ribeiro et al. 2019) も比較する. Arefyev らは，まず，フレームを喚起する動詞の BERTによる埋め込み表現を利用して群平均法によるクラスタリングを行い，その後，その動詞の言い換えを BERT を用いて生成し，それに基づくTF-IDF 特徴量を用いて，各クラスタを 2 分割することでフレー

表 23 分割交差検証で用いた FrameNet データセットの統計値


ムクラスタを形成している. Anwar らは, skip-gram (Mikolov et al. 2013) によって得られる, フレームを喚起する動詞の埋め込みと，文中の全単語の埋め込みの平均を結合した表現を用いて，群平均法によるクラスタリングを行っている，Ribeiro らは，フレームを喚起する動詞の ELMo による埋め込みを用いて，Chinese whispers (Biemann 2006) によるグラフクラスタリングを適用している。

評価指標評価指標として, Purity (PU), Inverse Purity (IPU), およびその調和平均である F 值 (PIF) (Zhao and Karypis 2001) と, B-cubed Precision (BCP), Recall (BCR), およびその調和平均である $\mathrm{F}$ 値 (BCF) (Bagga and Baldwin 1998) を使用する。PU はクラスタが単一のラべルの事例で占められている度合いを示す指標であり，IPU は同じラベルの事例が単一のクラス夕に集中する度合いを示す指標である。また， BCP と BCR は，クラスタとラベルを関連付けずに，各事例の適合率と再現率をそれぞれ評価する指標である．SemEval-2019 Task 2 のサブタスク Aの共有タスク (QasemiZadeh et al. 2019)では, BCF に従ってシステムをランク付けされている.

## 4.2 実験結果

実験結果を表 3 に示す.クラスタリング方法に関わらず，fine-tuning したモデルを用いた手法は，Vanilla モデルを用いた手法と比較して全体的に高い PIF および BCF を示している。特に, Triplet, ArcFace, AdaCos モデルを用いた手法において, PIFで 73 ポイント以上, BCF で 62 ポイント以上の高いスコアを達成しており, これらのモデルを用いて文脈化単語埋め込みモデルを fine-tuning する有用性が確認できる。一方, Contrastive モデルを用いた手法では相対的

表 33 分割交差検証による動詞の教師あり意味フレーム推定の実験結果. \# $\mathrm{pLU}$ と $\mathrm{C}$ はそれぞれ $\mathrm{pLU}$数とクラスタ数を示す.

に低いスコアとなっている。これは Contrastive モデルのマージンが適切な粒度のクラスタ構築との親和性が低いことが主な要因であると考えられる。

クラスタリング方法を比較すると，2 段階クラスタリングの手法が 1 段階クラスタリングの手法に比べて, 全体的に高いスコアを達成している. しかし, Vanilla モデルの場合では, BCF と P IF 共に 12 ポイント以上の差があったが, fine-tuning したモデルの最高スコアを比較すると, その差が 2 ポイント程度に縮まっている. この結果から, fine-tuningを行う場合, 2 段階クラスタリングだけではなく 1 段階クラスタリングも有望な選択肢になる。たたし， 1 段階クラスタリングの手法は 2 段階クラスタリングの手法と比較して実装は容易であるが，一度にクラスタリングする事例数が多いことから計算コストが高いことに注意が必要である ${ }^{3}$.

重み $\alpha$ に着目すると，スコアの高い AdaCos モデルや Triplet モデルを用いた 2 段階クラスタリングの手法において，その值は 0.5 であるため, マスクされた単語埋め込みを考慮する効果が確認できる。しかし, Vanilla モデルを用いたときほどの効果が確認できない. 一方, 1 段階クラスタリングの手法では, fine-tuning したモデルの方が Vanilla モデルよりマスクされた単語埋め込みを考慮するという逆の傾向が確認できる。これは, Vanilla モデルを用いた 1 段階クラスタリングの手法では，十分にフレームを表現した埋め込み空間となっていなかったために，動詞の表層ごとでまとまる万がより尤もらしいフレームクラスタを構築できていたが, fine-tuning したモデルでは埋め込み空間が改善され，動詞の表層ではなく，意味ごとでまとまるようなフレームクラスタを構築できるようになったためであると考えられる.

表 4 に先行研究の手法と, Triplet モデルと AdaCos モデルをそれぞれ用いた 1 段階クラスタリングと 2 段階クラスタリングの手法の比較結果を示す. 提案手法は, 先行研究の手法より高い評価スコアを達成しており, 提案手法の中でも最もスコアの高い AdaCos モデルを用いた 2

表 4 先行研究の手法と提案手法の比較結果
(3.20 \mathrm{GHz})$ を用い, 1 段階クラスタリングで約 10 分, 2 段階クラスタリングで約 5 分の実行時間であった.
}
段階クラスタリングの手法では, 両評価指標において従来の最高スコアを 8 ポイント以上上回る結果が得られており，その有用性が確認できる。

## 4.3 学習事例数の変化による性能への影響

前節の実験を通して, 約 30,000 という学習事例数が比較的多く存在する場合では，深層距離学習に基づき文脈化単語埋め込みモデルを fine-tuning することで高性能な動詞の意味フレーム推定手法を実現できることを示した．しかし，提案手法を意味フレームリソースの存在しない言語へ適用する場合，フレームを定義するコストやフレーム情報をテキストに付与するコストが高いことから, 学習事例が少量しか存在しない場合であっても高い性能を示すことが重要となる．そこで，学習事例数を変化させた実験を行い，学習事例数の性能への影響を調査した，具体的には, $\mathrm{LU}$ ごとの最大学習事例数の条件を '1', '2', '5', '10', 'all' と変化させて実験を行った. 3 セットの平均学習事例数は, それぞれ $1,273,2,445,5,680,10,053,27,537$ であった. ここで, LU ごとで学習事例数を変更しているため，学習セット内の動詞，LU，フレームの異なり数は変更していない点, また，学習セットで使用する事例数のみを変更しているため，開発セットおよびテストセットは変更していない点に注意が必要である.

表 5 に学習事例数を変化させたときの各手法の PIF と BCF のスコアを示す. Vanilla モデルは, fine-tuning を行わないため, 各設定で同じスコアとなっている. Triplet モデルの結果に着目すると, '1’や‘ 2 ’ 設定において, Vanilla モデルと比較してかなり高いスコアを示しており，少ない学習事例数においても有用であることが確認できる。特に，2 段階クラスタリングの手

表 5 学習事例数を変化させたときの実験結果. 各列は学習セット内の各 LU に対して使用された最大学習事例数を示す.
法では, '1’'と 'all'において学習事例数が 1,273 と 27,536 と大きな差があるにも関わらず, スコアは 3 ポイント程度の差しかなかった。このため, 少量であっても教師データが存在するのであれば, Triplet モデルを用いた 2 段階クラスタリングの手法を使用することで，高性能な意味フレーム推定が実現可能であると考えられる。一方, ArcFace モデルや AdaCos モデルは, '5， や‘10’ の設定では Triplet モデルと同程度のスコアを得ているが, さらに学習事例数が少ない場合, Vanilla モデルからの改善はほとんど確認できなかった. これは少量の学習事例数では線形層の重みの学習を十分に行えないためであると考えられる.

## 5 Fine-tuning した埋め込み表現の分析

クラスタリングによる評価は, 埋め达み表現だけではなくクラスタリング手法やクラスタ数にも性能が影響されるため, 埋め込み表現のみの性質を分析することは容易ではない. そこで, fine-tuning した埋め込み表現をより直感的に理解するために，事例間の類似度に基づく評価と埋め込み表現の可視化を行う.

## 5.1 類似度ランキング評価

深層距離学習に基づき文脈化単語埋め迄みモデルを fine-tuningすることによって，埋め込み空間上で, 同じフレームの事例が近づき, 異なるフレームの事例が遠ざかっているのかを確認するため, 埋め込み表現の類似度に応じて事例をランク付けし, 評価する類似度ランキング評価を行った．具体的には，特定の動詞の事例をクエリ事例とし，クエリ事例とそれ以外の事例の埋め込みのコサイン類似度を計算して，その値を基に事例を降順に並べ，評価した．埋め达み表現は，4.2 節の 1 段階クラスタリングの手法の $v_{w+m}$ を使用する. 評価指標には Recall を用いている。これはクエリ事例と同じフレームの事例である正解事例と, 正解事例と同じ数のランキング上位の事例を抽出して得られる予測事例の一致率である。たとえば，表 2 のセット 1 では, 全事例 28,314 件のうち, FILLING フレームの事例が 153 件存在する。このうちの 1 つをクエリ事例とするとき，正解事例は 152 件となる。全事例からクエリ事例に類似した上位 152 件の予測事例を抽出し，その中で 114 件が正解事例であれば, Recall は 114/152=0.75となる.各事例をクエリ事例として Recallを算出し，そのスコアの平均を評価する.

予測事例の対象に関して3つ設定で類似度ランキング評価を行う．1つ目は全事例が対象である ALLであり，これは埋め込み空間全体の改善が見られるかを検証するための設定である. 2 つ目はクエリ事例と同じ動詞の事例のみを対象4とする SAME であり, 表層が同じ事例に対して，意味の異なることを埋め込み空間が反映しているかを検証するための設定である．3つ目は


クエリ事例と異なる動詞の事例のみを対象とする DIFFであり，これは埋め込み空間上で，異なる動詞で同じフレームの事例が互いに近い位置になっているかを検証する設定である．実験結果を表 6 に示す。まず，ALL に着目すると fine-tuning したすべてのモデルで Vanilla モデルからの改善が見られる。特に Contrastive モデル以外の 4 つの fine-tuning したモデルは 20 ポイント以上スコアが向上し, 埋め込み空間がかなり改善されたことがわかる. 次に, SAME と DIFF に着目すると，その両方でスコアの向上が確認でき，動詞の表層に関係なく，深層距離学習による fine-tuning が有用であることがわかる. SAME と DIFF を比較すると，SAMEの方が対象事例数が少ないこともあり, 全体的に高いスコアとなっている。ただし, DIFF の方が SAMEよりもスコアの向上度合いが大きく, fine-tuningによるクラスタリング性能の向上は, 主に同じフレームを喚起する異なる動詞の事例が互いに近づくように学習したことに起因することが示唆される.

また， fine-tuningによる意味フレーム推定手法の性能向上が，学習セットに含まれるフレー ムによるもののみではないことを検証することは重要である。 そこで，クエリ事例のフレームが学習セットに含まれる場合 (OVERLAP) と含まれない場合 (NON-OVERLAP) に分けて, 表 6 の ALLのスコアを集約した。その結果を表 7 に示す. いずれの fine-tuning したモデルも，学習セットに含まれるフレームだけではなく, 含まれないフレームについても, Vanilla モデルより高いスコアを実現している。このため, 深層距離学習を用いた fine-tuningによって，学習セットに含まれていないフレームにも対応した埋め达み空間を獲得できることが確認できる。ここで，Non-OvERLAP の設定の各手法のスコアが，OVERLAP の設定におけるスコアよりも全体的に高くなっている。これは直感に反するかもしれないが, OVERLAP の設定に含まれるフレームは多くの動詞の事例が存在するため, NON-OVERLAP の設定に比べて難しい設定となっていることが要因だと考えられる。

表 63 分割交差検証による類似度ランキング評価の実験結果. ALL, SAME, DifF は，ランキングする対象がそれぞれ，全事例，クエリ事例と同じ動詞の事例，クエリ事例と異なる動詞の事例を意味している。

表 7 表 6 の ALL の結果を,テストセットに含まれるフレームが学習セットに存在する場合 OVERLAP と存在しない場合 NON-OVERLAP で分けて集約した結果である。

## 5.2 埋め込み表現の可視化

文脈化単語埋め迄みモデルの fine-tuning 前後で，埋め达み空間がどれほど変化しているのかを直感的に理解するため, 埋め込み表現の可視化を行った. 表 2 のセット 1 の全事例を対象に, Vanilla モデル, Triplet モデル, AdaCos モデルによるフレームを喚起する動詞の文脈化単語埋め込みを t-SNEにより 2 次元に射影し，可視化した結果を図 2 に示す. Vanilla, AdaCos, Triplet のモデルにおいて，それぞれ $v_{w o r d}, v_{w+m}, v_{\text {mask }}$ を使用している， $v_{w+m}$ の重み $\alpha$ は， 4.2 節の実験結果で Triplet モデルと AdaCos モデルを用いた 1 段階クラスタリングの手法の最適値であった 0.3 としている ${ }^{5}$.

まず，Vanilla モデルに関して， $v_{\text {word }}$ の結果に着目すると，フレームごとに事例がまとまる傾向は見られるものの，たとえば，SELF_MOTION フレームや EXPERIENCER_OBJ フレームの事例は 2 つの大きなグループに分かれており, REMOVING フレームの事例もかなり散在しており, フレームごとに十分にまとまっているとはいえない．また， $v_{\text {mask }}$ の結果を見ると， $v_{\text {word }}$ の結果より, さらに事例が全体的に散在する傾向が確認できる。 $v_{w+m}$ に関しては, $v_{\text {word }}$ と $v_{\text {mask }}$ に比べて，同じフレームの事例がまとまる傾向が確認でき，両方の埋め込みを考慮する利点があることを示している.

次に， AdaCos モデルと Triplet モデルの $v_{\text {word }}$ は, Vanilla モデルの $v_{\text {word }}$ と比較して，意味フレームごとで事例がまとまっていることが確認できる．特に，Vanilla モデルでは識別困難であった PLACING フレームや FILLING フレームのような類似した意味のフレームの事例に対しても，ある程度識別可能であるような事例の分布になっていることが確認された. しかし，これらのモデルの $v_{w o r d}$ は，同じ意味フレームごとでまとまっているが，その中で事例の塊のようなものが観測される.これは深層距離学習による fine-tuningよって, 動詞の埋め込み表現がその表層情報を考慮しすぎていることを示唆している. AdaCos モデルと Triplet モデルの $v_{\text {mask }}$
^{5}$ Vanilla モデルでは, $v_{w+m}$ の $\alpha$ は 0 であったが, これは $v_{w o r d}$ と同じであるため, ここでは $\alpha$ が 0.3 のときの結果を示す.
}

SELF_MOTION 4 EXPERIIENCER_obJ
BODy_MOVEMENT $\quad$ COMMUNICATION_NOISE

Placing

$\star$ PATH_SHAPE

4 MAKE_NOISE

CAUSE_HARM REMOVING

図 2 Vanilla モデル, AdaCos モデル, Triplet モデルにおける $v_{w o r d}, v_{w+m}, v_{\text {mask }}$ の 2 次元マッピング.各色および形状は事例数の多い上位 10 フレームを示す.

の結果を見ると，Vanilla モデルの $v_{\text {mask }}$ よりは事例が意味フレームごとにまとまっている傾向は確認できるものの，これらのモデルの $v_{\text {word }}$ ほど意味フレームごとにまとまらなかった。これは， $v_{\text {mask }}$ を獲得する際のトークンがすべて同じ“[MASK]” トークンであるため，学習が難しいことが要因であると考えられる。 AdaCos モデルと Triplet モデルの $v_{w+m}$ に関しては，他の
埋め込み表現と比較して, 最もフレームごとに事例ごとにまとまっており, その有用性が確認できる. AdaCos モデルと Triplet モデルによる結果を比較すると，全体的に類似した事例の分布になっており, これは共に距離を学習している点は変わらないため, 類似した埋め込み空間になっていると考えられる。

## 6 おわりに

本論文では, 文脈化単語埋め込みを深層距離学習に基づき fine-tuning することで高性能な意味フレーム推定手法が可能となることを示した. fine-tuning したモデルの中では, Triplet, ArcFace, AdaCos モデルが全体的に高いスコアを達成しており, 意味フレーム推定における有用性が確認された. 特に, Triplet モデルにおいては, 少量の学習事例数でもVanilla モデルと比較して，かなり性能が向上することから，人手で作成された意味フレームリソースが存在しないような言語に対しても意味フレームリソース構築へ有用であることが期待できる。また, fine-tuning したモデルを利用する際には，2 段階クラスタリングの手法だけではなく，1 段階クラスタリングの手法も有用であることが明らかとなった.

本研究の最終目標は, 大規模なテキストコーパスから意味フレームを自動的に構築することである。この目標を達成するためには，テキスト中の動詞を，その動詞が喚起するフレームごとにまとめる動詞の意味フレーム推定だけでなく, その項となる語句もその役割ごとにグルー プ化するフレーム要素推定も必要である. フレーム要素推定においても, 動詞の項となる語句の役割を表現する埋め込み空間を獲得できれば実現可能であるため，本研究で提案した深層距離学習による fine-tuning が有効である可能性は高いと考えられる。また, FrameNet 内で実験を行うだけではなく，実際に大規模なテキストコーパスにおいて，本手法を適用することで，意味フレームリソースの構築を行うことを考えている.

## 謝 辞

本研究は, JST 創発的研究支援事業 JPMJFR216N，およびJSPS 科研費 $21 K 12012$ と 23KJ1052 の支援を受けたものである。

## 参考文献

Anwar, S., Ustalov, D., Arefyev, N., Ponzetto, S. P., Biemann, C., and Panchenko, A. (2019). "HHMM at SemEval-2019 Task 2: Unsupervised Frame Induction using Contextualized

Word Embeddings." In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 125-129.

Arefyev, N., Sheludko, B., Davletov, A., Kharchev, D., Nevidomsky, A., and Panchenko, A. (2019a). "Neural GRANNy at SemEval-2019 Task 2: A Combined Approach for Better Modeling of Semantic Relationships in Semantic Frame Induction." In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 31-38.

Arefyev, N., Sheludko, B., and Panchenko, A. (2019b). "Combining Lexical Substitutes in Neural Word Sense Induction." In Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2019), pp. 62-70.

Bagga, A. and Baldwin, B. (1998). "Entity-Based Cross-Document Coreferencing Using the Vector Space Model." In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics (ACL-COLING 1998), pp. 79-85.

Baker, C. F., Fillmore, C. J., and Lowe, J. B. (1998). "The Berkeley FrameNet Project." In Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics (ACL-COLING 1998), pp. 86-90.

Biemann, C. (2006). "Chinese Whispers: An Efficient Graph Clustering Algorithm and its Application to Natural Language Processing Problems." In Proceedings of TextGraphs: the First Workshop on Graph Based Methods for Natural Language Processing (TextGraphs 2006), pp. 73-80.

Deng, J., Guo, J., Xue, N., and Zafeiriou, S. (2019). "ArcFace: Additive Angular Margin Loss for Deep Face Recognition." In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2019), pp. 4690-4699.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL 2019), pp. 4171-4186.

Hadsell, R., Chopra, S., and LeCun, Y. (2006). "Dimensionality Reduction by Learning an Invariant Mapping." In Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2006), Vol. 2, pp. 1735-1742.

Jiang, T. and Riloff, E. (2021). "Exploiting Definitions for Frame Identification." In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2021), pp. 2429-2434.

Kawahara, D., Peterson, D., Popescu, O., and Palmer, M. (2014). "Inducing Example-based Semantic Frames from a Massive Amount of Verb Uses." In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2014), pp. 58-67.

Kaya, M. and Bilge, H. Ş. (2019). "Deep Metric Learning: A Survey." Symmetry, 11 (9), p. 1066.

Liu, W., Wen, Y., Yu, Z., Li, M., Raj, B., and Song, L. (2017). "SphereFace: Deep Hypersphere Embedding for Face Recognition." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2017), pp. 212-220.

Loshchilov, I. and Hutter, F. (2017). "Decoupled Weight Decay Regularization." In Proceedings of the 5th International Conference on Learning Representations (ICLR 2017).

Maaten, L. v. d. and Hinton, G. (2008). "Visualizing Data using t-SNE." Journal of Machine Learning Research, 9, pp. 2579-2605.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., and Dean, J. (2013). "Distributed Representations of Words and Phrases and their Compositionality." In Advances in Neural Information Processing Systems (NIPS 2013), pp. 3111-3119.

Musgrave, K., Belongie, S., and Lim, S.-N. (2020). "A Metric Learning Reality Check." In Proceedings of the 16th European Conference on Computer Vision (ECCV 2020), pp. 681-699.

Pelleg, D. and Moore, A. (2000). "X-means: Extending K-means with Efficient Estimation of the Number of Clusters." In Proceedings of the 17th International Conference on Machine Learning (ICML 2000), pp. 727-734.

Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., and Zettlemoyer, L. (2018). "Deep Contextualized Word Representations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2018), pp. 2227-2237.

QasemiZadeh, B., Petruck, M. R. L., Stodden, R., Kallmeyer, L., and Candito, M. (2019). "SemEval-2019 Task 2: Unsupervised Lexical Frame Induction." In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 16-30.

Ribeiro, E., Mendonça, V., Ribeiro, R., Martins de Matos, D., Sardinha, A., Santos, A. L., and Coheur, L. (2019). "L2F/INESC-ID at SemEval-2019 Task 2: Unsupervised Lexical Semantic Frame Induction using Contextualized Word Representations." In Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval 2019), pp. 130-136.

Ruppenhofer, J., Ellsworth, M., Schwarzer-Petruck, M., Johnson, C. R., and Scheffczyk, J. (2016). FrameNet II: Extended Theory and Practice. International Computer Science Institute.

Su, X., Li, R., Li, X., Pan, J. Z., Zhang, H., Chai, Q., and Han, X. (2021). "A Knowledge-

Guided Framework for Frame Identification." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2021), pp. 5230-5240.

Ustalov, D., Panchenko, A., Kutuzov, A., Biemann, C., and Ponzetto, S. P. (2018). "Unsupervised Semantic Frame Induction using Triclustering." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL 2018), pp. 55-62.

Wang, H., Wang, Y., Zhou, Z., Ji, X., Gong, D., Zhou, J., Li, Z., and Liu, W. (2018). "CosFace: Large Margin Cosine Loss for Deep Face Recognition." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2018), pp. 5265-5274.

Weinberger, K. Q. and Saul, L. K. (2009). "Distance Metric Learning for Large Margin Nearest Neighbor Classification." Journal of Machine Learning Research, 10 (2), pp. 207-244.

Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., Davison, J., Shleifer, S., von Platen, P., Ma, C., Jernite, Y., Plu, J., Xu, C., Scao, T. L., Gugger, S., Drame, M., Lhoest, Q., and Rush, A. M. (2020). "Transformers: State-of-the-Art Natural Language Processing." In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations (EMNLP 2020), pp. 38-45.

Yamada, K., Sasano, R., and Takeda, K. (2021a). "Semantic Frame Induction using Masked Word Embeddings and Two-Step Clustering." In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2021), pp. 811-816.

Yamada, K., Sasano, R., and Takeda, K. (2021b). "Verb Sense Clustering using Contextualized Word Representations for Semantic Frame Induction." In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021 (ACL-IJCNLP 2021 Findings), pp. 4353-4362.

Yamada, K., Sasano, R., and Takeda, K. (2023). "Semantic Frame Induction with Deep Metric Learning." In Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2023), pp. 1833-1845.

山田康輔, 笹野遼平, 武田浩一 (2023). 深層距離学習を用いた動詞の意味フレーム推定. 言語処理学会第 29 回年次大会発表論文集, pp. 2422-2426. [K. Yamada et al. (2023). Semantic Frame Induction with Deep Metric Learning. Proceedings of the 29th Annual Meeting of the Association for Natural Language Processing, pp. 2422-2426.].

Yong, Z. X. and Torrent, T. T. (2020). "Semi-supervised Deep Embedded Clustering with Anomaly Detection for Semantic Frame Induction." In Proceedings of the 12th Language

Resources and Evaluation Conference (LREC 2020), pp. 3509-3519.

Zhang, X., Zhao, R., Qiao, Y., Wang, X., and Li, H. (2019). "AdaCos: Adaptively Scaling Cosine Logits for Effectively Learning Deep Face Representations." In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2019), pp. 10823-10832.

Zhao, Y. and Karypis, G. (2001). "Criterion Functions for Document Clustering: Experiments and Analysis." Tech. rep., Retrieved from the University of Minnesota Digital Conservancy.

## 略歴

山田康輔：2021 年名古屋大学大学院情報学研究科博士前期課程修了. 同年,同大学院同研究科博士後期課程に進学. 2022 年より日本学術振興会特別研究員 (DC2).

笹野遼平：2009 年東京大学大学院情報理工学系研究科博士課程修了. 京都大学特定研究員, 東京工業大学助教を経て, 2017 年より名古屋大学准教授. 博士 (情報理工学)。2019 年より理化学研究所 AIP センター客員研究員を兼任.武田浩一：1983 年京都大学大学院工学研究科情報工学専攻修士課程修了. 同年日本アイ・ビー・エム株式会社に入社. 2017 年より名古屋大学教授. 博士 (情報学).