一般社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATIONCOMMUNICATION ENGINEERS
一般社団法人AND
電子情報通信学会

信学技報
IEICE Technical Report
NLC2023-26(2024-03)
信学技報

THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

IEICE Technical Report

複数の訓練データを用いた直喩文判別
自見仁太朗†

嶋田 和孝††† 九州工業大学大学院情報創成工学専攻 〒820-8502 福岡県飯塚市川津 680-4†† 九州工業大学 大学院情報工学研究院 知能情報工学研究系 〒820-8502 福岡県飯塚市川津 680-4
E-mail: †jimi.jintaro102@mail.kyutech.jp, ††shimada@ai.kyutech.ac.jp
あらまし 比喩の一種である直喩は「ような」などの定型語 (喩詞) によって比喩の対象を明示する表現である．しかし，喩詞として用いられる「ような」という語は，例示や婉曲の意味でも使用されるため，使い方によって文意が大きく異なる．このような文を判別することは文章理解に於いて重要である．一般に，比喩判別を二値分類問題として機械学習で解くことが考えられる．しかし，機械学習モデルを学習させるには大量のラベル付きデータ（直喩 or 非直喩）が必要となる．このようなデータセットを新たに構築するには大きなコストがかかる．そこで，本研究では少量のラベル付きデータに加えて，疑似ラベリングデータ，他言語データを用いて学習を行い，これらのデータセット及びその組み合わせの有効性を確認した．
キーワード

直喩文判別，疑似データ，多言語学習，比喩

Simile identiﬁcation using several types of training data
Jintaro JIMI† and Kazutaka SHIMADA††† , Kyushu Institute of Technology
680-4 Kawazu, Iizuka, Fukuoka 820-8502, JAPAN†† Department of Artiﬁcial Intelligence, Kyushu Institute of Technology
680-4 Kawazu, Iizuka, Fukuoka 820-8502, JAPANE-mail: †jimi.jintaro102@mail.kyutech.jp, ††shimada@ai.kyutech.ac.jp
Abstract Simile is a kind of ﬁgurative language. It expresses the target of the ﬁgurative language by using comparators suchas “like”. For understanding a sentence, it is important to distinguish whether the sentence is a simile or a literal. In thispaper, We use several types dataset for simile identiﬁcation task. The several datasets are small human annotated datasets,
pseudo-labeling dataset, and other language datasets. We show the validity of the combination of several data in this task.
Key words simile identiﬁcation, pseudo data, multilingal training, ﬁgurative language
その中でも「のような」又は「のように」を含む文を対象とす

1. は じ め にる．直喩において喩詞として用いられる「ような」という語句

自然言語処理分野の研究において，文章や文脈の理解に関しは，文中で例示や婉曲といった喩詞以外の役割を持つ場合も多ては多くの課題が存在する．その中の一つが比喩表現の理解でい．以下の例において (1) は直喩文であるが，(2) は非直喩文である．一般に認知言語学の分野において，比喩を理解するためある．直喩文判別では下記のような文を見分ける必要がある．

には文字通りの情報だけではなく物事の持つイメージや概念な•「ような」を含む文の例

どの情報が認識過程において重要であることが知られている．

(1) 天使のようなかわいい小鳥よ。(比喩)

このような表現を機械が理解するためには文字情報だけでなく，(2) 大谷翔平のような野球選手になりたい。(例示)

物事の概念知識や常識的知識が必要となる．そのため，比喩表

一般に，このようなタスクを分類問題として機械学習で解く

現を理解することは機械にとって困難なタスクであり，文章理という方法が考えられる．しかし，機械学習で分類問題に取り解においてそのような文を検知することが重要な課題であると組む場合，直喩文と非直喩文それぞれの大量の訓練データが必いえる．

要になる．日本語におけるこのような大規模データセットは不本研究では，比喩の中でも「ような」や「ごとく」といった定足しており，新たに人手で構築するのは大きなコストがかかる．

型語 (喩詞) によって比喩の対象を明示する直喩表現に注目し，本研究では，このリソースの不足を補うために，少量の直喩- 19 -

This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.
This article is a technical report without peer review, and its polished and/or extended version may be publishedelsewhere.
Copyright©20xx by IEICE
Copyright ©2024 by IEICE

判別アノテーションデータに加えて，疑似ラベリングデータ

表 1 データセット内訳

セット，他言語のデータセットを用い，これらのデータセット

言語

直喩

非直喩

疑似ラベリングデータ

日本語10696857501

Human Annotation 1

日本語

217

283

Human Annotation 2

日本語

300

723

英語

5515

5904

中国語

3576

4570

Chinese Simile Recognition Dataset 中国語

5088

6249

やその組み合わせの有効性を確認する．

2. 関 連 研 究
直喩文判別の手法として，比喩の対象である喩詞と被喩詞 (前Multilingal Simile Dialogue Dataset

節の (1) では「天使」が喩詞で「小鳥」が被喩詞である) の関係を類推する手法が存在する．田添ら [1] は「名詞 A のような名
詞 B」という文型に限定して各名詞の意味情報を知識ベースから獲得し，パターン分類による直喩文判別を試みた．しかし，ることで当該タスクの精度向上を確認した．本研究では，この田添らの手法は対象とされる直喩文の形式が限定される点や，マルチリンガルでの相互学習手法を直喩判別タスクに適用する．

知識ベースに存在しない名詞に関して類推が行えない点などで

3. データセット

汎用性に欠ける．また，この手法を適用する場合は文章中の喩

本節では，実験で用いるデータセットについて述べる．3. 1

辞と被喩辞が明確になっている必要があるが，喩辞と被喩辞を節では疑似ラベリングデータ及びその獲得手法について説明す

文章から抽出することは困難なタスクの一つである [2]．
近年では，ニューラルネットワークモデルを用いた研究が行る．3. 2 節では人手アノテーションデータの構築手順とその結われている．Gao ら [2] や Liu ら [3] は Bi-LSTM を用いて文中果を示す．3. 3 節では，5. 節で用いる他言語直喩判別データにの比喩表現の検出に取り組んでおり，従来のルールベース手法

関して説明する．各節で説明するデータセットの内訳についてよりも高精度を記録している．しかし，このようなモデルを学

表 1 に示す．

3. 1 疑似ラベリングデータセット

習するには正解データとなる大量のラベル付きデータが必要となる．近年では大規模な事前学習モデル BERT [4] の登場によ本研究では私たちの先行研究 [8] に倣い，機械翻訳を用いてり，十分な学習に必要なデータ量は減少したが，依然としてよ得られた他言語の情報を基に「のような」又は「のように」を含り良いモデルを構築するためには一定量の高品質なデータセッ

む文への自動的なアノテーションを行い，疑似ラベリングデー

トの構築が必要であり，その作成コストは課題となる．

タを獲得する．3. 1. 1 節では使用する翻訳器について述べる．

このような背景から，データセットの不足を補うために様々

3. 1. 2 節では，その翻訳器を用いてどのように疑似訓練データな研究が行われてきた．例えば，疑似データの作成・取得は，を獲得するかを述べる．獲得したデータセットの内訳は表 1 に事例の少ないデータの拡充や人手アノテーションのコスト削減

示す．

3. 1. 1 翻 訳 器のために一般的に取られる手法の一つである．特に，画像処理の研究において疑似データによるデータ拡充は画像の反転や回本研究では，mBART [12] という機械翻訳モデルを使用する．

転によって比較的容易に行うことができる [5]．しかし，言語処

このモデルは，複数の言語で事前学習が行われたシーケンス間理の研究においては，対象の文の文章構造や文意を崩してしま

モデルで構成されている．mBART にはいくつかのモデルが公うため，単純に単語の置換や削除，挿入といった処理でデータ開されており，本研究では 50 の多言語翻訳のために調整され拡充を行うことは難しい．

たモデル 1 を使用する．このモデルは 50 の言語において任意のそこで，シソーラスや単語の分散表現を用いて，できるだけ元の文章の文意を保持したまま単語を置換するような手法がとターゲット言語 ID を与えることでペア間での直接翻訳を行うことができる．本研究では日英翻訳のみを利用する．

3. 1. 2 疑似ラベリングデータ獲得手法られてきた [6] [7]．しかし，この手法で得られる疑似データは元の文章に大きく依存するため，真に多様な文章が得られると

本節では 3. 1. 1 節で述べた翻訳器を用いた疑似ラベリングは言い難い．また，置き換えられる単語には限りがあるため，

データセット獲得の手順を説明する．まず，既存の日本語文章得られるデータ量は元のデータ量に大きく依存する．そのため，

コーパスである青空文庫の本文データ 2 ，Wikipedia の本文デー本研究では私たちの先行研究 [8] に倣い，機械翻訳を用いて疑タ 3 ，毎日新聞の 1995 年の記事データを対象として文章の抽出

似データの獲得を行う．近年では，ニューラル機械翻訳 [9] のを行う．抽出対象は「のような」又は「のように」を含む文と研究が進んでおり，機械翻訳の精度が大きく向上している．そする．対象の文に対して上記の文字列のマッチングを行い，各こで，機械翻訳で得た対訳文の情報を加味することで疑似的なコーパスから抽出する．このとき，「このような (に)，そのようラベリングを行うことを可能とした．

な (に)，あのような (に)，どのような (に)」といった「の」がデータセットの不足を補う他の手法として，マルチタスク学
習がある．マルチタスク学習とは，異なるタスクについて学習

指示語の一部であるパターンはストップワードとして設定し，データセットから除外している．
次に抽出した文を機械翻訳にかけて対訳文 (英文) を獲得すした複数のモデル間で相互学習を行い，それぞれのタスクで得られた知識を他のモデルの学習に取り入れる手法である [10]．

Zhu ら [11] は疾患分類タスクにおいてマルチタスク学習の枠組
みを取り入れ，同一タスクを複数言語のモデルで相互学習させ（注 1）：https://huggingface.co/facebook/mbart-large-50-many-to-many-mmt（注 2）：https://github.com/aozorabunko/ozorabunko（注 3）：https://github.com/attardi/wikiextractor- 20 -—2—

る．その対訳文に対して次に示すルールを適用し，各文に直喩・

表 2 HA2 で付与したラベル

非直喩のラベルをそれぞれ付与した．

ラベル

ラベルの意味4

直喩 (確信度高)•疑似直喩 - 対訳文に “like” を含む文

(4) 丁度鶏の脚のような骨と皮ばかりの腕である。

3

直喩 (確信度低)(4e) It is just a bone and skin arm like a chicken’s leg.

2

非直喩 (確信度低)•

疑似非直喩 - 疑似直喩ではない文

直喩には特徴語 (Comparater) が存在し，日本語ではその一つと

1

非直喩 (確信度高)0

判別不能 (特殊タグ)

して今回対象としている「ような (に)」が挙げられる．同じよ
うに他の言語でも直喩を表す特徴語が存在する場合がある．今

ル付与の判断に迷った場合に確信度低とするように指示をした．

回用いる英語では一般的な特徴語の一つとして前置詞 “like” がまた，今回のアノテーションでは 0 ラベルを特殊タグと位置挙げられる．そこで，獲得した対訳文に “like” が含まれているづけ，ラベルの付与に制限を与えた．このラベルは，与えられ文を疑似直喩とし，それ以外の “like” が含まれていない文を疑た文が非文であったり，前後文脈が不足していたりして直喩か

似非直喩とするように対象の文にラベルを付与した．

非直喩か判断できない場合に付与される．このラベルを付与でまた，該当するデータを抽出したのち，疑似直喩データと疑
似非直喩データそれぞれに含まれる青空文庫と Wikipedia デー

きる最大数を各アノテータ 8 件とし，9 件目以降は判断が難しい場合でもそれ以外のラベルを付与するように指示した．

タセットの文数を均等にするようにダウンサンプリングを行っ

3. 2. 2 アノテーション結果

た．毎日新聞のデータセットに対してこの処理を行わないのは，

まず，アノテーションの一致度について Fleiss’ 𝜅 [13] を用い

当データセットが他のデータセットに比べて文数が極端に少なて評価を行う．この値を計算する際に，HA2 に関しては 4・3

いためである．

ラベル及び 2・1 ラベルを同一ラベルと見做して計算を行って

3. 2 人手アノテーションデータセット (日本語)いる．計算の結果，それぞれのデータの 𝜅 値は HA1 が 0.426，

本節では，2 セットの人手アノテーションデータの構成及びHA2 が 0.488 となった．一般に 𝜅 値は 0.4〜0.6 の値であれば作成手順について説明する．一つは，私たちの先行研究 [8] で構

アノテーション結果が適度に一致しているといわれる．HA1，

築したデータセットである．もう一つは，先行研究の結果を踏HA2 双方のデータはその条件を満たすため，これらのアノテー

まえ，今回新たに作成したデータセットである．以降では，先ションデータの信頼度はある程度保証されているといえる．
本実験では，3 人のアノテーションが完全一致した場合のデー

行研究のデータセットを HA1 (Human Annotation 1)，今回構築したデータセットを HA2 (Human Annotation 2) とする．3. 2. 1

タのみを用いてデータセットを構築する．

節でそれぞれのアノテーションの設定について説明し，3. 2. 2 節

3. 3 他言語データセット

でその結果について示す．また，これらのデータセットは 3. 1

この節では 5. 節で用いる他言語直喩判別データに関して説明

節の疑似ラベリングデータセットと同じドメインからデータをする．本研究では 2 種類の他言語データセットを用いる．表 1

取得しているが，それぞれのデータセットは独立である．表 1にこれらのデータセットの内訳を示す．

1 つ目は，Multilingal Simile Dialogue Dataset [14](MSD) であにこれらのデータセットの内訳を示す．

る．このデータセットは英語と中国語のダイアログコーパス

3. 2. 1 アノテーション設定
HA1 は先行研究 [8] で構築したデータセットである．この(Reddit-dialogue，LCCC，PchatbotW) から抽出した文章から構

データセットを構築するに当たって，青空文庫，Wikipedia，毎

築されている．抽出対象は機械翻訳した際に英語，中国語の双日新聞の各ドメインごとに「のような (に)」を含む文を 300 文

方で特徴語 (“Like”，「像」など) を含む一定長のダイアログとずつをランダムに選出した．そして，これら計 900 文に対してし，それに対して直喩か非直喩かのラベルを人手で付与した．

9 人のアノテータにアノテーションを依頼した．

このとき，それぞれの文に最低 3 人のアノテータがラベルを付

各アノテータは各ドメイン 100 文ずつの全 300 文のアノテー

与し，その Fliess’ 𝜅 値は 0.61 であった．

ションを行う．アノテータはそれぞれの文に対して，直喩文，

2 つ目は，Chinese Simile Recognition Dataset [3](CSR) である．

非直喩文，判定不能のいずれか 3 値のラベルを付与する．ここのデータセットは中国の学生が書いたエッセイのうち，特徴のとき，1 つの文に対して必ず 3 人のアノテータによってアノ語である「像」が含まれる文を抽出し，アノテーション対象とテーションが行われるようにした．

している．そして，それらの文に対して 2 人のアノテータが直次に，HA2 のアノテーション設定について説明する．この喩か非直喩かのラベルを付与した．
以下の章では各データセットを 𝑀𝑆𝐷 𝑒𝑛 ，𝑀𝑆𝐷 𝑧ℎ ，𝐶𝑆𝑅 𝑧ℎ とデータセットを作成するに当たって，3. 1 節で作成した疑似直喩，疑似非直喩データの各文から各 800 文をランダムに選出し記述する．

た．そして，これら計 1600 文に対して 12 人のアノテータにア

4. 日本語データを用いた学習

ノテーションを依頼した．

本節では疑似ラベリングデータと人手アノテーションデータ

各アノテータはこのうちランダムな 400 文に対してアノテー
ションを行う．今回のアノテーションでは表 2 に示す基準でを用いてモデルの学習を行った結果を示す．4. 1 節では，本実0〜4 の値をそれぞれの文に付与する．確信度は，少しでもラベ

験で分類モデルとして用いる事前学習モデル BERT について説- 21 -—3—

ルの評価は HA1 で行われる．疑似ラベリングデータのみで学習されたモデルに対しては，HA1，HA2 の双方で評価を行う．
次に，本実験で用いる BERT のハイパーパラメータ設定を説明する．まず，最適化関数に Adadelta，損失関数に BCELoss を用いる．また，学習率を 1e-3，重み減衰を 1e-5 に設定する．入力の最大トークン長は 64 とし，バッチサイズは疑似データで学習するときは 128，HA1 及び HA2 で学習するときは 16 とした．最大エポック数は 60 として Early Stopping を導入し，10
エポック間モデルの更新がなかった場合，学習を打ち切る．

図 1 BERT の概略

本実験のベースラインとして，疑似ラベリングデータ (pseudo)，

明する．4. 2 節で実験の設定について説明し，4. 3 節で実験結果について示す．

2 種の人手アノテーションデータ (HA1，HA2) をそれぞれ単体で学習したモデルを用いる．このとき，訓練データを選定してモデルを学習する過程を 3 回行い，その平均値を算出する．

4. 1 BERT
BERT [4] は大規模なテキストコーパスを用いて事前学習を行った汎用言語モデルであり，目的のタスクに応じて追加学習(ファインチューニング) を行うことで，様々な自然言語処理タ
スクに適応させることができる．本タスクにおけるモデルの概要を図 1 に示す．

BERT に入力される文は BertJapaneseTokenizer によってサブワード単位で分割されて入力される．サブワード分割されている単語は図 1 中の##で示されている．また，図 1 中の [CLS]と [SEP] は BERT における特殊トークンの一種である．[CLS]
トークンは後ろに続く文章全体の特徴を示すトークンであり，今回のような文章分類タスクにおいては最終的な特徴量として

また，疑似ラベリングデータと人手アノテーションデータを組み合わせた 2 つの学習方法を提案し，比較する．一つ目は，
人手アノテーションデータのデータ数を疑似データによって拡充する方法である．この方法では，それぞれの人手アノテー
ションデータに疑似直喩文，疑似非直喩文のデータを一定数拡充したデータセットを用いて学習を行う．今回は 100，10000
件の 2 パターンを比較する．二つ目は，疑似ラベリングデータ
でファインチューニングされたモデルに対して，人手アノテー
ションデータで再度ファインチューニングを行う手法である．
以上の 2 つの手法に関してもモデルの学習過程を 3 回行い，その平均値を算出する．

4. 3 実 験 結 果

用いられる．[SEP] トークンは主に文章の終端や発話の区切りを示すために使用されるトークンである．BERT に入力された各文は 12 層の Transformer 層を通り，各トークンが 768 次元の出力ベクトルを得る．最後に [CLS] トークンを Linear 層を用
いて 2 次元に圧縮し，2 値分類の結果として扱う．
本実験では，東北大学で公開されているモデル 4 を用いる．このモデルは日本語 Wikipedia コーパスを用いて事前学習が行われている．モデルに対して，疑似ラベリングデータ，人手アノテーションデータを用いてファインチューニングを行い，直喩
判別タスクに適応させる．

表 3 および表 4 に各実験結果を示す．表の値はそれぞれ直喩，非直喩の F 値とその平均 F 値である．また，表中の太字は最高 F 値を示し，下線は 2 番目に高い F 値を示す．
まず，単体で学習した結果 (表中の「疑似」と「人手」) について比較する．それぞれの表から，疑似データで学習するよりも人手データで学習する方がより高い F 値を示すことがいえる．
これは疑似データがルールベースのラベリングであるため，ノイズを多量に含むことが原因の一つであると考えられる．
次に，疑似ラベリングデータと人手アノテーションデータを組み合わせた手法について考察する．表中の HA1 + 𝑁 ，HA2

4. 2 実 験 設 定
本実験では 3. 1 節の疑似ラベリングデータ及び 3. 2 節の人手
アノテーションデータを用いて BERT モデルを学習する．それぞれのデータセットを訓練に用いるときに直喩データ，非直喩
データの数を合わせるため，ダウンサンプリングを行う．このときのデータの選出はランダムに行う．また，この選出された
データを更に 9 : 1 に分割し，訓練データと開発データとする．
各文章は図 1 のように特徴語「ような (に)」の後方に [SEP]
トークンを挿入し，BERT に入力する．これは，文章の喩辞が含まれる部分と被喩辞が含まれる部分を明示的にモデルに示す意図がある．
本実験の評価データは人手アノテーションデータのうち，学習に使われていないものとする．つまり，HA1 で学習されたモ+ 𝑁 はそれぞれの人手データに直喩，非直喩それぞれ 𝑁 件の疑似データを拡充した結果を示す．これらの結果は，人手アノテーションデータのみで学習したときよりも F 値の低下が見られた．また，拡充したデータ数がより多い +10000 の方が F 値の低下する幅はより大きい．この結果より，疑似データの拡充
はノイズとなり，学習への悪影響を与えることがいえる．
一方で，追加学習の手法では，人手アノテーションデータのみの学習よりも F 値の向上が見られた．本手法の特徴として，大規模な疑似ラベリングデータでおおまかな学習をしたのちに少規模な品質の高い人手アノテーションデータで再度学習する
ように段階的にモデルの学習が行われたことがある．このような段階的な学習が F 値向上の要因であることが考えられる．

デルの評価を HA2 で行う．同じように HA2 で学習されたモデ

5. 他言語データを用いた学習（注 4）：https://github.com/cl-tohoku/bert-japanese

本章では複数の言語のデータセットを用いてモデルの学習を- 22 -—4—

表 3 日本語データを用いた学習の F 値 (疑似データ・HA1 で学習，

HA2 でテスト)

疑似
人手
拡充
追加学習

直喩

非直喩

平均

pseudo

0.604

0.701

0.653

HA1

0.701

0.814

0.758

HA1 + 100

0.686

0.805

0.745

HA1 + 10000

0.649

0.756

0.702

pseudo → HA1 0.732

0.831

0.782

表 4 日本語データを用いた学習の F 値 (疑似データ・HA2 で学習，

HA1 でテスト)
直喩

非直喩

平均

図 2 マルチリンガル学習の概略

疑似

pseudo

0.731

0.759

0.745

人手

HA2

0.729

0.811

0.770

明する．日本語 BERT に関しては 4. 2 節と同様である．英語

HA2 + 100

0.416

0.798

0.757

BERT，中国語 BERT は共に，最適化関数に Adadelta，損失関

HA2 + 10000

0.670

0.731

0.697

数に BCELoss を用いる．学習率は英語 BERT は 5e-3，中国語

pseudo → HA2 0.809

0.872

0.840

BERT は 1e-3 とし，重み減衰は共に 1e-5 に設定する．入力の

拡充
追加学習

最大トークン長は 64，バッチサイズは 64 で両モデル共通であ行った結果を示す．5. 1 節では本実験で用いるマルチリンガル

る．最大エポック数は 60 として Early Stopping を導入し，すべ学習の枠組みについて説明する．5. 2 節で実験の設定についててのモデルにおいて 10 エポック間モデルの更新がなかった場説明し，5. 3 節で実験結果について示す．

合，学習を打ち切る．

5. 1 マルチリンガル学習

本実験での英語データと中国語データの取り扱いについて述

本研究のマルチリンガル学習はマルチタスク学習の枠組みをべる． 𝑀𝑆𝐷 では英語，中国語共に 9 : 1 に分割し，それぞれの用いる．マルチタスク学習は転移学習の一種とされ，関連する訓練データと開発データとする．𝐶𝑆𝑅 𝑧ℎ では，公開されたデー

複数のタスクに関して有用な情報を共有しながら学習を行うこ

タセットがあらかじめ分割されているため，データ分割に関しとで，モデルの汎化性能を高め，単一モデルの学習よりも精度てはデフォルトの設定に倣う．なお，日本語データを用いる場の向上が期待できることが知られている [10]．

合の設定は前節と同様である．また，訓練データに関しては前

マルチタスク学習を行う方法は様々存在するが，本実験で節と同様に，全てのデータでランダムなダウンサンプリングをは各タスクにそれぞれ独立したモデルを持つソフトパラメー

行い，直喩と非直喩のデータ数を揃える．訓練データを選定しタシェアを採用する．また，分類モデルとして BERT を用い，てモデルの学習を行う過程を 3 回行い，平均値を算出する．

BERT が持つ 12 層の Transformer 層の一部のパラメータを共有する形でマルチタスク学習を行う．

各モデルに関して 2 言語及び 3 言語の複数の組み合わせを検討し，比較する．日本語データに関しては前節で最も高い F 値

本タスクにおけるマルチリンガル学習モデルの概要を図 2 にを記録した pseudo → HA1，pseudo → HA2 を用いる．このと示す．マルチタスク学習では異なるタスクを解くモデルを図 2

き，疑似データによる学習は単一のモデルで行われ，人手デーのように並列に学習させるが，本タスクではそれぞれ異なったタによる学習の際にマルチリンガルでの学習が行われる．

言語のモデルを並列に並べ，それぞれの言語で同様のタスクを

5. 3 実 験 結 果解かせる．多言語で並列して学習することにより，元の言語に本論文では日本語データの分類結果のみを表 5 と表 6 に示存在しない直喩の特徴をモデルが学習し精度が向上することをす．テストデータには前節と同様に，人手アノテーションデー

期待する．また，本タスクにおいては Pahari ら [15] の研究に倣

タのうち，学習に用いられていないものを用いる．また，表のい，BERT の 2〜8 層のみのパラメータを共有する．

値はそれぞれ直喩，非直喩の F 値とその平均 F 値である．表中

5. 2 実 験 設 定の太字はそれぞれの結果のうち，最高 F 値を示す．

本実験では学習する言語に応じて 3 種の BERT モデルを

HA1 を用いたマルチリンガル学習においては，2 言語間で学用いる．日本語データに対しては前節と同様に cl-tohoku/bert-

習したモデルにおいて F 値の向上が見られた．中国語のエッセ

japanese5 を用いる．英語データセットに対しては bert-base-

イデータを基に構築された 𝐶𝑆𝑅 𝑧ℎ と相互学習したモデルが一

uncased6を用いる．また，中国語データセットに対しては，

番良い F 値を得た．Zhu ら [11] の研究では，表層情報の似ていbert-base-chinese7 を用いる．

る日本語と中国語で相互学習を行うことによってより良い結果

次に，本実験で用いる BERT のハイパーパラメータ設定を説が得られることが示されており，今回の結果も同様の傾向が見られる．また，3 言語間で学習したモデルに関しては精度が低（注 5）：https://github.com/cl-tohoku/bert-japanese（注 6）：https://huggingface.co/bert-base-uncased（注 7）：https://huggingface.co/bert-base-chinese

下する結果となった．これは，日本語モデルが 3 つのモデルの情報を処理できず，学習が上手くいかなかったと考えられる．

- 23 -—5—

る．本研究では疑似ラベリングの特徴語として英語の前置詞

表 5 マルチリンガル学習の F 値 (HA1 で学習，HA2 でテスト)

3 言語

非直喩

平均

“like” を使用したが，より適切な判断基準を追加することがで

p → HA1_A

0.732

0.831

0.782

きれば疑似ラベリングの精度を上げることができる．実験に用(p → HA1) + MSDen

0.747

0.850

0.798

いる疑似ラベリングデータの品質が向上すれば，更に直喩文判(p → HA1) + MSDzh

0.756

0.860

0.808

別の精度が向上することが期待できる．また，直喩文判別の後(p → HA1) + CSRzh

0.763

0.866

0.814

段タスクとして直喩文から喩辞と被喩辞を抽出するタスクが存(p → HA1) + MSDen + MSDzh

0.710

0.822

0.766

在する．今後は前述のタスクにも取り組み，直喩文からの更な(p → HA1) + MSDen + CSRzh

0.705

0.811

0.758

る情報抽出に努めたい．

1 言語
2 言語

直喩

文

表 6 マルチリンガル学習の F 値 (HA2 で学習，HA1 でテスト)
直喩

非直喩

平均

p → HA2_A

0.809

0.872

0.840

(p → HA2) + MSDen

0.803

0.877

0.840

(p → HA2) + MSDzh

0.797

0.875

0.836

(p → HA2) + CSRzh

0.801

0.877

0.839

(p → HA2) + MSDen + MSDzh

0.799

0.875

0.837

(p → HA2) + MSDen + CSRzh

0.793

0.874

0.833

1 言語
2 言語

3 言語

一方で，HA2 を用いたマルチリンガル学習においては，2 言語間の学習と 3 言語間の学習の全ての場合で日本語のみの学
習よりも F 値の向上が見られなかった．この結果に関しては，

HA2 の方が HA1 よりもデータサイズが大きく単体のモデルでも充分に学習が行われていたことが原因だと考えられる．充分に学習された日本語モデルはマルチリンガル学習によって追加で得られる情報の恩恵が乏しかったと推察される．

6. お わ り に本研究では「のような」又は「のように」を含む文を対象として機械学習による直喩文判別に取り組んだ．また，機械学習のためのアノテーションデータの不足を補うために疑似ラベリ
ングデータを用いた学習，マルチリンガル学習の 2 つを取り入れ直喩文判別の更なる精度向上を目指した．

1 つ目の疑似ラベリングデータを用いた学習では，機械翻訳の日英翻訳を用いて変換した英文を基に文章に対して疑似ラベ
リングを行い，データセットを構築した．結果として，疑似ラ
ベリングデータでファインチューニングを行った BERT に対して更に人手アノテーションデータでファインチューニングを行うことで最高 F 値を得た．このことから，大量の疑似データで学習した後に少量の品質の良い人手アノテーションデータで学習するような段階的な学習が有効であることが示された．

2 つ目のマルチリンガル学習では，直喩文判別を英語と中国語で解くモデルと相互学習を行った．結果として日本語での直喩文判別タスクでは，HA1 とエッセイ文を基とする中国語デー
タである 𝐶𝑆𝑅𝑐ℎ との相互学習で最高 F 値を得た．また，もう一つの日本語アノテーションデータである HA2 を用いた実験では F 値の向上が見られなかった．これは，日本語 BERT 単体
で判別を行った場合の F 値が HA1 よりも高かったこと，HA1
よりもデータ数が多く学習が充分に行われていたことが原因として考えられる．

献[1] 田添丈博, 椎野努, 桝井文人, 河合敦夫. 名詞 A のような名詞 B
表現の比喩性判定モデル. 自然言語処理, Vol. 10, No. 2, pp. 43–58,
2003.
[2] Ge Gao, Eunsol Choi, Yejin Choi, and Luke Zettlemoyer. Neural
metaphor detection in context. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp.
607–613. Association for Computational Linguistics, 2018.
[3] Lizhen Liu, Xiao Hu, Wei Song, Ruĳi Fu, Ting Liu, and Guoping
Hu. Neural multitask learning for simile recognition. In Proceedingsof the 2018 Conference on Empirical Methods in Natural Language
Processing, pp. 1543–1553, 2018.
[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova.
BERT: Pre-training of deep bidirectional transformers for language
understanding. In Proceedings of the 2019 Conference of the North
American Chapter of the Association for Computational Linguistics:
Human Language Technologies, Volume 1 (Long and Short Papers),
pp. 4171–4186, 2019.
[5] 党紀, 松山当也, 全邦釘, 史紀元, 松永昭吾. UAV 画像における損
傷自動認識のための深層学習と精度向上手法に関する検討. AI・
データサイエンス論文集, Vol. 1, No. J1, pp. 596–605, 2020.
[6] 颯々野学. サポートベクタマシンを使った文書分類における仮想事例の利用. 自然言語処理, Vol. 13, No. 3, pp. 21–35, 2006.
[7] 西本慎之介, 能地宏, 松本裕治. データ拡張による感情分析のア
スペクト推定. 言語処理学会第 23 回年次大会, 発表論文集, pp.
581–584, 2017.
[8] Jintaro Jimi and Kazutaka Shimada. Pseudo data acquisition using
machine translation and simile identiﬁcation. In 2022 12th International Congress on Advanced Applied Informatics (IIAI-AAI), pp.
391–396, 2022.
[9] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Mohammad
Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao,
Klaus Macherey, et al. Google’s neural machine translation system:
Bridging the gap between human and machine translation. arXiv
preprint arXiv:1609.08144, 2016.
[10] Yu Zhang and Qiang Yang. A survey on multi-task learning. IEEE
Transactions on Knowledge and Data Engineering, Vol. 34, No. 12,
pp. 5586–5609, 2022.
[11] Chencheng Zhu, Niraj Pahari, and Kazutaka Shimada. Multilingual
symptom prediction by simultaneous learning using bert. In 2023
International Conference on Asian Language Processing (IALP), pp.
100–105, 2023.
[12] Liu Yinhan, Gu Jiatao, Goyal Naman, Xian Li, Edunov Sergey,
Ghazvininejad Marjan, Lewis Mike, and Zettlemoyer Luke. Multilingual denoising pre-training for neural machine translation. Transactions of the Association for Computational Linguistics, Vol. 8, pp.
726–742, 2020.
[13] Joseph L Fleiss. Measuring nominal scale agreement among many
raters. Psychological bulletin, Vol. 76, No. 5, p. 378, 1971.
[14] Longxuan Ma, Weinan Zhang, Shuhan Zhou, Churui Sun, Changxin
Ke, and Ting Liu. I run as fast as a rabbit, can you? a multilingual
simile dialogue dataset. arXiv preprint arXiv:2306.05672, 2023.
[15] Niraj Pahari and Kazutaka Shimada. Multi-task learning using bertwith soft parameter sharing between layers. In 12th SCIS and 23rd
ISIS, pp. 1–6. IEEE, 2022.

今後の課題として，疑似ラベリングデータの精査が挙げられ- 24 -—6—