# 事前学習された文の分散表現を用いた機械翻訳の自動評価

嶋中 宏希 $\dagger$ ・梶原 智之 ${ }^{\dagger, \dagger \dagger}$ - 小町 守 $\dagger$
}

本稿では，参照文を用いた文単位での機械翻訳自動評価手法について述べる。現在 のデファクトスタンダードである BLEU をはじめとして, 多くの従来手法は文字や 単語の $N$-gram に基づく素性に頼っており, 文単位での評価にとっては限定的な情報しか扱えていない，そこで本研究では，文全体の大域的な情報を考慮するために，事前学習された文の分散表現を用いる機械翻訳自動評価手法を提案する。提案手法 では, 大規模コーパスによって事前学習された文の符号化器を用いて, 翻訳文と参照文の分散表現を得る。そして，翻訳文と参照文の分散表現を入力とする回帰モデルに よって，人手でラベル付けされた翻訳品質を推定する。 WMT-2017 Metrics Shared Task における翻訳品質のラベル付きデータセットを用いた実験の結果, 我々の提案手法は文単位の全ての to-English 言語対において最高性能を達成した。

キーワード：機械翻訳自動評価，文の分散表現
## Metric for Automatic Machine Translation Evaluation based on Pre-trained Sentence Embeddings

\author{
Hiroki Shimanaka $^{\dagger}$, Tomoyuki Kajiwara ${ }^{\dagger, \dagger \dagger}$ and Mamoru Komachi ${ }^{\dagger}$
}

This study describes a segment-level metric for automatic machine translation evaluation (MTE). Although various MTE metrics have been proposed, most MTE metrics, including the current de facto standard BLEU, can handle only limited information for segment-level MTE. Therefore, we propose an MTE metric using pre-trained sentence embeddings in order to evaluate MT translation considering global information. In our proposed method, we obtain sentence embeddings of MT translation and reference translation using a sentence encoder pre-trained on a large corpus. Then, we estimate the translation quality by a regression model based on sentence embeddings of MT translation and reference translation as input. Our metric achieved state-ofthe-art performance in segment-level metrics tasks for all to-English language pairs on the WMT dataset with human evaluation score.

Key Words: Automatic Machine Translation Evaluation, Sentence Embeddings


## 1 はじめに

本稿では，参照文を用いた文単位での機械翻訳自動評価手法について述べる。文単位での信頼性の高い自動評価によって，機械翻訳システムの細かい改善が可能になる. 文単位での機械翻訳の評価手法には，ある機械翻訳システムの翻訳文に対して他のシステムの翻訳文と比較して相対的に評価する手法と，翻訳文の品質を絶対的に評価する手法がある．本研究では，機械翻訳システムの文単位での定性的な分析，つまり，評価対象の機械翻訳システムがどのような文に対してどの程度の品質で翻訳できるのかについての分析を可能にするため, 各翻訳文に対して絶対的な自動評価を行う。本研究では, 人手評価に近い絶対評価ができる手法を信頼性の高い自動評価であると捉え，その信頼性に基づいて各評価手法の性能比較や分析を行う.

機械翻訳に関する国際会議 Conference on Machine Translation (WMT) ${ }^{1}$ では, 機械翻訳自動評価手法の人手評価との相関を競う Metrics Shared Taskが開催されておりここれまでに多くの手法が提案されてきた。しかし，現在のデファクトスタンダードである BLEU (Papineni, Roukos, Ward, and Zhu 2002)をはじめとして, ほとんどの機械翻訳自動評価手法は文字 $N$-gram や単語 $N$-gram などの局所的な素性を利用しており，文単位での評価にとっては限定的な情報しか扱えていない．また，大域的な情報を考慮するために文の分散表現を用いた手法も存在するが，人手評価値付きのデータセットなどの比較的少量の教師ありデータのみを用いてモデル全体を学習するため, 十分な性能を示せていない.

そこで本研究では，局所的な素性に基づく従来手法では扱えない大域的な情報を考慮するために，大規模コーパスによって事前学習された文の分散表現を用いる機械翻訳自動評価手法を提案する，我々の提案手法は，（a）翻訳文と参照文を独立に符号化する手法と，（b) 翻訳文と参照文を同時に符号化する手法に大別できる。これらの 2 つの提案手法は, 大規模コーパスによって事前学習された文の分散表現を素性として利用し, 人手評価値付きのデータセット上で訓練された回帰モデルによって機械翻訳の自動評価を行うという点で共通している.

我々はまず，事前学習された文の分散表現を用いた機械翻訳自動評価のための回帰モデル RUSE $^{2}$ (Regressor Using Sentence Embeddings) （図 1(a)）を提案する. WMT-2017 Metrics Shared Task (Bojar, Graham, and Kamran 2017)のデータセットにおける実験の結果，RUSE は文単位の全ての to-English 言語対で従来手法よりも高い性能を示した。この結果は, 事前学習された文の分散表現が機械翻訳の自動評価にとって有用な素性であることを示す.

我々は続いて, 文および文対の符号化器である BERT による機械翻訳自動評価手法 (図 1(b)) を提案する. BERT (Bidirectional Encoder Representations from Transformers) (Devlin, Chang, Lee, and Toutanova 2019) は，大規模な生コーパスを用いて双方向言語モデルおよび隣接文推定
^{1}$ https://aclanthology.info/venues/wmt

2 https://github.com/Shi-ma/RUSE
}

(a) RUSE による機械翻訳の自動評価

(b) BERT による機械翻訳の自動評価

図 1 各手法の概要. 散点部は訓練し, 横線部は固定する.

の事前学習を行った上でタスクに応じた再訓練を行い，多くの自然言語処理タスクで最高性能を更新している。我々は, WMT Metrics Shared Taskの人手評価値付きデータセットを用いて再訓練することで，BERTによる機械翻訳自動評価を可能にした．WMT-2017 Metrics Shared Task のデータセットにおける実験の結果，BERT による機械翻訳自動評価は文単位の全ての to-English 言語対で RUSE を凌ぎ，最高性能を更新した，詳細な分析の結果，RUSEとの主な相違点である事前学習の方法, 文対モデリング, 符号化器の再訓練の 3 点が, それぞれ BERT による機械翻訳自動評価における性能改善に貢献していることが明らかになった.

本研究の主な貢献は以下の 3 つである.
- 事前学習された文の分散表現に基づく機械翻訳自動評価手法 RUSE を提案し，事前学習された文の分散表現が機械翻訳の自動評価において有用な素性であることを示した.
- 同じく事前学習された文の分散表現に基づくBERTによる機械翻訳の自動評価を行い, WMT-2017 Metrics Shared Taskのデータセットを用いる実験において，文単位の全ての to-English 言語対で最高性能を更新した。
- RUSE と BERTによる機械翻訳自動評価の比較に基づく詳細な分析により, BERT の事前学習の方法, 文対モデリング, 符号化器の再訓練の 3 点が, それぞれ機械翻訳の自動評価における性能改善に貢献していることを明らかにした。

本稿の構成を示す。 2 節では，まず機械翻訳の人手評価について説明し，続いて機械翻訳自動評価手法の関連研究について概説する．3 節では，事前学習された文の分散表現に基づくRUSE およびBERTによる機械翻訳の自動評価手法を提案する．4節では，WMT Metrics Shared Task の人手評価値付きデータセットを用いて，提案手法の評価実験を行う． 5 節では，訓練データの文対数と性能の関係や from-English 言語対における性能について分析する。最後に 6 節で，本研究のまとめを述べる.

## 2 関連研究

本節では, まず機械翻訳の人手評価について説明し, 続いて機械翻訳自動評価手法の関連研究について概説する。自動評価については, 人手評価値付きのデータセットを用いて訓練する手法を教師あり手法，訓練しない手法を教師なし手法として分けて説明する.

## 2.1 機械翻訳の人手評価

機械翻訳に関する国際会議 WMT では，機械翻訳システムの性能を競う News Translation Shared Task が開催されており，各システムの翻訳文を研究者やクラウドソーシングによって人手評価してきた．WMT における機械翻訳の人手評価としては，各翻訳文に対する相対評価 (RR: Relative Ranking) (Bojar, Chatterjee, Federmann, Graham, Haddow, Huck, Jimeno Yepes, Koehn, Logacheva, Monz, Negri, Neveol, Neves, Popel, Post, Rubino, Scarton, Specia, Turchi, Verspoor, and Zampieri 2016) と絶対評価 (DA: Direct Assessment) (Graham, Baldwin, Moffat, and Zobel 2013, 2014, 2017) が行われてきた.

人手の相対評価では, ある原文と参照文に対して複数の機械翻訳システムによる翻訳文が与えられ，各翻訳文を順位付けする。しかし，このような相対評価では異なる原文に対する翻訳文同士の品質を比較できないという問題が存在する。そのため, WMT-2016 (Bojar, Graham, Kamran, and Stanojević 2016) からは人手の絶対評価が行われ始めた ${ }^{3}$.

人手の絶対評価では，ある原文と参照文に対して単一の機械翻訳システムによる翻訳文が与えられ，各翻訳文に妥当性や流暢性についての品質スコアを付与する．WMTの人手評価では，原文は考慮せず，翻訳文と参照文の比較のみによって各翻訳文の妥当性や流暢性について絶対的な評価を行っている．ここでの翻訳文の妥当性とは，参照文との意味的な類似度のことであり，機械翻訳におけるターゲット言語側の単言語の評価タスクとなっている. WMT News Translation Shared Taskにおける妥当性や流暢性の人手評価値の収集は下記の手順で行われる.

(1) WMT News Translation Shared Taskに参加した機械翻訳システムの翻訳文とそれに対応する参照文の対が 100 文対ずつ無作為抽出され，各評価者に割り振られる.

（2）各評価者は，翻訳文と参照文を比較し，0～100のアナログスケールにより各翻訳文の妥当性や流暢性を評価する。

(3) 品質管理 (Graham et al. 2014)により，質の低い評価者による評価値を排除する.

（4）評価者ごとのスコアの偏りを均質化するため, 評価者ごとに平均が 0 , 標準偏差が 1 となるように z-score を用いて評価値を標準化する.
^{3}$ WMT において, 人手の絶対評価が採用され始めたのは WMT-2016 News Translation Shared Task からであるが, WMT-2016 Metrics Shared Task では訓練用のデータセットとして WMT-2015 News Translation Shared Task (Stanojević, Koehn, and Bojar 2015) における翻訳文と参照文に対して人手で付与した絶対評価値付きデー タセットが公開されている。
}

(5) 複数の評価者による標準化された評価値を平均し，最終的な評価值とする.

WMT Metrics Shared Taskでは，上記の方法で収集されたデータセットの中から妥当性についての質の高いデータ4を各言語対ごとに無作為抽出することにより，人手の絶対評価値付きデータセットを作成している。本研究では, この人手による妥当性についての絶対評価值付きデータセットを用いて，提案手法を訓練および評価する.

## 2.2 機械翻訳の自動評価のための教師なし手法

機械翻訳の自動評価におけるデファクトスタンダードである BLEU (Papineni et al. 2002)は,単語 $N$-gram の一致率に基づくシステム単位の教師なし手法である。文単位での評価のためには, 平滑化された SentBLEU゙が用いられる。SentBLEUは, WMT Metrics Shared Taskにおけるベースラインとして利用されている.

AM-FM (Banchs, D'Haro, and Li 2015) は，機械翻訳自動評価のために文の分散表現を用いる教師なし手法であり，妥当性に基づく評価手法である Adequacy Metric (AM) と流暢性に基づく評価手法である Fluency Metric (FM) の調和平均を最終的な翻訳文の評価値とする。妥当性を評価する AM では, 潜在的意味インデキシング (LSI)により得られる, 参照文と翻訳文の各分散表現間のコサイン類似度に基づいて翻訳文を評価する。流暢性を求める FMでは， $N$-gram 言語モデルに基づいて翻訳文を評価する。

(Popović 2017) は, 文字 $N$-gram とともに単語 $N$-gram の F 值も考慮する。これらの手法は, WMT-2016 (Bojar et al. 2016) 以降の Metrics Shared Taskにおいて文単位の from-English 言語対で常に高い性能を示している.

MEANT $2.0^{7}$ (Lo 2017) は, 逆文書頻度で重み付けされた単語 $N$-gram, 単語分散表現に基づく単語類似度および意味役割付与 (SRL) に基づく構文類似度を用いる手法である. SRLを利用できない言語においては, MEANT 2.0-nosrl を適用することができる. MEANT 2.0 は WMT-2017 Metrics Shared Taskにおいて，文単位の to-English 言語対で高い性能を示しており，教師なし手法の中では最も高い性能を示している。また, MEANT 2.0-nosrl は WMT-2017 Metrics Shared Task において, 文単位の from-English 言語対で最高性能を示している.

これらの教師なし手法は, 多くの言語対において一貫した評価ができるという利点を持つ. しかし, 評価値のラベル付きデータが比較的多く存在する to-English 言語対においては, 教師あり手法がより高い性能を示している，我々は，to-English 言語対を主な対象として，より人手評価に近い絶対評価ができる教師あり手法を提案する.


## 2.3 機械翻訳の自動評価のための教師あり手法

BEER $^{8}$ (Stanojević and Sima'an 2015) は, 文字 $N$-gram の一致率を素性として人手の相対評価值付きデータセット上で訓練を行う教師あり手法である. この手法は, WMT-2017 の Metrics Shared Taskにおいて，文単位の from-English 言語対で高い性能を示している.

Blend $^{9}$ (Ma, Graham, Wang, and Liu 2017) は, 機械翻訳の自動評価用ツールキット Asiya ${ }^{10}$ (Giménez and Màrquez 2010)の基本 25 素性に先述の BEER など 4 種類の他の機械翻訳自動評価手法 (Stanojević and Sima'an 2015; Wang, Peter, Rosendahl, and Ney 2016; Yu, Ma, Wu, and Liu 2015a; Yu, Wu, Jiang, Liu, and Lin 2015b)を組み合わせたアンサンブル手法であり，人手の絶対評価値付きデータセット上で訓練する教師あり手法である。この手法は, WMT-2017 Metrics Shared Taskにおいて, 文単位の to-English 言語対で最高性能を達成している.

Blend は多くの素性を用いる手法であるが, 文字単位の編集距離や単語 $N$-gram に基づく素性など，文全体を同時に考慮できない局所的な情報のみに頼っている。本研究では, これらの教師あり学習に基づく従来手法では扱えない大域的な情報を考慮する手法を提案する.

## 2.4 機械翻訳の自動評価のための大域的な素性に基づく教師あり手法

文全体の大域的な情報を考慮する手法として, 文の分散表現に基づく ReVal ${ }^{11}$ (Gupta, Orasan, and van Genabith 2015) がある. ReVal は WMT Metrics Shared Taskおよび文対の意味的類似度推定タスク (Marelli, Menini, Baroni, Bentivogli, Bernardi, and Zamparelli 2014)における人手の相対評価値付きデータセット上で Tree-LSTM (Tai, Socher, and Manning 2015) によって文の分散表現を学習する。しかし, 小規模なラベル付きコーパスのみを用いるため十分な性能を達成できていない (Bojar et al. 2016)，本研究では，大規模な生コーパス上で事前学習された文の分散表現を利用することで，文単位での表現学習における少資源問題を克服する.

## 3 事前学習された文の分散表現を用いた機械翻訳の自動評価

従来手法に多く見られる文字や単語の $N$-gram 素性に基づく機械翻訳自動評価手法には，文全体の大域的な情報を考慮できないため, 参照文と表層的には異なるが意味的には似ている翻訳文に対して正確な評価ができないという問題がある。一方で, 2.4 節で説明した ReVal は文の分散表現を用いて大域的な情報を考慮するが, WMT Metrics Shared Task のデータセットなどの小規模なラベル付きコーパスのみを用いてモデル全体を訓練するため, 文単位での十分な表

現学習ができていない，そこで本研究では，大域的な情報を考慮する際の少資源問題を解決するために，事前学習された文の分散表現に基づく機械翻訳自動評価手法を提案する.

我々の提案手法は，RUSE と BERT による機械翻訳自動評価の 2 つである。まず 3.1 節では,文の分散表現を用いた機械翻訳自動評価のための回帰モデルである RUSE について説明する.次に 3.2 節では, 文対を同時に符号化する BERT による機械翻訳自動評価について説明する.

## 3.1 RUSE: 文の分散表現を用いた機械翻訳自動評価のための回帰モデル

本節では，事前学習された文の分散表現を素性とする回帰モデル RUSE (Regressor Using Sentence Embeddings) について説明する。まず 3.1.1 節では，RUSE で使用する 3 種類の文の分散表現について説明する。続いて 3.1.2 節では, 機械翻訳自動評価のための回帰モデルおよび素性抽出について述べる.

## 3.1.1事前学習された文の分散表現

大規模なコーパスを用いて事前学習された文の分散表現は，文書分類や文対の意味的類似度推定など多くの応用タスク (Conneau and Kiela 2018) において高い性能を発揮している。本研究では, 教師あり学習に基づくInferSent (Conneau, Kiela, Schwenk, Barrault, and Bordes 2017), 教師なし学習に基づくQuick Thought (Logeswaran and Lee 2018) およびマルチタスク学習に基づくUniversal Sentence Encoder (Cer, Yang, Kong, Hua, Limtiaco, St. John, Constant, Guajardo-Cespedes, Yuan, Tar, Strope, and Kurzweil 2018)の 3 手法を用いて文全体の大域的な情報を考慮する.

InferSent ${ }^{12}$ は, 含意関係認識のための Stanford Natural Language Inference (SNLI) データセット (Bowman, Angeli, Potts, and Manning 2015) 上で Max-pooling を用いた双方向 LSTM ネットワークを訓練する教師あり学習に基づく手法である。図 2 に示すように，文 $u$ および $v$ をそれぞれ符号化し, それらの分散表現 $\vec{u}$ そび $\vec{v}$ から素性を抽出し, 含意関係認識の 3 值分類を通して文の符号化器を学習する。含意関係認識とは，所与の文対の関係を含意／矛盾／中立に 3 值分類するタスクであり，意味の違いに敏感な文の分散表現が得られると期待できる.

Quick Thought ${ }^{13}$ は，大規模な生コーパス上で双方向 GRU ネットワークを用いて隣接文推定することにより，教師なしで文の表現学習を行う手法である，図 3 に示すように，文 $i$ ，その文脈 $t$, その他の文 (対比文) $c_{1}, c_{2}, \ldots, c_{k}$ が与えられ, 2 種類の文の符号化器 $f$ および $g$ がそれぞれ文を符号化する。そして, 入力文の分散表現 $\vec{i}$ との最大の内積值を持つ分散表現に対応する文を隣接文として推定する分類器を用いて，隣接文推定の学習を行う. 応用タスクでは, 所与の文を 2 つの符号化器 $f$ および $g$ を用いてそれぞれ符号化し, 各符号化器から得られる分散表


図 2 InferSent の概要図

図 3 Quick Thought の概要図

現を連結することによって文の分散表現を獲得する。隣接文推定タスクを通して文の符号化器を学習することによって，文対の関係を考慮した分散表現が得られると期待できる.

Universal Sentence Encoder ${ }^{14}$ は, 復号器を用いる Skip-Thought (Kiros, Zhu, Salakhutdinov, Zemel, Urtasun, Torralba, and Fidler 2015)のような隣接文推定, 発話応答推定および含意関係認識の 3 タスクを用いて自己注意機構に基づくネットワーク (Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, and Polosukhin 2017) をマルチタスク学習する手法である. Universal Sentence Encoder では隣接文推定や発話応答推定のための訓練データとして, Wikipedia, ニュー ス，QAサイト，議論サイトなどの多様な Webソースを用いる．多様なドメインのコーパスに基づくマルチタスク学習によって，幅広い応用タスクにおいて有用な文の分散表現が得られると期待できる.

## 3.1.2機械翻訳自動評価のための回帰モデルと素性抽出

機械翻訳の自動評価は，翻訳文と参照文から翻訳文の人手評価値を推定する回帰タスクとして考えることができる。そこでRUSE（図 1(a)）は，所与の翻訳文 $t$ と参照文 $r$ から 3.1.1 節の符号化器を用いて分散表現 $\vec{t} およひ ゙ ~ \vec{r}$ 獲得し, InferSent (Conneau et al. 2017) にならって以下の 3 つの方法で翻訳文と参照文の関係を抽出し, それら 3 つを連結したものを素性として多層パーセプトロン (MLP) に基づく回帰モデルを訓練する.
- 連結 : $(\vec{t}, \vec{r})$
- 要素積 $: \vec{t} * \vec{r}$
- 要素差 : $|\vec{t}-\vec{r}|$

回帰モデルには，これらの 3 種類の素性を連結した $4 d$ 次元の素性が入力される．ただし， $d$


再訓練は行わない.

## 3.2 BERT による機械翻訳自動評価

文および文対単位の表現学習モデルである BERT (Bidirectional Encoder Representations from Transformers) (Devlin et al. 2019) が，文対の意味的類似度推定など多くのタスクで最高性能を更新し，注目を集めている。本節では，BERT を用いて機械翻訳の自動評価を行う，BERTによる機械翻訳の自動評価は RUSE と同じく, 事前学習された文の分散表現を利用し，MLPによって人手評価値を推定する。ただし, 図 1(b) に示すように, BERT による機械翻訳の自動評価では翻訳文と参照文の両方を文対の符号化器で同時に符号化する，以下では，RUSE との主な相違点であり BERTによる機械翻訳自動評価の特徴である, 事前学習の方法, 文対モデリング, 符号化器の再訓練について詳細に説明する.

## 3.2.1 BERT における事前学習

BERT は，大規模な生コーパス上で双方向の自己注意機構に基づくネットワーク (Vaswani et al. 2017)を用いて，以下の 2 種類の教師なし事前学習を同時に行う.

双方向言語モデル： 生コーパスの一部のトークンを $[\mathrm{MASK}]$ トークンに置換した上で, 双方向の言語モデルによって元のトークンを推定する。この教師なしの事前学習によって, BERT の符号化器は文内におけるトークン間の関係を学習する.

隣接文推定： 生コーパスの一部の文を無作為に他の文に置換した上で, 連続する 2 文が隣接していた文対か否かを 2 值分類する。この教師なしの事前学習によって, BERT の符号化器は文対の関係を学習する。

## 3.2.2BERTにおける文対モデリング

BERT では，隣接文推定や含意関係認識などの文対を扱うタスクのために，各文を独立に符号化するのではなく，文対を同時に符号化する，文対に含まれる各文は， 入力系列の先頭に一度のみ追加される [CLS] トークンおよび各文末に追加される [SEP] トークンによって区別される（図 4)，最終的に，[CLS]トークンに対応する最終の隠れ層が，文対の分散表現を表す 15 .

## 3.2.3BERT における符号化器の再訓練

BERT では, 符号化器で文または文対の分散表現を得た後, それを入力としてMLPによって分類や回帰などの応用タスクを解く。なお, 応用タスクのラベル付きデータを用いて MLP を訓練する際，文または文対の分散表現を得るための符号化器も再訓練する.


## 4 評価実験

本節では，WMT Metrics Shared Taskにおける人手の絶対評価値付きデータセットを用いて，文単位の to-English 言語対における提案手法の有効性を検証する.

## 4.1 実験設定

表 1 に， 2.1 節の手順により作成された人手の絶対評価値付きデータセットの言語対 16 ごとの文対数を示す.これらのデータセットにおける人手の絶対評価值は，約 $-1.95 \sim$ 約 1.65 の実数値で示されている。本実験では, WMT-2015 (Stanojević et al. 2015) およびWMT-2016 (Bojar et al. 2016)の合計 5,360 文対を無作為に分割し， 9 割を訓練用， 1 割を開発用に利用する.また, WMT-2017 (Bojar et al. 2017) の文対は評価用に利用する.

RUSEの素性には，それぞれ著者らによって公開されている学習済みの InferSent, Quick Thought および Universal Sentence Encoder を用いて文の分散表現を得る．BERT には，著者らによって公開されている訓練済みモデルのうち, BERT $_{\text {BASE }}$ (uncased) ${ }^{17}$ を用いる.

各自動評価手法のメ夕評価のために，人手の絶対評価値とのピアソンの積率相関係数，スピアマンの順位相関係数および平均 2 乗誤差を用いる. ピアソンの積率相関係数は, WMT Metrics

図 4 BERT の文対モデリング $\left(u, v\right.$ : 入力トークン, $T, T^{\prime}$ : 各入力トークンに対する分散表現 $)$

表 1 WMT Metrics Shared Taskの to-English 言語対における人手の絶対評価値付き文対数

$ ：ロシア語, $\mathrm{tr}$ ：トルコ語, $\mathrm{lv}:$ ラトビア語, zh：中国語

17 https://github.com/google-research/bert
}

Shared Task で用いられており，各手法が出力する評価值の絶対的なメ夕評価ができる指標である。しかし，ピアソンの積率相関係数は外れ値が存在した場合に不当な値を示すという問題が存在するため, 本実験ではスピアマンの順位相関係数によるメ夕評価も行う。また本研究では，機械翻訳の自動評価を回帰問題として扱っているため，各自動評価手法がどれほど人手の評価值に近い値を出力しているかについても評価したい。そのため，本タスクを回帰問題として扱っている Blend, RUSE および BERT については, 人手の評価値と各手法の評価值の平均 2 乗誤差によるメ夕評価も行う.

## 4.2 比較手法

本実験では，WMT-2017 Metrics Shared Taskにおけるべースラインである SentBLEU および上位 3 手法を提案手法と比較する。比較手法のメ夕評価には, WMT-2017 Metrics Shared Task ${ }^{18}$ で公開されている各手法の評価値を利用した.

提案手法については，事前学習された文の分散表現による貢献を明らかにするため，RUSE の素性として単語分散表現の平均ベクトルを用いた実験も行う．RUSE と BERTによる機械翻訳自動評価を比較するため, 最終的に以下の 7 つの設定で実験した.

RUSE with GloVe-BoW: 図 1(a)の文の分散表現として，単語分散表現 GloVe (Pennington， Socher, and Manning 2014) (glove.840B.300d ${ }^{19}$ )の平均ベクトルを用いる.この 300 次元のベクトルを文の分散表現として，3.1.2節の方法で素性を抽出する.

RUSE with IS: SNLI データセット (Bowman et al. 2015)の 56 万文および MultiNLI デー タセット (Williams, Nangia, and Bowman 2018)の約 43 万文の両方を用いて事前学習された InferSent によって 4,096 次元の文の分散表現を獲得し, 3.1.2 節の方法で素性を抽出する.

RUSE with QT: BookCorpus データセット (Zhu, Kiros, Zemel, Salakhutdinov, Urtasun, Torralba, and Fidler 2015)の 4,500 万文および UMBC WebBase (Han, L. Kashyap, Finin, Mayfield, and Weese 2013)の約 1 億 3,000 万文の両方を用いて事前学習された Quick Thought によって 4,800 次元の文の分散表現を獲得し，3.1.2 節の方法で素性を抽出する.

RUSE with USE: Wikipedia, ニュース, QAサイト, 議論サイトなどの多様な Webソー スを用いて事前学習された Universal Sentence Encoderによって 512 次元の文の分散表現を獲得し, 3.1.2 節の方法で素性を抽出する.

RUSE with BERT: 単一文を入力とする BERT の [CLS]トークンに対応する隠れ層のうち,最終 4 層を連結したものを 3,072 次元の文の分散表現として 3.1 .2 節の方法で素性を抽出する. ただし, BERT の符号化器の部分は再訓練しない.


BERT (w/o fine-tuning)：文対を入力とする BERT の [CLS] トークンに対応する隠れ層のうち最終 4 層を連結したもの（3,072 次元）を，図 1(b) の MLP の入力として用いる。ただし， BERT の符号化器の部分は再訓練しない.

BERT：文対を入力とする BERT の [CLS]トークンに対応する最終隠れ層（768 次元）を図 1(b) のMLP の入力として用い，MLP とともにBERT の符号化器の部分も再訓練する.

RUSE と BERT (w/o fine-tuning)の各パラメータは, 以下の組み合わせの中からグリッドサー チにより, 開発データにおける平均 2 乗誤差が最も小さいモデルを選択する. なお, 全ての層において活性化関数は ReLUを使用する。

・ バッチサイズ $\in\{64,128,256,512,1024\}$
- 学習率 $($ Adam $) \in\{1 \mathrm{e}-3\}$
- エポック数 $\in\{1,2, \ldots, 30\}$

・ ドロップアウト率 $\in\{0.1,0.3,0.5\}$
- MLP の隠れ層の数 $\in\{1,2,3\}$
- MLP の隠れ層の次元 $\in\{512,1024,2048,4096\}$

BERT の各パラメータは，著者らによって提唱されている組み合わせの中からグリッドサー チにより，開発データにおける平均 2 乗誤差が最も小さいモデルを選択する.

## 4.3 実験結果

表 2，表 3 および表 4 に WMT-2017 Metrics Shared Task における実験結果を示す. 表 2 および表 3 より, BERT が全ての to-English 言語対において人手評価との最高の相関を示す. 同様に，表 4 より，BERT が zh-en 以外の言語対で最小の誤差を示す.これらの結果は，文対を同時に符号化する表現学習モデルである BERT が機械翻訳自動評価タスクにおいても有効であ

表 2 WMT-2017 Metrics Shared Task（to-English 言語対）に打けるピアソンの積率相関係数

表 3 WMT-2017 Metrics Shared Task（to-English 言語対）におけるスピアマンの順位相関係数

表 4 WMT-2017 Metrics Shared Task（to-English 言語対）における平均 2 乗誤差

ることを示す.

各表の下段を比較すると, 事前学習された文の分散表現を素性として用いた全ての RUSE モデルが，単語分散表現の平均ベクトルを素性として用いたRUSE with GloVe-BoW よりも高い相関および小さな誤差を示していることがわかる。これらの結果は, 文全体の大域的な情報を考慮できる文の分散表現に基づく素性が, 機械翻訳自動評価にとって有用であることを意味する.

また, Quick Thought や BERT の素性を用いる RUSE with QT およびRUSE with BERT が,単一の符号化器に基づく提案手法の中でも特に高い性能を示した。このことから, 隣接文推定の教師なし学習によって得られる文の分散表現が，機械翻訳の評価において特に有効であると考えられる. Universal Sentence Encoder もマルチタスク学習の一部として隣接文推定を行っているが, これは Quick Thought や BERT における隣接文推定とは設定が異なる. Quick Thought

やBERT における隣接文推定では, 符号化器と単純な分類器を用いて文対が隣接するか否かを分類する。一方で Universal Sentence Encoder における隣接文推定では, 符号化器と復号器を用いて入力文から隣接文を生成する。そのため，前者はタスクを解くための情報を符号化器が獲得するが, 後者は符号化器と復号器の両方にタスクを解くための情報が散在すると考えられる.この違いのために, Quick Thought や BERT が有用性の高い文の分散表現を獲得できた.

さらに, 隣接文推定のみによって事前学習された RUSE with Quick Thought よりも, 双方向言語モデルと隣接文推定の両方によって事前学習された RUSE with BERT の方が, 多くの言語対において高い性能を示していることがわかる. このことから, BERTの符号化器における事前学習の方法による性能への影響がわかる。㫜， BERT の大きな特徴のひとつである双方向言語モデルによる事前学習は, 機械翻訳の自動評価のためにも有効であると考えられる.

RUSE with BERT と BERT (w/o fine-tuning) を比較すると, BERT の文対モデリングによる性能への影響がわかる。多くの言語対において，翻訳文と参照文を独立に符号化する前者よりも, 同時に符号化する後者の方が高い性能を持つ. RUSEでは, InferSent にならって 2 つ文の分散表現を組み合わせる素性抽出を行ったが,これが機械翻訳の自動評価に適した素性抽出の方法であるとは限らない。一方で，BERTの文対モデリングは，素性抽出を陽に行うことなく文対の関係を考慮した分散表現を得ている，BERT では隣接文推定による事前学習の際に，上手く文対の関係を学習できている可能性がある。

BERT (w/o fine-tuning) と BERT を比較すると, 符号化器の再訓練による性能への影響がわかる。事前学習された文対の符号化器から素性抽出を行い MLP のみを訓練する BERT (w/o fine-tuning) よりも，文対の分散表現を素性としMLP とともに符号化器を再訓練する BERT の方が, 全ての言語対において大幅に高い相関を示し, zh-en 以外の言語対で最小の誤差を示す. つまり, BERT の大きな特徴のひとつである符号化器の再訓練は, 機械翻訳の自動評価のためにも有効である.

## 5 分析

## 5.1 訓練データの文対数と性能の関係

本節では, WMT-2017の lv-en 言語対の 560 文対を評価用データとして, RUSEと BERTについて訓練データの文対数と性能の関係を分析する。WMT-2015, WMT-2016 および WMT-2017 の lv-en 言語対以外の合計 8,720 文対を無作為に分割し，8,160 文対を訓練用， 560 文対を開発用に利用する。そして，訓練用データを 510 文対， 1,020 文対， 2,040 文対, 4,080 文対, 8,160 文対の 5 つの大きさでそれぞれ無作為抽出し, 開発用データと評価用データにおける人手評価値とのピアソンの積率相関係数, スピアマンの順位相関係数および平均 2 乗誤差を評価する.

RUSEの素性には 4.1 節で述べた Quick Thought を用いる．RUSEの各パラメータは 4.1 節の
組み合わせの中からグリッドサーチにより, 開発デー夕における平均 2 乗誤差が最も小さいモデルを選択するが，バッチサイズのみ以下に変更した.

・ バッチサイズ $\in\{16,32,64,128,256,512,1024\}$

BERT の各パラメータは，著者らによって提唱されている組み合わせの中からグリッドサー チにより，開発デー夕における平均 2 乗誤差が最も小さいモデルを選択するが，バッチサイズとエポック数のみ以下に変更した.

・ バッチサイズ $\in\{8,16,32\}$
- エポック数 $\in\{1,2, \ldots, 6\}$

図 5 , 図 6 および図 7 に, RUSE と BERT のピアソンの積率相関係数, スピアマンの順位相関係数および平均二乗誤差に対する学習曲線をそれぞれ示す. RUSE の学習曲線および BERT の学習曲線において, 訓練データ数が 510 文対の場合と 8,160 文対の場合では評価時のピアソンの積率相関係数およびスピアマンの順位相関係数に約 0.1 の差があり, 評価時の平均 2 乗誤差には約 0.05 以上の差がある。このことから，RUSE および BERT による機械翻訳自動評価の両手法において，訓練デー夕数による性能の変化が大きいことがわかる。また，図 5 と図 6 および図 7 より, BERT による機械翻訳自動評価は訓練デー夕数が 510 文対の場合でも，RUSE の

図 5 RUSE (左) と BERT（右）における学習曲線（人手評価とのピアソンの積率相関係数）

図 6 RUSE（左）と BERT（右）における学習曲線（人手評価とのスピアマンの順位相関係数）

図 7 RUSE（左）と BERT（右）における学習曲線（人手評価との平均 2 乗誤差）

8,160 文対の訓練データ数での性能を上回っていることがわかる. 510 文対のデータで訓練されたBERT による機械翻訳自動評価の性能は, 表 2 と表 3 および表 4 におけるいずれの比較手法よりも同等もしくは高い性能を示している．以上の分析から，BERT は少量のラベル付きコー パスを用いる訓練でも高い性能を発揮することがわかり，訓練デー夕数を増やすことが可能であれば，更に信頼性の高い機械翻訳自動評価手法になると考えられる。

## 5.2 from-English 言語対における性能

本節では, to-English 言語対以外の設定として, from-English 言語対の中で最も多くのラベル付きコーパスが存在する en-ru 言語対における性能を調査する。WMT-2015の 500 文対および WMT-2016 の 560 文対の合計 1,060 文対を無作為に分割し， 9 割を訓練用， 1 割を開発用に利用する。評価用には，WMT-2017 の 560 文対を用いる.

RUSEの素性には，ロシア語の Wikipedia 上で事前学習した Quick Thoughtを用いる．RUSE の各パラメータは 4.1 節の組み合わせの中からグリッドサーチにより，開発デー夕における平均 2 乗誤差が最も小さいモデルを選択するが, バッチサイズと MLP の隠れ層の次元のみ以下に変更した。

・ バッチサイズ $\in\{16,32,64,128,256\}$
- MLP の隠れ層の次元 $\in\{128,256,512,1024,2048,4096\}$

BERTには, 著者らによって公開されている多言語対応の訓練済みモデル (Multilingual, Cased) ${ }^{20}$ を用いる。BERT の各パラメータは，5.1 節と同様に選択する。

比較手法として, WMT Metrics Shared Task のベースラインである SentBLEU, WMT-2017 Metrics Shared Taskにおける上位 3 手法である, chrF+ (Popović 2017), MEANT 2.0-nosrl (Lo 2017) および Blend (Ma et al. 2017) を用いる. 4.2 節と同様に, 各比較手法の公開されている評価値を用いて各比較手法のメ夕評価を行った。人手評価値とのピアソンの積率相関係数，スピ

表 5 WMT-2017 Metrics Shared Task（en-ru 言語対）における人手による絶対評価とのピアソンの積率相関係数, スピアマンの順位相関係数および平均 2 乗誤差

アマンの順位相関係数および平均 2 乗誤差によって各手法を評価する.

評価の結果を表 5 に示す. 教師あり学習に基づくBlend とRUSE を比較すると，RUSEの方が高い性能を示しており, to-English 言語対以外の設定においても事前学習された文の分散表現が機械翻訳の自動評価にとって有効な素性であると言える。しかし, RUSE は教師なし学習に基づくchrF+および MEANT 2.0-nosrlの性能には及ばない。前節の分析から，RUSE は訓練データ数による性能の変化が大きいことが確認されており, en-ru 言語対においても同様の理由で性能が低下していると考えられる。

一方でBERT は, 他の手法よりも大幅に高い性能を示している。同じく前節の分析から, BERT は少量のデータでも高い性能を発揮することが確認されており, en-ru 言語対においても最高性能を達成した．このことから BERT は，少量のラベル付きコーパスが利用できれば，様々な言語対に対応した機械翻訳自動評価手法になると考えられる。

## 5.3 出力例

WMT-2017 Metrics Shared Taskにおいて文単位の to-English 言語対で最高性能を達成した Blend と, 提案手法である RUSE および BERT による機械翻訳自動評価の出力を比較をする.人手評価値と各手法の評価値を比較するために，5.1 節と同様に WMT-2017における lv-en 言語対 560 文対に対する人手評価値および各手法の評価値を用いた。表 6 に，翻訳文と参照文に対する人手評価値および各手法の評価値を示す.

成功例 1 において, 参照文と語彙や構文は異なるが意味が似ている（人手評価値が高い）翻訳文に対して, Blendでは低い值をつけてしまっているのに対し, 提案手法である RUSE や BERT による評価では Blend より高い値を示しており，正しい評価が行えている。また，成功例 2 において, 参照文と語彙や構文が似ているが意味が異なる（人手評価値が低い）翻訳文に対して, Blend では高い值をつけてしまっているのに対し，RUSE や BERT による評価では低い值を示しており, 正しい評価が行えている。このことから, RUSE や BERT は, 局所的な素性に基づ
表 6 Blend, RUSE および BERT による機械翻訳自動評価の出力例

$
\text { 成功例 } 1
$

く手法である Blend では扱えない大域的な情報を考慮した評価ができていると考えられる.失敗例には言い換えの問題があると考えられ，どの手法でも人手評価より低い值をつけてしまっている．Blendによる評価では，言い換えによる表層の不一致の影響により低い値がつけられていると考えられる，RUSEや BERT による評価では，文全体の言い換えの関係を上手く捉えられていないため，低い值をつけてしまっていると考えられる。

## 6 おわりに

本研究では，信頼性の高い文単位での絶対的な自動評価を行うため，事前学習された文の分散表現に基づく機械翻訳の自動評価手法を提案した。我々は，大規模な生コーパスを用いる隣接文推定や双方向言語モデルの教師なし事前学習によって，機械翻訳の自動評価のために有用な文の符号化器が得られることを示した. 我々の提案手法は, 局所的な素性に基づく従来手法では扱えない大域的な情報を考慮することができ，翻訳文と参照文の間の表層的な一致率にとらわれない正確な自動評価を可能にした。

RUSE による機械翻訳の自動評価では，WMT-2017 Metrics Shared Task の評価実験において，文単位の to-English 言語対でどの従来手法よりも高い性能を示した。また，BERTによる機械翻訳の自動評価では，WMT-2017 Metrics Shared Taskの評価実験において，文単位の全ての to-English 言語対で RUSE を凌ぎ，最高性能を更新した。詳細な分析の結果，BERT による機械翻訳の自動評価は, 事前学習の方法, 文対モデリング, 符号化器の再訓練の 3 点がそれぞれ性能改善に貢献しており，少量のラベル付きコーパスのみを用いても高い性能を発揮することがわかった。

## 謝 辞

本研究の一部は JSPS 科研費（研究活動スタート支援，課題番号：18H06465）の助成を受けたものです.

## 参考文献

Banchs, R. E., D’Haro, L. F., and Li, H. (2015). “Adequacy-Fluency Metrics: Evaluating MT in the Continuous Space Model Framework." IEEE/ACM Transactions on Audio, Speech, and Language Processing, 23 (3), pp. 472-482.

Bojar, O., Chatterjee, R., Federmann, C., Graham, Y., Haddow, B., Huck, M., Jimeno Yepes, A., Koehn, P., Logacheva, V., Monz, C., Negri, M., Neveol, A., Neves, M., Popel, M., Post, M., Rubino, R., Scarton, C., Specia, L., Turchi, M., Verspoor, K., and Zampieri, M. (2016). "Findings of the 2016 Conference on Machine Translation." In Proceedings of the 1st Conference on Machine Translation, pp. 131-198.

Bojar, O., Graham, Y., and Kamran, A. (2017). "Results of the WMT17 Metrics Shared Task." In Proceedings of the 2nd Conference on Machine Translation, pp. 489-513.

Bojar, O., Graham, Y., Kamran, A., and Stanojević, M. (2016). "Results of the WMT16 Metrics Shared Task." In Proceedings of the 1st Conference on Machine Translation, pp. 199-231.

Bowman, S. R., Angeli, G., Potts, C., and Manning, C. D. (2015). "A Large Annotated Corpus for Learning Natural Language Inference." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642.

Cer, D., Yang, Y., Kong, S.-y., Hua, N., Limtiaco, N., St. John, R., Constant, N., GuajardoCespedes, M., Yuan, S., Tar, C., Strope, B., and Kurzweil, R. (2018). "Universal Sentence Encoder for English." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 169-174.

Conneau, A. and Kiela, D. (2018). "SentEval: An Evaluation Toolkit for Universal Sentence Representations." In Proceedings of the 11th International Conference on Language Resources and Evaluation, pp. 1669-1704.

Conneau, A., Kiela, D., Schwenk, H., Barrault, L., and Bordes, A. (2017). "Supervised Learning of Universal Sentence Representations from Natural Language Inference Data." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 670-680.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Con-
ference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186.

Giménez, J. and Màrquez, L. (2010). "Asiya: An Open Toolkit for Automatic Machine Translation (Meta-) Evaluation." The Prague Bulletin of Mathematical Linguistics, 94, pp. 77-86.

Graham, Y., Baldwin, T., and Mathur, N. (2015). "Accurate Evaluation of Segment-level Machine Translation Metrics." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1183-1191.

Graham, Y., Baldwin, T., Moffat, A., and Zobel, J. (2013). "Continuous Measurement Scales in Human Evaluation of Machine Translation." In Proceedings of the 7th Linguistic Annotation Workshop and Interoperability with Discourse, pp. 33-41.

Graham, Y., Baldwin, T., Moffat, A., and Zobel, J. (2014). "Is Machine Translation Getting Better over Time ?" In Proceedings of the 14th Conference of the European Chapter of the Association for Computational Linguistics 2014, pp. 443-451.

Graham, Y., Baldwin, T., Moffat, A., and Zobel, J. (2017). "Can Machine Translation Systems be Evaluated by the Crowd Alone." Natural Language Engineering, 23 (1), pp. 3-30.

Gupta, R., Orasan, C., and van Genabith, J. (2015). "Machine Translation Evaluation using Recurrent Neural Networks." In Proceedings of the 10th Workshop on Statistical Machine Translation, pp. 380-384.

Han, L., L. Kashyap, A., Finin, T., Mayfield, J., and Weese, J. (2013). "UMBC_EBIQUITYCORE: Semantic Textual Similarity Systems." In 2nd Joint Conference on Lexical and Computational Semantics, Volume 1: Proceedings of the Main Conference and the Shared Task: Semantic Textual Similarity, pp. 44-52.

Kiros, R., Zhu, Y., Salakhutdinov, R. R., Zemel, R., Urtasun, R., Torralba, A., and Fidler, S. (2015). "Skip-Thought Vectors." In Advances in Neural Information Processing Systems 28, pp. 3294-3302.

Lo, C.-K. (2017). "MEANT 2.0: Accurate Semantic MT Evaluation for Any Output Language." In Proceedings of the 2nd Conference on Machine Translation, pp. 589-597.

Logeswaran, L. and Lee, H. (2018). "An Efficient Framework for Learning Sentence Representations." In International Conference on Learning Representations, pp. 1-16.

Ma, Q., Graham, Y., Wang, S., and Liu, Q. (2017). "Blend: a Novel Combined MT Metric Based on Direct Assessment-CASICT-DCU submission to WMT17 Metrics Task." In Proceedings of the 2nd Conference on Machine Translation, pp. 598-603.

Marelli, M., Menini, S., Baroni, M., Bentivogli, L., Bernardi, R., and Zamparelli, R. (2014).

"A SICK Cure for the Evaluation of Compositional Distributional Semantic Models." In Proceedings of the 9th International Conference on Language Resources and Evaluation, pp. 216-223.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: a Method for Automatic Evaluation of Machine Translation." In Proceedings of 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Pennington, J., Socher, R., and Manning, C. (2014). "GloVe: Global Vectors for Word Representation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1532-1543.

Popović, M. (2015). "chrF: Character N-gram F-score for Automatic MT Evaluation." In Proceedings of the 10th Workshop on Statistical Machine Translation, pp. 392-395.

Popović, M. (2017). "chrF++: Words Helping Character N-grams." In Proceedings of the 2nd Conference on Machine Translation, pp. 612-618.

Stanojević, M., Koehn, P., and Bojar, O. (2015). "Results of the WMT15 Metrics Shared Task." In Proceedings of the 10th Workshop on Statistical Machine Translation, pp. 256-273.

Stanojević, M. and Sima'an, K. (2015). "BEER 1.1: ILLC UvA Submission to Metrics and Tuning Task." In Proceedings of the 10th Workshop on Statistical Machine Translation, pp. 396-401.

Tai, K. S., Socher, R., and Manning, C. D. (2015). "Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pp. 1556-1566.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., and Polosukhin, I. (2017). "Attention is All you Need." In Advances in Neural Information Processing Systems 30, pp. 5998-6008.

Wang, W., Peter, J.-T., Rosendahl, H., and Ney, H. (2016). "CharacTER: Translation Edit Rate on Character Level." In Proceedings of the 1st Conference on Machine Translation, pp. 505-510.

Williams, A., Nangia, N., and Bowman, S. (2018). "A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1, pp. 1112-1122.

Yu, H., Ma, Q., Wu, X., and Liu, Q. (2015a). "CASICT-DCU Participation in WMT2015 Metrics Task." In Proceedings of the 10th Workshop on Statistical Machine Translation, pp. 417-421. Yu, H., Wu, X., Jiang, W., Liu, Q., and Lin, S. (2015b). "An Automatic Machine Trans-
lation Evaluation Metric Based on Dependency Parsing Model." In arXiv preprint arXiv:1508.01996.

Zhu, Y., Kiros, R., Zemel, R. S., Salakhutdinov, R., Urtasun, R., Torralba, A., and Fidler, S. (2015). "Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books." In 2015 IEEE International Conference on Computer Vision, pp. 19-27.

## 略歴

嶋中宏希：2018 年首都大学東京システムデザイン学部システムデザイン学科情報通信システムコース卒業. 同年, 首都大学東京システムデザイン研究科システムデザイン専攻情報科学域博士前期課程に進学, 現在に至る.

梶原智之：2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015 年同大学大学院工学研究科修士課程電気電子情報工学専攻修了. 2018 年首都大学東京大学院システムデザイン研究科博士後期課程情報通信システム学域修了. 博士 (工学). 同年より大阪大学データビリティフロンティア機構特任助教. 自然言語処理の研究に従事. 情報処理学会, 人工知能学会, 言語処理学会各会員.

小町守：2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒業. 2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年博士後期課程修了.博士 (工学)。同年より同研究科助教を経て，2013 年より首都大学東京システムデザイン学部准教授. 大規模なコーパスを用いた意味解析および統計的自然言語処理に関心がある. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.