# 折り返し翻訳を利用した言い換え生成

松本武尊 ${ }^{1}$ 村上仁一 ${ }^{2}$
1 鳥取大学工学部電気情報系学科 2 鳥取大学工学部
${ }^{1}$ b19t2108k@edu. tottori-u.ac.jp
${ }^{2}$ murakami@tottori-u.ac.jp

## 概要

言い換え技術は，機械翻訳や対話システムなど様々なことに応用されている [1]. 本研究では, ニューラル機械翻訳 (NMT) を用いて，折り返し翻訳を行うことにより，自動で言い換え生成を行う.機械翻訳を用いた言い換え生成は，誤訳などにより精度が低下する。この問題に対して，本研究では入力文を折り返し翻訳した結果が一致した場合のみ言い換えとする．実験の結果，高い精度で大量の言い換え文を得ることに成功した。

## 1 はじめに

言い換え生成は，同一言語の翻訳と捉えることが可能である．そのため，機械翻訳を用いて言い換え生成を行うことができる。しかし，精度があまり良くない. その原因として, 翻訳機の精度に大きく依存してしまうことがあげられる. そこで本研究では，折り返し翻訳を行い元の文と折り返し翻訳をされた文を比較する. そして，2つの文が一致したものを採用することによって誤訳が減ると考えられる.そこで，NMTを用いて折り返し翻訳を行い，言い換え生成を行い，精度の調査を行う。

## 2 従来手法

言い換え生成は，様々な研究がなされてきた. 機械翻訳を用いた手法では，対訳文の一方を翻訳することによって，翻訳された結果ともう一方を言い換えとしている. [2]では，言い換え認識の評価用コーパスの構築のために，複数の翻訳機を用いて同じ英語文を翻訳し，複数の日本語訳を得ている。これらの日本語訳は，言い換えとなる。図 1 に例を示す.しかし，翻訳誤りなどによって言い換えとして不適切なものが含まれる。 そこで，誤訳を回避するために，BLEU 值を用いて翻訳精度が高い日本語対訳を言い換え文とすることで，言い換え生成を行っ
た.しかし，BLEU 值を用いても，誤訳を十分に回避できない.

図 1 従来手法の例

## 3 提案手法

2つの文をそれぞれ翻訳し，翻訳結果が一致したとき，2つの文は言い換え文だと予想される. そこで，図２のようにNMT を用いて折り返し翻訳を行い，翻訳結果が一致した場合，言い換え文とする。 それにより，誤訳が減り言い換え精度が向上すると考えられる．以下に提案手法の例を示す。

1. 対訳英文“The signal turned green.”を英日翻訳する

2.1の結果の“信号機が緑になった。”を日英翻訳する

3. 日英翻訳をした結果の “The signal turned green.” と対訳英文“The signal turned green.” を比較し，一致しているかを調べる

4. 一致しているとき，英日翻訳した結果の “信号機が緑になった。”と対訳日本文の“信号は青になった”を言い換え文とする

図 2 提案手法の例

## 4 評価方法

本研究では，人手で評価を行う．言い換えは表現が多様であり言い換えの評価は曖昧である. そこで，2つの意味が完全に等しくなくとも，大きな差がなければ正解とする。

## 5 実験

本研究では，2 種類の実験を行う．また，この 2 種類の実験で生成された言い換え文からランダムに 20 文抽出を行い，人手で評価を行う.

1. 折り返し翻訳を行う実験 (提案手法)

2. 折り返し翻訳を行わない実験 (ベースライン)

## 5.1 実験条件

本研究では，OpenNMT[3]を用いて機械翻訳を行う.また，実験データは単文の日英対訳文 163,188 文を学習及び入力として用いる。

## 5.2 実験手順

1. OpenNMT に日英対訳学習文約 16 万文を用いて学習する

2. 英日翻訳を行う
3. 2 の結果を基に日英折り返し翻訳を行う

4. 対訳英文と 3 の結果が同一であるとき，対訳日本文と 2 を言い換え文とする

5. ベースラインと提案手法についてランダムに抽出した 20 文の人手評価を行う

## 5.3 実験結果

実験結果を表 1 に示す. 本研究では，対訳日本文と一致したものは，同一文とみなし，言い換えに含まない。

表 1 実験結果

表 1 より，折り返し翻訳を行うと，得られる言い換え文の数が大きく低下する。

## 5.4 出力例

表 2 に提案手法, 表 3 にベースラインの出力結果を示す.

表 2 提案手法の出力例

表 3 ベースラインの出力例

表 2，3より，言い換えが不正解である文は，主語が正しく訳されていない場合がある.

## 5.5 人手評価

表 4 に入力文 20 文に対して得られた言い換え文の人手評価結果を示す.

表 1 より，提案手法では得られた言い換え文は約 2 万 5000 文である。また, 表 4 より, 正解率は 0.850 である.ベースラインと比較すると, 大幅な改善が見られる。

## 6 考察

## 6.1 4-Best

本研究では，大量の言い換え文を得るために， 4-Best で調査をおこなう．以下に実験手順を示す.

1. OpenNMT を日英対訳学習文約 16 万文を用いて学習する

2. 英日翻訳を行い， 1 文ずつ日本語文を 4 文出力する

3. 英日翻訳を行った結果の日本語文 1 文に対して，日英折り返し翻訳を行い，4 文出力する

4. 日英折り返し翻訳を行った結果, 4 文の内 1 つでも対訳英文と同一であるとき，対訳日本文と英日翻訳された結果を言い換えとする

5. ベースラインと提案手法についてランダムに抽出した 20 文の人手評価を行う

## 6.1.1 4-Best における実験結果

表 5 に 4-Best における実験結果を示す.ここで，学習文, 入力文は提案手法と同じものを利用している.

表 5 4-Best における実験結果

表 1 と表 5 を比較すると，得られた言い換え文が増加したことが確認できる。

## 6.1.2 4-Best における出力例

表 6 に 4-Best の場合の出力例を示す。なお，言い換え文同士が同一になった場合や，折り返し翻訳が一致しない場合がある. そのため, 入力文 1 文に対して4文出力されない場合がある.表 6 4-Best における出力例

表 6 より, 言い換えが正解した文と不正解な文が混在している場合があることが確認できる。

## 6.1.3 4-Best における人手評価

表 7 に 4-Best における入力文 20 文に対して得られた言い換え文の人手評価結果を示す。

表 7 4-Bestにおける入力文 20 文に対する出力の評価

表 4 と表 7 を比較すると, 得られた言い換え文が増加しており，正解率も増加している。

## 6.1.4 4-Best における 1 文に対する人手評価

複数の出力の内，正解した言い換えがある場合，入力文に対して言い換えを得られたとしたときの結果を表 8 に示す.

表 8 4-Best における正解した言い換えがある場合の評価

表 8 より，4-Bestでは，入力文全てに対して言い換え文を得られた。また，表 5 より，4-Bestでは得られた言い換え文は約 13 万 5000 文である. 表 7 より，正解率は 0.857 である.

## 6.24 システム

NMT は，学習を行う際に乱数が用いられる. そのため，同じ実験条件でも出力が異なる [4]. その

ため，1つのモデルで折り返し翻訳が一致しなかった文が複数のモデルで翻訳を行うことにより，折り返し翻訳が一致する可能性がある。これらから，言い換え文の増加を試みる. 本研究では，4つのモデルを用いて実験を行い，N-Best は 4 とする.これを 4 システムと呼ぶ.

## 6.2.14 システムにおける実験結果

表 9 に 4 システムにおける実験結果を示す.ここで，学習文，入力文は提案手法と同様のデータを利用している.

表 94 システムにおける実験結果

表 5 と表 9 を比較すると，得られた言い換え文がさらに増加していることが確認できる。

## 6.2.2 4 システムにおける出力例

表 10 に 4 システムにおける出力例を示す. 4-Best と同様に, 最大出力数は 16 文である. しかし, 言い換え文同士が同一文の場合や，折り返し翻訳が一致しない場合がある. よって，入力文 1 文に対して 16 文出力されない場合がある.

表 104 システムにおける出力例

表 10 より，大きく意味が異なっている文も見られる。

## 6.2.3 4 システムにおける人手評価

表 11 に 4 システムにおける入力文 20 文に対して得られた言い換え文の人手評価結果を示す.表 114 システムにおける入力文 20 文に対する出力の評価

表 7 と表 11 を比較すると, 4 システムでは, 複数出力された言い換え文同士や，対訳日本文と同一な文が増加している. そのため, 正解率が減少したと考える。

## 6.2.4 4 システムにおける 1 文に対する人手評価

4-Best と同様に正解した言い換えがある場合，入力文に対して言い換え文を得られたとしたときの結果を表 12 に示す.

表 124 システムにおける正解した言い換えがある場合の評価

表 8 と表 12 を比較すると，精度が低下することが確認できる．また，表 9 より，4 システムでは得られた言い換え文は約 36 万 3000 文である. 表 12 より, 正解率は, 0.817 である.

## 6.3 今後の課題

本研究では対訳コーパスが存在していることを前提にしている。 そのため, 今後の課題は, 任意の入力に対しての言い換え生成である.

## 7 おわりに

本研究では, 折り返し翻訳を行った結果が一致したことに着目して言い換え生成を行った. 結果より，精度の向上が確認できた. また，考察より， 4-Best では人手評価で正解率が 0.857 であり, 約 13 万 5000 文の言い換え文を得た. 今後として，任意の入力に対して言い換え生成を行い, 生成された言い換え文を用いて，機械翻訳の精度向上を行いたい.

## 参考文献

[1] Jianing Zhou and Suma Bhat. Paraphrase generation: A survey of the state of the art. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 5075-5086, 2021.

[2] 鈴木由衣, 梶原智之, 小町守. 複数の機械翻訳を用いた言い換え認識の評価用コーパス構築に向けて. 言語処理学会第 23 回年次大会, pp. 609-612, 2017.

[3] OpenNmt. https://pypi.org/project/OpenNMT-py/2. 2.0\%.

[4] 矢野貴大, 村上仁一. ニューラル機械翻訳に乱数が与える影響。

[5] 乾健太郎, 藤田篤. 言い換え技術に関する研究動向.自然言語処理, Vol. 11, No. 5, pp. 151-198, 2004.

[6] 小町守, 梶原智之. 言語学習支援のためのニューラル言い換え生成. 人工知能, Vol. 34, No. 4, pp. 451-459, 2019.

[7] 村上仁一, 藤波進. 日本語と英語の対訳文対の収集と著作権の考察. 第一回コーパス日本語学ワークショップ, pp. 119-130, 2012.

[8] 藤田篤ほか. 言い換え技術の研究動向: 分類体系, 知識獲得, 応用. 研究報告自然言語処理 (NL), Vol. 2013, No. 6, pp. 1-1, 2013.