ニュースを対象とした⽇英機械
翻訳システムの研究開発
ＮＨＫ⽇英機械翻訳開発プロジェクト
後藤功雄
2022/9/28 第1回AAMTセミナー

第17回AAMT⻑尾賞受賞記念講演

1ＮＨＫ⽇英機械翻訳開発プロジェクトn ⽬的

l 英語ニュースの制作を⽀援する⽇英機械翻訳の開発

n メンバーl 放送技術研究所 機械翻訳グループ
l 国際放送局 担当者
l 技術局 担当者
l 報道局 担当者

2

NHKの英語ニュース配信
n テレビ・ラジオ ニュース国際放送
n インターネットサービス

制作⽀援に機械翻訳を利⽤

英語ニュース原稿を利⽤

l NHKワールド JAPANのNews
l スマホアプリによる通知
l 英語字幕付き総合テレビ特設ニュースのライブ配信
⽇本語字幕を機械翻訳で英訳

n テレビニュース ⼆カ国語放送 英語副⾳声

3

英語ニュース制作⽀援での利⽤制作⼯程
下訳などに機械翻訳を利⽤

⽇本語
ニュース

ライターが英語原稿を作成
英語
ニュース（この⼯程が⼀番時間が必要）

デスクが確認ネイティブのリライターが修正
デスクが確認
英語
ニュース

国際放送局担当者
からのコメント
2019年台⾵19号の際、 機械翻訳の利⽤で通常より1.5〜2倍の出稿数
短時間で出稿できることで、刻々と変わる状況をきめ細かく出せる
泊まり、⼟⽇のライターが⼿薄で多くの出稿が必要になった時に助かる

4

特設ニュースの英語字幕ライブ配信での利⽤（2022年6⽉開始）

n 総合テレビ特設ニュースにＡＩ翻訳の英語字幕を付けてインターネットでライブ配信
n 総合テレビの⽇本語字幕データをＡＩ翻訳で英訳し、英語字幕として利⽤n 震度５弱以上の地震発⽣時、津波注意報・津波警報・⼤津波警報・⼤⾬特別警報などの発表時に原則実施
n ライブ配信ページには、AI翻訳のため、正確な表現ではない場合もある「おことわり」を掲載

ＡＩ翻訳による英語字幕

5

英語ニュース原稿の⼀般的な特徴（⼀部）[Papper, 2020; David and Peter, 2019; Strunk and White, 1999]①

逆ピラミッド型
最初に、ニュースで最も重要なことを伝え、つぎに、重要なことの詳細を伝え、その後、その他の背景情報などを伝える②

短く、シンプル同じ情報の重複がない。

③

同じ表現の繰り返しを避ける
etc…

Wikipediaより引⽤
https://en.wikipedia.org/wiki/Inverted_pyramid_(journalism)

英語ニュースは⽇本語ニュースの単なる翻訳ではない
6NHK⽇英ニュースの違いの例
気象庁「東京でサクラ開花」発表 平年より12⽇早く
リ"ド本
⽂[1] 気象庁は14⽇午後、「東京でサクラが開花した」と発表しました。
[2] 平年より12⽇早く、去年と並んで統計を取り始めてから最も早い開花となりました。
[3] 気象庁によりますと、14⽇は東北などで⾬雲が広がりましたが、東⽇本や⻄⽇本を中⼼に晴れ、各地で平年の気温を上回る春の陽気となりました。
[4] 東京 千代⽥区の靖国神社には、14⽇午後2時に気象庁の担当者が訪れ、開花の⽬安となっているソメイヨシノに5輪以上の花が咲いているのを確認し、「東京でサクラが開花した」と発表しました。
[5] 東京のサクラの開花の発表は、平年より12⽇早く、去年と並んで、昭和28年に統計を取り始めてから最も早い開花となりました。
[6] 気象庁の担当者は「去年と同じように、このところ平年より暖かい⽇が続いたことから早い開花となった」と話しています。
[7] ⺠間の気象会社によりますと、今後も⻄⽇本や東⽇本の各地で、平年よりも早くサクラが開花する⾒込みです。

対応関係

Start of cherry blossom season declared in Tokyo[1] The Japan Meteorological Agency has declared the start ofcherry blossom season in Tokyo.
[2] Agency officials confirmed on Sunday afternoon that at least
five blossoms had opened on the benchmark tree of theSomei-yoshino variety at Yasukuni Shrine in central Tokyo.
[3] The declaration came 12 days earlier than average.
It was the same as last year, and the earliest since statistics
were first kept in 1953.
[4] Temperatures on Sunday exceeded the seasonal average insome parts of the country.
[5] Although rain clouds spread over the northeastern Tohoku
region and other areas, eastern and western Japan weremainly sunny.
[6] A commercial weather-information firm says cherry trees
will likely start blooming earlier than usual in many westernand eastern parts of the country.

⻘︓対応あり紫︓対応あり（意訳・変換）

⾚︓対応なし7

リードの違い

東京で桜が開花した
去年同様最も早い開花
気象庁「東京でサクラ開花」発表 平年より12⽇早くリ"ド本⽂[1] 気象庁は14⽇午後、「東京でサクラが開花した」と発表しました。
[2] 平年より12⽇早く、去年と並んで統計を取り始めてから最も早い開花となりました。
[3] 気象庁によりますと、14⽇は東北などで⾬雲が広がりましたが、東⽇本や⻄⽇本を中⼼に晴れ、各地で平年の気温を上回る春の陽気となりました。 リード︓全体の概要[4] 東京 千代⽥区の靖国神社には、14⽇午後2時に気象庁の担当者が訪れ、開花の⽬安となっているソメイヨシノに5輪以上の花が咲いているのを確認し、「東京でサクラが開花した」と発表しました。
[5] 東京のサクラの開花の発表は、平年より12⽇早く、去年と並んで、昭和28年に統計を取り始めてから最も早い開花となりました。
[6] 気象庁の担当者は「去年と同じように、このところ平年より暖かい⽇が続いたことから早い開花となった」と話しています。
[7] ⺠間の気象会社によりますと、今後も⻄⽇本や東⽇本の各地で、平年よりも早くサクラが開花する⾒込みです。

東京で桜が開花した
対応関係

Start of cherry blossom season declared in Tokyo[1] The Japan Meteorological Agency has declared the start ofcherry blossom season in Tokyo.
[2] Agency officials confirmed on Sunday afternoon that at least
five blossoms had opened on the benchmark tree of the
リード︓ニュースで最もSomei-yoshinovariety at Yasukuni Shrine in central Tokyo.

重要なことだけ[3] The declaration came 12 days earlier than average.
It was the same as last year, and the earliest since statistics
were first kept in 1953.
[4] Temperatures on Sunday exceeded the seasonal average insome parts of the country.
[5] Although rain clouds spread over the northeastern Tohoku
region and other areas, eastern and western Japan weremainly sunny.
[6] A commercial weather-information firm says cherry trees
will likely start blooming earlier than usual in many westernand eastern parts of the country.

⻘︓対応あり紫︓対応あり（意訳・変換）

⾚︓対応なし8

リードの次の⽂の違い

東京で桜が開花した
各地で暖かい気温
去年同様最も早い開花
気象庁「東京でサクラ開花」発表 平年より12⽇早くリ"ド本
⽂[1] 気象庁は14⽇午後、「東京でサクラが開花した」と発表しました。

対応関係[2] 平年より12⽇早く、去年と並んで統計を取り始めてから最も早い開花となりました。
[3] 気象庁によりますと、14⽇は東北などで⾬雲が広がりましたが、東⽇本や⻄⽇本を中⼼に晴れ、各地で平年の気温を上回る春の陽気となりました。
[4] 東京 千代⽥区の靖国神社には、14⽇午後2時に気象庁の担当者が訪れ、開花の⽬安となっているソメイヨシノに5輪以上の花が咲いリードの次の⽂︓ているのを確認し、「東京でサクラが開花した」と発表しました。

背景情報[5] 東京のサクラの開花の発表は、平年より12⽇早く、去年と並んで、昭和28年に統計を取り始めてから最も早い開花となりました。
[6] 気象庁の担当者は「去年と同じように、このところ平年より暖かい⽇が続いたことから早い開花となった」と話しています。
[7] ⺠間の気象会社によりますと、今後も⻄⽇本や東⽇本の各地で、平年よりも早くサクラが開花する⾒込みです。

東京で桜が開花した
靖国神社で5輪以上咲いた

Start of cherry blossom season declared in Tokyo[1] The Japan Meteorological Agency has declared the start ofcherry blossom season in Tokyo.
[2] Agency officials confirmed on Sunday afternoon that at least
five blossoms had opened on the benchmark tree of theSomei-yoshino variety at Yasukuni Shrine in central Tokyo.

順番の変更[3] The declaration came 12 days earlier than average.
It was the same as リードの次の⽂︓
last year, and the earliest since statistics
were first kept in 1953.

リードで伝えた内容を詳しく[4] Temperatures on Sunday exceeded the seasonal average insome parts of the country.
[5] Although rain clouds spread over the northeastern Tohoku
region and other areas, eastern and western Japan weremainly sunny.
[6] A commercial weather-information firm says cherry trees
will likely start blooming earlier than usual in many westernand eastern parts of the country.

⻘︓対応あり紫︓対応あり（意訳・変換）

⾚︓対応なし9リードと本⽂との重複の違い
気象庁「東京でサクラ開花」発表 平年より12⽇早く
リ"ド本
⽂[1] 気象庁は14⽇午後、「東京でサクラが開花した」と発表しました。
[2] 平年より12⽇早く、去年と並んで統計を取り始めてから最も早い開花となりました。

重複[3] 気象庁によりますと、14⽇は東北などで⾬雲が広がりましたが、東⽇本や⻄⽇本を中⼼に晴れ、各地で平年の気温を上回る春の陽気となりました。
重複[4] 東京 千代⽥区の靖国神社には、14⽇午後2時に気象庁の担当者が訪れ、開花の⽬安となっているソメイヨシノに5輪以上の花が咲いているのを確認し、「東京でサクラが開花した」と発表しました。
[5] 東京のサクラの開花の発表は、平年より12⽇早く、去年と並んで、昭和28年に統計を取り始めてから最も早い開花となりました。
[6] 気象庁の担当者は「去年と同じように、このところ平年より暖かい⽇が続いたことから早い開花となった」と話しています。
[7] ⺠間の気象会社によりますと、今後も⻄⽇本や東⽇本の各地で、平年よりも早くサクラが開花する⾒込みです。

対応関係

削除

Start of cherry blossom season declared in Tokyo[1] The Japan Meteorological Agency has declared the start ofcherry blossom season in Tokyo.

削除 [2] Agency officials confirmed on Sunday afternoon that at least
five blossoms had opened on the benchmark tree of theSomei-yoshino variety at Yasukuni Shrine in central Tokyo.

[3] The declaration came 12 days earlier than average.
It was the same as last year, and the earliest sincestatistics were first kept in 1953.
[4] Temperatures on Sunday exceeded the seasonal average in
重複無し
some parts of the country.
[5] Although rain clouds spread over the northeastern Tohoku
region and other areas, eastern and western Japan weremainly sunny.
[6] A commercial weather-information firm says cherry trees
will likely start blooming earlier than usual in many westernand eastern parts of the country.

10同じ表現の繰り返しの違い
気象庁「東京でサクラ開花」発表 平年より12⽇早く
リ"ド本⽂[1] 気象庁は14⽇午後、「東京でサクラが開花した」と発表しました。
[2] 平年より12⽇早く、去年と並んで統計を取り始めてから最も早い開花となりました。
[3] 気象庁によりますと、14⽇は東北などで⾬雲が広がりましたが、東⽇本や⻄⽇本を中⼼に晴れ、各地で平年の気温を上回る春の陽気となりました。
[4] 東京 千代⽥区の靖国神社には、14⽇午後2時に気象庁の担当者が訪れ、開花の⽬安となっているソメイヨシノに5輪以上の花が咲いているのを確認し、「東京でサクラが開花した」と発表しました。
[5] 東京のサクラの開花の発表は、平年より12⽇早く、去年と並んで、昭和28年に統計を取り始めてから最も早い開花となりました。
[6] 気象庁の担当者は「去年と同じように、このところ平年より暖かい⽇が続いたことから早い開花となった」と話しています。

対応関係Start of cherry blossom season declared in Tokyo[1] The Japan Meteorological Agency has declared the start ofcherry blossom season in Tokyo.
[2] Agency officials confirmed on Sunday afternoon that at least
five blossoms had opened on the benchmark tree of theSomei-yoshino variety at Yasukuni Shrine in central Tokyo.
[3] The declaration came 12 days earlier than average.
It was the same as last year, and the earliest since statistics
were first kept in 1953.
[4] Temperatures on Sunday exceeded the seasonal average insome parts of the country.
[5] Although rain clouds spread over the northeastern Tohoku
region and other areas, eastern and western Japan weremainly sunny.

[7] ⺠間の気象会社によりますと、今後も⻄⽇本や東⽇本の各地で、平年よりも早くサクラが開花する⾒込みです。

[6] A commercial weather-information firm says cherry trees
will likely start blooming earlier than usual in many westernand eastern parts of the country.

繰り返しが多い

繰り返しを避ける11英語ニュース制作⽀援の⽬標
n 現段階︓内容を正確に翻訳する
n 今後 ︓⽇本語ニュースから英語ニュースを⽣成する

12⽇英機械翻訳の研究開発
n ⽇英ニュース記事は⽂レベルでは正確な対訳になっていないものが多い
n 新聞・通信社の⽇英報道記事もある程度同様の傾向（訳抜けを多く含む対訳データ → これで学習すると訳抜けが頻出）

ニュース分野の⽇英対訳で⾼品質な対訳⽂対が存在しない⾼性能な機械翻訳に最も重要なものは⾼品質な対訳データ→ ⼈⼿でNHKニュースの⾼品質な対訳データを構築

13

ニュースの⽇英対訳⽂の構築
n NHK⽇本語ニュース⽂ → ⼈⼿英訳
n NHK⽇本語ニュース⽂ → ⽇英機械翻訳 → ⼈⼿ポストエディットn NHK英語ニュース⽂ → 英⽇機械翻訳 → ⼈⼿ポストエディット

合計100万⽂対を構築
NHKニュースの翻訳品質が向上
ニュース翻訳の課題は対訳⽂とNMTだけで解決できるわけではない

14

数字の翻訳n ニュースで数字は重要
n 数の単位の変換が必要︓＜例＞1億6000万 → 160 million
l NMTで単語列として翻訳すると間違える時がある

n ルールベースとの融合（⼤きな数字・⼩数点を含む数字）
1億6000万円を…

X1円を…
ルール

X1 =160000000

NMT

ルール

X1 yen …

160 million yen …

X1 =160 millionn ニュース特有の表現への対応
l ⾵速︓メートル／秒 → キロメートル／時に変換＜例＞⾵速30メートル → Winds of 108 kilometers per hour15

数字の翻訳（⽂脈依存）
n ⽬的⾔語⽂脈に依存する値の変化への対応＜例＞112 秒台 → below 113 seconds

学習時

訓練データ
137 秒台︓ below 138 seconds

1を加算する演算⼦

X2 秒台︓ below X2-PLUSONE seconds
NMTを学習翻訳時
112 秒台演算⼦毎に変数を細分化[村上他, 2020]することで、⽂脈に応じた演算⼦も同時に学習演算⼦を適⽤NMTで翻訳して1を加算
X2 秒台
below X2-PLUSONE seconds
below 113 seconds
X2 = 11216

⽇付表現の翻訳 [Kinugawa et al., 2022]
1⽇に・・・
⽇付(1週間未満)

⽇付(1週間以上)

on Thursday

on September 1

期間
for one day

曜⽇への置換や⽉を挿⼊→誤訳
前処理で曜⽇に置換もしくは⽉を挿⼊

⽇本語表現の⽇付・期間の曖昧性を⾃動識別
⽇英対訳⽂を⽤いて、期間と⽇付で表層が異なる英語表現から⽇本語⽇付表現の⽇付・期間の分類を特定
その分類結果を学習して識別器を構築
17ユーザー辞書機能の導⼊
n 辞書機能として、相補関係にある2つの⼿法を組み合わせて利⽤
l ⼊⼒に訳を挿⼊することで出⼒を制御[Dinu et al., 2019]＜⼊⼒例＞

⾃由⺠主党は・・・→ <t> ⾃由⺠主党 <d/> Liberal Democratic Party of Japan </t> は・・・

語彙の情報を翻訳で利⽤できる。
頻度ゼロの語と未学習の語には対応できない。低頻度でも出⼒されない場合あり
学習データで⾼頻度語を対象

l 該当表現を変数に置換して翻訳し、出⼒中の変数を訳語に置換[Long et al., 2016]＜⼊⼒例＞

ザポリージャ原発で・・・→<TERM1>に・・・＜出⼒例＞

・・・at <TERM1>→・・・at Zaporizhzhia Nuclear Power Plant

低頻度語、登録直後の表現を対象

18

⽂脈の利⽤（主語補完）(1/2) [Goto et al., 2020]
n 既存の⽂脈利⽤⼿法（2-to-1）[Tiedemann and Scherrer, 2017]•

学習時と翻訳時に、直前の⽂を区切り記号(<delimiter>)と共に翻訳元⽂に追加

機械翻訳への⼊⼒
⽂脈
この部分は配付資料では⾮表⽰になります
翻訳元⽂

••

機械翻訳の学習の枠組み（正解訳からの誤差逆伝播）だけでは、多くの⽂脈の情報から必要な情報を推測して、そこを活⽤するように学習することは困難
2⽂以上前の⽂脈を利⽤できない
19

⽂脈の利⽤（主語補完）(2/2) [Goto et al., 2020]
⽂脈

この部分は配付資料では⾮表⽰になります

⽂脈を述語・項構造解析し、主語・主題を抽出
配付資料では⾮表⽰になります
翻訳元⽂に追加（直前の⽂に主語・主題がない場合はそれ以前の⽂から抽出して追加）
機械翻訳への⼊⼒この部分は配付資料では⾮表⽰になります

2-to-1では学習が難しい部分を構造解析に基づいて実施
20

⽂脈の利⽤（⽬的⾔語⽂脈）[Mino et al., 2020]
n ⽬的⾔語側⽂脈

l 英語側の⼀貫性や同⼀表現の繰り返し抑制の制御に必要

n 利⽤⽅法l ⼊⼒⽂に直前の英語⽂を追加

n 従来⼿法[Kim et al., 2019]の課題

l ⽂脈として利⽤する直前の⽬的⾔語⽂の違いによる悪影響••[学習時] ︓訓練データ[翻訳時] ︓機械翻訳出⼒（翻訳誤りやtranslationeseあり）

n 対策

l 学習時に⽤いる直前の⽬的⾔語⽂︓最初は訓練データ、次第に機械翻訳出⼒を増加→ 学習時と翻訳時の⽂脈の違いを低減
21

⽇英ニュースの翻訳知識の活⽤(1/2) [後藤他, 2020]

⽇本語ニュース

参拝を終えた⼈たちは、おみくじをひいたり、お守りや魔よけの⽮などの縁起物を買い求めたりしていました。
翻訳不⾜（訳抜け）学習
英語ニュースVisitors can buy arrow amulets, good-luck charms
and fortune-telling slips.

訓練データと⽬標出⼒とのギャップ
翻訳
⽬標出⼒

Visitors who have finished worship were buying
arrow amulets and mascots such as good-luckcharms and fortune-telling slips.

学習データでの訳抜けは、翻訳時に訳抜けの原因となる
22

⽇英ニュースの翻訳知識の活⽤(2/2) [後藤他, 2020]

ラベルを⾃動推定

学習

ラベル︓
訓練データ

D:訳出なしDTD

T:訳出ありT

T

T

T

訳出されていない内容語をラベルで区別して学習
T

T

T

T T

参拝 を 終えた ⼈ たち は 縁起物 を 買い まし た 。
Visitorsboughtmascots .

訓練データで訳出されている部分の学習結果を利⽤して翻訳

翻訳

T

ラベル︓

T

T

T

T

T

TT

T

T T

⼊⼒⽂︓ 参拝 を 終えた ⼈ たち は お守り を 買い まし た 。

ラベルの利⽤⽅法
DTDT++++

⼊⼒⽂︓ 参拝を終えた⼈

ラベル︓

T

訳出される

…
…

ラベル分散表現

Factorとして利⽤

単語分散表現DNNエンコーダ

DNNデコーダ
Visitors

whohave finished23・・・

制作⽀援向け訳抜け検出 [後藤他, 2018]

⼊⼒⽂

出⼒⽂

参拝を終えた⼈たちは、おみくじをひいたり、お守りや魔よけの⽮などの縁起物を買い求めたりしていました。

Visitors can buy arrow amulets,
good-luck charms and fortunetelling slips.

訳抜け部分が⼀⽬で分かると便利
訳抜け箇所の検出
参拝を終えた⼈たちは、おみくじをひいたり、お守りや魔よけの⽮などの縁起物を買い求めたりしていました。

強制的に逆翻訳 Visitors can buy arrow amulets,
good-luck charms and fortunetelling slips.

英語⽂にない⽇本語部分の⽣成確率は低くなる → 訳抜け箇所と推定
24

まとめと今後の予定
n まとめ

l NHKでの機械翻訳の利⽤、英語ニュースの特徴、機械翻訳の研究開発の取り組みを紹介

n 今後の予定

l 翻訳機能・制作⽀援••

新しい翻訳知識の⾃動獲得
翻訳誤りの推定l ⽇本語ニュースから英語ニュースの制作⾃動化（翻訳の範囲を超えたタスク）

25

選考委員の⽅々をはじめ関係者の皆様、セミナー聴講者の皆様、ありがとうございました。

本研究成果の⼀部は、国⽴研究開発法⼈情報通信研究機構の委託研究（課題197および課題225）により得られたものです。

26

参考⽂献
[Papper, 2020] Robert A. Papper, Broadcast News and Writing Stylebook, seventh edition, Routledge, 2020.
[David and Peter, 2019] David Ingram and Peter Henshall, The News Manual, https://www.thenewsmanual.net[Strunk and White, 1999] William Strunk and E. White, The Elements of Style, Fourth Edition, Longman, 1999.
[Block, 2011] Mervin Block, Broadcast Newswriting: The RTDNA Reference Guide, A Manual for Professionals, CQ Press, 2011.
[村上他, 2020] 村上 聡⼀朗, 渡邉 亮彦, 宮澤 彬, 五島 圭⼀, 柳瀬 利彦, ⾼村 ⼤也, 宮尾 祐介, 時系列株価データからの市況コメントの⾃動⽣成, ⾃然⾔語処理, 2020, 27 巻, 2 号,p. 299-328．
[Kinugawa et al., 2022] Kazutaka Kinugawa, Hideya Mino, Isao Goto, Ichiro Yamada, Leveraging a Bilingual Corpus to Resolve Date–Duration Ambiguity in JapaneseNumeric Day Expressions, 2022, Vol. 29, No. 2, p. 638-668.
[Dinu et al., 2019] Georgiana Dinu, Prashant Mathur, Marcello Federico, and Yaser Al-Onaizan. Training Neural Machine Translation to Apply Terminology Constraints.
In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 3063–3068, 2019.
[Long et al., 2016] Zi Long, Takehito Utsuro, Tomoharu Mitsuhashi, and Mikio Yamamoto. Translation of Patent Sentences with a Large Vocabulary of TechnicalTerms Using Neural Machine Translation. In Proceedings of the 3rd Workshop on Asian Translation (WAT2016), pages 47–57, 2016.
[Tiedemann and Scherrer, 2017] Jörg Tiedemann and Yves Scherrer. 2017. Neural Machine Translation with Extended Context. In Proceedings of the Third Workshop
on Discourse in Machine Translation, pages 82–92.
[Goto et al., 2020] Isao Goto, Hideya Mino, Hitoshi Ito, Kazutaka Kinugawa, Ichiro Yamada, and Hideki Tanaka. 2020. Neural Machine Translation Using Extracted
Context Based on Deep Analysis for the Japanese-English Newswire Task at WAT 2020. In Proceedings of the 7th Workshop on Asian Translation, pages 72–79.
[Kim et al., 2019] Yunsu Kim, Duc Thanh Tran, and Hermann Ney. 2019. When and Why is Document-level Context Useful in Neural Machine Translation?. In
Proceedings of the Fourth Workshop on Discourse in Machine Translation, pages 24–34.
[Mino et al., 2020] Hideya Mino, Hitoshi Ito, Isao Goto, Ichiro Yamada, and Takenobu Tokunaga. 2020. Effective Use of Target-side Context for Neural MachineTranslation. In Proceedings of the 28th International Conference on Computational Linguistics, pages 4483–4494.
[後藤他，2020] 後藤 功雄，美野 秀弥，⼭⽥ ⼀郎，訳抜けを含む訓練データと訳抜けのない出⼒とのギャップを埋めるニューラル機械翻訳，⾔語処理学会第26回年次⼤会，2020．
[後藤他，2018] 後藤 功雄, ⽥中 英輝, ニューラル機械翻訳での訳抜けした内容の検出, ⾃然⾔語処理, 2018. 25 巻, 5 号, p. 577-597.

27