言語処理学会 第29回年次大会 発表論文集 (2023年3月)

情報源のアノテーションによる外部知識に基づいた応答の魅力度の分析
児玉 貴志 1

清丸 寛一 1 Yin-Jou Huang1 岡久 太郎 2 黒橋 禎夫 1
1 京都大学
2 静岡大学{kodama,kiyomaru,huang,kuro}@nlp.ist.i.kyoto-u.ac.jp
okahisa-taro@inf.shizuoka.ac.jp
いちばんの⾒どころはどこですか︖

概要

被推薦者

人間は何らかの外部知識を参照しながら話す場合
でも，自身の知識や意見を適度に織り交ぜながら魅力的に発話を行う．本研究ではそういった人間の振る舞いを，既存の外部知識に基づいた対話コーパスに追加で情報源のアノテーションをすることで分析する．具体的には，発話中の各エンティティに対して，そのエンティティが外部知識に由来する（外部知識由来）か，話者の知識や意見に由来する（話者由来）かをアノテーションする．分析の結果，話者由来情報を含む発話は応答の魅力度が高いことが分かった．また，既存の外部知識に基づく対話応答生成モデルが生成する応答は人間の応答より話者由来情報の割合が少ないことを実験的に確認した．

1

はじめに対話システムに情報性の高い応答を生成させるために外部知識を活用する研究が増加している [1, 2, 3, 4, 5]．そうした研究では与えられた外部知識を正確に応答に反映させる方法に注目することが多い [6, 7]．
しかし外部知識に基づく対話において，図 1 に示すように，人間は単に外部知識による情報を相手に知らせるだけでなく，話者自身が持っている知識や意見を有効に織り交ぜる [8] ことで，発話を魅力的なものにしている．与えられた外部知識を応答に正確に反映することに特化したモデルが，そのような魅力的な振る舞いをどの程度実現できるかはこれまで定量的に確認されていない．
そこで本研究ではまず，外部知識に基づいた対話コーパスの発話に情報源のアノテーションを追加で施すことで，人間が話者由来情報をどの程度発話に取り込んでいるかを分析する．具体的には，発話製作年度︓2003年
レビュー︓世界的にヒットした海賊たちの争いがテーマの映画の１作⽬⾒どころですか︖2003年の古い映画なのですが今⾒ても古さを感じず⾒れるとこですかね。
海賊の争いがテーマなんですけど裏切りもあるのですがそれを超え絆を深めて⾏くとこがなんとも⼤好きです。

推薦者

図 1 Japanese Movie Recommendation Dialogue [9] の対話
例．推薦者発話中の青字と赤字の箇所がそれぞれ外部知識由来情報と話者由来情報を指す．推薦者発話の上部の四角部分には推薦者が該当発話で使用している外部知識を示す．

中の各エンティティに対して，そのエンティティが外部知識に由来する（外部知識由来）か，話者自身の知識や意見に由来する（話者由来）かをアノテーションする．アノテーションされたデータセットを分析した結果，魅力的な発話は話者由来情報を多く含むことを確認できた．
次に，パープレキシティを最小化するという一般的な手法で訓練した，BART ベースの応答生成モデ
ルが話者由来情報をどの程度使用できているかを調査した．その結果応答生成モデルは人間ほど頻繁には話者由来情報を使用できていないことが明らかになった．以上の分析と実験結果より，外部知識に基づく応答生成における魅力度を高めるにはパープレキシティを最小化するだけでは不十分であり，学習フレームワークに改善の余地があることが示唆された．

2

情報源のアノテーション

本節では情報源ラベルのアノテーション方法とその結果について説明する．

2.1

アノテーション方法

外部知識に基づいた対話コーパスである JapaneseMovie Recommendation Dialogue (JMRD) [9] に追加で情報源のアノテーションを行う．JMRD は映画推薦― 119 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

についての日本語対話コーパスで，推薦者は発話を表1

情報源のアノテーションの統計行う際に，参照した映画情報にアノテーションを行っている．この手続きにより推薦者の全ての発話

対話
推薦者発話エンティティ
外部知識由来話者由来
その他に，外部知識として映画情報が紐付けられている．
各知識は知識タイプ（タイトル，製作年度，監督，キャスト，ジャンル，レビュー，あらすじ，知識なしの 8 つ）と対応する知識コンテンツから構成され

学習

開発

テスト

合計

4,575
51,080235,771
166,958
51,17017,643200
2,244
10,320
7,223
2,303
794

300
3,347
15,734
10,476
4,095
1,163

5,075
56,671
261,825
184,657
57,56819,600ている．表 7 に JMRD の対話例を，表 8 に JMRD で(%)
100使用されている外部知識の例を示す．
本研究では推薦者の発話中の全ての体言，用言，対話魅力度

80

形容詞をアノテーションの対象とし，これらをエン

6.23
12.48

5.61
14.64

6.33
14.63

6.89

7.4

20.84

24.63

81.2979.75

79.04

72.27

67.97

1

234560

ティティと呼ぶ．エンティティの抽出には，形態素40解析器 Juman++ [10] を使用する．抽出の際にはエン20

ティティの意味を捉えやすくするため，エンティティを修飾している形容詞や副詞も含めて抽出す

0る．アノテータは抽出されたアノテーション対象を

(%)
100

以下に示す情報源のタイプのいずれかに分類する．

推薦成功度

80

外部知識由来： 対象のエンティティがその発話で使用されている外部知識に基づいている．

6.58
14.4

6.09
18.89

6.22
15.49

7.04

7.23

20.78

23.53

79.01

75.02

78.29

72.18

69.24

234560

話者由来： 対象のエンティティが推薦者が推薦映40画について元々持っている知識や意見に基づいて20いる．

01

その他： 上記 2 つに該当しない．

外部知識由来話者由来

その他

以下に分類の実例を示す．
図2

アンケート結果と各情報源ラベルとの関係(1) 発話：アクションシーン (外部知識由来) は見ごたえ (話者由来) 抜群です

人間の応答の分析

3使用されている知識：{ジャンル, アクション}

本節では人間の発話の魅力度と話者由来情報の関アノテーションはプロのアノテータに依頼した．１

係を対話レベルと発話レベルに分けて分析する．

人のアノテータが１つの対話を担当し，アノテーション後に別のアノテータが内容を確認した．アノテーションにかかった費用は約 140 万円だった．

2.2

3.1

対話レベルの分析

JMRD の一部の対話（4,317 対話）には対話終了後に取った 5 段階評価のアンケート（5 が最良）がアノテーション結果付随している．そのアンケートの中から，被推薦者

表 1 にアノテーションの統計を示す．推薦者は外側の，対話魅力度（質問文：「対話を楽しめたか」）

部知識を参照しながら発話をしているため，その性と，推薦成功度（質問文：「推薦された映画を見たく

質上外部知識由来のエンティティが多いものの，話なったか」）の 2 つのアンケート結果と各情報源ラ

者由来のエンティティも約 6 万個存在した．この結ベルの割合との関係について分析する．

果は，人間は外部知識を伝えるための対話であっても，自身の知識や経験，意見を発話に取り入れていの割合を示す．この図より対話魅力度，推薦成功度ることを示している．

ともに，評価の低い対話では話者由来情報が少なく

図 2 にアンケートのスコア別に各情報源ラベル（または外部知識由来情報が多く），評価の高い対話
では話者由来情報が多い（または外部知識由来情報が少ない）傾向が見て取れる．JMRD ではクラウド― 120 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表2

表3

人間の応答に対する発話魅力度1）． 括弧内の数値は応答数を指す．
発話魅力度

F1

外部知識由来話者由来その他

94.92
80.88
82.93

95.61
84.3964.15

95.27
82.60
72.34

合計 (496)3.18

マイクロ平均90.52

90.4890.50

る2）．モデルへの入力は以下のように定める．
[𝐶 𝐿𝑆]𝑢 𝑡−4 [𝑆𝐸 𝑃]𝑢 𝑡−3 [𝑆𝐸 𝑃]𝑢 𝑡−2 [𝑆𝐸 𝑃]

対話相手からの評価が高い推薦者は，与えられた外𝑢 𝑡−1 [𝑆𝐸 𝑃] [𝐶 𝐿𝑆 𝐾 ] 𝑘𝑡 1 [𝑆𝐸 𝑃] 𝑘𝑐 1 [𝑆𝐸 𝑃]...

部知識だけではなく，話者由来の知識をある程度[𝐶 𝐿𝑆 𝐾 ] 𝑘𝑡 𝑀 [𝑆𝐸 𝑃] 𝑘𝑐 𝑀 [𝑆𝐸 𝑃],（統計的には約 25% 程度）混ぜながら発話をしていることが分かった．

(1)

𝑡 は 対 話 タ ー ン，𝑢 𝑡 は 𝑡 番 目 の 発 話，𝑘𝑡 𝑖 と 𝑘𝑐 𝑖

発話レベルの分析(1 <= 𝑖 <= 𝑀) は応答 𝑢 𝑡 に紐付けられている知識タJMRD には発話単位では応答の魅力度が付随していないため，新たにクラウドソーシングで応答の魅力度（発話魅力度）について評価を行った．まずテストデータの中から 500 個の対話文脈（4 発話）とその文脈に対する応答を抽出し，クラウドワーカーにその応答の発話魅力度（質問文：「この応答をした人と話してみたい」）を 5 段階評価（5 が最良）で評価してもらう．各応答につき 3 名のクラウドワーカーに評価してもらい，スコアはその平均とする．
表 2 に結果を示す．話者由来情報を含む応答の平均スコアが 3.31 であるのに対し，含まない応答の平均スコアは 3.07 であった．この結果より，話者由来情報を含む応答の方がより魅力的であることが発話レベルでも示された．

イプと知識コンテンツである（𝑀 は応答に紐付けられている知識の最大数）．[𝐶 𝐿𝑆 𝐾 ] は特殊トークンである．実運用時は知識選択も行う必要があるが，本研究では知識が応答にどのように反映されているかに注目するため，知識選択タスクは行わず，モデルには常に正解の知識を入力する．モデルは応答 𝑢 𝑡のパープレキシティ最小化を目的関数として学習する．
システム応答の評価には SacreBLEU [12] を使用した．正解の知識を与えているため，BLEU-1/2/3/4は 81.1/73.5/71.0/69.9 と非常に高いスコアとなった．
3.2 節で行った，発話魅力度の評価をシステム応答に対しても同様に行った．平均スコアは 3.09 であり，人間と比較するとやや低いスコアとなった．

4.2

システム応答の分析
本節では一般的な手法で訓練した応答生成モデルが生成した応答中の情報源ラベルの分布を調査する．まず対話文脈と外部知識から応答を生成する応答生成器（4.1 節）を訓練する．次に応答と外部知識を入力，情報源ラベルの BIO タグを出力とする

情報源分類器情報源分類器は日本語 Wikipedia と CC-100 を使って事前学習された RoBERTa𝑙𝑎𝑟 𝑔𝑒 [13] を ﬁne-tuning して作成する3）．情報源分類器は，情報源の BIO ラベルを推定する系列ラベリングタスクを解く．モデルへの入力は以下のように定める．

情報源分類器（4.2 節）を訓練する．最後に応答生[𝐶 𝐿𝑆]𝑢 𝑡 [𝑆𝐸 𝑃] [𝐶 𝐿𝑆 𝐾 ] 𝑘𝑡 1 [𝑆𝐸 𝑃] 𝑘𝑐 1 [𝑆𝐸 𝑃]...

成器が生成した応答（システム応答と呼ぶ）に対し[𝐶 𝐿𝑆 𝐾 ] 𝑘𝑡 𝑀 [𝑆𝐸 𝑃] 𝑘𝑐 𝑀 [𝑆𝐸 𝑃]て，訓練した情報源分類器によって情報源ラベルを(2)

表 3 に各ラベルの適合率 (Prec)，再現率 (Rec)，F1推測して付与し，その分布を確認する．

4.1

Rec

3.31
3.07

使いながら対話をするように教示している．ただ，

4Prec

話者由来情報あり (230)
話者由来情報なし (266)

ワーカーに一定量の外部知識を提示し，その知識を3.2

情報源分類器による系列ラベリング結果

スコア (F1) とそれぞれのマイクロ平均スコアを示

応答生成器

す．マイクロ平均 F1 スコアは 90.50 であり，後段の応答生成器は日本語 Wikipedia を使用して事前学習された BART𝑙𝑎𝑟 𝑔𝑒 [11] を ﬁne-tuning して作成す
1） 情報源ラベルのない 4 発話についてはこの結果から除外している．

分析に使用するには十分な精度である．
2） https://nlp.ist.i.kyoto-u.ac.jp/?BART%E6%97%A5%E6%
9C%AC%E8%AA%9EPretrained%E3%83%A2%E3%83%87%E3%83%AB3） https://huggingface.co/nlp-waseda/
roberta-large-japanese-seq512― 121 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表4

人間とシステムの応答例．外部知識の行では，波括弧内の左側が知識タイプ，右側が知識コンテンツである．
発話魅力度

文脈

...
推薦者: 2015 年のアニメです．
被推薦者: なるほど〜〜

外部知識{監督, 京極尚彦}, {キャスト, 新田恵海}, {キャスト, 南條愛乃}

応答

人間: 監督は京極尚彦，声は新田恵海，南條愛乃です．この二人，歌手もやってます．
システム: 監督は京極尚彦，声は新田恵海，南條愛乃です．

表 5 人間とシステム応答の情報源ラベルの分布．gold
はアノテータによって付与されたラベルを，pred は情報源分類器で推定したラベルを指す．

4.00
2.33

やってます．」のような，話者由来情報を追加するといった振る舞いはできていない．
さらなる分析として，表 6 に知識タイプ別の話者

分布 (%)

Human (gold)

Human (pred)

System (pred)

由来情報の割合を示す．人間の発話と比較すると，外部知識話者
その他

66.22
26.33
7.45

66.75
27.49
5.77

85.48
10.66
3.86

システム発話の話者由来情報の量はすべての知識タイプで減少した．特にレビュー（31.42%→6.32%）
やあらすじ（13.68%→2.32%）では大きな減少が見

表6

知識タイプ別の話者由来情報の割合られた．レビューやあらすじは誰かの知識や意見を割合 (%)

Human (gold)

Human (pred)

System (pred)

記述した外部知識であり，システムはこうした外部

タイトル
製作年度
監督
キャスト
ジャンル
レビュー
あらすじ
知識なし

30.21
16.41
13.94
36.11
10.47
27.72
13.98
57.49

34.12
22.31
11.96
45.34
15.14
31.42
13.68
63.08

27.09
6.56
4.50
23.45
5.49
6.32
2.32
55.99

知識を参照することで，他に話者由来情報を追加する必要がなかったためであると考えられる．
話者由来情報が応答の魅力度を向上させるという分析と合わせると，現在の主流のモデルは話者由来情報を効果的に取り込むことができないため，その魅力度が低下してしまっている可能性がある．こうした能力は応答生成のパープレキシティを最小化す

4.3

るようにモデルを最適化するだけではほとんど学習

推定ラベルに対する分析されないため，新たな学習フレームワークが必要で

4.2 節で訓練した情報源分類器を用いて，システム応答の情報源ラベルを推定する．表 5 に人間とシステム応答の情報源ラベルの分布を示す．人間の応あると考えられる．

おわりに

5

答にはアノテーション（2 節）ですでに正解ラベル

本研究では，外部知識に基づいた対話における，が付与されている（Human (gold)）が，公平な比較人間およびシステム応答に含まれる話者由来情報にのため人間の応答についても情報源分類器で推定ラついて分析した．分析の結果，外部知識だけでなくベルを付与する（Human (pred)）．Human (gold) と話者由来情報を用いることで，より魅力的な応答がHuman (pred) は似た分布になっており，分類器の得られることが分かった．また標準的な方法で学習精度が十分高いことを示している．
推定したラベルが付与されたシステム応答である

した応答生成モデルは，人間よりも話者由来情報の生成量が少ないことを定量的に確認した．

System (pred) は，Human (pred) と比較すると，外部対話に出現する話者由来情報は多種多様であり，知識由来の割合が大きく増加（66.75%→85.48%）し，話者由来の割合が大きく減少（27.49%→10.66%）し単純に応答のパープレキシティを最小化するだけでた．この結果より，一般的な手法で訓練した応答生る．今回施したアノテーションは公開予定であり，成モデルは人間より話者由来情報の使用量が減少しこのアノテーション付きコーパスがこの問題に取りてしまうことが明らかになった．

組む上での良い出発点となることを期待する．

は話者由来情報をうまく活用することは困難であ

表 4 に，人間とシステムの応答例を発話魅力度とともに示す．システムは外部知識を適切に反映しているものの，人間の応答中の「この二人，歌手も― 122 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
この研究は国立情報学研究所 (NII) CRIS と LINE

[9]

株式会社とが推進する NII CRIS 共同研究の助成，JST，CREST，JPMJCR20D の支援，及び JSPS 科研費
JP22J15317 の助成のもとで行われた．

参考文献

[10]

[1] Marjan Ghazvininejad, Chris Brockett, Ming-Wei Chang,Bill Dolan, Jianfeng Gao, Wen-tau Yih, and Michel
Galley.
A knowledge-grounded neural conversation
model. Proceedings of the AAAI Conference on Artiﬁcial
Intelligence, Vol. 32, No. 1, April 2018.
[2] Kangyan Zhou, Shrimai Prabhumoye, and Alan W Black.
A dataset for document grounded conversations. InProceedings of the 2018 Conference on Empirical Methods
in Natural Language Processing, pp. 708–713, Brussels,Belgium, October-November 2018. Association for Computational Linguistics.
[3] Nikita Moghe, Siddhartha Arora, Suman Banerjee, andMitesh M. Khapra. Towards exploiting background knowledge for building conversation systems. In Proceedings ofthe 2018 Conference on Empirical Methods in NaturalLanguage Processing, pp. 2322–2332, Brussels, Belgium,
October-November 2018. Association for ComputationalLinguistics.
[4] Emily Dinan, Stephen Roller, Kurt Shuster, AngelaFan, Michael Auli, and Jason Weston. Wizard of
wikipedia: Knowledge-powered conversational agents. InInternational Conference on Learning Representations,2019.
[5] Xueliang Zhao, Wei Wu, Can Xu, Chongyang Tao,Dongyan Zhao, and Rui Yan. Knowledge-grounded dialogue generation with pre-trained language models. In
Proceedings of the 2020 Conference on Empirical Methods
in Natural Language Processing (EMNLP), pp. 3377–3390, Online, November 2020. Association for Computational Linguistics.
[6] Byeongchang Kim, Jaewoo Ahn, and Gunhee Kim.
Sequential latent knowledge selection for knowledgegrounded dialogue. In International Conference onLearning Representations, 2020.
[7] Haolan Zhan, Hainan Zhang, Hongshen Chen, ZhuoyeDing, Yongjun Bao, and Yanyan Lan.
Augmenting knowledge-grounded conversations with sequential
knowledge transition.
In Proceedings of the 2021
Conference of the North American Chapter of theAssociation for Computational Linguistics: HumanLanguage Technologies, pp. 5621–5630, Online, June
2021. Association for Computational Linguistics.
[8] Hannah Rashkin, David Reitter, Gaurav Singh Tomar,and Dipanjan Das. Increasing faithfulness in knowledgegrounded dialogue with controllable features.
InProceedings of the 59th Annual Meeting of the Association
for Computational Linguistics and the 11th International
Joint Conference on Natural Language Processing

[11]

[12]

[13]

[14]

― 123 ―

(Volume 1: Long Papers), pp. 704–718, Online, August2021. Association for Computational Linguistics.
Takashi Kodama, Ribeka Tanaka, and Sadao Kurohashi. Construction of hierarchical structured knowledgebased recommendation dialogue dataset and dialogue system. In Proceedings of the Second DialDoc Workshop
on Document-grounded Dialogue and ConversationalQuestion Answering, pp. 83–92, Dublin, Ireland, May
2022. Association for Computational Linguistics.
Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Design and structure of the Juman++ morphologicalanalyzer toolkit. Journal of Natural Language Processing,Vol. 27, No. 1, pp. 89–132, 2020.
Mike Lewis, Yinhan Liu, Naman Goyal, Marjan
Ghazvininejad, Abdelrahman Mohamed, Omer Levy,
Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In
Proceedings of the 58th Annual Meeting of the Associationfor Computational Linguistics, pp. 7871–7880, Online,July 2020. Association for Computational Linguistics.
Matt Post. A call for clarity in reporting BLEU scores.
In Proceedings of the Third Conference on MachineTranslation: Research Papers, pp. 186–191, Brussels, Belgium, October 2018. Association for Computational Linguistics.
Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar
Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized BERT pretraining approach. Vol. abs/1907.11692,, 2019.
Ilya Loshchilov and Frank Hutter. Decoupled weight decay
regularization. In International Conference on Learning
Representations, 2019.

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表7

JMRD の対話例．話者列の R と S はそれぞれ推薦者と被推薦者を指し，添字の番号は対話のターン数を示す．「知識なし」は推薦者が外部知識を使用しなかったことを示す．

話者

対話知識タイプ

知識コンテンツ

R1

こんにちは

知識なし

-

S2

こんにちは．よろしくお願いします！

R3

アベンジャーズ/エンドゲームは知っていますか？

タイトル

アベンジャーズ/エンドゲーム

製作年度

2019

ジャンル

アクション

レビュー

大集結してサノスに立ち向かうところ

知識なし

-

知識なし

-

知識なし

-

知識なし

-

知識なし

-

S4

タイトルを聞いたことがある程度です・・・

R5

この映画は 2019 年に公開された映画ですS6

なるほど，アメリカの映画ですか？

R7

アメリカのアクション映画です

S8

見どころはどのようなところでしょうか？

R9

悪役のサノスという星人がいるのですが，大集結してサノスに立ち向かうところがみどころです

S10

なるほど！ 宇宙で戦いが繰り広げられるストーリーなのですか？

R11

いや，舞台は地球です

S12となると，地球に悪役が攻めてくるのですね・・・．

R13

そうですね，結構怖い場面もありますS14

怖いのですか・・・ 私はホラー系は苦手ですが，アクション系は好きです． 私のような場合でも楽しんで見られるでしょうか？

R15

ホラーのような怖さはないので，楽しんで見られると思いますS16

なるほど！ サノスとヒーローとの闘い，ワクワクしそうですね！

R17

ぜひ見てください！

S18

はい！ 近々レンタルビデオ店に行く機会があるので，アベンジャーズ/エンドゲームをレンタルしてみたいと思います！

R19

ありがとうございました

S20

こちらこそ，貴重な情報ありがとうございました！

表8

JMRD で使用されている外部知識の一例．監督とキャストには名前と説明がそれぞれ存在する．

知識タイプ

知識コンテンツ

タイトル

アベンジャーズ/エンドゲーム

製作年度

2019

監督

名前
説明

アンソニー・ルッソとジョー・ルッソ
アメリカ合衆国のテレビ及び映画の監督，プロデューサー，脚本家，俳優，編集技師．

キャスト

キャスト 1 名前
キャスト 1 説明
キャスト 2 名前
キャスト 2 説明

ロバート・ダウニー・Jr
アメリカ合衆国の俳優・声優・ミュージシャン・プロデューサー
クリス・エヴァンス
アメリカ合衆国の俳優．マサチューセッツ州サドベリー出身．

ジャンル

アクション，アドベンチャーレビュー「インフィニティーサーガの最終章でサノスとの決戦が描かれている注目作品」など 5 文

あらすじ「2018 年，タイタン星人サノスによるデシメーション（インフィニティ・ストーンの力を使った大量殺戮）で全宇宙の生命の半分が消し去られてから 3 週間．」など 10 文表9応答生成器と情報源分類器のハイパーパラメータ
パラメータ名

エポック数

応答生成器

情報源分類器50

20

Early stopping の patience3

バッチサイズ

51264

最大入力トークン長（対話文脈/外部知識/応答） 256 / 256 / 128
オプティマイザ- / 384 / 128

AdamW [14]学習率

5e-5ウォームアップのステップ数

1000

勾配クリッピングの閾値0.5

ビームサイズ3― 124 ―-This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).