人物埋め込み空間の内挿性と制御性を兼ね備えた応答生成モデル
Response Generation Model with Interpolability and Controllabilityof the Person Embedding Space
安川 浩貴 1∗ 水上 雅博 2 品川 政太朗 1 杉山 弘晃 2 須藤 克仁 1 中村 哲 1
Hiroki Yasukawa1 Masahiro Mizukami2 Seitaro Shinagawa1
Hiroaki Sugiyama2 Katsuhito Sudoh1 Satoshi Nakamura1
奈良先端科学技術大学院大学
Nara Institute of Science and Technology
2
NTT コミュニケーション科学基礎研究所
2
NTT Communication Science Laboratories
1

1

Abstract: For a response generation model that reﬂects the characteristics (e.g., a person sinterests and preferences) to work practically, it is required that the model has acquired a person embedding space that can be interpolated to enable response generation by a speaker who
corresponds to an intermediate speaker between diﬀerent persons and that the person embedding
is easy to control. In this study, we trained the model using a large amount of dialogue datawith user identiﬁers, which are suitable for acquiring an interpolable person embedding space, anddialogue data with persona sentences (sentences describing the characteristics of a person), which
are highly controllable for person representation, by mixing the two types of dialogue data. We
propose a dialogue model that can generate responses via this person embedding. To demonstrate
the eﬀectiveness of the proposed method, we compared it with a conventional response generation
model that does not explicitly model persona embedding and evaluated the interpolability andcontrollability of the persona embedding obtained by the proposed method.

1

はじめに

特定の人物の特徴を反映した応答生成を行うニューラル応答生成モデルは，応答の一貫性に優れ，利用者との対話において利用者へ与える信頼感や魅力度を高められるという利点がある [1]．ニューラル応答生成モデルの実用においては，異なる人物の間の特徴を持つ人物を表現できるような内挿性を持つ人物埋め込み空間を学習していること，そしてその人物埋め込みを目的に応じて制御しやすいことの 2 点が望まれる．その理由として，人物埋め込み空間に内挿性があれば，多様な人物を表現できるようになることが期待できる点が挙げられる．また，人物埋め込みの制御性が高けれ
ば，目的に応じて応答へ反映する人物の特徴を容易に変更，修正できる点が挙げられる．
近年の応答生成モデルにおける人物の特徴を反映す
る方法は，ユーザ識別子のある対話データセットを用いた人物埋め込みによる方法とペルソナ文が付属した∗ 連絡先： 奈良先端科学技術大学院大学

奈良県生駒市高山町 8916 番地− 5
E-mail: yasukawa.hiroki.ye6@is.naist.jp

対話データセットを用いる方法の 2 種類に大別され，それぞれ人物埋め込みの内挿性と制御性の点で一長一短がある．
ユーザ識別子のある対話データセットを用いた人物
埋め込みによる方法 [2] とは，Twitter などの SNS から収集したデータセットに付与されているユーザ ID などの，ユーザごとに固有のユーザ識別子が付属したデー
タセットを用いて人物埋め込みを学習する方法を指す．
この方法の利点は，人物の情報を追加でラベル付けす
ることなく大規模なデータセットを使って学習することができ，類似する人物同士の人物埋め込みが類似するように学習できる点である．しかし，学習された人
物埋め込み空間は通常，対話モデルの提供者にも利用者にも解釈可能な空間とはならないため，制御することが難しい．
ペルソナ文が付属した対話データセットを利用する
方法 [3] とは，複数の人物の特徴を定義した文である
ペルソナ文を対話履歴と連結して応答生成モデルへ入力し，それらのペルソナ文に沿った応答を生成するよう学習する方法を指す．この方法の利点は，利用者にとって応答へ反映したい人物の制御が比較的容易である点である．なぜなら，人物の特徴が文という解釈可能な形式で与えられ，文の書き換えという形で変更できるからである．しかし，対話ごとに複数のペルソナ文を付与する必要があるため，大規模なデータセットの構築には高いコストがかかるという問題がある．そして大規模なデータセットを用いることができない場
合，異なる人物の間の特徴を持つ人物を表現できる人
物埋め込み空間を学習することができず，内挿性が損なわれてしまう可能性がある．
そこで本研究では，これら二つの方法を組み合わせることで，ペルソナ文による人物の特徴の制御の容易さを活かしつつ，内挿性のある人物埋め込みを学習する手法を提案する．具体的には，Variational Auto-Encoder(VAE) [4] により，ユーザ識別子のある対話データセット（趣味雑談コーパス [5]）とペルソナ文が付属した対話データセット（JPersonaChat [6]）の双方のデータセットを入力とした人物埋め込み空間を学習し，人物埋め込みを条件付けとして応答生成を行うモデルを構築する．これにより，学習する人物の数を増やし，ペ
ルソナ文による制御しやすさを維持しながら多様な人物を表現できる人物埋め込み空間を学習する．単純なオートエンコーダではなく VAE を採用する理由は，潜在空間の正則化によって埋め込みの内挿性を向上させるためである．VAE における潜在空間の正則化は潜在空間の内挿性を向上させ，生成データの変化の滑らかさを促進すると報告されている [7]．
提案手法は，ペルソナ文によって人物埋め込みを制御できるという点で人物情報を制御しやすいモデルである．これに加えて，異なる人物の間に位置する人物の特徴を応答生成に反映できる内挿性を備えていることが，ペルソナ文のみで学習する従来の応答生成モデ
ルと異なる点である．ただし，どのようなペルソナ文が異なる人物間の中間の人物を表すペルソナ文だといえるかは自明ではない1 ．本研究では，便宜的に中間の人物を，ある人物同士のペルソナ文 5 文を単純に入れ替えることで得られたペルソナ文 5 文を持つ人物であると定義し，この定義の下で「中間の人物」を表現できるかで内挿性を評価する．
実験では，まず提案手法の応答生成モデルにより生成された応答文が，より人物情報を反映できているかを従来の応答生成モデルとの比較により評価する．また，ペルソナ文を入力した場合の人物埋め込み空間に内挿性があり，かつペルソナ文により制御が可能かど
うかを，使用するペルソナ文の編集による人物埋め込
みの変化と生成文の変化から評価する．

1 たとえば，「スポーツが好き」という人物と「読書が好き」という人物の中間の人物は，「スポーツも読書も同程度に好き」なのか「スポーツジャンルの本が好き」なのか，様々な解釈ができる．

2

提案手法

本研究では，ユーザ識別子の付属したデータセットとペルソナ文の付属したデータセットとを混合し，ユー
ザ識別子もしくはペルソナ文を各発話に紐づけたデー
タセットをモデルの学習に用いる．以降では，ペルソナ
文とユーザ識別子を統合して人物情報と呼ぶ．この人
物情報から人物を表現する人物埋め込みを学習し，人
物埋め込みと対話文脈（発話の履歴）から人物情報を反映した応答文を生成する．
提案するモデルは VAE と Transformer ベースの応答生成モデルで構成される（図 1）．VAE は，人物情報か
らそれを表現する人物埋め込み z の抽出と，抽出した
人物埋め込み z から人物情報の復元を行うことで，人物情報を表現する埋め込み空間を学習する．応答生成
モデルは，人物埋め込み z と対話文脈を入力として，人物情報を反映した応答文を生成するように学習を行う．

VAE による人物埋め込みモデル 与えられた人物情報から人物埋め込みを学習するモデルには， VAE を用いる．VAE は入力されたデータ x を表現する潜在変数 z を出力するモデルである．ニューラルネットの連続性と損失関数に含まれる KL 正則化項によって，類似した入力へ与えられる埋め込み表現が連続して埋め込み空間内に配置されるように学習する事を促せるという利点がある．また学習した埋め込みを言語モデリ
ングや条件付き言語生成タスクなどの下流タスクで使用可能であると報告されている [8]．
Encoder には BERT [9] を用いる．入力 x は [CLS] と人物情報を連結した形で与えられる．ここで人物情報は
JPersonaChat を用いる場合には 5 文のペルソナ文を連結したものが該当し，趣味雑談コーパスを用いる場合にはユーザ識別子が該当する．そして，ユーザ識別子
は BERT の tokenizer に新たに語彙を追加することで
BERT へ入力可能にする．[CLS] トークンに対応する出力を用いて人物埋め込み zp を計算する．まず二つの線形層を用いて人物埋め込み zp の平均 µ と分散 σ をそれぞれ計算する．ここでは人物埋め込みを応答生成で用いるために，線形層の次元を平均 µ と分散 σ の次元が応答生成モデルへの入力の次元と等しくなるように設定する．そして reparameterization trick [4] を用いて
人物埋め込み zp を計算する．Decoder では Encoder へ与えられた人物情報に応じたモデルを用いる．人物情報
としてユーザ識別子が与えられた場合には，線形層を用いて人物埋め込み zp がどの人物を表現するのかを予測する分類を行う．人物情報としてペルソナ文が与えられた場合には，In-attention 構造 [10] を持つ Transformer
Decoder を用いて人物埋め込み zp から入力されたペルソナ文の再構成を行う．これは Transformer において，各ブロックの Self-attention 層へ前層の隠れ状態と潜在図 1: 提案モデルの概要図．人物情報から人物埋め込みを学習する VAE（左）と，人物埋め込み及び対話文脈を用いて人物の特徴を反映した応答文を生成する応答生成モデル（右）． VAE は人物情報を受け取る Encoder として BERT を用い，人物埋め込み z から人物情報の復元を行う Decoder としてペルソナ文を復元する Transformer
Decoder とユーザ識別子の予測を行う Linear Layer を用いた．
変数 z を加算したものを入力する構造を持ったモデルである．人物埋め込みから人物情報を復元するように学習することで，人物埋め込みに人物情報が含まれる
ように学習させる．またペルソナ文が与えられた人物に対して擬似的にユーザ識別子を割り振り，その人物の分類も同時に行う．このように，ペルソナ文を与えた場合にはペルソナ文の復元に加えて疑似的に与えたユーザ識別子の推定も行うことで，ペルソナ文とユー
ザ識別子による埋め込み空間を構築する．
応答生成モデル VAE から得られる人物埋め込み zp
は，対話文脈と合わせて応答生成モデルに入力され，応答文が生成される．ここで対話文脈には，応答文より
過去の発話文を直前のターンの発話文から順に最大 140
文字となるまで連結したものを用いた．応答生成モデ
ルには Transformer Encoder-Decoder [11] を用いた．
ただし人物埋め込みを用いた応答生成を行うために，Inattention 構造 [10] を持つよう Decoder を変更した．
提案モデルの学習方法 提案手法のモデルの学習は，
VAE に関する損失関数と応答生成モデルに関する損失関数の 2 種類の損失関数を同時に用いてモデル全体を一気通貫に学習する．まず，VAE の損失関数 LVAE は式（1）の形で求める．

LVAE = −E[log pθ (P |zp )] + βKL(qϕ (zp |P )||p(zp )) (1)
ここで第一項は人物情報 P （ユーザ識別子または 5 つのペルソナ文）の復元誤差である．この復元誤差は，人物情報 P を Encoder qϕ (zp |P ) に入力して人物埋め込み（潜在変数）zp を得たあと，zp を Decoder log pθ (P |zp )に入力し，その出力を人物情報 P に近づける役割を持つ．
ここで，ϕ と θ はそれぞれ VAE の Encoder と Decoderの学習可能なパラメータを指す．第二項は Encoder の

事後分布 qϕ (zp |P ) と標準正規分布による事前分布 p(zp )との間の KL Divergence であり，VAE の潜在空間への正則化を行う役割を持つ．β はハイパーパラメータである．
人物情報 P にはユーザ識別子もしくは 5 つのペルソ
ナ文の 2 種類を用いて学習を行うため，復元誤差もそれぞれに合わせて定式化する必要がある．ユーザ識別子が与えられた場合，人物埋め込みがどのユーザを表しているのかを分類するタスクにおける誤差を復元誤差として用いる．人物情報 P として 5 つのペルソナ文が与えられた場合，疑似的に付与したユーザ識別子を用いた分類タスクにおける誤差に加え，与えられたペルソナ文を再構成する誤差を復元誤差として用いる．
VAE の学習では，第二項が過度に最適化され 0 になる現象（KL vanishing）を防ぐことが重要になる．なぜなら，第二項が 0 になるとき，zp は標準正規分布
からサンプルされるノイズとみなされており，人物情
報 P の情報を持たないことを意味するためである．本
研究では，KL vanishing を防ぐ方法として， Cyclical
Annealing [12] と KL 項へ最低値 λ を導入する手法 [13]を用い，VAE の損失関数を次のように変更する．

LVAE

=

−E[log pθ (P |zp )]+βcyc max(KL(qϕ (zp |P )||p(zp )), λ)(2)()
T
ただし，βcyc = min 2N mod,1.0
である．N は経過T
したステップ数，T は Cyclical Annealing の周期を表
す．βcyc は式（1）の第二項の係数 β を周期的に変化するパラメータとすることに相当する．
次に応答生成モデルの損失関数 LD を次の式で求める．zp は人物埋め込み，X は対話文脈，Y は応答文を指す．

LD = −E[log(pθ (Y |X, zp ))](3)

以上より，モデル全体の損失関数 LM odel を式（4）の形で求める．

LModel = LVAE + LD

3

(4)

実験

提案手法の有効性を検証するため，以下の 4 つの実
験により，生成文および学習した人物埋め込みを評価する．
実験 1：生成文が人物情報を反映できているか JPersonaChat のテストデータセットを用いて，ペルソナ文と対話文脈からテストデータセットの応答文に近い生成文が得られたかををベースラインモデル（4.1 節）との比較により評価する．評価指標には Perplexity (PPL)を用いる．PPL が低いほど，生成文が人物情報を反映できているといえる．
実験 2：ペルソナ文から得られた人物埋め込みは内挿性を持つか ペルソナ文を提案モデルの VAE に入力して得られる人物埋め込みが内挿性を持つかを評価する．
内挿性の評価のため，本実験では，ある人物のペルソナ
文 5 文のうち，一部を他の人物のペルソナ文と入れ替えることで得られるペルソナ文 5 文を持つ人物をその 2人の人物の「中間の人物」と定義する．ペルソナ文は人物ごとに 5 文与えられるため，ある人物（source）のペ
ルソナ文のうち k 文（1 ≤ k ≤ 4）を他の人物（target）と入れ替えることで，k が大きくなるにしたがって段階
的に target の人物に近い中間の人物のペルソナ文を作成する．これらの中間の人物のペルソナ文から抽出した中間人物埋め込みと target の人物埋め込みの近さを
KL Divergence で測り，k を大きくするにしたがって，
中間人物埋め込みが target の人物埋め込みに段階的に近づけば，ペルソナ文から得られた人物埋め込みは内挿性を持つように学習できたといえる．JPersonaChat 全体について評価を行うため，本実験では JPersonaChatに含まれる人物ごとに，target の人物を他の人物集合からランダムに選び，入れ替える文は source と target でそれぞれ，k ごとに非復元抽出でランダムに選択した．
実験 3：生成文は人物埋め込みに紐づいているか 生
成文が人物埋め込みに適切に条件づけられて生成されているならば，テストデータセットの人物情報（ペルソナ文，ユーザ識別子）から得られる人物埋め込みを人為的に変化させた偽人物埋め込みをつくると，その偽人物埋め込みを用いて得られる PPL は元の人物埋め込みを用いて得られる PPL よりも悪化して大きくなるはずである．本実験では，JPersonaChat と趣味雑談

コーパスの双方のテストデータセットについて評価を行う．偽人物埋め込みの作成方法は双方のデータセッ
トに対して共通した方法とする．具体的には，VAE のEncoder (BERT) への入力を「[CLS] ＋ [MASK]」のようにして，人物情報に該当するトークンを [MASK]
トークンで置換することで実施する．元の人物埋め込みを用いた場合と偽人物埋め込みで置換した場合の PPLを比較するとき，偽人物埋め込みを用いた方の PPL が悪化して増大していれば，生成文は人物埋め込みに紐づいているといえる．
実験 4：ペルソナ文から得られた生成文は内挿性を持つ
か ペルソナ文を入力して，VAE と応答生成モデルを通して最終的に得られる生成文が内挿性を持つかを評価する． 本実験でも実験 2 と同様にして，中間の人物のペルソナ文を k（1 ≤ k ≤ 4）について作成し，これらの中間の人物のペルソナ文から抽出した中間人物埋め込みを評価に用いる．ただし実験 2 とは異なり，本実験ではこれらの中間人物埋め込みから，さらに応答生成を行い，その生成文に対して内挿性を評価する．生成
文の内挿性の評価には，入力された応答文がどの人物のものかを予測する分類器を用いて， 生成文が target
であると予測される確率を測る．このとき，k を大きくするにしたがって生成文が target であると予測される確率が段階的に増加すれば，生成文は内挿性を持つように学習できたといえる．JPersonaChat 全体について評価を行うため，本実験では JPersonaChat に含まれる人物ごとに，target の人物を他の人物集合からランダムに選ぶ．また入れ替える文は source と target でそれぞれ k ごとに非復元抽出でランダムに選択した． こ
こで分類器は，データセット中の 180 人の人物を応答文から分類する多値分類により学習した． そのため
chance rate は 0.55%となる．

4

実験設定

実験 1 で用いるベースラインモデル，実験全体を通して利用するデータセット，提案モデルの学習設定について述べる．

4.1

ベースラインモデル

ベースラインモデルとして，人物情報を応答生成モデ
ルの Encoder へ対話文脈と連結して入力するモデルを用いた．このモデルは一般的な Transformer [11] と同様の構造を持つ．これをベースラインモデルとして，提案モデルと比較することで，VAE を用いて人物情報か
ら学習した人物埋め込みを用いる手法の有効性を示す．

モデルの学習設定

提案手法のモデルの学習には，2 つの事前学習済みモ
デルを用いた．まず，VAE の Encoder には，趙らが公開している事前学習済みの BERT [14] を用いた．このモデルは 12 層の Encoder で構成され，潜在変数の次
元は 768 次元である．応答生成モデルには，杉山らが公開している Transformer [6] を用いた．このモデル
は 2 層の Encoder と 24 層の Decoder で構成され，潜在変数の次元は 1920 次元である．
また，本研究ではユーザ識別子が付属しており，趣味に触れるように行われた対話が含まれる趣味雑談コー
パス [5] と，ペルソナ文 5 文が付属しており，ペルソ
ナ文として与えられた性質に触れるように行われた対話が含まれる JPersonaChat [6] を混合して用いた．実験においては，データセットを 8:1:1 の割合で訓練，検証，テストデータセットに分割した．
そして，モデル全体を通して以下の設定を用いた．最適化関数には Adafactor [15] を使用し，学習率を 5 ×
10−6 とした．また Cyclical Annealing の周期 T を 1000
ステップとし，KL 項の最低値 λ を 0.25 とした．モデルの実装と学習には，HuggingFace2 が提供している
transformers [16] を用いた．

5

結果

5.1

実験 1：生成文が人物情報を反映できているか

ベースラインモデルと提案手法のモデルの PPL による比較結果を表 1 に示す．提案手法のモデルは，ベースラインモデルよりも低い PPL の値を達成した．したがって，提案手法はベースラインモデルと比べて人物情報を反映した応答生成において優れているといえる．
表 1: ベースラインモデルと提案手法の PPL の比較
PPL（↓）
ベースラインモデル
24.157
提案モデル
21.8995.2

実験 2：ペルソナ文から得られた人物埋
め込みは内挿性を持つか

JPersonaChat に含まれるすべての人物について，それぞれの人物を source としたときの中間人物埋め込みと target との埋め込みの近さ（KL Divergence）を図 2に示す．図 2 の両端はそれぞれ，参考までに source の
2 https://huggingface.co/

人物埋め込みと target の人物埋め込みの近さと target
同士の人物埋め込みの近さを表示したものである．

0.4
KL Divergence

4.2

0.3
0.2
0.1
0.0
source k=1

k=2

k=3

k=4

target

図 2: 中間人物埋め込み (k = 1, 2, 3, 4) と target の人
物埋め込みの近さ（KL Divergence）．ただし左端，右端はそれぞれ，中間人物埋め込みの代わりに source の
人物埋め込みを用いた場合と，target の人物埋め込みを用いた場合．
結果として，k が大きくなると，つまり source のペルソナ文が target のペルソナ文に置き換わる数が増えると，KL Divergence が段階的に低下することが確認された．したがって，ペルソナ文から得られた人物埋
め込みは内挿性を持つように学習できたといえる．

5.3

実験 3：生成文は人物埋め込みに紐づいているか

人物埋め込みと偽人物埋め込みにより得られた生成
文を PPL で評価したところ，人物埋め込みによる PPL
は 21.899 となり，偽人物埋め込みによる PPL は 24.014となった．したがって，生成文は人物埋め込みに紐づいているといえる．

5.4

実験 4：ペルソナ文から得られた生成文
は内挿性を持つか

まず，分類器が発話文を正確に分類できるのかについて確認したところ，正答率は 48.71%となり， chance
rate から 48.16%高い値となった．この結果から，分類
器は発話文がどの人物によるものかについての特徴を捉えられているといえる．
次に，source の人物と target の人物のペルソナ文を入れ替えて得られる中間人物埋め込みによる生成文を
target の人物だと分類器が予測する確率を図 3 に示す．
両端はそれぞれ，参考までに中間人物埋め込みの代わりに source の人物埋め込みを分類器に入力した場合の予測確率と，target の人物埋め込みを分類器に入力した場合の予測確率を表示した．

[4] Diederik P. Kingma and Max Welling. Autoencoding variational bayes. In Proc. ICLR, 2014.

0.125[5] 杉山 弘晃 et al. Transformer encoder-decoder モデルによる趣味雑談システムの構築. 人工知能学会研究会資料 言語・音声理解と対話処理研究会,
90:24, 2020.

0.100
0.075
0.050
0.025source

k=1

k=2

k=3

k=4

target

図 3: 分類器が中間人物埋め込み (k = 1, 2, 3, 4) から得られた生成文を target の人物の応答文だと予測する
確率．ただし左端，右端はそれぞれ，中間人物埋め込
みの代わりに source の人物埋め込みを用いた場合と，target の人物埋め込みを用いた場合．
結果として，k が大きくなると，つまり source のペルソナ文が target のペルソナ文に置き換わる数が増えると，その中間人物埋め込みから得られる生成文は分類器によって target の人物であると予測される確率が段階的に増加した． したがって，異なる人物の間の特徴を持つ人物による応答文を生成するように学習できたといえる．

6

まとめ

本研究では，内挿性と制御性のある人物埋め込みの学習を目的として，ペルソナ文とユーザ識別子の双方を扱い人物埋め込みを学習し，人物の特徴を反映した応答生成を行うモデルを提案した．実験の結果，提案手法により学習された人物埋め込みを用いることで，より人物の特徴を反映した応答文を生成できることがわ
かった．また人物埋め込み及び生成文の評価から，ペルソナ文単位での内挿性と制御性を持った人物埋め込みを構築できていることがわかった．

参考文献[1] Chiaki Miyazaki et al. Fundamental explorationof evaluation metrics for persona characteristics
of text utterances. In Proc. SIGdial, pages 178–
189, 2021.
[2] Jiwei Li et al. A persona-based neural conversation model. In Proc. ACL, pages 994–1003, 2016.
[3] Haoyu Song et al. BoB: BERT over BERT for
training persona-based dialogue models from limited personalized data. In Proc. ACL, pages 167–
177, 2021.

[6] Hiroaki Sugiyama et al. Empirical analysis oftraining strategies of transformer-based japanesechit-chat systems. In Proc. SLT, pages 685–691,
2023.
[7] Partha Ghosh et al. From variational to deterministic autoencoders. In Proc. ICLR, 2020.
[8] Chunyuan Li et al. Optimus: Organizing sentences via pre-trained modeling of a latent space.
In Proc. EMNLP, pages 4678–4699, 2020.
[9] Jacob Devlin et al. BERT: Pre-training of deep
bidirectional transformers for language understanding. In Proc. IJCNLP, pages 4171–4186,
2019.
[10] Shih-Lun Wu and Yi-Hsuan Yang. MuseMorphose: Full-song and ﬁne-grained piano music style transfer with one Transformer VAE.
TASLP, 2023.
[11] Ashish Vaswani et al. Attention is all you need.
In Proc. NeurIPS, volume 30, 2017.
[12] Hao Fu et al. Cyclical annealing schedule: A
simple approach to mitigating KL vanishing. In
Proc. NAACL, pages 240–250, 2019.
[13] Durk P Kingma et al. Improved variational inference with inverse autoregressive ﬂow. In Proc.
NeurIPS, volume 29, 2016.
[14] 趙 天雨 et al. 日本語自然言語処理における事前学
習モデルの公開. 人工知能学会研究会資料 言語・
音声理解と対話処理研究会, 93:169–170, 2021.
[15] Noam Shazeer et al. Adafactor: Adaptive learning rates with sublinear memory cost. In Proc.
ICML, pages 4596–4604, 2018.
[16] Thomas Wolf et al. Transformers: State-ofthe-art natural language processing. In Proc.
EMNLP, pages 38–45, 2020.