情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-32
2023/3/1

AI 百面相：ユーザ属性を用いた多様な人物像による雑談対話システム
大塚 淳史1,a)

石井 亮1

野本 済央1

弘晃2

杉山深山 篤1

中村 高雄1

概要：本論文では，多様な人物像を持つ AI との対話を行う雑談対話システムを提案する．提案システムでは，ユーザは対話したい人物像を，年齢等のユーザ属性を選択することで定義することができる．そして，定義した人物像の AI と任意の話題で自由に対話を行うことができる．これにより，ユーザはその日の気分や用途によって自由に対話相手を設定でき，継続的に多様な雑談対話を行えるシステムとなっている．
また，様々な人物像から特定の話題に対する意見を対話を通して取得する意見マイニングシステムとしても利用できる．多様な人物像に基づく対話を実現するために，本論文では，自動推定したユーザ属性を用いた事前学習モデルによる雑談対話システムを提案する．事前学習時にユーザ属性を付与して学習することで，幅広い対話知識をユーザ属性と関連付けて学習できる．これにより，多様な話題に対して，ユーザ属性に応じた対話を実現できる．評価実験では，従来のファインチューニングベースのモデルと比較して，ユーザ属性の効果がより高くなること，ユーザ属性により発話がより多様になることを示す．

1. はじめに雑談対話システムは，深層学習モデルの登場により目覚‫ٵ‬ೖͺՁΝ͢Ή͖ͤʃ

ましい性能向上を果たした [2], [13]．深層学習モデルによる雑談対話システムは，多様な話題に対して，継続して破綻せずに対話を行うことが可能である．

ᶅয়‫ڱ‬ʀགྷ๮ͶԢͣͱ$,͹ਕ෼଀ΝఈٝϤʖδͺ͍Δ͖ͣΌࣙਐ͹଒੓Νઅఈ

近年，雑談対話システムの更なる満足度向上や継続利用欲求の向上を目的に，システムに個性を付与する研究が多図 1ഛ͏෼Ͷߨ͍ͮͪͳͶϏηνΝ
ࡠΕΉͤɽ

੬ਙ
৻
ভ঺৩
ঢ়ূ૔ક
料理が趣味ʞᶆઅఈͪ͢ਕ෼଀Νଲ࿫ϠυϩͶൕӫ

⼥性ୃৈૅেృପ૔ક฻๜ऌऋະ௡ঘ‫ش‬२രਙહऌහ୥ৌਵঔॹঝ

ᶇઅఈͪ͢ਕ෼଀Ν࣍ͯ$,ͳ೜қ͹࿫ୌͲଲ࿫ໝࢾ͗ۛ͏͖
Δग़͵ΞͫΓ͸

ユーザ属性に基づく雑談システムの利用の流れ．

く報告されている．例えば，特定のキャラクタの再現することにより，利用者になじみやすくかつ親しみやすい対話システムの実装がある [3]．この場合，キャラクタを再現するための学習データを大量に必要するという課題がある．
少量のデータで個性を付与する手法として，対話モデルの入力に，疑似的な人物情報であるペルソナをプロンプトとして記述し，そのペルソナに則った応答を生成する研究も報告されている [12]．ユーザは任意のプロンプトを記述するだけで，対話モデルに多様な個性を付与するができるが，プロンプトに記載していない情報に関する応答が難しく，対話モデルの個性の他，対話したい内容についての詳細やそれに対する応答等を詳細にプロンプトを記載する必要がある．プロンプトについての背景や関連知識を考慮するためには，外部知識を用いた推論処理を必要とする [4], [11]．
本論文では，多様な人物像による雑談対話システムを提案する．システムの利用のイメージを図 1 に示す．システ
ムでは，ユーザは対話したい人物像の属性（年齢，職業，居住地，趣味等）を選択するだけで，選択した人物像に基づいた対話 AI と，任意の話題についての雑談対話を実行できる．また，対話モデルは自身のユーザ属性だけでなく，対話相手の属性も考慮して発話生成を行うため，事前にユーザ自身の属性情報を登録することで，ユーザ自身の属性に合わせた対話を行うことができる．これらは 1 つの対話モデルにより実現されるため，ユーザ属性の切り替え時にモデルの切り替えは不要である．ユーザはその日の気分や用途に合わせて，対話モデルの属性を自由に変更することができる．自身と近い属性を設定して友達感覚で対話することも可能であるし，あえて年代や地域を異なる属性に設定することで，普段では接する機会が少ない人物像と12a)

NTT デジタルツインコンピューティング研究センタ
NTT コミュニケーション科学基礎研究所
atsushi.otsuka.vs@hco.ntt.co.jp© 2023 Information Processing Society of Japanの対話を行うことができる．同じ話題であってもユーザ属性によって返答内容は変化するため，例えば，ある話題に608情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-32
2023/3/1

対して，年齢，居住地など様々なパターンの人物からアド

事前学習用データ．
ユーザ数1,007,339
表 1

バイスや意見をもらうという意見マイニングとしての利用

ユーザ属性組み合わせ総数も期待できる．

リプライペア数

様々なユーザ属性に基づく雑談対話システムを実現する

2,175
1,301,168,570

ために，本論文では，ユーザ属性付き事前学習モデルを提案する．深層学習型モデルでは，大規模なオープンデータで学習した事前学習モデルを，少量の高品質なデータでファインチューニングすることで目的のモデルを学習する．オープンデータには所望のアノテーションは付与させておらず，かつ大規模なデータに対して人手でアノテーションすることは現実的なないため，従来研究では，ファインチューニング時に個性を定義するプロンプトやアノテーションを付与していた．個性はファインチューニング

表 2

基本ユーザ属性推定内訳．既婚は or 未婚は既婚ラベルのみ（ラベルなしは未婚となる）．
年齢

性別

20 代

690,842,392

女性

557,836,904

30 代

128,440,221

男性

441,809,462

40 代

103,304,429

10 代63,883,673

60 代

5,469,681

50 代

4,171,332のデータのみで事前学習モデルの知識と結びつくため，付

既婚
既婚

職業

147,192,421

居住地

与した個性と事前学習の膨大な知識との結びつきが弱く，

会社員

405,076,925

関東

538,096,358

ファインチューニングデータの範囲外の話題に対しては個

大学生

189,376,550

近畿

272,929,741

性を維持することは難しい．それに対して提案モデルは，

アルバイト

158,019,739

東海

13,084,462

事前学習モデル学習時にユーザ属性を付与するため，ユー

無職

58,781,115

北海道・東北10,943,549

ザ属性と対話知識を関連付けしながら学習できる．そのた

主婦

56,013,691

中国・四国

4,911,275

め，ユーザの属性と膨大な事前学習の知識がより深いレベ

自営業

37,425,892

北信越

ルで結びつき，入力したユーザ属性に応じて応答発話を生高校生

7,480,769

成できるようになる．ユーザ属性の自動推定技術を用いる団体職員

5,347,385

ことで，事前学習モデルの学習時にユーザ属性の付与を可

公務員

86,968658,356

能としている．
本論文の貢献：本論文では，以下の貢献を果たした．

• 任意のユーザ属性の組み合わせにより人物像を定義する雑談対話システムを開発した．

2.1 ユーザ属性の推定と学習データ作成
事前学習モデルにユーザ属性を付加するには，Twitterユーザの属性が既知である必要があるが，Twitier ユーザ• ユーザ属性に基づく雑談対話を実現するために，ユーの属性を入手するのは非常に困難である．そこで本論文でザ属性を考慮した事前学習対話モデルの学習方法を提は，ツイート内容から Twitier ユーザの属性を推定する手案した．

法を採用することにより，学習データに Twitier ユーザの• 評価実験により，ユーザ属性を事前学習時に付与する属性を付与する．本論文では，平野ら [15] の手法を採用すことで，ファインチューニング時のみにユーザ属性をる．平野らは Markov Logic を利用することで，ツイート付与するよりも，ユーザ属性の効果が高まることを明

内容や他のユーザ属性に対して論理的に矛盾のないユーザらかにした．また，ユーザ属性を切り替えることで，属性の組み合わせを出力する．推定可能な属性は，年齢，多様な応答が生成されることを明らかにした．

性別，職業，居住地，既婚 or 未婚の基本属性と，18 種類

2. ユーザ属性付き雑談対話モデルの趣味項目である．ユーザ推定は以下の手順で実行した．

( 1 ) 1 年間で 500 ツイートしているユーザを抽出．

本節では，雑談対話システムに使用する深層学習モデル( 2 ) 繰り返し同文のツイートをしているユーザ，リツイーについて述べる．雑談対話では，Twitier のリプライペア

トが 50 ％以上のユーザ，名前に bot, oﬃcial を含むを対話データとみなして事前学習モデルを学習する手法がユーザを除外．

報告されている [9]．本論文では，従来研究と同様の手法で事前学習モデルを学習する．
雑談対話の対話内容およびスタイルはユーザによって千( 3 ) ユーザのツイートを 150 ツイート毎に分割して，分割したセットごとにユーザ属性推定を実施．

( 4 ) 推定結果の多数決で多数となった属性を採用．

差万別である．Twiter 等のオープンな大規模データで事前上記の手順で，Twitter ユーザの属性を推定し，ユーザ属性学習モデルを学習する場合，それらの対話傾向が一般化さを推定したユーザのリプライペアから事前学習モデルの学れて知識として学習されるため，個性や傾向は表出しにく習データを作成した．データの作成範囲は 2021 年 1 月かくなる．そこで本論文では，対話モデルの入力にユーザ属

ら 2022 年 7 月までである．学習データの詳細を表 1 に示性付与することで，属性に応じた対話的特徴を学習する．

す．また，ユーザ基本属性の推定結果を表 2 の通りである．

© 2023 Information Processing Society of Japan609

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-32
2023/3/1

表 3

ʤ$ RQHVLGH>86(5@ ঃ੓ɼେɼճऀҽɼ‫ؖ‬౨

>6(3@൅࿫ंϤʖδ଒੓޹͘͵ৱ΄෼ͺʃ作業者数೘ྙ൅࿫

評価実験用データ．
138

対話グループ数46

一人当たりの平均発話数112

発話数 (作業者同士)

5,858

1 対話あたりの平均発話数

42

発話数 (チャットボット）

9,940

1 対話あたりの平均発話数

142

ʤ% ERWKVLGHV>86(5@ ঃ੓ɼେɼճऀҽɼ‫ؖ‬౨

>6(3@>86(5@ ஋੓ɼେɼ୉ָਫ਼ɼۛ‫ق‬൅࿫ंϤʖδ଒੓

図 2>6(3@ ޹͘͵ৱ΄෼ͺʃଲ࿫Ϥʖδ଒੓೘ྙ൅࿫

事前学習モデルの入力フォーマット．

2.2 ユーザ属性を考慮した事前学習表 4

本 論 文 で は ，事 前 学 習 モ デ ル と し て ，Transformer

Encoder-Decoedr モデル [10] を使用する．モデルサイズ
はベースモデル（パラメータ数 222M）を採用する．
ユーザ属性を考慮した事前学習モデルを学習するために，ユーザ属性を含んだ入力文を作成する．事前学

基本ユーザ属性推定内訳．
年齢性別20 代26

女性

75

30 代36

男性

68

40 代

47

10 代

0

習 モ デ ル の 入 力 フ ォ ー マ ッ ト を 図 2 に 示 す ．こ こ で ，60 代

12[SEP ], [U SER1], [U SER2] は特殊トークンである．入力50 代

22時に発話者自身のユーザ属性のみを付与する場合 (one side)

職業

既婚
既婚

15

居住地と，発話者のユーザ属性に加えて対話相手のユーザ属性を会社員

39

東京都

49

付与する場合 (both side) の 2 種類のモデルを学習する．

大学生

18

神奈川県

26

深層学習による言語モデルでは，文中の一部の単語をマアルバイト

12

千葉県

15

スクし，マスクした単語を推定するタスクを行うことで，無職

9

大阪府

13

周囲の単語や文脈を考慮した言語モデルが学習できること

主婦

17

埼玉県

6が知られている [1]. 本論文では，事前学習として入力発話

自営業

3

愛知県

6に対する応答発話の学習に加えて，ユーザ属性の一部をマ

その他

40

北海道

6スクし，マスクした単語を推定するタスクを同時に学習す福岡県

3ることで，ユーザ属性と入出力発話との相互関係を学習す

その他

19る．マスクによる学習は T5 の BERT-Style 学習 [7] を採用
する．ここで，ランダムトークンへの置き換えは行わず，チャットログを収集した．作業者は，チャットシステムをマスクトークンの推定のみを行う．

用いて，作業同士の対話とチャットボットとの対話を行っ

3. 評価実験

た．データセットの詳細を表 3 におよび 4 に示す．このとき，作業者は 3 人一組のグループを構築している．1 人当

本節では，学習した事前学習モデルを用いた評価実験にたりの発話数は，同一グループの作業者との対話 2 人分とついて述べる．まず，3.1 で，ファインチューニングによチャットボットとの対話の合計である．チャットボットはる雑談対話の再現性について評価を行う．次に 3.2 で，事杉山ら [9] が公開している雑談対話モデルを使用する．

前学習モデルにおけるユーザ属性の影響について，多様性

3.1.2 実験設定
実験で使用する雑談対話モデルは，事前学習モデルとの観点から評価を行う．

ファインチューニングデータの組み合せおよび学習方法の3.1 雑談対話モデルの再現実験
本節では，ファインチューニングによる対話モデルの評組み合わせで決定する．

3.1.2.1 事前学習モデル

価を行う．従来研究では，汎用言語モデルまたは対話事前

t5base: 汎用言語モデルとして学習した T5 モデル．*1

学習モデルのファインチューニング時にペルソナ情報を付

utt-only: リプライ対のみで学習した対話モデル．

与する．そこで，従来の事前学習モデルと提案手法の事前one-side: 発話者のみの推定ユーザ属性を加えて，リプライ対で学習した対話モデル．

学習モデルを同様にファインチューニングしたとき，ファインチューニング後のモデルの性能評価を比較すること

both-sides: 発話者および対話相手の推定ユーザ属性を加えて，リプライ対で学習した対話モデル．

で，事前学習モデルのユーザ属性の効果を検証する．実験
では，テストセットでの対話の再現性を評価する．

both-sides-mask: 発話者および対話相手の推定ユーザ
属性を加えて，リプライ対で学習，ユーザ属性をマス

3.1.1 データセット
評価実験にあたり，チャットシステムを用いた個人の© 2023 Information Processing Society of Japan*1

https://huggingface.co/sonoisa/t5-base-japanese610

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

クし，属性推定タスクを同時学習した対話モデル．

2B-32
2023/3/1が高いといえる．

3.1.2.2 ファインチューニング用データ
ファインチューニングは事前学習モデルと同様の入力形式

3.2 ユーザ属性による多様性評価で学習を行う．事前学習モデル one-side および both-sides,

本節では，ユーザ属性を考慮した事前学習モデルについboth-sides-mask はそれぞれ one-side および both-sides デーて，ユーザ属性の効果を多様性の観点から評価を行う．入タでファインチューニングを行う．t5base および utt-only

力発話（質問）を固定し，ユーザ属性のみを変化させたとは全てのデータでファインチューニングを行う．

きの，出力発話の変化を評価する．

utt-only(uo): 発話データのみを使用して学習．

3.2.1 実験設定

one-side(os): 発話者のユーザ属性を付加し学習．

3.2.1.1 実験データ

both-sides(bs): 発話者および対話相手のユーザ属性を多様性評価のための実験データとして，杉山ら [14] の個付加して学習．対話相手がチャットボットの場合は人性を問う質問集から，高頻度の 100 質問を使用する．

ユーザ属性部分を “bot” として入力．

3.2.1.2 比較モデル
ユーザ属性の変化による出力発話の影響を調査するた

3.1.2.3 評価尺度
本論文では，対話モデルの性能評価として，テストデー
タにおける応答（出力）発話と正解発話との類似性を評価

め，one-side, both-sides, both-sides-mask の 3 種類の事前学習モデルを使用する．

3.2.1.3 評価尺度

する．評価尺度としてベクトルによる類似度 [6] を採用す

多様性評価のための評価尺度として，distinct-N[5] を採る．発話ベクトルの生成には SentenceTransformer[8]*2 の用する．distinct-N は出力発話の単語 N グラムの種類数をマルチリンガルモデルを用いた．テスト時には，テスト単語 N グラムの総数で除算したものである．distinct-N がデータの入力に対して，雑談対話モデルからビームサーチ高いほど，多様な N グラムが生成されていることになり，により 20 発話を生成する．類似度を用いた評価尺度は以多様な発話が生成されていることになる．

下の通りである．

1st: 生成発話のうち，尤度最上位の 1 発話と，テストデータの実際の発話とのベクトル類似度．

max: 生成発話のうち，実際の発話と最も類似度が高かった発話の類似度．

入力の質問ごとにユーザ属性を変更したときの，distinct-N を計算する．ここで，ユーザ属性は推定ラベルから考慮できる全組み合わせ (1296) から論理的に矛盾のある組みあわせ（未婚かつ主婦等）を除いたもの，また，事前学習モデルの学習セットに含まれるユーザ属性組み合わせの 80 ％rr-max: 類似度最大となった発話の生成逆順位．

（90）および 90 ％（186）を抽出したものを使用する．こhit-sim>0.7: 尤度最上位の発話のうち，実際の発話とのれは低頻度のユーザ属性の組みわせの影響を調査するため類似度が 0.7 以上となった割合．

hit-sim>0.9: 尤度最上位の発話のうち，実際の発話との類似度が 0.9 以上となった割合．

3.1.3 実験結果および考察
ファインチューニングによる個人性の再現実験結果を表5 に示す．推定したユーザ属性を入力したモデルが高い類である．distinct-N を計算する際に，ユーザ属性を発話者のみと両者を考慮する際では，組み合わせの 2 乗分のデータ数の差がでる．この影響を低減するために以下の手順でスコアの算出した．

• 各質問で，出力発話 50 個をランダムで抽出．
• 50 発話を 1 セットとして distinct-N を計算し，全セッ似度となっている．特に，発話者および対話相手の両者のトの平均値を算出．

属性を付加し，学習時にユーザ属性をマスクして推定し3.2.2 実験結果および考察た事前学習モデル（both-sides-mask）が最も高い類似度になっている．

事前学習モデルの多様性評価の結果を表 6 に示す．1gramの結果では，発話者のみのユーザ属性モデル (one-side) が事前学習モデルでユーザ属性を考慮しないモデル（t5base,最も高いスコアとなった．2gram になると発話者と相手のutt-only）では，ファインチューニング時にユーザ属性を両方を考慮したモデル（both-sides-mask）が one-side を上入力しても，学習の効果は大きくなかった．特に，発話者回り，文単位では大きな差で両者を考慮するモデルが最もと対話相手の両者のユーザ属性を入力した場合，類似度が多様な文が生成できている．

低下する結果となった．これは学習データが少なく，ユー

本実験で用いた質問は，個性やパーソナリティを問うもザ属性の特徴を充分に学習できなかったためであると考えのである．自身の趣味や価値観は対話相手によって変化すられる．ユーザ属性を含めた対話モデルでは，推定したもるものではないため，発話中に使用される単語が変化せずのであっても事前学習モデルの時点で付加したほうが効果に低い多様性となったと考えられる．一方で，対話相手によって口調や言い回しが変化しているため，最終的な文単*2

https://huggingface.co/sentence-transformers© 2023 Information Processing Society of Japan位では，対話相手のユーザ属性に応じてより多様な文が生611

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-32
2023/3/1

発話の再現実験結果．FT はファインチューニングおよびテストで用いた入力

表 5フォーマットである．太字は各指標での最高値である．偏差は全結果に関しての偏差である．
FT
1stモデルt5baseutt-only

表 6maxrr-max

hit-sim>0.9

hit-sim>0.7

uo0.363 ± 0.232

0.606 ± 0.180

0.173 ± 0.209

0.02130.088

os

0.355 ± 0.230

0.600 ± 0.180

0.166 ± 0.197

0.02020.0811bs

0.347 ± 0.229

0.603 ± 0.175

0.175 ± 0.213

0.02240.0708uo0.355 ± 0.233

0.603 ± 0.180

0.171 ± 0.212

0.02240.102

os

0.372 ± 0.253

0.617 ± 0.181

0.175 ± 0.213

0.02930.107

bs

0.385 ± 0.253

0.619 ± 0.174

0.182 ± 0.213

0.03120.111

one-side

os

0.397 ± 0.254

0.621 ± 0.193

0.188 ± 0.229

0.03260.121

both-sides

bs0.389 ± 0.258

0.620 ± 0.187

0.181 ± 0.223

0.03370.127

both-sides-mask

bs0.398 ± 0.252

0.634 ± 0.191

0.180 ± 0.223

0.03330.131

図 3

雑談対話デモ UI．ユーザは「30 代，男性，会社員，関東」を設定．

ユーザ属性による事前学習モデルの多様性実験．N はせにおいても，多様性に寄与していることが実験結果からdistinct-N の N-gram に対応する．N ＝ S は異なり文の明らかになった．これは，頻度の低い組み合わせにおいて割合を示している．user について all はユーザ属性の全組も，個別の属性を考慮しながら発話を生成しているためで

み合わせ，0.9 は学習データの上位 90 ％, 0.8 は上位 80 ％あると考えられる．のユーザ属性の組み合わせのみを使用したものである．
user
N=1
N=2
N=S

4. 雑談対話デモシステム

one-side

both-sides

both-sided-mask

all

0.135

0.248

0.579

0.9

0.118

0.216

0.491

0.8

0.108

0.187

0.428

all

0.093

0.164

0.462

0.9

0.082

0.166

0.458

0.8

0.081

0.163

0.457

all

0.110

0.259

0.820

0.9

0.094

0.231

0.798

た対話を行うことができる．モデルは both-sides-mask の0.8

0.091

0.223

0.789

ファインチューニングモデルを利用している．人物像を決

本論文の提案モデルを実装した雑談対話システムを図 3に示す．システムではまず，対話相手となる AI の人物像を決定する．人物像は，推定可能な属性である「年代，性別，職業，既婚 or 未婚，出身地」を選択方式で決定する．
また，一部趣味等の情報を追記可能である．事前にユーザ自身の属性を登録しておくことで，ユーザの属性も考慮し定した後は，従来のチャットシステムと同様に発話テキス成されたと考えられる．応答例を表 7 に示す．これは，事前学習時に最も高頻度で出現したユーザ属性である “20 代,女性, 関東, 会社員” の応答について，対話相手を変化させたときの結果である．質問に対して回答内容に大きな変化トを入力することで AI との雑談対話を実行可能である．
図 3 では，「最近どう？」という曖昧な発話を入力したときの返答が異なることがわかる．その後の返答の内容も定義したユーザ属性に基づいた対話が行われている．

はないが，口調やニュアンスが相手によりて変化している．
学習データに少量しか含まれないユーザ属性の組み合わ© 2023 Information Processing Society of Japan612

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-32
2023/3/1

対話相手による生成発話例．
料理はしますか？
一人でいるよりもみんなでいるほうが表 7

対話相手好きですか？

20 代, 女性, 関東, 会社員

10 代, 男性, 関東, 大学生

料理はしないですね。でも、お菓子ひとりでいるよりみんなでいる方が好作りとかもしますよ!あとたまにご飯きです!で一人だと寂しいので誰かと作ってますね〜(笑)

いたいですね。

料理はしないかなぁ...。お菓子作りと1 人だと、なんか寂しくなっちゃうん

かも好きだけどねぇ〜ですよね...。でもみんなでいると楽し料理はしないですね。でも、お菓子作ひとりでいるよりみんなでいる方が好りとかも好きですよ

きです!

いです!

40 代, 男性, 関東, 会社員

5. おわりに[6]

本論文では，ユーザの属性の組みわせによる人物像に基づく雑談対話システムを提案した．提案システムでは，同一の話題に対しても，設定した人物像に基づいて多様な対話を生成できる．また，対話を実現するモデルとして，ユーザ属性を付与した対話事前学習モデルを提案した．提[7]

案モデルは事前学習時に自動推定可能なユーザ属性を付与して，モデル学習を行うことで，ユーザ属性に結びついた対話モデルが学習できる．評価実験の結果，提案モデルは[8]ユーザ属性を切り替えることで，より多様な対話を行えることを確認した．
今後は事前学習時により多くの属性を導入する手法を検討し，更に多様な人物像を定義可能にすることを目指す．

[9]

参考文献
[1]

[2]

[3]

[4]

[5]

J. Devlin, M. Chang, K. Lee, and K. Toutanova. BERT:
pre-training of deep bidirectional transformers for language understanding. In J. Burstein, C. Doran, andT. Solorio eds., Proceedings of the 2019 Conference of
the North American Chapter of the Association for
Computational Linguistics: Human Language Technologies NAACL-HLT, pp. 4171–4186. Association for
Computational Linguistics, 2019.
X. Gu, K. M. Yoo, and J.-W. Ha. DialogBERT:
Discourse-aware response generation via learning to recover and rank utterances. 2021.
R. Higashinaka, M. Mizukami, H. Kawabata, E. Yamaguchi, N. Adachi, and J. Tomita. Role play-basedquestion-answering by real users for building chatbots
with consistent personalities. In Proceedings of the 19th
Annual SIGdial Meeting on Discourse and Dialogue,
pp. 264–272, July 2018.
Y. Jang, J. Lim, Y. Hur, D. Oh, S. S. Y. Leea,
D. Shin, S. Kim, and H. Lim. Call for customized conversation:customized conversation grounding persona andknowledge. pp. 10803–10812, 2022.
J. Li, M. Galley, C. Brockett, J. Gao, and B. Dolan.
A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association
for Computational Linguistics: Human Language Technologies, pp. 110–119, San Diego, California, June 2016.

© 2023 Information Processing Society of Japan

[10]

[11]

[12]

[13]

[14]

[15]

Association for Computational Linguistics.
C.-W. Liu, R. Lowe, I. Serban, M. Noseworthy, L. Charlin, and J. Pineau. How NOT to evaluate your dialoguesystem: An empirical study of unsupervised evaluation
metrics for dialogue response generation. In Proceedingsof the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2122–2132. Association for
Computational Linguistics, 2016.
C. Raﬀel, N. Shazeer, A. Roberts, K. Lee, S. Narang,
M. Matena, Y. Zhou, W. Li, and P. J. Liu. Exploring the limits of transfer learning with a uniﬁed textto-text transformer. Journal of Machine Learning Research, 21(140):1–67, 2020.
N. Reimers and I. Gurevych. Sentence-BERT: Sentence
embeddings using Siamese BERT-networks. In Proceedings of the 2019 Conference on Empirical Methods
in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 3982–3992, Nov. 2019.
H. Sugiyama, M. Mizukami, T. Arimoto, H. Narimatsu,Y. Chiba, H. Nakajima, and T. Meguro. Empirical analysis of training strategies of transformer-based japanesechit-chat systems, 2021.
A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit,
L. Jones, A. N. Gomez, L. u. Kaiser, and I. Polosukhin.
Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 30. Curran Associates,Inc., 2017.
Z. Wang, X. Zhou, R. Koncel-Kedziorski, A. Marin, andF. Xia. Extracting and inferring personal attributes fromdialogue. In Proceedings of the 4th Workshop on NLP
for Conversational AI, pp. 58–69, 2022.
S. Zhang, E. Dinan, J. Urbanek, A. Szlam, D. Kiela,
and J. Weston. Personalizing dialogue agents: I have adog, do you have pets too? In Proceedings of the 56thAnnual Meeting of the Association for ComputationalLinguistics (Volume 1: Long Papers), pp. 2204–2213,July 2018.
Y. Zhang, S. Sun, M. Galley, Y.-C. Chen, C. Brockett,X. Gao, J. Gao, J. Liu, and B. Dolan. Dialogpt: Largescale generative pre-training for conversational responsegeneration. In ACL, system demonstration, 2020.
杉 山, 目 黒, 東 中. 対 話 シ ス テ ム の パ ー ソ ナ リ テ ィ を問う質問の大規模な収集と分析. 人工知能学会論文誌,
advpub:DSF–518, 2016.
平 野, 牧 野, 松 尾. Markov logic を 用 い た テ キ ス ト から の ユ ー ザ 属 性 推 定 . 人 工 知 能 学 会 全 国 大 会 論 文 集,
JSAI2013:3E33–3E33, 2013.

613