# RealPersonaChat: 話者本人のペルソナと性格特性を含んだ 雑談対話コーパス

山下紗苗 ${ }^{1}$ 井上昂治 ${ }^{2}$ 郭傲 $^{1}$ 望月翔太 ${ }^{1}$ 河原達也 ${ }^{2}$ 東中竜一郎 ${ }^{1}$
1 名古屋大学大学院情報学研究科 2 京都大学大学院情報学研究科
\{yamashita.sanae.w7@s, guo.ao.i6@f, mochizuki.shota.k8@s\}.mail.nagoya-u.ac.jp
higashinaka@i.nagoya-u.ac.jp \{inoue.koji.3x@, kawahara@i.\}kyoto-u.ac.jp

## 概要

雑談対話システムを設計する際，個性は重要な要素である。人間らしく個性を表出可能な対話システムを実現するために，所与のペルソナに基づいて対話した PersonaChat コーパスが存在する。しかし，当該コーパスでは話者本人のペルソナを使用しておらず，不自然な対話が生じている可能性がある。 そこで，我々は，話者本人のペルソナと性格特性を含む，14,000 件の日本語対話からなる RealPersonaChat (RPC) コーパスを構築した. 我々は，RPC と既存のコーパスを比較し，RPC の対話はペルソナの情報を過剰に含まないこと，第三者による対話満足度が高いことを明らかにした。また，RPCを用いて個性を反映した対話システムが構築できることを示した.本コーパスは $\mathrm{GitHub}^{1)}$ で公開している.

## 1 はじめに

雑談対話システムを設計する際，個性は重要な要素である $[1,2]$. 人間らしく個性を表出可能な対話システムを実現するために，所与のペルソナに基づいて行われた雑談対話を収めた PersonaChat (PC) コーパスが存在する [3]. PC は，それぞれ異なるぺルソナ（話者のプロフィールをいくつかの文章で表したもの）を与えられた 2 人の話者が，それらに基づいて対話することで構築された。

しかし，PCでは架空のペルソナが使用されており，話者本人のペルソナが対象となっていないという問題がある．そのため，人間らしい個性が対話中に適切に表出されていないと考えられる。このようなコーパスで学習した対話システムは，人間らしい個性の表出が困難な可能性がある.

そこで我々は，話者本人のペルソナと性格特性を

1) https://github.com/nu-dialogue/real-persona-chat収集し，話者同士に自由に雑談対話を行わせることで，14,000 件の日本語対話からなる RealPersonaChat (RPC) コーパスを構築した。本論文では，まず，その構築方法と統計情報を述べる. 次に，対話にぺルソナの情報が出現する頻度と対話満足度について，RPC と既存のコーパスである JPersonaChat (JPC; PersonaChat コーパスの日本語版）コーパスを比較する.また，RPCを用いて個性を反映した対話システムを構築し，その性能を評価する。最後に，本コー パスについて倫理的な観点から議論する.

## 2 関連研究

データに基づく方法論で対話システムを開発するために，多くの大規模な対話コーパスが構築されてきた $[4,5]$. この流れの中で, 人間らしい個性を持った対話システムを実現するために構築されたコーパスが，架空のペルソナを基に行われた対話からなる PC [3] や，その日本語版である JPC [6] である.

Tang ら [7] は, DialoGPT [8]を PC で fine-tune することで，与えられたペルソナの情報を反映した対話システムを開発した. Shea ら [9] は，PCを用いて，発話候補がペルソナと合致するかどうかを報酬とした強化学習を行うことで，対話システムの個性の一貫性を向上させることに成功している。JPC は，日本語の対話システムに個性を持たせるために広く利用されている $[10,11]$.

話者の性格情報が付属したその他のコーパスとして, PersonalDialog [2], PANDORA [12], FriendsPersona [13] などがある.これらのコーパスは話者本人の Big Five，年齢，性別などの情報を含んでいるが， ソーシャルメディア上でのやり取りやテレビ番組から収集した対話が対象となっており，一対一のテキストチャットとは異なる性質を持つ。また，ペルソナや多様な性格特性も含まれていない.

## 3 RealPersonaChat

RealPersonaChat コーパスの構築は，話者の募集，事前アンケートの実施，対話の収集，事後アンケー トの実施，の順に実施した.

コーパスの収集にあたっては，名古屋大学において，収集手順やデータの保管方法等，倫理面についての審査を経ている。対話データの収集においては，すべての話者は，自身や第三者の個人情報を提示しないこと，著作権を放棄すること，データを公開することに同意するとともに，我々が，すべてのデータについて個人情報や不適切と考えられる発話がないかを確認している.

## 3.1 話者の募集

我々は，クラウドソーシング2)を通じて 233 人の話者を募った. 話者の条件は, 日本語の母語話者であり，テキストチャットに慣れていること（1 分あたり 200 文字以上大力可能）とした. 可能な限り性別や年齢のバランスを取った結果，男女比は $4: 6$,年齢は $20,30,40$ 代がそれぞれ 3 割程度である.

## 3.2 事前アンケートの実施

対話データの収集に先んじて，話者は，自身の性格特性に関する事前アンケートに回答した。話者の幅広い性格特性をカバーするために，我々は次の 5 つのアンケートを使用した.
- Big Five [14, 15]: 性格を評価する尺度．和田 [16] による質問項目を用いた。 5 項目からなる.
- Kikuchi’s Scale of Social Skills (KiSS-18) [17]: 社会的スキルを評価する尺度. 6 項目からなる.
- Inclusion of Others in the Self (IOS) [18]: 他者との距離感を評価する尺度. 1 項目からなる.
- Adult Temperament Questionnaire (ATQ) [19]: 気質を評価する尺度. 13 項目からなる。
- Self-Monitoring Scale (SMS) [20]: 様々な状況での適切な行動制御能力を評価する尺度. 3 項目からなる。

上記の性格特性に加えて，話者の属性とテキストチャットの経験についても尋ねた. 属性は，性別，年齢，教育歴，就労状況，居住地域を含む. テキストチャットの経験は，初めてテキストチャットをした時の年齢，普段のテキストチャットの頻度，相

2) https://www. lancers.jp/

## 手，主な内容を含む.

また，ペルソナとして，話者自身を表す簡潔な文を 10 文作成させた. 各文は約 5 30 文字の長さとした. ペルソナの内容は，他者が自分をよく理解できるようなものとし，矛盾や重複がないように指示した. 性格特性の項目の一覧，および，ペルソナの例は，付録 $\mathrm{A}$ の表 7 を参照のこと。

## 3.3 対話の収集

話者はペアとなり，テキストチャットを行った. 1 対話あたり 30 発話以上, 1 発話あたり 50 文字以内を目安として，各話者は交互に発話した．話者の組み合わせが偏らないように，同じぺアは 40 回以上対話できないものとした．また， 1 人の話者は 200 回以上対話できないものとした. このような条件のもと，話者は自由に話題を選んで対話した。

各対話が終了した後, 話者は対話の質（相手発話の情報量, 相手発話の理解度，相手の親しみやすさ，自身の興味の度合い，自身の積極性，自身の満足度）をそれぞれ 5 段階で評価した。

## 3.4 事後アンケートの実施

各話者は，自身のすべての対話が完了した後，印象に残った対話を自由記述で回答した。

## 4 統計情報

表 1 に，RPC の基本統計量を示す。比較のために，既存の日本語コーパスである JPC と英語コーパスである PC の統計量も示す。なお，JPC は，PCのペルソナを日本語に翻訳し，翻訳されたペルソナを用いて対話を収集したものである. 我々が構築した RPC は，14,000 件の対話からなる最大のコーパスである。発話数としても，JPCの 7 倍近くあり，デー タ駆動型の研究には十分な分量を有していると言える.また，話者本人のペルソナや性格特性を含むという他のデータセットでは見られない特徵を持つ.

表 2 に，対話後アンケートの結果を示す. 平均評価はどれも 4.5 点前後であった（最低 1 点，最高 5 点). $60 \%$ 以上の評価が最高点の 5 点であったことから，RPC には満足度の高い対話が含まれていることが確認できる.

## 5 既存コーパスとの比較

RPC の特徴を明らかにするため，RPC を既存コー パスの JPC と比較した.
表 1 RealPersonaChat, JPersonaChat, および PersonaChat の基本統計量.

表 2 対話の質の評価結果。

## 5.1 ペルソナ出現率

与えられたペルソナに基づいて収集された JPC とそうでない RPC の間で，ペルソナに含まれる単語 （ペルソナ単語と呼ぶ）が発話に出現する割合に違いがあるかを検証した．具体的には，式 (1)で定義されるペルソナ出現率 (PF) を求め, RPC と JPC の $\mathrm{PF}$ 比較した。

$
\mathrm{PF}=\frac{\text { 発話に含まれるペルソナ単語数 }}{\text { 発話に含まれる単語数 }}
$

ペルソナの長さは RPC と JPC で異なるため, RPC のペルソナ出現率を求める場合は, 式 (1) に $L_{\mathrm{JPC}} / L_{\mathrm{RPC}}$ を掛けて補正した。ここで， $L$ は各コーパスにおけるペルソナの平均文字数を示す. 形態素解析器には MeCab [21], 辞書には NEologd [22]を用いた. PF は，ペルソナ単語を名詞または内容語（名詞，動詞，形容詞，副詞）とした場合についてそれぞれ求めた.

表 3 に RPC と JPCの PFを示す. RPCの PF は 2 3\%であった.この值は，ペルソナの使用に関して何も指示されていない，自然な対話における PF と考えられる。一方で，JPC の PF は 13 14\%と高く，Mann Whitney U 検定を実施したところ，RPC と $\mathrm{JPC}$ の間には有意差が見られた $(p<0.05)$. このことから，JPC の対話は過剩にペルソナの情報を含んでいる可能性が考えられる。表 3 ペルソナ出現率 (PF)。*はRPC と JPC の間で $p<0.05$ で有意差が見られたことを示す.

## 5.2 第三者による主観評価

対話の質，および，対話から話者の性格やペルソナを認識できる度合いを比較するために，RPC と JPC の対話を第三者に主観評価させた. 具体的には，まず，評価対象として各コーパスからランダムに 30 対話ずつ, 合計 60 対話を抽出した. そして, 1 つの対話が異なる 3 人に評価されるように，クラウドソーシング3) で募った 60 人の評価者に，それぞれ 3 対話ずつ評価させた。

主観評価には次の項目を用いた。
- 対話の質 : 第三者目線で，対話の一貫性，情報量，満足度 [23] を 5 段階で評価させた。

・ペルソナの正解率 : 対話に参加した 2 人の話者のうち一方のペルソナと，他の対話から得られた当該話者のものではないぺルソナから，前者のペルソナと思われるものを選択させた。この指標の値が高ければ，対話がペルソナと強く関連していると考えられる。
- 性格特性スコアの相関係数：対話に参加した 2 人の話者のうち一方の話者の性格について, Big Five のアンケート (TIPI-J) [24] に回答させた後，このスコアと話者本人のスコアとの相関係数を求めた. アンケートを第三者に回答させる方法は Jiang ら [13] を参考にした。この指標の值が高ければ，対話から性格特性が強く認識可能であると考えられる。なお，JPC には話者の

表 4 対話の質の第三者評価の結果。*は RPC と JPC の間で $p<0.05$ で有意差が見られたことを示す.

表 5 ペルソナの正解率の第三者評価の結果. *は $p<0.05$ で有意差が見られたことを示す.

性格特性スコアが存在しないため，この評価は RPC に対してのみ行った。

表 4 に対話の質の評価結果を示す. Mann Whitney $\mathrm{U}$ 検定を実施したところ，満足度について，RPC が JPC を有意に上回っていることが確認できた $(p<0.05)$. 他の項目には差が見られなかった.

表 5 にペルソナの正解率を示す．RPC の $61 \%$ は， ペルソナの使用に関して何も指示されていない，自然な対話における正解率と考えられる。一方で， JPC の正解率は $82 \%$ であり，比率の差の検定を実施したところ，JPC が RPC を有意に上回っていた $(p<0.05)$. このことから, JPC の対話はペルソナと強く関連しており，JPC がペルソナの使用において偏った分布を持つ可能性が示唆された.

性格特性スコアの相関係数に関しては，開放性，誠実性，外向性，協調性，神経症傾向における Pearson の相関係数は，それぞれ $-0.09,0.17,-0.04$, 0.14, 0.04 であり，相関は低かった．このことは，自然に収集された対話から話者の性格特性を認識することが難しいことを意味しており，話者本人が自覚する性格と第三者が認識可能な性格に差があることが示唆された。

## 6 対話システムへの適用

我々は，RPC の対話システム構築における有用性を評価するため，RPCを用いて実際に対話システムを構築し，その性能を評価した（本評価の詳細は [25]を参照のこと).

対話システムは, OpenAIの gpt-4-0613 にプロンプトを介して話者のペルソナや性格特性を与えたものとし，対話履歴を入力として次の発話を出力するように設計した. ペルソナは， 10 文をそのまま用いた. 性格特性は，各スコアをすべての話者の中央値で二分し，「開放性が高い」「誠実性が低い」のように文章化して用いた。表 6 RPCを用いた対話システムの評価結果．飯塚ら [25] の論文より抜粋．太字は各列の最大値を示す。

ペルソナと性格特性が対話のパフォーマンスに及ぼす影響を調べるため，プロンプトで与える情報を 「ペルソナ+性格特性」「ペルソナ」「性格特性」「なし」と変化させた 4 種類の対話システムを構築した. ペルソナや性格特性には，RPCからランダムに選んだ 10 人の話者のものを使用した。

評価にあたっては，120人のクラウドワーカを 30 人ずつに分け，システムと交互にテキストチャットを行わせ，一貫性，情報性，満足度を 5 段階で評価させた. 対話の長さは 20 発話とした.

表 6 に評価結果を示す.ペルソナと性格特性の両方を用いた結果，全体を通して高いスコアが得られた。一方で，性格特性のみを用いた結果，情報量や満足度が低下した，そのような対話では，内向的な性格を与えると「そう。」「別に。」といった単調な返事をするなど，性格特性が反映されすぎることが確認された。このことは，個性を反映した発話生成が可能であることを示唆している.

## 7 おわりに

本研究では，話者本人のペルソナや性格特性を収集して当該話者に自由に対話をさせることで，14,000 件の日本語対話からなる RealPersonaChat (RPC) コーパスを構築した. 統計量や既存コーパスとの比較を通じて，RPC の自然さと対話の質（特に満足度）が高いことを確認した。また，RPCを用いて個性を反映した対話システムが構築できることを確認した。

本コーパスの利用においては，倫理的な側面を考慮する必要がある. 特に，プライバシーの保護 （データから個人を特定しない）には十分留意する必要がある．また，本コーパスを用いることで，対話からの話者の属性や性格特性の推定が可能となると考えられるため，自身の情報を推定されたくない話者の権利についても留意すべきである [26]. さらに，特定の話者へのなりすましなどへの利用も考えられるため，そのような利用がなされないためのガイドラインを提示する必要があると考える。

## 謝辞

本研究は，JST ムーンショット型研究開発事業, JPMJMS2011の支援を受けたものである.

## 参考文献

[1] François Mairesse and Marilyn Walker. PERSONAGE: Personality generation for dialogue. In Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics, pp. 496-503, 2007.

[2] Yinhe Zheng, Guanyi Chen, Minlie Huang, Song Liu, and Xuan Zhu. Personalized dialogue generation with diversified traits. arXiv preprint arXiv:1901.09672, 2019.

[3] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, 2018.

[4] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A manually labelled multiturn dialogue dataset. In Proceedings of the 8th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 986-995, 2017.

[5] Hannah Rashkin, Eric Michael Smith, Margaret Li, and YLan Boureau. Towards empathetic open-domain conversation models: A new benchmark and dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5370-5381, 2019.

[6] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based Japanese chit-chat systems. In Proceedings of 2022 IEEE Spoken Language Technology Workshop, pp. 685-691, 2023.

[7] Fengyi Tang, Lifan Zeng, Fei Wang, and Jiayu Zhou. Persona authentication through generative dialogue. arXiv preprint arXiv:2110.12949, 2021.

[8] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and Bill Dolan. DialoGPT: Large-scale generative pre-training for conversational response generation. arXiv preprint arXiv:1911.00536, 2019.

[9] Ryan Shea and Zhou Yu. Building persona consistent dialogue agents with offline reinforcement learning. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, pp. 1778-1795, 2023 .

[10] Tomohito Kasahara, Daisuke Kawahara, Nguyen Tung, Shengzhe Li, Kenta Shinzato, and Toshinori Sato. Building a personalized dialogue system with prompt-tuning. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Student Research Workshop, pp. 96-105, 2022.

[11] Kenta Yamamoto, Koji Inoue, and Tatsuya Kawahara. Character expression of a conversational robot for adapting to user personality. Advanced Robotics, pp. 1-11, 2023.

[12] Matej Gjurković, Mladen Karan, Iva Vukojević, Mihaela
Bošnjak, and Jan Snajder. PANDORA talks: Personality and demographics on Reddit. In Proceedings of the 9th International Workshop on Natural Language Processing for Social Media, pp. 138-152, 2021.

[13] Hang Jiang, Xianzhe Zhang, and Jinho D Choi. Automatic text-based personality recognition on monologues and multiparty dialogues using attentive networks and contextual embeddings. In Proceedings of the 34th AAAI Conference on Artificial Intelligence, Vol. 34, pp. 13821-13822, 2020.

[14] Lewis R Goldberg. An alternative "description of personality": The big-five factor structure. Journal of Personality and Social Psychology, Vol. 59, No. 6, pp. 1216-1229, 1990.

[15] Robert R McCrae and Oliver P John. An introduction to the five-factor model and its applications. Journal of Personality, Vol. 60, No. 2, pp. 175-215, 1992.

[16] 和田さゆり. 性格特性用語を用いた Big Five 尺度の作成. 心理学研究, Vol. 67, No. 1, pp. 61-67, 1996.

[17] 菊池章夫. KiSS-18 研究ノート. 岩手県立大学社会福祉学部紀要, Vol. 6, No. 2, pp. 41-51, 2004.

[18] Arthur Aron, Elaine N Aron, and Danny Smollan. Inclusion of other in the self scale and the structure of interpersonal closeness. Journal of Personality and Social Psychology, Vol. 63, No. 4, p. 596, 1992.

[19] David E Evans and Mary K Rothbart. Developing a model for adult temperament. Journal of Research in Personality, Vol. 41, No. 4, pp. 868-888, 2007.

[20]岩淵千明, 田中国夫, 中里浩明. セルフ・モニタリング尺度に関する研究. 心理学研究, Vol. 53, No. 1, pp. 54-57, 1982.

[21] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the $\mathbf{2 0 0 4}$ Conference on Empirical Methods in Natural Language Processing, pp. 230-237, 2004.

[22] 佐藤敏紀, 橋本泰一, 奥村学. 単語分かち書き辞書 mecab-ipadic-NEologd の実装と情報検索における効果的な使用方法の検討. 言語処理学会第 23 回年次大会発表論文集, pp. 875-878, 2017.

[23] Shikib Mehri, Jinho Choi, Luis Fernando D'Haro, Jan Deriu, Maxine Eskenazi, Milica Gasic, Kallirroi Georgila, Dilek Hakkani-Tur, Zekang Li, Verena Rieser, Samira Shaikh, David Traum, Yi-Ting Yeh, Zhou Yu, Yizhe Zhang, and Chen Zhang. Report from the NSF future directions workshop on automatic evaluation of dialog: Research directions and challenges. arXiv preprint arXiv:2203.10012, 2022.

[24] 小塩真司, 阿部晋吾, Pino Cutrone. 日本語版 Ten Item Personality Inventory (TIPI-J) 作成の試み. パーソナリティ研究, Vol. 21, No. 1, 2012.

[25] Shinya Iizuka, Shota Mochizuki, Atsumoto Ohashi, Sanae Yamashita, Ao Guo, and Ryuichiro Higashinaka. Clarifying the dialogue-level performance of GPT-3.5 and GPT-4 in task-oriented and non-task-oriented dialogue systems. In Proceedings of the AI-HRI Symposium at AAAI-FSS 2023, 2023.

[26] Rachael Tatman. What I won't build, 2020. Keynote at the Fourth Widening Natural Language Processing Workshop at Annual Meeting of the Association for Computational Linguistics.

## A 付録

表 7 RealPersonaChat のペルソナ，性格特性，話者の属性，対話の例．下線は対話に含まれるペルソナの情報を示す。性格特性スコアは，Big Five, IOS, ATQ が 1 7，KiSS-18, SMS が 1 5 の値をとる。また，表に含まれる以外の情報として， テキストチャットの経験に関するアンケート結果がある.

 &  \\