# 対話システムにおけるペルソナの自動生成による更新

川本稔已 ${ }^{1,2}$ 山崎 天 ${ }^{2}$ 佐藤 敏紀 2 船越 孝太郎 ${ }^{1}$ 奥村 学 1
1 東京工業大学 ${ }^{2}$ LINE 株式会社
\{kawamoto, funakoshi, oku\}@lr.pi.titech.ac.jp
\{takato.yamazaki, toshinori.sato\}@linecorp.com

## 概要

話者のプロフィールを集めたテキストであるペルソナを考慮した対話システムでは， ペルソナの変化を捉え適切に更新する必要がある. 先行研究では， ペルソナを対話履歴から抽出した上で，既存のペルソナと抽出したペルソナを比較し最新のペルソナのみを残す。しかし，過去のペルソナを削除することで情報の欠落を引き起こす。そこで本稿では，既存のペルソナと抽出したペルソナの両方を考慮したぺルソナを，大規模汎用言語モデルを用いて生成的に更新する手法を提案する．その結果，正解のペルソナとの一致度と応答生成性能の向上を確認した。

## 1 はじめに

ペルソナは好みや性格，行動といった話者の情報を集めたテキストであり，ペルソナを考慮することで，より親和的な応答生成が可能になる [1]. 本稿ではペルソナを構成する情報の単位（多くの場合，文に相当）をペルソナ要素と呼ぶ. ペルソナを使った対話データセットの 1 つに PeRsona-ChAT [2] があるが，ペルソナが変化することは考慮されていない. しかし, ペルソナは常に同一ではなく, 時間の経過で変化・増加する．Xu ら [3] は，対話履歴から新しいペルソナを抽出する機構を提案し，時間経過を考慮した Multi-Session Chat データセット (以降，MSC) を用いてペルソナ要素を追加することの有効性を示した. しかし，ペルソナ要素を追加するだけでは，含意や言い換えとなるぺルソナ要素が溜まっていくだけでなく，ペルソナ要素の変化に対応できない. そこで Bae ら [4] は既存のペルソナと抽出したペルソナを比較し，最新のペルソナのみを残す手法を提案した. しかし, 最新のペルソナのみを残し, 過去のペルソナを削除することは情報の欠落を引き起こす. 本稿では，既存のペルソナと抽出したペルソナの両方を考慮し，大規模汎用言語モデルを用いてぺ

図 1 一般的な形式のプロンプト（抜粋）

ルソナを生成的に更新する手法を提案する.

大規模汎用言語モデルは，GPT-3 [5] に代表される，大量のコーパスで自己教師あり学習された言語モデルであり，ショットと呼ばれる少数のサンプルを記述したプロンプトを与えることで，さまざまな言語タスクを解けることが知られている。最近のプロンプトの記述方法の 1 つとして, Chain of Thought (以降，CoT) がある [6]. 一般的なプロンプトではショットとして問題と解答のペアを記述し，言語モデルは与えられた問題の解答を生成する．CoT は，解答を得るための推論過程も記述し，言語モデルは推論過程と解答の両方を生成する手法であり，推論を伴う複数の言語処理タスクで一般的なプロンプトを上回る性能が確認されている $[7,8]$.

ペルソナの更新は，ペルソナ要素の意味・関係性を考慮した推論を必要とする．そこで，大規模汎用言語モデルのプロンプトに CoTを利用する手法を提案する。加えて，含意・中立・矛盾に分類する自然言語推論 (以後，NLI) の結果に応じてプロンプトを使い分けることで性能の向上を図る。その結果，情報の欠落を緩和し，自動評価において正解のペルソナとの一致度と応答生成性能の向上を確認した.

## 2 提案手法

複数セッションからなる，ペルソナを考慮した対話は，以下のフローで行われる [9].

1. 事前設定のペルソナで 1 セッション対話する.
表 $1\left(m_{i}, s_{j}\right)$ に対するペルソナ要素の更新の種類とその例. $m_{i} \in$ 既存のペルソナ,$s_{j} \in$ 抽出したペルソナ,$z$ は $m_{i}$ と $s_{j}$ ではないぺルソナ要素， $m_{i}^{\prime}, s_{j}^{\prime}$ は $m_{i}, s_{j}$ の少なくともどちらかを書き換えたペルソナ要素を表す.

Q:You know that he said, "I am 33 years old." Then you
hear that the new information about him is that "I am
34 years old." As a result, how should you store his
information?
A:Let's think step by step. Considering "I am 33 years
old." and "I am 34 years old.", the two pieces of
information are about his age, and the information
suggests that he has aged one year, from 33 to 34 . So,
we don't need information about his previous age.
Thus, by keeping only new information, the answer is
"I am 34 years old."
$===$
Q: You know that he said, "I am signing up the gym later
today." Then you hear that the new information about
him is that "I finished signing up." As a result, how
should you store his information?
A:Let's think step by step. Considering "I am signing up
the gym later today." and "I finished signing up.",
the two pieces of information are about signing up. As
of the previous information, he was going to sign up
for the gym, but he finished signing up for the gym as
of the new information. So, by describing the latest
information, the answer is "I signed up for the gym."
$===$
Q: You know that he said, <mis Then you hear that the new
information about him is that < $s_{j}>$ As a result, how
should you store his information?
A:Let's think step by step.

図 2 Chain of Thought を用いたプロンプト（抜粋）

2. 直前の対話履歴からペルソナを抽出する。

3. 抽出したペルソナと既存のペルソナから，保持するペルソナを決定する。

4. 保持したペルソナで次のセッションを行う.

5. 最終セッションの対話でないなら 2 に戻る.

上のフローにおけるタスクは，ペルソナを考慮した応答生成 $(1,4)$, ペルソナの抽出 (2), ペルソナの更新（3）の 3 つに分けられ，本稿はペルソナ更新タスクに着目する. 既存のペルソナを $M=\left.\{m_{1}, \ldots, m_{T}\right.\}$,抽出したぺルソナを $S=\left.\{s_{1}, \ldots, s_{K}\right.\}$ とする. 本稿では，後述するペルソナ更新アルゴリズムに従いながら，ペルソナ要素の組 $\left(m_{i}, s_{j}\right)$ を生成的に更新することで，新たなペルソナ要素の集合 $M^{\prime}$ を得る.

ペルソナ要素の更新 Bae ら [4] は, ペルソナ要素の更新操作として, APPEND, PASS, REPLACE, DELETEの 4 種類を定義した. この 4 種類は， $m_{i}$ と $s_{j}$ をそれぞれ残すか残さないかの二値の組み合わせ
に対応する。しかしこの方法では，過去のペルソナが削除されてしまい情報の欠落を引き起こす可能性がある. そこで本稿では，既存のペルソナと抽出したペルソナの両方を考慮した $m_{i}$ と $s_{j}$ 以外の新しいペルソナ要素を得る操作を新た纪 2 つ導入する。 1 つ目は，Bae らも言及していたものの未導入であった,$m_{i}$ と $s_{j}$ をまとめた $z$ を保持する FUSION， 2 つ目は, $m_{i}$ と $s_{j}$ の少なくともどちらかを書き換えた $m_{i}^{\prime}$ と $s_{j}^{\prime}$ を保持するREWRITEである. 6 種類の操作の例を表 1 亿示す. Bae らの 4 分法では, FUSION の事例が PASS または APPEND に分類されるため情報が欠落した，または兄長な状態で保持される. REWRITE の事例は REPLACE 亿分類されるため情報の欠落が発生する場合がある. FUSION と REWRITE はそれらの課題を解消している. 本稿は， FUSION と REWRITEを初めてペルソナ要素の更新记導入し，新しいペルソナ要素を大規模沉用言語モデルを用いて生成する手法を提案する.

Chain of Thought プロンプトペルソナ要素を適切に更新するためにはペルソナ要素の意味を理解する必要がある．例えば， $m_{i}=$ “マンションに住んでいる.”, $s_{j}=$ “一軒家に住んでいる. ”の場合，マンションから一軒家に引っ越したと考えられるので，更新したペルソナ要素は $m_{i}^{\prime}=$ “以前マンションに住んでいた. ”と $s_{j}^{\prime}=$ “一軒家に住んでいる. ”となる. $s_{j}=$ “福岡に住んでいる. ”の場合は，マンションが福岡にあると考えられるので，更新したペルソナ要素は $z=$ “福岡でマンションに住んでいる. ”となる.このようにペルソナ要素の更新には推論を必要とするため，図 1 の形式で記述する一般的なプロンプトではなく，段階的に推論を行い解答を得ることで性能の向上が確認されている CoTを利用し，図 2 の形式でプロンプトを記述する。

NLI を利用したプロンプトの使い分けペルソナ要素ペア $\left(m_{i}, s_{j}\right)$ は含意・中立・矛盾のいずれかの論理関係を持ちうるが，論理関係の違いによって，
同じ種類のペルソナ要素の更新を行う場合であっても CoT の推論過程が異なる. 異なる推論過程を記述したプロンプトを使用することは生成時のノイズになると考えられるので， $\left(m_{i}, s_{j}\right)$ と同じ論理関係のペルソナ要素ペアを利用したショットのみで構成するプロンプトを使用する. $\left(m_{i}, s_{j}\right)$ とショットに記述されたペルソナ要素ペアの性質や関係が類似していることで性能の向上が期待される. 具体的には,図 2 の形式で記述した各ショットを, ペルソナ要素ペアの NLI [10] の結果に応じて分け 3 種類のプロンプトを用意する. 更新を行うときは， $\left(m_{i}, s_{j}\right)$ の NLI 結果に応じてプロンプトを使い分け生成を行う.

ペルソナ更新アルゴリズム最終的に保持するぺルソナ $M^{\prime}$ を得る処理は， ペルソナ更新アルゴリズムによって行う．更新アルゴリズムの詳細は付録 A に示す. Bae らの更新アルゴリズムでは, 要素ぺア $\left(m_{i}, s_{j}\right)$ に対して分類器を適用し, その分類結果に基づいてペルソナの更新処理を行う．これに対し我々の更新アルゴリズムでは, 元の要素ペアと生成されたペルソナ要素を照合することで, どの更新操作が生成モデルで選択されたのかを特定し，それに基づいて実際のペルソナ更新処理を行う.

## 3 実験

## 3.1 実験設定

ペルソナを考慮した応答生成は, MSC で fine-tuning した Transformer [11] ベースのモデル BST2.7B [3] を利用した. ペルソナの抽出には MSC で fine-tuning した BART [12]を利用した. ペルソナ要素を更新するための大規模汎用言語モデルは，主に英語で事前学習された 660 億個のパラメータを持つ公開済みの OPT [13], 日本語と英語で事前学習された 390 億個のパラメータを持つ HyperCLOVA [14] の 2 種類で比較を行う. プロンプトには, 図 2 と同様の形式で 5-ショットを記述した. NLI 分類器には, Dialogue NLI [10] で fine-tuning した DeBERTa [15] を利用した. Dialogue NLI のテストデータでの正解率は 91.3\%であった. 実装は ParlAI [16] を利用し,特に記載のない設定は ParlAI のデフォルトに従う.応答生成モデルに入力するペルソナ要素の順序は,結果に影響を与える可能性があるため，付録 B に示す実験を行った結果，最も Perplexity が低いランダム順で統一する。

ペルソナの更新を評価するために，MSC のテス
トデータで以下の 2 つの実験を行う.

1. MSC の正解のペルソナと手法ごとのペルソナの一致度を ROUGE-1, 2 (F1) [17] で評価.

2. 応答生成の性能を評価するため, 手法ごとのぺルソナを使い, 応答生成モデルの Perplexityをセッションごとに評価.

数値差の評価の補助とするため, Paired Bootstrap Resampling [18] による有意差検定を行う. 多重比較補正は行わない。

## 3.2 比較手法

以下の手法の間で比較を行う。

Accumulation 抽出したペルソナを既存のペルソナに単に追加する手法.

Classification ペルソナ要素ペアを分類してぺルソナを更新する手法. Bae らの手法 [4] を再現することを目的としている. データセットがないため 4 クラス分類器を新たに訓練する NLI transfer (fine-tune) ではなく, 既存の NLI モデルを用いて含意を PASS，中立を APPEND，矛盾を REPLACE に対応づける3クラス分類手法 (NLI zero-shot)を再現する. ペルソナ要素ペアが DELETE に分類されることはないが，Bae らによれば DELETE の割合は $5 \%$程度であり, 最大で $95 \%$ の精度を持ち得ると考えられるため，十分比較手法となりうる。

O Generation OPT を用いた提案手法.

H Generation HyperCLOVA を用いた提案手法.

提案手法の切除実験として, 図 1 の形式のプロンプトを使ったw/o CoT と，NLIを行わず 1 種類のプロンプトを使用する w/o NLI の実験を行う．また，応答生成については, 性能の上限を確かめるため,正解のペルソナを利用した Gold Persona とも比較する。

## 3.3 実験結果

正解のペルソナとの一致度を測った実験結果を表 2 に示す. H Generation は, Accumulation よりも ROUGE-1, 2 ともに高く正解のペルソナとの一致度が向上した. それ以外の手法は, Accumulation と比較して, ROUGE-1, 2 の少なくともどちらかが低い値となり, 一致度の向上は確認できなかった. 平均ペルソナ要素数に関しては，更新を行う手法は Accumulation と比較して全て減少しており, 含意や言い換えとなるペルソナ要素をまとめたり削除して

as of the new information. So, by describing the latest information, the answer is "I got a job."

図 3 提案手法によりペルソナ要素の更新を行ったペルソナの生成例. ”Let's think step by step.”以降を生成している.

表 2 正解のペルソナとの一致度を測った実験結果と平均ペルソナ要素数.†は Accumulation と比較して検定で有意 ( $p<0.05)$ であることを示す.

表 3 各手法のペルソナを使った応答生成の実験結果. 各セッションごとの Perplexity で評価.

いると考えられる。しかし，Classification は，Gold Persona よりもペルソナ要素数が少なく，過去のペルソナを削除した影響でペルソナ要素が減りすぎている可能性がある.

次に，応答生成の実験結果を表 3 に示す. 全てのセッションにおいて, Classification は Accumulation より高い Perplexity となり，ペルソナ要素ペアを分類して更新する手法の効果は確認できなかった. 提案手法では H Generation が最も低い Perplexity であり, Accumulation と比較すると, セッション 2 以外では H Generation のほうが低かった. Gold Persona ともセッション 5 での Perplexity の差が 0.012 であり，対話が長期なら提案手法が有効であることを確認した。OPTを使った手法は，HyperCLOVAを使った手法と比較して性能が低下した. モデルサイズは HyperCLOVA よりOPT のほうが大きく，OPT は英語诗化しているが，事前学習に使われたデータの質や量，ハイパーパラメータ等が性能涼響を与えていると考えられる。切除実験の結果，提案手法は w/o CoT，w/o NLIよりも優れた結果となり，CoT と，NLI でプロンプトを使い分ける手法の効果を確認した。

## 3.4 ペルソナ要素の更新例

H Generation でペルソナ要素の更新を行った生成例を図 3 に示す. 違和感のない推論過程が生成できており，入力に与えたペルソナ要素をそのまま出力するだけではなく，FUSION のようにペルソナ要素をまとめ，過去のペルソナ要素の情報も保持している例も確認した. しかし, “I am an artist."と”I am a vet.”"比較した場合に，言語モデルの出力ではアー ティストから獣医に転職したと推論しているが， アーティストと獣医を兼ねている可能性もあり，ぺルソナ要素ペアだけではどのように更新するべきか判断することが難しい例もあった.

## 4 おわりに

本稿では，ペルソナを考慮した対話システムにおいて，FUSION と REWRITE の 2 つの更新手法を新たに導入し，過去の情報も考慮したペルソナ要素を生成してペルソナを更新する手法を提案した. 情報の欠落の緩和を目的とした提案手法により先行研究と比較して正解のペルソナとの一致度，応答生成の性能の両方を向上することを確認した. 情報の欠落が防がれていることは事例分析からも確認された.今後人手評価を行い，応答生成がどのような観点で改善されているか確かめたい。また，ペルソナの更新性能は，ペルソナの抽出や応答生成といった他の機構の性能に依存するため，これらの機構も含めて総合的に向上させていきたいと考えている.

## 参考文献

[1] Iulian Vlad Serban, Ryan Lowe, Peter Henderson, Laurent Charlin, and Joelle Pineau. A survey of available corpora for building data-driven dialogue systems. arXiv preprint arXiv:1512.05742, 2015.

[2] Saizheng Zhang, Emily Dinan, Jack Urbanek, Arthur Szlam, Douwe Kiela, and Jason Weston. Personalizing dialogue agents: I have a dog, do you have pets too? In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2204-2213, Melbourne, Australia, July 2018. Association for Computational Linguistics.

[3] Jing Xu, Arthur Szlam, and Jason Weston. Beyond goldfish memory: Long-term open-domain conversation. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5180-5197, Dublin, Ireland, May 2022. Association for Computational Linguistics.

[4] Bae Sanghwan, Kwak Donghyun, Kang Soyoung, Young Lee Min, Kim Sungdong, Jeong Yuin, Kim Hyeri, Lee Sang-Woo, Park Woomyoung, and Sung Nako. Keep me updated! memory management in long-term conversations. In Findings of the Association for Computational Linguistics: EMNLP 2022, p. 3769-3787, Abu Dhabi, United Arab Emirates, 2022. Association for Computational Linguistics.

[5] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[6] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Ed Chi, Quoc Le, and Denny Zhou. Chain of thought prompting elicits reasoning in large language models. In Advances in Neural Information Processing Systems, Vol. 35. Curran Associates, Inc., 2022.

[7] Mirac Suzgun, Nathan Scales, Nathanael Schärli, Sebastian Gehrmann, Yi Tay, Hyung Won Chung, Aakanksha Chowdhery, Quoc V Le, Ed H Chi, Denny Zhou, et al. Challenging big-bench tasks and whether chain-of-thought can solve them. arXiv preprint arXiv:2210.09261, 2022.

[8] Jason Wei, Yi Tay, and Quoc V Le. Inverse scaling can become u-shaped. arXiv preprint arXiv:2211.02011, 2022.

[9] 川本稔己, 山崎天, 佐藤敏紀, 奥村学. 大規模汎用言語モデルによるペルソナを考慮した応答生成. 言語処理学会第 28 回年次大会, 2022.

[10] Sean Welleck, Jason Weston, Arthur Szlam, and Kyunghyun Cho. Dialogue natural language inference. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3731-3741, Florence, Italy, July 2019. Association for Computational Linguistics.

[11] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vish- wanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.

[12] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[13] Susan Zhang, Stephen Roller, Naman Goyal, Mikel Artetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona Diab, Xian Li, Xi Victoria Lin, et al. Opt: Open pre-trained transformer language models. arXiv preprint arXiv:2205.01068, 2022.

[14] Boseop Kim, HyoungSeok Kim, Sang-Woo Lee, Gichang Lee, Donghyun Kwak, Jeon Dong Hyeon, Sunghyun Park, Sungju Kim, Seonhoon Kim, Dongpil Seo, Heungsub Lee, and et al. What changes can large-scale language models bring? intensive study on HyperCLOVA: Billions-scale Korean generative pretrained transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3405-3424, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[15] Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu Chen. Deberta: Decoding-enhanced bert with disentangled attention. In International Conference on Learning Representations, 2020.

[16] Alexander Miller, Will Feng, Dhruv Batra, Antoine Bordes, Adam Fisch, Jiasen Lu, Devi Parikh, and Jason Weston. ParlAI: A dialog research software platform. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 79-84, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[17] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out, pp. 74-81, Barcelona, Spain, 2004. Association for Computational Linguistics.

[18] Philipp Koehn. Statistical significance tests for machine translation evaluation. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 388-395, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[19] Tianyu Gao, Xingcheng Yao, and Danqi Chen. SimCSE: Simple contrastive learning of sentence embeddings. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 6894-6910, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

## A ペルソナの更新アルゴリズム

提案手法のペルソナの更新アルゴリズムを図 4 に示す.

## Input:

$M=\left.\{m_{1}, m_{2}, \ldots, m_{T}\right.\}$

$S=\left.\{s_{1}, s_{2}, \ldots, s_{K}\right.\}$

$N L I(m, s) \rightarrow\{$ "含意","中立”,"矛盾"\}

$p \rightarrow\left.\{p_{\text {ent }}, p_{\text {neu }}, p_{\text {con }}\right.\}$

Output: $M^{\prime}=\left.\{m_{1}^{\prime}, m_{2}^{\prime}, \ldots, m_{\left|M^{\prime}\right|}^{\prime}\right.\}$

function UPDATE_PERSONA $(X, Y)$

if $Y=\varnothing$ then

return $X$

end if

for all $y_{j} \in Y$ do

$X^{\prime} \leftarrow \varnothing$

$U \leftarrow \varnothing$

$f_{\text {del }} \leftarrow$ false

for all $x_{i} \in X$ do

if $N L I\left(x_{i}, y_{j}\right)=$ "含意" then

$p \leftarrow p_{\text {ent }}$

else if $N L I\left(x_{i}, y_{j}\right)=$ "中立" then

$p \leftarrow p_{\text {neu }}$

else if $N L I\left(x_{i}, y_{j}\right)=$ "矛盾" then

$p \leftarrow p_{\text {con }}$

end if

if $G\left(x_{i}, y_{j}, p\right)=\varnothing$ then

$f_{\text {del }} \leftarrow$ true

else if $G\left(x_{i}, y_{j}, p\right)=x_{i}$ then

$f_{\text {del }} \leftarrow$ true

$U \leftarrow U \cup x_{i}$

else if the number of $G\left(x_{i}, y_{j}, p\right)$ is $1 \quad \&$

$G\left(x_{i}, y_{j}, p\right) \neq y_{j}$ then

$f_{\text {del }} \leftarrow$ true

else

$U \leftarrow U \cup G\left(x_{i}, y_{j}, p\right)$

$X^{\prime} \leftarrow X^{\prime} \cup G\left(x_{i}, y_{j}, p\right)$

end if

end for

if $f_{\text {del }}=$ true then

$X^{\prime} \leftarrow X^{\prime}-y_{j}$

$X^{\prime} \leftarrow$ UPDATE_PERSONA $\left(X^{\prime}, U\right)$

end if

$X \leftarrow X^{\prime}$

end for

return $X^{\prime}$

end function

$M^{\prime} \leftarrow$ UPDATE_PERSONA $(M, S)$

return $M^{\prime}$

図 4 提案手法のペルソナの更新アルゴリズム. $G\left(x_{i}, y_{j}, p\right)$ は大規模言語モデルでプロンプト $p$ を利用し, $x_{i}$ と $y_{j}$ のペルソナ要素ペアでペルソナ要素の更新を行うことを表す. $\left.\{p_{\text {ent }}, p_{\text {neu }}, p_{\text {con }}\right.\}$ はそれぞれ含意・中立・矛盾に対応したプロンプトである.

## B ペルソナ要素の順序による影響

## 調査

ペルソナを考慮した対話の実験を行うにあたって，応答生成モデルに与えるペルソナ要素の順序が対話性能に影響があるのか不明であるため調査を行う. ペルソナ要素の順序は古い順 (Old), 新しい表 4 応答生成モデルに与えるペルソナ要素の順序を変化させた実験結果. †は Sort Old と比較して検定で有意 $(p<0.05)$ であることを示す.

順 (New), 直近の発話との関連度順 (Related), ランダム (Random)の 4 種類で比較する. 直近の発話との関連度順とは，ユーザの直前の発話とペルソナ要素の各埋め込み表現のコサイン類似度が高い順とした. 埋め込み表現を得るためには SimCSE [19] ${ }^{11}$ を使い, $[C L S]$ トークンの埋め込み表現を利用した. それ以外の実験設定は，3.1 節の設定に従い，応答生成性能をセッション 2 からセッション 5 の平均の Perplexity で評価する.

結果を表 4 に示す. ペルソナ要素の順序により， Perplexity が変化することから，ペルソナ要素を入力に与える順序は応答生成に影響を与えることが判明した。その上で，ペルソナ要素をランダムに並べた Sort Random の Perplexity が最も低いことを確認した.
1) https://huggingface.co/princeton-nlp/ sup-simcse-roberta-large