# 過去対話セッションからの想起と深化を行う対話モデル

渡邊寛大 ${ }^{1,2}$ 河野誠也 ${ }^{2,1}$ 湯口彰重 ${ }^{3,2}$ 吉野幸一郎 ${ }^{2,1}$
1 奈良先端科学技術大学院大学
2 理化学研究所ガーディアンロボットプロジェクト
3 東京理科大学
\{kanta.watanabe, seiya.kawano, akishige.yuguchi, koichiro.yoshino\}@riken.jp

## 概要

対話システムが人間社会で活用されるためには,高い信頼と長期的な関係を構築するための記憶と学習の能力が必要である. 具体的には，過去の対話を記憶し，記憶をもとに様々な経験から知識を更新し，将来の対話で応用する能力が必要である. 特に 2 回目以降の対話では，過去の対話履歴を想起するだけでなく，対話履歷から想起して利用する外部知識が持つ情報量が重要であることがわかっている [1]. そこで，システムが対話履歴に基づいて想起を行う際，外部知識が持つ情報量を考慮した話題および知識選択のモデルを構築し，大規模言語モデル （GPT-4）のプロンプトとして活用する対話システムを開発した. 対話実験から，情報量を考慮した話題選択が，有益な知識の抽出に有効であることを明らかにした．また，情報量を考慮した知識選択が情報提供の側面だけでなく, 対話の継続性やエンゲージメント向上といった側面でも有効であることを確認した.

## 1 はじめに

自然言語を用いて人間と対話をする対話システムは，医療や教育，生活支援をはじめとした様々な分野で注目され $[2,3,4]$, 研究開発が活発に行われている。一方で，実際に活用されるために改善すべき課題は依然として存在する。例えば，現在の対話システムの多くは，単一セッションで毎回異なる話者と初対面の対話を行うことを想定している [5]. しかし人間社会でより活用されるためには，長期間に渡って特定のユーザと以前の対話内容を踏まえて対話を行う能力が必要となる [6]. 我々人間は, 複数回行われる対話の内容を記憶し，またその内容に関する知識を自身の様々な経験から深めて次回以降の対話に活用することで長期間に渡る対話を可能とし
ている。対話システムもこのように，対話履歴から知識を想起し，様々な経験から深化して次回以降の対話で活用することが望まれる。

本研究では，対話における知識の想起と深化をモデル化することで，特定のユーザーと長期に渡って対話し，成長していく対話システムの開発を目指す.具体的には，我々の過去の研究 [1] から得られた，過去の情報を適切に想起し深化するためには対話履歴のみでなく想起対象である知識が含む情報量を考慮することが必要である，という知見を活用し，情報量に基づいた話題及び知識選択モデルを構築した. そして，大規模言語モデル（GPT-4）を発話生成に用いた対話システムに組み达んだ。評価では，同じ被験者に期間を空けて複数回システムと対話をしてもらう被験者実験を行った。

## 2 関連研究

## 2.1 外部知識に基づく応答生成

Dinan ら [7] は，応答に必要な外部知識を選択し，選択した外部知識に紐づいた応答を生成する対話応答生成モデルを提案した。また，このモデルを実際に学習・評価するために，Wikipedia の知識に基づくオープンドメインの対話の大規模なコーパスである Wizard of Wikipedia(WoW) を収集してモデルを構築・評価した. Komeili ら [8] は，対話文脈から生成したクエリでインターネット検索を行い, その結果を知識として利用して応答を生成する対話応答生成モデルを提案した. Shuster ら [9] は, neural-retrieval-in-the-loop 構造を知識ベース対話に利用して，会話能力を維持したまま知識を最大化するモデルを構築・評価した。これらの研究では，過去数ターンの発話から外部知識を検索して応答生成に使用する。これに対して本研究では，過去の対話セッションから知識を想起し，新たな経験から知識

の深化を行い，それによってモデルが動的に変化する対話モデルを構築することを志向する.

## 2.2 長期間の文脈を考慮した応答生成

Xu ら [10] は，過去の対話セッションの要約が注釈されたマルチセッション対話のデータセット Multi-Session Chat を収集し，過去の対話セッションを要約して応答生成に使用するモデルを構築した. $\mathrm{Xu}$ ら [11] は，ユーザとシステム双方のペルソナ情報（テキストで記述された個人の情報）を過去セッションの対話履歴から抽出・更新・参照し, 応答を生成する対話応答生成モデルを提案した. Bae ら [12] は，ペルソナ同士が矛盾を生まないように情報を動的に更新する手法を提案した. Takasaki ら [13] は，現在の対話セッションとの類似性に基づいて，過去の対話セッションの一部を抽出する手法を提案した. これらの研究では応答生成に過去の対話セッションの一部や要約を考慮するが, 本研究では過去の対話セッションの考慮に加えて, 過去の対話セッションに基づいて知識を想起し，新たな経験から知識を深化して対話システムの応答生成に活用することを志向する。

## 3 想起と深化を行う対話モデル

これまでの研究 [1]から，過去の情報を適切に想起し深化するためには対話履歴のみでなく, 想起対象である知識が含む情報量を考慮することが必要である可能性が示唆された. この知見に基づいて，実際に対話システムを構築し，そのシステムの話題選択に想起対象知識の情報量を考慮するモデルを組み込んで実験を行う（図 1).

図 1 システム設計の概要

## 3.1 情報量を考慮する話題選択

本研究では想起先の知識源が持つ情報量を考慮する話題選択モデルを提案する. 情報量の指標としては, Herdan's C [14], 選択肢数 (CN), トークン数 (TN), Perplexity $(p p)$ を使用する. $C$ と $T N$ を算出するため
の，テキストのトークン化には $\mathrm{MeCab}[15]$ [,$p p$ を算出するための言語モデルには， GPT-21) [16] を用いる。それぞれの指標はスケールが異なるため，重みを均一化するために順序尺度を用いて Informetion Content Score (ICS) を以下のように定義する.

$\boldsymbol{A}=\left.\{A_{1}, A_{2}, \ldots, A_{n}\right.\}$ は過去の対話セッションに紐づけられた記事，rank.は集合における降順の順位を表す.

## 3.2 使用知識を考慮した過去発話抽出

継続的な対話を行う場合，対話セッションを跨ぐような文脈も考慮した応答を生成することが望ましい. しかし, 膨大な履歴を全て入力するのは困難なため，過去の対話セッションのうち，進行中の対話と関連性の高いものを選択する必要がある [13].本研究ではこの知見に加えて，使用する知識との関連性の高さを考慮することで，より応答生成に必要な過去の対話セッションの要素を抽出できると考えた。これらを実現するために，進行中の対話セッションと使用する知識をべクトルで表現し，それぞれとのコサイン類似度の合計が高い過去の対話セッションの発話を選択する. 各要素の Embedding には, OpenAI 社の text-embedding-ada-002を使用した。

## 3.3 システムの概要

応答生成のための LLM には GPT-4[17] を使用し $た^{2)}$. また，発話の自然性を担保するために，コサイン類似度の合計から上位 3 つの過去の対話セッションの発話をプロンプトに入力し，それぞれの出力と直前の発話ぺアの Perplexity を算出して,最も低い値となった出力をシステム発話とした. Perplexityを計算する言語モデルには Twitter リプライペアデータセットで Fine-tuning した GPT-2[18]を使用した。

## 4 対話実験

## 4.1 実験の手順

まず，日本語を母語とする大学院生 15 名に対話履歴のみを入力とした GPT-4 と初対面の対話（1 回目の対話）を行ってもらった。対話の話題には，「エンタメ」「スポーツ」「IT・科学」「ライフ」「経済」


のいずれかをこちらから指定した. 1 回目の対話は合計 14 ターンとした. その 1 週間以上後, 同じ話者に提案手法とべースラインを用いた各システムと 2 回目の対話を行ってもらった. 2 回目の対話は各 10 ターンとした. 対話後, 2 回目の対話内容を評価してもらった. 人手評価の項目を表 1 に示す. 評価尺度には 5 段階のリッカート尺度を使用し， 1 が最も悪く, 5 が最も良いとした. 自動評価の指標としては応答の平均トークン長 (ave. $N$ ), 平均語彙数 (ave.V)，応答の自然性を測定する Perplexity ( $p p$ )，応答の多様性を測定する distinct-n [19] を用いた。

表 1 人手評価の項目

## 4.2 外部情報の設定

過去の対話セッションには 1 回目の対話, 話題には過去の対話セッションに含まれている 10 個の名詞，知識源には各話題と関連した Yahoo ニュースの記事を使用した. 話題及び知識源は過去の対話セッションの内容に基づいて人手で選択を行った. 1 回目と 2 回目の対話の間に知識を更新するという設定に従って, 記事は 1 回目の対話以降に更新された記事のみを選択した. 知識のチャンク分けは, Yahoo ニュース内での空白区切りに従った.

## 4.3 比較システム

ICS+CS+TFIDF 話題選択モデルのパラメーター にICS に加えて, 既存手法である Cosine Similarity $(C S)$ とTF-IDF を使用. 各パラメーターのスケールが異なるため, 順序尺度を使用して最終的なスコアは以下のように定義.

$
\operatorname{Score}_{A_{n}}=\frac{1}{\operatorname{rankICS_{A_{n}}}}+\frac{1}{\operatorname{rankCS} S_{A_{n}}}+\frac{1}{\operatorname{rankTF-IDF_{A_{n}}}}
$

ICS 話題選択モデルにICS のみを使用.

ICS+CS+TFIDF w/ 話題選択には ICS+CS+TFIDF を使用. 加えて，知識選択にも ICS を考慮したモデル. 知識選択のスコアを順序尺度を用いて以下のように定義. $\boldsymbol{s}=\left.\{s_{1}, s_{2}, \ldots, s_{m}\right.\}$ は選択された記事 $A_{n}$
に含まれる知識の集合を表す。

$
\operatorname{Score}_{S_{m}}=\frac{1}{\operatorname{rankICS_{S_{m}}}}+\frac{1}{\operatorname{rankCS_{s_{m}}}}
$

CS+TFIDF 話題選択モデルのパラメーターに既存手法である $C S$ と $T F-I D F$ のみを使用.

CS+TFIDF w/o 過去発話抽出モデルには提案手法ではなく, ユーザー発話とのコサイン類似度のみを考慮.

## 4.4 実験結果

## 4.4.1 システム発話のクラス分類

システム発話を,「1. 過去の経験の想起と知識の深化を活用した発話」「2. 過去の経験の想起だけを活用した発話」「3. 知識の深化だけを活用した発話」「4.いずれも活用していない発話」の 4 クラスに分類を行った. この分類は訓練したアノテータ1名によって行った. アノテーションの結果を表 2 に示す. 全体では, 「1. 過去の経験の想起と知識の深化を活用した発話」が半分を超えていた．また，想起及び深化のいずれかを活用し発話を行っている割合

て選択して与えた知識が GPT-4 の出力に大きく影響を与えていると考えることができる。

## 4.4.2 人手評価

人手評価の結果を, 表 3 に示す. すべての評価項目において CS+TFIDF は CS+TFIDF w/o を上回っている。このことから，使用する知識を考慮する過去発話抽出モデルが有効に働いたと考えられる。

また，ICS+CS+TFIDF w/ は ICS+CS+TFIDFをすべての指標で上回っている。このことから，情報量を考慮した知識選択が有効に働いたと考えられる。

## 4.4.3 自動評価

自動評価の結果を表 4 に示す. 自動評価の結果から，発話の多様性に大きな差は見られなかった. Perplexity に関しては，話題選択に ICS を使用したモデルが使用していないモデルよりも小さくなった.平均トークン長は CS+TFIDF w/o が有意に大きい.
表 3 人手評価の結果

これは Perplexity によるリランキングが原因だと考えられる。

表 4 自動評価の結果

## 4.4.4 有益な知識の抽出性能の比較

対話履歴に沿っている，かつユーザーにとって有益な知識をどれくらいの割合（\%）で抽出できていたのかアノテーションを行った。この分類は訓練したアノテータ 1名によって行われた. アノテーションの結果を表 5 に示す. 表 5 から，提案手法である ICS+CS+TFIDF が最も高い割合でユーザーにとって有益な知識を抽出できていることが分かる. このことから，有益な知識の抽出において提案手法が有効であると考えることができる.

表 5 有益な知識を抽出できている割合（\%）

## 4.4.5 GPT-4 の発話生成における再現性の評価

今回の対話実験における GPT-4 の発話の再現性を確認した. 具体的には，対話実験時と同じ内容のプロンプトを GPT-4 に与えて 3 つの発話を生成し，生成された発話が実験時に生成された発話とどの程度一致するかを BERT Score[20] と Cosine Similarity3)を用いて算出した。結果を表 6 に示す. 表 6 から，全体で BERT Score は 0.772, Cosine Similarity は 0.947

3）各発話の Embedding には OpenAI 社の text-embedding-ada002 を使用した
と生成される発話の内容は概ね一致していることが分かる.したがって，GPT-4 による発話生成にはある程度再現性があると考えることができる。

表 6 生成する発話の内容の一貫性の評価

## 4.5 システム発話のエラー類型

システム発話における不適切なエラー類型の分析を行った．主なエラー類型を表 7 に示す。矛盾は 1 件のみであったことから， 1 回目の対話との一貫性は保たれていたと考えられる。情報不足に関しては，ユーザーが求める記事及び情報が知識源に無いときに確認された。

表 7 主なシステム発話のエラー類型

## 5 おわりに

本研究では，保有する知識の情報量を考慮する話題・知識選択モデル及びそれらを組み込んだ対話システムを構築した。そして，対話実験から，情報量を考慮した話題選択が，有益な知識の抽出に有効であることを明らかにした。また，情報量を考慮した知識選択が情報提供の側面だけでなく，対話の継続性やエンゲージメント向上といった側面でも有効であることを確認した．今後は，各パラメーターの動的な設定手法の模索と 2 回目以降の対話実験，知識源の規模拡大を行う予定である。

## 謝辞

本研究は JSPS 科研費 22K17958，22H04873 の助成を受けた。

## 参考文献

[1] 渡邊寛大, 河野誠也, 湯口彰重, 吉野幸一郎. 経験に基づく知識の想起と深化を伴う対話システム. 人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 99, pp. 13-18, 2023.

[2] Mina Valizadeh and Natalie Parde. The AI doctor is in: A survey of task-oriented dialogue systems for healthcare applications. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 6638-6660, Dublin, Ireland, May 2022.

[3] Diane Litman, Steve Young, Mark Gales, Kate Knill, Karen Ottewell, Rogier van Dalen, and David Vandyke. Towards using conversations with spoken dialogue systems in the automated assessment of non-native speakers of English. In Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue, pp. 270-275, Los Angeles, September 2016.

[4] Eugene Agichtein, Yoelle Maarek, and Oleg Rokhlenko. Alexa prize taskbot challenge. In Alexa Prize TaskBot Challenge Proceedings, 2022.

[5] Jinjie Ni, Tom Young, Vlad Pandelea, Fuzhao Xue, and Erik Cambria. Recent advances in deep learning based dialogue systems: A systematic survey. Artificial intelligence review, Vol. 56, No. 4, pp. 3055-3155, 2023.

[6] Qing Wang, Yi-Ling Lai, Xiaobo Xu, and Almuth McDowall. The effectiveness of workplace coaching: a meta-analysis of contemporary psychologically informed coaching approaches. Journal of Work-Applied Management, Vol. 14, No. 1, pp. 77-101, 2021.

[7] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledge-powered conversational agents. In International Conference on Learning Representations, 2019.

[8] Mojtaba Komeili, Kurt Shuster, and Jason Weston. Internet-augmented dialogue generation. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 8460-8478, Dublin, Ireland, May 2022.

[9] Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. Retrieval augmentation reduces hallucination in conversation. In Marie-Francine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 3784-3803, Punta Cana, Dominican Republic, November 2021.

[10] Jing Xu, Arthur Szlam, and Jason Weston. Beyond goldfish memory: Long-term open-domain conversation. In Smaranda Muresan, Preslav Nakov, and Aline Villavi- cencio, editors, Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 5180-5197, Dublin, Ireland, May 2022.

[11] Xinchao Xu, Zhibin Gou, Wenquan Wu, Zheng-Yu Niu, Hua Wu, Haifeng Wang, and Shihang Wang. Long time no see! open-domain conversation with long-term persona memory. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Findings of the Association for Computational Linguistics: ACL 2022, pp. 2639-2650, Dublin, Ireland, May 2022

[12] Sanghwan Bae, Donghyun Kwak, Soyoung Kang, Min Young Lee, Sungdong Kim, Yuin Jeong, Hyeri Kim, Sang-Woo Lee, Woomyoung Park, and Nako Sung. Keep me updated! memory management in long-term conversations. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Findings of the Association for Computational Linguistics: EMNLP 2022, pp. 3769-3787, Abu Dhabi, United Arab Emirates, December 2022.

[13] Meguru Takasaki, Naoki Yoshinaga, and Masashi Toyoda. Effective dialogue-context retriever for long-term open-domain conversation. In The 13th International Workshop on Spoken Dialogue Systems Technology (IWSDS), 2023 .

[14] Gustav Herdan. Type-token Mathematics. Janua linguarum, Studia memoriae Nicolai van Wijk dedicata. Series maior, 4. Mouton, 1960.

[15] Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://mecab. sourceforge. net/, 2005.

[16] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[17] Sébastien Bubeck, Varun Chandrasekaran, Ronen Eldan, Johannes Gehrke, Eric Horvitz, Ece Kamar, Peter Lee, Yin Tat Lee, Yuanzhi Li, Scott Lundberg, et al. Sparks of artificial general intelligence: Early experiments with gpt-4. arXiv preprint arXiv:2303.12712, 2023.

[18] Seiya Kawano, Shota Kanezaki, Angel Fernando Garcia Contreras, Akishige Yuguchi, Marie Katsurai, and Koichiro Yoshino. Analysis of style-shifting on social media: Using neural language model conditioned by social meanings. In Findings of the Association for Computational Linguistics: EMNLP 2023, pp. 7911-7921, 2023 .

[19] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Kevin Knight, Ani Nenkova, and Owen Rambow, editors, Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110119, San Diego, California, June 2016.

[20] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020

## A 過去の対話セッションからの想起と深化を活用した発話例

表 8 過去の対話セッションの内容を想起した発話例

 & \\

表 9 過去の対話セッションの内容から深化した知識を活用した発話例

 & \\