# 人間同士の雑談における話題遷移モデリング

岸波洋介 ${ }^{1}$ 赤間怜奈 1,2 佐藤志貴 1 徳久良子 ${ }^{1}$ 鈴木潤 1,2 乾健太郎 1,2
1 東北大学 2 理化学研究所
yosuke.kishinami.q8@dc.tohoku.ac.jp
\{akama, shiki.sato.d1, tokuhisa, jun.suzuki,kentaro.inui\}@tohoku.ac.jp

## 概要

対話システムが現在話している話題から別の話題へ自然に遷移させることは，能動的に対話を主導する雑談対話システムの実現に重要な要素である.これまでの研究では，単語分散表現の類似度や知識グラフの概念間の結びつきなど，様々な工学的手法で話題遷移が表現されている. 本研究ではこれらの工学的手法を「人がおこなう話題遷移のモデルとなっているか」という観点で分析する。分析の結果，それぞれの工学的手法のみで表現できる話題遷移が存在する可能性が示唆された。

## 1 はじめに

大規模な事前学習済みモデルの利用などにより，雑談対話システムは，人間と同等レベルの自然な応答を生成できるようになってきている $[1,2,3,4]$. しかしながら, 現在のシステムは，与えられた対話文脈に対して適切な応答を返すことだけに着目し，システム側が能動的に対話を主導する振る舞いをすることは少ない．そのため，対話システムが能動的に対話を主導する能力を実現することを目的とした研究が盛んにおこなわれるようになった $[5,6,7,8,9,10,11]$. 能動的に対話を主導する能力を実現するうえで，対話システムが自然に話題を遷移させる行為は重要な要素であると考えられる。先行研究では, ある話題から別の話題に遷移させる際に，さまざまな手法を用いて遷移先の話題を決定している。代表的なものとして，ある話題からその話題を表す単語分散表現とのコサイン類似度が高い話題へ遷移させる手法 $[5,6]$, ある話題から，その話題を表現する概念が知識グラフ上で数ホップのエッジで隣接している概念へ話題を遷移させる手法 $[8,9,12,13,14]$ などが存在する.

本研究では，これらの手法と人間が実際の対話のなかでおこなう話題遷移との関係性を明らかにす
るために，これらの工学的手法を「人がおこなう話題遷移のモデルとなっているか」という観点で分析する．具体的には，与えられた話題遷移が人が実際に対話でおこなう自然な話題遷移であるか，そうでないかを判定する二值分類タスクを提案する。さらに，実験では前述の代表的な工学的手法について，提案するタスクを用いて分析をおこない，各手法の特性について調査する. 分析の結果，それぞれの手法のみで表現できる話題遷移が存在する可能性が示唆された。このような分析により各工学的手法と人の話題遷移との関係性が明らかになれば，人の話題遷移に関する新たな知見となるだけでなく，対話システムにおいて話題遷移を表現する既存手法の改良や新規手法の考案にもつながると考えている.

## 2 関連研究

話題遷移の表現ある話題から別の話題へ遷移させる行為は，人同士の対話の中でもしばしばおこなわれる重要な対話行為であり，このような振る舞いを対話システムで実現することは対話システムが能動的に対話を主導する能力を実現するうえで重要である．Tang らは話題間の繋がりを表現する際，単語分散表現のコサイン類似度を繋がりの自然さの指標として用いている [5]. 一方，Zhou らは ConceptNet 上の概念間の隣接関係を話題の繋がりを表現する際に用いている [13]. また，坂田らは Wikipedia の文書内のハイパーリンク情報を話題の繋がりを表現する際に用いている [11]. その他にも，山内らは Web 検索により取得したヒット件数の情報を用いている [12]. このように先行研究ではさまざまな手法で話題遷移を表現しているが，これらの手法が人間がおこなう話題遷移をモデリングするかという観点で手法間の比較はなされていない。本研究ではこの観点で手法間の比較をおこなう．特に本論文では一歩目として，主要な手法である単語分散表現と知識グラフを用いた手法を比較する。

図 1 分析タスクの概要. 図における○は「遷移可」，×は「遷移不可」を示す.

話題遷移の検出対話における話題遷移に着目した研究の一つに，話題遷移の検出に関する研究がある. 谷津らは日本語の自由対話データに対し, 話題遷移箇所へのラベル付与をおこない，対話におけるラベル位置の分析をおこなっている [15]. また, Xie らは対話において話題が遷移している箇所のアノテーションを付与した TIAGE というデータセットを構築し，話題遷移箇所の検出タスクなどを提案している [16]. また Soni らは，話題遷移検出だけでなく, 既存の対話コーパスに基づいて話題の遷移回数と対話の長さの関係などを分析している [17]. これらの研究では主に話題が遷移するタイミングに着目している。一方で本研究では遷移する話題の内容に着目し，人間が対話のなかでおこなう話題遷移を既存の工学的手法がモデリングするか分析する.

## 3 分析方法

本節では，話題遷移を表現する工学的手法が「人の話題遷移のモデルとなっているか」を分析するための分析方法について述べる.

## 3.1 タスク定義

本研究では，ある手法が人の話題遷移をモデリングするならば，人間同士の対話において実際に発生している自然な話題遷移と，人がおこなわないような不自然な話題遷移を適切に識別可能であると考え，この識別をおこなう二値分類タスクを設計する. 図 1 にタスクの概要を示す. 二つの話題 $a, b$ が与えられた時, 話題 $a$ から話題 $b$ への話題遷移が自然であるならば「遷移可」, 不自然であるならば「遷移不可」のラベルを付与する。ここで話題は，人間がおこなった対話における 1 発話に含まれる話題語の集合と定義する。それらを対話ごとに時系列順に並べ，隣接する話題ぺアを正例，つまり正解ラベルとして「遷移可」を付与する。また，同一対話内であるかに関わらず無作為に抽出したぺアを負例，つまり正解ラベルとして「遷移不可」を付与する。このような二値分類タスクを各工学的手法で実施することで，後述する F1 值などの定量的な評価値を用いた比較，分析が可能になると考える.

## 3.2 評価方法

評価指標としては，各手法が「遷移可」と判定した事例のうち実際に「遷移可」のラベルが付与された事例である割合の適合率，「遷移可」のラベルが付与された事例のうち，各手法が「遷移可」と判定できた割合の再現率，その調和平均である $\mathrm{F} 1$ 値を使用する.

## 4 実験

3節で述べた二値分類タスクを用いて，主要な工学的手法を「人の話題遷移のモデルとなっているか」という観点で分析する。

## 4.1 データセット

ここでは分析で使用する二值分類タスクのデー タセット，つまり話題 $a, b$ の作成方法，および正解ラベルの付与方法について述べる. 名大会話コーパス [18] から無作為に抽出した 50 対話について，各発話を形態素解析器 MeCab [19] を用いて形態素解
表 1 抽出された話題の例. 下線は形態素解析で名詞と判定された単語を表す.

表 2 作成した二値分類タスクデータセットの例.

析し，話題語を抽出する。3 節で述べたように，このようにして抽出された話題語の集合を話題と呼ぶ. 話題語は形態素解析で名詞と判定された単語のうち, 2 文字以上かつ 2022 年 8 月時点で日本語 Wikipedia の見出し語となっている単語とした. 実際に抽出された話題の例を表 1 に示す. 用意した話題について，3節で述べたような基準に従い「遷移可」，「遷移不可」のラベルを付与した. このような手続き1)により，最終的に「遷移可」の事例 15,926 個，「遷移不可」の事例 15,723 個を分析用データセットとして得た. 作成したデータセットの例を表 2 に示す.

## 4.2 比較手法

本研究では，先行研究において対話における話題遷移を表現するために広く利用されている単語分散表現，知識グラフを用いた手法の二つを比較，分析する。

単語分散表現ある話題とそれに続く話題の繋がりの自然さを話題間の単語分散表現の類似度で表現する手法である。単語分散表現には日本語 Wikipedia エンティティベクトル [20]を使用した.話題 $a$ に含まれる話題語集合と話題 $b$ に含まれる話題語集合について，全ての組み合わせについて分散表現のコサイン類似度を計算し，そのうち一組でもコサイン類似度が閾値 $n$ 以上である組が存在すれば 「遷移可」，一組も存在しなければ「遷移不可」とラベルを付与することとした. 閾値 $n$ として， 0.6,0.4 を用いた。


知識グラフある話題とそれに続く話題の繋がりの自然さを話題間が知識グラフ上で何ホップのエッジで隣接しているかで表現する手法である. 知識グラフには ConceptNet5 [21] を使用した. 話題 $a$ に含まれる話題語集合と話題 $b$ に含まれる話題語集合について, 全ての組み合わせについて知識グラフ上の概念間が何ホップのエッジで隣接しているかを計算し, そのうち一組でも $m$ ホップ以内のエッジで隣接している組が存在すれば「遷移可」, 一組も存在しなければ「遷移不可」とラベルを付与した．閾値 $m$ として，1,2を用いた。

## 4.3 実験結果

実験結果を表 3 に示す. 表から，単語分散表現の判定基準「話題語のコサイン類似度 0.4 以上」が最も F1 値が高いことが確認できる.このことから，単語分散表現を用いた手法は少なくとも名大会話コーパス上で発生するような話題遷移については,知識グラフを用いた手法よりもより高性能なモデルとなっている可能性が示唆された.

また，「遷移可」のラベルを付与した事例 15,926 個の各手法における判定結果を調査したところ，単語分散表現のみで「遷移可」と正しく判定できた事例が $16 \%$ ，知識グラフのみで「遷移可」と正しく判定できた事例が $10 \%$ 存在することがわかった ${ }^{2}$. このことから，それぞれの手法のみで表現できるような話題遷移が存在する可能性が示唆される。表 4 および表 5 に，実際にそれぞれの手法のみで正解できた事例を示す。このような話題遷移の定性的な特徴に関する分析は今後の課題としたい。

## 5 タスクの信頼性

実験で作成した二値分類タスクのデータセットを定性的に確認したところ，本タスクの信頼性をさらに高められる方向性を大きく二つ確認した.

2） 単語分散表現の閾値は 0.4 , 知識グラフの閾値は 2 としたときの結果について調査したものである。なお，両手法で 「遷移可」と正しく判定できた事例は $40 \%$ ，両手法で誤った判定をしていた事例は $34 \%$ であった.
表 3 実験結果.

表 4 単語分散表現のみで「遷移可」と正しく判定できた例。

表 5 知識グラフのみで「遷移可」と正しく判定できた例.

話題の抽出方法表 1 の 3 の例には，抽出した話題語集合のなかに「とき」という単語が含まれている.しかしながら，このような単語が対話における話題を表すような話題語として適切かどうかは議論の余地があると考える. 今後の展望として, 言語学的知見も参考に話題語の定義について調査するとともに，上記のような話題語が抽出されないような方法を検討していく必要があると考える. 方法のひとつとして，TF-IDF などといった情報量的な観点を導入し，それに基づいた抽出をおこなうなどが考えられる。

負例の作成方法表 2 の 5 の例は「遷移不可」のラベルが付与されているが，話題 $a, b$ はどちらも食べ物に関する話題であり，人間同士の対話のなかでも自然に遷移する可能性があると考えられる. 本研究では「遷移不可」のラベルを付与するデータセットを作成する際に無作為に抽出した話題を用いているため，この例のように自然な話題遷移も「遷移不可」とラベルが付与されてしまう可能性がある. し
たがって，このような事例を除去する方法や，このような事例を未然に防ぐようなデータセット作成方法について検討していく必要があると考える．このような課題は本研究で設計したタスク以外でも発生するものであり, 同様の課題に対処するような研究 [22] の知見が参考になると考えられる.

## 6 おわりに

本研究では，対話における話題遷移を表現する工学的手法を「人がおこなう話題遷移のモデルとなっているか」という観点で分析するために，与えられた話題遷移が人が実際に対話でおこなう自然な話題遷移であるかどうかを判定する二値分類タスクを設計した. さらに，実験では主要な話題遷移の表現手法である単語分散表現，知識グラフを用いた手法について，設計したタスクを解くことで分析をおこなった. 実験の結果，それぞれの手法のみで表現できる話題遷移が存在する可能性が示唆された.

本研究では主要な話題遷移の表現手法として単語分散表現，知識グラフを用いた手法について分析したが，話題遷移を表現する手法はこの他にもいくつか存在する。したがって，こうした手法も追加し網羅的な分析をおこなうことが今後の課題の一つである。また，人間同士の対話においては，しばしば 「ところで」や「そういえば」のような話題転換語を用いた話題遷移も発生する。したがって，これらの話題転換語の使用と絡めた分析をおこなうことも今後の課題の一つである. さらに，本研究では人間が実際におこなった自然な話題遷移として名大会話コーパスを使用したが，より網羅的に人間の話題遷移を扱うため，また，対話コーパスごとの特性と絡めた分析をおこなうためにその他の対話コーパスを用いることも今後の課題である.

## 謝辞

本研究は JSPS 科研費 JP22K17943, JP21J22383, JST ムーンショット型研究開発事業 JPMJMS2011 (fundamental research) の助成を受けて実施されたものです.

## 参考文献

[1] Daniel Adiwardana, Minh-Thang Luong, David R. So, Jamie Hall, Noah Fiedel, Romal Thoppilan, Zi Yang, Apoorv Kulshreshtha, Gaurav Nemade, Yifeng Lu, and Quoc V. Le. Towards a Human-like Open-Domain Chatbot. In arXiv:2001.09977, 2020.

[2] Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brockett, Xiang Gao, Jianfeng Gao, Jingjing Liu, and William B. Dolan. DIALOGPT : Large-Scale Generative Pre-training for Conversational Response Generation. In Proceedings of ACL, pp. 270-278, 2020.

[3] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M. Smith, Y. Lan Boureau, and Jason Weston. Recipes for Building an Open-Domain Chatbot. In Proceedings of EACL, pp. 300-325, 2021.

[4] Kurt Shuster, Jing Xu, Mojtaba Komeili, Da Ju, Eric Michael Smith, Stephen Roller, Megan Ung, Moya Chen, Kushal Arora, Joshua Lane, Morteza Behrooz, William Ngan, Spencer Poff, Naman Goyal, Arthur Szlam, Y-Lan Boureau, Melanie Kambadur, and Jason Weston. BlenderBot 3: a deployed conversational agent that continually learns to responsibly engage. In arXiv:2208.03188, 2022 .

[5] Jianheng Tang, Tiancheng Zhao, Chenyan Xiong, Xiaodan Liang, Eric Xing, and Zhiting Hu. Target-Guided Open-Domain Conversation. In Proceedings of ACL, pp. 5624-5634, 2019.

[6] Jinghui Qin, Zheng Ye, Jianheng Tang, and Xiaodan Liang. Dynamic Knowledge Routing Network for Target-Guided Open-Domain Conversation. In Proceedings of AAAI, pp. 8657-8664, 2020.

[7] Peixiang Zhong, Yong Liu, Hao Wang, and Chunyan Miao. Keyword-Guided Neural Conversational Model. In Proceedings of AAAI, pp. 14568-14576, 2021.

[8] Yosuke Kishinami, Reina Akama, Shiki Sato, Ryoko Tokuhisa, Jun Suzuki, and Kentaro Inui. Target-Guided Open-Domain Conversation Planning. In Proceedings of COLING, pp. 660-668, 2022.

[9] Zhitong Yang, Bo Wang, Jinfeng Zhou, Yue Tan, Dongming Zhao, Kun Huang, Ruifang He, and Yuexian Hou. TopKG: Target-oriented Dialog via Global Planning on Knowledge Graph. In Proceedings of COLING, pp. 745755, 2022.

[10] Wenquan Wu, Zhen Guo, Xiangyang Zhou, Hua Wu, Xiyuan Zhang, Rongzhong Lian, and Haifeng Wang. Proactive Human-Machine Conversation with Explicit Conversation Goal. In Proceedings of ACL, pp. 37943804, 2019.
[11] 坂田亘, 吉越卓見, 田中リベカ, 黒橋禎夫. Wikipedia のリンク情報に基づく話題遷移シナリオの自動生成. 言語処理学会年次大会発表論文集, pp. 637-641, 2021.

[12] 山内祐輝, Graham Neubig, Sakriani Sakti, 戸田智基, 中村哲. 対話システムにおける用語間の関係性を用いた話題誘導応答文生成. 人工知能学会論文誌, Vol. 29, No. 1, pp. 80-89, 2014.

[13] Kun Zhou, Yuanhang Zhou, Wayne Xin Zhao, Xiaoke Wang, and Ji-Rong Wen. Towards Topic-Guided Conversational Recommender System. In Proceedings of COLING, pp. 4128-4139, 2020.

[14] Karin Sevegnani, David M. Howcroft, Ioannis Konstas, and Verena Rieser. OTTers: One-turn Topic Transitions for Open-Domain Dialogue. In Proceedings of ACLIJCNLP, pp. 2492-2504, 2021.

[15] 谷津元樹, ジェプカラファウ, 荒木健治. 自由対話からの話題遷移検出のためのタグ付け調査. 言語処理学会年次大会発表論文集, pp. 236-239, 2014.

[16] Huiyuan Xie, Zhenghao Liu, Chenyan Xiong, Zhiyuan Liu, and Ann Copestake. TIAGE: A Benchmark for TopicShift Aware Dialog Modeling. In Findings of EMNLP, pp. 1684-1690, 2021.

[17] Mayank Soni, Brendan Spillane, Emer Gilmartin, Christian Saam, Benjamin R. Cowan, and Vincent Wade. An Empirical Study of Topic Transition in Dialogue. In arXiv:2111.14188, 2021.

[18] Itsuko Fujimura, Shoju Chiba, and Mieko Ohso. Lexical and grammatical features of spoken and written Japanese in contrast: exploring a lexical profiling approach to comparing spoken and written corpora. In Proceedings of GSCP International Conference. Speech and Corpora, pp. 393-398, 2012.

[19] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying Conditional Random Fields to Japanese Morphological Analysis. In Proceedings of EMNLP, pp. 230237, 2004.

[20] 鈴木正敏, 松田耕史, 関根聡, 岡崎直観, 乾健太郎 . Wikipedia 記事に対する拡張固有表現ラベルの多重付与. 言語処理学会年次大会発表論文集, pp. 797-800, 2016.

[21] Robyn Speer, Joshua Chin, and Catherine Havasi. ConceptNet 5.5: An Open Multilingual Graph of General Knowledge. In Proceedings of AAAI, pp. 4444-4451, 2017.

[22] Shiki Sato, Reina Akama, Hiroki Ouchi, Jun Suzuki, and Kentaro Inui. Evaluating Dialogue Generation Systems via Response Selection. In Proceedings of ACL, pp. 593-599, 2020.

## A 両手法で正解・不正解の事例

表 6 に正解ラベルが「遷移可」である事例のうち，単語分散表現, 知識グラフの両手法で「遷移可」と正しく判定できた例を示す. また，表 7 に正解ラべルが「遷移可」である事例のうち，単語分散表現，知識グラフの両手法で「遷移不可」と誤って判定された例を示す.

表 6 単語分散表現，知識グラフの両手法で「遷移可」と正しく判定できた例.

表 7 単語分散表現, 知識グラフの両手法で「遷移不可」 と誤って判定された例.これらの事例の正解は「遷移可」 である.