# 話題提供雑談システムにおける感情と意見の表出方法の検討

成田風香 ${ }^{1}$ 佐藤志貴 ${ }^{1}$ 徳久良子 ${ }^{1}$ 乾健太郎 1,2
1 東北大学 2 理化学研究所
fuka.narita.q1@dc. tohoku.ac.jp

## 概要

本研究では，システムが話題を提供し雑談を主導する話題提供雑談システムに焦点をあてる. 人と人との雑談では感情や意見を述べることで対話が盛り上がるとされるが，感情や意見を持たない対話システムがどのようにそれらを表出して話題を提供すべきかは自明でない. 本稿では，システムがニュースに基づく話題提供を行う対話を対象に，システムの話題提供発話における感情や意見の表出形態と対話の盛り上がりの関係を調べる枠組みを提案する。また，提案法に沿って小規模に対話を収集・評価し，提案手法の有用性と課題を確認した。

## 1 はじめに

近年，ニューラルネットワークによる応答生成が盛んに研究され，傾聴対話システム $[1,2,3]$ や QA システム $[4,5,6]$ など，ユーザ発話に対する応答を生成するシステムの性能は高いものとなってきた。 しかし，システムがイニシアチブを持ち，対話を主導するような雑談システムについてはいまだ萌芽的な状態にある $[7,8]$. 本研究では，システム自身が話題を提供しながら雑談を主導する雑談システム （以下，話題提供雑談システム）の実現を目指す。

雑談はタスク指向型対話と異なり，その対話自体で話者の満足度を上げることが目的であるため，話題提供雑談システムもできるだけ対話を盛り上げてユーザを満足させることが望まれる。Akasaki らは， システムによるユーザを飽きさせないような話題提供を目的として，ニュース記事の要約とそれを踏まえた意見や問いかけからなる話題提供発話の生成に着目した [9]. Akasaki らの提案する枠組みでは， ニュース記事に対するリプライツイートを学習デー タとして，ニュース記事を踏まえた意見や問いかけの生成をシステムに学習させる．そのため，システムが自分自身の意見を有しているような発話を生成することで話題を提供することになる。人と人との

図 1 ニュース記事を対象とした話題提供雑談システム

雑談では，このように感情や意見を述べる発話が盛り上がりに寄与することが知られている [10]. しかし，そもそも人とは異なり感情や意見を持たない雑談システムが感情や意見を表出することで，ユーザが満足する雑談ができるのか，それらを表出する場合はどのように表出すればユーザがより満足する雑談ができるのかは自明でない。

そこで我々は，多様な話題を提供しながら雑談を盛り上げる話題提供雑談システムのひとつの実現形態である「ニュース記事に関する話題提供雑談システム」を対象に，雑談におけるシステムの効果的な感情や意見の表出形態を調査する枠組みを提案する。提案法では，ニュース記事とそれに対する感情や意見を含むツイートからなる資料をもとに，Wizard of $\mathrm{Oz}(\mathrm{WOZ})$ 方式で人間同士に対話をさせる. システム役による資料中のツイート情報の使い方とユーザ役の対話に対する評価結果の関係から効果的な感情や意見の表出形態を調査する. 本稿では，まずニュース記事に関する話題提供雑談システムへの，ツイートを活用した感情や意見付与の実現可能性を調査する．そのうえで，提案法に沿って小規模に対話を収集および評価し，提案法の有用性を確認する。将来的には図 1 に示すような話題提供雑談システムの実現に向け，提案法を用いた大規模実験を行い，感情や意見の表出に関しシステムに望まれる発話内容・発話形態を明らかにする。

2021年11月11日

図 2 一日あたりの一記事に対するツイート数

## 2 感情・意見付与の実現可能性調査

ニュース記事に関する話題提供雑談システムが感情や意見を表出するためには，システムがニュース記事の内容を理解して応答を生成する必要がある. しかし，多様なニュース記事に関して適切な感情や意見を表出することはシステムにとって簡単ではない.そこで我々は，ニュース記事に対するツイートを活用した感情や意見を伴う応答生成に着目する.図 1 は，ニュース記事とそれに対するツイートを活用した話題提供雑談システムの模式図である. 仮に対話に利用するツイートを適切に選択できれば，図 1のようにシステムとユーザが互いに意見を交える対話が実現できると考えられるが，実現にはニュー ス記事に対する感情や意見を表出したツイートが一定数必要となる. そこで, ニュース記事に対する感情や意見を含むツイートがどの程度収集可能かを調査した1).

調査結果を図 2 亿示す. 図 2 から，感情や意見を含むツイートが数十件以上なされたニュース記事が毎日安定して得られる見込みがあり，ツイートを活用して感情や意見を表出する発話を生成することは実現可能と考えられる。

## 3 提案する調査の枠組み

感情や意見をどのように表出すればユーザが満足する雑談を実現可能かを検討するために，WOZ 方式の対話に基づく調査の枠組みを提案する. 提案する枠組みは，1. システム役に提示する資料の作成， 2. システム役・ユーザ役による対話，3.ユーザ役に


表 1 システム役の最初の発話の例

よる対話の評価からなる。

## 3.1 システム役に提示する資料の作成

システム役が 3.2 節で述べる条件に従って感情や意見を含む話題提供を行うため，(ニュース記事，最初の発話，感情や意見を含むツイート）の三つ組からなる資料を対話収集者が作成する。

ニュース記事の選択対話において多様な意見を表出できるようにするため，ツイート数が多いニュース記事を選択する。

最初の発話の作成選択したニュース記事に関してスムーズに話題提供雑談を開始できるように，システム役の最初の発話は 3.2 節に示す 3 条件に合わせてあらかじめ作成する. 作成例を表 1 に示す.

ツイートの選択選択したニュース記事に対する感情や意見を述べたツイートから内容が重複しないものを選択する2).

## 3.2 システム役とユーザ役による対話

二人一組のペアが WOZ 方式により雑談を行う.

システム役に対する教示システム役は，以下の 3 条件のいずれか一つに従って対話をする。

・事実のみ条件システムが感情や意見を持たないことを反映し，感情や意見は表出せずニュー ス記事とそれに関連する事実のみを伝える

・第三者的条件システムは自我を持たないため自分の感情や意見として述べるよりは第三者的に伝える方が自然である可能性を考慮し，ツイートを用いて「○○と言っている人がいます」のように第三者的に感情や意見を伝える

・主体的条件システムは感情や意見を持たないが，人間を模倣してツイートを「私は○○と思

2） 以下のように内容が類似したツイートが 2 つ以上ある場合はそのうち1つを選択して記載する。

・「うわあ…知多半島で定着か…」

・「うへえ，知多半島にまさかまさかの定着確認か.」

います」のようにシステム自身の意見や感情として伝える

システム役には 3.1 節の資料を見せ，資料に記載された「最初の発話」の発話後は，指定された条件に従ってできるだけ自然にユーザと対話させる．対話を自然に進められるよう，相槌や情報端末を用いた検索結果の回答は可能だが，ツイートに基づいた発話を生成する枠組みを模倣するため，システム役自身の知識・意見を伴う発言は不可とする。また， ユーザが飽きて対話を終了させるまでの長さを調べるため，システムから対話を終了させることは不可とする.

ユーザ役への教示システム役と自由に雑談するよう指示する。自然な雑談対話を収集するため，一発話目はシステムから発話されることと，対話をやめたくなったら「そろそろ対話を終了します」に類する発話をすること以外は特に教示はしない。

## 3.3 ユーザ役による対話の評価

ユーザ役は各対話の終了時に対話を評価する。評価指標は [1]を参考に定めたものであり，『システムの発話は人間らしかった』『このシステムは話しやすい』『会話は盛り上がった』などの観点について 5 段階3) で評価する。評価指標は付録 A に記載する。

## 4 提案手法の妥当性の検証

将来的に大規模に対話を収集して分析するため，提案法に沿って小規模に対話を収集および評価し，大規模な対話収集によりどのような分析が可能かを調べるとともに，実験設定の課題を確認する。

## 4.1 実験設定

対話に用いるニュース記事ツイート数が 60 件以上であり，雑談に適切と思われるニュース記事4) を 3 件選んだ。ニュース記事の概要を表 2 に示す。

対話者著者所属研究室の学生 6 人を参加者とし，システム役，ユーザ役のペア 3 組を作成した ${ }^{5)}$. 3 組のニュース記事・条件の割り当てを表 3 に示す。

アンケート提案法の改善の参考とするため, ユーザ役が 3.3 節で述べた各対話の評価をする際，

3） 1: そう思わない・2: あまりそう思わない・3: どちらでもない・4: そう思う・5: とてもそう思う

4）事前検討で話しにくかった政治に関する記事，人の思想を含む記事，不快な印象を与えるツイートが多い記事は除いた。

5）話者同士の人間関係が対話に影響するのを避けるため，対話相手が誰かはわからない状態で対話を収集した。

表 3 ニュース記事・条件の割り当て

『会話は盛り上がった』という評価項目に対する評価結果の理由も記述するよう指示した. また，システム役に対しても対話ごとにアンケートを実施した. アンケート項目は付録 Aに示す.

## 4.2 収集された対話および評価の分析

図 3 にユーザ評価の結果を示す. 同図から主体的条件では安定して『会話は盛り上がった』という観点の評価が高い傾向が得られた. 実際に主体的条件で収集した対話では，表 4 に示す例のようにシステム自身の経験を述べる発話が確認された。同対話後のユーザへのアンケートでは「経験談を交えていろいろ説明してくれたから」，『会話は盛り上がった』 の項目で 5 段階中 4 と回答を得た。また，「経験談的なものを交えた会話をしてくれると(たとえそれが嘘であっても)すごく人間味の感じられる対話になった気がした」という回答も得られた。

一方，『会話は盛り上がった』『このシステムは話しやすい』という観点についての評価が特に低い対話があった，事実のみ条件での対話の例を表 5 に示す. 同対話後のアンケートでは，システム役から「事実のみを伝えるため，若干会話としてのつなぎ目が荒くなりやすいなと感じた」，ユーザ役から 「対話もチグハグだったように感じた」との回答が得られ，感想や意見を表出しない場合は不自然な対話になる傾向が見られた.ニュース記事に対してツイートされた意見をシステムが自身の意見として伝えることで，対話が自然で人間らしいものとなり盛り上がる可能性がある.

小規模な対話収集による評価ではあるものの，感情や意見の表出条件に応じてユーザーの評価結果に差が見られたことから，今後大規模に対話を集めることで適切な感情や意見の表出形態が明らかになる
表 4 ツイートを使用して経験が述べられた対話の一部 U: すごく詳しいですね! 読んだことはあるんですか? $\mathrm{S}$ : 小説はわかりませんが，講演会で貴重なお話を 2 度聞かせていただいたことがあり，私がした質問に丁寧に答えていただきました. それをきっかけに寂聴さんの連載は読んでいました。

U: そうなんですね! それは良い経験ですね.

図 3 ユーザによる対話評価の一部

見通しを得た。

## 4.3 大規模収集に向けての要検討点

システムのペルソナ情報収集した対話において, システムの「わからない」という旨の発話後に対話が終了に向かう例を数件確認した. その原因の一つがペルソナ情報の欠如である．表 6 の対話では，システムが生まれた時期を問われた直後に対話が終了した. 本研究では, 感情や意見の表出形態に関する 3 条件とユーザの飽きの関係の調査を目的とするため，ペルソナ情報の欠如に由来する対話の終了はノイズとなる可能性がある．対策として，システムに対するペルソナ情報の付与が考えられる.

話題の転換システム役に対するアンケートでは 「引用できるツイートがニュースに関するもののみでだったため，話題が変わった際には事実を伝えることしかできなくなり少し話しづらさがあった.」 との回答を得た. 話題が変わって適切なツイートが資料に無い場合はツイートを検索してもよいと教示することで解決されると考えられる。 大規模収集では教示を追加したうえでどの程度話題が転換されるのかという点についても分析したい.

話題による話しやすさの差今回の小規模対話収集で得たアンケートから，対話の話題による話しやすさの差が確認された。例として,「大谷選手 MVP」 についての対話では「自分が興味関心がある・普段もこのような話題について会話する機会があったことも話しやすさにつながってしまった」とシステム表 5 事実のみ条件で不自然になった対話の一部

$\mathrm{U}$ : テレビなどでも見かけていた方だったので，残念ですね.

S: 作家としての活動もしており，著作は 400 冊を超えるようでした.

U: そんなに書かれていたんですね. 知りませんでした.

$\mathrm{S}$ : 新潮社同人雑誌賞や，芸術選奨文部大臣賞なども受賞しています。

U: すごいですね. 99 歳というと長生きされたんですね.

S: 葬儀は近親者で行われるようです.

表 6 ペルソナ情報を問う質問がなされた対話の一部

$\mathrm{S}$ : そうですね，「元気に 100 歳迎えられると思ってたのでとても残念です」と言っている人もいるようです.

U: システムさんは，まだ生まれたばかりなんですか?

S: すみません，それについては分からないです.

U:そろそろ対話を終了します

役から回答があった一方で，「瀬戸内寂聴死去」についての対話では「訃報のため，話す内容に気を遣うから」，『今回の話題は話しやすかった』の項目で 5 段階中 4 と回答を得た. 大規模収集時は，取り扱う話題による話しやすさの差を考慮した分析を実施する必要がある.

ニュース記事・ツイートの選択小規模対話収集を実施するにあたり，ニュース記事に対するツイー トを人手で確認した結果，記事によっては「おめでとう」など内容を含まないツイートや，拡散を目的としたテンプレートに従ったツイートが大半を占めることがあると判明した．そのため，ニュース記事に対するツイート数を揃えるだけでは，記事によって対話に利用可能なツイート情報の量には差が生じてしまう可能性がある. 大規模収集に向け，これらの点も考慮してニュース記事や使用ツイートを選択する枠組みを設計する必要がある.

## 5 おわりに

本稿では「ニュース記事に関する話題提供雑談システム」を対象に，雑談におけるシステムの感情や意見の表出形態とユーザの満足度の関係を調査する枠組みを提案した。提案法に沿って小規模に対話を収集および評価したところ，ユーザが満足する話題提供雑談を行うためには，システムが感情や意見をシステム自身のものとして組み込みながら話題を提供することが効果的であることが示唆された. 今後は実験設定を更に改善したうえで大規模対話収集を実施し，ユーザの満足度を向上させるシステムの感情や意見の表出形態を詳しく分析する予定である.

## 謝辞

本研究の一部は JSPS 科研費 JP19H04425, JP21J22383 の助成を受けたものです. 本研究のため実施した実験にご協力いただいた東北大学乾研究室の皆様に感謝いたします.

## 参考文献

[1] 井上昂治, ラーラーディベッシュ, 山本賢太, 中村静,高梨克也, 河原達也. アンドロイド ERICA の傾聴対話システムー人間による傾聴との比較評価-. 人工知能学会論文誌, Vol. 36, No. 5, pp. H-L51_1-12, 2021.

[2] Toyomi Meguro, Ryuichiro Higashinaka, Yasuhiro Minami, and Kohji Dohsaka. Controlling listening-oriented dialogue using partially observable Markov decision processes. In Proceedings of the 23rd International Conference on Computational Linguistics (Coling), pp. 761769, 2010.

[3] Toshiaki Nishio, Yuichiro Yoshikawa, Takamasa Iio, Mariko Chiba, Taichi Asami, Yoshinori Isoda, and Hiroshi Ishiguro. Actively listening twin robots for longduration conversation with the elderly. ROBOMECH Journal, Vol. 8, , 2021.

[4] Yoji Kiyota, Sadao Kurohashi, and Fuyuko Kido. "dialog navigator": A question answering system based on large text knowledge base. In Proceedings of the 19th International Conference on Computational Linguistics (COLING), 2002.

[5] Miguel Coronado, Carlos A. Iglesias, and Alberto Mardomingo. A personal agents hybrid architecture for question answering featuring social dialog. In Proceedings of the 2015 International Symposium on Innovations in Intelligent SysTems and Applications (INISTA), pp. 1-8, 2015.

[6] 吉田尚水, 岩田憲治, 渡辺奈夕子, 小林優佳, 藤村浩司. FAQ 集から自動で構築可能な QA 対話システム.人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 87, pp. 113-114, 2019.

[7] Peixiang Zhong, Yong Liu, Hao Wang, and Chunyan Miao. Keyword-guided neural conversational model. In Proceedings of the AAAI Conference on Artificial Intelligence (AAAI), Vol. 35, pp. 14568-14576, 2021.

[8] 岸波洋介, 赤間怜奈, 佐藤志貴, 徳久良子, 鈴木潤, 乾健太郎. 目標指向対話のためのサブゴール設計に基づく発話系列生成. 人工知能学会研究会資料言語・音声理解と対話処理研究会, Vol. 93, pp. 70-73, 2021.

[9] Satoshi Akasaki and Nobuhiro Kaji. Conversation initiation by diverse news contents introduction. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), Volume 1 (Long and Short Papers), pp. 3988-3998, 2019.

[10] 徳久良子, 寺嶌立太. 雑談における発話のやりとりと盛り上がりの関連. 人工知能学会論文誌, Vol. 21, No. 2, pp. 133-142, 2006.

## A 評価指標

ユーザ役が対話終了後に評価する評価指標の一覧を表 7 に，小規模実験実施時にシステム役に対して行ったアンケート項目の一覧を表 8 に示す.

表 7 ユーザ役がそれぞれの対話後に回答した評価指標

1. システムの反応は人間らしかった

2. システムの反応はあなたの話を適切に促していた

3. このシステムとまた話したい

4. このシステムは話しやすい

5. システムは親身だと感じた

6. システムは真面目に話を聞いていた

7. システムは話を理解していた

8. システムは話に対する関心を示していた

9. システムはあなたに対して共感を示していた

10. システムは積極的に情報提供していた

11. 会話について満足した

12. 会話でのやりとりはスムーズだった

13. 会話は盛り上がった

表 8 システム役がそれぞれの対話後に回答したアンケートの項目

1. 今回の話題は話しやすかった

2.1.のように答えた理由を教えて下さい.

3. 今回の条件は話しやすかった

4. 3. のように答えた理由を教えて下さい.

5. 指定された条件通りに対話できましたか

6. 5. で「できなかった」と答えた方はその理由を教えて下さい

## B システムが積極的に情報提供を行うことの妥当性

4 節の図 3 から，システム役からの情報提供の積極性と対話の盛り上がりの関係は見られなかったが，アンケートにおいて積極的な情報提供に関するユーザの感想が得られた. 表 9 の対話後には「大谷選手について，「8冠」という情報が印象に残りました.」との理由で『会話は盛り上がった』の項目で 5 段階中 5 と回答を得た。また，別の対話後のユーザの評価では「一旦会話が終了したような時でも，次の話題を提供していた」ため『会話は盛り上がった』の項目で同様に 5 と回答を得た. これらの 2 つ評価より，システムがイニシアチブを持って話題提供を行うことの有用性が示唆された。

表 9 主体的条件・大谷選手MVP についての対話

U: その通りですね. 大谷選手にはこれからもぜひ活躍して欲しいです.

S: 今回の受賞で「8冠」となるので，これからも頑張ってほしいと思います.

U:「8冠」ですか！他にはどんな賞を取られてるんですか？