# 感想付きニュース雑談対話コーパスの構築

成田風香 1 佐藤志貴 1 徳久良子 1 乾健太郎 1,2
1 東北大学 2 理化学研究所
fuka.narita.q1@dc. tohoku.ac.jp
\{shiki.sato.d1, tokuhisa, kentaro.inui\}@tohoku.ac.jp

## 概要

本研究では, 日々の話題についてユーザと雑談する対話システムの実現を目指している. 雑談対話システム構築に向けて, 本稿では（ニュース記事， ニュース記事に対するツイート，ニュース記事についての雑談対話）の三つ組からなる感想付きニュー ス雑談コーパスを構築した. 本コーパスの特徵は,話者の雑談に加えて, 雑談の話題となるニュースと，それに対するツイートがセットになっている点にある。なお，対話収集システムおよび感想付きニュース雑談コーパスは, githubで公開している1).

## 1 はじめに

人間同士の雑談では，感想を述べる発話が対話の盛り上がりに寄与することが知られている [1]. また近年では，ニューラルネットワークにより流暢な文の生成が可能になり, 感情を表現する雑談対話システム [2] や人の感情に共感する傾聴対話システム $[3,4,5]$ も提案されている. 一方で, 任意の話題に適切かつ人間らしい感想を生成できるほど技術が熟していないため, 適切でない感情応答を生成した場合に倫理面や安全性の観点で問題がおきる可能性があることも指摘されている $[6,7]$.

上記の問題に配慮しつつ人間らしい感想を表出するシステムの実現方法の一つとして，対象の話題に対する第三者の人間の感想の利用が考えられる.つまり，対話の話題に関する第三者の感想を入力し，状況に応じて適切な第三者の感想を選択して応答生成に利用する，図1のようなシステムが考えられる.こうしたシステムを学習するためには, 話題に対する第三者の感想を与えられた話者が，それらを適宜利用しながら発話する対話コーパスが必要となる.しかし,このような対話コーパスは現状構築されていない.

1) www.github.com/fukanarita/newschat-with-impression表 1 感想付きニュース雑談コーパスの例.

## ニュース記事 : スプリンクラー作動で楽器被害

スプリンクラーが突然作動し、舞台上の楽器が水をかぶる被害が生じた

## 提示したツイート

$\mathrm{T} 1$ : 市が補償した方がいい

T2：さすがにこれはなあ...

T3：一億とかかかる？大丈夫？

T4：ちゃんと原因究明してほしい

対話（S: システム役の発話， $\mathrm{U}$ ：ユーザ役の発話）

S1:[] 「市民文化センター大ホールでスプリンクラー 作動でオーケストラの楽器ずぶぬれ被害額は数億円か」というニュースです.

U2: すみません. そのニュースは知りませんでした. もう少し詳しく教えて下さい.

S3: [] 9 月 24 日午後 1 時ごろ，楽団が，市民文化センター大ホールでスプリンクラーが誤作動し, 楽器ずぶぬれになりました.

U4: そうなんですね. 被害額が数億円とは驚きです. ところで, スプリンクラー作動の原因は何だったのでしょうか.

（中略）

U6: 被害額の数億円の保証はどうなるのでしょうね.楽団が保険に入っていればいいんですけど. その辺の情報はありますか.

S7: [T1,T2] 副市長からお見舞いの電話がありましたが，市から被害の確認や今後の対応についての説明は受けていないようです.「市が補償した方がいい」や「さすがにこれはなあ...」などの意見が出ていますね.

U8: そうなんですか. まっ，いつものことですが，外野は言いたいことを言っているようですね. 最近はクラウドファンディングで資金を集めるといった方法もありますので，検討してみたらいいですね.

S9: [T3]「一億とかかかる？大丈夫？」という意見どおりならクラウドファンディングでも厳しいですね.

本稿では対話システムが人間の感想を適宜利用することで自然かつ盛り上がる対話を行う一例として, Akasaki ら [8] と同様にニュースを利用し, さらに人間の感想として当該ニュースに対するツイートを用いて対話し，コーパスを収集した（表 1)2)。具

2） ツイートはコーパスではツイート ID のみ記載，便宜上こ

図 1 第三者の感想を利用する雑談対話システム.

体的には，まず，話者がニュースとそれに対するツイートを参照しながら対話をするための対話収集システムを構築する。そのうえで，構築した対話収集システムを用いて感想付きニュース雑談コーパスを構築する. さらに，構築したコーパスを分析することで，話題に対するツイートの利用が対話の盛り上がりに寄与するかどうかを分析する.

## 2 感想付きニュース雑談コーパス

## 2.1 概要

本研究で構築した感想付きニュース雑談コーパスは，システム役の話者がニュースに対するツイー 卜を第三者の感想として利用しながら，ニュースについてユーザ役の話者と話す対話を収録したものである。人による自然で理想的な対話を収集するため，対話システムによる発話生成は行わず，Wizard of Oz（WOZ）方式によって人間に対話をさせコー パスを構築した。

本コーパスは，JSON Lines 形式で一対話一行として記述されており，それぞれの対話は，

・対話の話題となったニュース記事の URL

・システム役に提示したツイートのツイート ID

・システム役とユーザ役の二者の発話

からなる。

## 2.2 コーパスの構築

本コーパスの構築手順は次の通りである：

1. 対話収集システムの改変

2. 使用するニュースとツイートの選定

3. 対話収集

## 2.2.1 対話収集システムの改変

対話収集システムは児玉ら [9] のシステムを元に機能を拡張することで構築した。主な改変点は以下の通りである:

・システム役が教示（2.2.3 節）を熟読してからユーザ役とマッチングできるよう，チャットルームに到達する前にシステム役とユーザ役が開くページを分離

・システム役の教示のページとチャットルームのページにはニュースとツイート（ページ上では 「世間のコメント」と記載）を表示

・表示するニュースとツイートは，順にマッチングするワーカー一組ごとに変更

・それぞれの発話で使用したツイートに，システム役がチェックを入れて記録できる機能を追加

## 2.2.2 使用するニュースとツイートの選定

ニュース記事の選択システム役が自然な感想を選択して発話できるよう，ニュース記事一つに対して感想や意見を含むツイートが 15 個以上集まっているニュースを選択した3)．また，話者ができるだけタイムリーな話題について自然に対話できるよう，対話収集の直近 4 ヶ月を目安に記事を収集した。 ただし，東中が述べているように [10]，対話システムの発言内容には倫理的観点から注意する必要があり，組織の利益を損ねるような話題や政治などの議論を呼ぶ話題は避ける方が望ましい。我々は，本コーパスを将来的に対話システムの構築に利用したいと考えている。そこで，コーパス収集においても特定の個人や団体が非難されるような話題や政治の話題は除外した. また，成田ら [11] より訃報は対話者が気を遣うと報告されていたため除外した。これらの結果選択したニュースは, 長さ $2 \mathrm{~cm}$ の細菌発見，スプリンクラーの誤作動による楽器の被害，屋根裏から古いノミ発見などの話題の全 16 記事となった。

提示するツイートの選択一つの記事を引用するツイートは多いもので 150 以上あるが，できるだけスムーズにツイートを対話に利用できるよう，具体的な感想が述べられている 16 文字以上のツイートを 10 から 15 ツイート程度, 記事ごとに選択した。


クラウドソーシングサイト

(5) クラウドンーシングサイトにチャ゙トIDをスカし、クラウドソーシングタスク終了

図 2 対話の収集の流れ。

## 2.2.3 対話収集

対話収集の流れは図 2 の通りである.まず， Yahoo!クラウドソーシング4)にシステム役のタスクとユーザ役のタスクをそれぞれ投稿し，対話参加者はどちらかのタスクを選択する（図2の（1）．システム役とユーザ役の話者はそれぞれ異なる URL から対話収集システムにアクセスし，教示を熟読した後（図 2 の（2），1 対 1 で対話を行う（図 2 の (3)). 対話収集の際はシステムから話題を提供するものとし，システム役にのみ対話開始前にニュース記事とそのニュース記事を引用したツイートを提示した. また, 児玉ら [9] に倣って，一発話ずっ発話者が交互に変わる形式で対話を進行させた ${ }^{5)}$. 対話中，システム役には与えたツイートを適宜使いながら発話させた. なお，自然な対話を行わせるため，ツイート中の表現を自由に変えたうえで発話に取り入れることを許容した。一方でユーザ役には， Dinan ら [12]に倣い，好奇心旺盛な人という設定でシステム役の話に興味を持って対話を進めるように教示した. システム役とユーザ役の発話の合計が 11 発話以上になると終了ボタンが表示され, 任意のタイミングで双方が対話を終了できる. 対話後には，「チャット ID」を対話収集システムに表示し (図2の(4)), Yahoo!クラウドソーシングタスクに入力させ（図 2 の (5)），ワーカー自身のIDとそのチャット ID が付与された対話を結びつけて対話内容を確認し，ホワイトリストを作成した。


ホワイトリスト作成後は，役割ごとのタスクの所要時間を考慮し，システム役には 300 円，ユーザ役には 225 円報酬として支払った。

## 2.3 基本統計

本研究で構築したコーパスは，極端に不適切な発話をするワーカーを除いた一般のワーカーに依頼して収集した感想付きニュース雑談コーパス v1（v1 と呼ぶ）と，v1 の収集で教示に適切に対応したワー カーのみに依頼を絞り収集した感想付きニュース雑談コーパス v2（v2 と呼ぶ）の二つからなる. 感想付きニュース雑談コーパス v1 と v2 の基本統計情報を表 2 に示す. 表 2 に示す通り，一対話あたりの発話数は平均で 11.3 発話であった. また, 一発話あたりに使用されたツイート数は平均で 2.5 ツイートであった. 今回の収集では, システム役の話者が発話に使用したツイートにチェックを入れて記録したため，ツイートを使用した発話でもチェックをし忘れている場合も観察された. 今後，データを整備する予定である. 今後データを整える必要がある.

## 3 分析：ツイート使用の有効性

本コーパスの特徴の一つは，対話の話題に加えて関連するツイートをシステム役に与えて対話に利用させたことである. この情報を与えたことや対話の進め方が，対話の自然さや盛り上がりに寄与するかどうかを分析した. 具体的には, 表 2 の対話収集のうち一部の対話収集において, 対話終了後にワー カー自身に対話の盛り上がりを評価させた. 結果を図 3 に示す. 1 は「まったく盛り上がらなかった」,
表 2 対話データの基本統計情報.

 &  &  &  \\

$\mathrm{~V} 2$ & 213 & 2395 & 11.2 & 13.0 & 206 & 2.9 \\

ロシステム役による評価ロユーザ役による評価

図 3 対話参加者による盛り上がりの評価.

7 は「とても盛り上がった」を意味しており，数字が大きいほど盛り上がりを感じたことを示している. 図 3 の結果から，中央の評価である 4 点よりも高いスコアに回答が集中していることがわかる.このことから，今後ツイートを使用しなかった場合と比較する必要はあるが，ツイートを利用した今回の対話収集では，話者はある程度の対話の盛り上がりを感じていたことが示唆された。

その一因は表 3 の対話例に表れていると分析した.この対話においては U2 の発話で対話が終わってしまう可能性も十分あったと考えられるが，S3でツイート内容を伝えることで，その後の対話につながっている. 具体的には，ツイートでされている問いかけについてユーザに考えさせることで対話の発展につながった.

このことから，本コーパスを利用して，第三者の感想を適切に用いて応答を生成可能なシステムを構築することで，より盛り上がる対話を実現できる可能性がある.

## 4 おわりに

発話の安全性や倫理面を考慮しながら，感想を含めて対話をする雑談対話システムを実現する方法の一つとして，話題に対する第三者の感想を利用することが考えられる。本稿では，こうしたシステムの構築に有用な対話コーパスとして，対話参加者が表 3 ツイートの使用が有効に働いたと見られる例。

ニュース記事 : 国宝の方丈の屋根裏で「ノミ」見
解体工事が行われている国宝の方丈の屋根高
00 年前のものと見られる大工道具の「ノミ」
かった
ツイート
T5 : 意図的な置き忘れだと思う、多分
T6 : こういう話は好き。興味深い
T7 : わざと置いたってこともあるかも
T8: 職人にとって高価で大切なノミをなぜ」

対話（S: システム役の発話，U：ユーザ役の発話）

S1: [] 保存修理が続く国宝の方丈の屋根裏から、約 400 年前のノミが見つかったそうです。

U2: 400 年前のノミですか? それは素晴らしい発見ですね。

S3: [T8] 職人にとって高価で大切なノミを、なぜ、この場所に置き忘れたんでしょうね。

U4: 確かに。おっちょこちょいな職人さんだったのかあるいは何か意味があるのでしょうか？

S5: [T5,T7] 大工さんが意図的にノミを置き忘れた可能性もありますね。

U6: 仰るように職人さんにとって相当大切なものだと思いますので何か意味があるのかもしれないと勘ぐってしまいました。シンプルに置き忘れの可能性もありますよね。

$
\text { （中略） }
$

U10: 本当に素晴らしいと思います。

S11: [T6] こういう話は好きです。

第三者の感想を組み込んだ対話を行う「感想付きニュース雑談コーパス」を構築した．具体的には，話題となるニュースに対する第三者の感想として， ニュースを引用したツイートを利用させながら人同士の対話を収集した. 本コーパス中の対話を分析した結果，ツイートの利用による感想・意見の表出が，収集した対話の盛り上がりに寄与した可能性があることが示唆された。

今後は，今回構築したコーパスを用いて，雑談において効果的な第三者の感想の選択方法や応答生成への利用方法を分析する. その分析結果をもとに，第三者の感想を適宜利用し対話を盛り上げることのできる雑談対話システムの構築を目指す。

## 謝辞

本研究の対話収集では京都大学・児玉貴志氏のグループが開発された Chat Collection Framework を改変したものを用いています. 本システムの開発者の皆様に深謝いたします。また，Yahoo!クラウドソー シングにクラウドワーカーとしてご協力いただいた皆様へ，深く感謝を申し上げます. 本研究の一部は JSPS 科研費 JP21J22383 の助成を受けたものです.

## 参考文献

[1] 徳久良子, 寺嶌立太. 雑談における発話のやりとりと盛り上がりの関連. 人工知能学会論文誌, Vol. 21, No. 2, pp. 133-142, 2006.

[2] Chenyang Huang, Osmar Zaïane, Amine Trabelsi, and Nouha Dziri. Automatic dialogue generation with expressed emotions. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 49-54, New Orleans, Louisiana, June 2018. Association for Computational Linguistics.

[3] 井上昂治, ラーラーディベッシュ, 山本賢太, 中村静,高梨克也, 河原達也. アンドロイド ERICA の傾聴対話システムー人間による傾聴との比較評価-. 人工知能学会論文誌, Vol. 36, No. 5, pp. H-L51_1-12, 2021.

[4] Toyomi Meguro, Ryuichiro Higashinaka, Yasuhiro Minami, and Kohji Dohsaka. Controlling listening-oriented dialogue using partially observable Markov decision processes. In Proceedings of the 23rd International Conference on Computational Linguistics (Coling), pp. 761-769, 2010.

[5] Toshiaki Nishio, Yuichiro Yoshikawa, Takamasa Iio, Mariko Chiba, Taichi Asami, Yoshinori Isoda, and Hiroshi Ishiguro. Actively listening twin robots for long-duration conversation with the elderly. ROBOMECH Journal, Vol. 8, , 2021.

[6] Dian Yu and Kenji Sagae. Automatically exposing problems with neural dialog models. CoRR, Vol. abs/2109.06950, , 2021.

[7] Jing Xu, Da Ju, Margaret Li, Y-Lan Boureau, Jason Weston, and Emily Dinan. Recipes for safety in open-domain chatbots. CoRR, Vol. abs/2010.07079, , 2020.

[8] Satoshi Akasaki and Nobuhiro Kaji. Conversation initiation by diverse news contents introduction. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACLHLT), Volume 1 (Long and Short Papers), pp. 39883998, 2019.

[9] 児玉貴志, Frederic Bergeron, 新隼人, 田中リべカ, 坂田亘, 黒橋禎夫. クラウドソーシングで利用可能な日本語対話収集基盤. 言語処理学会第 27 回年次大会, pp. 859-863, 2021.

[10] 東中竜一郎. 対話システムと倫理. 人工知能, Vol. 31,
No. 5, pp. 626-627, 2016.

[11] 成田風香, 佐藤志貴, 徳久良子, 乾健太郎. 話題提供雑談システムにおける感情と意見の表出方法の検討.言語処理学会第 28 回年次大会, pp. 1078-1083, 2022.

[12] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledge-powered conversational agents. CoRR, Vol. abs/1811.01241, , 2018.