非言語音響情報を利用した聞き役対話システムに関する検討
A Study on Listening-oriented Dialogue System using Nonverbal Acoustic Features
栂井 良太†1

中島 悠†1

伊東 伸泰†2

西田 昌史†1

西村 雅史†1

Ryota Togai†1

Yu Nakajima†1

Nobuyasu Ito†2

Masafumi Nishida†1

Masafumi Nishimura†1†1†1

静岡大学 情報学部

Faculty of Informatics , Shizuoka University†2

日本アイ・ビー・エム（株） 東京基礎研究所†2

IBM Research – Tokyo , IBM Japan Ltd.

1. はじめに聞き役対話システムは高齢者の話し相手となって高齢者に生きがいを与える可能性があり，さまざまな先行研究が行われている[1] [2]．
ユーザーに対し満足度の高い対話制御を行う
ための対話ルールをすべて手作業で記述することは困難である．そこで近年は過去の対話デー
タから統計的に対話戦略を獲得する統計的対話手法が活発に研究されている[3]．多くはユーザー入力として言語情報を扱っているが，現実の人間の対話ではイントネーションや表情など，言語情報以外の様々な情報も用いて対話を行っており，それらの情報も統計的対話システムのユーザー入力として有用であると考えられている[4]．
本研究では発話長など，ユーザーの声から直接かつ容易に抽出できる非言語音響情報を利用した統計的対話システムを構築し，その有用性について検討した．

2. 統計的対話システム
2.1 システム入出力本研究で構築する対話モデルでは，入力としてユーザー発話から抽出される 3 種類の非言語音響情報と現在のシステム状態の組み合わせを用いる．非言語音響情報としては発話区間中の平均発話音量，発話長，有音率を使用し，それぞれの測定値を 3 段階に分類する．有音率とは発話区間中に音量が一定の閾値を超えた時間の発話区間全体の時間との比である．システム状態としては質問や傾聴をするだけでなく，先行研究[5]で有用性が示されている自己開示と共感を含めた 5 種類とした．5 種類のシステム状態と各状態における発話例を表 1 に示す．

表 1 システム状態と各状態における発話例
システム状態
発話例
話題転換
話題を変えましょう。最近はまっている趣味は何ですか？
質問
その趣味はいつごろ好きになりましたか？
傾聴
うんうん，それで？
自己開示
私の趣味は自作パソコンです共感
やっぱりそうですよね
2.2 対話モデル
対話モデルは特定の対話コーパスから統計的に対話戦略を学習できるように文献[6]に示される Utility rule を採用した．Utility rule とはユーザー入力(本研究では 3 種類の非言語音響情報と現在のシステム状態の組み合わせ)に対する，システムアクションの効用をガウス分布として定義したもので，最も効用が高いアクションを最適方策とする対話モデルである．本研究では2.1 に示すユーザー入力とシステムの次状態のすべての組み合わせである 675(3×3×3×5×5)種類の対話パターンを Utility rule で対応させた．
2.3 学習方法
Utility rule に使われているガウス分布のパラメータを対話コーパスから最尤推定することで，対話モデルを学習データの応答に近づくように学習させることができる．
本研究ではユーザーにとって自然な対話コーパスを作成するため，実際にシステムとユーザーとの対話を実施しつつ，各システム発話に対するユーザー評価値(-3～3)を記録し，これを学習用対話コーパスとした．学習の流れとしては，
まず 30 ターンの対話実験を 3 回行って学習用対話コーパスを構築し(ステップ 1)，その後，評価値の総和が高い対話パターンがより高い確率となるような対話パターンの確率分布を推定する(ステップ 2)．最後に，この確率分布に従って対話コーパスを生成し，対話モデルを再学習する(ステップ 3)．ステップ 3 が終了するとステップ

1 に戻り，学習済みの対話モデルを用いて再度対話実験を行い，学習用対話コーパスを更新する．
この 1 連の流れを 1 つの学習サイクルとし，最終的にユーザーの評価値の高い対話がより多く出現する対話モデルの作成が可能となる．本研究では学習用話者を 1 名に限定し，ランダムな応答を返す初期対話モデルから評価値が十分に高まったと判断できた第 5 サイクルまで学習を行った．
各学習サイクルにおける対話コーパスの平均評
価値の推移を図 1 に示す．

手法，ランダム手法の順に高い値となった．また，対話者が学習時の対話者と同じである対話者 1 の場合，提案手法は人間が考える最適応答である Wizard 手法に対し 5 段階評価で 0.6 程度の低下にとどまる一方，ランダム手法に対して 2.0程度の上昇がみられた．対話者 2，3 に関しても提案手法の評価値は Wizard 手法に対し大きな低下がみられなかったため，学習時の対話者以外の対話者にもある程度自然と思われる対話が可能であることが分かった．

図 1 各学習サイクルにおける平均評価値の推移

3. 評価実験
3.1 実験条件
学習した対話モデルの有用性を示すために，①その都度人間が判断した最適応答を返す
Wizard 手法，②非言語音響情報から統計的対話制御を行った本研究の提案手法，③ランダムに応答を返すランダム手法，それぞれの手法に基づく 3 種類の対話システムを用意した．また，それぞれのシステムに対し 3 人の対話者が 30 ターンの対話を行い，その様子を録音した(3 システ
ム×対話者 3 人×30 ターン)．なお，対話者の中の 1 人は 2.3 で示した対話モデルの学習を行った対話者と同一である．
評価時には，客観的に対話の自然さを評価するために対話者と重複しない 3 名の評価者に対話の録音データを聞いてもらうことで評価を行った．まず 1 名分の対話データ(3 システム分)に対し，3 名の評価者に対話の自然さについて 1～5 段階で評価をつけてもらった(3 システム×評価者 3名=9 個の評価値)．その後システムごとに評価値の平均値をとり，それをその対話者におけるシステムごとの評価値とした．さらにこの評価方法を他の 2 名分の対話録音データに対して行うことで，3 人の対話者それぞれにおける 3 つのシステムの評価値を算出した(対話者 3 人×3 システム=9 個の評価値)．なお，評価者も 3 システムでそれぞれ異なる．
3.2 実験結果
評価結果を図 2 に示す．3 名の対話者それぞれに対する平均評価値はすべて Wizard 手法，提案

図 2 対話者別平均評価値

4. おわりに本研究の提案手法は言語情報を一切用いていないにも関わらず客観的に見てある程度自然な対話制御を行うことができ，聞き役対話システ
ムにおける非言語音響情報の重要性が明らかとなった．

参考文献[1] 安田清,青江順一,泓田正雄,回想法を促すアニメ
エージェント：認知症者 2 人とエージェントの複数人会話,HAI シンポジウム,pp.200-205,(2013).
[2] 横山 祥恵,山本 大介,小林 優佳,土井 美和子, 高
齢者対話インターフェース-雑談継続を目的とした話題提示・傾聴の切り替え式対話法-,情報処理学会研究報告書,pp.1-6,(2010).
[3] 目黒豊美,東中竜一郎,南泰治,堂坂浩二,POMDP を用いた聞き役対話システムの対話制御,言語処理
学 会 第 17 回 年次大 会 発表論 文集 ,pp.912915,(2011).
[4] 菊池英明,鈴木堅悟,大久保崇,小林季実子,大平茂輝,白井克彦,音声対話における韻律情報の役割についての分析,Proceedings for 2002 2nd
Plenary Meeting "Prosody and Speech
Processing" pp.99-102,(2003).
[5] 東中竜一郎,堂坂浩二,磯崎秀樹,対話システムにおける共感と自己開示の効果,言語処理学会 第 15回年次大会 発表論文集,pp.446-449,(2009).
[6] Pierre Lison, A hybrid approach to dialogue
management based on probabilistic
rules,Computer Speech and Language34,pp.232-255,(2015).