自然な対話を実現する合成音声デザインの一考察
関 根 雅 人†小 川 克 彦††井 島 勇 祐††† 吉 岡野

本 済 央†††
理†††

本研究では、合成音声を用いた対話コンテンツデザインへの応用を想定し、合成音声同士の対話における先行話者と後続話者の抑揚及び話速の関係が、同意発話の自然さに与える影響を考察した．抑揚・話速、それぞれについて、先行話者と後続話者との差が異なる数種類の対話セットを用意し、ランダムに抽出された二つの対話セットを被験者に提示し、同意の発話としてより自然な方を選択してもらう官能評価実験を行った．実験結果の分析から、抑揚・話速ともに、先行話者の韻律パラメータによって、自然な同意の発話として評価される後続話者音声の傾向が変ることが考察された．

A design of naturally spoken dialogue by Speech Synthesis System
Masato SEKINE,† Katsuhiko OGAWA,††Narichika NOMOTO,††† Yusuke IJIMA†††and Osamu YOSHIOKA†††In this research, as a future application of dialogue design using speech synthesis system, westudy the relationship between the intonation and speech rate of a dialogue between 2 speakers,
and the nature of an agreeing conversation. We prepared several sets of dialogue that diﬀer
each in intonation, and speech rate, from the former speaker and the subsequent speaker.
Presenting 2 randomly selected sets of dialogue, we held a sensory evaluation experiment,
asking subjects to select the set of dialogue which sounds more like a natural conversation ofagreement.Analyzing results of the experiment, we have recognized that a tendency in which
subjects perceive dialogue as a natural agreeing conversation varies depending on a former
speaker’s prosody parameters.

1. は じ め に

テレビ番組や e-ラーニングビデオのナレーションなど、これまで声優を要する収録コストの生じていた

近年、テレビ CM や商品販促サイト内のムービーコンテンツ制作の場に合成音声が用いられ始めているにおいて、出演者同士がフリートーク形式で商品のポが、人間同士の円滑で自然なコミュニケーションを、ジティブな印象を語り合う演出が盛んに用いられ始め

機械同士の音声対話で模す事ができれば、ナレーショている．出演者同士の自然な”おしゃべり”の中で商品ン利用や音声応答だけでなく、上述のようなトーク・が好意的に扱われるシーンに影響され、視聴者も商品コンテンツ制作への応用が可能になると考えられる．

に対して好意的な印象を持つことを狙う演出であるとそのためには、従来の音声研究の中心的な分析対象で考えられる．こうしたプロモーショントークの演出は、あった単一話者の音声情報だけでなく、対話における好意的な印象を自然に発話することのできる話者を複話者間での音声情報の相互影響についても考慮する必数人要し、プロモーション対象が変わるごとに収録を要がある 1)．

し直す必要があるなどの制作コストが生じる．
† 慶應義塾大学大学院 政策・メディア研究科
Keio Universigy Graduate School of Media and Governance†† 慶應義塾大学 環境情報学部
Keio Universigy Faculty of Environment and Infomation Studies††† NTT サイバースペース研究所 NTT Cyber Space Laboratories

2. 本研究の位置付けと目的
対話における音声情報の相互影響は、人間の発話に対し自然に応答する音声対話システムの研究において注目され始めている．東海林らの研究 2) では、対話リズム（発話内の小休止）の同調をおこなう音声対話システムが提案されている．リズムの同調以外にも音声の韻律（感情を含む）などの応答能力を人間に近情報処理学会 インタラクション 2011

づける事が、自然な対話を促す為に有効であることも言及されている．
従来研究では、ユーザフレンドリーな音声応答システムへの応用が想定されいたため、＜人― 機械＞の二者間の対話コミュニケーションの上で、ユーザーである人間は対話相手としての機械の音声を判断する．本
研究で扱うコミュニケーションの図式は、＜＜機械 −機械＞ ― ＜それを聴く人間＞＞であり、人間は、対話に直接関わらない第三者として機械の音声を判断する．従って、＜人−機械＞の場合とは機械の音声を聴く態度が異なってくると考えられる．また、本研究ではプロモーション・トークでの応用を想定しているが、

図 1 実験の流れ及び被験者タスク
Fig. 1 ﬂow chart of the test and a task of subjects

こうしたプロモーション・トークでは、ポジティブな発話に対する自然な同意の意図の表現が重要になってくる．韻律による「意図」の表現は、従来研究では感情A さん）ナペタ、良かったよ．

音声表現の中に含まれてきたが、3) のプラグマティッB さん）そうですか．

ク・イントネーション理論では、韻律情報に階層を設

3.2 音声サンプルの作成定することで、emotion（感情）の表現と、attitude

NTT サイバースペース研究所で開発した音声デザ（態度) とが区別されている．前者が独立で表現が可能

インツール「Sesign」4) を使用し、女性（A さん）、男であるのに対し、態度（意図）は多くの場合対話相手性（B さん）の２種の話者モデルによる音声サンプルがいることが前提となるため、対話を聴く第三者が対を作成した．話速と抑揚（ピッチのダイナミックレン

話中のある発言に対してその意図の判断をする際に、ジ）のパラメータを変更する事で、それぞれ複数種の発言そのものに含まれる韻律情報だけではなく、その音声ファイルを制作した．
（今回使用した音声ファイル

前後の発言の韻律についても意図の判断材料として利の詳細については、実験結果及び分析の章の表 1 表 2用している可能性が考えられる．本研究では、このよ内に記載．
）

うな視点から、対話中の韻律の相互関係に着目し、合3.3 提示方法と評価基準

成音声同士の対話音声の聴取実験を通じて、先行話者今回の実験では、話者同士の話速の相互関係と、抑と後続話者との韻律情報の相互関係と、ポジティブな発話に対する同意発話の自然性との関係について傾向を考察する．

3. 実 験 内 容
先行話者と後続話者の話し方の関係性を調査するために、被験者に韻律情報の異なる複数の合成音声対話揚の相互関係について調べるため、(1)

抑揚の異なる二つの後続話者の音声を比較する対話セット (8 種)(2)話セット (7 種)(3)応答が、同意の示しかたとして自然かどうかを調べる(5 種)に行った．

抑揚を固定し（先行話者抑揚 ≒ 後続話者抑揚）話速の異なる二つの後続話者の音声を比較する対セットを聴いてもらい、先行話者に対する後続話者の官能評価実験を行った．実験は大学生 33 名を被験者話速を固定し（先行話者話速≒後続話者話速）

抑揚・話速が共に異なるダミーの対話セット三つのカテゴリを用意し、合計 20 セットをランダムな順番で提示した．実験の流れ、被験者タスクを図 1

3.1 対 話 内 容に示す．音声は PC 上で再生したものを外付けのス

対話内容は、先行話者（A さん）が架空の商品「ナピーカーから出力し、一回の実験で複数人（10 人程ペタ」に対してポジティブな発話を行い、それに対して、後続話者（B さん）が応答する．このとき、B さんの発話内容は、意味論的に特定の意図を含まず、韻律によって意図が左右される台詞を設定する．

度）の被験者に提示している．

4. 実験結果及び分析
4.1 結 果 集 計
被験者に各対話セット毎にどちらが自然に聞こえる対話スクリプト）かを 5 段階で評価してもらったアンケート結果を集計自然な対話を実現する合成音声デザインの一考察

し得点を算出した．得点は、＜前の方が自然＞および＜後ろの方が自然＞の場合、選ばれた方に 1 点加算、

表 1 抑揚比較対話セットの結果
Table 1 results of intonation comparison experiments＜前の方がやや自然＞及び＜後の方がやや自然＞の場
合、選ばれた方に 0.5 点加算、＜変らない＞が選択された場合はどちらの対話にも得点を入れない．それぞれの対話について、全ての被験者の得点を合計したものを被験者人数で割ることで平均得点を算出した．

4.2 音声データの解析
実験で使用した音声サンプルの韻律情報は、音声解析ソフト「praat」5) を用い、praat 上で Yi Xu が制作した praat script である「ProsodyPro」6) を使用し解析を行った．ここでは、各音声サンプルについて、平均モーラ長、各モーラ内での平均基底周波数 (meanF0)データを得た．モーラの切り分けについては、音声を聞きながら波形の目視によって行った．さらに、全音声サンプルについて、平均基底周波数データから最少基底周波数 (minF0) と最大基底周波数 (maxF0) を求めた．

4.3 抑揚の影響について
話速を固定し、抑揚のみを変化させた対話セットの比較実験結果から、抑揚の相互関係が同意発話の自然さの評価に与える影響の分析を行った．女性話者モデルと男性話者モデルとでは、抑揚変化の絶対量が異なる為、分析には F0 の変化量を用いるのではなく、Sesign の抑揚パラメータを用いることにした．実際のF0 の値は表 1 に付記する．それぞれの話者モデルのおおよその抑揚変化特性について、パラメータの値をP とすると、女性話者モデルでは

図 2 Sesign 話者モデルの抑揚変化特性
Fig. 2 intonation-change characteristic of each speechmodel in Sesign.

maxF 0 ≅ 194.4[Hz] + 8.1[Hz] ∗ P
minF 0 ≅ 207.1[Hz] − 2.7[Hz] ∗ Pになっており、男性話者モデルは、maxF 0 ≅ 97.5[Hz] + 5.1[Hz] ∗ P
minF 0 ≅ 91.0[Hz] + 3.1[Hz] ∗ Pになっている．女性話者モデルの場合には minF 0 と抑揚パラメータは反比例関係にあるが、男性話者モデルの場合、minF 0 は抑揚パラメータと比例しており、抑揚を大きくすると全体的に F0 が上にシフトする特性がある図 2．
図 3 は、表 1 の話者間の抑揚差と得点の関係を散布

図 3 抑揚差と得点の関係
Fig. 3 relation between diﬀerences of intonation and score.

図に示したものであるが、先行話者 A の抑揚ごとの傾向を視る為に、A の抑揚で系列を分けて表示してい• 先行話者の抑揚が小さい場合（A5 の系列）、後続る．この図から以下の傾向が読み取ることができる．

話者の抑揚はやや大きめのときが自然な同意発話• 後続話者 B の抑揚、速度のパラメータがどちらとして判断される傾向がある．

も 1 の場合 (表 1 参照)、先行話者のパラメータ• 先行話者の抑揚が中程度の場合（A10 の系列)、後に関わり無く、不自然な発話と判断される傾向が

続話者の抑揚は同程度のときが自然な同意発話とある．

して判断される傾向がある．

情報処理学会 インタラクション 2011

• 先行話者の抑揚が大きい場合（A20 の系列)、後続話者の抑揚は同程度かやや小さめのときが自然な同意発話として判断される傾向がある．

4.4 話速の影響についてきる．

• 先行話者の話速が速い場合（A128msec の系列)、後続話者の話速は同程度のときが自然な同意発話として判断される傾向がある．

抑揚を固定し、話速のみを変化させた対話セットの• 先行話者の話速が中程度の場合（A168msec の系

比較実験結果から、話速の相互関係が同意発話の自然列)、後続話者の話速はやや遅めのときが自然なさの評価に与える影響の分析を行った．Sesign では、同意発話として判断される傾向がある．

話速については話者モデルに関わり無く変化量が一定• 先行話者の話速が遅い場合（A232 246msec の系なため、分析では音声データの解析で得た平均モーラ列）、後続話者はやや早めのときが自然な同意発長を用いる．各対話の結果を表 2 に示す．

話として判断される傾向がある．

表 2 話速比較対話セットの結果
Table 2 result of speech-rate comparison experiments

5. む す び
合成音声対話の聴取実験を通じ、抑揚・話速、それぞれについて、先行話者の韻律情報ごとに、自然な同意の発話として判断される傾向が変わってくることが考察された．今後の課題としては、今回の実験では一種類の対話スクリプトで実験を行ったため、他の台詞でも今回の様な傾向が再現されるか実験する必要がある．また、抑揚比較、話速比較の聴取実験を同時に行ったため、刺戟数が少なく、詳細な傾向までは得ることができなかった．今後はそれぞれの場合についてより詳細な実験を行いつつ、話速と抑揚の相互作用についても調査し、最終的にこれらの傾向のモデル化を検討して行く．

参 考

図 4 話速差と得点の関係
Fig. 4 relation between diﬀerences of speech-rate andscore

また、図 4 は、表 2 の話者間の話速差と得点の関係を散布図に示したものであるが、先行話者 A の話速ごとの傾向を視る為に、A の話速で系列を分けて表示している．この図から以下の傾向が読み取ることがで

文献1) 長岡千賀ほか：音声対話における交替潜時が対人認知に及ぼす影響, ヒューマンインターフェー
スシンポジウム 2002, 一般発表 (2002).
2) 東海林圭輔ほか：対話に関するリズムや同調作用を考慮した音声対話システム, 情報処理学会 研究報告, Vol.2006 No.40, pp.43-48(2006).
3) ニックキャンベル：プラグマティック・イントネー
ション : 韻律情報の機能的役割, 文法と音声, 黒潮出版 pp. 55-74(1997)4) 阿部匡伸ほか：音声デザインツール Sesign, 電子情報通信学会論文誌 Vol. J84-D-II No.6 pp.
927-935(2001)
5) Boersma, Paul & Weenink, David (2010).
Praat: doing phonetics by computer[Computerprogram]. Version 5.2.07, retrieved 24 December 2010 from http://www.praat.org6) Xu, Y. (2005-2010). ProsodyPro.praat. Available from: http://www.phon.ucl.ac.uk/home /yi /ProsodyPro/.