Vol.14 No.3, 2012

原著論文

ボイスチャット中の音声情報に基づく会話活性度推定方法の検討
守屋 悠里英∗1 田中 貴紘∗1 宮島 俊光∗1 藤田 欣也∗1
Study of Activation Level Estimation using Phonetic Information during Voice Chat
Yurie Moriya∗1, Takahiro Tanaka∗1, Toshimitu Miyajima∗1and Kinya Fujita∗1
Abstract – In this paper, we discuss the feasibility of conversational activation level estimation by using phonetic and turn-taking features. At ﬁrst, we experimentally collected
six groups of 3-persons conversational voice at three diﬀerent activation levels. Then, we
calculated the phonetic and turn-taking features, and analyzed the correlation between
the features and the activity level. The analysis revealed that response latency, overlap
rate and speech rate correlate with activation level and are less sensitive to individual
deviation. Then, we formulate multiple regression equation, and examined the estimation
accuracy using another six 3-persons groups. The results demonstrated the feasibility toestimate activation level at about 24% root-mean-square-error.

Keywords : activity level of conversation, phonetic feature, estimate, speech information processing, avatar

1.

反する情報を同時に相手に送った場合，メッセージ伝

はじめに達要素は顔の表情が 55%，音声が 38 ％，言葉が 7%を
高速広帯域ネットワークの普及に伴い，様々な遠隔占めると報告した [3] ．これらの研究は，ヒトがコミュ

コミュニケーションシステムが開発され，普及していニケーションにおいて，多くの NV 情報を認識してる．中でも，電子メールや電子掲示板，テキストチャッいることを示すものであり，アバタを介したコミュニ

トなどのテキストを主たる媒体とするシステムは，マケーションにおいても，NV 情報の欠落は，会話感をイクロブログのように，さらに形態を変化させなが損ない，コミュニケーションを阻害すると考えられる．

ら社会に浸透している．その一方で，テキストコミュ

したがって，適切な NV 情報をアバタに表出させるこ

ニケーションは，感情伝達が難しい点なども指摘されとが，自然なコミュニケーションを実現する上で必要

ている

[1]

．他方，ボイスチャットやビデオチャットなになってくる．

どの音声や映像を媒体とするシステムも，無料ソフト

アバタに視線や表情，ジェスチャといった NV 情報

ウェアの配布や機器の低価格化を背景に，利用者層がの表出機能を実装した場合，手動での制御は煩雑で広がっている．ビデオチャットは会話相手の状態を視あり，ユーザの負担が増加する．そこで，NV 情報の認可能であるという利点を有するが，背景画像等を介自動表出制御に関する研究が行われてきた．渡辺らのした意図しない情報流出の可能性が懸念される．ボイ
スチャットは導入が容易であるものの，多人数会話にInterActor は，話者の音声情報を基に自動でアバタの頷きやジェスチャ制御することで，会話が促進される

おいては，発話者識別の困難さや，発言の少ないユー

ことを示した [4] ．筆者らも，音声情報に基づくアバタ

ザの存在感の希薄化といった課題がある．そこで，仮の表情や視線制御，発話強調動作の生成手法を提案す

想空間とユーザの分身となるアバタを利用することで，るとともに，実験的に有効性を検討してきた [5] ．これ意図しない情報流出を抑制しつつ，他のユーザの存在

らの研究は，個々の NV 情報の制御の有効性を示したを感じながら会話することを可能とする，様々なシスが，NV 情報間の整合性に関しては，特に検討されてテムが開発されている．

いなかった．しかし，ヒトの動作は自身や場の状態に他方，一般的な対面会話場面においては，相手の言応じて変化することから，アバタの動作の大きさや速葉だけでなく，表情やジェスチャといった非言語（ノさ，動作の発生頻度などを統一的に制御 [6] すること

ンバーバル，以下 NV) 媒体を介したコミュニケーショ

で，より自然な印象が得られ，ひいては会話の促進にンを行っていることが知られている．マジョリーは，もつながると期待される．そこで，筆者らは，会話のメッセージの伝わり方の 65%は NV コミュニケーショ

活性度に応じて身体各部の動作の大きさや発生頻度なンによるとし [2] ，マレービアンは，言語と非言語で相どを統一的に変化させる，アバタの動作制御アルゴリ
ズムを検討してきた [7] ．しかし，次章に詳述するよう*1：東京農工大学大学院*1：Tokyo University of Agriculture and Technologyに，会話活性度に関連する先行研究の大半が，各種音( 57 )

283

ヒューマンインタフェース学会論文誌 Vol.14, No.3, 2012

表 1 韻律指標と感情の関係 (先行研究より)
Table 1 Relationship between emotions andphonetic features (summary of preceding studies).

声指標と活性度の相関の報告に留まっており，指標を用いて活性度を推定した際の誤差や，個人差等の観点からの推定指標としての適否に関しては，ほとんど検討されていなかった．
そこで，本論文では会話の盛り上がりの程度の主観的印象を会話活性度と定義し，自然会話における活性ピッチ
強度度の自動推定の可能性を検討する．これまでに，活性話速度の推定には，手の動きなどのジェスチャから推定す

抑揚る手法も提案されている [8] ．しかし，動作に基づく活

怒り
高い
強い
非常に
速い
-

喜び
高い
強い

感情
嫌悪
低い
弱い

悲しみ
低い
弱い

弛緩
低い
-

速い

速い

遅い

-

-

-

-

ない

性度推定は，カメラなどの機材を必要とし利用環境が制限される．そのため，本研究では，音声情報のみに

表出は，真に必要な場面において手動で制御するもの

基づく活性度推定を検討対象とした．会話実験によりとして，活性度のみの 1 軸の自動制御について考え収集した 3 人会話音声から算出した各種音声指標と，る．ここで，韻律情報と感情の関連性に関する先行研

主観的活性度の相関を分析したところ，オーバーラッ

究の知見を円環モデルにあてはめてみると，怒りや喜プ率と平均発話潜時，発話率の 3 者に高い相関が認め

びは活性度が高く，嫌悪や悲しみ，弛緩は活性度が低られたため，これらを用いて活性度の推定を試行した

い状態に相当する．したがって，韻律情報と会話活性

ところ，キャリブレーションが不要で個人差や環境の度の間には相関関係があるものと推測される．すなわ

影響を受けにくい，会話活性度推定の可能性を示唆す

ち，韻律指標に基づく会話活性度推定の可能性が期待る結果が得られたため，報告する．

される．

2.
2. 1

他方，話者の内部状態は，個人の音声の韻律だけで関連研究はなく，会話の構造にも影響することが指摘されている．例えば，活性度が高くなると，話者間の発話が重会話活性度と音声指標

感情等の影響により会話中の音声が変化することなるオーバーラップの頻度が高くなることや [15], [17] ，は，多くの先行研究によって指摘されている．感情の肯定的発話で話者交替時の発話潜時が短くなることが変化は韻律情報の変化を伴い，例えば怒りではピッチ報告されている [16] ．発話全体においても，活性度がと強度は高く [9] ，話速は速くなり [10] ，喜びでも同様

高くなると無音時間が減少し，発話率が上昇することに，ピッチと強度が高く，話速が速くなる [9] ．他方，が指摘されている [17] ．また，会話を続けることで話嫌悪のときにはピッチと強度は低く [10] ，話速は速く

者間の行動が類似する同調傾向は，特に女性グループなる [11] ．悲しみのときには，ピッチと強度は低くなで観察され [15] ，会話活性度との関連が期待される．活り，話速は遅くなる [10] とされている．また，弛緩感

性度により変化すると予想される，会話構造指標を表

情ではピッチが低くなり抑揚もなくなることが指摘さ2 に示す．

れている

[12]

2. 2

．先行研究で報告されている，感情によ

個人と場の活性度とアバタ制御への応用る韻律指標の変化を表 1 にまとめる．一度生じた感情

会話の盛り上がりの程度に連動して，うなずきや上は，特に強い外的要因が作用しない限り，ある程度の肢による強調動作が速く大きくなるなど，アバタ動作

時間継続すると考えられるため，会話中に生じた感情の大きさや速度等が適切に変化すれば，音声から受けは，十分に検出可能な変化を会話音声にもたらすもの

る印象とアバタの挙動が一致し，より自然なコミュニと考えられる．

ケーションにつながるものと期待される．瀬島らは，オーバーラップ頻度の重み付き移動平均によって会話

人間の感情について，ラッセルらは感情を快-不快と活性-非活性の 2 軸で表す円環モデルを提唱している [13] ．なんらかの方法を用いて，アバタの感情表出

表 2を自動制御した場合，誤推定による意図しない不快感
情の表出は，コミュニケーションを阻害すると考えられる．しかし，自然会話音声からの感情種の推定は，会話構造指標と活性度の関係 (先行研究より)Table 2 Relationship between activation level
and conversational features (summary of preceding studies).

現段階では容易とは言い難い [14] ．また，不快感情は活性度

理性によって抑制することが，社会通念上望ましいとオーバーラップ頻度
発話潜時
発話率
同調傾向

されることから，実際の会話場面での表出頻度は必ずしも高くない．そこで，本研究では，知人同士によるカジュアルな会話場面での利用を想定し，不快感情の284( 58 )

高い
高い
短い
高い
強い

低い
低い
長い
低い
弱い

ボイスチャット中の音声情報に基づく会話活性度推定方法の検討の活性化を検出し，仮想聴衆の動作に前傾などの強調を加えると，主観的な楽しさや好ましさが向上したと

VoIP によって音声通信を行った．
また，実験中の話題に，それぞれ異なる制約を課す

報告している [18] ．そこで筆者らも，会話の盛り上がことで，会話活性度の低・中・高 3 段階の制御を行っりの程度を活性度と定義し，活性度に応じたアバタ動

た．話題以外には特に教示を与えず，自然に近い状態

作の自動制御法を検討してきた[6]．なお，先に述べたで会話を行わせた．実験は，各条件 15 分間の計 45 分

ように，本研究においても先行研究と同様に，主観的間とし，順序効果が相殺されるように統制した．さらな会話の盛り上がりの程度を会話活性度と定義する．

に，各条件での会話終了後，被験者に会話活性度を 0

会話音声からの活性度推定が可能になれば，アバタ〜100 ％で主観評価させた．評価は会話全体の活性度

動作の自動制御が可能になると期待される．複数人会に加え，会話の前半・中盤・後半の各 5 分に対して，

話における心理的な盛り上がりの程度には，参加者ご自身の活性度と場の活性度の 2 種類の活性度についてとのばらつきが伴うため，活性度は個人ごとに異なる

主観評価させた．このとき，場はグループ全体の活性値を取ると考えられる．一方で，会話の盛り上がり感

度，個人は被験者自身の活性度であり，両者を一致さは必ずしも話者のみが感じるものではなく，受話が主せる必要はないと教示した．
実験条件

体の参加者も，会話の場の総体的な変化に同調して漠3. 2然とした盛り上がりを感じる可能性が考えられる．こ

会話活性度の 3 段階制御を目的に，実験で課した話のとき，場の総体的な活性度は，会話参加者によって題に関する条件を以下に示す．実験前の聞き取り調査もたらされるものであるが，立場や発話率の相違など

により，験者が予め用意したニュースや社会問題に関を考えると，個人の活性度の単純平均等で代表されるする被験者の知識や興味を調査した上で，話題を設定とは考えにくい．そこで本研究では，発話行動に反映した．

される個人ごとの活性度とは別に，受話主体の参加者• 条件 L，想定する活性度 低 ：被験者 3 人の知識に影響を及ぼす会話の場全体の活性度を想定し， 個と興味が最も低い深刻なニュースについて真剣に人の活性度 と 場の活性度 の 2 つの会話活性度の議論させ，他の話題についての会話は禁止した．

• 条件 M，想定する活性度 中 ：被験者 3 人とも推定に向けた実験的検討を行う．
また，実際にアバタの動作を制御する場面では，発知識を有してはいるが，興味が低い社会問題につ話の多いユーザと発話が少ないユーザ，両方のアバタ

いて議論させた．他の話題についての会話は禁止の活性度を制御する問題と考えることもできる．発話した．

は，本人の発話に基づく個人の活性度と，場全体の発• 条件 H，想定する活性度 高 ：話題の制限は行わなかった．また，話題選定の助けとなるように，話に基づく場の活性度を推定するとともに，加重平均

各被験者の趣味をアンケートで事前調査し，結果などの手段によって，両者を個々のアバタに反映するを全員に教示した．さらに，できるだけ盛り上がの多寡にかかわらず，適切に活性度を制御するためにことが望ましいと考えられる．

3.

実験

活性度の各音声指標への影響を調べるため，以下の実験手順で，活性度の異なる会話音声を取得した．実験には，自然な音声会話が可能であり，かつ，遅延や画角などが，NV 情報を自動制御したアバタ音声会話に近くなるように，ビデオチャットシステムを用いた．

3. 1

実験方法

実験は，被験者を 3 人 1 組とし，異なる 3 つの条件
でビデオチャットによる会話を行わせ，音声を記録した．被験者は 20 代の男女各 9 人の合計 18 人である．
会話グループは，男性 3 人によるグループを 3 組，女性 3 人によるグループを 3 組の計 6 組とし，全組で被
験者全員が顔見知りとなるよう組み合わせた．実験に

図 1 実験に使用したビデオチャットシステム(a) 情報の流れ，(b,c) 利用風景

用いたシステムを図 1 に示す．被験者は，それぞれ防音室に入り，P2P 方式で，リアルタイムに各被験者の縦 46mm 横 61mm のバストアップ画像を相互通信し，( 59 )

Fig. 1 Used video chat system (a) ﬂow of information, (b,c) scene of conversation285

ヒューマンインタフェース学会論文誌 Vol.14, No.3, 2012

4. 1

指標の算出方法

会話実験によって得られた音声データの例を，図 3に示す．各指標を算出するため，まず，発話区間の切り出しを行った．音声の有無を判定する音圧の閾値は，
ホワイトノイズの約 5 倍，平均音圧の約 1/10 に実験的に決定した．さらに有音区間と有音区間の間の無音
図2

区間が 0.3 秒以内であれば，発話中の小休止と見なし被験者による活性度の主観評価値(a) 個人の活性度，(b) 場の活性度

有音区間と見なした．最後に有音区間が 0.1 秒以上であれば発話区間とし，その他はノイズと見なした．各Fig. 2 Evaluation of subjectively activationlevel. (a) personal activation level, (b)group activation level

指標の算出方法を以下に示す．

• 正規化音圧：30ms 毎に算出した音圧を，各話者の音圧の最大値で正規化し，0〜1 の範囲の値とした．
• 正規化ピッチ：30ms 毎にピッチを算出し，各話るよう教示を与えた．
条件 L においては，知識も興味もない話題であるた者のピッチの最大値で正規化した．

め，話題を広げられず，活性度は特に低くなると予想される．一方，条件 H では，話題制限がなく，話者の• 音圧の変動係数：抑揚が強くなると音圧の変動も好きな内容について話して良いため，活性度は特に高大きくなると考え，発話区間中の音圧の標準偏差

くなると予想される．条件 M は，知識はあるため話を平均値で除算した．

を広げることは可能であるが，特に興味のない話題で• ピッチの変動係数：抑揚が強くなるとピッチの変あるため，活性度は条件 L と H の間の中程度になる

動幅も大きくなると考え，発話区間中のピッチの標準偏差を平均値で除算した．

と予想される．

3. 3

実験結果概要被験者自身が会話後に回答した，活性度の主観評価
結果を図 2 に示す．なお，会話開始直後の数分間は，どの条件においても，何を話すかという話題探しの会• 話速：話速算出には，1 秒あたりのモーラ数の計測が必要である．そこで音圧の谷と谷の間を音節と近似する手法 [19] を用い，音圧の極小値から極小値までを 1 音節と見なした．さらに，各音節の時間の平均を算出することで，近似的に話速を求話が多く発生し，被験者の活性度評価値にも差が見らめた．

れなかったため，15 分間の会話データの内，前半の 5分間を除外し，中盤以降の 10 分間を分析対象とした．
図 2 の結果を，実験条件を要因とした Kruskal-• 発話長：話速が速くなれば，同一文の発話時間は短くなる．そのため，一発話あたりの発話時間も，話速の変化を反映して変化する可能性が考えられWallis 検定を行ったところ，有意差が確認された（p<0.01）．そこで， Steel-Dwass 法による多重比較

る．そこで，発話区間の終了時刻から開始時刻を引いた値を発話長として算出した．

を行った結果，各条件間に有意差が認められ，会話条• 同調傾向：先行研究と同様に，音圧・ピッチ・話速・発話長に関して，被験者 3 人の間に正の相関が確件の設定によって活性度が 3 段階に制御されていたことが確認される．なお，個人と場それぞれについて主
観評価を行わせたが，個人と場で全く同一の回答をした被験者はいなかったことから，個人と場の活性度を区別して評価していたことがうかがえた．

4.

音声指標と活性度の関係の分析

本章では，先行研究に基づき，韻律を反映する正規化音圧・正規化ピッチ・音圧の変動係数・ピッチの変動係数・話速・発話長・同調傾向，そして会話構造を反映するオーバーラップ率・平均発話潜時・発話率の10 の指標について，活性度の反映の有無や，個人差の大小などについて分析を行う．そうして，活性度自動図 3 会話実験中の音声データと各指標検出例

Fig. 3 Example of actual phonetic information and calculated phonetic features.

推定に適した指標を検討する．
286( 60 )

ボイスチャット中の音声情報に基づく会話活性度推定方法の検討

認された場合を話者が協応していると見なし，同実験条件を要因とした Kruskal-Wallis 検定を行ったと調傾向を示す値として，相関が確認された発話のころ，平均正規化音圧，平均正規化ピッチ，オーバー割合を算出した [15] ．非発話区間は，先行研究とラップ率，平均発話潜時，発話率の 5 指標で有意差が同様に指標を線形補間し，50 発話ごとの話者間確認された（p<0.05）．

の指標値の相関係数の正値の割合を算出した．

平均正規化音圧および平均正規化ピッチ，オーバー• オーバーラップ率：会話が盛り上がると，笑いなどの発話の重畳が多く発生すると予想される．そラップ率，発話率，平均発話潜時は，ほとんどの話者

こで，話者が発話を開始した時に，既に他の話者

し，音圧とピッチが正規化後も大きな個人差やグルーが発話していた場合に，オーバーラップ発生と見プ差を示した一方で，オーバーラップ率と発話率は，なした．また，発話数の多少によって，オーバー

グループ間の差が小さい傾向が見られる．平均発話潜

ラップの発生数に差が生じるため，発話数に対す時は，ほとんどの被験者で高活性度時に 0 秒程度までるオーバーラップの発生割合を算出した．

減少しており，グループ差に加えて個人差も小さい傾において活性度に応じた増減傾向が確認された．ただ• 発話潜時：話者交替の発生を検出し，後発発話の開始時刻から先発発話の終了時刻を減算した値を求め，後発発話者の発話潜時とした．発話潜時は向が認められた．
なお，G1 のみで高活性度条件での会話構造関連 3
指標の変化が小さい傾向が見られるが，他の 5 グルー

正値と負値の両方を取り，発話の重なりが生じた

プでは条件 LH 間の活性度差が約 50%だったのに対し，

話者交替では負値をとる．会話の活性度が高くな

G1 は約 20%であった．すなわち，G1 は条件 H におると発話権授受のリズムが速くなり，潜時が小さいて他グループほど盛り上がっておらず，話題統制にくなると予想される．

よる活性度制御効果が小さかったことが一因と考えら

ただし，相槌や笑い声などの他話者の発話に対れる．

して完全に重なる発話では，発話権の授受は発生

4. 3

推定に用いる指標の選定

しない．そこで，発話権を持つ発話に遅れて開始

分析した指標のうち，平均正規化音圧・平均正規化

した発話が後から終了した場合のみ，先行話者か

ピッチ，オーバーラップ率，発話率，平均発話潜時はらの発話権の移譲，すなわち話者交代があったとほとんどの話者において活性度に応じた増減傾向が見見なして，潜時を算出した．

られ，活性度とよく相関していた．しかし，図 4 に見

• 発話率：個人の発話率は，当該被験者の発話が検出されている時を発話状態とし，発話状態の時間られるように音圧とピッチは正規化を行っても個人差が大きく，マイク感度など環境の影響も受けやすいこ割合を求めた．

とから，アバタ制御への応用には，キャリブレーショ

分析結果

ン方法等の検討が必要である．一方，オーバーラップ

4. 2

３つの会話条件における，前半を除く中盤および後率と平均発話潜時，発話率の会話構造に関連する 3 指

半 10 分間の，被験者およびグループごとの各指標の標は，条件 H での指標値の個人差やグループ差が小平均値を図 4,5 に示す．場の指標のうち，発話率は，さく，有意差も確認されたことから，他の話者でも同話者全員が発話していない状態を沈黙状態として，沈様の変化を示すことが予想される．さらに，これら 3

黙状態ではない時間の割合とした．発話率以外は，話指標は発話の時間関係に基づくため，マイク感度など者 3 人の各指標値の平均とした．また，同調傾向につの環境差の影響を受けないことからも，キャリブレー

いては，話速と発話長については傾向が見られず，音ション無しでの活性度推定につながる可能性が期待さ

圧とピッチで同様の傾向が見られたため，音圧の結果れる．

のみを記載する．グループ G1 は話者 a から c で構成

よって，次章以降では，オーバーラップ率と平均発され，同様に，話者 d から r がグループ G2 から G6

話潜時，発話率の 3 指標に基づく，場と個人の会話活に相当する．なお，話者 a から i は男性，話者 j から性度推定の可能性を検討する．

話者 r は女性である．

5.

音声指標に基づく推定法の検討

分析の結果，先行研究と同様に，平均正規化音圧，
活性度推定式の検討

平均正規化ピッチ，オーバーラップ率，発話率は，高5. 1

活性度において増加し，平均発話潜時は高活性度にお5. 1. 1 会話音声指標と活性度の関係いて減少する傾向が確認された．一方で，音圧とピッ

オーバーラップ率と平均発話潜時，発話率による活チの変動係数，発話長及び話速は活性度との顕著な相性度推定可能性の検討のため，3 指標と主観的活性度

関は見られず，同調傾向は先行研究 [15] と同様に，女の相関関係を分析した．話者およびグループごとの，3性グループのみで確認された．また，全指標について

指標の中盤・後半の平均値と，各個人あるいはグルー( 61 )

287

ヒューマンインタフェース学会論文誌 Vol.14, No.3, 2012

図 4 指標の分析結果 1 (a,b) 平均正規化音圧，(c,d) 平均正規化ピッチ，(e,f) 音圧の変動係数，(g,h) ピッチの変動係数，(i,j) 話速，(k,l) 発話長，(m) 正規化音
圧の同調傾向Fig. 4 Results of phonetic feature analysis. (a,b) average of normalized soundpressure, (c,d) average of normalized pitch, (e,f) variation coeﬃcient ofsound pressure, (g,h) variation coeﬃcient of pitch, (i,j) utterance rate,(k,l) utterance length, (m) average of normalized sound pressure synchrony

288( 62 )

ボイスチャット中の音声情報に基づく会話活性度推定方法の検討

図 5 指標の分析結果 2 (a,b) 平均発話潜時，(c,d) オーバーラップ率，(e,f) 発話率

Fig. 5 Result of phonetic features 2. (a,b) average of response latency, (c,d)
overlap rate, (e,f) speech rate

プの活性度の主観評価値の散布図を図 6 に示す．ここで，被験者による場の活性度の主観評価値は，評価者の尺度の差によってばらつくと考えられることから，場の活性度は 3 人の評価値の平均値を用いた．また，発話潜時のうち，話題が尽きた場合などに生じる例外
的な長い発話潜時は，会話グループの状態を反映した
結果ではあるものの，定常的な会話リズムとはやや性質が異なると考えられることから，個人でも場でも，実験的に閾値を 5 秒とした外れ値処理を行い，平均値を算出した．各活性度と各指標の相関係数を表 3 に示す．
個人の活性度は，散布図に見られるように，平均発
話潜時と強い相関を示し，オーバーラップ率と発話率
ではばらつきが大きくなるものの，中程度の相関が認められた．場の活性度は，3 指標すべてにおいて個人の場合よりもばらつきが小さく，強い相関が確認された．すなわち，精度の差はあるが，これらの指標に基づく個人や場の活性度推定の可能性が示唆された．

図 6 個人と場の活性度と指標 (a,b) 平均発話潜時，(c,d) オーバーラップ率，(e,f) 発話率

表 3 各活性度と各指標の相関係数

Table 3 Correlation coeﬃcients between activation levels and values of phonetic
features.
オーバー
平均
発話率
ラップ率 発話潜時
個人
0.48
-0.60
0.37
場
0.72
-0.79
0.82

Fig. 6 Scatter plot, activation levels vs. phonetic features. (a,b) average of response latency, (c,d) overlap rate, (e,f)
speech rate

( 63 )

289

ヒューマンインタフェース学会論文誌 Vol.14, No.3, 2012

5. 1. 2 活性度推定式の検討算出された各指標値を，(1,2) 式にそれぞれ代入し，活3 指標すべてに会話活性度との相関が確認されたこ性度の推定値を算出した．

ターンに対してロバストな推定が可能と考え，3 指標

6. 2
実験結果
推定された活性度と，主観評価による活性度評価値と活性度の重回帰式を求め，活性度推定式とした．個の散布図を図 7 に，RMSE および，主観評価値と推定

人の活性度推定式を (1) 式，場の活性度推定式を (2)値の相関係数を表５に示す．

と，また，より多くの指標を用いた方が多様な会話パ散布図に見られるように，個人の活性度も場の活性式に示す．

度も，主観評価値との正の相関傾向を示し，前章で求個人の活性度 = 0.276 ∗ オーバーラップ率 [%]めた推定式による活性度推定の可能性が確認される．

−27.2 ∗ 平均発話潜時 [s]

場の活性度は，個人の活性度と比較してばらつきが小+0.423 ∗ 発話率 [%] + 41.1 (1)
場の活性度= 0.363 ∗ オーバーラップ率 [%]なった．個人の活性度推定値は，被験者自身による主−33.8 ∗ 平均発話潜時 [s]

観評価値よりやや高くなる傾向を示したが，傾きは 1+1.44 ∗ 発話率 [%] − 22.0
5. 2

さく，回帰直線も，ほぼ主観評価値と一致する結果とに近く，平均 RMSE は 24%であった．また，分析実(2)

験で重回帰式を求めた際に，標準偏回帰係数が最大となった，発話潜時（個人）と発話率（場）に関して，推定式の妥当性の確認

上記の会話活性度推定式の妥当性を検討するため，

分析実験データから各指標の 1 時近似式を求め，推定分析データである 6 組の会話音声に対して，活性度推

実験データに対する単一指標による活性度推定も行っ定を試行した．推定には，中盤・後半の 5 分間ずつのた．単一指標の結果と比較すると，平均 RMSE は同各指標値を用いた．なお，推定値が 0 未満となった場程度であったが，相関係数が重回帰式を用いた推定で合は 0，100 を超えた場合は 100 とした．そうして，推は個人が 0.02，場が 0.01 向上していた．以上のよう定値と主観評価値から，RMSE（二乗平均平方根誤差）に，会話構造に関連する指標を用いることで，個人差と，相関係数を算出した．結果を表 4 に示す．

やグループ差を考慮せずキャリブレーションを行わずに，RMSE20%程度で，おおよその活性度が推定でき分析データに対する推定結果は，個人の活性度のる可能性が示された．

RMSE が 18%で，場の活性度が 12%であった．場の活性度に比べて個人の活性度の推定誤差が大きい結果

7.

考察となったが，いずれも高い相関を示すことが確認され

7. 1
推定精度
今回の実験では，分析データと推定データの両方で，た．すなわち，個人差やグループ差を考慮せず，キャ
リブレーションを行わずに算出可能な指標からであっ

場の活性度が個人の活性度よりも推定精度が高い結果ても，ある程度の精度で活性度が推定できる可能性がとなった．場の活性度は個人ごとの主観尺度のばらつ示唆された．

6.

推定実験

分析で得られた推定式による会話活性度推定の可能性を検証するために，新たに会話音声を収集し，推定実験を行った．

6. 1

実験方法

分析データ取得時と同様の実験条件下で，新たに 20
代の男女各 9 人の合計 18 人，6 グループの会話音声

図 7 活性度推定値と主観評価値 (a) 個人の活性度，(b) 場の活性度を収集した．その後，収集した会話音声から，中盤 5
分と後半 5 分のオーバーラップ率，外れ値処理を行った平均発話潜時，および発話率を算出した．そうして，
表 4 分析データの推定誤差と相関係数
Table 4 RMSE and correlation coeﬃcientsfor analyzed data set.

個人
場

290

RMSE
18%
12%

Fig. 7 Scatter plot, subjective activation levels vs. estimated features. (a) group,(b)personal
表 5 分析対象と異なる群の推定誤差と相関係数

Table 5 RMSE and correlation coeﬃcientsfor another data set.
RMSE 相関係数
個人
24%
0.61
場
21%
0.71

相関係数
0.64
0.83

( 64 )

ボイスチャット中の音声情報に基づく会話活性度推定方法の検討

アバタ制御への活性度の反映

きが平均されることに加えて，個人の活性度推定では，

7. 2

発言が少ない話者は母数が小さくなってオーバーラッ

本研究では，個人の活性度を被験者自身の主観評価

プ率や平均発話潜時が大きく変動しやすいことや，集によって決定した．しかし，自身の内観と他者の客観団は，沈黙が続かないように発話するなどの個人のば的評価が，必ずしも一致するとは限らない．特に，活らつきを補完する挙動を示すことなどが理由と考えら

性度が上がっても見た目の動作や会話音声に変化が表れる．そのため，異なる話者の組み合わせでも，今回れにくい話者の場合，推定式によって低めに推定されと同様の傾向を示すと予想される．すなわち，場の活た活性度は，むしろ，他者が韻律や会話構造から判断

性度の方が，個人の活性度と比較してロバストな推定した活性度と一致する可能性が高いと考えられる．そ

結果が得られるものと考えられる．

のため，アバタ制御における活性度推定式の妥当性に

重回帰式による推定は， RMSE 誤差は単一指標に関しては，推定値を実際の動作に反映して挙動の自然よる推定と同程度であったが，わずかに相関が向上しさなどを評価する必要がある．

ていた．また，平均発話潜時のみを用いて個人の活性

今回の実験では，5 分間の会話音声からの会話活性度推定を行った場合，発話数の少ない話者では母数が度の推定可能性を検討した．しかし，アバタの動作制小さくなるため，個々の発話のばらつきの影響が原理

御への適用を考えた場合，過去数分間の音声から活性的に大きくなる．場の活性度に関しても，発話率は話度を推定すると，アバタ活性度も同じ時定数を持って者交代リズムの変化や発話の重なりを反映しないため，変化する．そのため提案手法をそのまま適用した場合

発話量の個人差の影響を受けやすくなると考えられる．

には，穏やかな会話ムードの変化は適切に反映するとしたがって，個人差や環境の変化に対する推定のロバ期待される一方で，冗談などによる突発的な会話活性

スト性の観点からは，複数指標を併用する方が大きな度の変化が生じた時には，アバタは適切な挙動を行う

誤差を発生する可能性が低減され，望ましいと考えらことができない．しかし，単純に推定時間を短縮する

れる．

と推定精度の低下が予想されることに加え，冗談など

推定実験では，分析対象と異なる 6 グループに対による一時的な活性は，必ずしもそのまま持続するとして，平均 RMSE24%で個人の活性度の推定が可能では限らない．そこで，アバタ笑顔の自動制御 [5] と同あったが，被験者自身の主観評価よりも高めに推定さ様に，ゆっくりと連続的に変化する成分と，瞬時的なれる傾向が見られた．推定誤差の発生要因の一つとし変化を反映する成分の２成分で活性度をモデル化し，て，活性度評価が主観評価であったため，被験者ごと前者を発話潜時やオーバーラップ率，発話率を用いての尺度の差が影響した可能性が考えられる．音声情報

推定し，瞬時的な成分は，笑顔の自動制御で有効だっに基づく活性度推定が，外部から観察可能な指標に基た発話初期音圧を利用するなどの方法が考えられ，今づく推定であることから，今後は，被験者自身ではな

後の検討が必要である．

く，会話相手や第三者が評価した個人の活性度と，推8.

定値の関係を調べることも必要と考えられる．

まとめ

また，推定精度の向上のためには，個人差の影響を本研究では，会話活性度によるアバタの動作自動制軽減するために，事前にキャリブレーションを行う，御に向けて，3 人会話音声を収集し，活性度と音声指あるいは機械学習によってパラメ−タを個人適合する標の関係を分析した．その結果，オーバーラップ率となどの方法が考えられる．しかし，話題やその場の雰

平均発話潜時および発話率に，活性度との相関に加え囲気のように，動的に変化する個人差以外の要因も影て，ピッチ等と比較して個人差が小さい傾向が認めら響する可能性があることから，個人適合の有効な指標

れた．そこで，3 指標を用いた会話活性度推定式を重とそうでない指標の分別が必要になると予想される．

回帰分析によって求め，異なるユーザに対して推定実

また，個人差が大きく環境の影響を受けやすいため，験を行った結果，キャリブレーションを行わなくとも，本研究では採用しなかった音圧やピッチなどの韻律情

自然会話中の個人や場の活性度を定量的に推定できる

報を，相対的変化を求めるなど，個人差の影響を軽減可能性が示された．今後の課題は，アバタ動作の活性するなんらかの処理をして併用することも考えられる．

度制御に向けて，推定式を補完するような制御と適切

さらに，場の活性度推定がロバストであることを利用な推定時間の検討を行い，アバタの活性度制御を実装

して，個人の活性度推定値を改善する方法も考えられしたいと考えている．

る．例えば，活性度が低く推定されるユーザに対して謝辞

は，場の活性度を基準に，個人の活性度の相対的変化
のみを反映するなどの方法が考えられる．

本研究の一部は，文部科学省特別教育研究費ならびに科学研究費補助金によるものである．ここに記して( 65 )

291

ヒューマンインタフェース学会論文誌 Vol.14, No.3, 2012

感謝する．

雰囲気推定; 人工知能学会全国大会論文集, Vol. 25,

pp.1I2-5 (2011).
[18] Sejima, Y., Ishii, Y., Watanabe, T.: A Virtual
Audience System for Enhancing Embodied Interaction Based on Conversational Activity; Lecture
Notes in Computer Science, Vol. 6772, pp. 180-189(2011).
[19] Maeran, O., Piuri, V., Gajani, G, S..: Speech
recognition through phoneme segmentation andneural classiﬁcation; Instrumentation and Measurement Technology Conference, 1997. IMTC/97.
Proceedings. ’Sensing, Processing, Networking’.,
IEEE, Vol. 2, pp.1215-1220 (1997).

参考文献[1] Kato, Y., Kato, S., Akahori, K.: Eﬀects of emotional cues transmitted in e-mail communicationon the emotions experienced by senders and receivers; Computers in Human Behavior, Vol. 23,
No. 4, pp. 1894-1905 (2007).
[2] マジョリー・F・ヴァーカス著, 石丸 正訳: 非言語 (ノンバーバル) コミュニケーション; 新潮社 (1987).
[3] A．マレービアン著, 西田 司, 津田幸男, 岡村輝人, 山
口常夫訳: 非言語コミュニケーション; 聖文社 (1986).
[4] 渡辺富夫, 大久保雅史, 中茂睦裕, 檀原龍正: InterActor を用いた発話音声に基づく身体的インタラクション
システム; ヒューマンインタフェース学会論文誌, Vol.
2, No. 2, pp.21-29 (2000).
[5] 宮島俊光, 藤田欣也: 音声チャットシステムにおける基本周波数と音圧を利用したアバタ表情制御法; ヒューマ
ンインタフェース学会論文誌, Vol. 9, No.4, pp.85-94(2007).
[6] Hartmann, B., Mancini, M., Pelachaud, C.: Implementing Expressive Gesture Synthesis for Embodied Conversational Agents; Gesture Workshop
2005: pp.188-199 (2005).
[7] 佐伯悠子, 田中貴紘, 藤田欣也: 会話活性度に基づく
アバタ動作の統一的制御方法の検討; ヒューマンイン
タフェース学会研究報告集, Vol. 11, No.2, pp.71-74(2009).
[8] 前田貴司, 高嶋和毅, 梶村康祐, 山口徳郎, 北村喜文, 岸野文郎, 前田菜穂, 大坊郁夫, 林 良彦: 3 人会話における非言語情報と「場の活性度」に関する検討; 電子情報通信学会技術研究報告, Vol. 109, No.27, pp.73-78(2010).
[9] Bezooyen. R, V.: Characteristics and Recognizability of Vocal Expressions of Emotion; Foris
Pubns USA (1984).
[10] Murray, I, R., Arnott, J, L.: Toward the simulation of emotion in synthetic speech: A review ofthe literature on human vocal emotion; J. Acoust.
Soc. Am, Vol. 93, No.2, pp.1097-1108 (1993).
[11] Coleman, R, F., Williams, R.: Identiﬁcation ofemotional states using perceptual and acoustic
analyses; Transcripts of the 8th symposium on careof the professional voice, The Voice Foundation
Vol. 1, pp. 77-83 (1979).
[12] 森山 剛, 斎藤英雄, 小沢慎治: 音声における感情表現
語と感情表現パラメータの対応付け; 電子情報通信学会論文誌, Vol. J82-DII, No.4, pp703-711 (1999).
[13] Barrett, L, F., Russell, J, A.: Independence andbipolarity in the structure of current aﬀect; Journal of Personality and Social Psychology, VOL. 74,
pp.967-984 (1998)．
[14] Nwe, T, L., Foo, S, W.: Speech emotion recognition using hidden Markov models; Speech Communication, VOL. 41, pp.603-623 (2003)．
[15] 西村良太, 北岡教英, 中川聖一: 音声対話における韻律変化をもたらす要因分析; 音声研究, Vol. 13, No.3,
pp.66-84 (2009).
[16] 河原達也, 川島宏彰, 平山高嗣, 松山隆司: 対話を通（2011 年 12 月 21 日受付，2012 年 4 月 17 日再受付）

著者紹介
守屋

2011 年東京農工大学工学部情報工学科卒業．現在，同大学院修士前期課程在学
中．会話音声を利用したアバタ自動制
御の研究に従事．人の特性に合わせたコミュニケーション支援に興味を持つ．

田中

貴紘

（正会員）
2006 年東京工業大学大学院総合理工学研究科博士後期課程修了．博士（工学）．
2007 年東京農工大学大学院共生科学技術研究院助教，現在に至る．知的エー
ジェント，ヒューマンエージェントイン
タラクションなど，人と人，人とエー
ジェント間のコミュニケーション支援に興味を持つ．

宮島

俊光
1997 年早稲田大学教育学部理学科数学専修卒業．現在, 東京農工大学大学院工学部情報工学専攻技術専門職員として,音声情報を利用したコミュニケーショ
ン支援の研究に従事．

藤田

欣也

（正会員）
1988 年慶應義塾大学大学院理工学研究科修了．相模工業大学，東北大学医学部，岩手大学を経て，現在東京農工大
学大学院教授．共有仮想空間コミュニ
ケーション，ＶＲシステムや感覚の遠隔共有など，人と共生する情報システ
ムのためのヒューマンインタフェースの研究に従事．工学博士．

じてユーザの意図・興味を探り情報検索・提示する情報コンシェルジェ; 情報処理学会誌, Vol. 49, No.8,

pp.912-918 (2008).
[17] 豊田薫, 宮越喜浩, 山西良典, 加藤昇平: 発話時間長に着目した Tree-Augmented Naive Bayes による対話
292

悠里英 （学生会員）（C）NPO法人ヒューマンインタフェース学会( 66 )