(57)【要約】【課題】参加者の発話が、いずれの参加者の発話を聞いた後になされたものかを明確にし、参加者全体の中の話し手と聞き手との関係を正確に把握することを可能とする。【解決手段】本発明の対話関係導出装置は、各参加者の音声データと行動データとを、参加者ごとに記憶し、記憶手段に記憶された音声データに基づいて、参加者の発話開始時刻をそれぞれ検出する。そして、発話開始時刻と、行動データとに基づいて、参加者が発話を開始する前に、他の参加者の発話が終わるのを待つ発話準備期間を検出する。これにより、ある参加者の発話期間に他の参加者がどのような状態にあるかという対話関係が明確になる。【選択図】図１
2010193292.tif 000002
【特許請求の範囲】
【請求項１】
複数の参加者間における対話関係を導出する対話関係導出装置であって、
各参加者の音声データと行動データとを、前記参加者ごとに記憶する記憶手段と、
前記記憶手段に記憶された前記音声データに基づいて、前記参加者の発話開始時刻を検出する発話時刻検出手段と、
前記発話開始時刻と、前記行動データとに基づいて、前記参加者が前記発話を開始する前に、前記参加者以外の他の参加者の発話が終わるのを待つ発話準備期間を検出する発話準備期間検出手段と、
を備える対話関係導出装置。
【請求項２】
前記発話準備期間の開始時刻と、前記行動データとに基づいて、前記参加者が前記他の参加者の発話を傾聴する傾聴期間を検出する傾聴期間検出手段を更に備える請求項１に記載の対話関係導出装置。
【請求項３】
前記傾聴期間に重複する期間に発話した前記他の参加者を検出し、前記他の参加者を対話関係者として出力する対話関係導出手段を更に備える請求項２に記載の対話関係導出装置。
【請求項４】
前記傾聴期間検出手段は、前記発話準備期間を含む期間内で、前記傾聴期間を検出する請求項２又は３に記載の対話関係導出装置。
【請求項５】
複数の参加者間における対話関係を導出するための対話関係導出方法であって、
各参加者の音声データと行動データとを、前記参加者ごとに記憶する工程と、
記憶された前記音声データに基づいて、前記参加者の発話開始時刻を検出する工程と、
前記発話開始時刻と、前記行動データとに基づいて、前記参加者が前記発話を開始する前に、前記参加者以外の他の参加者の発話が終わるのを待つ発話準備期間を検出する工程と、
を含む対話関係導出方法。
【請求項６】
前記発話準備期間の開始時刻と、前記行動データとに基づいて、前記参加者が前記他の参加者の発話を傾聴する傾聴期間を検出する工程を更に含む請求項５に記載の対話関係導出方法。
【請求項７】
前記傾聴期間に重複する期間に発話した前記他の参加者を検出し、前記他の参加者を対話関係者として出力する工程を更に含む請求項６に記載の対話関係導出方法。
【請求項８】
前記傾聴期間は、前記発話準備期間を含む期間内で、検出される請求項６又は７に記載の対話関係導出方法。
【請求項９】
複数の参加者間における対話関係を導出するためのコンピュータに、
各参加者の音声データと行動データとを、前記参加者ごとに記憶する手順と、
記憶された前記音声データに基づいて、前記参加者の発話開始時刻を検出する手順と、
前記発話開始時刻と、前記行動データとに基づいて、前記参加者が前記発話を開始する前に、前記参加者以外の他の参加者の発話が終わるのを待つ発話準備期間を検出する手順と、
前記発話準備期間の開始時刻と、前記行動データとに基づいて、前記参加者が前記他の参加者の発話を傾聴する傾聴期間を検出する手順と、
前記傾聴期間に重複する期間に発話した前記他の参加者を検出し、前記他の参加者を対話関係者として出力する手順と、
を実行させるためのプログラム。
【請求項１０】
前記傾聴期間は、前記発話準備期間を含む期間内で、検出される請求項９に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対話関係導出装置、対話関係導出方法、及びプログラムに係り、更に詳しくは、複数人相互間の対話における話し手と聞き手との関係を導出するための対話関係導出装置、対話関係導出方法、及びプログラムに関する。
【背景技術】
【０００２】
コミュニケーション空間では、話し手と聞き手とを結びつけることで情報や会話の流れを正確に把握することができる。例えば参加者が不定期に話し手となる会議などにおいては、音声記録から話し手と聞き手とを特定することで、いつ誰がどの参加者に何を話したかを探ることができる。
【０００３】
そこで、参加者それぞれの音声データに基づいて、話し手と聞き手との関係を導出する方法が種々提案されている（例えば特許文献１及び２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−０２５８５９号公報
【特許文献２】特開２００６−１２７３５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載された方法は、話し手が発話した際に、発話メッセージが到達する範囲に存在する聞き手を特定し、特定された聞き手は、発話メッセージを受話したと推定するものである。
【０００６】
しかしながら、発話したメッセージを受話したか否かは聞き手本人にしかわからなものである。このため、特許文献１に記載された方法では、話し手からの発話メッセージが到達した聞き手が特定されているにすぎず、実際に発話メッセージを聞いている聞き手を特定することは困難である。
【０００７】
特許文献２に記載された方法は、話し手の視線情報を音声データなどの発話情報と合わせて用いることで、話し手が誰に話しかけたかを特定するものである。これによれば、話し手の発話内容を特に分析しなくても、発話者、聞き手（受け手）、傍参与者、傍観者などといった各参加者の役割をおよそ把握することができる。
【０００８】
しかしながら、特許文献２に記載の方法では、受け手以外の参加者が聞いているかどうかについては考慮されない。また、誰かの発話を受けて返答するといった対話構造が考慮されない。このため、参加者全体の関係を把握するには不十分である。
【０００９】
本発明は、上述の事情の下になされたもので、参加者全体の中の話し手と聞き手との関係を正確に把握することを可能とする装置等を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するため、本発明の対話関係導出装置は、複数の参加者間における対話関係を導出する対話関係導出装置であって、各参加者の音声データと行動データとを、前記参加者ごとに記憶する記憶手段と、前記記憶手段に記憶された前記音声データに基づいて、前記参加者の発話開始時刻を検出する発話時刻検出手段と、前記発話開始時刻と、前記行動データとに基づいて、前記参加者が前記発話を開始する前に、前記参加者以外の他の参加者の発話が終わるのを待つ発話準備期間を検出する発話準備期間検出手段と、を備える。
【００１１】
また、本発明の対話関係導出方法は、複数の参加者間における対話関係を導出するための対話関係導出方法であって、各参加者の音声データと行動データとを、前記参加者ごとに記憶する工程と、記憶された前記音声データに基づいて、前記参加者の発話開始時刻を検出する工程と、前記発話開始時刻と、前記行動データとに基づいて、前記参加者が前記発話を開始する前に、前記参加者以外の他の参加者の発話が終わるのを待つ発話準備期間を検出する工程と、を含む。
【００１２】
また、本発明のプログラムは、複数の参加者間における対話関係を導出するためのコンピュータに、各参加者の音声データと行動データとを、前記参加者ごとに記憶する手順と、記憶された前記音声データに基づいて、前記参加者の発話開始時刻を検出する手順と、前記発話開始時刻と、前記行動データとに基づいて、前記参加者が前記発話を開始する前に、前記参加者以外の他の参加者の発話が終わるのを待つ発話準備期間を検出する手順と、前記発話準備期間の開始時刻と、前記行動データとに基づいて、前記参加者が前記他の参加者の発話を傾聴する傾聴期間を検出する手順と、前記傾聴期間に重複する期間に発話した前記他の参加者を検出し、前記他の参加者を対話関係者として出力する手順と、を実行させる。
【発明の効果】
【００１３】
参加者の発話が、いずれの参加者の発話を聞いた後になされたものかが明確になるため、参加者全体の中の話し手と聞き手との関係を正確に把握することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係る対話関係導出システムのブロック図である。
【図２】音声信号を示す図である。
【図３】動作信号を示す図である。
【図４】図4（Ａ）は、比較データ群ＭＤ１の概念図である。また、図４（Ｂ）は、比較データ群ＭＤ２の概念図である。
【図５】発話時刻検出部の動作を説明するための図である。
【図６】発話準備期間検出部の動作を説明するための図（その１）である。
【図７】発話準備期間検出部の動作を説明するための図（その２）である。
【図８】傾聴期間検出部の動作を説明するための図である。
【図９】関係導出部の出力結果を示す図である。
【図１０】本発明の第２の実施形態に係る対話関係導出システムのブロック図である。
【図１１】対話関係導出装置の動作を示すフローチャートである。
【図１２】本発明の第３の実施形態に係る対話関係導出システムのブロック図である。
【図１３】発話準備期間検出部の動作を示すフローチャートである。
【図１４】発話準備期間の動作を説明するための図である。
【図１５】本発明の第４の実施形態に係る対話関係導出システムのブロック図である。
【図１６】発話準備判定手部の動作を説明するための図である。
【発明を実施するための形態】
【００１５】
《第１の実施形態》
以下、本発明の第１の実施形態を、図１〜図９を参照しつつ説明する。図１は本実施形態に係る対話関係導出システム１０の概略的な構成を示すブロック図である。この対話関係導出システム１０は、３つの対話用端末２０Ａ〜２０Ｃから出力される音声データ等を用いて、話し手と、話し手の発話内容を聞いている聞き手との関係を導出するシステムである。
【００１６】
図１に示されるように、対話関係導出システム１０は、３人の参加者Ａ〜Ｃがそれぞれ所持する対話用端末２０Ａ〜２０Ｃと、対話用端末２０Ａ〜２０Ｃそれぞれに入力される音声データを含む発話情報に基づいて、聞き手と話し手の関係を導出する対話関係導出装置３０とを備えている。
【００１７】
前記対話用端末２０Ａ〜２０Ｃは、例えば参加者の音声を集音するマイクロホンと、参加者の身体の動きを検知する加速度センサとを有している。そして、対話用端末２０Ａ〜２０Ｃそれぞれは、参加者の音声を変換して電気信号Ｖ１（ｔ）として出力するとともに、参加者の身体の動きによって生じる加速度に応じた電気信号Ｖ２（ｔ）を出力する。上述のように構成された対話用端末２０Ａ〜２０Ｃは、例えばヘッドホンのように参加者Ａ〜Ｃそれぞれの頭部近傍に装着可能となっている。また、説明の便宜上、電気信号Ｖ１（ｔ）、及び電気信号Ｖ２（ｔ）を、以下音声信号Ｖ１（ｔ）、及び動作信号Ｖ２（ｔ）という。
【００１８】
図２及び図３は、一例として対話用端末２０Ａから出力された音声信号Ｖ１（ｔ）及び動作信号Ｖ２（ｔ）を模式的に示す図である。図２を参照するとわかるように、音声信号Ｖ１（ｔ）は、参加者が発話した場合に、その値が所定の閾値Ｎ１を超えるレベルとなる。図２からは、参加者Ａは、時刻ｔｓに発話を開始し、時刻ｔｅに発話を終了したことがわかる。
【００１９】
また、図３を参照するとわかるように、動作信号Ｖ２（ｔ）は、参加者の身体の揺動などにより、対話用端末２０Ａ〜２０Ｃによって検出された加速度に応じて変化する。この動作信号Ｖ２（ｔ）には、参加者によって決まった傾向のあるパターンが出現することがわかっている。例えば、図３に示される動作信号Ｖ２（ｔ）は、参加者が時刻ｔａから時刻ｔｂまでの時間に他の参加者の発話を傾聴し、時刻ｔｂから時刻ｔｓまでの時間に他の参加者の発話が終了するのを待ち、時刻ｔｓから時刻ｔｅまでに、他の発話者の発話に対して自らが発話した場合に、対話用端末２０Ａ〜２０Ｃから出力される信号である。この動作信号Ｖ２（ｔ）を見るとわかるように、時刻ｔａから時刻ｔｂまでの傾聴期間では比較的低い周波数で動作信号Ｖ２（ｔ）の値が変化する。また、時刻ｔｂからｔｓまでの発話準備期間では比較的中程度の周波数で動作信号Ｖ２（ｔ）の値が変化する。
【００２０】
動作信号Ｖ２（ｔ）の変化は、参加者相互間で多少異なるところはあるが、おおむね傾聴期間、発話準備期間、及び発話期間に応じて独特に変化する。したがって、参加者ごとに、傾聴期間及び発話準備期間における動作信号Ｖ２（ｔ）の変化度合いを比較データとして設定し、動作信号Ｖ２（ｔ）が、それぞれの比較データの変化度合いとほぼ等しく変化する期間を特定することで、参加者が、いつ他の参加者の発話内容を傾聴していたか（傾聴期間）、又はいつ他の参加者の発話が終了を待つための準備をしているか（発話準備期間）を特定することができる。
【００２１】
例えば、図４（Ａ）及び図４（Ｂ）には、それぞれ比較データ群ＭＤ１及び比較データ群ＭＤ２の概念図が示されている。比較データ群ＭＤ１は、時刻ｔａから時刻ｔｂまでの傾聴期間における動作信号Ｖ２（ｔ）の値と時刻とからなる複数のデジタルデータから構成されたデータ群である。また、比較データ群ＭＤ２は、時刻ｔｂから時刻ｔｓまでの発話準備期間における動作信号Ｖ２（ｔ）の値と時刻とからなる複数のデジタルデータから構成されたデータ群である。本実施形態では、後述する対話関係導出装置３０によって、比較データ群ＭＤ１，ＭＤ２を用いた傾聴期間及び発話準備期間の検出が行われる。
【００２２】
図１に戻り、対話関係導出装置３０は、情報入力部３１、情報記憶部３２、発話時刻検出部３３、発話準備期間検出部３４、傾聴期間検出部３５、参加状態記憶部３６、及び関係導出部３７を有している。
【００２３】
前記情報入力部３１は、対話用端末２０Ａから出力される音声信号Ｖ１Ａ（ｔ）及び動作信号Ｖ２Ａ（ｔ）、対話用端末２０Ｂから出力される音声信号Ｖ１Ｂ（ｔ）及び動作信号Ｖ２Ｂ（ｔ）、対話用端末２０Ｃから出力される音声信号Ｖ１Ｃ（ｔ）及び動作信号Ｖ２Ｃ（ｔ）を受信する。そして、これらの信号それぞれの値を受信した時刻と関連づけてデジタル化し、例えばＷＡＶＥ形式の音声データＤ１Ａ（ｔ）、Ｄ１Ｂ（ｔ）、Ｄ１Ｃ（ｔ）、及び時系列的な動作データＤ２Ａ（ｔ）、Ｄ２Ｂ（ｔ）、Ｄ２Ｃ（ｔ）として情報記憶部３２へ出力する。
【００２４】
前記情報記憶部３２は、情報入力部３１から出力された各音声データＤ１Ａ（ｔ）〜Ｄ１Ｃ（ｔ）及び各動作信号Ｄ２Ａ（ｔ）〜Ｄ２Ｃ（ｔ）それぞれを逐次記憶する。
【００２５】
前記発話時刻検出部３３は、情報記憶部３２に記憶された音声データＤ１Ａ（ｔ）〜Ｄ１Ｃ（ｔ）をそれぞれ読み出し、参加者Ａ〜Ｃそれぞれが発話した発話期間の開始時刻及び終了時刻を検出する。開始時刻の検出は、参加者Ａ〜Ｃそれぞれについての音声データＤ１Ａ（ｔ）〜Ｄ１Ｃ（ｔ）から、例えば図２に示される音声信号を推定し、この音声信号の値が閾値Ｎ１よりも大きくなったときの時刻ｔｓを検出することにより行われる。また、終了時刻についても同様の要領で検出される。
【００２６】
一例として、参加者Ａが発話した発話期間ＴＡ（ｎ）、参加者Ｂが発話した発話期間ＴＢ（ｎ）、参加者Ｃが発話した発話期間ＴＣ（ｎ）が、図５に示されるような関係になった場合には、発話時刻検出部３３は、各発話期間における開始時刻ｔｓＡ（１）、ｔｓＡ（２）、ｔｓＢ（１）、及びｔｓＣ（１）をそれぞれ検出する。そして、この検出結果を含む情報を発話準備期間検出部３４、及び参加状態記憶部３６へ出力する。また、発話時刻検出部３３は、終了時刻についても同様の要領で検出する。なお、上記ｎは整数である。
【００２７】
前記発話準備期間検出部３４は、情報記憶部３２に記憶されたデータと、上述した参加者Ａの比較データ群ＭＤ１Ａとを用いて発話準備期間を検出する。例えば、図６を参照するとわかるように、参加者Ａが発話期間ＴＡ（２）に発話する前の発話準備期間を検出する場合には、発話準備期間検出部３４は、まず、発話期間ＴＡ（２）の開始時刻ｔｓＡ（２）からΔＴ時間前の時刻ｔｓ１Ａ（２）における他の参加者の発話を検出する。時刻ｔｓ１Ａ（２）は、参加者Ｃの発話期間ＴＣ（１）に含まれる。したがって、ここでは発話準備期間検出部３４によって発話期間ＴＣ（１）が検出される。
【００２８】
次に、発話準備期間検出部３４は、時刻ｔｓＡ（２）を含む期間が、参加者Ａが、参加者Ｃの発話の終了を待つため発話準備期間となるものとして、発話準備期間の検出を開始する。この発話準備期間の検出は、情報記憶部３２に記憶された時刻ｔｓ１Ａ（２）に関連づけられた動作データＤ２Ａ（ｔｓ１Ａ（２））、及びこの動作データＤ２Ａ（ｔｓ１Ａ（２））の前後に連続する複数の動作データＤ２Ａ（ｔ）とからなるデータ群と、比較データ群ＭＤ１Ａとの相関値を算出する。発話準備期間検出部３４は、動作データＤ２Ａ（ｔｓ１Ａ（２））を含むように、複数のデータ群を順次設定し、設定したデータ群に対する相関値を逐次算出する。
【００２９】
この動作は、図６の概念図を参照するとわかるように、横軸を時間軸とする座標系に動作データＤ２Ａ（ｔ）によって規定される曲線Ｓ２Ａ（ｔ）に対して、比較データ群ＭＤ１Ａによって規定される曲線Ｓ１Ａを時間軸方向へ移動させながら、逐次相関値を計算する動作と等価である。
【００３０】
そして、発話準備期間検出部３４は、算出した相関値が最も高かったときのデータ群によって規定される期間を発話準備期間として検出する。例えば図７に示されるように、発話準備期間検出部３４は、曲線Ｓ２Ａ（ｔ）と曲線Ｓ１Ａとがほぼ一致する時刻ｔ１Ａ（２）から時刻ｔ２Ａ（２）までの期間を発話準備期間ＰＡ（２）として検出する。そして、この検出結果を傾聴期間検出部３５へ出力する。
【００３１】
前記傾聴期間検出部３５は、情報記憶部３２に記憶されたデータと、上述した参加者Ａの比較データ群ＭＤ２Ａとを用いて傾聴期間を検出する。例えば、図８を参照するとわかるように、参加者Ａが発話期間ＴＡ（２）に発話する前の傾聴期間を検出する場合には、傾聴期間検出部３５は、傾聴準備期間ＰＡ（２）の開始時刻ｔ１Ａ（２）から、一つ前の参加者Ａの発話期間ＴＡ（１）の終了時刻ｔｅＡ（１）までのデータ群と、比較データ群ＭＤ２Ａとの相関値を順次算出する。
【００３２】
この動作は、図８の概念図を参照するとわかるように、横軸を時間軸とする座標系に動作データＤ２Ａ（ｔ）によって規定される曲線Ｓ２Ａ（ｔ）に対して、比較データ群ＭＤ２Ａによって規定される曲線Ｓ２Ａを時間軸方向へ移動させながら、逐次相関値を計算する動作と等価である。
【００３３】
そして、傾聴期間検出部３５は、算出した相関値が最も高かったときのデータ群によって規定される期間を傾聴期間として検出する。例えば図８に示されるように、傾聴期間検出部３５は、曲線Ｓ２Ａ（ｔ）と曲線Ｓ２Ａとがほぼ一致する時刻ｔ３Ａ（２）から時刻ｔ４Ａ（２）までの期間を傾聴期間ＨＡ（２）として検出する。そして、この検出結果を参加状態記憶部３６へ出力する。
【００３４】
なお、発話準備期間検出部３４によって、発話準備期間が検出されなかった場合には、傾聴期間検出部３５は、発話期間の開始時刻から傾聴期間の検出を開始する。この場合には、発話準備期間は零となる。
【００３５】
図１に戻り、前記参加状態記憶部３６は、発話時刻検出部３３及び傾聴期間検出部３５からの検出結果を逐次記憶し、必要に応じて出力する。また、記憶した発話開始時刻、及び傾聴期間に基づいて、傾聴期間における動作信号の変化、及び傾聴期間の終了時刻から発話開始時刻までの動作信号の変化を解析し、各参加者の比較データ群ＭＤ１，ＭＤ２を更新する。具体的には、傾聴期間及び発話準備期間における動作信号の変化の平均値などを算出し、この算出した結果に基づいて、比較データ群ＭＤ１，ＭＤ２を更新する。
【００３６】
前記関係導出部３７は、参加状態記憶部３６に記憶された情報を参照して、各参加者Ａ〜Ｃ間の対話関係を導出し、外部装置などへ出力する。例えば、図８に示されるように、参加者Ａの、発話期間ＴＡ（２）、発話準備期間ＰＡ（２）、及び傾聴期間ＨＡ（２）がそれぞれ検出されたとする。この場合には、関係導出部３７は、傾聴期間ＨＡ（２）と重複する発話期間ＴＢ（１）に発話していた者が参加者Ｂであり、参加者Ａは参加者Ｂの発話の内容を聞いて（傾聴期間）、参加者Ｃの発話が終わるのを待っていた（発話準備期間）等の情報を出力する。
【００３７】
一例として図９には、関係導出部３７の出力結果が示されている。本実施形態では、図９に示されるように、参加者の発話時間を規定する発話開始時刻及び発話終了時刻と、当該発話期間の発話が行われていたときの他の参加者の状態との対応関係が出力される。
【００３８】
以上説明したように、本第１の実施形態では、ある参加者（例えば参加者Ａ）の発話期間に他の参加者（例えば参加者Ｂ，Ｃ）がどのような状態（例えば、傾聴期間、或いは対話準備期間）にあるかという対話関係が明確になる。したがって、参加者全体の中の話し手と聞き手との関係を正確に把握することが可能となる。
【００３９】
具体的には、特定の参加者が、どの参加者の発話内容を注意して聞いていたかを正確に把握し、分析することができる。
【００４０】
また、本第１の実施形態では、発話準備期間が検出される。したがって、発話準備状態にいる時間傾向を知ることができ、例えば、参加者による会議等が、思い立つとすぐ話せる会議であるか、思い立っても待たされる時間の長い会議なのであるかといった傾向を知ることができる。
【００４１】
また、本第１の実施形態では、参加者が、発話準備状態をまったく経ずに発話する人か、じっくり待つ人かどうかといった、参加者個々の傾向を知ることができる。このため、参加者が、通常と異なる傾向を示した際の対話関係などを、とくに重要な情報として据え、分析することなどが可能となる。
【００４２】
なお、上記ΔＴ時間の時間的な長さは、参加者個々に設定してもよいし、参加者共通のものを用いてもよい。この場合には、情報記憶部３２に記憶された音声データに基づいて、例えばある参加者の発話終了時刻から、他の参加者の発話開始時刻までの時間の平均値を算出し、この平均値をΔＴとして設定することができる。例えば０．８秒といった時間が平均であれば、例えばΔＴ時間を１秒と設定することができる。また、参加状態記憶部３６に記憶された傾聴期間、発話準備期間などの時間的な配列に基づいてΔＴ時間の長さを決定してもよい。
【００４３】
《第２の実施形態》
次に、本発明の第２の実施形態を、図１０及び図１１を参照しつつ説明する。なお、第１の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。
【００４４】
本実施形態に係る対話関係導出システム１０は、対話関係導出装置３０が、一般的なコンピュータ、又はワークステーションなどの装置と同様の構成によって実現されている点で、第１の実施形態に係る対話関係導出システム１０と相違している。
【００４５】
図１０は、対話関係導出システム１０の構成を示すブロック図である。図１０に示されるように、対話関係導出システム１０は、対話用端末２０Ａ〜２０Ｃと、コンピュータからなる対話関係導出装置３０を備えている。
【００４６】
前記対話関係導出装置３０は、ＣＰＵ（Central Processing Unit）３０ａ、主記憶部３０ｂ、補助記憶部３０ｃ、表示部３０ｄ、入力部３０ｅ、インターフェイス部３０ｆ、及び上記各部を相互に接続するシステムバス３０ｇを含んで構成されている。
【００４７】
ＣＰＵ３０ａは、補助記憶部３０ｃに記憶されているプログラムに従って、対話用端末２０Ａ〜２０Ｃから出力される情報に対して、後述する情報処理を実行する。
【００４８】
主記憶部３０ｂは、ＲＡＭ（Random Access Memory）等を含んで構成され、ＣＰＵ３０ａの作業領域として用いられる。
【００４９】
補助記憶部３０ｃは、ＲＯＭ（Read Only Memory）、磁気ディスク、半導体メモリ等の不揮発性メモリを含んで構成されている。この補助記憶部３０ｃは、ＣＰＵ３０ａが実行するプログラム、及び各種パラメータなどを記憶している。また、ＣＰＵ３０ａによる処理結果などを含む情報を記憶する。
【００５０】
表示部３０ｄは、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などを含んで構成され、ＣＰＵ３０ａの処理結果を表示する。
【００５１】
入力部３０ｅは、キーボードやマウス等のポインティングデバイスを含んで構成されている。オペレータの指示は、この入力部３０ｅを介して入力され、システムバス３０ｇを経由してＣＰＵ３０ａに通知される。
【００５２】
インターフェイス部３０ｆは、シリアルインターフェイスまたはＬＡＮ（Local Area Network）インターフェイス等を含んで構成されている。対話用端末２０Ａ〜２０Ｃや外部装置などは、インターフェイス部３０ｆを介してシステムバス３０ｇに接続される。そして、対話用端末２０Ａ〜２０Ｃから出力された音声信号及び動作信号は、デジタル化された後に、音声データＤ１Ａ（ｔ）、Ｄ１Ｂ（ｔ）、Ｄ１Ｃ（ｔ）、及び動作データＤ２Ａ（ｔ）、Ｄ２Ｂ（ｔ）、Ｄ２Ｃ（ｔ）として補助記憶部３０ｃに記憶される。
【００５３】
図１１のフローチャートは、対話関係導出装置３０のＣＰＵ３０ａによって実行されるプログラムの一連の処理アルゴリズムに対応している。以下、図１１を参照しつつ、対話関係導出装置３０における情報処理について説明する。なお、この情報処理は、ＣＰＵ３０ａが、補助記憶部３０ｃから読み出したプログラムに従って、主記憶部３０ｂ、補助記憶部３０ｃ、表示部３０ｄ、インターフェイス部３０ｆを統括的に制御することにより実現される。
【００５４】
まず、最初のステップＳ３０１では、ＣＰＵ３０ａは、補助記憶部３０ｃに記憶された音声データＤ１Ａ（ｔ）〜Ｄ１Ｃ（ｔ）をそれぞれ読み出し、参加者Ａ〜Ｃそれぞれが発話した発話期間の開始時刻及び終了時刻を検出する。例えば、参加者Ａが発話した発話期間ＴＡ（ｎ）、参加者Ｂが発話した発話期間ＴＢ（ｎ）、参加者Ｃが発話した発話期間ＴＣ（ｎ）が、図５に示されるような関係になった場合には、ＣＰＵ３０ａは、各発話期間における開始時刻ｔｓＡ（１）、ｔｓＡ（２）、ｔｓＢ（１）、及びｔｓＣ（１）をそれぞれ検出する。
【００５５】
次のステップＳ３０２では、ＣＰＵ３０ａは、参加者Ａ〜Ｃ全員についての発話期間の開始時刻等を検出したかを判断する。そして、ステップＳ３０２での判断が否定された場合には、ステップＳ３０１に戻り、残りの発話期間について開始時刻等の検出を行う。一方、ステップＳ３０２での判断が肯定された場合には、次のステップＳ３０３へ移行する。
【００５６】
ステップＳ３０３では、ＣＰＵ３０ａは、図６を参照するとわかるように、発話期間の開始時刻からΔＴ時間前の時刻、例えば時刻ｔｓ１Ａ（２）等において、他の参加者の発話行為を検出する。
【００５７】
次のステップＳ３０４では、他の参加者の発話が検出されたか否かを判断する。そして、ここでの判断が肯定された場合には、次のステップＳ３０５へ移行し、否定された場合には、ステップ３０６へ移行する。
【００５８】
次のステップ３０５では、ＣＰＵ３０ａは、情報記憶部３２に記憶されたデータと、例えば上述した参加者Ａの比較データ群ＭＤ１Ａを用いて参加者Ａの発話準備期間を検出する。具体的には、ＣＰＵ３０ａは、図６の概念図を参照するとわかるように、横軸を時間軸とする座標系に動作データＤ２Ａ（ｔ）によって規定される曲線Ｓ２Ａ（ｔ）に対して、比較データ群ＭＤ１Ａによって規定される曲線Ｓ１Ａを時間軸方向へ移動させながら、逐次相関値を計算する。そして、ＣＰＵ３０ａは、図７を参照するとわかるように、算出した相関値が最も高かったときのデータ群によって規定される期間を発話準備期間ＰＡ（２）として検出する。
【００５９】
次のステップ３０６では、ＣＰＵ３０ａは、情報記憶部３２に記憶されたデータと、上述した参加者Ａの比較データ群ＭＤ２Ａとを用いて傾聴期間を検出する。具体的には、ＣＰＵ３０ａは、図８の概念図を参照するとわかるように、横軸を時間軸とする座標系に動作データＤ２Ａ（ｔ）によって規定される曲線Ｓ２Ａ（ｔ）に対して、比較データ群ＭＤ２Ａによって規定される曲線Ｓ２Ａを時間軸方向へ移動させながら、逐次相関値を計算する。そして、ＣＰＵ３０ａは、図８を参照するとわかるように、算出した相関値が最も高かったときのデータ群によって規定される期間を傾聴期間ＨＡ（２）として検出する。
【００６０】
次のステップＳ３０７では、ＣＰＵ３０ａは、参加者Ａ〜Ｃの発話期間について、発話準備期間、傾聴期間が検出されたか否かを判断する。ここでは、上述したようにステップＳ３０５及びステップＳ３０６において、参加者Ａの発話期間ＴＡ（２）についてのみ発話準備期間ＰＡ（２）及び傾聴期間ＨＡ（２）が検出されているだけである。したがって、ステップＳ３０７での判断は否定され、ステップＳ３０３へ戻る。以降、ＣＰＵ３０ａによって、参加者Ａ〜Ｃについて、すべての発話期間に対応する発話準備期間及び傾聴期間が検出されるまで、ステップＳ３０３〜ステップＳ３０７の処理が繰り返し実行される。一方、参加者Ａ〜Ｃについて、すべての発話期間に対応する発話準備期間及び傾聴期間が検出されると、ステップＳ３０７での判断が肯定され、次のステップＳ３０８へ移行する。
【００６１】
次のステップＳ３０８では、ＣＰＵ３０ａは、各参加者Ａ〜Ｃ間の対話関係を導出し、外部装置などへ出力する。例えば、図８に示されるように、参加者Ａの、発話期間ＴＡ（２）、発話準備期間ＰＡ（２）、及び傾聴期間ＨＡ（２）がそれぞれ検出されたとする。この場合には、関係導出部３７は、傾聴期間ＨＡ（２）と重複する発話期間ＴＢ（１）に発話していた者が参加者Ｂであり、参加者Ａは参加者Ｂの発話の内容を聞いて（傾聴期間）、参加者Ｃの発話が終わるのを待っていた（発話準備期間）等の情報を外部装置などへ出力する。
【００６２】
以上説明したように、本第２の実施形態では、ある参加者の発話期間に他の参加者がどのような状態にあるかという対話関係が明確になる。したがって、参加者全体の中の話し手と聞き手との関係を正確に把握することが可能となる。
【００６３】
具体的には、特定の参加者が、どの参加者の発話内容を注意して聞いていたかを正確に把握し、分析することができる。
【００６４】
また、本第２の実施形態では、発話準備期間が検出される。したがって、発話準備状態にいる時間傾向を知ることができ、例えば、参加者による会議等が、思い立つとすぐ話せる会議であるか、思い立っても待たされる時間の長い会議なのであるかといった傾向を知ることができる。
【００６５】
また、本第２の実施形態では、参加者が、発話準備状態をまったく経ずに発話する人か、じっくり待つ人かどうかといった、参加者個々の傾向を知ることができる。このため、参加者が、通常と異なる傾向を示した際の対話関係などを、とくに重要な情報として据え、分析することなどが可能となる。
【００６６】
《第３の実施形態》
次に、本発明の第３の実施形態を、図１２〜図１４を参照しつつ説明する。なお、第１の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。
【００６７】
本第３の実施形態に係る対話関係導出システム１０は、発話準備期間検出部３４が発話機会判定部３４ａを有している点で、第１の実施形態にかかる対話関係導出システム１０と相違している。
【００６８】
本実施形態に係る発話機会判定部３４ａは、発話時刻検出部３３が出力した発話開始時刻を基準に発話準備期間の検出を行う際に遡るΔＴ時間を動的に変化させる。例えば、複数人が、話を割って入る余地を与えないような密接した間隔で連続的に発話している状態をブロックとみなして、このブロックの開始時刻までの時間をΔＴ時間として算出する。以下、発話機会判定部３４ａを有する発話準備期間検出部３４の動作について、図１３に示されるフローチャートに基づいて説明する。
【００６９】
最初のステップＳ４０１では、発話準備期間検出部３４は、発話準備期間の検出対象となる発話期間における発話開始時刻からΔＴ２時間前の時刻における、他の参加者の発話期間を検出する。例えば、図１４を参照するとわかるように、発話準備期間検出部３４は、発話期間ＴＡ（２）の発話準備期間を検出する場合にはまず時刻ｔｓＡ（２）からΔＴ２時間前の時刻ｔａ１Ａ（２）を含む他の参加者の発話期間を検出する。
【００７０】
次のステップＳ４０２では、発話準備期間検出部３４は、他の参加者の発話期間が検出されたか否かを判断する。例えば、時刻ｔｓ１Ａ（２）は、参加者Ｂの発話期間ＴＢ（１）に含まれるので、ここでの判断は肯定され、発話準備期間検出部３４は、次のステップＳ４０３へ移行する。
【００７１】
ステップＳ４０３では、発話準備期間検出部３４は、最後に検出された発話期間の開始時刻からΔＴ２時間前の時刻における、他の参加者の発話期間を検出する。例えば、図１４を参照するとわかるように、最後に検出された発話期間が発話期間ＴＢ（１）である場合には、発話準備期間検出部３４は、時刻ｔｓＢ（１）からΔＴ２時間前の時刻ｔｓ１Ｂ（１）を含む発話期間ＴＣ（１）を検出する。そして、発話準備期間検出部３４は、次のステップＳ４０２へ移行する。以降、発話準備期間検出部３４は、ステップＳ４０２での判断が否定されるまでステップＳ４０２及びステップＳ４０３の処理を繰り返し行う。
【００７２】
一方、図４を参照するとわかるように、例えば発話期間ＴＣ（１）の開始時刻ｔｓＣ（１）からΔＴ２時間前の時刻ｔｓ１Ｃ（１）において、他の参加者の発話期間の検出が行われた場合には、他の参加者の発話期間が検出されず、ステップＳ４０２での判断が否定される。この場合には、発話準備期間検出部３４は、次のステップＳ４０４へ移行する。
【００７３】
ステップＳ４０４では、発話準備期間の検出対象となる発話期間における発話開始時刻から、最後に検出された他の参加者の発話期間の発話開始時刻までの時間ΔＴを算出する。例えば、発話期間ＴＡ（２）の発話開始時刻ｔｓＡ（２）から、発話期間ＴＣ（１）の発話開始時刻ｔｓＣ（１）までの時間がΔＴとして算出される。
【００７４】
次のステップＳ４０５では、発話準備期間検出部３４は、第１の実施形態で述べたように、情報記憶部３２に記憶されたデータと、例えば上述した参加者Ａの比較データ群ＭＤ１Ａを用いて参加者Ａの発話準備期間を検出する。具体的には、発話準備期間検出部３４は、図６の概念図を参照するとわかるように、横軸を時間軸とする座標系に動作データＤ２Ａ（ｔ）によって規定される曲線Ｓ２Ａ（ｔ）に対して、比較データ群ＭＤ１Ａによって規定される曲線Ｓ１Ａを時間軸方向へ移動させながら、逐次相関値を計算する。そして、発話準備期間検出部３４は、図７を参照するとわかるように、算出した相関値が最も高かったときのデータ群によって規定される期間を発話準備期間ＰＡ（２）として検出する。
【００７５】
以上説明したように、本第３の実施形態では、発話準備期間の検出において、繰り返し他の参加者の発話期間が検出される。したがって、複数人の参加者によって連続的になされた発話に対する発話準備期間を精度よく検出することができる。
【００７６】
《第４の実施形態》
次に、本発明の第４の実施形態を、図１５及び図１６を参照しつつ説明する。なお、第１の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。
【００７７】
本第４の実施形態に係る対話関係導出システム１０は、検出された発話準備期間の開始時刻を修正する機能を有する発話準備判定部３８を有している点で、第１の実施形態にかかる対話関係導出システム１０と相違している。
【００７８】
本実施形態に係る対話関係導出システム１０では、傾聴期間検出部３５は、傾聴期間ＨＡ（１）を検出した後に、図１６におけるｔｅＢ（１）から発話準備期間ＰＡ（１）の開始時刻ｔ１Ａ（１）までの相関を算出する。
【００７９】
発話準備判定部３８は、傾聴期間検出部３５から動作信号に関するデータＳ２Ａ（ｔ）を受信し、発話準備期間ＰＡ（１）についての相関を算出する。そして、発話準備期間の前半と、傾聴期間の後半との相関が高いと判断できる場合には、検出された発話準備期間ＰＡ（１）の開始時刻を修正する。これにより、傾聴期間の終了時刻は、例えばｔｅＢ（１）からｔ１Ａ（１）へ修正される。
【００８０】
以上説明したように、本第４の実施形態では、傾聴期間の終了時刻が発話準備期間との相関に基づいて適切に修正される。したがって、動作信号に基づく細かい傾聴期間の把握が可能となる。
【００８１】
以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。
【００８２】
例えば、上記各実施形態では、参加者Ａ〜Ｃそれぞれが個別に対話用端末２０Ａ〜２０Ｃを所有している場合について説明したが、これに限らず、参加者全員に共通の端末を用意して、参加者Ａ〜Ｃの音声信号及び動作信号を同一の端末から対話関係導出装置３０へ出力することとしてもよい。
【００８３】
この場合には、例えば情報入力部３１などが、音声信号及び動作信号を参加者ごとに分離して、情報記憶部３２へ出力すればよい。なお、情報記憶部３２へ出力するデータとしては、ＷＡＶＥ形式のファイルや、或いは各データを時系列的に配列したデータファイルなどが考えられる。
【００８４】
また、上記各実施形態では、動作信号を、対話用端末２０Ａ〜２０Ｃに含まれる加速度センサからの信号であるものとして説明したが、これに限らず、動作信号は、例えばＣＣＤカメラによって参加者をモニタすることにより、参加者の動作を検出し、この検出結果から生成することとしてもよい。例えば、参加者がうなずく動作、顔の表情の変化、手足のゆれ、ジェスチャなどを検出し、この検出結果から動作信号を生成することができる。また、参加者が着座する椅子などに設けた感圧センサや、マイクロデバイスなどで、各参加者の血圧、血流、姿勢変化などをモニタし、このモニタ結果に基づいて、動作信号を生成してもよい。
【００８５】
また、上記各実施形態では、比較データ群ＭＤ１，ＭＤ２を、参加状態記憶部３６に記憶された情報に基づいて更新することとしたが、比較データ群としては、ユーザが別途作成したデータ群を用いてもよい。
【００８６】
なお、上記実施形態に係る対話関係導出装置３０の機能は、専用のハードウェアによっても、また、通常のコンピュータシステムによっても実現することができる。
【００８７】
また、第２の実施形態において対話関係導出装置３０の補助記憶部３０ｃに記憶されているプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital
Versatile Disk）、ＭＯ（Magneto-Optical disk）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。
【００８８】
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するようにしてもよい。
【００８９】
また、プログラムは、通信ネットワークを介して転送しながら起動実行することとしてもよい。
【００９０】
また、プログラムは、全部又は一部をサーバ装置上で実行させ、その処理に関する情報を通信ネットワークを介して送受信しながら、上述の画像処理を実行することとしてもよい。
【００９１】
なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロード等してもよい。
【００９２】
なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。
【産業上の利用可能性】
【００９３】
本発明の対話関係導出装置、対話関係導出方法、及びプログラムは、参加者の発話が、いずれの参加者の発話を聞いた後になされたものかを明確にし、参加者全体の中の話し手と聞き手との関係を正確に把握することに適している。
【符号の説明】
【００９４】
１０  対話関係導出システム
２０Ａ〜２０Ｃ  対話用端末
３０  対話関係導出装置
３０ａ  ＣＰＵ
３０ｂ  主記憶部
３０ｃ  補助記憶部
３０ｄ  表示部
３０ｅ  入力部
３０ｆ  インターフェイス部
３０ｇ  システムバス
３１  情報入力部
３２  情報記憶部
３３  発話時刻検出部
３４  発話準備期間検出部
３４ａ  発話機会判定部
３５  傾聴期間検出部
３６  参加状態記憶部
３７  関係導出部
３８  発話準備判定部
【図１】
2010193292.tif 000003
【図２】
2010193292.tif 000004
【図３】
2010193292.tif 000005
【図４】
2010193292.tif 000006
【図５】
2010193292.tif 000007
【図６】
2010193292.tif 000008
【図７】
2010193292.tif 000009
【図８】
2010193292.tif 000010
【図９】
2010193292.tif 000011
【図１０】
2010193292.tif 000012
【図１１】
2010193292.tif 000013
【図１２】
2010193292.tif 000014
【図１３】
2010193292.tif 000015
【図１４】
2010193292.tif 000016
【図１５】
2010193292.tif 000017
【図１６】
2010193292.tif 000018