(57)【特許請求の範囲】
【請求項１】
会話中の参加者を撮影する撮影部と、
前記参加者の会話中の音声データを入力する音声入力部と、
前記参加者の会話中の非言語行動を計測する計測部と、
前記音声データに基づいて各発話の開始及び終了の時刻と発話した参加者とを検出する発話区間検出部と、
前記計測部による計測結果に基づいて、会話中の各発話の終了後に前記参加者それぞれが次に発話を行う確率である次話者確率を推定する次話者推定部と、
発話毎に、コミュニケーションスキルを定量的に表すスキル判別パラメータの値を前記発話が開始されたときの前記次話者確率に基づいて参加者別に算出する評価部と、
前記撮影部による撮影により得られた映像データを再生して会話中の参加者の映像の表示及び音声の出力を行うとともに、前記参加者の発話毎の前記スキル判別パラメータを表示する再生制御部と、
を備えることを特徴とするコミュニケーションスキル評価システム。
【請求項２】
会話中の参加者の音声データに基づいて各発話の開始及び終了の時刻と発話した参加者とを検出する発話区間検出部と、
前記参加者の会話中の非言語行動の計測結果に基づいて、会話中の各発話の終了後に前記参加者それぞれが次に発話を行う確率である次話者確率を推定する次話者推定部と、
発話毎に、コミュニケーションスキルを定量的に表すスキル判別パラメータの値を前記発話が開始されたときの前記次話者確率に基づいて参加者別に算出する評価部と、
会話中の参加者を撮影した映像データを再生して映像の表示及び音声の出力を行うとともに、前記参加者の発話毎の前記スキル判別パラメータを表示する再生制御部と、
を備えることを特徴とするコミュニケーションスキル評価装置。
【請求項３】
前記再生制御部は、前記映像データの再生箇所の発話について算出された前記スキル判別パラメータを、他の発話について算出された前記スキル判別パラメータと異なる態様で表示する、
ことを特徴とする請求項２に記載のコミュニケーションスキル評価装置。
【請求項４】
前記再生制御部は、表示中の発話毎の前記スキル判別パラメータに基づいて選択された発話に対応した前記映像データの部分を再生する、
ことを特徴とする請求項２又は請求項３に記載のコミュニケーションスキル評価装置。
【請求項５】
各発話の発話内容を記憶する記憶部をさらに備え、
前記再生制御部は、前記映像データを再生して映像の表示及び音声の出力を行うとともに、発話毎に、発話内容及び発話者と、直前又は次の発話の発話内容及び発話者と、前記スキル判別パラメータとを表示する、
ことを特徴とする請求項２から請求項４のいずれか一項に記載のコミュニケーションスキル評価装置。
【請求項６】
前記再生制御部は、時間軸に沿って、連続する発話それぞれの開始から終了までの区間及び発話内容と、連続する前記発話のうち後の発話についての各参加者の前記次話者確率とを並べて表示する、
ことを特徴とする請求項２から請求項５のいずれか一項に記載のコミュニケーションスキル評価装置。
【請求項７】
前記再生制御部は、前記時間軸に沿って並べて表示された連続する発話の区間及び発話内容と、各参加者の前記次話者確率とに加えて、映像データの現在の再生箇所の時刻を表す情報と、最も次話者確率が高い時刻を表す情報とを表示する、
ことを特徴とする請求項６に記載のコミュニケーションスキル評価装置。
【請求項８】
コンピュータに、
会話中の参加者の音声データに基づいて各発話の開始及び終了の時刻と発話した参加者とを検出する発話区間検出ステップと、
前記参加者の会話中の非言語行動の計測結果に基づいて、会話中の各発話の終了後に前記参加者それぞれが次に発話を行う確率である次話者確率を推定する次話者確率推定ステップと、
発話毎に、コミュニケーションスキルを定量的に表すスキル判別パラメータの値を前記発話が開始されたときの前記次話者確率に基づいて参加者別に算出する評価ステップと、
会話中の参加者を撮影した映像データを再生して映像の表示及び音声の出力を行うとともに、前記参加者の発話毎の前記スキル判別パラメータを表示する再生制御ステップと、
を実行させるためのコミュニケーションスキル評価プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コミュニケーションスキル評価システム、コミュニケーションスキル評価装置及びコミュニケーションスキル評価プログラムに関する。
【背景技術】
【０００２】
会話の参加者が適切なタイミングで発話すると、良い雰囲気で会話が進行する。会話の目的は様々であるが、良い雰囲気の会話はその目的の達成に効果的であり、参加者の満足度も高い。しかしながら、会話中に適切なタイミングで発話することは、高度なコミュニケーションスキルを要する。そのため、必ずしも誰もが適切なタイミングで発話を行えるわけではない。
一方、会話中のユーザの状態を自動的にモニタリングする技術がある（例えば、特許文献１参照）。この技術では、会話の参加者の頷き、笑い、合いの手などを検出し、時系列にモニタリングする。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１２０７９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
会話の流れの中で発話に適切なタイミングであるか否かを判断できるようなコミュニケーションスキルを習得することは容易ではない。そこで、会話の参加者が適切なタイミングで発話できていたかを後から確認できれば、コミュニケーションスキルの習得に有用であると考えられる。しかし、特許文献１の技術では、会話中に参加者が適切なタイミングで発話できていたかどうかを確認するためのものではない。
【０００５】
上記事情に鑑み、本発明は、会話中の発言が適切なタイミングで行われたかを確認することができるコミュニケーションスキル評価システム、コミュニケーションスキル評価装置及びコミュニケーションスキル評価プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の一態様は、会話中の参加者を撮影する撮影部と、前記参加者の会話中の音声データを入力する音声入力部と、前記参加者の会話中の非言語行動を計測する計測部と、前記音声データに基づいて各発話の開始及び終了の時刻と発話した参加者とを検出する発話区間検出部と、前記計測部による計測結果に基づいて、会話中の各発話の終了後に前記参加者それぞれが次に発話を行う確率である次話者確率を推定する次話者推定部と、発話毎に、コミュニケーションスキルを定量的に表すスキル判別パラメータの値を前記発話が開始されたときの前記次話者確率に基づいて参加者別に算出する評価部と、前記撮影部による撮影により得られた映像データを再生して会話中の参加者の映像の表示及び音声の出力を行うとともに、前記参加者の発話毎の前記スキル判別パラメータを表示する再生制御部と、を備えるコミュニケーションスキル評価システムである。
【０００７】
また、本発明の一態様は、会話中の参加者の音声データに基づいて各発話の開始及び終了の時刻と発話した参加者とを検出する発話区間検出部と、前記参加者の会話中の非言語行動の計測結果に基づいて、会話中の各発話の終了後に前記参加者それぞれが次に発話を行う確率である次話者確率を推定する次話者推定部と、発話毎に、コミュニケーションスキルを定量的に表すスキル判別パラメータの値を前記発話が開始されたときの前記次話者確率に基づいて参加者別に算出する評価部と、会話中の参加者を撮影した映像データを再生して映像の表示及び音声の出力を行うとともに、前記参加者の発話毎の前記スキル判別パラメータを表示する再生制御部と、を備えるコミュニケーションスキル評価装置である。
【０００８】
また、本発明の一態様は、上述のコミュニケーションスキル評価装置であって、前記再生制御部は、前記映像データの再生箇所の発話について算出された前記スキル判別パラメータを、他の発話について算出された前記スキル判別パラメータと異なる態様で表示する。
【０００９】
また、本発明の一態様は、上述のコミュニケーションスキル評価装置であって、前記再生制御部は、表示中の発話毎の前記スキル判別パラメータに基づいて選択された発話に対応した前記映像データの部分を再生する。
【００１０】
また、本発明の一態様は、上述のコミュニケーションスキル評価装置であって、各発話の発話内容を記憶する記憶部をさらに備え、前記再生制御部は、前記映像データを再生して映像の表示及び音声の出力を行うとともに、発話毎に、発話内容及び発話者と、直前又は次の発話の発話内容及び発話者と、前記スキル判別パラメータとを表示する。
【００１１】
また、本発明の一態様は、上述のコミュニケーションスキル評価装置であって、前記再生制御部は、時間軸に沿って、連続する発話それぞれの開始から終了までの区間及び発話内容と、連続する前記発話のうち後の発話についての各参加者の前記次話者確率とを並べて表示する。
【００１２】
また、本発明の一態様は、上述のコミュニケーションスキル評価装置であって、前記再生制御部は、前記時間軸に沿って並べて表示された連続する発話の区間及び発話内容と、各参加者の前記次話者確率とに加えて、映像データの現在の再生箇所の時刻を表す情報と、最も次話者確率が高い時刻を表す情報とを表示する。
【００１３】
また、本発明の一態様は、コンピュータに、会話中の参加者の音声データに基づいて各発話の開始及び終了の時刻と発話した参加者とを検出する発話区間検出ステップと、前記参加者の会話中の非言語行動の計測結果に基づいて、会話中の各発話の終了後に前記参加者それぞれが次に発話を行う確率である次話者確率を推定する次話者確率推定ステップと、発話毎に、コミュニケーションスキルを定量的に表すスキル判別パラメータの値を前記発話が開始されたときの前記次話者確率に基づいて参加者別に算出する評価ステップと、会話中の参加者を撮影した映像データを再生して映像の表示及び音声の出力を行うとともに、前記参加者の発話毎の前記スキル判別パラメータを表示する再生制御ステップと、を実行させるためのコミュニケーションスキル評価プログラムである。
【発明の効果】
【００１４】
本発明により、会話中の発言が適切なタイミングで行われたかを確認することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態によるコミュニケーションスキル評価システムの構成を示す機能ブロック図である。
【図２】同実施形態による発話情報記憶部に記憶される発話情報の例を示す図である。
【図３】同実施形態による次話者確率記憶部に記憶される情報の例を示す図である。
【図４】同実施形態による評価結果記憶部に記憶される評価結果情報の例を示す図である。
【図５】同実施形態によるコミュニケーションスキル評価システムの評価処理の動作を示すフロー図である。
【図６】同実施形態による再生画面の画面表示イメージを示す図である。
【図７】同実施形態によるコミュニケーションスキル評価装置の映像再生処理の動作を示すフロー図である。
【図８】同実施形態による評価表示画面の画面表示イメージを示す図である。
【図９】同実施形態によるタイミング表示画面の画面表示イメージを示す図である。
【図１０】息の吸い込み区間の例を示す図である。
【図１１】注視対象遷移パターンを例示した図である。
【図１２】時間構造情報を例示した図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら本発明の実施形態を詳細に説明する。
従来からある次話者及び発話開始タイミングの予測技術は、会話の参加者の視線、呼吸、頭部動作などの非言語情報と、話者交替の状況の一般的なルールをモデル化したものである。従って、次話者及び発話開始タイミングの予測結果が、実際の次話者や発話開始タイミングと合致しないということは、一般的なルールを逸脱した状況が発生したことを意味する。よって、予測結果に反して発話を行った人物や、発話を行えなかった人物は、一般的な会話のルールに乗っ取って発話を行えないことから、コミュニケーションスキル（以下、「スキル」とも記載する。）が低いと考えられる。
【００１７】
そこで、本実施形態のコミュニケーションスキル評価システムは、従来技術による予測器を用いて、会話中の各発話が終了したところで、各参加者の次話者確率を予測する。次話者確率は、参加者が次の話者となる確率である。コミュニケーションスキル評価システムは、参加者が、自分の次話者確率が高い時に発話を行ったとき、あるいは、自分の次話者確率が低い時に発話を行わなかったときに、その参加者のコミュニケーションスキルが高いと判定する。具体的には、コミュニケーションスキルを判定するために、コミュニケーションスキル評価システムは、以下の第１パラメータＳ１及び第２パラメータＳ２の２つのスキル判別パラメータを算出する。
【００１８】
第１パラメータＳ１：第１パラメータＳ１は、参加者が発話した際に、コミュニケーションスキルを判別する値である。ある参加者が発話した際に、予測器が出力したその参加者の次話者確率が高ければ、第１パラメータＳ１の値が大きく、逆に予測器が出力した次話者確率が低ければ、第１パラメータＳ１の値が小さくなる。つまり、第１パラメータＳ１の値が大きいほど、高いコミュニケーションスキルを有すると判定される。
【００１９】
第２パラメータＳ２：第２パラメータＳ２は、参加者が発話しなかった際に、コミュニケーションスキルを判別する値である。ある参加者が発話しなかった際に、予測器が出力したその参加者の次話者確率が低ければ、第２パラメータＳ２の値が大きく、逆に予測器が出力した確率が高ければ、第２パラメータＳ２の値が小さくなる。つまり、第２パラメータＳ２の値が大きいほど、高いコミュニケーションスキルを有すると判定される。
【００２０】
本発明の実施形態によるコミュニケーションスキル評価システムは、会話中の参加者の映像を記録しておく。一方、コミュニケーションスキル評価システムは、会話の参加者のコミュニケーションスキルを、適切なタイミングで発話を行えたかを判別可能な定量的な値により表す上記の２つのスキル判別パラメータにより判定する。コミュニケーションスキル評価システムは、会話終了後に、算出したスキル判別パラメータに基づいて、発話が適切なタイミングで行えていたシーン、あるいは、行えていなかったシーンを自動分類し、そのシーンの映像を再生する。
【００２１】
なお、本実施形態で取り扱う会話は、参加者が対面して行う会話でもよく、テレビ電話やビデオチャットなど映像を用いた会話でもよい。また、対面で会話する参加者と映像を用いて会話する参加者とが存在してもよい。
【００２２】
図１は、本発明の一実施形態によるコミュニケーションスキル評価システム１の構成を示す機能ブロック図であり、本実施形態と関係する機能ブロックのみを抽出して示してある。同図に示すように、コミュニケーションスキル評価システム１は、音声入力装置２（音声入力部）、計測装置３（計測部）、撮影装置４（撮影部）、及び、コミュニケーションスキル評価装置５を備えて構成される。
【００２３】
音声入力装置２は、例えばマイクロホンであり、各参加者の音声を入力する。計測装置３は、各参加者の非言語行動を計測する。計測する非言語行動は、視線、頭部の動き、及び、呼吸のうち１以上を含む。音声入力装置２及び計測装置３はそれぞれ、複数台であってもよい。例えば、各参加者に音声入力装置２及び計測装置３が装着され得る。
【００２４】
撮影装置４は、例えば、ビデオカメラであり、会話中の参加者を撮影する。撮影により得られた映像データには、音声や撮影された時刻の情報も含まれる。撮影装置４は、複数台であってもよい。撮影装置４は、テレビ電話やビデオチャットのための映像を撮影するビデオカメラを兼ねてもよい。
【００２５】
コミュニケーションスキル評価装置５は、例えば、コンピュータ装置により実現される。コミュニケーションスキル評価装置５は、受信部５１、記憶部５２、発話区間検出部５３、次話者推定部５４、評価部５５、音声認識部５６、入力部５７、再生制御部５８、及び、出力部５９を備える。
【００２６】
受信部５１は、音声入力装置２から会話中の参加者の音声データを受信し、参加者の識別情報と、その参加者の音声データとを対応付けた音声情報を、記憶部５２の音声情報記憶部５２１に書き込む。音声データには、音声が得られた時刻の情報が含まれる。また、受信部５１は、計測装置３から会話中の各参加者の非言語行動に関する計測結果を示すデータを受信し、参加者の識別情報と、その参加者の時系列の非言語行動の計測結果のデータとを対応付けた計測情報を、記憶部５２の計測情報記憶部５２２に書き込む。さらに、受信部５１は、撮影装置４が撮影した会話中の参加者の映像データを受信し、記憶部５２の映像記憶部５２３に書き込む。
【００２７】
記憶部５２は、各種データを記憶する。記憶部５２は、音声情報記憶部５２１、計測情報記憶部５２２、映像記憶部５２３、発話情報記憶部５２４、次話者確率記憶部５２５、及び、評価結果記憶部５２６を備える。音声情報記憶部５２１は、各参加者の音声情報を記憶する。計測情報記憶部５２２は、各参加者の計測情報を記憶する。映像記憶部５２３は、会話中の参加者を撮影した映像データを記憶する。発話情報記憶部５２４は、会話中の各発話の発話区間、発話者、及び、発話内容を対応付けた発話情報を記憶する。次話者確率記憶部５２５は、各参加者の次話者確率を記憶する。評価結果記憶部５２６は、各参加者のコミュニケーションスキルの評価結果を記憶する。
【００２８】
発話区間検出部５３は、既存の任意の技術により、各参加者の音声データから得られる音声特徴量に基づいて、各参加者が発話を行った区間を検出する。会話中のｎ回目の発話をＩＰＵｎとする（ｎは１以上Ｎ＋１以下の整数、Ｎ＋１は会話中の発話の総数）。発話区間検出部５３は、発話ＩＰＵｎの発話区間及び発話者を設定した発話情報を記憶部５２の発話情報記憶部５２４に書き込む。発話区間は、発話開始時刻及び発話終了時刻により示される。
【００２９】
次話者推定部５４は、既存の任意の技術により、会話中の各参加者の次話者確率を算出する予測器である。会話の参加者の数をＬ人（Ｌは２以上の整数）、ｉ番目の参加者（ｉは１以上Ｌ以下の整数）を参加者Ｕｉとする。次話者推定部５４は、発話ＩＰＵｎの発話末に、会話中の各参加者の非言語行動の計測値に基づいて、各参加者Ｕｉが時刻ｔに次の発話ＩＰＵｎ＋１の発話者になる確率である次話者確率Ｐｉｎ＋１（ｔ）を算出する。次話者推定部５４は、各参加者の識別情報と、その参加者の次話者確率を対応付けて記憶部５２の次話者確率記憶部５２５に書き込む。
【００３０】
評価部５５は、第１パラメータ算出部５５１、第２パラメータ算出部５５２、及び、評価結果出力部５５３を備える。
第１パラメータ算出部５５１は、各参加者の第１パラメータＳ１を算出する。参加者Ｕｉが発話者であるｍ番目（ｍはＮ＋１以下の整数）の発話ＩＰＵｍについての第１パラメータＳ１を第１パラメータＳｉ１（ｍ）とする。第１パラメータＳｉ１（ｍ）は、以下の式（１）のように算出される。式（１）において、ｔｉｍは、参加者Ｕｉが発話者である発話ＩＰＵｍの発話開始時刻である。第１パラメータＳｉ１（ｍ）は、参加者Ｕｉが発話ＩＰＵｍを開始した時刻ｔｉｍの次話者確率Ｐｉｍ（ｔ）がどれくらい高かったかを示す。１／Ｌは、次話者確率の期待値である。第１パラメータＳｉ１（ｍ）の値が大きいほど、参加者Ｕｉのコミュニケーションスキルが高いことを表す。
【００３１】
【数１】
0006383349.tif 000002
【００３２】
第２パラメータ算出部５５２は、各参加者の第２パラメータＳ２を算出する。参加者Ｕｉが発話者ではないｏ番目（ｏはＮ＋１以下の整数）の発話ＩＰＵｏについての第２パラメータＳ２を第２パラメータＳｉ２（ｏ）と記載する。第２パラメータＳｉ２（ｏ）は、以下の式（２）のように算出される。式（２）において、ｔｉｏは、参加者Ｕｉ以外が発話者である発話ＩＰＵｏの発話開始時刻である。第２パラメータＳｉ２（ｏ）は、参加者Ｕｉ以外の参加者が発話ＩＰＵｏを開始した時刻ｔｉｏの参加者Ｕｉの次話者確率Ｐｉｏ（ｔ）がどれくらい低かったかを示す。第２パラメータＳｉ２（ｏ）の値が大きいほど、参加者Ｕｉのコミュニケーションスキルが高いことを表す。
【００３３】
【数２】
0006383349.tif 000003
【００３４】
評価結果出力部５５３は、各参加者について算出された第１パラメータ及び第２パラメータを、コミュニケーションスキルの評価結果として記憶部５２の評価結果記憶部５２６に書き込む。
【００３５】
音声認識部５６は、発話情報記憶部５２４から発話区間検出部５３が書き込んだ発話情報を読み出し、各発話の発話区間（発話開始時刻及び発話終了時刻）及び発話者を読み出す。音声認識部５６は、各発話の発話者の発話区間における音声データを音声情報記憶部５２１から読み出し、音声認識する。音声認識部５６は、各発話の音声認識結果の情報を、発話情報記憶部５２４に記憶される発話情報に書き込む。
【００３６】
入力部５７は、ユーザの操作を入力する。入力部５７は、例えば、キーボード、マウス、ボタンなどの入力装置である。
再生制御部５８は、記憶部５２の映像記憶部５２３に記憶されている映像データを再生し、出力部５９に映像の表示と音声の出力を行う。再生制御部５８は、映像データの出力に合わせて、映像データの再生箇所における各参加者のコミュニケーションスキルの評価結果や、次話者確率などを出力部５９に表示する。また、再生制御部５８は、コミュニケーションスキルの評価結果を出力部５９に表示し、その表示の中から入力部５７により選択された評価結果が得られた発話のシーンの映像データを再生し、出力部５９に映像及び音声を出力する。
出力部５９は、各種データを出力する。出力部５９は、例えば、画像を表示するディスプレイ及び音声を出力するスピーカーである。
【００３７】
なお、コミュニケーションスキル評価装置５は、１台のコンピュータ装置により実現してもよく、ネットワークにより接続される複数のコンピュータ装置により実現してもよい。コミュニケーションスキル評価装置５を複数のコンピュータ装置により実現する場合、各機能部をいずれのコンピュータ装置により実現するかは任意とすることができる。また、１つの機能部を、複数台のコンピュータ装置により実現してもよい。
【００３８】
図２は、発話情報記憶部５２４に記憶される発話情報の例を示す図である。同図に示すように、発話情報は、各発話ＩＰＵ１、ＩＰＵ２、…の発話区間（発話開始時刻及び発話終了時刻）と、発話者と、発話内容を示すテキストデータとを対応付けた情報である。
【００３９】
図３は、次話者確率記憶部５２５に記憶される情報の例を示す図である。同図に示すように、次話者確率記憶部５２５は、次話者推定部５４が推定した参加者Ｕ１〜ＵＬそれぞれの各発話の次話者確率を記憶する。
【００４０】
図４は、評価結果記憶部５２６に記憶される評価結果情報の例を示す図である。同図に示すように、評価結果情報は、評価部５５により算出された各話者Ｕ１〜ＵＬそれの第１パラメータ及び第２パラメータを示す。
【００４１】
図５は、コミュニケーションスキル評価システム１の評価処理の動作を示すフロー図である。
コミュニケーションスキル評価システム１は、会話中の各参加者の音声のデータ及び非言語行動のデータと、会話中の映像データを収集する（ステップＳ１０５）。すなわち、音声入力装置２は、会話中の各参加者の音声のデータを送信し、計測装置３は、会話中に計測した各参加者の非言語行動のデータを送信する。受信部５１は、音声入力装置２から受信した参加者の音声のデータに基づいて音声情報を音声情報記憶部５２１に書き込み、計測装置３から受信した各参加者の非言語行動の計測結果を示すデータに基づいて計測情報を計測情報記憶部５２２に書き込む。また、撮影装置４は、会話中の参加者を撮影し、撮影により得られた映像データを送信する。受信部５１は、撮影装置４から受信した映像データを映像記憶部５２３に書き込む。
【００４２】
会話終了後、発話区間検出部５３は、音声情報記憶部５２１に記憶されている各参加者の音声のデータに基づいて、参加者が発話を行った区間を検出する（ステップＳ１１０）。例えば、発話区間検出部５３は、１つの発話の区間を、２つの所定時間連続した無音区間で囲まれた、同一の参加者の発話成分が存在する少なくとも１つの区間を含む時間区間とする。すなわち、発話区間検出部５３は、いずれの話者も発話していない無音区間が所定時間経過した場合に、その無音区間の開始を発話末と判断する。発話区間検出部５３は、全ての参加者の発話の区間を時刻順に並べて発話ＩＰＵ１、ＩＰＵ２、…、ＩＰＵＮ＋１とする。なお、発話区間の検出には、例えば、特開平５−３２３９９６号公報に記載の技術などを用いもよい。発話区間検出部５３は、発話ＩＰＵ１、ＩＰＵ２、…、ＩＰＵＮ＋１それぞれの発話区間の情報と、発話ＩＰＵ１、ＩＰＵ２、…、ＩＰＵＮ＋１それぞれの発話者が参加者Ｕ１〜ＵＬのいずれの人物であるかの情報とを対応付けた発話情報を発話情報記憶部５２４に書き込む。
【００４３】
次話者推定部５４は、発話情報記憶部５２４から発話情報を読み出す。次話者推定部５４は、各発話ＩＰＵｎ（ｎは１以上Ｎ以下の整数）の終了時点において、又は、その終了時点以降に、計測情報記憶部５２２に記憶される計測情報に基づいて、各参加者Ｕｉ（ｉは１以上Ｌ以下の整数）の次話者確率Ｐｉｎ＋１（ｔ）を算出する（ステップＳ１１５）。次話者確率Ｐｉｎ＋１（ｔ）は、発話ＩＰＵｎ終了後の時刻ｔにおいて参加者Ｕｉが次話者となる確率である。次話者推定部５４は、各参加者について算出した次話者確率を、次話者確率記憶部５２５に書き込む。
【００４４】
評価部５５は、参加者Ｕ１〜ＵＬのうち、評価対象の参加者Ｕｉを選択する。評価対象の参加者Ｕｉは、全ての参加者であるが、評価対象としてユーザが入力部５７により入力した参加者でもよい（ステップＳ１２０）。
【００４５】
評価部５５の第１パラメータ算出部５５１は、発話情報記憶部５２４に記憶される発話情報に基づき、発話ＩＰＵ２、…、ＩＰＵＮ＋１のうち、評価対象の参加者Ｕｉが発話者である発話ＩＰＵｍを選択する（ステップＳ１２５）。第１パラメータ算出部５５１は、選択した発話ＩＰＵｍそれぞれについて、上述した式（１）により、参加者Ｕｉの第１パラメータＳｉ１（ｍ）を算出する（ステップＳ１３０）。なお、第１パラメータ算出部５５１は、発話ＩＰＵｍの発話開始時刻ｔｉｍを発話情報から取得し、次話者確率Ｐｉｍ（ｔｉｍ）を次話者確率記憶部５２５から読み出す。
【００４６】
続いて、第２パラメータ算出部５５２は、発話情報記憶部５２４に記憶される発話情報に基づき、発話ＩＰＵ２、…、ＩＰＵＮ＋１のうち、評価対象の参加者Ｕｉが発話者ではない発話ＩＰＵｏを選択する（ステップＳ１３５）。第２パラメータ算出部５５２は、選択した発話ＩＰＵｏそれぞれについて、上述した式（２）により、参加者Ｕｉの第２パラメータＳｉ２（ｏ）を算出する（ステップＳ１４０）。なお、第２パラメータ算出部５５２は、発話ＩＰＵｏの発話開始時刻ｔｉｏを発話情報から取得し、次話者確率Ｐｉｏ（ｔｉｏ）を次話者確率記憶部５２５から読み出す。
【００４７】
評価部５５は、評価対象の全ての参加者を選択したか否かを判断する（ステップＳ１４５）。未選択の評価対象の参加者がいると判断した場合（ステップＳ１４５：ＮＯ）、ステップＳ１２０からの処理を繰り返す。そして、評価部５５が、評価対象の全ての参加者を選択したと判断した場合（ステップＳ１４５：ＹＥＳ）、評価結果出力部５５３は、ステップＳ１５０の処理を行う。すなわち、評価結果出力部５５３は、評価対象の各参加者について算出した第１パラメータと第２パラメータの値を評価結果として評価結果記憶部５２６に書き込む（ステップＳ１５０）。
【００４８】
音声認識部５６は、各発話ＩＰＵ１、ＩＰＵ２、…、ＩＰＵＮ＋１の音声データを音声認識し、発話情報記憶部５２４に書き込む（ステップＳ１５５）。具体的には、音声情報記憶部５２１に記憶される発話区間情報から、各発話ＩＰＵ１、ＩＰＵ２、…、ＩＰＵＮ＋１の発話区間及び発話者を読み出す。音声認識部５６は、各発話について、発話者の発話区間における音声データを音声情報記憶部５２１から読み出して音声認識し、発話内容のテキストデータを得る。なお、音声認識の対象は、映像記憶部５２３から読み出した映像データに含まれる音声データであってもよい。音声認識部５６は、発話情報記憶部５２４に記憶される発話情報に、各発話区間について得られた発話内容のテキストデータである発話内容データを書き込む。なお、コミュニケーションスキル評価装置５は、入力部５７により入力された各発話の発話内容データを発話情報記憶部５２４に書き込んでもよい。
【００４９】
図６は、コミュニケーションスキル評価装置５が表示する再生画面７０の画面表示イメージを示す図である。コミュニケーションスキル評価装置５の再生制御部５８は、同図に示す再生画面７０を出力部５９に表示する。再生画面７０は、映像表示領域７１、タイムライン７２、操作ボタン７３、及び、評価結果表示領域７４を有する。
【００５０】
映像表示領域７１は、撮影装置４により撮影された映像データの再生映像を表示する。
タイムライン７２は、映像表示領域７１に現在表示されている映像の再生時刻が、映像の開始時刻から終了時刻までの間のどの時点であるかを表示する。ユーザが、タイムライン７２をマウス（入力部５７）によりクリックすると、再生制御部５８は、そのクリックされた箇所に対応した再生時刻の映像を映像表示領域７１に表示する。
操作ボタン７３は、ユーザが再生、一時停止、停止、フレーム戻りなどの再生制御を指定するためのボタンである。ユーザが、操作ボタン７３をクリックすると、再生制御部５８は、クリックされたボタンに応じて、映像データの再生開始、再生の一時停止、再生の停止、再生時刻を遡って再生、などを行う。
【００５１】
評価結果表示領域７４は、評価確認対象として選択された参加者Ｕｉの第１パラメータＳｉ１、第２パラメータＳｉ２の一覧を表示する。具体的には、評価結果表示領域７４の左側には、選択された参加者Ｕｉが発話者である各発話の発話開始時刻、発話内容、前の発話者、次の発話者、及び、第１パラメータＳｉ１を対応付けた情報が列ごとに表示される。さらに、評価結果表示領域７４の右側には、選択された参加者Ｕｉ以外が発話者である各発話の発話開始時刻、発話内容、前の発話者、次の発話者、及び、第２パラメータＳｉ２を対応付けた情報が列ごとに表示される。なお、再生制御部５８は、ユーザが選択した項目の内容により、列をソートして評価結果表示領域７４に表示する。
【００５２】
また、再生制御部５８は、ユーザが評価結果表示領域７４に表示されている中から選択した列に対応した発話の前後を含む任意の再生区間の映像データを映像表示領域７１に表示する。例えば、再生制御部５８は、選択された列の発話又はその発話よりもａ個前の発話（ａは１以上の整数）の発話開始時刻−ｂ秒（ｂは０以上）を再生区間の開始時刻とする。また、例えば、再生制御部５８は、選択された列の発話よりもｃ個後の発話（ｃは１以上の整数）の発話開始時刻＋ｄ秒（ｄは０以上）を再生区間の終了時刻とする。また、再生区間の終了時刻を設定せず、再生制御部５８は、停止指示が入力されるか映像データの最後まで再生を継続してもよい。
【００５３】
例えば、ユーザがソート対象として第１パラメータを入力した場合、再生制御部５８は、評価結果表示領域７４に表示されている列を、第１パラメータが大きい順、あるいは、小さい順にソートし、列を並べ替えて表示する。これにより、発話開始のタイミングが適切であった順、あるいは、適切ではなかった順に、発話が表示される。ユーザが、ソートされた結果から列を選択することにより、再生制御部５８は、その列に対応した会話のシーンの映像データを再生する。これにより、ユーザは、適切なタイミングで発話したシーンや、適切ではないタイミングで発話したシーンを確認することができる。
【００５４】
同様に、ユーザがソート対象として第２パラメータを入力した場合、再生制御部５８は、評価結果表示領域７４に表示されている列を、第２パラメータが大きい順、あるいは、小さい順にソートし、列を並べ替えて表示する。これにより、発話しなかったことが適切であった順、あるいは、適切ではなかった順に、発話が表示される。ユーザが、ソートされた結果から列を選択することにより、再生制御部５８は、その列に対応した会話のシーンの映像データを再生する。これにより、ユーザは、発話しなかったことが適切であったシーンや、適切ではなかったシーンを確認することができる。
これにより、参加者は、自身のコミュニケーションスキルが高かった発話のシーンや、低かった発話のシーンを映像や音声で確認し、自身の会話中の行動を見直すことができる。また、コミュニケーションスキルが高かった他の参加者の発話のシーンを確認し、参考にすることもできる。
【００５５】
図７は、コミュニケーションスキル評価装置５の映像再生処理の動作を示すフロー図である。
入力部５７により、映像再生指示と、再生開始時刻と、評価確認対象の参加者Ｕｉとが入力される（ステップＳ２０５）。なお、再生開始時刻の入力は省略可能である。再生制御部５８は、映像データを映像記憶部５２３から読み出す（ステップＳ２１０）。さらに、再生制御部５８は、発話情報記憶部５２４に記憶されている各発話の発話情報を読み出し、参加者Ｕｉが発話者である発話ＩＰＵｍの発話情報と、参加者Ｕｉ以外が発話者である発話ＩＰＵｏの発話情報とに分類する。再生制御部５８は、評価結果記憶部５２６から各発話ＩＰＵｍの第１パラメータＳｉ１（ｍ）と、各発話ＩＰＵｏの第２パラメータＳｉ２（ｏ）を読み出す。再生制御部５８は、各発話ＩＰＵｍごとに、発話ＩＰＵｍの発話情報から読み出した発話開始時刻及び発話内容、直前の発話の発話情報から読み出した発話者、次の発話の発話情報から読み出した発話者、発話ＩＰＵｍのときの第１パラメータＳｉ１（ｍ）の値を対応付けて列毎に時系列で表示する第１の評価表示データを生成する。さらに、再生制御部５８は、各発話ＩＰＵｏごとに、発話ＩＰＵｏの発話情報から読み出した発話開始時刻及び発話内容、直前の発話の発話情報から読み出した発話者、次の発話の発話情報から読み出した発話者、発話ＩＰＵｏの第２パラメータＳｉ２（ｏ）の値を対応付けて列毎に時系列で表示する第２の評価表示データを生成する（ステップＳ２１５）。
【００５６】
再生制御部５８は、再生開始時刻からの映像データを映像表示領域７１に表示し、第１の評価表示データ及び第２の評価表示データを評価結果表示領域７４に表示する再生画面７０を生成する（ステップＳ２２０）。再生開始時刻が入力されなかった場合、再生制御部５８は、映像データの先頭を再生開始時刻とする。再生制御部５８は、出力部５９に、生成した再生画面７０を表示し、再生箇所の映像データの音声を出力する（ステップＳ２２５）。再生時刻が進むにつれて、再生制御部５８は、タイムライン７２上の再生箇所を示す部分を更新して表示する。また、再生制御部５８は、再生時刻を発話区間に含む発話に対応した第１の評価表示データ又は第２の評価表示データの列を、表示色を変える、背景色を変える、太字により表示する、枠を表示するなど、他の列と態様を変えて表示する。
【００５７】
再生制御部５８は、入力部５７により再生時刻の変更が入力されたか否かを判断する（ステップＳ２３０）。再生制御部５８は、再生時刻の変更が入力されないと判断した場合（ステップＳ２３０：ＮＯ）、後述するステップＳ２４０の処理を行う。再生制御部５８は、入力部５７により再生時刻の変更が入力されたと判断した場合（ステップＳ２３０：ＹＥＳ）、変更された再生時刻から映像データを再生して映像表示領域７１に映像を表示し、再生箇所の映像データの音声を出力する（ステップＳ２３５）。再生時刻の変更の入力は、タイムライン７２をクリックするほか、第１の評価表示データ又は第２の評価表示データの列をクリックすることにより指定することができる。第１の評価表示データ又は第２の評価表示データの列がクリックされた場合、再生制御部５８は、クリックされた列の発話の前後のシーンを含むように再生区間を決定し、再生区間の先頭を変更後の再生時刻とする。再生制御部５８は、タイムライン７２上の再生箇所を示す部分を、現在の再生時刻を表すように更新して表示する。また、再生制御部５８は、現在の再生時刻を発話区間に含む発話に対応した第１の評価表示データ又は第２の評価表示データの列を、他の列と態様を変えて表示する。
【００５８】
再生制御部５８は、ステップＳ２３０においてＮＯと判断した後、あるいは、ステップＳ２３５の処理の後、入力部５７によりソート条件が入力されたか否かを判断する（ステップＳ２４０）。再生制御部５８は、ソート条件が入力されないと判断した場合（ステップＳ２４０：ＮＯ）、後述するステップＳ２５０の処理を行う。再生制御部５８は、ソート条件が入力されたと判断した場合（ステップＳ２４０：ＹＥＳ）、第１の評価表示データ又は第２の評価表示データの列を入力されたソート条件に応じて並べ替え、評価結果表示領域７４に表示する（ステップＳ２４５）。
【００５９】
再生制御部５８は、ステップＳ２４０においてＮＯと判断した後、あるいは、ステップＳ２４５の処理の後、再生終了か否かを判断する（ステップＳ２５０）。再生制御部５８は、再生終了ではないと判断した場合（ステップＳ２５０：ＮＯ）、ステップＳ２３０からの処理を繰り返す。再生制御部５８は、入力部５７により再生終了が入力された、映像データを全て再生した、再生区間の再生が終了した場合などに、再生終了と判断し（ステップＳ２５０：ＹＥＳ）、本フローを終了する。
【００６０】
なお、コミュニケーションスキル評価装置５は、ステップＳ２３０〜ステップＳ２３５の処理と、ステップＳ２４０〜ステップＳ２４５の処理とを入れ替えて行ってもよく、並行に独立して行ってもよい。
また、上記においては、第１又は第２の評価表示データの列がクリックされたときに、再生制御部５８が、クリックされた列に対応した発話の前後のシーンを含むように再生区間を決定して映像データを再生している。しかし、再生制御部５８は、予め発話情報に登録された再生区間の情報、または、再生区間の映像データを読み出してもよい。この場合、発話区間検出部５３は、図５のステップＳ１１０において発話情報記憶部５２４に書き込む発話情報を生成する際に、各発話の発話区間及び発話者の情報に加え、再生区間の情報、または、再生区間の映像データをさらに発話情報に設定する。
【００６１】
図８は、コミュニケーションスキル評価装置５が表示する評価表示画面８０の画面表示イメージを示す図である。コミュニケーションスキル評価装置５の再生制御部５８は、入力部５７により評価表示画面の表示指示の入力を受けた場合、同図に示す評価表示画面８０を出力部５９に表示する。評価表示画面８０には、ある発話ＩＰＵｎ（発話１）の発話開始時刻（開始時刻）、発話終了時刻（終了時刻）、発話者、及び、発話内容と、その次の発話ＩＰＵｎ＋１（発話２）の発話開始時刻（開始時刻）、発話終了時刻（終了時刻）、発話者、及び、発話内容と、発話ＩＰＵｎ＋１における各参加者Ｕ１〜ＵＬのコミュニケーションスキルの評価結果が列単位で表示される。評価結果として、参加者が発話ＩＰＵｎ＋１の発話者である場合は第１パラメータが、参加者が発話ＩＰＵｎ＋１の発話者ではない場合は第２パラメータが表示される。
【００６２】
なお、ユーザが、入力部５７により、図６の評価結果表示領域７４に表示されている第１の評価結果データ又は第２の評価結果データの列を選択することによって、評価表示画面８０を表示において発話ＩＰＵｎとすべき発話を選択することもできる。
【００６３】
また、再生制御部５８は、図６に示す評価結果表示領域７４に、評価表示画面８０の表示内容を表示してもよい。この場合、再生制御部５８は、映像データの現在の再生時刻を発話区間に含む発話ＩＰＵｎの列を、他の列と態様を変えて表示する。そして、ユーザが入力部５７により列を選択することによって、再生制御部５８は、選択された列の発話に応じた再生区間の映像データを再生する。また、再生制御部５８は、ユーザが選択した項目の内容により、列をソートして表示する。例えば、入力部５７によって参加者Ｕ１が選択された場合、再生制御部５８は、参加者Ｕ１の評価結果が高い順、又は、低い順に列をソートして表示する。
【００６４】
図９は、コミュニケーションスキル評価装置５が表示するタイミング表示画面９０の画面表示イメージを示す図である。
タイミング表示画面９０には、時間を横軸として、連続した２つの発話ＩＰＵｎ及び発話ＩＰＵｎ＋１の発話区間及び発話内容が表示される。発話区間及び発話内容は、発話した参加者に対応付けて表示される。さらに、タイミング表示画面９０には、各参加者Ｕｉ（ｉ＝１〜Ｌ）の次話者確率Ｐｉｎ＋１（ｔ）が表示される。再生制御部５８は、タイミング表示画面９０の表示と同時に映像データを再生して出力部５９に出力している場合、タイミング表示画面９０に、映像データの現在の再生箇所の時刻を表すライン９１を表示する。また、再生制御部５８は、次話者確率が最も高い時刻を表すライン９２を表示する。ライン９２は、次話者が発話を開始する理想的なタイミングを表す。
【００６５】
タイミング表示画面９０を表示するために、ユーザは、連続した２つの発話ＩＰＵｎ又は発話ＩＰＵｎ＋１のうち一方を特定する情報（例えば、発話の番号、発話の時刻など）を入力部５７に入力する。再生制御部５８は、発話ＩＰＵｎを特定する情報が入力された場合、その情報により特定される発話ＩＰＵｎの発話情報と、発話ＩＰＵｎの１つ後の発話ＩＰＵｎ＋１の発話情報を発話情報記憶部５２４から読み出す。再生制御部５８は、発話ＩＰＵｎ＋１を特定する情報が入力された場合、その情報により特定される発話ＩＰＵｎ＋１の発話情報と、発話ＩＰＵｎ＋１の１つ前の発話ＩＰＵｎの発話情報を発話情報記憶部５２４から読み出す。再生制御部５８は、次話者確率記憶部５２５から、各参加者の次話者確率Ｐｎ＋１（ｔ）を読み出す。再生制御部５８は、発話ＩＰＵｎの発話情報及び発話ＩＰＵｎ＋１の発話情報から読み出した発話開始時刻、発話終了時刻、発話者、発話内容と、各参加者の次話者確率Ｐｎ＋１（ｔ）とを用いてタイミング表示画面９０を生成し、出力部５９に表示する。再生制御部５８は、再生中の映像データの再生時刻を表すように、ライン９１を移動させてタイミング表示画面９０に表示する。これにより、ユーザは、会話中の映像や音声と同時に、次話者確率や、最適な発話タイミングを観察することが可能となる。
【００６６】
なお、再生制御部５８は、映像データの現在の再生時刻が発話区間に含まれる発話を、連続した２つの発話ＩＰＵｎ及び発話ＩＰＵｎ＋１のうち発話ＩＰＵｎとして用いて上記処理を行ってもよい。これにより、再生制御部５８は、ユーザによる指定がなくとも、映像データの再生に伴って、タイミング表示画面９０を表示させることができる。
【００６７】
なお、ユーザが、入力部５７により、図６の再生画面７０の評価結果表示領域７４に表示されている第１の評価結果データ又は第２の評価結果データの列を選択することによって、タイミング表示画面９０において発話ＩＰＵｎとすべき発話を選択することもできる。これにより、再生画面７０に、選択された第１の評価結果データ又は第２の評価結果データの列に対応した再生区間の映像データが再生されるのに併せて、タイミング表示画面９０が表示される。
【００６８】
また、再生制御部５８は、映像データの再生中に、発話ＩＰＵｎ＋１の音声の再生開始時刻を、ライン９２が示す次話者確率Ｐｎ＋１（ｔ）が最も高い再生時刻にずらして出力部５９に出力してもよい。これにより、ユーザは、最も良い発話のタイミングを確認することができる。
【００６９】
上述したように本実施形態のコミュニケーションスキル評価システムは、撮影装置により、会話中の参加者を撮影する。同時に、コミュニケーションスキル評価システムは、音声入力装置により、会話中の参加者の音声データを入力し、計測装置により複数の参加者それぞれの会話中の非言語行動を計測する。コミュニケーションスキル評価システムが備えるコミュニケーションスキル評価装置は、音声データに基づいて各発話の開始及び終了の時刻と発話した参加者とを検出する。続いて、コミュニケーションスキル評価装置は、計測装置による計測結果に基づいて、会話中の各発話の終了後に参加者それぞれが次に発話を行う確率である次話者確率を推定する。コミュニケーションスキル評価装置は、発話毎に、コミュニケーションスキルを定量的に表すスキル判別パラメータの値を、発話が開始されたときの次話者確率に基づいて参加者別に算出する。コミュニケーションスキル評価装置は、映像データを再生して会話中の参加者の映像の表示及び音声の出力を行うとともに、参加者の発話毎のスキル判別パラメータを表示する。
このとき、コミュニケーションスキル評価装置は、映像データの再生箇所の発話について算出されたスキル判別パラメータを、他の発話について算出されたスキル判別パラメータと異なる態様で表示する。また、コミュニケーションスキル評価装置は、各発話のスキル判別パラメータに加え、発話内容及び発話者と、直前又は次の発話の発話内容及び発話者を表示する。また、コミュニケーションスキル評価装置は、表示中の発話毎のスキル判別パラメータに基づいて、ユーザが選択した発話に対応した映像データの部分を再生する。
さらに、コミュニケーションスキル評価装置は、図９に示すように、時間軸に沿って、連続する発話それぞれの開始から終了までの区間及び発話内容と、連続する発話のうち後の発話についての各参加者の次話者確率とを並べて表示する。このとき、コミュニケーションスキル評価装置は、時間軸に沿って並べて表示された連続する発話の区間及び発話内容と、各参加者の次話者確率に加えて、映像データの現在の再生箇所の時刻を表す情報と、最も次話者確率が高い時刻を表す情報とを表示する。
【００７０】
上述した実施形態によれば、会話中の発言が適切なタイミングで行われたかどうかを確認することができる。また、ユーザが、適切なタイミングの発話、あるいは、適切ではないタイミングの発話を指定することにより、その発話のシーンを選んで確認することができる。また、ユーザは、発話に最も良いタイミングを確認することもできる。
【００７１】
なお、コミュニケーションスキル評価システム１における次話者推定技術には、例えば、以下の参考文献１、２の技術などを適用することができるが、任意の既存の技術を利用してもよい。参考文献１、２では、発話者と非発話者の注視行動の遷移パターンを用いて、次発話者および発話のタイミングを予測している。
【００７２】
（参考文献１）特開２０１４−２３８５２５公報
（参考文献２）石井亮，外４名，“複数人対話における注視遷移パターンに基づく次話者と発話タイミングの予測”，人工知能学会研究会資料，SIG-SLUD-B301-06, pp.27-34, 2013．
【００７３】
以下に、本実施形態に適用可能な参考文献１，２以外の次話者推定技術の例を示す。
会話の参加者の呼吸動作は次発話者と発話のタイミングに深い関連性がある。このことを利用して、会話の参加者の呼吸動作をリアルタイムに計測し、計測された呼吸動作から発話の開始直前に行われる特徴的な呼吸動作を検出し、この呼吸動作を基に次発話者とその発話タイミングを高精度に算出する。具体的には、発話開始直前におこなわれる呼吸動作の特徴として、発話を行っている発話者は、継続して発話する際（発話者継続時）には、発話終了直後にすぐに急激に息を吸い込む。逆に発話者が次に発話を行わない際（発話者交替時）には、発話者継続時に比べて、発話終了時から間を空けて、ゆっくりと息を吸い込む。また、発話者交替時に、次に発話をおこなう次発話者は、発話を行わない非発話者に比べて大きく息を吸い込む。このような発話の前におこなわれる呼吸は、発話開始に対しておおよそ決められたタイミングで行われる。このように、発話の直前に次発話者は特徴的な息の吸い込みを行うため、このような息の吸い込みの情報は、次発話者とその発話タイミングを予測するのに有用である。本次話者推定技術では、人物の息の吸い込みに着目し、息の吸い込み量や吸い込み区間の長さ、タイミングなどの情報を用いて、次発話者と発話タイミングを予測する。
【００７４】
以下では、Ａ人の参加者Ｐ１，…，ＰＡが対面コミュニケーションを行う状況を想定する。参加者Ｐａ（ただし、ａ＝１，…，Ａ、Ａ≧２）には呼吸動作計測装置および音声情報取得装置が装着される。呼吸動作計測装置は、参加者Ｐａの呼吸動作を計測し、各離散時刻ｔでの計測結果を表す呼吸情報Ｂａ，ｔを得て、推定装置に出力する。バンド式の呼吸装置では、バンドの伸縮の強さによって呼吸の深さの度合いを示す値を出力する。息の吸い込みが大きいほどバンドの伸びが大きくなり、逆に息の吐き出しが大きいほどバンドの縮みが大きくなる（バンドの伸びが小さくなる）。以降、この値をＲＳＰ値と呼ぶ。なお、ＲＳＰ値は、バンドの伸縮の強さに応じて参加者Ｐａごとに異なる大きさを取る。そこで、これに起因するＰａごとのＲＳＰ値の相違を排除するために、各参加者ＰａのＲＳＰ値の平均値μａと標準偏差値δａを用いて、μａ+δａが１、μａ−δａが−１になるように参加者ＰａごとにＲＳＰ値を正規化する。これによって、すべての参加者Ｐａの呼吸動作データを同一に分析することが可能となる。各呼吸動作計測装置は、正規化されたＲＳＰ値を呼吸情報Ｂａ，ｔとして推定装置に送る。
【００７５】
さらに、音声情報取得装置は、参加者Ｐａの音声を取得し、各離散時刻ｔでの参加者Ｐａの音声を表す音声情報Ｖａ，ｔを得て、推定装置に出力する。推定装置は、入力された音声情報Ｖａ，ｔ（ただし、ａ＝１，…，Ａ）から雑音を除去し、さらに発話区間Ｕｋ（ただし、ｋは発話区間Ｕｋの識別子）とその発話者Ｐｕｋとを抽出する。ただし、「Ｐｕｋ」の下付き添え字はｕｋ＝１，…，Ａを表す。本次話者推定技術では、１つの発話区間ＵｋをＴｄ［ｍｓ］連続した無音区間で囲まれた区間と定義し、この発話区間Ｕｋを発話の一つの単位と規定する。これにより、推定装置は、各発話区間Ｕｋを表す発話区間情報、およびその発話者Ｐｕｋを表す発話者情報（参加者Ｐ１，…，ＰＡのうち何れが発話区間Ｕｋでの発話者Ｐｕｋであるかを表す発話者情報）を得る。
【００７６】
推定装置は、各参加者Ｐａの呼吸情報Ｂａ，ｔを用いて、各参加者Ｐａの息の吸い込み区間Ｉａ，ｋを抽出し、さらに息の吸い込みに関するパラメータλａ，ｋを取得する。息の吸い込み区間とは、息を吐いている状態から、息を吸い込みだす開始位置と、息を吸い込み終わる終了位置との間の区間を示す。
【００７７】
図１０は、息の吸い込み区間の例を示す図である。図１０を用いて、息の吸い込み区間Ｉａ，ｋの算出方法を例示する。ここで参加者Ｐａの離散時刻ｔでのＲＳＰ値をＲａ，ｔと表記する。ＲＳＰ値Ｒａ，ｔは呼吸情報Ｂａ，ｔに相当する。図１０に例示するように、例えば、
【００７８】
【数３】
0006383349.tif 000004
【００７９】
が成り立つとき、離散時刻ｔ＝ｔｓ（ｋ）の前２フレームでＲＳＰ値Ｒａ，ｔが連続して減少し、その後２フレームでＲＳＰ値Ｒａ，ｔが連続して上昇しているから、離散時刻ｔｓ（ｋ）を息の吸い込みの開始位置とする。さらに
【００８０】
【数４】
0006383349.tif 000005
【００８１】
が成り立つとき、離散時刻ｔ＝ｔｅ（ｋ）の前２フレームのＲＳＰ値Ｒａ，ｔが連続して上昇し、その後２フレームのＲＳＰ値Ｒａ，ｔが連続して減少しているから、離散時刻ｔｅ（ｋ）を息の吸い込みの終了位置とする。このとき、参加者Ｐａの息の吸い込み区間Ｉａ，ｋはｔｓ（ｋ）からｔｅ（ｋ）までの区間となり、息の吸い込み区間の長さはｔｅ（ｋ）−ｔｓ（ｋ）となる。
【００８２】
推定装置は、息の吸い込み区間Ｉａ，ｋが抽出されると、息の吸い込み区間Ｉａ，ｋ、呼吸情報Ｂａ，ｔ、および発話区間Ｕｋの少なくとも一部を用い、息の吸い込みに関するパラメータλ’ａ，ｋを抽出する。パラメータλ’ａ，ｋは、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込みの量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の少なくとも一部を表す。パラメータλ’ａ，ｋは、これらの一つのみを表してもよいし、これらのうち複数を表してもよいし、これらすべてを表してもよい。パラメータλ’ａ，ｋは、例えば以下のパラメータＭＩＮａ，ｋ，ＭＡＸａ，ｋ，ＡＭＰａ，ｋ，ＤＵＲａ，ｋ，ＳＬＯａ，ｋ，ＩＮＴ１ａ，ｋの少なくとも一部を含む。パラメータλ’ａ，ｋは、これらの１つのみを含んでいてもよいし、これらのうち複数を含んでいてもよいし、これらのすべてを含んでいてもよい。
・ＭＩＮａ，ｋ：参加者Ｐａの息の吸い込み開始時のＲＳＰ値Ｒａ，ｔ、すなわち、息の吸い込み区間Ｉａ，ｋのＲＳＰ値Ｒａ，ｔの最小値。
・ＭＡＸａ，ｋ：参加者Ｐａの息の吸い込み終了時のＲＳＰ値Ｒａ，ｔ、すなわち、息の吸い込み区間Ｉａ，ｋのＲＳＰ値Ｒａ，ｔの最大値。
・ＡＭＰａ，ｋ：参加者Ｐａの息の吸い込み区間Ｉａ，ｋのＲＳＰ値Ｒａ，ｔの振幅、すなわち、ＭＡＸａ，ｋ−ＭＩＮａ，ｋで算出される値。吸い込み区間Ｉａ，ｋでの息の吸い込み量を表す。
・ＤＵＲａ，ｋ：参加者Ｐａの息の吸い込み区間Ｉａ，ｋの長さ、すなわち、息の吸い込み区間Ｉａ，ｋの終了位置の離散時刻ｔｅ（ｋ）から開始位置の離散時刻ｔｓ（ｋ）を減じて得られる値ｔｅ（ｋ）−ｔｓ（ｋ）。
・ＳＬＯａ，ｋ：参加者Ｐａの息の吸い込み区間Ｉａ，ｋにおけるＲＳＰ値Ｒａ，ｔの単位時間当たりの傾きの平均値、すなわち、ＡＭＰａ，ｋ／ＤＵＲａ，ｋで算出される値。吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化を表す。
・ＩＮＴ１ａ，ｋ：手前の発話区間Ｕｋの終了時刻ｔｕｅ（ｋ）（発話区間末）から参加者Ｐａの息の吸い込みが開始されるまでの間隔、すなわち、息の吸い込み区間Ｉａ，ｋの開始位置の離散時刻ｔｓ（ｋ）から発話区間Ｕｋの終了時刻ｔｕｅ（ｋ）を減じて得られる値ｔｓ（ｋ）−ｔｕｅ（ｋ）。発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係を表す。
【００８３】
推定装置は、さらに以下のパラメータＩＮＴ２ａ，ｋを生成してもよい。
・ＩＮＴ２ａ，ｋ：参加者Ｐａの息の吸い込み終了時から次発話者の発話区間Ｕｋ＋１が開始されるまでの間隔、すなわち、次発話者の発話区間Ｕｋ＋１の開始時刻ｔｕｓ（ｋ＋１）から息の吸い込み区間Ｉａ，ｋの終了位置の離散時刻ｔｅ（ｋ）を減じて得られる値ｔｕｓ（ｋ＋１）−ｔｅ（ｋ）。発話区間Ｕｋ＋１と吸い込み区間Ｉａ，ｋとの時間関係を表す。パラメータλ’ａ，ｋにＩＮＴ２ａ，ｋを加えたものをパラメータλａ，ｋと表記する。
【００８４】
推定装置は、例えば発話区間Ｕｋ＋１を表す情報が得られ、さらに、パラメータλａ，ｋが得られた以降（発話区間Ｕｋ＋１が開始された後）に、発話区間Ｕｋおよびその発話者Ｐｕｋ、発話区間Ｕｋ＋１およびその発話者Ｐｕｋ＋１とその発話開始タイミングＴｕｋ＋１を表す情報とともにデータベースに記録する。次発話者Ｐｕｋ＋１の発話タイミングとは、発話区間Ｕｋ＋１の何れかの時点またはそれに対応する時点であればよい。発話タイミングＴｕｋ＋１は、発話区間Ｕｋ＋１の開始時刻ｔｕｓ（ｋ＋１）であってもよいし、時刻ｔｕｓ（ｋ＋１）＋γ（ただし、γは正または負の定数）であってもよいし、発話区間Ｕｋ＋１の終了時刻ｔｕｅ（ｋ＋１）であってもよいし、時刻ｔｕｅ（ｋ＋１）＋γであってもよいし、発話区間Ｕｋ＋１の中心時刻ｔｕｓ（ｋ＋１）＋（ｔｕｅ（ｋ＋１）−ｔｕｓ（ｋ＋１））／２であってもよい。λａ，ｋ，Ｕｋ，Ｐｕｋ，Ｐｕｋ＋１，Ｔｕｋ＋１を表す情報の一部またはすべてがデータベースに保持され、推定装置が発話区間Ｕｋ＋１よりも後の次発話者とその発話タイミングを予測するために使用される。
【００８５】
推定装置は、発話者情報Ｐｕｋ、発話区間Ｕｋ、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の少なくとも一部に基づき、参加者Ｐ１，…，ＰＡのうち何れが次発話者Ｐｕｋ＋１であるか、および次発話者Ｐｕｋ＋１の発話タイミングの少なくとも一方を表す推定情報を得る。ただし、「Ｐｕｋ＋１」の下付き添え字「ｕｋ＋１」はｕｋ＋１を表す。発話区間Ｕｋの発話者Ｐｕｋが発話区間Ｕｋ＋１でも発話を行う場合（発話継続する場合）、次発話者は発話区間Ｕｋの発話者Ｐｕｋと同一である。一方、発話区間Ｕｋの発話者Ｐｕｋ以外の参加者が発話区間Ｕｋ＋１でも発話を行う場合（すなわち発話交替する場合）、次発話者は発話区間Ｕｋの発話者Ｐｕｋ以外の参加者である。
【００８６】
推定装置は、発話者情報Ｐｕｋ、発話区間Ｕｋ、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の少なくとも一部に対応する特徴量ｆａ，ｋに対する推定情報を得るためのモデルを機械学習し、このモデルを用いて特徴量に対する推定情報を得る。特徴量ｆａ，ｋは、発話者情報Ｐｕｋ、発話区間Ｕｋ、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の１つのみに対応してもよいし、これらのうち複数に対応してもよいし、すべてに対応してもよい。モデルの機械学習には、例えば、過去の吸い込み区間Ｉａ，ｉ（ただし、ｉ＜ｋ）での息の吸い込み量、吸い込み区間Ｉａ，ｉの長さ、吸い込み区間Ｉａ，ｉでの息の吸い込み量の時間変化、および発話区間Ｕｉと吸い込み区間Ｉａ，ｉとの時間関係の少なくとも一部に対応する特徴量ｆａ，ｋ、ならびに発話区間Ｕｉ，Ｕｉ＋１およびそれらの発話者Ｐｕｋ，Ｐｕｋ＋１の情報が学習データとして用いられる。
【００８７】
推定装置による次発話者／発話タイミング推定処理を例示する。この例では、次発話者Ｐｕｋ＋１を推定するモデルである次発話者推定モデルと、次発話者Ｐｕｋ＋１の発話タイミングを推定するモデルである発話タイミング推定モデルとが生成され、それぞれのモデルを用いて次発話者Ｐｕｋ＋１とその発話タイミングが推定される。
【００８８】
次発話者推定モデルを学習する場合、推定装置は、学習データとして、データベースから過去のパラメータλａ，ｉ（ただし、ａ＝１，…，Ａであり、ｉ＜ｋである）の少なくとも一部、および発話区間Ｕｉ，Ｕｉ＋１およびそれらの発話者Ｐｕｉ，Ｐｕｉ＋１を表す情報を読み出す。推定装置は、パラメータλａ，ｉの少なくとも一部に対応する特徴量Ｆ１ａ，ｉおよびＵｉ，Ｕｉ＋１，Ｐｕｉ，Ｐｕｉ＋１を学習データとして、次発話者推定モデルを機械学習する。次発話者推定モデルには、例えば、ＳＶＭ（Support Vector Machine）、ＧＭＭ（Gaussian Mixture Model）、ＨＭＭ（Hidden Markov Model）等を用いることができる。
【００８９】
推定装置は、パラメータλ’ａ，ｋの少なくとも一部に対応する特徴量Ｆ１ａ，ｋを次発話者推定モデルに適用し、それによって推定された次発話Ｐｕｋ＋１を表す情報を「推定情報」の一部とする。なお、次発話Ｐｕｋ＋１を表す情報は、何れかの参加者Ｐａを確定的に表すものであってもよいし、確率的に表すものであってもよい。参加者Ｐａが次話者になる確率を、Ｐ１ａとする。
【００９０】
発話タイミング推定モデルを学習する場合、推定装置は、学習データとして、データベースから過去のパラメータλａ，ｉ（ただし、ａ＝１，…，Ａであり、ｉ＜ｋである）の少なくとも一部、発話区間Ｕｉ，Ｕｉ＋１およびそれらの発話者Ｐｕｉ，Ｐｕｉ＋１、および発話区間Ｕｉ＋１の発話開始タイミングＴｕｉ＋１を表す情報を読み出す。推定装置は、パラメータλａ，ｉの少なくとも一部に対応する特徴量Ｆ２ａ，ｉおよびＵｉ，Ｕｉ＋１，Ｐｕｉ，Ｐｕｉ＋１，Ｔｕｉ＋１を学習データとして、発話タイミング推定モデルを機械学習する。次発話者推定モデルには、例えば、ＳＶＭ、ＧＭＭ、ＨＭＭ等を用いることができる。
【００９１】
推定装置は、発話者Ｐｕｋ、パラメータλ’ａ，ｋの少なくとも一部、および次発話者推定モデルにより推定された次発話者Ｐｕｋ＋１が得られると、パラメータλ’ａ，ｋの少なくとも一部に対応する特徴量Ｆ２ａ，ｋを発話タイミング推定モデルに適用する。推定装置は、特徴量Ｆ２ａ，ｋを発話タイミング推定モデルに適用して推定された次の発話区間Ｕｋ＋１の発話タイミングＴｕｋ＋１（例えば、発話区間Ｕｋ＋１の開始時刻）を表す情報を「推定情報」の一部として出力する。なお、発話タイミングを表す情報は、何れかの発話タイミングを確定的に表すものであってもよいし、確率的に表すものであってもよい。参加者Ｐａが時刻ｔに発話を開始する確率（時刻ｔが参加者Ｐａの発話タイミングである確率）を、Ｐ２ａ（ｔ）とする。
上述した実施形態のコミュニケーションスキル評価装置５の次話者推定部５４が推定する参加者Ｕｉの次話者確率Ｐｉｎ＋１（ｔ）は、参加者Ｕｉが本次話者推定技術における参加者Ｐａである場合、確率Ｐ１ａ×確率Ｐ２ａ（ｔ）により算出される。
【００９２】
上述の推定装置は、呼吸動作の観測値に基づいて次に発話を開始する参加者およびタイミングを推定しているが、さらに、視線の観測値を用いてもよい。
視線行動をさらに利用する場合、各参加者Ｐａ（ただし、ａ＝１，…，Ａ）には注視対象検出装置がさらに装着される。注視対象検出装置は、参加者Ｐａが誰を注視しているか（注視対象）を検出し、参加者Ｐａおよび各離散時刻ｔでの注視対象Ｇａ，ｔを表す情報を推定装置に送る。推定装置は、注視対象情報Ｇ１，ｔ，…，ＧＡ，ｔ、発話区間Ｕｋ、および話者情報Ｐｕｋを入力とし、発話区間終了前後における注視対象ラベル情報θｖ，ｋ（ただし、ｖ＝１，…，Ｖ、Ｖは注視対象ラベルの総数）を生成する。注視対象ラベル情報は、発話区間Ｕｋの終了時点Ｔｓｅに対応する時間区間における参加者の注視対象を表す情報である。ここでは、終了時点Ｔｓｅを含む有限の時間区間における参加者Ｐａの注視対象をラベル付けした注視対象ラベル情報θｖ，ｋを例示する。この場合、例えば、発話区間Ｕｋの終了時点Ｔｓｅよりも前の時点Ｔｓｅ−Ｔｂから終了時点Ｔｓｅよりも後の時点Ｔｓｅ＋Ｔａまでの区間に出現した注視行動を扱う。Ｔｂ，Ｔａは０以上の任意の値でよいが、目安として、Ｔｂは０秒〜２．０秒、Ｔａは０秒〜３．０秒程度にするのが適当である。
【００９３】
推定装置は、注視対象の参加者を以下のような種別に分類し、注視対象のラベリングを行う。なお、ラベルの記号に意味はなく、判別できればどのような表記でも構わない。
・ラベルＳ：話者（すなわち、話者である参加者Ｐｕｋを表す）
・ラベルＬξ：非話者（ただし、ξは互いに異なる非話者である参加者を識別し、ξ＝１，…，Ａ−１である。例えば、ある参加者が、非話者Ｐ２、非話者Ｐ３、の順に注視をしていたとき、非話者Ｐ２にＬ１というラベル、非話者Ｐ３にＬ２というラベルが割り当てられる。）
・ラベルＸ：誰も見ていない
【００９４】
ラベルがＳまたはＬξのときには、相互注視（視線交差）が起きたか否かという情報を付与する。本形態では、相互注視が起きた際には、ＳＭ，ＬξＭ（下付き添え字の「ξＭ」はξＭを表す）のように、ラベルＳ，Ｌξの末尾にＭラベルを付与する。
【００９５】
図１１に注視対象ラベルの具体例を示す。図１１はＡ＝４の例であり、発話区間Ｕｋ，Ｕｋ＋１と各参加者の注視対象が時系列に示されている。図１１の例では、参加者Ｐ１が発話した後、発話交替が起き、新たに参加者Ｐ２が発話をした際の様子を示している。ここでは、話者である参加者Ｐ１が参加者Ｐ４を注視した後、参加者Ｐ２を注視している。Ｔｓｅ−Ｔｂの時点からＴｓｅ＋Ｔａの時点までの区間では、参加者Ｐ１が参加者Ｐ２を見ていたとき、参加者Ｐ２は参加者Ｐ１を見ている。これは、参加者Ｐ１と参加者Ｐ２とで相互注視が起きていることを表す。この場合、参加者Ｐ１の注視対象情報Ｇ１，ｔから生成される注視対象ラベルはＬ１とＬ２Ｍの２つとなる。上述の区間では、参加者Ｐ２は参加者Ｐ４を注視した後、話者である参加者Ｐ１を注視している。この場合、参加者Ｐ２の注視対象ラベルはＬ１とＳＭの２つとなる。また、上述の区間では、参加者Ｐ３は話者である参加者Ｐ１を注視している。この場合、参加者Ｐ３の注視対象ラベルはＳとなる。また、上述の区間では、参加者Ｐ４は誰も見ていない。この場合、参加者Ｐ４の注視対象ラベルはＸとなる。したがって、図１１の例では、Ｖ＝６である。
【００９６】
推定装置は、注視対象ラベルごとの開始時刻、終了時刻も取得する。ここで、誰（Ｒ∈｛Ｓ，Ｌ｝）のどの注視対象ラベル（ＧＬ∈｛Ｓ，ＳＭ，Ｌ１，Ｌ１Ｍ，Ｌ２，Ｌ２Ｍ，…｝）であるかを示す記号としてＲＧＬ、その開始時刻をＳＴ＿ＲＧＬ、終了時刻をＥＴ＿ＲＧＬと定義する。ただし、Ｒは参加者の発話状態（話者か非話者か）を表し、Ｓは話者、Ｌは非話者である。例えば、図１１の例において、参加者Ｐ１の最初の注視対象ラベルはＳＬ１であり、その開始時刻はＳＴ＿ＳＬ１、終了時刻はＥＴ＿ＳＬ１である。注視対象ラベル情報θｖ，ｋは注視対象ラベルＲＧＬ、開始時刻ＳＴ＿ＲＧＬ、および終了時刻ＥＴ＿ＲＧＬを含む情報である。
【００９７】
推定装置は、注視対象ラベル情報θｖ，ｋを用いて、各参加者Ｐａの注視対象遷移パターンＥａ，ｋを生成する。注視対象遷移パターンの生成は、注視対象ラベルＲＧＬを構成要素として、時間的な順序を考慮した遷移ｎ−ｇｒａｍを生成して行う。ここで、ｎは正の整数である。例えば、図１１の例を考えると、参加者Ｐ１の注視対象ラベルから生成される注視対象遷移パターンＥ１，ｋはＬ１−Ｌ２Ｍである。同様にして、参加者Ｐ２の注視対象遷移パターンＥ２，ｋはＬ１−ＳＭ、参加者Ｐ３の注視対象遷移パターンＥ３，ｋはＳ、参加者Ｐ４の注視対象遷移パターンＥ４，ｋはＸとなる。
【００９８】
注視対象遷移パターンＥａ，ｋは、例えば発話区間Ｕｋ＋１が開始された後に、発話区間Ｕｋおよびその発話者Ｐｕｋ、発話区間Ｕｋ＋１に該当する発話を行う次発話者Ｐｕｋ＋１および次発話開始タイミングＴｕｋ＋１を表す情報とともにデータベースに送られる。データベースでは、注視対象遷移パターンＥａ，ｋが、パラメータλａ，ｋと併合され、Ｅａ，ｋ，λａ，ｋ，Ｕｋ，Ｐｕｋ，Ｐｕｋ＋１，Ｔｕｋ＋１を表す情報の一部またはすべてがデータベースに保持される。
【００９９】
推定装置は、注視対象ラベル情報θｖ，ｋを入力とし、注視対象ラベルごとの時間構造情報Θｖ，ｋを生成する。時間構造情報は参加者の視線行動の時間的な関係を表す情報であり、（１）注視対象ラベルの時間長、（２）注視対象ラベルと発話区間の開始時刻または終了時刻との間隔、（３）注視対象ラベルの開始時刻または終了時刻と他の注視対象ラベルの開始時刻または終了時刻との間隔、をパラメータとして持つ。
【０１００】
具体的な時間構造情報のパラメータを以下に示す。以下では、発話区間の開始時刻をＳＴ＿Ｕ、発話区間の終了時刻をＥＴ＿Ｕと定義する。
・ＩＮＴ１（＝ＥＴ＿ＲＧＬ−ＳＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬと終了時刻ＥＴ＿ＲＧＬの間隔
・ＩＮＴ２（＝ＳＴ＿Ｕ−ＳＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬが発話区間の開始時刻ＳＴ＿Ｕよりもどれくらい前であったか
・ＩＮＴ３（＝ＥＴ＿Ｕ−ＳＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬが発話区間の終了時刻ＥＴ＿Ｕよりもどれくらい前であったか
・ＩＮＴ４（＝ＥＴ＿ＲＧＬ−ＳＴ＿Ｕ）：注視対象ラベルＲＧＬの終了時刻ＥＴ＿ＲＧＬが発話区間の開始時刻ＳＴ＿Ｕよりもどれくらい後であったか
・ＩＮＴ５（＝ＥＴ＿Ｕ−ＥＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの終了時刻ＥＴ＿ＲＧＬが発話区間の終了時刻ＥＴ＿Ｕよりもどれくらい前であったか
・ＩＮＴ６（＝ＳＴ＿ＲＧＬ−ＳＴ＿ＲＧＬ’）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬが他の注視対象ラベルＲＧＬ’の開始時刻ＳＴ＿ＲＧＬ’よりもどれくらい後であったか
・ＩＮＴ７（＝ＥＴ＿ＲＧＬ’−ＳＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬが他の注視対象ラベルＲＧＬ’の終了時刻ＥＴ＿ＲＧＬ’よりもどれくらい前であったか
・ＩＮＴ８（＝ＥＴ＿ＲＧＬ−ＳＴ＿ＲＧＬ’）：注視対象ラベルＲＧＬの終了時刻ＥＴ＿ＲＧＬが注視対象ラベルＲＧＬ’の開始時刻ＳＴ＿ＲＧＬ’よりもどれくらい後であったか
・ＩＮＴ９（＝ＥＴ＿ＲＧＬ−ＥＴ＿ＲＧＬ’）：注視対象ラベルＲＧＬの終了時刻ＥＴ＿ＲＧＬが注視対象ラベルＲＧＬ’の終了時刻ＥＴ＿ＲＧＬ’よりもどれくらい後であったか
【０１０１】
なお、ＩＮＴ６〜ＩＮＴ９については、すべての参加者の注視対象ラベルとの組み合わせに対して取得する。図１１の例では、注視対象ラベル情報は全部で６つ（Ｌ１，Ｌ２Ｍ，Ｌ１，ＳＭ，Ｓ，Ｘ）あるため、ＩＮＴ６〜ＩＮＴ９は、それぞれ６×５＝３０個のデータが生成される。
【０１０２】
時間構造情報Θｖ，ｋは注視対象ラベル情報θｖ，ｋについてのパラメータＩＮＴ１〜ＩＮＴ９からなる情報である。時間構造情報Θｖ，ｋを構成する上記の各パラメータについて、図１２を用いて具体的に示す。図１２は、話者である参加者Ｐ１（Ｒ＝Ｓ）の注視対象ラベルＬ１についての時間構造情報を示したものである。すなわち、ＲＧＬ＝ＳＬ１における時間構造情報である。なお、ＩＮＴ６〜ＩＮＴ９については、図示を簡略化するために、参加者Ｐ２の注視対象ラベルＬ１、すなわちＲＧＬ＝ＬＬ１との関係のみを示す。図１２の例では、ＩＮＴ１〜ＩＮＴ９は以下のように求められることがわかる。
・ＩＮＴ１＝ＥＴ＿ＳＬ１−ＳＴ＿ＳＬ１
・ＩＮＴ２＝ＳＴ＿Ｕ−ＳＴ＿ＳＬ１
・ＩＮＴ３＝ＥＴ＿Ｕ−ＳＴ＿ＳＬ１
・ＩＮＴ４＝ＥＴ＿ＳＬ１−ＳＴ＿Ｕ
・ＩＮＴ５＝ＥＴ＿Ｕ−ＥＴ＿ＳＬ１
・ＩＮＴ６＝ＳＴ＿ＳＬ１−ＳＴ＿ＬＬ１
・ＩＮＴ７＝ＥＴ＿ＬＬ１−ＳＴ＿ＳＬ１
・ＩＮＴ８＝ＥＴ＿ＳＬ１−ＳＴ＿ＬＬ１
・ＩＮＴ９＝ＥＴ＿ＳＬ１−ＥＴ＿ＬＬ１
【０１０３】
時間構造情報Θｖ，ｋは、例えば発話区間Ｕｋ＋１が開始された後に、発話区間Ｕｋおよびその発話者Ｐｕｋ、発話区間Ｕｋ＋１に該当する発話を行う次発話者Ｐｕｋ＋１および次発話開始タイミングＴｕｋ＋１を表す情報とともにデータベースに送られる。データベースでは、時間構造情報Θｖ，ｋが、パラメータλａ，ｋと併合され、Θｖ，ｋ，λａ，ｋ，Ｕｋ，Ｐｕｋ，Ｕｋ＋１，Ｐｕｋ＋１，Ｔｕｋ＋１を表す情報の一部またはすべてがデータベースに保持される。
【０１０４】
推定装置は、注視対象遷移パターンＥａ，ｋ、時間構造情報Θｖ，ｋ、発話者情報Ｐｕｋ、発話区間Ｕｋ、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の少なくとも一部に対応する特徴量ｆａ，ｋに対する推定情報を得るためのモデルを機械学習し、モデルを用いて特徴量に対する推定情報を得て出力する。
【０１０５】
以上、本発明の実施形態を説明したが、上述のコミュニケーションスキル評価装置５の機能をコンピュータで実現するようにしてもよい。その場合、コミュニケーションスキル評価装置５の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【０１０６】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【０１０７】
複数の参加者が会話を行う場合に適用可能である。
【符号の説明】
【０１０８】
１  コミュニケーションスキル評価システム
２  音声入力装置
３  計測装置
５  コミュニケーションスキル評価装置
５１  受信部
５２  記憶部
５３  発話区間検出部
５４  次話者推定部
５５  評価部
５６  音声認識部
５７  入力部
５８  再生制御部
５９  出力部
５２１  音声情報記憶部
５２２  計測情報記憶部
５２３  映像記憶部
５２４  発話情報記憶部
５２５  次話者確率記憶部
５２６  評価結果記憶部
５５１  第１パラメータ算出部
５５２  第２パラメータ算出部
５５３  評価結果出力部
【図１】
0006383349.tif 000006
【図２】
0006383349.tif 000007
【図３】
0006383349.tif 000008
【図４】
0006383349.tif 000009
【図５】
0006383349.tif 000010
【図６】
0006383349.tif 000011
【図７】
0006383349.tif 000012
【図８】
0006383349.tif 000013
【図９】
0006383349.tif 000014
【図１０】
0006383349.tif 000015
【図１１】
0006383349.tif 000016
【図１２】
0006383349.tif 000017