(57)【特許請求の範囲】
【請求項１】
会話中の参加者の音声データを入力する音声入力部と、
会話中の前記参加者の非言語行動を計測する計測部と、
前記音声データに基づいて各発話の開始及び終了の時刻と発話した参加者とを検出する発話区間検出部と、
前記計測部による計測結果に基づいて、会話中の各発話の終了後に前記参加者それぞれが次に発話を行う確率である次話者確率を推定する次話者推定部と、
前記参加者のコミュニケーションスキルを定量的に表すスキル判別パラメータの値を、会話中に前記参加者が発話したとき又は前記参加者が発話しなかったときの前記参加者の前記次話者確率に基づいて算出する評価部と、
を備えることを特徴とするコミュニケーションスキル評価システム。
【請求項２】
会話中の参加者の音声データに基づいて各発話の開始及び終了の時刻と発話した参加者とを検出する発話区間検出部と、
前記参加者の会話中の非言語行動の計測結果に基づいて、会話中の各発話の終了後に前記参加者それぞれが次に発話を行う確率である次話者確率を推定する次話者推定部と、
前記参加者のコミュニケーションスキルを定量的に表すスキル判別パラメータの値を、会話中に前記参加者が発話したとき又は前記参加者が発話しなかったときの前記参加者の前記次話者確率に基づいて算出する評価部と、
を備えることを特徴とするコミュニケーションスキル評価装置。
【請求項３】
前記評価部は、前記参加者が発話したときの当該参加者の前記次話者確率が高いほど、コミュニケーションスキルが高いことを表す値となるように当該参加者の前記スキル判別パラメータの値を算出する、
ことを特徴とする請求項２に記載のコミュニケーションスキル評価装置。
【請求項４】
前記評価部は、前記参加者が発話したときの当該参加者の前記次話者確率と、次話者確率の期待値との乖離に基づいて当該参加者の前記スキル判別パラメータの値を算出する、
ことを特徴とする請求項３に記載のコミュニケーションスキル評価装置。
【請求項５】
前記評価部は、前記参加者が発話しなかったときの当該参加者の前記次話者確率が低いほど、コミュニケーションスキルが高いことを表す値となるように当該参加者の前記スキル判別パラメータの値を算出する、
ことを特徴とする請求項２から請求項４のいずれか一項に記載のコミュニケーションスキル評価装置。
【請求項６】
前記評価部は、前記参加者が発話しなかったときの当該参加者の前記次話者確率と、次話者確率の期待値との乖離に基づいて当該参加者の前記スキル判別パラメータの値を算出する、
ことを特徴とする請求項５に記載のコミュニケーションスキル評価装置。
【請求項７】
コンピュータに、
会話中の参加者の音声データに基づいて各発話の開始及び終了の時刻と発話者とを検出する発話区間検出ステップと、
前記参加者の会話中の非言語行動の計測結果に基づいて、会話中の各発話の終了後に前記参加者それぞれが次に発話を行う確率である次話者確率を推定する次話者推定ステップと、
前記参加者のコミュニケーションスキルを定量的に表すスキル判別パラメータの値を、会話中に前記参加者が発話したとき又は前記参加者が発話しなかったときの前記参加者の前記次話者確率に基づいて算出する評価ステップと、
を実行させるためのコミュニケーションスキル評価プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コミュニケーションスキル評価システム、コミュニケーションスキル評価装置及びコミュニケーションスキル評価プログラムに関する。
【背景技術】
【０００２】
会話の参加者が適切なタイミングで発話すると、良い雰囲気で会話が進行する。会話の目的は様々であるが、良い雰囲気の会話はその目的の達成に効果的であり、参加者の満足度も高い。しかしながら、会話中に適切なタイミングで発話することは、高度なコミュニケーションスキルを要する。そのため、必ずしも誰もが適切なタイミングで発話を行えるわけではない。
【０００３】
一方、様々な行動チャネルと行動の時間差および一致性に基づく対話二者間の共感解釈を精度よく推定する技術がある（例えば、特許文献１参照）。また、実際の模擬的な対話練習のように音声及び映像で行われる対話型であって、質問に対する利用者の返答内容及び返答時間等を評価する技術がある（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１０２６０６号公報
【特許文献２】特開２００４−３０９６３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
会話の流れにおいて発話に適切なタイミングであるか否かを判断できるようなコミュニケーションスキルを習得することは容易ではない。そこで、会話の参加者が適切なタイミングで発話できているかを評価することができれば、コミュニケーションスキルの習得に有用であると考えられる。しかし、特許文献１の技術のように、会話の参加者の共感状態や、参加者の感情・態度といった内部状態を推定するものはあるが、これらは、会話の参加者が適切なタイミングで発話できているかを評価するものではない。また、特許文献２の技術は、対話システムの質問に対する応答から、その応答の良し悪しを評価するものであるが、やはり、会話における話者交替時の発話行動が適切であるかを評価するものではない。
【０００６】
上記事情に鑑み、本発明は、会話中の発言が適切なタイミングで行われたかを評価することができるコミュニケーションスキル評価システム、コミュニケーションスキル評価装置及びコミュニケーションスキル評価プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明の一態様は、会話中の参加者の音声データを入力する音声入力部と、会話中の前記参加者の非言語行動を計測する計測部と、前記音声データに基づいて各発話の開始及び終了の時刻と発話した参加者とを検出する発話区間検出部と、前記計測部による計測結果に基づいて、会話中の各発話の終了後に前記参加者それぞれが次に発話を行う確率である次話者確率を推定する次話者推定部と、前記参加者のコミュニケーションスキルを定量的に表すスキル判別パラメータの値を、会話中に前記参加者が発話したとき又は前記参加者が発話しなかったときの前記参加者の前記次話者確率に基づいて算出する評価部と、を備えるコミュニケーションスキル評価システムである。
【０００８】
また、本発明の一態様は、会話中の参加者の音声データに基づいて各発話の開始及び終了の時刻と発話した参加者とを検出する発話区間検出部と、前記参加者の会話中の非言語行動の計測結果に基づいて、会話中の各発話の終了後に前記参加者それぞれが次に発話を行う確率である次話者確率を推定する次話者推定部と、前記参加者のコミュニケーションスキルを定量的に表すスキル判別パラメータの値を、会話中に前記参加者が発話したとき又は前記参加者が発話しなかったときの前記参加者の前記次話者確率に基づいて算出する評価部と、を備えるコミュニケーションスキル評価装置である。
【０００９】
また、本発明の一態様は、上述のコミュニケーションスキル評価装置であって、前記評価部は、前記参加者が発話したときの当該参加者の前記次話者確率が高いほど、コミュニケーションスキルが高いことを表す値となるように当該参加者の前記スキル判別パラメータの値を算出する。
【００１０】
また、本発明の一態様は、上述のコミュニケーションスキル評価装置であって、前記評価部は、前記参加者が発話したときの当該参加者の前記次話者確率と、次話者確率の期待値との乖離に基づいて当該参加者の前記スキル判別パラメータの値を算出する。
【００１１】
また、本発明の一態様は、上述のコミュニケーションスキル評価装置であって、前記評価部は、前記参加者が発話しなかったときの当該参加者の前記次話者確率が低いほど、コミュニケーションスキルが高いことを表す値となるように当該参加者の前記スキル判別パラメータの値を算出する。
【００１２】
また、本発明の一態様は、上述のコミュニケーションスキル評価装置であって、前記評価部は、前記参加者が発話しなかったときの当該参加者の前記次話者確率と、次話者確率の期待値との乖離に基づいて当該参加者の前記スキル判別パラメータの値を算出する。
【００１３】
また、本発明の一態様は、コンピュータに、会話中の参加者の音声データに基づいて各発話の開始及び終了の時刻と発話者とを検出する発話区間検出ステップと、前記参加者の会話中の非言語行動の計測結果に基づいて、会話中の各発話の終了後に前記参加者それぞれが次に発話を行う確率である次話者確率を推定する次話者推定ステップと、前記参加者のコミュニケーションスキルを定量的に表すスキル判別パラメータの値を、会話中に前記参加者が発話したとき又は前記参加者が発話しなかったときの前記参加者の前記次話者確率に基づいて算出する評価ステップと、を実行させるためのコミュニケーションスキル評価プログラムである。
【発明の効果】
【００１４】
本発明により、会話中の発言が適切なタイミングで行われたかを評価することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態によるコミュニケーションスキル評価システムの構成を示す機能ブロック図である。
【図２】同実施形態によるコミュニケーションスキル評価システムの動作を示すフロー図である。
【図３】息の吸い込み区間の例を示す図である。
【図４】注視対象遷移パターンを例示した図である。
【図５】時間構造情報を例示した図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら本発明の実施形態を詳細に説明する。
従来からある次話者及び発話開始タイミングの予測技術は、会話の参加者の視線、呼吸、頭部動作などの非言語情報と、話者交替の状況の一般的なルールをモデル化したものである。従って、次話者及び発話開始タイミングの予測結果が、実際の次話者や発話開始タイミングと合致しないということは、一般的なルールを逸脱した状況が発生したことを意味する。よって、予測結果に反して発話を行った人物や、発話を行えなかった人物は、一般的な会話のルールに乗っ取って発話を行えないことから、コミュニケーションスキル（以下、「スキル」とも記載する。）が低いと考えられる。
【００１７】
そこで、本実施形態のコミュニケーションスキル評価システムは、従来技術による予測器を用いて、会話中の各発話が終了したところで、各参加者の次話者確率を予測する。次話者確率は、参加者が次の話者となる確率である。コミュニケーションスキル評価システムは、参加者が、自分の次話者確率が高い時に発話を行ったとき、あるいは、自分の次話者確率が低い時に発話を行わなかったときに、その参加者のコミュニケーションスキルが高いと判定する。具体的には、コミュニケーションスキルを判定するために、コミュニケーションスキル評価システムは、以下の第１パラメータＳ１及び第２パラメータＳ２の２つのスキル判別パラメータを算出する。
【００１８】
第１パラメータＳ１：第１パラメータＳ１は、参加者が発話した際に、コミュニケーションスキルを判別する値である。ある参加者が発話した際に、予測器が出力したその参加者の次話者確率が高ければ、第１パラメータＳ１の値が大きく、逆に予測器が出力した次話者確率が低ければ、第１パラメータＳ１の値が小さくなる。つまり、第１パラメータＳ１の値が大きいほど、高いコミュニケーションスキルを有すると判定される。
【００１９】
第２パラメータＳ２：第２パラメータＳ２は、参加者が発話しなかった際に、コミュニケーションスキルを判別する値である。ある参加者が発話しなかった際に、予測器が出力したその参加者の次話者確率が低ければ、第２パラメータＳ２の値が大きく、逆に予測器が出力した確率が高ければ、第２パラメータＳ２の値が小さくなる。つまり、第２パラメータＳ２の値が大きいほど、高いコミュニケーションスキルを有すると判定される。
【００２０】
本発明の実施形態によるコミュニケーションスキル評価システムは、会話の参加者のコミュニケーションスキルを、適切なタイミングで発話を行えたかを判別可能な定量的な値により表す上記の２つのスキル判別パラメータにより判定する。
【００２１】
なお、本実施形態で取り扱う会話は、参加者が対面して行う会話でもよく、テレビ電話やビデオチャットなど映像を用いた会話でもよい。また、対面で会話する参加者と映像を用いて会話する参加者とが存在してもよい。
【００２２】
図１は、本発明の一実施形態によるコミュニケーションスキル評価システム１の構成を示す機能ブロック図であり、本実施形態と関係する機能ブロックのみを抽出して示してある。同図に示すように、コミュニケーションスキル評価システム１は、音声入力装置２（音声入力部）、計測装置３（計測部）、及び、コミュニケーションスキル評価装置５を備えて構成される。
【００２３】
音声入力装置２は、例えばマイクロホンであり、各参加者の音声を入力する。計測装置３は、各参加者の非言語行動を計測する。計測する非言語行動は、視線、頭部の動き、及び、呼吸のうち１以上を含む。音声入力装置２及び計測装置３はそれぞれ、複数台であってもよい。例えば、各参加者に音声入力装置２及び計測装置３が装着され得る。
【００２４】
コミュニケーションスキル評価装置５は、例えば、コンピュータ装置により実現される。コミュニケーションスキル評価装置５は、受信部５１、記憶部５２、発話区間検出部５３、次話者推定部５４、及び、評価部５５を備える。
受信部５１は、音声入力装置２から会話中の参加者の音声データを受信し、参加者の識別情報と、その参加者の音声データとを対応付けた音声情報を記憶部５２に書き込む。音声データには、音声が得られた時刻の情報が含まれる。また、受信部５１は、計測装置３から会話中の各参加者の非言語行動に関する計測結果を示すデータを受信し、参加者の識別情報と、その参加者の時系列の非言語行動の計測結果のデータとを対応付けた計測情報を記憶部５２に書き込む。
【００２５】
発話区間検出部５３は、既存の任意の技術により、各参加者の音声データから得られる音声特徴量に基づいて、各参加者が発話を行った区間を検出する。会話中のｎ回目の発話をＩＰＵｎとする（ｎは１以上Ｎ＋１以下の整数、Ｎ＋１は会話中の発話の総数）。発話区間検出部５３は、発話ＩＰＵｎの発話終了時刻と、次の発話ＩＰＵｎ＋１の発話者ｉｎ＋１と、発話ＩＰＵｎ＋１の発話開始時刻ｔｉｎ＋１を出力する。
【００２６】
次話者推定部５４は、既存の任意の技術により、会話中の各参加者の次話者確率を算出する予測器である。会話の参加者の数をＬ人（Ｌは２以上の整数）、ｉ番目の参加者（ｉは１以上Ｌ以下の整数）を参加者Ｕｉとする。次話者推定部５４は、発話ＩＰＵｎの発話末に、会話中の各参加者の非言語行動の計測値に基づいて、各参加者Ｕｉが時刻ｔに次の発話ＩＰＵｎ＋１の発話者になる確率である次話者確率Ｐｉｎ＋１（ｔ）を算出する。
【００２７】
評価部５５は、第１パラメータ算出部５５１、第２パラメータ算出部５５２、及び、評価結果出力部５５３を備える。
第１パラメータ算出部５５１は、各参加者の第１パラメータＳ１を算出する。参加者Ｕｉの第１パラメータＳ１を第１パラメータＳｉ１と記載する。第１パラメータＳｉ１は、参加者Ｕｉが発話した際に、次話者推定部５４が推定したその発話時刻における次話者確率Ｐｉｎ＋１（ｔ）がどれくらい高かったかを示す。第１パラメータＳｉ１は、参加者Ｕｉが発話者である発話ＩＰＵｉ２〜ＩＰＵｉｍ＋１（ｍはＮ以下の整数）を利用すると、以下の式（１）のように算出される。式（１）において、ｔｉｊ＋１は、参加者Ｕｉが発話者である発話ＩＰＵｉｊ＋１の発話開始時刻である。右辺のΣの中の式は、参加者Ｕｉが発話ＩＰＵｊ＋１を開始した時刻ｔｉｊ＋１の次話者確率Ｐｉｊ＋１（ｔ）がどれくらい高かったかを示す。１／Ｌは、次話者確率の期待値である。なお、以下の式（１）の右辺の算出結果を発話数ｍにより除算した値を、第１パラメータＳｉ１として用いてもよい。第１パラメータＳｉ１の値が大きいほど、参加者Ｕｉのコミュニケーションスキルが高いことを表す。
【００２８】
【数１】
0006363986.tif 000002
【００２９】
第２パラメータ算出部５５２は、各参加者の第２パラメータＳ２を算出する。参加者Ｕｉの第２パラメータＳ２を第２パラメータＳｉ２と記載する。第２パラメータＳｉ２は、参加者Ｕｉが発話をせず、他の参加者が発話をした際に、次話者推定部５４が算出したその発話時刻における次話者確率Ｐｉｎ＋１（ｔ）がどれくらい低かったかを示す。第２パラメータＳｉ２は、参加者Ｕｉ以外が発話者である発話ＩＰＵｉ２〜ＩＰＵｉｏ＋１（ｏはＮ以下の整数）を利用すると、以下の式（２）のように算出される。式（２）において、ｔｉｊ＋１は、参加者Ｕｉ以外が発話者である発話ＩＰＵｉｊ＋１の発話開始時刻である。右辺のΣの中の式は、参加者Ｕｉ以外の参加者が発話ＩＰＵｊ＋１を開始した時刻ｔｉｊ＋１の次話者確率Ｐｉｊ＋１（ｔ）がどれくらい低かったかを示す。なお、以下の式（２）の右辺の算出結果を発話数ｏにより除算した値を、第２パラメータＳｉ２として用いてもよい。第２パラメータＳｉ２の値が大きいほど、参加者Ｕｉのコミュニケーションスキルが高いことを表す。
【００３０】
【数２】
0006363986.tif 000003
【００３１】
評価結果出力部５５３は、各参加者の第１パラメータと第２パラメータに基づく評価結果を出力する。
【００３２】
なお、コミュニケーションスキル評価装置５は、１台のコンピュータ装置により実現してもよく、ネットワークにより接続される複数のコンピュータ装置により実現してもよい。コミュニケーションスキル評価装置５を複数のコンピュータ装置により実現する場合、各機能部をいずれのコンピュータ装置により実現するかは任意とすることができる。また、１つの機能部を、複数台のコンピュータ装置により実現してもよい。
【００３３】
図２は、コミュニケーションスキル評価システム１の動作を示すフロー図である。
コミュニケーションスキル評価システム１は、会話中の各参加者の音声のデータ及び非言語行動のデータと、会話中の映像データを収集する（ステップＳ１０５）。すなわち、音声入力装置２は、会話中の各参加者の音声のデータを送信し、計測装置３は、会話中に計測した各参加者の非言語行動のデータを送信する。受信部５１は、音声入力装置２から受信した参加者の音声のデータに基づいて音声情報を記憶部５２に書き込む。さらに、受信部５１は、計測装置３から受信した各参加者の非言語行動の計測結果を示すデータに基づいて計測情報を記憶部５２に書き込む。
【００３４】
発話区間検出部５３は、記憶部５２に記憶されている各参加者の音声のデータに基づいて、参加者が発話を行った区間を検出する（ステップＳ１１０）。例えば、発話区間検出部５３は、１つの発話の区間を、２つの所定時間連続した無音区間で囲まれた、同一の参加者の発話成分が存在する少なくとも１つの区間を含む時間区間とする。すなわち、発話区間検出部５３は、いずれの話者も発話していない無音区間が所定時間経過した場合に、その無音区間の開始を発話末と判断する。発話区間検出部５３は、全ての参加者の発話の区間を時刻順に並べて発話ＩＰＵ１、ＩＰＵ２、…、ＩＰＵＮ＋１とする。なお、発話区間の検出には、例えば、特開平５−３２３９９６号公報に記載の技術などを用いもよい。発話区間検出部５３は、発話ＩＰＵ１、ＩＰＵ２、…、ＩＰＵＮ＋１それぞれの発話区間の情報と、発話ＩＰＵ１、ＩＰＵ２、…、ＩＰＵＮ＋１それぞれの発話者が参加者Ｕ１〜ＵＬのいずれの人物であるかの情報とを対応付けた発話情報を生成する。発話区間検出部５３は、生成した発話情報を評価部５５に出力する。
【００３５】
次話者推定部５４は、各発話ＩＰＵｎ（ｎは１以上Ｎ以下の整数）の終了時点において、又は、その終了時点以降に、記憶部５２に記憶される計測情報に基づいて、各参加者Ｕｉ（ｉは１以上Ｌ以下の整数）の次話者確率Ｐｉｎ＋１（ｔ）を算出する（ステップＳ１１５）。次話者確率Ｐｉｎ＋１（ｔ）は、発話ＩＰＵｎ終了後の時刻ｔにおいて参加者Ｕｉが次話者となる確率である。次話者推定部５４は、各参加者について算出した次話者確率を評価部５５に出力する。
【００３６】
評価部５５は、参加者Ｕ１〜ＵＬのうち、評価対象の参加者Ｕｉを選択する。評価対象の参加者Ｕｉは、全ての参加者でもよく、ユーザが評価対象としてコミュニケーションスキル評価装置５に入力した参加者でもよい（ステップＳ１２０）。
【００３７】
評価部５５の第１パラメータ算出部５５１は、発話情報に基づき、発話ＩＰＵ２、…、ＩＰＵＮ＋１のうち、評価対象の参加者Ｕｉが発話者である発話ＩＰＵｉを選択する（ステップＳ１２５）。選択された発話ＩＰＵｉを発話ＩＰＵｉ２、ＩＰＵｉ３、…、ＩＰＵｉｍ＋１とする。第１パラメータ算出部５５１は、選択した発話ＩＰＵｉ２〜ＩＰＵｉｍ＋１を用いて、上述した式（１）により、参加者Ｕｉの第１パラメータＳｉ１を算出する（ステップＳ１３０）。なお、第１パラメータ算出部５５１は、選択した発話ＩＰＵｉｊ＋１（ｊは１以上ｍ以下の整数）それぞれの発話開始時刻ｔｉｊ＋１を発話情報から取得する。
【００３８】
続いて、第２パラメータ算出部５５２は、発話情報に基づき、発話ＩＰＵ２、…、ＩＰＵＮ＋１のうち、評価対象の参加者Ｕｉが発話者ではない発話ＩＰＵｉを選択する（ステップＳ１３５）。選択された発話ＩＰＵｉを発話ＩＰＵｉ２、ＩＰＵｉ３、…、ＩＰＵｉｏ＋１とする。第２パラメータ算出部５５２は、選択した発話ＩＰＵｉ２〜ＩＰＵｉｏ＋１を用いて、上述した式（２）により、参加者Ｕｉの第２パラメータＳｉ２を算出する（ステップＳ１４０）。なお、第２パラメータ算出部５５２は、選択した発話ＩＰＵｉｊ＋１（ｊは１以上ｏ以下の整数）それぞれの発話開始時刻ｔｉｊ＋１を発話情報から取得する。
【００３９】
評価部５５は、評価対象の全ての参加者を選択したか否かを判断する（ステップＳ１４５）。未選択の評価対象の参加者がいると判断した場合（ステップＳ１４５：ＮＯ）、ステップＳ１２０からの処理を繰り返す。そして、評価部５５が、評価対象の全ての参加者を選択したと判断した場合（ステップＳ１４５：ＹＥＳ）、評価結果出力部５５３は、ステップＳ１５０の処理を行う。すなわち、評価結果出力部５５３は、評価対象の各参加者について算出した第１パラメータと第２パラメータの値を評価結果として出力する（ステップＳ１５０）。例えば、評価結果出力部５５３は、評価結果を、コミュニケーションスキル評価装置５が備える図示しないディスプレイに表示してもよく、記録媒体に書き込んでもよく、コミュニケーションスキル評価装置５とネットワークを介して接続されるコンピュータ装置などに送信してもよい。
【００４０】
なお、評価結果出力部５５３は、第１パラメータと第２パラメータのいずれかのみを評価結果として出力してもよく、第１パラメータと第２パラメータの平均を評価結果として出力してもよく、第１パラメータと第２パラメータのそれぞれに所定の重み付けを行ったのちに加算した結果を出力してもよい。また、評価結果出力部５５３は第１パラメータの値や第２パラメータの値に応じたアドバイスなどを記憶部５２から読み出し、評価結果に含めて出力してもよい。
【００４１】
なお、コミュニケーションスキル評価システム１は、会話中に、それまでの会話で収集した音声データ及び計測データを用いて、図２に示す処理フローをリアルタイムに実行してもよい。この場合、コミュニケーションスキル評価装置５は、ステップＳ１１５において、すでに算出済みの次話者確率については算出しなくてもよい。
【００４２】
上述したように本実施形態のコミュニケーションスキル評価システムは、音声入力装置により、会話中の参加者の音声データを入力し、計測装置により複数の参加者それぞれの会話中の非言語行動を計測する。コミュニケーションスキル評価システムが備えるコミュニケーションスキル評価装置は、音声データに基づいて各発話の開始及び終了の時刻と発話した参加者とを検出する。さらに、コミュニケーションスキル評価装置は、計測装置による計測結果に基づいて、会話中の各発話の終了後に参加者それぞれが次に発話を行う確率である次話者確率を推定する。コミュニケーションスキル評価装置は、参加者のコミュニケーションスキルを定量的に表すスキル判別パラメータの値を、会話中に当該参加者が発話したとき又は当該参加者が発話しなかったときの当該参加者の次話者確率に基づいて算出する。
また、コミュニケーションスキル評価装置は、参加者が発話したときの当該参加者の次話者確率と、次話者確率の期待値との乖離に基づき、参加者が発話したときの当該参加者の次話者確率が高いほど、コミュニケーションスキルが高いことを表す値となるように当該参加者のスキル判別パラメータの値を算出する。
また、コミュニケーションスキル評価装置は、参加者が発話しなかったときの当該参加者の次話者確率と、次話者確率の期待値との乖離に基づいて、参加者が発話しなかったときの当該参加者の次話者確率が低いほど、コミュニケーションスキルが高いことを表す値となるように当該参加者のスキル判別パラメータの値を算出する。
【００４３】
上述した実施形態によれば、会話の参加者が適切なタイミングで発話を行えたかによってコミュニケーションスキルを評価するための定量的な値を出力できる。
【００４４】
なお、コミュニケーションスキル評価システム１における次話者推定技術には、例えば、以下の参考文献１、２の技術などを適用することができるが、任意の既存の技術を利用してもよい。参考文献１、２では、発話者と非発話者の注視行動の遷移パターンを用いて、次発話者および発話のタイミングを予測している。
【００４５】
（参考文献１）特開２０１４−２３８５２５公報
（参考文献２）石井亮，外４名，“複数人対話における注視遷移パターンに基づく次話者と発話タイミングの予測”，人工知能学会研究会資料，SIG-SLUD-B301-06, pp.27-34, 2013．
【００４６】
以下に、本実施形態に適用可能な参考文献１，２以外の次話者推定技術の例を示す。
会話の参加者の呼吸動作は次発話者と発話のタイミングに深い関連性がある。このことを利用して、会話の参加者の呼吸動作をリアルタイムに計測し、計測された呼吸動作から発話の開始直前に行われる特徴的な呼吸動作を検出し、この呼吸動作を基に次発話者とその発話タイミングを高精度に算出する。具体的には、発話開始直前におこなわれる呼吸動作の特徴として、発話を行っている発話者は、継続して発話する際（発話者継続時）には、発話終了直後にすぐに急激に息を吸い込む。逆に発話者が次に発話を行わない際（発話者交替時）には、発話者継続時に比べて、発話終了時から間を空けて、ゆっくりと息を吸い込む。また、発話者交替時に、次に発話をおこなう次発話者は、発話を行わない非発話者に比べて大きく息を吸い込む。このような発話の前におこなわれる呼吸は、発話開始に対しておおよそ決められたタイミングで行われる。このように、発話の直前に次発話者は特徴的な息の吸い込みを行うため、このような息の吸い込みの情報は、次発話者とその発話タイミングを予測するのに有用である。本次話者推定技術では、人物の息の吸い込みに着目し、息の吸い込み量や吸い込み区間の長さ、タイミングなどの情報を用いて、次発話者と発話タイミングを予測する。
【００４７】
以下では、Ａ人の参加者Ｐ１，…，ＰＡが対面コミュニケーションを行う状況を想定する。参加者Ｐａ（ただし、ａ＝１，…，Ａ、Ａ≧２）には呼吸動作計測装置および音声情報取得装置が装着される。呼吸動作計測装置は、参加者Ｐａの呼吸動作を計測し、各離散時刻ｔでの計測結果を表す呼吸情報Ｂａ，ｔを得て、推定装置に出力する。バンド式の呼吸装置では、バンドの伸縮の強さによって呼吸の深さの度合いを示す値を出力する。息の吸い込みが大きいほどバンドの伸びが大きくなり、逆に息の吐き出しが大きいほどバンドの縮みが大きくなる（バンドの伸びが小さくなる）。以降、この値をＲＳＰ値と呼ぶ。なお、ＲＳＰ値は、バンドの伸縮の強さに応じて参加者Ｐａごとに異なる大きさを取る。そこで、これに起因するＰａごとのＲＳＰ値の相違を排除するために、各参加者ＰａのＲＳＰ値の平均値μａと標準偏差値δａを用いて、μａ+δａが１、μａ−δａが−１になるように参加者ＰａごとにＲＳＰ値を正規化する。これによって、すべての参加者Ｐａの呼吸動作データを同一に分析することが可能となる。各呼吸動作計測装置は、正規化されたＲＳＰ値を呼吸情報Ｂａ，ｔとして推定装置に送る。
【００４８】
さらに、音声情報取得装置は、参加者Ｐａの音声を取得し、各離散時刻ｔでの参加者Ｐａの音声を表す音声情報Ｖａ，ｔを得て、推定装置に出力する。推定装置は、入力された音声情報Ｖａ，ｔ（ただし、ａ＝１，…，Ａ）から雑音を除去し、さらに発話区間Ｕｋ（ただし、ｋは発話区間Ｕｋの識別子）とその発話者Ｐｕｋとを抽出する。ただし、「Ｐｕｋ」の下付き添え字はｕｋ＝１，…，Ａを表す。本次話者推定技術では、１つの発話区間ＵｋをＴｄ［ｍｓ］連続した無音区間で囲まれた区間と定義し、この発話区間Ｕｋを発話の一つの単位と規定する。これにより、推定装置は、各発話区間Ｕｋを表す発話区間情報、およびその発話者Ｐｕｋを表す発話者情報（参加者Ｐ１，…，ＰＡのうち何れが発話区間Ｕｋでの発話者Ｐｕｋであるかを表す発話者情報）を得る。
【００４９】
推定装置は、各参加者Ｐａの呼吸情報Ｂａ，ｔを用いて、各参加者Ｐａの息の吸い込み区間Ｉａ，ｋを抽出し、さらに息の吸い込みに関するパラメータλａ，ｋを取得する。息の吸い込み区間とは、息を吐いている状態から、息を吸い込みだす開始位置と、息を吸い込み終わる終了位置との間の区間を示す。
【００５０】
図３は、息の吸い込み区間の例を示す図である。図３を用いて、息の吸い込み区間Ｉａ，ｋの算出方法を例示する。ここで参加者Ｐａの離散時刻ｔでのＲＳＰ値をＲａ，ｔと表記する。ＲＳＰ値Ｒａ，ｔは呼吸情報Ｂａ，ｔに相当する。図３に例示するように、例えば、
【００５１】
【数３】
0006363986.tif 000004
【００５２】
が成り立つとき、離散時刻ｔ＝ｔｓ（ｋ）の前２フレームでＲＳＰ値Ｒａ，ｔが連続して減少し、その後２フレームでＲＳＰ値Ｒａ，ｔが連続して上昇しているから、離散時刻ｔｓ（ｋ）を息の吸い込みの開始位置とする。さらに
【００５３】
【数４】
0006363986.tif 000005
【００５４】
が成り立つとき、離散時刻ｔ＝ｔｅ（ｋ）の前２フレームのＲＳＰ値Ｒａ，ｔが連続して上昇し、その後２フレームのＲＳＰ値Ｒａ，ｔが連続して減少しているから、離散時刻ｔｅ（ｋ）を息の吸い込みの終了位置とする。このとき、参加者Ｐａの息の吸い込み区間Ｉａ，ｋはｔｓ（ｋ）からｔｅ（ｋ）までの区間となり、息の吸い込み区間の長さはｔｅ（ｋ）−ｔｓ（ｋ）となる。
【００５５】
推定装置は、息の吸い込み区間Ｉａ，ｋが抽出されると、息の吸い込み区間Ｉａ，ｋ、呼吸情報Ｂａ，ｔ、および発話区間Ｕｋの少なくとも一部を用い、息の吸い込みに関するパラメータλ’ａ，ｋを抽出する。パラメータλ’ａ，ｋは、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込みの量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の少なくとも一部を表す。パラメータλ’ａ，ｋは、これらの一つのみを表してもよいし、これらのうち複数を表してもよいし、これらすべてを表してもよい。パラメータλ’ａ，ｋは、例えば以下のパラメータＭＩＮａ，ｋ，ＭＡＸａ，ｋ，ＡＭＰａ，ｋ，ＤＵＲａ，ｋ，ＳＬＯａ，ｋ，ＩＮＴ１ａ，ｋの少なくとも一部を含む。パラメータλ’ａ，ｋは、これらの１つのみを含んでいてもよいし、これらのうち複数を含んでいてもよいし、これらのすべてを含んでいてもよい。
・ＭＩＮａ，ｋ：参加者Ｐａの息の吸い込み開始時のＲＳＰ値Ｒａ，ｔ、すなわち、息の吸い込み区間Ｉａ，ｋのＲＳＰ値Ｒａ，ｔの最小値。
・ＭＡＸａ，ｋ：参加者Ｐａの息の吸い込み終了時のＲＳＰ値Ｒａ，ｔ、すなわち、息の吸い込み区間Ｉａ，ｋのＲＳＰ値Ｒａ，ｔの最大値。
・ＡＭＰａ，ｋ：参加者Ｐａの息の吸い込み区間Ｉａ，ｋのＲＳＰ値Ｒａ，ｔの振幅、すなわち、ＭＡＸａ，ｋ−ＭＩＮａ，ｋで算出される値。吸い込み区間Ｉａ，ｋでの息の吸い込み量を表す。
・ＤＵＲａ，ｋ：参加者Ｐａの息の吸い込み区間Ｉａ，ｋの長さ、すなわち、息の吸い込み区間Ｉａ，ｋの終了位置の離散時刻ｔｅ（ｋ）から開始位置の離散時刻ｔｓ（ｋ）を減じて得られる値ｔｅ（ｋ）−ｔｓ（ｋ）。
・ＳＬＯａ，ｋ：参加者Ｐａの息の吸い込み区間Ｉａ，ｋにおけるＲＳＰ値Ｒａ，ｔの単位時間当たりの傾きの平均値、すなわち、ＡＭＰａ，ｋ／ＤＵＲａ，ｋで算出される値。吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化を表す。
・ＩＮＴ１ａ，ｋ：手前の発話区間Ｕｋの終了時刻ｔｕｅ（ｋ）（発話区間末）から参加者Ｐａの息の吸い込みが開始されるまでの間隔、すなわち、息の吸い込み区間Ｉａ，ｋの開始位置の離散時刻ｔｓ（ｋ）から発話区間Ｕｋの終了時刻ｔｕｅ（ｋ）を減じて得られる値ｔｓ（ｋ）−ｔｕｅ（ｋ）。発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係を表す。
【００５６】
推定装置は、さらに以下のパラメータＩＮＴ２ａ，ｋを生成してもよい。
・ＩＮＴ２ａ，ｋ：参加者Ｐａの息の吸い込み終了時から次発話者の発話区間Ｕｋ＋１が開始されるまでの間隔、すなわち、次発話者の発話区間Ｕｋ＋１の開始時刻ｔｕｓ（ｋ＋１）から息の吸い込み区間Ｉａ，ｋの終了位置の離散時刻ｔｅ（ｋ）を減じて得られる値ｔｕｓ（ｋ＋１）−ｔｅ（ｋ）。発話区間Ｕｋ＋１と吸い込み区間Ｉａ，ｋとの時間関係を表す。パラメータλ’ａ，ｋにＩＮＴ２ａ，ｋを加えたものをパラメータλａ，ｋと表記する。
【００５７】
推定装置は、例えば発話区間Ｕｋ＋１を表す情報が得られ、さらに、パラメータλａ，ｋが得られた以降（発話区間Ｕｋ＋１が開始された後）に、発話区間Ｕｋおよびその発話者Ｐｕｋ、発話区間Ｕｋ＋１およびその発話者Ｐｕｋ＋１とその発話開始タイミングＴｕｋ＋１を表す情報とともにデータベースに記録する。次発話者Ｐｕｋ＋１の発話タイミングとは、発話区間Ｕｋ＋１の何れかの時点またはそれに対応する時点であればよい。発話タイミングＴｕｋ＋１は、発話区間Ｕｋ＋１の開始時刻ｔｕｓ（ｋ＋１）であってもよいし、時刻ｔｕｓ（ｋ＋１）＋γ（ただし、γは正または負の定数）であってもよいし、発話区間Ｕｋ＋１の終了時刻ｔｕｅ（ｋ＋１）であってもよいし、時刻ｔｕｅ（ｋ＋１）＋γであってもよいし、発話区間Ｕｋ＋１の中心時刻ｔｕｓ（ｋ＋１）＋（ｔｕｅ（ｋ＋１）−ｔｕｓ（ｋ＋１））／２であってもよい。λａ，ｋ，Ｕｋ，Ｐｕｋ，Ｐｕｋ＋１，Ｔｕｋ＋１を表す情報の一部またはすべてがデータベースに保持され、推定装置が発話区間Ｕｋ＋１よりも後の次発話者とその発話タイミングを予測するために使用される。
【００５８】
推定装置は、発話者情報Ｐｕｋ、発話区間Ｕｋ、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の少なくとも一部に基づき、参加者Ｐ１，…，ＰＡのうち何れが次発話者Ｐｕｋ＋１であるか、および次発話者Ｐｕｋ＋１の発話タイミングの少なくとも一方を表す推定情報を得る。ただし、「Ｐｕｋ＋１」の下付き添え字「ｕｋ＋１」はｕｋ＋１を表す。発話区間Ｕｋの発話者Ｐｕｋが発話区間Ｕｋ＋１でも発話を行う場合（発話継続する場合）、次発話者は発話区間Ｕｋの発話者Ｐｕｋと同一である。一方、発話区間Ｕｋの発話者Ｐｕｋ以外の参加者が発話区間Ｕｋ＋１でも発話を行う場合（すなわち発話交替する場合）、次発話者は発話区間Ｕｋの発話者Ｐｕｋ以外の参加者である。
【００５９】
推定装置は、発話者情報Ｐｕｋ、発話区間Ｕｋ、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の少なくとも一部に対応する特徴量ｆａ，ｋに対する推定情報を得るためのモデルを機械学習し、このモデルを用いて特徴量に対する推定情報を得る。特徴量ｆａ，ｋは、発話者情報Ｐｕｋ、発話区間Ｕｋ、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の１つのみに対応してもよいし、これらのうち複数に対応してもよいし、すべてに対応してもよい。モデルの機械学習には、例えば、過去の吸い込み区間Ｉａ，ｉ（ただし、ｉ＜ｋ）での息の吸い込み量、吸い込み区間Ｉａ，ｉの長さ、吸い込み区間Ｉａ，ｉでの息の吸い込み量の時間変化、および発話区間Ｕｉと吸い込み区間Ｉａ，ｉとの時間関係の少なくとも一部に対応する特徴量ｆａ，ｋ、ならびに発話区間Ｕｉ，Ｕｉ＋１およびそれらの発話者Ｐｕｋ，Ｐｕｋ＋１の情報が学習データとして用いられる。
【００６０】
推定装置による次発話者／発話タイミング推定処理を例示する。この例では、次発話者Ｐｕｋ＋１を推定するモデルである次発話者推定モデルと、次発話者Ｐｕｋ＋１の発話タイミングを推定するモデルである発話タイミング推定モデルとが生成され、それぞれのモデルを用いて次発話者Ｐｕｋ＋１とその発話タイミングが推定される。
【００６１】
次発話者推定モデルを学習する場合、推定装置は、学習データとして、データベースから過去のパラメータλａ，ｉ（ただし、ａ＝１，…，Ａであり、ｉ＜ｋである）の少なくとも一部、および発話区間Ｕｉ，Ｕｉ＋１およびそれらの発話者Ｐｕｉ，Ｐｕｉ＋１を表す情報を読み出す。推定装置は、パラメータλａ，ｉの少なくとも一部に対応する特徴量Ｆ１ａ，ｉおよびＵｉ，Ｕｉ＋１，Ｐｕｉ，Ｐｕｉ＋１を学習データとして、次発話者推定モデルを機械学習する。次発話者推定モデルには、例えば、ＳＶＭ（Support Vector Machine）、ＧＭＭ（Gaussian Mixture Model）、ＨＭＭ（Hidden Markov Model）等を用いることができる。
【００６２】
推定装置は、パラメータλ’ａ，ｋの少なくとも一部に対応する特徴量Ｆ１ａ，ｋを次発話者推定モデルに適用し、それによって推定された次発話Ｐｕｋ＋１を表す情報を「推定情報」の一部とする。なお、次発話Ｐｕｋ＋１を表す情報は、何れかの参加者Ｐａを確定的に表すものであってもよいし、確率的に表すものであってもよい。参加者Ｐａが次話者になる確率を、Ｐ１ａとする。
【００６３】
発話タイミング推定モデルを学習する場合、推定装置は、学習データとして、データベースから過去のパラメータλａ，ｉ（ただし、ａ＝１，…，Ａであり、ｉ＜ｋである）の少なくとも一部、発話区間Ｕｉ，Ｕｉ＋１およびそれらの発話者Ｐｕｉ，Ｐｕｉ＋１、および発話区間Ｕｉ＋１の発話開始タイミングＴｕｉ＋１を表す情報を読み出す。推定装置は、パラメータλａ，ｉの少なくとも一部に対応する特徴量Ｆ２ａ，ｉおよびＵｉ，Ｕｉ＋１，Ｐｕｉ，Ｐｕｉ＋１，Ｔｕｉ＋１を学習データとして、発話タイミング推定モデルを機械学習する。次発話者推定モデルには、例えば、ＳＶＭ、ＧＭＭ、ＨＭＭ等を用いることができる。
【００６４】
推定装置は、発話者Ｐｕｋ、パラメータλ’ａ，ｋの少なくとも一部、および次発話者推定モデルにより推定された次発話者Ｐｕｋ＋１が得られると、パラメータλ’ａ，ｋの少なくとも一部に対応する特徴量Ｆ２ａ，ｋを発話タイミング推定モデルに適用する。推定装置は、特徴量Ｆ２ａ，ｋを発話タイミング推定モデルに適用して推定された次の発話区間Ｕｋ＋１の発話タイミングＴｕｋ＋１（例えば、発話区間Ｕｋ＋１の開始時刻）を表す情報を「推定情報」の一部として出力する。なお、発話タイミングを表す情報は、何れかの発話タイミングを確定的に表すものであってもよいし、確率的に表すものであってもよい。参加者Ｐａが時刻ｔに発話を開始する確率（時刻ｔが参加者Ｐａの発話タイミングである確率）を、Ｐ２ａ（ｔ）とする。
上述した実施形態のコミュニケーションスキル評価装置５の次話者推定部５４が推定する参加者Ｕｉの次話者確率Ｐｉｎ＋１（ｔ）は、参加者Ｕｉが本次話者推定技術における参加者Ｐａである場合、確率Ｐ１ａ×確率Ｐ２ａ（ｔ）により算出される。
【００６５】
上述の推定装置は、呼吸動作の観測値に基づいて次に発話を開始する参加者およびタイミングを推定しているが、さらに、視線の観測値を用いてもよい。
視線行動をさらに利用する場合、各参加者Ｐａ（ただし、ａ＝１，…，Ａ）には注視対象検出装置がさらに装着される。注視対象検出装置は、参加者Ｐａが誰を注視しているか（注視対象）を検出し、参加者Ｐａおよび各離散時刻ｔでの注視対象Ｇａ，ｔを表す情報を推定装置に送る。推定装置は、注視対象情報Ｇ１，ｔ，…，ＧＡ，ｔ、発話区間Ｕｋ、および話者情報Ｐｕｋを入力とし、発話区間終了前後における注視対象ラベル情報θｖ，ｋ（ただし、ｖ＝１，…，Ｖ、Ｖは注視対象ラベルの総数）を生成する。注視対象ラベル情報は、発話区間Ｕｋの終了時点Ｔｓｅに対応する時間区間における参加者の注視対象を表す情報である。ここでは、終了時点Ｔｓｅを含む有限の時間区間における参加者Ｐａの注視対象をラベル付けした注視対象ラベル情報θｖ，ｋを例示する。この場合、例えば、発話区間Ｕｋの終了時点Ｔｓｅよりも前の時点Ｔｓｅ−Ｔｂから終了時点Ｔｓｅよりも後の時点Ｔｓｅ＋Ｔａまでの区間に出現した注視行動を扱う。Ｔｂ，Ｔａは０以上の任意の値でよいが、目安として、Ｔｂは０秒〜２．０秒、Ｔａは０秒〜３．０秒程度にするのが適当である。
【００６６】
推定装置は、注視対象の参加者を以下のような種別に分類し、注視対象のラベリングを行う。なお、ラベルの記号に意味はなく、判別できればどのような表記でも構わない。
・ラベルＳ：話者（すなわち、話者である参加者Ｐｕｋを表す）
・ラベルＬξ：非話者（ただし、ξは互いに異なる非話者である参加者を識別し、ξ＝１，…，Ａ−１である。例えば、ある参加者が、非話者Ｐ２、非話者Ｐ３、の順に注視をしていたとき、非話者Ｐ２にＬ１というラベル、非話者Ｐ３にＬ２というラベルが割り当てられる。）
・ラベルＸ：誰も見ていない
【００６７】
ラベルがＳまたはＬξのときには、相互注視（視線交差）が起きたか否かという情報を付与する。本形態では、相互注視が起きた際には、ＳＭ，ＬξＭ（下付き添え字の「ξＭ」はξＭを表す）のように、ラベルＳ，Ｌξの末尾にＭラベルを付与する。
【００６８】
図４に注視対象ラベルの具体例を示す。図４はＡ＝４の例であり、発話区間Ｕｋ，Ｕｋ＋１と各参加者の注視対象が時系列に示されている。図４の例では、参加者Ｐ１が発話した後、発話交替が起き、新たに参加者Ｐ２が発話をした際の様子を示している。ここでは、話者である参加者Ｐ１が参加者Ｐ４を注視した後、参加者Ｐ２を注視している。Ｔｓｅ−Ｔｂの時点からＴｓｅ＋Ｔａの時点までの区間では、参加者Ｐ１が参加者Ｐ２を見ていたとき、参加者Ｐ２は参加者Ｐ１を見ている。これは、参加者Ｐ１と参加者Ｐ２とで相互注視が起きていることを表す。この場合、参加者Ｐ１の注視対象情報Ｇ１，ｔから生成される注視対象ラベルはＬ１とＬ２Ｍの２つとなる。上述の区間では、参加者Ｐ２は参加者Ｐ４を注視した後、話者である参加者Ｐ１を注視している。この場合、参加者Ｐ２の注視対象ラベルはＬ１とＳＭの２つとなる。また、上述の区間では、参加者Ｐ３は話者である参加者Ｐ１を注視している。この場合、参加者Ｐ３の注視対象ラベルはＳとなる。また、上述の区間では、参加者Ｐ４は誰も見ていない。この場合、参加者Ｐ４の注視対象ラベルはＸとなる。したがって、図４の例では、Ｖ＝６である。
【００６９】
推定装置は、注視対象ラベルごとの開始時刻、終了時刻も取得する。ここで、誰（Ｒ∈｛Ｓ，Ｌ｝）のどの注視対象ラベル（ＧＬ∈｛Ｓ，ＳＭ，Ｌ１，Ｌ１Ｍ，Ｌ２，Ｌ２Ｍ，…｝）であるかを示す記号としてＲＧＬ、その開始時刻をＳＴ＿ＲＧＬ、終了時刻をＥＴ＿ＲＧＬと定義する。ただし、Ｒは参加者の発話状態（話者か非話者か）を表し、Ｓは話者、Ｌは非話者である。例えば、図４の例において、参加者Ｐ１の最初の注視対象ラベルはＳＬ１であり、その開始時刻はＳＴ＿ＳＬ１、終了時刻はＥＴ＿ＳＬ１である。注視対象ラベル情報θｖ，ｋは注視対象ラベルＲＧＬ、開始時刻ＳＴ＿ＲＧＬ、および終了時刻ＥＴ＿ＲＧＬを含む情報である。
【００７０】
推定装置は、注視対象ラベル情報θｖ，ｋを用いて、各参加者Ｐａの注視対象遷移パターンＥａ，ｋを生成する。注視対象遷移パターンの生成は、注視対象ラベルＲＧＬを構成要素として、時間的な順序を考慮した遷移ｎ−ｇｒａｍを生成して行う。ここで、ｎは正の整数である。例えば、図４の例を考えると、参加者Ｐ１の注視対象ラベルから生成される注視対象遷移パターンＥ１，ｋはＬ１−Ｌ２Ｍである。同様にして、参加者Ｐ２の注視対象遷移パターンＥ２，ｋはＬ１−ＳＭ、参加者Ｐ３の注視対象遷移パターンＥ３，ｋはＳ、参加者Ｐ４の注視対象遷移パターンＥ４，ｋはＸとなる。
【００７１】
注視対象遷移パターンＥａ，ｋは、例えば発話区間Ｕｋ＋１が開始された後に、発話区間Ｕｋおよびその発話者Ｐｕｋ、発話区間Ｕｋ＋１に該当する発話を行う次発話者Ｐｕｋ＋１および次発話開始タイミングＴｕｋ＋１を表す情報とともにデータベースに送られる。データベースでは、注視対象遷移パターンＥａ，ｋが、パラメータλａ，ｋと併合され、Ｅａ，ｋ，λａ，ｋ，Ｕｋ，Ｐｕｋ，Ｐｕｋ＋１，Ｔｕｋ＋１を表す情報の一部またはすべてがデータベースに保持される。
【００７２】
推定装置は、注視対象ラベル情報θｖ，ｋを入力とし、注視対象ラベルごとの時間構造情報Θｖ，ｋを生成する。時間構造情報は参加者の視線行動の時間的な関係を表す情報であり、（１）注視対象ラベルの時間長、（２）注視対象ラベルと発話区間の開始時刻または終了時刻との間隔、（３）注視対象ラベルの開始時刻または終了時刻と他の注視対象ラベルの開始時刻または終了時刻との間隔、をパラメータとして持つ。
【００７３】
具体的な時間構造情報のパラメータを以下に示す。以下では、発話区間の開始時刻をＳＴ＿Ｕ、発話区間の終了時刻をＥＴ＿Ｕと定義する。
・ＩＮＴ１（＝ＥＴ＿ＲＧＬ−ＳＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬと終了時刻ＥＴ＿ＲＧＬの間隔
・ＩＮＴ２（＝ＳＴ＿Ｕ−ＳＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬが発話区間の開始時刻ＳＴ＿Ｕよりもどれくらい前であったか
・ＩＮＴ３（＝ＥＴ＿Ｕ−ＳＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬが発話区間の終了時刻ＥＴ＿Ｕよりもどれくらい前であったか
・ＩＮＴ４（＝ＥＴ＿ＲＧＬ−ＳＴ＿Ｕ）：注視対象ラベルＲＧＬの終了時刻ＥＴ＿ＲＧＬが発話区間の開始時刻ＳＴ＿Ｕよりもどれくらい後であったか
・ＩＮＴ５（＝ＥＴ＿Ｕ−ＥＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの終了時刻ＥＴ＿ＲＧＬが発話区間の終了時刻ＥＴ＿Ｕよりもどれくらい前であったか
・ＩＮＴ６（＝ＳＴ＿ＲＧＬ−ＳＴ＿ＲＧＬ’）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬが他の注視対象ラベルＲＧＬ’の開始時刻ＳＴ＿ＲＧＬ’よりもどれくらい後であったか
・ＩＮＴ７（＝ＥＴ＿ＲＧＬ’−ＳＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬが他の注視対象ラベルＲＧＬ’の終了時刻ＥＴ＿ＲＧＬ’よりもどれくらい前であったか
・ＩＮＴ８（＝ＥＴ＿ＲＧＬ−ＳＴ＿ＲＧＬ’）：注視対象ラベルＲＧＬの終了時刻ＥＴ＿ＲＧＬが注視対象ラベルＲＧＬ’の開始時刻ＳＴ＿ＲＧＬ’よりもどれくらい後であったか
・ＩＮＴ９（＝ＥＴ＿ＲＧＬ−ＥＴ＿ＲＧＬ’）：注視対象ラベルＲＧＬの終了時刻ＥＴ＿ＲＧＬが注視対象ラベルＲＧＬ’の終了時刻ＥＴ＿ＲＧＬ’よりもどれくらい後であったか
【００７４】
なお、ＩＮＴ６〜ＩＮＴ９については、すべての参加者の注視対象ラベルとの組み合わせに対して取得する。図４の例では、注視対象ラベル情報は全部で６つ（Ｌ１，Ｌ２Ｍ，Ｌ１，ＳＭ，Ｓ，Ｘ）あるため、ＩＮＴ６〜ＩＮＴ９は、それぞれ６×５＝３０個のデータが生成される。
【００７５】
時間構造情報Θｖ，ｋは注視対象ラベル情報θｖ，ｋについてのパラメータＩＮＴ１〜ＩＮＴ９からなる情報である。時間構造情報Θｖ，ｋを構成する上記の各パラメータについて、図５を用いて具体的に示す。図５は、話者である参加者Ｐ１（Ｒ＝Ｓ）の注視対象ラベルＬ１についての時間構造情報を示したものである。すなわち、ＲＧＬ＝ＳＬ１における時間構造情報である。なお、ＩＮＴ６〜ＩＮＴ９については、図示を簡略化するために、参加者Ｐ２の注視対象ラベルＬ１、すなわちＲＧＬ＝ＬＬ１との関係のみを示す。図５の例では、ＩＮＴ１〜ＩＮＴ９は以下のように求められることがわかる。
・ＩＮＴ１＝ＥＴ＿ＳＬ１−ＳＴ＿ＳＬ１
・ＩＮＴ２＝ＳＴ＿Ｕ−ＳＴ＿ＳＬ１
・ＩＮＴ３＝ＥＴ＿Ｕ−ＳＴ＿ＳＬ１
・ＩＮＴ４＝ＥＴ＿ＳＬ１−ＳＴ＿Ｕ
・ＩＮＴ５＝ＥＴ＿Ｕ−ＥＴ＿ＳＬ１
・ＩＮＴ６＝ＳＴ＿ＳＬ１−ＳＴ＿ＬＬ１
・ＩＮＴ７＝ＥＴ＿ＬＬ１−ＳＴ＿ＳＬ１
・ＩＮＴ８＝ＥＴ＿ＳＬ１−ＳＴ＿ＬＬ１
・ＩＮＴ９＝ＥＴ＿ＳＬ１−ＥＴ＿ＬＬ１
【００７６】
時間構造情報Θｖ，ｋは、例えば発話区間Ｕｋ＋１が開始された後に、発話区間Ｕｋおよびその発話者Ｐｕｋ、発話区間Ｕｋ＋１に該当する発話を行う次発話者Ｐｕｋ＋１および次発話開始タイミングＴｕｋ＋１を表す情報とともにデータベースに送られる。データベースでは、時間構造情報Θｖ，ｋが、パラメータλａ，ｋと併合され、Θｖ，ｋ，λａ，ｋ，Ｕｋ，Ｐｕｋ，Ｕｋ＋１，Ｐｕｋ＋１，Ｔｕｋ＋１を表す情報の一部またはすべてがデータベースに保持される。
【００７７】
推定装置は、注視対象遷移パターンＥａ，ｋ、時間構造情報Θｖ，ｋ、発話者情報Ｐｕｋ、発話区間Ｕｋ、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の少なくとも一部に対応する特徴量ｆａ，ｋに対する推定情報を得るためのモデルを機械学習し、モデルを用いて特徴量に対する推定情報を得て出力する。
【００７８】
以上、本発明の実施形態を説明したが、上述のコミュニケーションスキル評価装置５の機能をコンピュータで実現するようにしてもよい。その場合、コミュニケーションスキル評価装置５の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【００７９】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【００８０】
複数の参加者が会話を行う場合に適用可能である。
【符号の説明】
【００８１】
１  コミュニケーションスキル評価システム
２  音声入力装置
３  計測装置
５  コミュニケーションスキル評価装置
５１  受信部
５２  記憶部
５３  発話区間検出部
５４  次話者推定部
５５  評価部
５５１  第１パラメータ算出部
５５２  第２パラメータ算出部
５５３  評価結果出力部
【図１】
0006363986.tif 000006
【図２】
0006363986.tif 000007
【図３】
0006363986.tif 000008
【図４】
0006363986.tif 000009
【図５】
0006363986.tif 000010