(57)【特許請求の範囲】
【請求項１】
行動が変化する第一人物の第一映像を第二人物に提示する人物映像提示部と、
上記第一人物の行動の変化に対して上記第二人物が行うべき共感反感に関するアクションを上記第二人物に提示するアクション提示部と、
上記第一映像が提示された第二人物の頭部を撮影した第二映像を取得する映像取得部と、
上記第二映像における上記第一人物の行動の変化に対する上記第二人物の行動を検出することにより上記第二人物の第二行動時系列を生成する行動認識部と、
上記第一映像における上記第一人物の第一行動時系列及び上記第二映像における上記第二人物の上記第二行動時系列に基づいて、行動の時間差と行動の一致性とに基づく共感解釈の尤度を表すタイミングモデルを含むモデルパラメタを用いて、上記第一人物と上記第二人物との間の共感解釈を推定する事後確率推定部と、
上記推定された共感解釈を、上記第一人物の行動の変化に対する結果として、上記第二人物に対して提示する表示部と、
を含む共感解釈推定装置。
【請求項２】
請求項１の共感解釈推定装置において、
上記表示部は、上記推定された共感解釈のうち、上記アクション提示部が提示したアクションに関連する共感解釈のみを提示する、
共感解釈推定装置。
【請求項３】
請求項１又は２の共感解釈推定装置において、
上記行動認識部は、上記第一映像における上記第一人物の行動を検出することにより上記第一人物の第一行動時系列を更に生成し、
上記事後確率推定部は、上記行動認識部により生成された上記第一行動時系列及び上記第二行動時系列に基づいて、上記共感解釈を推定する、
共感解釈推定装置。
【請求項４】
請求項１から３の何れかの共感解釈推定装置において、
上記人物映像提示部は、行動が変化する少なくとも１以上の人物を含む複数の人物のそれぞれの映像を上記第二人物に提示し、
上記行動が変化する少なくとも１以上の人物のそれぞれを上記第一人物とする上記行動認識部及び上記事後確率推定部の処理により、各第一人物と上記第二人物との間の共感解釈を推定する、
共感解釈推定装置。
【請求項５】
人物映像提示部が、行動が変化する第一人物の第一映像を第二人物に提示する人物映像提示ステップと、
アクション提示部が、上記第一人物の行動の変化に対して上記第二人物が行うべき共感反感に関するアクションを上記第二人物に提示するアクション提示ステップと、
映像取得部が、上記第一映像が提示された第二人物の頭部を撮影した第二映像を取得する映像取得ステップと、
行動認識部が、上記第二映像における上記第一人物の行動の変化に対する上記第二人物の行動を検出することにより上記第二人物の第二行動時系列を生成する行動認識ステップと、
事後確率推定部が、上記第一映像における上記第一人物の第一行動時系列及び上記第二映像における上記第二人物の第二行動時系列に基づいて、行動の時間差と行動の一致性とに基づく共感解釈の尤度を表すタイミングモデルを含むモデルパラメタを用いて、上記第一人物と上記第二人物との間の共感解釈を推定する事後確率推定ステップと、
表示部が、上記推定された共感解釈を、上記第一人物の行動の変化に対する結果として、上記第二人物に対して提示する表示ステップと、
を含む共感解釈推定方法。
【請求項６】
請求項５の共感解釈推定方法において、
上記表示部は、上記推定された共感解釈のうち、上記アクション提示部が提示したアクションに関連する共感解釈のみを提示する、
共感解釈推定方法。
【請求項７】
請求項５又は６の共感解釈推定方法において、
上記行動認識部は、上記第一映像における上記第一人物の行動を検出することにより上記第一人物の第一行動時系列を更に生成し、
上記事後確率推定部は、上記行動認識部により生成された上記第一行動時系列及び上記第二行動時系列に基づいて、上記共感解釈を推定する、
共感解釈推定方法。
【請求項８】
請求項５から７の何れかの共感解釈推定方法において、
上記人物映像提示部は、行動が変化する少なくとも１以上の人物を含む複数の人物のそれぞれの映像を上記第二人物に提示し、
上記行動が変化する少なくとも１以上の人物のそれぞれを上記第一人物とする上記行動認識部及び上記事後確率推定部の処理により、各第一人物と上記第二人物との間の共感解釈を推定する、
共感解釈推定方法。
【請求項９】
請求項１から４の何れかに記載された共感解釈推定装置の各部としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、共感解釈を推定する技術に関する。
【背景技術】
【０００２】
画面上に表示されたお手本となる顔の表情の動きをどれくらい上手にマネできるかを測定する技術が、非特許文献１に記載されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Nintendo、Fumiko Inudo、［online］、［平成２５年７月３１日］、インターネット＜URL: http://www.nintendo.co.jp/ds/ykoj/etc/index.html＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術は、どれくらい上手にマネできるかを測定する技術であり、画面上に表示された第一人物と画面を通して第一人物を見ている第二人物との共感解釈を推定する技術ではなかった。共感解釈とは、共感、反感、どちらでもない等の二者間の対話状態のことである。
【０００５】
この発明は、画面上に表示された第一人物と画面を通して第一人物を見ている第二人物との共感解釈を推定する共感解釈推定装置、方法、プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明の一態様による映像生成装置は、行動が変化する第一人物の第一映像を第二人物に提示する人物映像提示部と、第一人物の行動の変化に対して第二人物が行うべき共感反感に関するアクションを第二人物に提示するアクション提示部と、第一映像が提示された第二人物の頭部を撮影した第二映像を取得する映像取得部と、第二映像における第一人物の行動の変化に対する第二人物の行動を検出することにより第二人物の第二行動時系列を生成する行動認識部と、第一映像における第一人物の第一行動時系列及び第二映像における第二人物の第二行動時系列に基づいて、行動の時間差と行動の一致性とに基づく共感解釈の尤度を表すタイミングモデルを含むモデルパラメタを用いて、第一人物と第二人物との間の共感解釈を推定する事後確率推定部と、推定された共感解釈を、第一人物の行動の変化に対する結果として、第二人物に対して提示する表示部と、を含む。
【発明の効果】
【０００７】
画面上に表示された第一人物と画面を通して第一人物を見ている第二人物との共感解釈を推定することができる。また、行動の時間差と行動の一致性とに基づく共感解釈の尤度を表すタイミングモデルを含むモデルパラメタを用いることにより、表出のタイミングを考慮することができ、高い精度で共感解釈を推定することができる。
【図面の簡単な説明】
【０００８】
【図１】共感解釈推定装置の例を示すブロック図。
【図２】第一映像、第一人物及び第二人物の例を説明するための図。
【図３】第一人物の行動の変化を説明するための図。
【図４】第一人物の行動の変化を説明するための図。
【図５】アクション提示部によるアクションの例示の例を説明するための図。
【図６】変形例を説明するための図。
【図７】変形例を説明するための図。
【図８】共感解釈推定方法の処理の流れを示す図。
【図９】対話状態推定装置の例を示すブロック図。
【図１０】パラメタ学習部の例を示すブロック図。
【図１１】学習フェーズの処理の流れを示す図。
【図１２】時間差関数を説明するための図。
【図１３】対話者の行動と共感解釈の時間差を説明するための図。
【図１４】変化タイミング関数を説明するための図。
【図１５】変化タイミング関数の有効範囲を説明するための図。
【図１６】変化タイミング関数の有効範囲を説明するための図。
【発明を実施するための形態】
【０００９】
以下、この発明の実施形態について詳細に説明する。
【００１０】
［共感解釈推定装置及び方法］
共感解釈推定装置は、図１に示すように、人物映像提示部８２、映像取得部８１、推定用映像記憶部７２、行動認識部２０、モデルパラメタ記憶部７４、事後確率推定部５０、表示部８３及びアクション提示部８４を例えば備えている。
【００１１】
共感解釈推定方法は、図８に示すステップＳ１からステップＳ４により例えば構成される。
【００１２】
人物映像提示部８２は、行動が変化する第一人物１００の第一映像を第二人物２００に提示する（ステップＳ１）。例えば、人物映像提示部８２は、表示部８３を通して、第一映像を第二人物２００に提示する。表示部８３は、ディスプレイ等の表示装置である。また、第一映像は、推定用映像の一部として行動認識部２０に提供される。第一映像は、第一人物１００の少なくとも頭部を映した映像である。第一人物１００は、表情を表すことができれば人間でなくてもよい。例えば、第一人物１００は、キャラクタや物であってもよい。ここで、頭部とは、表情を認識できる程度に顔の領域を含む部分であるとする。
【００１３】
図２の左に、第一映像の例を示す。第一映像の中の第一人物１００の行動は変化する。例えば、第一映像において最初は図２の左に示すように第一人物１００は無表情であるが、あるタイミングで図３に示すように第一人物１００は笑顔になる。このような、第一映像が、図２の右に記載された第二人物２００に提示される。
【００１４】
映像取得部８１は、第一映像が提示された第二人物の行動を撮影した第二映像を取得する（ステップＳ２）。取得された第二映像は、推定用映像の一部として行動認識部２０に提供される。映像取得部８１は、ビデオカメラ等の映像を撮影することができる装置である。第二映像には、第二人物２００の少なくとも頭部が映されているものとする。
【００１５】
図２では、第二人物２００が行うべき「共感して下さい」というアクションが、第一映像の中で提示されている。このため、第二人物２００は、笑顔になった第一人物１００と共感するために、笑顔になる等の行動を行う。映像取得部８１は、この第二人物２００の行動を撮影した第二映像を取得するのである。なお、この第二人物２００が行うべきアクションはアクション提示部８４により提示される。
【００１６】
行動認識部２０は、第一映像における第一人物１００の行動を検出することにより第一人物１００の第一行動時系列を、第二映像における第二人物２００の行動を検出することにより第二人物の第二行動時系列を生成する（ステップＳ３）。生成された第一行動時系列及び第二行動時系列は、事後確率推定部５０に提供される。行動として、例えば表情、視線、頭部ジェスチャ、発話有無等が検出される。行動認識部２０における、行動の認識方法は後述する［学習フェーズ］における行動の認識方法と同様であるので、ここでは説明を省略する。
【００１７】
事後確率推定部５０は、第一行動時系列及び第二行動時系列に基づいて、行動の時間差と行動の一致性とに基づく共感解釈の尤度を表すタイミングモデルを含むモデルパラメタを用いて、第一人物１００と第二人物２００との間の共感解釈を推定する（ステップＳ４）。
【００１８】
事後確率推定部５０は、モデルパラメタ記憶部７４から読み込んだモデルパラメタを用いる。事後確率推定部５０がステップＳ４の処理を行う前に、モデルパラメタ記憶部７４には、後述する学習フェーズにより学習され生成されたモデルパラメタが記憶されているものとする。
【００１９】
事後確率推定部５０は、具体的には、モデルパラメタ記憶部７４に記憶されているモデルパラメタを用いて、対話者の行動の時系列Bである第一行動時系列及び第二行動時系列から時刻tにおける対話者間の共感解釈の事後確率分布P(et|B)を推定する。より具体的には、事後確率推定部５０は、対話者の行動の時系列Bである第一行動時系列及び第二行動時系列と、事前分布とタイミングモデルと静的モデルの各パラメタを含むモデルパラメタとを入力として、後述する式（１）に従って、時刻tにおける共感解釈eの事後確率分布P(et|B)を計算する。モデルパラメタ及び式（１）については、後述する［学習フェーズ］において説明する。
【００２０】
なお、共感解釈の推定結果を確率分布ではなく１つの種類として出力する必要がある場合には、事後確率が最も高い共感解釈の種類、すなわちe~t=argmax e_t P(et|B)を出力してもよい。
【００２１】
また、事後確率が最も高い共感解釈の種類に加え、その事後確率が最も高い共感解釈の強度を出力してもよい。例えば、強度は、共感であれば、強度＝共感の確率−反感の確率という式から、反感であれば、強度＝反感の確率―共感の確率という式により求めることができる。この場合、強度は、-1から1の間の数値で表される。
【００２２】
共感解釈とは、共感、反感、どちらでもない等の二者間の対話状態（この例では第一人物１００と第二人物２００と間の対話状態）のことである。
【００２３】
上記説明した共感解釈推定装置の一実施形態によれば、画面上に表示された第一人物と画面を通して第一人物を見ている第二人物との共感解釈を推定することができる。また、行動の時間差と行動の一致性とに基づく共感解釈の尤度を表すタイミングモデルを含むモデルパラメタを用いることにより、表出のタイミングを考慮することができ、高い精度で共感解釈を推定することができる。
【００２４】
［共感解釈推定装置及び方法の変形例等］
人物映像提示部８２自身が生成した第一映像が第二人物２００に提供されてもよいし、人物映像提示部８２以外により予め生成された第一映像が第二人物２００に提供されてもよい。例えば、第一映像が予め生成され推定用映像記憶部７２に記憶されている場合には、人物映像提示部８２は、推定用映像記憶部７２から読み込んだ第一映像を第二人物２００に提供する。
【００２５】
第一行動時系列については、第一映像における第一人物の行動と関連付けて予め記憶部８５に記憶されていてもよい。例えば、第一映像として笑顔のキャラクタ映像を提示する場合、行動認識部２０がその第一映像に基づいてそのキャタクターの第一行動時系列を事前に生成することにより、そのキャラクタの第一行動時系列を事前に用意してくことができるためである。この場合、行動認識部２０は、第二行動時系列のみを生成する。また、この場合、事後確率推定部５０は、記憶部８５から読み込んだ第一行動時系列及び行動認識部２０が生成した第二行動時系列に基づいて、共感解釈を推定する。
【００２６】
事後確率推定部５０により推定された共感解釈は、表示部８３に表示されてもよい。第二人物２００が行うべきアクションについての情報がアクション提示部８４から事後確率推定部５０に提供されている場合には、事後確率推定部５０は、提供された第二人物２００が行うべきアクションに関連する共感解釈のみを表示部８３に表示させるようにしてもよい。例えば、第二人物２００が行うべきアクションが「共感して下さい」というアクションである場合には、事後確率推定部５０は共感についての共感解釈の推定結果のみを表示部８３に表示させる。
【００２７】
上記の実施形態では、第一映像において最初は図２の左に示すように第一人物１００は無表情であるが、あるタイミングで図３に示すように第一人物１００は笑顔になったが、第一映像において第一人物１００は他の行動を取ってもよい。例えば、第一人物１００は、図４に示すように悲しい表情を示す行動を取ってもよい。
【００２８】
なお、図４では、第二人物２００が行うべき「共感して下さい」というアクションが、第一映像の中で提示されている。一般に、悲しい表情を示す行動に対して共感を示すための行動は、同様に悲しい表情を概して迅速に示す行動である。このため、この図４の場合、第二人物２００は、第一人物１００と同様に悲しい表情を示す行動を適切なタイミングで取ることにより共感を示すことができる。
【００２９】
アクション提示部８４が第二人物２００に提示する第二人物２００が行うべきアクションは、「共感して下さい」というアクションに限られない。言い換えれば、アクション提示部８４は、第二人物２００が行うべきアクションであればどのようなアクションを第二人物２００に提示してもよい。例えば、アクション提示部８４は、図５に示すように「反感して下さい」というアクションを第二人物２００に提示してもよい。なお、図５では、第一人物１００は笑顔になるという行動を示している。一般に、笑顔になるという行動に対して反感を示すための行動は、怒ったりムスッとした表情を概して迅速に示す行動である。あるいは、笑顔を遅れても示す行動も反感を示すことになりえる。このため、この図５の場合、第二人物２００は、怒ったりムスッとした表情を迅速に示す行動を取ることや，笑顔を遅れて示す行動を取ることにより反感を示すことができる。
【００３０】
アクション提示部８４は、第二人物２００が行うべきアクションを第二人物２００に提示する場所は、第一映像に限られない。言い換えれば、アクション提示部８４は、第二人物２００が行うべきアクションを第二人物２００に提示できれば、その方法はどのようなものであってもよい。例えば、アクション提示部８４は、第一映像が第二人物２００に提示される前に、第二人物２００が行うべきアクションを表示部８３に表示することにより、第二人物２００が行うべきアクションを第二人物２００に提示してもよい。
【００３１】
アクション提示部８４は、共感解釈推定装置に備えられていなくてもよい。この場合、
第二人物２００は、第二人物２００が行うべきアクションを事前に知っていてもよいし、知っていなくてもよい。
【００３２】
人物映像提示部８２は、第一人物を含む複数の人物のそれぞれの映像を第二人物２００に提示してもよい。例えば、人物映像提示部８２により、図６に示す第一人物を含む４人の人物のそれぞれの映像が表示部８３を介して第二人物２００に提示される。この場合、４人の人物の何れか１人の行動が変化する。図６では、アクション提示部８４により、４人の人物のそれぞれの映像において「共感して下さい」というアクションが示されている。このため、第二人物２００は、４人の人物の中の行動が変化する何れか１人の人物に対して共感を示すための行動を行う。この行動が変化する何れか１人の人物が、第一人物１００となる。
【００３３】
なお、図６の例では、アクション提示部８４により提示される、複数の人物のそれぞれについての第二人物２００が行うべきアクションが「共感して下さい」という共通のアクションであったが、アクション提示部８４により提示される、複数の人物のそれぞれについての第二人物２００が行うべきアクションが異なっていてもよい。
【００３４】
例えば、図７の例では、４人の人物の中の図７の紙面に対して上段に位置する２人の人物についての第二人物２００が行うべきアクションは「共感して下さい」というアクションであるが、４人の人物の中の図７の紙面に対して下段に位置する２人の人物についての第二人物２００が行うべきアクションは「反感して下さい」というアクションである。
【００３５】
この場合、上段に位置する２人の人物のうち、何れか１人以上の行動が変化した場合には第二人物２００は共感を示す行動が求められるが、下段に位置する２人の人物のうち、何れか１人以上の行動が変化した場合には第二人物は反感を示す行動が求められることになる。
【００３６】
第二人物２００が行うべきアクションを示すことができるものであれば、４人の人物の全ての行動が変化してもよい。
【００３７】
例えば、４人の人物の全てについての第二人物２００が行うべきアクションは「共感して下さい」である場合において、４人の人物の全員が笑顔の行動に変化したときには、第二人物２００は迅速に笑顔になる等の共感を示す行動が求められることになる。
【００３８】
また、図７に例示するように、図７の紙面に対して上段に位置する２人の人物についての第二人物２００が行うべきアクションは「共感して下さい」というアクションであるが、４人の人物の中の図７の紙面に対して下段に位置する２人の人物についての第二人物２００が行うべきアクションは「反感して下さい」というアクションである場合において、上段に位置する２人の人物が笑顔の行動に変化し、下段に位置する２人の人物がムスッとする行動に変化したときには、第二人物２００は迅速に笑顔になる等の共感を示す行動が求められることになる。
【００３９】
このように、人物映像提示部８２は、行動が変化する少なくとも１以上の人物を含む複数の人物のそれぞれの映像を第二人物２００に提示してもよい。この場合、行動が変化する少なくとも１以上の人物のそれぞれを第一人物とする行動認識部２０及び事後確率推定部５０の処理により、各第一人物と第二人物との間の共感解釈が推定される。例えば、４人の人物の全てについての第二人物２００が行うべきアクションは「共感して下さい」である場合において、４人の人物の全員が笑顔の行動に変化したときには、４人の人物のそれぞれを第一人物とする行動認識部２０及び事後確率推定部５０の処理により、４人の人物のそれぞれと第二人物との間の共感解釈が推定される。
【００４０】
共感解釈推定装置は、後述する［学習フェーズ］で説明する、入力部１０、学習用映像記憶部７０、共感解釈付与部３０及びパラメタ学習部４０を更に備えていてもよい。この場合、モデルパラメタを学習し生成する機能を有していてもよい。
【００４１】
［プログラム、記録媒体］
この発明は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。上記実施例において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【００４２】
また、上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００４３】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００４４】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００４５】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００４６】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【００４７】
［学習フェーズ］
以下、モデルパラメタの学習及び生成を行う学習フェーズについて説明する。モデルパラメタの学習は、例えば、図９に記載された対話状態推定装置１により行われる。
【００４８】
＜構成＞
図９を参照して、この実施形態の対話状態推定装置１の構成例について説明する。対話状態推定装置１は入力部１０と行動認識部２０と共感解釈付与部３０とパラメタ学習部４０学習用映像記憶部７０とモデルパラメタ記憶部７４とを備える。学習用映像記憶部７０は、例えば、ＲＡＭ（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリなどの半導体メモリ素子により構成される補助記憶装置、などにより構成することができる。モデルパラメタ記憶部７４は、学習用映像記憶部７０と同様に構成してもよいし、リレーショナルデータベースやキーバリューストアなどのミドルウェア、などにより構成してもよい。
【００４９】
図１０を参照して、この実施形態のパラメタ学習部４０の構成例について説明する。パラメタ学習部４０は事前分布学習部４２とタイミングモデル学習部４４と静的モデル学習部４６とを備える。
【００５０】
＜学習フェーズ＞
図１１を参照して、対話状態推定装置１の学習フェーズにおける動作例を説明する。
【００５１】
入力部１０へ学習用映像が入力される（ステップＳ１１）。学習用映像は、複数の人物が対話する状況を撮影した映像であり、少なくとも対話者の頭部が撮影されていなければならない。学習用映像の撮影は、各対話者について一台のカメラを用意して、複数のカメラにより撮影した映像を多重化した映像でもよいし、魚眼レンズを用いるなどした全方位カメラ一台で対話者全員を撮影した映像であってもよい。入力された学習用映像は学習用映像記憶部７０に記憶される。
【００５２】
行動認識部２０は学習用映像記憶部７０に記憶されている学習用映像を入力として、学習用映像に撮影された各対話者の行動として、表情、視線、頭部ジェスチャ、発話有無などを検出し、その結果生成された対話者の行動の時系列を出力する（ステップＳ２１）。この実施形態では、表情、視線、頭部ジェスチャ、および発話有無の4つの行動チャネルを認識対象とする。行動チャネルとは、行動の形態のことである。表情は、感情を表す主要な経路である。この実施形態では、無表情／微笑／哄笑／苦笑／思考中／その他、の6状態を表情の認識対象とする。視線は、感情を誰に伝えようとしているのかということと、他者の行動を観察していることとの少なくとも一方などを表している。この実施形態では、他者のうちの誰か一人を見ておりその相手が誰である／誰も見ていない（という状態）、を視線の認識対象としている。すなわち、状態数は対話者の数となる。ここで、対話者とは、視線を測定している対象者を含む対話に参加している全員を指す。表情と視線の認識方法は、「特開２０１２−１８５７２７号公報（参考文献１）」又は「熊野史朗, 大塚和弘, 三上弾, 大和淳司, “複数人対話を対象とした表情と視線に基づく共感／反感の推定モデルとその評価”, 電子情報通信学会技術報告，ヒューマンコミュニケーション基礎研究会, HCS 111(214), pp. 33-38，2011.（参考文献２）」に記載の方法を用いればよい。
【００５３】
頭部ジェスチャは、しばしば他者の意見に対する態度の表明として表出される。この実施形態では、なし／頷き／首ふり／傾げ／これらの組み合わせ、の4状態を頭部ジェスチャの認識対象とする。頭部ジェスチャの認識方法は、周知のいかなる方法も用いることができる。例えば「江尻康, 小林哲則, “対話中における頭部ジェスチャの認識”, 電子情報通信学会技術研究報告, PRMU2002-61, pp.31-36, Jul.2002.（参考文献３）」に記載の方法を用いればよい。発話有無は、話し手／聞き手という対話役割の主要な指標となる。この実施形態では、発話／沈黙、の2状態を発話有無の認識対象とする。発話有無の認識方法は、映像中の音声パワーを検出してあらかじめ定めた閾値を超えた場合に発話していると判断すればよい。もしくは映像中の対話者の口元の動きを検出することで発話の有無を検出してもよい。それぞれの行動は一台の装置ですべて認識してもよいし、行動ごとに別々の装置を用いて認識しても構わない。例えば、表情の認識であれば、行動認識装置の一例として「特許４９４２１９７号公報（参考文献４）」を使用すればよい。なお、行動認識部２０は、共感解釈付与部３０と同様に人手によるラベル付けを行い、その結果を出力するとしても構わない。
【００５４】
また、表情や頭部ジェスチャに関しては、「強度」を推定して出力するとしてもよい。表情の強度は、対象とする表情である確率により求めることができる。また、頭部ジェスチャの強度は、振幅の最大値（頷きであれば、頷く角度の最大値）に対する取得された動作の振幅の値の割合により求めることができる。
【００５５】
共感解釈付与部３０は学習用映像記憶部７０に記憶されている学習用映像に基づいて複数の外部観察者が共感解釈をラベル付けした学習用共感解釈時系列を出力する（ステップＳ３０）。学習用共感解釈時系列は、学習用映像を複数の外部観察者に提示して、各時刻における対話二者間の共感解釈を外部観察者が人手によりラベル付けした時系列である。この実施形態では、二者間の対話状態として、共感／反感／どちらでもない、の3状態を対象とする。二者間の対話状態とは、同調圧力（自分とは異なる同じ意見を大勢の他者が持っているときにそれに従わなければならないと感じること）に深く関わり、合意形成や人間関係を構築する上での基本要素である。また、外部観察者が解釈するこれらの状態のことをまとめて共感解釈と呼ぶ。すなわち、この実施形態における対話状態解釈とは共感解釈である。
【００５６】
行動認識部２０の出力する学習用行動時系列と共感解釈付与部３０の出力する学習用共感解釈時系列とはパラメタ学習部４０に入力される。パラメタ学習部４０は、外部観察者の共感解釈と対話者の行動とを関連付けるモデルパラメタを学習する。モデルパラメタは、対話者間の共感解釈の事前分布と、対話者間の行動の時間差と対話者間の行動の一致性とに基づく共感解釈の尤度を表すタイミングモデルと、対話者間の行動の共起性に基づく共感解釈の尤度を表す静的モデルとを含む。
【００５７】
パラメタ学習部４０の備える事前分布学習部４２は、学習用共感解釈時系列を用いて事前分布を学習する（ステップＳ４２）。パラメタ学習部４０の備えるタイミングモデル学習部４４は、学習用行動時系列と学習用共感解釈時系列とを用いてタイミングモデルを学習する（ステップＳ４４）。パラメタ学習部４０の備える静的モデル学習部４６は、学習用行動時系列と学習用共感解釈時系列とを用いて静的モデルを学習する（ステップＳ４６）。得られたモデルパラメタはモデルパラメタ記憶部７４に記憶される。
【００５８】
＜＜モデルの概要＞＞
この実施形態のモデルについて詳述する。この実施形態では、外部観察者が与える共感解釈は対話二者の組み合わせ毎に独立であることを仮定する。よって、以下では対話者が二人のみの場合を想定する。なお、対話者が三人以上の場合には、それぞれの対話二者の組み合わせのみに注目して学習を行えばよい。
【００５９】
この実施形態では、対話者の行動の時系列Bが与えられたときの各時刻tでの外部観察者の共感解釈eの事後確率分布P(et|B)を、ナイーブベイズモデルを用いてモデル化し、その推定を行う。ナイーブベイズモデルは従属変数（ここでは共感解釈）と各説明変数（ここでは各対話者の行動）との間の確率的依存関係が説明変数間で独立であることを仮定する。ナイーブベイズモデルはシンプルであるにも関わらず多くの分野で高い推定性能を示すことが確認された優れたモデルである。この発明においてナイーブベイズモデルを用いる利点は二つある。一つは、行動チャネル間の全ての共起（例えば、表情、視線、頭部ジェスチャ、および発話有無の全てが同時に発生した状態）をモデル化しないため、過学習を避けやすいという点である。これは、対象とする変数空間に対して学習サンプルが少ない場合に特に有効である。もう一つは、観測情報としての行動チャネルの追加や削除が容易という点である。
【００６０】
この実施形態におけるナイーブベイズモデルでは、事後確率分布P(et|B)は式（１）のように定義される。
【００６１】
【数１】
0005909472.tif 000002
【００６２】
ここで、P(dttb|ctb,et)はタイミングモデルであり、時刻tの周辺で行動チャネルbについて二者間の行動が時間差dttbで一致性ctbであるときに外部観察者の共感解釈がeとなる尤度を表す。一致性cとは、二者間で行動が一致しているか否かを表す二値状態のことであり、対話二者の行動のカテゴリが同じか否かで判断する。P(bt,et)は静的モデルであり、時刻tのその瞬間において行動チャネルbが対話二者間でどう共起しているのかをモデル化している。これら二つのモデルについては以下で順に説明する。P(et)は共感解釈eの事前分布であり、行動を考えないときに各共感解釈eがどれくらいの確率で生成されるかを表す。
【００６３】
＜＜タイミングモデル＞＞
この実施形態における行動チャネルbについてのタイミングモデルは式（２）のように定義される。
【００６４】
【数２】
0005909472.tif 000003
【００６５】
式（２）から明らかなように、このタイミングモデルは、対話二者の行動間の時間差がdtでありその一致性がcであるときの共感解釈eの尤度を表す時間差関数P( d~ttb |ctb,et)と、その相互作用の近辺で共感解釈eがどのタイミングで変化するかを表す変化タイミング関数πtから構成されている。d~ttbは、外部観察者の共感解釈の時系列をヒストグラム化した際のビン番号である。ビンサイズについては例えば200ミリ秒とする。
【００６６】
なお、この実施形態では、それぞれの行動チャネルについてその行動チャネル内で二者間のタイミングモデルを構築したが、行動チャネル間のモデルを構築しても構わない。例えば、表情と頭部ジェスチャとの間の時間差dtと一致性cと、共感解釈eとの関係をモデル化することができる。ただしこの場合は、一致性cを決める際に各行動チャネルについて、例えば、肯定的／中立的／否定的といった、異なる行動チャネルの間でも一致性cを判断できるカテゴリ群を新たに導入する必要がある。これらのカテゴリについては、映像から行動チャネルを検出する際に認識してもよいし、一旦行動チャネルごとに異なるカテゴリ群で認識しておいて、表情が微小なら肯定的といったようにそれらのラベルを後から肯定的／中立的／否定的に分類し直しても構わない。
【００６７】
＜＜時間差関数＞＞
時間差関数P(d~ttb|ctb,et)は、対話二者間の行動が行動チャネルbにおいて一致しているか否かを示す一致性cとその時間差dtによって共感解釈eがどの種類となりやすいかの尤度を表す。この実施形態では、外部観察者の共感解釈の時系列をヒストグラム化した際のビン番号d~ttbを使用している。ビンサイズについては例えば200ミリ秒とする。
【００６８】
図１２にこの実施形態の時間差関数の一例を表す。時間差関数P(d~ttb|ctb,et)は対話者の行動の一致性cと時間差のビン番号d~ttbとにより共感解釈eの尤度を決定する。図１２（Ａ）は対話者間の行動が一致する場合の時間差関数の一例であり、図１２（Ｂ）は対話者間の行動が不一致の場合の時間差関数の一例である。例えば、対話者間の行動が一致する場合に、与え手の行動表出から受け手の反応表出の時間差が500ミリ秒であった場合には、共感解釈eが「共感」である尤度が約0.3、「どちらでもない」である尤度が約0.2、「反感」である尤度が約0.5となる。時間差関数は外部観察者がラベル付けした共感解釈の時系列を時間差ビン単位で集計し、共感解釈eのカテゴリ毎にすべての時間差ビンにおける尤度の総和が1となるように正規化することで求める。
【００６９】
＜＜変化タイミング関数＞＞
変化タイミング関数πはどのタイミングで共感解釈eが変化するかを表す。別の見方をすると、変化タイミング関数πは時間差関数がどの範囲にわたってどの程度の強さで式（１）における共感解釈eの推定に寄与するかを決定する。
【００７０】
この実施形態では変化タイミング関数を式（３）のようにモデル化する。
【００７１】
【数３】
0005909472.tif 000004
【００７２】
ここで、taは対象の相互作用における与え手の行動表出開始の時刻を表す。また、時刻t'は与え手の行動表出開始の時刻をt'=0とし、受け手の反応表出開始時刻をt'=1としたときの相互作用中での相対時間を表し、t'=(t-ta)/dtとして計算される。
【００７３】
π=0は、式（１）で表される事後確率分布P(et|B)において、タイミングモデルP(dttb|ctb,et)が全く寄与しないことを表す。π=1は、事後確率分布P(et|B)において、タイミングモデルP(dttb|ctb,et)が完全に寄与することを表す。
【００７４】
条件dt>Lは、与え手の行動表出に対して受け手の反応表出が遅すぎることを表す。例えば、この実施形態では閾値Lを2秒とする。これは、話し手の語彙的に重要なフレーズに対する聞き手の表情表出がおよそ500〜2,500ミリ秒の範囲で起こるという研究結果を参考にした値であり、どの行動チャネルにおいても概ねこの範囲に収まるという仮定に基づく。上記の研究結果についての詳細は、「G. R. Jonsdottir, J. Gratch, E. Fast, and K. R. Thorisson, “Fluid semantic back-channel feedback in dialogue: Challenges & progress”, International Conference Intelligent Virtual Agents (IVA), pp. 154-160, 2007.（参考文献５）」を参照されたい。
【００７５】
条件t-ta>Wは、時刻tがそれ以前の直近で表出された与え手の表情表出からの時間経過が長いことを意味する。対話二者間でお互いに行動を表出して相互作用が行われると、それから一定の間は外部観察者の共感解釈がそのタイミングに影響を受けるが、その後しばらく次の相互作用が行われなければその影響はなくなるということをモデル化したものである。閾値Wは正の値であればどのような値でもよく、二者対話のように対象の二者間で絶えず相互作用が発生する場合には無限大としても問題無い。しかし、大人数での対話で主に一人が話しているといった状況で、その中のある二人の聞き手の間での相互作用といったように、必ずしも相互作用が頻繁とは限らない場合には閾値Wが長すぎる場合も考えられる。この実施形態では経験的に閾値Wを4秒とする。これは、閾値Wを4秒付近に設定した場合に推定精度が最も高くなったという実験結果に基づくものである。
【００７６】
図１３に共感解釈、与え手の行動表出、および受け手の反応表出の一例を示す。図１３の塗りつぶしパターンは行動もしくは共感解釈のカテゴリの違いを表す。αとβの値については例えばα=0.2、β=0.8と設定する。これらの値は、式（３）の変化タイミング関数πが累積確率を最も近似するように定めたものである。
【００７７】
図１４に変化タイミング関数πの一例を示す。グラフ上にプロットした点は、実際に女性4名の対話グループ4つ（計16名）の対話データに対して計9名の外部観察者が与えた共感解釈のラベルおいて、そのラベルが相対時刻t'中のどこで変化したかの累積確率を表す。この変化タイミング関数によってよく近似できていることが見て取れる。但し、αとβはこの値に限らなくてもよく、α+β=1、0≦α≦1、0≦β≦1を満たすようにする。簡単な設定としては，「α=0、β=1」でもかまわない。
【００７８】
図１５及び図１６は変化タイミング関数の有効範囲の一例を模式的に表した図である。黒の塗りつぶしは行動が検出されていない状態、白の塗りつぶしと斜めのハッチングは行動のカテゴリを表している。共感解釈の縦のハッチングは共感であること、横のハッチングは反感であることを表している。図１５（Ａ）は対話者間の行動が一致した場合についての有効範囲を表している。与え手の行動と受け手の反応が一致しているため「共感」が閾値Wの間だけ継続している。図１５（Ｂ）は対話者間の行動が不一致であった場合についての有効範囲を表している。与え手の行動と受け手の反応が不一致であるため「反感」が閾値Wの間だけ継続している。図１５（Ｃ）は与え手の行動表出に対して受け手の反応表出が遅すぎる、すなわちdt>Lであるために変化タイミング関数が有効範囲外となっている状況を表している。この場合は全体を通して「どちらでもない」状態が継続している。図１６は対話二者が交互に行動を表出したときの有効範囲である。基本的な考え方は図１５（Ａ）から図１５（Ｃ）と同様である。
【００７９】
＜＜静的モデル＞＞
静的モデルP(bt|et)は、時刻tに行動チャネルbについて対話二者間で特定の行動が共起した場合に、共感解釈eがどの程度の尤度で生成されるかをモデル化したものである。
【００８０】
モデル化の方法は、表情と視線については特許文献１および非特許文献１にて提案されているため、これらの文献の記載に従えばよく、対話二者間の視線状態のモデルと、その視線状態毎の表情の状態との共起のモデルとを組み合わせればよい。ここで、二者間の視線状態とは、例えば、相互凝視／片側凝視／相互そらし、の3状態が考えられる。
【００８１】
頭部ジェスチャについての静的モデルはP(g|e)で表される。ここで、gは二者間での頭部ジェスチャの組み合わせ状態を表す。対象とする頭部ジェスチャの状態数をNgとすると、二者間での頭部ジェスチャの組み合わせの状態数はNg×Ngとなる。カテゴリとして任意の種類と数を対象としても構わないが、数が多すぎると学習サンプル数が少ない場合に過学習に陥りやすい。その場合は、最初に用意したカテゴリをさらにクラスタリングによりグルーピングしても構わない。例えば、その方法の一つとしてSequential Backward Selection (SBS)が挙げられる。例えば頭部ジェスチャのカテゴリを対象とする場合、頭部ジェスチャのみを用いた推定、すなわち事後確率をP(e|B):=P(e)P(g'|e)として、すべてのカテゴリから推定精度が最高になるように選択した二つのカテゴリを統合して一つにまとめる。これを推定精度が悪化する直前まで繰り返すことで一つずつカテゴリ数を減らしていけばよい。ここで、g’はグルーピング後における二者間での頭部ジェスチャの組み合わせ状態である。発話有無についても頭部ジェスチャと同様に二者間の共起をモデル化する。
【００８２】
＜＜モデルの学習方法＞＞
この実施形態では、いずれのモデルについても離散状態として記述されているため、学習フェーズではその離散状態が学習サンプル中に何回出現したかの頻度を取り、最後にその頻度を正規化（確率化）すればよい。
【００８３】
このとき、モデルを準備する方針として、モデルパラメタの学習に使用する学習用映像に撮影された対話者の集団と、対話状態を推定したい推定用映像に撮影された対話者の集団が同一であれば、対話二者毎にそれぞれ独立にパラメタを学習し、ある対話二者についての推定にはその対話二者のデータから学習したパラメタを用いるとすればよい。他方、学習用映像に撮影された対話者の集団と、推定用映像に撮影された対話者の集団が異なる場合には、対話二者を区別せずに一つのモデルを学習し、その一つのモデルを使用して推定したい対話二者についての推定を行えばよい。
【産業上の利用可能性】
【００８４】
共感解釈推定装置及び方法は、例えば対話行為の表出のためのトレーニングやゲームに用いることができる。例えば、恋愛シミュレーション等のゲームにおいて、ゲームに登場するキャラクタと、そのゲームをプレイするプレイヤーとの共感解釈を推定するために共感解釈推定装置及び方法を用いてもよい。
【符号の説明】
【００８５】
２０    行動認識部
５０    事後確率推定部
７２    推定用映像記憶部
８１    映像取得部
８２    人物映像提示部
８３    表示部
８４    アクション提示部
１００  第一人物
２００  第二人物
【図１】
0005909472.tif 000005
【図２】
0005909472.tif 000006
【図３】
0005909472.tif 000007
【図４】
0005909472.tif 000008
【図５】
0005909472.tif 000009
【図６】
0005909472.tif 000010
【図７】
0005909472.tif 000011
【図８】
0005909472.tif 000012
【図９】
0005909472.tif 000013
【図１０】
0005909472.tif 000014
【図１１】
0005909472.tif 000015
【図１２】
0005909472.tif 000016
【図１３】
0005909472.tif 000017
【図１４】
0005909472.tif 000018
【図１５】
0005909472.tif 000019
【図１６】
0005909472.tif 000020