(57)【特許請求の範囲】
【請求項１】
所定のシーンにおけるユーザの演技を評価する演技評価装置であって、
複数のモーダルを通じて上記ユーザの演技を認識する認識手段と、
上記認識手段によって得られた各モーダルについての認識結果のデータと該各モーダルについての教師データとを用いて該各モーダルについての演技評価値を算出するとともに、該各モーダルについての演技評価値の全てを用いて上記ユーザの演技を総合的に評価する総合評価値を算出して上記ユーザの現在のシーンにおける演技を評価する演技評価手段と、
上記演技評価値と該演技評価値の基準値となる第１の閾値とを比較するとともに上記総合評価値と該総合評価値の基準値となる第２の閾値とを比較する比較手段と、
上記総合評価値が該第２の閾値以上である場合には、次のシーンにおける上記ユーザの演技内容を該ユーザに報知し、該総合評価値が該第２の閾値未満である場合には、上記演技評価値が第１の閾値未満であるモーダルについての上記現在のシーンの演技の修正点を上記ユーザに報知する報知手段と
を備える演技評価装置。
【請求項２】
上記認識結果のデータ及び上記教師データはベクトルで表現され、
上記演技評価手段は、上記認識結果のデータと上記教師データとのベクトル間距離を用いて上記演技評価値を算出する請求項１記載の演技評価装置。
【請求項３】
上記認識手段は、モーダルとして、顔の位置及び方向、視線の方向、顔の表情、手及び足の動き、口の形状、目の形状、眉の形状、姿勢、発話内容、並びに韻律の内、少なくとも２つ以上を用いる請求項１記載の演技評価装置。
【請求項４】
所定のシーンにおけるユーザの演技を評価する演技評価方法であって、
複数のモーダルを通じて上記ユーザの演技を認識する認識工程と、
上記認識工程で得られた各モーダルについての認識結果のデータと該各モーダルについての教師データとを用いて該各モーダルについての演技評価値を算出するとともに、該各モーダルについての演技評価値の全てを用いて上記ユーザの演技を総合的に評価する総合評価値を算出して上記ユーザの現在のシーンにおける演技を評価する演技評価工程と、
上記演技評価値と該演技評価値の基準値となる第１の閾値とを比較するとともに上記総合評価値と該総合評価値の基準値となる第２の閾値とを比較する比較工程と、
上記総合評価値が該第２の閾値以上である場合には、次のシーンにおける上記ユーザの演技内容を該ユーザに報知し、該総合評価値が該第２の閾値未満である場合には、上記演技評価値が第１の閾値未満であるモーダルについての上記現在のシーンの演技の修正点を上記ユーザに報知する報知工程と
を有する演技評価方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、システムが求める演技に対するユーザの演技を評価する演技評価装置及び方法に関する。
【背景技術】
【０００２】
近年、様々なアプリケーションソフトを動かすゲーム装置が発売されているが、それらの多くは、ジョイスティック、ゲームパッド等の汎用コントローラが用いられており、ボタン、スティック等の単純なモーダルでゲームをコントロールしている。
【０００３】
一方、例えばカメラを有し、その入力画像を用いてゲームをコントロールするゲーム装置（例えば、非特許文献１に掲載された（株）ソニー・コンピュータエンタテインメントのEye Toy(TM):Play(アイトーイ プレイ)）や、マイクロフォンを有し、その入力音声を用いてゲームをコントロールするゲーム装置（例えば、非特許文献２に掲載された（株）ソニー・コンピュータエンタテインメントのOPERATORS SIDE(オペレーターズ サイド)）も存在するが、これらのゲーム装置においても、画像内の動き領域、音声内容であるテキスト等、単一のモーダルでゲームをコントロールしている。
【０００４】
【非特許文献１】http://www.playstation.jp/land/soft/pickup/eyetoy_play.html
【非特許文献２】http://www.playstation.jp/scej/title/operatorsside/01.html
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、単一のモーダルでゲームをコントロールするゲーム装置では、ユーザに単純な構成内容のゲームを供給できるのみで、例えば、ユーザが演技を行い、その評価によってストーリを進行させていくといった、複雑な構成内容を有するゲームをユーザに供給できなかった。
【０００６】
本発明は、このような従来の実情に鑑みて提案されたものであり、システムが求める演技に対するユーザの演技を評価し、その評価結果を提供することを実現する演技評価装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した目的を達成するために、本発明に係る演技評価装置は、所定のシーンにおけるユーザの演技を評価する演技評価装置であって、複数のモーダルを通じて上記ユーザの演技を認識する認識手段と、上記認識手段によって得られた各モーダルについての認識結果のデータと該各モーダルについての教師データとを用いて該各モーダルについての演技評価値を算出するとともに、該各モーダルについての演技評価値の全てを用いて上記ユーザの演技を総合的に評価する総合評価値を算出して上記ユーザの現在のシーンにおける演技を評価する演技評価手段と、上記演技評価値と該演技評価値の基準値となる第１の閾値とを比較するとともに上記総合評価値と該総合評価値の基準値となる第２の閾値とを比較する比較手段と、上記総合評価値が該第２の閾値以上である場合には、次のシーンにおける上記ユーザの演技内容を該ユーザに報知し、該総合評価値が該第２の閾値未満である場合には、上記演技評価値が第１の閾値未満であるモーダルについての上記現在のシーンの演技の修正点を上記ユーザに報知する報知手段とを備えるものである。
【０００８】
また、上述した目的を達成するために、本発明に係る演技評価方法は、所定のシーンにおけるユーザの演技を評価する演技評価方法であって、複数のモーダルを通じて上記ユーザの演技を認識する認識工程と、上記認識工程で得られた各モーダルについての認識結果のデータと該各モーダルについての教師データとを用いて該各モーダルについての演技評価値を算出するとともに、該各モーダルについての演技評価値の全てを用いて上記ユーザの演技を総合的に評価する総合評価値を算出して上記ユーザの現在のシーンにおける演技を評価する演技評価工程と、上記演技評価値と該演技評価値の基準値となる第１の閾値とを比較するとともに上記総合評価値と該総合評価値の基準値となる第２の閾値とを比較する比較工程と、上記総合評価値が該第２の閾値以上である場合には、次のシーンにおける上記ユーザの演技内容を該ユーザに報知し、該総合評価値が該第２の閾値未満である場合には、上記演技評価値が第１の閾値未満であるモーダルについての上記現在のシーンの演技の修正点を上記ユーザに報知する報知工程とを有するものである。
【発明の効果】
【０００９】
本発明に係る演技評価装置及び方法によれば、複数のモーダルを通じてユーザの演技を認識することができる。また、各モーダルの認識結果に基づいてユーザの演技を評価することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１１】
先ず、本実施の形態における演技評価装置の構成について説明する。
【００１２】
図１に示すように、本実施の形態における演技評価装置１は、カメラ画像入力器１０と、マイク音声入力器１１と、顔認識器１２と、視線認識器１３と、表情認識器１４と、手振り認識器１５と、音声認識器１６と、韻律認識器１７と、演技評価器１８と、シナリオコントローラ１９と、エージェントコントローラ２０と、エージェント２１とで構成される。
【００１３】
カメラ画像入力器１０は、演技を行うユーザの画像を入力し、入力した画像を顔認識器１２と、手振り認識器１５とに供給する。
【００１４】
マイク音声入力器１１は、演技を行うユーザの音声を入力し、入力した音声を音声認識器１６と、韻律認識器１７とに供給する。
【００１５】
顔認識器１２は、カメラ画像入力器１０から画像が供給されると、顔画像を認識する。そして、この供給された画像を、水平方向がX軸、垂直方向がY軸である直交座標平面として、顔の中心位置(x,y)を検出する。また、その位置において顔の方向を検出し、ロール角、ピッチ角及びヨー角を用いて検出した顔の方向を表現する。その後、顔認識器１２は、時刻tにおける画像内での顔の中心位置及び方向を示すデータF(t){x(t),y(t),roll(t),pitch(t),yow(t)}を演技評価器１８に供給する。また、顔認識器１２は、顔画像を視線認識器１３と表情認識器１４とに供給する。なお、顔を検出する技術に関しては、例えば「ピクセル差分特徴を用いた実時間任意姿勢検出器の学習（佐部浩太郎・日台健一）」（http://face.pdp.crl.sony.co.jp/index.html#mview_face_detection）に記載されている。
【００１６】
視線認識器１３は、顔認識器１２から顔画像が供給されると、顔画像から右目の視線方向及び左目の視線方向を検出する。そして、視線認識器１３は、３次元の極座標表現を用いて、検出した右目の視線方向(θr,φr)及び左目の視線方向(θl,φl)を表現する。その後、視線認識器１３は、時刻tにおける視線の方向を示すデータG(t){θr(t),φr(t),θl(t),φl(t)}を演技評価器１８に供給する。なお、顔画像をもとに、所定の座標系で視線方向を検出する技術に関しては、例えば、特公平３−５１４０７号公報に記載されている。
【００１７】
表情認識器１４は、顔認識器１２から顔画像が供給されると、顔画像から、図２に示すように、眉４０、目４１及び口４２の１８箇所の特徴点４３を検出する。続いて、表情認識器１４は、ユーザの顔の表情を特定するために、眉４０、目４１及び口４２の１６箇所の矢印で示す特徴点間距離４４を算出する。その後、表情認識器１４は、時刻tにおける特徴点間距離４４を示すデータE(t){Ei(t)}(i＝0〜15)を演技評価器１８に供給する。なお、特徴点間距離を用いて表情を認識する技術に関しては、「ロボットでの利用を目的とした顔画像情報と音声情報の統合による感情認識，日本ロボット学会第２２回大会,3D14,Sep.2004（松本祥平・山口健・駒谷和範・尾形哲也・奥乃博）」(http://winnie.kuis.kyoto-u.ac.jp/okuno-lab-bib-j.html)に記載されている。
【００１８】
手振り認識器１５は、カメラ画像入力器１０から画像が供給されると、この画像を水平方向がX軸、垂直方向がY軸である直交座標平面として、手の中心位置(x,y)を検出する。また、この位置(x,y)を通り、手のひらに対して垂直方向にある軸を回転軸とした回転角を手の方向αとして検出し、さらに、手の大きさs、指の状態l（例えば、五本指のうち立っている指の本数等）を検出する。これにより、手振り認識器１５は、ユーザが行う手振りの状態を特定することができる。その後、手振り認識器１５は、時刻tにおける手振り状態を示すデータH(t){x(t),y(t),s(t),α(t),l(t)}を演技評価器１８に供給する。なお、手振り認識技術に関しては、“Lars Bretzner,Ivan laptev and Tony Lindberg.Hand Gesture recognition using Multi-Scale Colour Features,Hierarchical Models and Particle Filtering.煤ihttp://cg.cs.uni-bonn.de/docs/teaching/2003/SS/cv-seminar/documents/papers/bretzner02hand.pdf）に記載されている。
【００１９】
音声認識器１６は、マイク音声入力器１１から音声が供給されると、音声をテキストに変換し、テキストデータTとして演技評価器１８に供給する。
【００２０】
韻律認識器１７は、マイク音声入力器１１から音声が入力されると、音声を解析し、音声の高さ、強さ及び速さを検出する。その後、韻律認識器１７は、時刻tにおける韻律を示すデータPRO(t){pitch(t),power(t),speed(t)}を演技評価器１８に供給する。
【００２１】
演技評価器１８は、各認識器から供給されたデータと、シナリオコントローラ１９から供給されたユーザの演技の手本となるユーザ演技教師データとを用いて、重み付きデータ間距離を用いた算出方法により、ユーザの演技における各モーダルについての演技評価値及び総合評価値を算出する。ここで、総合評価値とは、全てのモーダルについての演技評価値を用いて算出されるものであり、ユーザ演技を総合的に評価し、ストーリの進行を決定するものである。その後、演技評価器１８は、演技評価値のデータと総合評価値のデータとを演技評価結果データとして、シナリオコントローラ１９に供給する。
【００２２】
以下に、演技評価器１８が、重み付きデータ間距離を用いて、時刻tにおける各モーダルについての演技評価値を算出する方法について説明する。
【００２３】
演技評価器１８は、顔認識器１２から供給されたデータF(t)と、シナリオコントローラ１９から供給されたユーザ演技教師データFt(t)とを用いて、以下の式（１）により、時刻tにおける演技評価値Fscore(t)を算出する。
【００２４】
Fscore(t)＝Σexp(−Wi|Fi−Fti|)/N・・・（１）
ここで、i＝0〜4であり、F0＝x,F1＝y,F2＝roll,F3＝pitch,F4＝yowである。よって、データ数Nは、N＝5となる。また、Ftiは、Fiに対するユーザ演技教師データであり、Wiは、データの重み係数である。
【００２５】
また、演技評価器１８は、視線認識器１３から供給されたデータG(t)と、シナリオコントローラ１９から供給されたユーザ演技教師データGt(t)とを用いて、以下の式（２）により、演技評価値Gscore(t)を算出する。
【００２６】
Gscore(t)＝Σexp(−Wi|Gi−Gti|)/N・・・（２）
ここで、i＝0〜3であり、G0＝θr,G1＝φr,G2＝θl,G3＝φlである。よって、データ数Nは、N＝4となる。また、Gtiは、Giに対するユーザ演技教師データであり、Wiは、データの重み係数である。
【００２７】
また、演技評価器１８は、表情認識器１４から供給されたデータE(t)と、シナリオコントローラ１９から供給されたユーザ演技教師データEt(t)とを用いて、以下の式（３）により、演技評価値Escore(t)を算出する。
【００２８】
Escore(t)＝Σexp(−Wi|Ei−Eti|)/N・・・（３）
ここで、Eiは特徴点間距離を示すデータであり、図２で示すようにi＝0〜15である。よって、データ数Nは、N＝16となる。また、Etiは、Eiに対するユーザ演技教師データであり、Wiは、データの重み係数である。
【００２９】
また、演技評価器１８は、手振り認識器１５から供給されたデータH(t)と、シナリオコントローラ１９から供給されたユーザ演技教師データHt(t)とを用いて、以下の式（４）により、演技評価値Hscore(t)を算出する。
【００３０】
Hscore(t)＝Σexp(−Wi|Hi−Hti|)/N・・・（４）
ここで、i＝0〜4であり、H0＝x,H1＝y,H2＝s,H3＝α,H4＝lである。よって、データ数Nは、N＝5となる。また、Htiは、Hiに対するユーザ演技教師データであり、Wiは、データの重み係数である。
【００３１】
また、演技評価器１８は、音声認識器１６から供給されたテキストデータTと、シナリオコントローラ１９から供給されたユーザ教師データTtとを用いて、以下の式（５）により演技評価値Tscore(t)を算出する。
【００３２】
Tscore(t)＝exp(−W*Levenshtein距離)・・・（５）
ここで、Levenshtein距離とは、音声認識器１６から供給されたテキストデータTを、シナリオコントローラ１９から供給されたユーザ演技教師データTtに変換するために、置換、挿入、又は削除しなければならない最小の文字数である。また、Wは、データの重み係数である。
【００３３】
また、演技評価器１８は、韻律認識器１７から供給されたデータPRO(t)と、シナリオコントローラ１９から供給されたユーザ演技教師データPROt(t)とを用いて、以下の式（６）により、演技評価値PROscore(t)を算出する。
【００３４】
PROscore(t)＝Σexp(−Wi|PROi−PROti|)/N・・・（６）
ここで、i＝0〜2であり、PRO0＝pitch,PRO1＝power,PRO2＝speedである。よって、データ数は、N＝3となる。また、PROtiは、PROiに対するユーザ演技教師データであり、Wiは、データの重み係数である。
【００３５】
その後、演技評価器１８は、上述した数式（１）〜（６）によって得られた時刻tにおける演技評価値を用いて、シナリオコントローラ１９に供給する演技評価値を算出する。
【００３６】
ここで、演技評価器１８は、演技評価の開始・終了間を１シーンとし、また、音声認識結果が１シーンに収まるようにシーンを定義し、１シーン終了毎にシナリオコントローラ１９に供給する演技評価値を算出する。
【００３７】
具体的に、演技評価器１８は、音声以外のモーダルについては、時刻tにおける演技評価値をシーンの時間で積分する。また、音声については、時刻tにおける演技評価値を１シーンにデータが入力された回数で平均する。このように算出して得られた値をシナリオコントローラ１９に供給する演技評価値とする。
【００３８】
また、演技評価器１８は、以上により算出された全てのモーダルについての演技評価値の平均値、又は重み付き平均値を総合評価値とする。
【００３９】
その後、演技評価器１８は、各モーダルについての演技評価値のデータ及び総合評価値のデータを演技評価結果データとして、シナリオコントローラ１９に供給する。
【００４０】
シナリオコントローラ１９は、演技評価器１８が演技評価を行う際、ユーザ演技教師データを演技評価器１８に供給する。
【００４１】
また、シナリオコントローラ１９は、各モーダルについての演技評価値及び総合評価値に対して、それぞれ一定の閾値を有しており、演技評価器１８から演技評価結果データが供給されると、演技評価値とその閾値とを、また、総合評価値とその閾値とを比較する。
【００４２】
この比較結果を受けて、シナリオコントローラ１９は、エージェント２１がユーザに対してどのような動作をすべきかを示すエージェント動作データをエージェントコントローラ２０に供給し、また、次のユーザ演技教師データを演技評価器１８に供給する。
【００４３】
エージェントコントローラ２０は、シナリオコントローラ１９からエージェント動作データが供給されると、このエージェント動作データをもとにエージェント２１を制御する。
【００４４】
エージェント２１は、エージェントコントローラ２０の制御を受けて、エージェント動作データに基づく動作をする。
【００４５】
次に、上述した構成を有する演技評価装置１がユーザの演技を評価する動作について、演技練習モードと、舞台本番モードとに分けて説明する。
【００４６】
演技評価装置１がユーザ演技を評価する動作は、例えば図３及び図４のフローチャートに示すような順序で行われる。
【００４７】
演技練習モードにおける演技評価装置１の動作を図３に示す。
【００４８】
先ずステップＳ１において、シナリオコントローラ１９は、ストーリの始めのシーンにおけるユーザの演技の内容をユーザに伝えるためのエージェント動作データをエージェントコントローラ２０に供給する。また、シナリオコントローラ１９は、ストーリの始めのシーンに対応するユーザ演技教師データを演技評価器１８に供給する。
【００４９】
次にステップＳ２において、エージェント２１は、エージェントコントローラ２０の制御を受けて、舞台監督として始めのシーンの演技内容をユーザに伝える。
【００５０】
ステップＳ３において、カメラ画像入力器１０は、エージェント２１の指示を受けたユーザの演技の画像を、また、マイク音声入力器１１は、音声を入力し、入力した画像と音声とを上述した各認識器に供給する。
【００５１】
その後ステップＳ４において、各認識器は、画像処理及び音声処理を行うと、各モーダルの認識結果のデータを演技評価器１８に供給する。
【００５２】
ステップＳ５において、演技評価器１８は、各認識器から供給されたデータとシナリオコントローラ１９から供給されたユーザ演技教師データとを用いて、ユーザの演技評価値を算出し、この演技評価値のデータと総合評価値のデータとを演技評価結果データとしてシナリオコントローラ１９に供給する。
【００５３】
ステップＳ６において、シナリオコントローラ１９は、演技評価結果データが供給されると、演技評価値とその閾値とを、また、総合評価値とその閾値とを比較する。ここで、総合評価値がその閾値以上である場合、ステップＳ７に進む。一方、総合評価値がその閾値未満である場合、ステップＳ９に進む。
【００５４】
総合評価値がその閾値以上である場合、ステップＳ７において、シナリオコントローラ１９は、次のシーンにおけるユーザの演技の内容をユーザに伝えるためのエージェント動作データをエージェントコントローラ２０に供給する。また、シナリオコントローラ１９は、次のシーンに対応するユーザ演技教師データを演技評価器１８に供給する。
【００５５】
ステップＳ８において、エージェント２１は、エージェントコントローラ２０の制御を受けて、舞台監督として次のシーンの演技内容をユーザに伝える。
【００５６】
一方、総合評価値がその閾値未満である場合、ステップＳ９において、シナリオコントローラ１９は、演技評価値がその閾値未満であるモーダルについて、現在の演技の修正点をユーザに伝えるためのエージェント動作データをエージェントコントローラ２０に供給する。また、シナリオコントローラ１９は、再度、現在のシーンに対応するユーザ演技教師データを演技評価器１８に供給する。
【００５７】
ステップＳ１０において、エージェント２１は、エージェントコントローラ２０の制御を受けて、現在の演技の修正点をユーザに伝える。
【００５８】
このように、演技練習モードでは、総合評価値とその閾値との比較結果によって、ユーザが次のシーンの演技を行うか、再度、現在のシーンの演技を行うかが決定される。
【００５９】
例えば、演技練習モードでは、
エージェントＡ（舞台監督）：「じゃあ、空を仰ぐ感じで『おお、ロミオ、あなたはなぜロミオなの？』って言ってみて。」
ユーザ：「（カメラ画像入力器及びマイク音声入力器の前で、空を仰ぎながら）おお、ロミオ、あなたはなぜロミオなの？」
演技評価器：Fscore＝0.9，Gscore＝0.9，Escore＝0.8，Hscore＝0.8，Tscore＝0.5，PROscore＝0.3
シナリオコントローラ：ScoreThreshold(80)＞Score(70)  Then Repeat
エージェントＡ（舞台監督）：「今の演技は７０点だな。表情もポーズも良いけれど、台詞回しがイマイチだね。もう一回やってみて。」
ユーザ：「（カメラ画像入力器及びマイク音声入力器の前で、空を仰ぎながら）『おお、ロミオ、あなたはなぜロミオなの？』」
演技評価器：Fscore＝0.9，Gscore＝0.9，Escore＝0.9，Hscore＝0.9，Tscore＝1，PROscore＝0.9
シナリオコントローラ：ScoreThreshold(80)＜Score(92)  Then Go To Next
エージェントＡ（舞台監督）：「なかなか良くやったね。９２点！じゃあ次のシーンに行ってみようか。」
といった演技評価装置１とユーザとの相互動作によってストーリを進行させていく。
【００６０】
一方、舞台本番モードにおける演技評価装置１の動作を図４に示す。
【００６１】
先ずステップＳ１１において、シナリオコントローラ１９は、ストーリの始めのシーンにおけるエージェントの動作を制御するエージェント動作データをエージェントコントローラ２０に供給する。また、シナリオコントローラ１９は、ストーリの始めのシーンに対応するユーザ演技教師データを演技評価器１８に供給する。
【００６２】
次にステップＳ１２において、エージェント２１は、エージェントコントローラ２０の制御を受けて、ユーザの相手役としてストーリの始めのシーンの演技を行う。
【００６３】
続いてステップＳ１３において、ユーザが、相手役であるエージェント２１の演技を受けて、始めのシーンの演技を行うと、カメラ画像入力器１０はユーザの演技の画像を、また、マイク音声入力器１１はユーザの演技の音声を入力し、入力した画像と音声とを上述した各認識器に供給する。
【００６４】
その後ステップＳ１４において、各認識器は、画像処理及び音声処理を行うと、各モーダルの認識結果のデータを演技評価器１８に供給する。
【００６５】
ステップＳ１５において、演技評価器１８は、各認識器から供給されたデータとシナリオコントローラ１９から供給されたユーザ演技教師データとを用いて、ユーザの演技評価値を算出し、この演技評価値のデータと総合評価値のデータとを演技評価結果データとしてシナリオコントローラ１９に供給する。
【００６６】
ステップＳ１６において、シナリオコントローラ１９は、次のシーンにおけるエージェントの動作を制御するエージェント動作データと、総合評価値に対応した観客の反応をユーザに示すためのエージェント動作データとをエージェントコントローラ２０に供給する。また、シナリオコントローラ１９は、次のシーンに対応するユーザ演技教師データを演技評価器１８に供給する。
【００６７】
ステップＳ１７において、エージェントコントローラ２０の制御を受けたエージェント２１は、観客として、現在のシーンのユーザ演技に対する反応をユーザに示す。
【００６８】
ステップＳ１８において、エージェントコントローラ２０の制御を受けたエージェント２１は、ユーザの相手役として次のシーンの演技を行う。
【００６９】
例えば、舞台本番モードでは、
エージェントＡ（ロミオ）：「もしこれに手を触れて汚したのであれば、自分は赤面した巡礼だから、償いのために接吻させてほしい。」
ユーザ（ジュリエット）：（カメラ画像入力器及びマイク音声入力器の前で、はにかむ様子で）「あなたのご信心はあまりにもお行儀がよく、お上品でございます。聖者にだって手はございますもの。巡礼がお触れになってもよろしゅうございます。でも、接吻はいけませんわ。」
演技評価器：Fscore＝0.9，Gscore＝0.9，Escore＝0.9，Hscore＝0.9，Tscore＝1，PROscore＝0.9
シナリオコントローラ：ScoreThreshold(80)＜Score(92)  Then Go To Next
エージェントＢ（観客）：大きな拍手
といった演技評価装置１とユーザとの相互動作によってストーリを進行させていく。
【００７０】
以上、演技評価器１８が、重み付きデータ間距離を用いて演技評価値を算出する場合における演技評価装置１の構成及び動作について説明したが、演技評価器１８が演技評価値を算出する方法としては、重み付きデータ間距離を用いる方法以外に、ベイジアン・ネットワークを用いる方法もある。
【００７１】
ベイジアン・ネットワークを用いた演技評価器１８の構成を図５に示す。
【００７２】
なお、図５では、各認識器とシナリオコントローラ１９についても併せて示している。
【００７３】
演技評価器１８は、各時刻での各モーダルの認識器の認識結果を状態変数とするノードと、シーンの種類を状態変数とするノードとで構成され、各ノードの因果関係を有効グラフで繋いだベイジアン・ネットワーク構造を有する。
【００７４】
ここで、各ノードは条件付き確率分布（ＣＰＤ）又は条件付き確率テーブル（ＣＰＴ）を有する。
【００７５】
ベイジアン・ネットワーク構造は、デザイナーによって設計される場合や、サンプルデータから学習により獲得される場合があり、後者の構造は、実際にユーザがある演技をした場合の各認識器における時系列データを集めてサンプルデータとし、Ｋ２アルゴリズム、ＭＣＭＣ法等を用いて獲得される。
【００７６】
ベイジアン・ネットワークを用いて、ユーザが現在のシーンにどれだけ適合した演技を行ったかを表す演技適合確率は、以下のように算出される。
【００７７】
先ず、シナリオコントローラ１９が、現在のシーンのＩＤを示すユーザ演技教師データ(SCENEID)を演技評価器１８に供給する。
【００７８】
各モーダルの認識器が画像処理及び音声処理を行った後、音声認識器１６以外の認識器からは、各時刻において、その認識結果のデータが対応するノードに供給される。また、音声認識器１６からは、認識結果のデータが供給された時刻において、その認識結果のデータが対応するノードに供給される。
【００７９】
続いて、演技評価器１８は、各時刻における認識器の認識結果のデータが各ノードに供給されると、π−λ法、ジャンクション・ツリー・アルゴリズム、Loopy・BP等の手法で推論を行い、各シーンの演技に対する評価値として、演技適合確率{Prob.(SCENEID)}を算出する。
【００８０】
その後、演技評価器１８は、この演技適合確率として表される演技評価値のデータを演技評価結果データとしてシナリオコントローラ１９に供給する。
【００８１】
シナリオコントローラ１９は、この演技評価値に対して一定の閾値を有しており、演技評価器１８から演技評価結果データが供給されると、演技評価値とその閾値とを比較する。
【００８２】
この比較結果を受けて、シナリオコントローラ１９は、エージェント２１がユーザに対してどのような動作をすべきかを示すエージェント動作データをエージェントコントローラ２０に供給し、また、現在又は次のシーンのＩＤを示すユーザ演技教師データ(SCENEID)を演技評価器１８に供給する。
【００８３】
例えば、ＩＤ＝３であるシーンの舞台本番モードでは、
エージェントＡ（ロミオ）：「もしこれに手を触れて汚したのであれば、自分は赤面した巡礼だから、償いのために接吻させてほしい。」
ユーザ（ジュリエット）：（カメラ画像入力器及びマイク音声入力器の前で、はにかむ様子で）「あなたのご信心はあまりにもお行儀がよく、お上品でございます。聖者にだって手はございますもの。巡礼がお触れになってもよろしゅうございます。でも、接吻はいけませんわ。」
演技評価器：Prob.(SCENEID＝3)＝0.9
シナリオコントローラ：ProbThreshold＜Prob.(SCENEID＝3)  Then Go To Next
エージェントＢ（観客）：大きな拍手
といった演技評価装置１とユーザとの相互動作によってストーリを進行させていく。
【００８４】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００８５】
例えば、上述した実施の形態においては、演技評価器１８が演技評価値を算出する方法として、重み付きデータ間距離を用いた方法及びベイジアン・ネットワークを用いた方法についてそれぞれ説明した。しかし、重み付きデータ間距離を用いた演技評価器とベイジアン・ネットワークを用いた演技評価器とを統合した演技評価装置を構成することも可能である。具体的に、幾つかの認識器から供給されたデータから重み付きデータ間距離を計算し、その結果をベイジアン・ネットワークに供給し、演技の総合評価値を算出してもよい。また、幾つかの認識器から供給されたデータをベイジアン・ネットワークに供給し、その結果から重み付きデータ間距離を用いて演技の総合評価値を算出してもよい。
【００８６】
また、各認識器がユーザの演技を認識する際に用いるモーダルとして、上述した実施の形態で用いたモーダルの他に、例えば、足の動き、口の形状、目の形状、眉の形状、姿勢等を用いてもよい。
【図面の簡単な説明】
【００８７】
【図１】本実施の形態における演技評価装置の構成を模式的に示すブロック図である。
【図２】本実施の形態における表情認識器によって検出される表情の特徴点及び特徴点間距離を示す図である。
【図３】演技評価装置の演技練習モード時の動作順序を示すフローチャートである。
【図４】演技評価装置の舞台本番モード時の動作順序を示すフローチャートである。
【図５】ベイジアン・ネットワークを用いた演技評価器を示す図である。
【符号の説明】
【００８８】
１  演技評価装置、１０  カメラ画像入力器、１１  マイク音声入力器、１２  顔認識器、１３  視線認識器、１４  表情認識器、１５  手振り認識器、１６  音声認識器、１７  韻律認識器、１８  演技評価器、１９  シナリオコントローラ１９、２０  エージェントコントローラ、２１  エージェント、４０  眉、４１  目、４２  口、４３  特徴点、４４  特徴点間距離
【図１】
0004774825.tif 000002
【図２】
0004774825.tif 000003
【図３】
0004774825.tif 000004
【図４】
0004774825.tif 000005
【図５】
0004774825.tif 000006