(57)【要約】【課題】短期間でモーションキャプチャデータによって反映されている挙動を視認すること。【解決手段】フレームを構成するジョイント位置座標各々と第０の座標との距離、および、フレームを構成するジョイント位置座標各々と第１、２、・・・（ｋ−１）のフレームそれぞれを構成するジョイント位置座標各々とに基づく距離、を、フレーム毎に算出する第ｋ距離算出ステップと、第ｋ距離算出ステップにて算出した距離に基づき特定される、前記第０の座標および前記第１、２、・・・（ｋ−１）のフレームからジョイント位置座標各々が最も離れたフレームを、第ｋのキーポーズを表す第ｋのフレームとして抽出する第ｋ抽出ステップと、を有する。【選択図】図３
2010181959.tif 000002
【特許請求の範囲】
【請求項１】
モーションキャプチャにより逐次取得したＮ（ただし、Ｎは整数。）個のフレームのそれぞれを構成する複数のジョイント位置座標の、一つの前記フレームを構成する前記ジョイント位置座標およびＮ個の前記フレームにわたる平均値（第０の座標）を算出する平均化ステップと、
一つの前記フレームを構成する前記ジョイント位置座標各々と前記第０の座標との距離を、前記フレーム毎に算出する第１距離算出ステップと、
前記第１距離算出ステップにて算出した距離に基づき特定される、前記第０の座標から前記ジョイント位置座標各々が最も離れたフレームを、第１のキーポーズを表す第１のフレームとして抽出する第１抽出ステップと、
を有することを特徴とするキーポーズの選定方法。
【請求項２】
一つの前記フレームを構成する前記ジョイント位置座標各々と前記第０の座標との距離、および、一つの前記フレームを構成する前記ジョイント位置座標各々と前記第１のフレームを構成する前記ジョイント位置座標各々とに基づく距離、を、前記フレーム毎に算出する第２距離算出ステップと、
前記第２距離算出ステップにて算出した距離に基づき特定される、前記第０の座標および前記第１のフレームから前記ジョイント位置座標各々が最も離れたフレームを、第２のキーポーズを表す第２のフレームとして抽出する第２抽出ステップと、
を有することを特徴とする請求項１に記載のキーポーズの選定方法。
【請求項３】
一つの前記フレームを構成する前記ジョイント位置座標各々と前記第０の座標との距離、および、一つの前記フレームを構成する前記ジョイント位置座標各々と前記第１、２、・・・（ｋ−１）（ただし、ｋは３以上、Ｎ以下の整数。）のフレームそれぞれを構成する前記ジョイント位置座標各々とに基づく距離、を、前記フレーム毎に算出する第ｋ距離算出ステップと、
前記第ｋ距離算出ステップにて算出した距離に基づき特定される、前記第０の座標および前記第１、２、・・・（ｋ−１）のフレームそれぞれから前記ジョイント位置座標各々が最も離れたフレームを、第ｋのキーポーズを表す第ｋのフレームとして抽出する第ｋ抽出ステップと、
を有することを特徴とする請求項２に記載のキーポーズの選定方法。
【請求項４】
前記第１距離算出ステップ、前記第２距離算出ステップ、および前記ｋ距離算出ステップにて、一つの前記フレームを構成する前記ジョイント位置座標のうちの所定のものと、前記第０の座標との距離、または前記第１、２、・・・（ｋ−１）のフレームそれぞれを構成する前記ジョイント位置座標のうちの所定のものとの距離、を算出する際、該距離には所定の係数が乗算されることを特徴とする請求項１から３のいずれか一項に記載のキーポーズの選定方法。
【請求項５】
前記第１抽出ステップ、前記第２抽出ステップ、・・・前記第ｋ抽出ステップにて抽出した前記第１、２、・・・ｋのフレームを表示する表示ステップをさらに有し、
前記表示ステップにて、
前記第１、２、・・・ｋのフレームのうちの少なくとも一つを構成する複数の前記ジョイント位置座標を参照して、あるジョイントの、該ジョイントの動きを制約するルートジョイントを起点とするベクトルを算出し、
予め前記ベクトルに応じたカメラ視点の角度が登録されたデータベースを参照して、前記算出したベクトルに対応するカメラ視点の角度を抽出し、
前記抽出したカメラ視点の角度から、前記第１、２、・・・ｋのフレームのうちの少なくとも一つを表示する、
ことを特徴とする請求項１から４のいずれか一項に記載のキーポーズの選定方法。
【請求項６】
コンピュータに、請求項１から５のいずれか一項に記載のキーポーズの選定方法の各ステップを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モーションキャプチャ技術を利用して取得したデータ、例えば、人間の関節（Joint）にマーカーを付けておき、その人間が実際に動いた際の軌跡をそのマーカーにて時系列的に取り込んだデータ、をディスプレィに表示する際の処理に関する。
【背景技術】
【０００２】
近年、モーションキャプチャ技術を利用して取得したデータ（以下、モーションキャプチャデータと称する。）が様々な分野に応用されている。この技術を利用して取得したモーションキャプチャデータを基に三次元グラフィックスを構築することにより、人間の細部にわたる挙動をその動画像に反映させることができる。
【０００３】
このような技術を利用して蓄えられた多数のモーションキャプチャデータのなかから所望の挙動が反映されたものを見つける際、そのモーションキャプチャデータによって反映されている挙動がどのようなものかを連想させるプロパティが該モーションキャプチャデータに設定されていなければ、所望の挙動を視認することができるまでその多数のモーションキャプチャデータを逐次、再生しなければならない。この場合、モーションキャプチャデータによって反映されている挙動が再生開始からどの時刻に再生されるかがわからないため、そのモーションキャプチャデータの再生を視聴する視聴者は、モーションキャプチャデータの最初から最後まで、再生して視聴する必要がある。
【０００４】
そこで、特許文献１には、視聴者がモーションキャプチャデータの再生中に特徴的な挙動を発見した場合、その特徴的な挙動が反映された静止画像をキーシェイプ（Key-Shapes）として登録しておけば、そのキーシェイプを基に、多数のモーションキャプチャデータのなかからその特徴的な挙動に近いものが反映されているものを検索、抽出する発明について開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許６、８８８、５４９号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上述した特許文献１に開示されている発明では、一旦、特徴的な挙動が見つかれば、その後視聴者はモーションキャプチャデータを再生する必要がなくなるが、特徴的な挙動が見つかるまでは、多数のモーションキャプチャデータを逐次、再生しなければならず、根本的な解決には至っていない。また、モーションキャプチャデータによって反映されている挙動がどの時刻に再生されるかがわからないということは、所望の挙動を探す視聴者にとって過度の負担を強いる可能性がある。
【０００７】
本発明は、上述した事情に鑑みてなされたものであり、その目的は、多数のモーションキャプチャデータのなかから所望の挙動が反映されたものを探す視聴者が、各モーションキャプチャを最初から最後まで再生する必要がなく、さらに、短期間でモーションキャプチャデータによって反映されている挙動を視認することができるキーポーズの選定方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
前述した目的を達成するために、本発明に係るキーポーズの選定方法、およびプログラムは、下記（１）〜（６）を特徴としている。
（１）  モーションキャプチャにより逐次取得したＮ（ただし、Ｎは整数。）個のフレームのそれぞれを構成する複数のジョイント位置座標の、一つの前記フレームを構成する前記ジョイント位置座標およびＮ個の前記フレームにわたる平均値（第０の座標）を算出する平均化ステップと、
一つの前記フレームを構成する前記ジョイント位置座標各々と前記第０の座標との距離を、前記フレーム毎に算出する第１距離算出ステップと、
前記第１距離算出ステップにて算出した距離に基づき特定される、前記第０の座標から前記ジョイント位置座標各々が最も離れたフレームを、第１のキーポーズを表す第１のフレームとして抽出する第１抽出ステップと、
を有すること。
（２）  上記（１）の構成のキーポーズの選定方法であって、
一つの前記フレームを構成する前記ジョイント位置座標各々と前記第０の座標との距離、および、一つの前記フレームを構成する前記ジョイント位置座標各々と前記第１のフレームを構成する前記ジョイント位置座標各々とに基づく距離、を、前記フレーム毎に算出する第２距離算出ステップと、
前記第２距離算出ステップにて算出した距離に基づき特定される、前記第０の座標および前記第１のフレームから前記ジョイント位置座標各々が最も離れたフレームを、第２のキーポーズを表す第２のフレームとして抽出する第２抽出ステップと、
を有すること。
（３）  上記（２）の構成のキーポーズの選定方法であって、
一つの前記フレームを構成する前記ジョイント位置座標各々と前記第０の座標との距離、および、一つの前記フレームを構成する前記ジョイント位置座標各々と前記第１、２、・・・（ｋ−１）（ただし、ｋは３以上、Ｎ以下の整数。）のフレームそれぞれを構成する前記ジョイント位置座標各々とに基づく距離、を、前記フレーム毎に算出する第ｋ距離算出ステップと、
前記第ｋ距離算出ステップにて算出した距離に基づき特定される、前記第０の座標および前記第１、２、・・・（ｋ−１）のフレームそれぞれから前記ジョイント位置座標各々が最も離れたフレームを、第ｋのキーポーズを表す第ｋのフレームとして抽出する第ｋ抽出ステップと、
を有すること。
（４）  上記（１）〜（３）のいずれか一つの構成のキーポーズの選定方法であって、
前記第１距離算出ステップ、前記第２距離算出ステップ、および前記ｋ距離算出ステップにて、一つの前記フレームを構成する前記ジョイント位置座標のうちの所定のものと、前記第０の座標との距離、または前記第１、２、・・・（ｋ−１）のフレームそれぞれを構成する前記ジョイント位置座標のうちの所定のものとの距離を算出する際、該距離には所定の係数が乗算されること。
（５）  上記（１）〜（４）のいずれか一つの構成のキーポーズの選定方法であって、
前記第１抽出ステップ、前記第２抽出ステップ、・・・前記第ｋ抽出ステップにて抽出した前記第１、２、・・・ｋのフレームを表示する表示ステップをさらに有し、
前記表示ステップにて、
前記第１、２、・・・ｋのフレームのうちの少なくとも一つを構成する複数の前記ジョイント位置座標を参照して、あるジョイントの、該ジョイントの動きを制約するルートジョイントを起点とするベクトルを算出し、
予め前記ベクトルに応じたカメラ視点の角度が登録されたデータベースを参照して、前記算出したベクトルに対応するカメラ視点の角度を抽出し、
前記抽出したカメラ視点の角度から、前記第１、２、・・・ｋのフレームのうちの少なくとも一つを表示する、
こと。
（６）  コンピュータに、上記（１）から（５）のいずれか一つの構成のキーポーズの選定方法の各ステップを実行させるためのプログラム。
【発明の効果】
【０００９】
以上、本発明によれば、多数のモーションキャプチャデータのなかから所望の挙動が反映されたものを探す視聴者は、モーションキャプチャデータにおける特徴的な挙動を表す一つ以上のキーポーズのみを視認することによって、所望の挙動を探せばよい。このため、視聴者は、各モーションキャプチャを最初から最後まで再生する必要がなく、さらに、短期間でモーションキャプチャデータによって反映されている挙動を視認することができる。
【００１０】
以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態の制御装置のハードウェア構成図
【図２】モーションキャプチャデータのデータ形式の概略図
【図３】本発明の実施の形態のキーポーズの選定方法を説明するフローチャート
【図４】第０、１、２、・・・（ｋ−１）の座標Ａｖｒ０、Ａｖｒ１、・・・Ａｖｒ（ｋ−１）の位置関係の一例
【図５】三次元グラフィックスとして構築されたモーションキャプチャデータを時系列に並べたものと、そのモーションキャプチャデータから本発明のキーポーズの選定方法により抽出されたキーポーズと、の一例
【図６】本発明の第４の実施の形態のデータベースの概略構成図
【図７】本発明の第４の実施の形態のデータベースの概略構成図の他例
【発明を実施するための形態】
【００１２】
以下、本発明の第１の実施の形態の制御装置について詳細に説明する。
【００１３】
（第１の実施の形態）
図１に、本発明の実施の形態の制御装置のハードウェア構成図を示す。本発明の実施の形態の制御装置は、入力部１１、データベース部１２、プログラム記憶部１３、フレーム記憶部１４、表示部１５、処理部１６を含んで構成される。本発明の実施の形態の制御装置は、例えば汎用ＰＣによって構成される場合、入力部１１はキーボード、マウス、テンキーなどの各種入力インタフェースによって実現され、データベース部１２は、ハードディスクドライブ（ＨＤＤ）によって実現され、プログラム記憶部１３及びフレーム記憶部１４はＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）によって実現され、表示部１５はＣＲＴディスプレイ、液晶ディスプレイなどの各種出力デバイスによって実現され、処理部１６は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）によって実現される。入力部１１、データベース部１２、プログラム記憶部１３、フレーム記憶部１４、表示部１５、処理部１６を実現するデバイスは、上述したものに限るものではなく、以下に説明する、各部の機能を実行可能なデバイスを適宜利用することができる。
【００１４】
まず、データベース部１２に記憶されるモーションキャプチャデータのデータ形式を概略的に説明する。図２に、モーションキャプチャデータのデータ形式の概略図を示す。モーションキャプチャーデータは、基準座標から視たときの位置座標を検出するセンサを複数個用い、各センサから時系列的に取り込んだデータによって構成される。図２では、時点ｎで取り込まれたデータをフレームＦｎ（ｎ＝１、２、・・・Ｎ。ただし、Ｎは整数。）と標記している。一つのフレームであるフレームＦｎは、時点ｎにおいてＭ個のセンサからそれぞれ取得したジョイント位置座標Ｊｍ（ｊｍｘ、ｊｍｙ、ｊｍｚ）（ｍ＝１、２、・・・Ｍ。ただし、Ｍは整数）によって構成される。ジョイント位置座標Ｊｍは、例えば、人間の右手首（Ｊ１）、左手首（Ｊ２）、右肘（Ｊ３）、左肘（Ｊ４）、腰（Ｊ５）、右膝（Ｊ６）、左膝（Ｊ７）、右足首（Ｊ８）、左足首（Ｊ９）などのジョイント（関節）に取り付けられたセンサから取得した位置座標である。データベース部１２には、このような、モーションキャプチャにより取得した、複数のジョイント位置座標Ｊｍから構成されるＮ個のフレームＦ１、Ｆ２、・・・ＦＮが、一つのファイルとして記録されている。処理部１６は、上述のようなデータ形式のモーションキャプチャデータに対して、プログラム記憶部１３に記憶される解析プログラムを実行し、解析を行う。
【００１５】
そこで、プログラム記憶部１３に記憶される解析プログラムのアルゴリズムについて説明する。図３に、本発明の実施の形態のキーポーズの選定方法を説明するフローチャートを示す。
【００１６】
まず、Ｎ個のフレームＦ１、Ｆ２、・・・ＦＮのそれぞれを構成する複数のジョイント位置座標Ｊ１、Ｊ２、・・・ＪＭの、一つのフレームＦｎを構成するジョイントＪ１、Ｊ２、・・・ＪＭ、およびＮ個のフレームＦ１、Ｆ２、・・・ＦＮにわたる平均値Ａｖｒ０（第０の座標と称することがある）を算出する（平均化ステップ。Ｓ１）。具体的には、各フレームＦｎ毎に、該フレームＦｎを構成するジョイント位置座標Ｊ１、Ｊ２、・・・ＪＭの和であるＪｓｕｍ（ｊｘ、ｊｙ、ｊｚ）を算出し、さらに、そのフレームＦｎ毎に算出したＪｓｕｍの和を（Ｎ×Ｍ）で割ることによって第０の座標Ａｖｒ０（ｘ、ｙ、ｚ）を算出する。
【００１７】
続いて、フレームＦｎを構成するジョイント位置座標各々と第０の座標Ａｖｒ０との距離、すなわち、
｜Ｊ１−Ａｖｒ０｜、｜Ｊ２−Ａｖｒ０｜、・・・｜ＪＭ−Ａｖｒ０｜
を、フレームＦｎ毎に算出する（第１距離算出ステップ。Ｓ２）。
【００１８】
続いて、第１距離算出ステップＳ２にて算出した距離に基づき特定される、第０の座標Ａｖｒ０からジョイント位置座標各々が最も離れたフレームを、第１のキーポーズＫＰ１を表す第１のフレームＫ１として抽出する（第１抽出ステップ。Ｓ３）。第０の座標Ａｖｒ０からジョイント位置座標各々が最も離れたフレームを特定する際の具体的な一例としては、第１距離算出ステップＳ２にて算出した距離の和、すなわち、
｜Ｊ１−Ａｖｒ０｜＋｜Ｊ２−Ａｖｒ０｜＋・・・｜ＪＭ−Ａｖｒ０｜
が最も大きいフレームを、第１のキーポーズＫＰ１を表す第１のフレームＫ１として抽出する。尚、本発明における、第０の座標Ａｖｒ０からジョイント位置座標各々が最も離れたフレームを特定する手法は、この具体例に限るものではない。他には、第１距離算出ステップＳ２にて算出した距離の平均値によって該フレームを特定することもできる。
【００１９】
このようにして第１のキーポーズＫＰ１を表す第１のフレームＫ１を抽出した背景には、次の点がある。すなわち、第０の座標Ａｖｒ０は、モーションキャプチャにより挙動を測定されている対象者（例えば人間）がそのモーションキャプチャ中において平均的な挙動（つまり、振る舞う機会が多かった挙動）を行った際の、各ジョイント位置座標を平均したものと考えられる。一方、その第０の座標Ａｖｒ０から各ジョイント位置座標までの距離が最も離れていたフレームＦｎは、対象者がそのモーションキャプチャ中において例外的な挙動（つまり、振る舞う機会が少なかった挙動）を行った際に取得した各ジョイント位置座標によって構成されていると考えられる。したがって、第１距離算出ステップＳ２にて算出した距離の和が最も大きいフレームＦｎを抽出することによって、モーションキャプチャ中において最も特徴的な挙動を表す第１のキーポーズＫＰ１を特定することができる。
【００２０】
第１抽出ステップＳ３よりも後の処理では、さらに、モーションキャプチャ中において二番目に特徴的な挙動を表すフレームを特定する。なお、視聴者がキーポーズを所望する個数が１つであれば、後述する表示ステップＳ８に移行する。二番目に特徴的な挙動を表すフレームを特定するために、まず、フレームＦｎを構成するジョイント位置座標Ｊ１、Ｊ２、・・・ＪＭ各々と第０の座標Ａｖｒ０との距離、および、フレームＦｎを構成するジョイント位置座標Ｊ１、Ｊ２、・・・ＪＭ各々とフレームＫ１を構成するジョイント位置座標の平均値Ａｖｒ１（ｘ、ｙ、ｚ）（フレームＫ１を構成するジョイント位置座標の和であるＪｓｕｍをＭで除算したもの。第１の座標と称することがある。）との距離、を、フレームＦｎ毎に算出する（第２距離算出ステップ。Ｓ４）。
【００２１】
そして、第２距離算出ステップＳ４にて算出した距離に基づき特定される、第０の座標Ａｖｒ０および第１の座標Ａｖｒ１からジョイント位置座標各々が最も離れたフレームを、第２のキーポーズＫＰ２を表す第２のフレームＫ２として抽出する（第２抽出ステップ。Ｓ５）。第０の座標Ａｖｒ０および第１の座標Ａｖｒ１からジョイント位置座標各々が最も離れたフレームを特定する際の具体的な一例としては、第２距離算出ステップＳ４にて算出した第０の座標Ａｖｒ０との距離の和および第１の座標Ａｖｒ１との距離の和の合計値が最も大きいフレームを、第２のキーポーズＫＰ２を表す第２のフレームＫ２として抽出する。
【００２２】
このようにして第２のキーポーズＫＰ２を表す第２のフレームＫ２を抽出した背景には、次の点がある。すなわち、仮に、第１抽出ステップＳ３の第１のキーポーズＫＰ１を選定する考え方を第２抽出ステップＳ５に適用すると、第１距離算出ステップＳ２にて算出した距離の和が二番目に大きいフレームを第２のキーポーズＫＰ２を表す第２のフレームＫ２として選定することになる。このように選定された第２のキーポーズは、確かに、モーションキャプチャ中において平均的な挙動を行った際の、各ジョイント位置座標の平均値Ａｖｒ０と比較すると、例外的な挙動を表しているといえる。しかし、このように選定された第２のキーポーズが、第１のキーポーズＫＰ１（第１のフレームＫ１）が表している例外的な挙動と、類似している可能性がある。本発明では、モーションキャプチャデータによって反映されている挙動を短期間で視認することを目的としているので、類似した挙動を表すキーポーズは排除したいところである。そこで、第２抽出ステップＳ５では、第０の座標および第１の座標から各ジョイント位置座標までの距離が最も離れていたフレームを第２のキーポーズＫＰ２を表す第２のフレームＫ２として抽出する。第２のフレームＫ２は、モーションキャプチャ中の平均的な挙動とは類似性の無い挙動のうち、第１のキーポーズＫＰ１を表す例外的な挙動とは対極にある挙動を行った際に取得した各ジョイント位置座標によって構成されていると考えられる。したがって、第２抽出ステップＳ５において、モーションキャプチャ中において二番目に特徴的な、且つ第１のキーポーズＫＰ１と類似性の少ない第２のキーポーズＫＰ２を特定することができる。
【００２３】
Ｓ１からＳ５までの一連の処理によって、モーションキャプチャデータから二つのキーポーズＫＰ１、ＫＰ２を表すフレームＫ１、Ｋ２が特定される。多数のモーションキャプチャデータのなかから所望の挙動が反映されたものを見つけなければならない場合、本発明のキーポーズの選定方法を利用すれば、視聴者は、モーションキャプチャデータを構成するフレーム全てを再生することなく、キーポーズＫＰ１、ＫＰ２を表すフレームＫ１、Ｋ２のみを閲覧すればそのモーションキャプチャデータが示す挙動を把握することができる。このため、視聴者は、各モーションキャプチャを最初から最後まで再生する必要がなく、さらに、短期間でモーションキャプチャデータによって反映されている挙動を視認することができる。
【００２４】
ところで、Ｓ１からＳ５までの一連の処理では、モーションキャプチャデータから二つのキーポーズＫＰ１、ＫＰ２を表すフレームＫ１、Ｋ２を特定する際の処理について詳細に説明した。視聴者がキーポーズを所望する個数が２つであれば、後述する表示ステップＳ８に移行する。以降では、任意の数ｋ（ただし、ｋは３以上、Ｎ以下の整数。）のキーポーズＫＰ１、ＫＰ２、・・・ＫＰｋを表すフレームＫ１、Ｋ２、・・・Ｋｋを特定する際の処理について詳細に説明する。尚、ｋの値は、視聴者がキーポーズを所望する個数に応じて、適宜設定することができる。
【００２５】
キーポーズＫＰ１、ＫＰ２、・・・ＫＰｋを表すフレームＫ１、Ｋ２、・・・Ｋｋを特定する際の手法は、第２距離算出ステップＳ４、第２抽出ステップＳ５にて説明した処理と類似している。すなわち、まず、フレームＦｎを構成するジョイント位置座標各々と第０の座標Ａｖｒ０との距離、および、フレームＦｎを構成するジョイント位置座標各々とフレームＫ１、Ｋ２、・・・Ｋ（ｋ−１）それぞれを構成する前記ジョイント位置座標の平均値Ａｖｒ１、Ａｖｒ２、・・・Ａｖｒ（ｋ−１）（フレームＫ（ｋ−１）を構成するジョイント位置座標の和であるＪｓｕｍをＭで除算したもの。第（ｋ−１）の座標と称することがある。）との距離、すなわち、
｜Ｊ１−Ａｖｒ０｜、｜Ｊ２−Ａｖｒ０｜、・・・｜ＪＭ−Ａｖｒ０｜
｜Ｊ１−Ａｖｒ１｜、｜Ｊ２−Ａｖｒ１｜、・・・｜ＪＭ−Ａｖｒ１｜
｜Ｊ１−Ａｖｒ２｜、｜Ｊ２−Ａｖｒ２｜、・・・｜ＪＭ−Ａｖｒ２｜
・・・
｜Ｊ１−Ａｖｒ（ｋ−１）｜、｜Ｊ２−Ａｖｒ（ｋ−１）｜、・・・｜ＪＭ−Ａｖｒ（ｋ−１）｜
を、フレームＦｎ毎に算出する（第ｋ距離算出ステップ。Ｓ６）。
【００２６】
そして、前記第ｋ距離算出ステップにて算出した距離に基づき特定される、第０、１、２、・・・（ｋ−１）の座標Ａｖｒ０、Ａｖｒ１、・・・Ａｖｒ（ｋ−１）からジョイント位置座標各々が最も離れたフレームを、第ｋのキーポーズＫＰｋを表す第ｋのフレームＫｋとして抽出する（第ｋ抽出ステップ。Ｓ７）。第０、１、２、・・・（ｋ−１）の座標Ａｖｒ０、Ａｖｒ１、・・・Ａｖｒ（ｋ−１）からジョイント位置座標各々が最も離れたフレームを特定する際の具体的な一例としては、第ｋ距離算出ステップＳ６にて算出した第０の座標Ａｖｒ０との距離の和、第１の座標Ａｖｒ１との距離の和、・・・第（ｋ−１）の座標Ａｖｒ（ｋ−１）との距離の和、の合計値が最も大きいフレームを、第ｋのキーポーズＫＰｋを表す第ｋのフレームＫｋとして抽出する。以下、視聴者がキーポーズを所望する個数に到達するまでｋを１ずつ繰り上げながら上述の第ｋ距離算出ステップＳ６および第ｋ抽出ステップＳ７を繰り返す。
【００２７】
このようにして第ｋのキーポーズＫＰｋを表す第ｋのフレームＫｋを抽出した背景は、第２抽出ステップＳ５にて第２のキーポーズＫＰ２を表す第２のフレームＫ２を抽出した背景と共通である。すなわち、モーションキャプチャ中の平均的な挙動とは類似性の無い挙動のうち、すでに抽出されている第１、２、・・・（ｋ−１）のキーポーズＫＰ１、ＫＰ２、・・・ＫＰ（ｋ−１）を表す例外的な挙動とも類似性の少ないキーポーズＫＰｋを抽出するためである。したがって、第ｋ抽出ステップＳ７において、モーションキャプチャ中においてｋ番目に特徴的な、且つ、それまでに抽出した第１、２、・・・（ｋ−１）のキーポーズＫＰ１、ＫＰ２、・・・ＫＰ（ｋ−１）と類似性の少ない第ｋのキーポーズＫＰｋを特定することができる。
【００２８】
上述のＳ１からＳ７にかけての一連の処理をより分かり易く説明するために、図４に示す、第０、１、２、・・・（ｋ−１）の座標Ａｖｒ０、Ａｖｒ１、・・・Ａｖｒ（ｋ−１）の位置関係の一例を参照する。
【００２９】
図４（ａ）に示す、黒塗りの円（小さい丸）は、フレームＦｎを構成するジョイント位置座標の和をＪｓｕｍをＭで除算することにより算出された位置座標を、フレームＦｎ毎にプロットしたものである。この黒塗りの円のなかには、第１、２、・・・（ｋ−１）の座標Ａｖｒ１、２・・・（ｋ−１）と成り得るものも含まれている。この黒塗りの円は、各フレームＦｎを構成するジョイント位置座標が異なる限り、図４（ａ）に示すように点在することとなる。
【００３０】
図４（ｂ）に示す、白抜きの円は、Ｎ個のフレームＦ１、Ｆ２、・・・ＦＮのそれぞれを構成する複数のジョイント位置座標の、一つのフレームＦｎを構成するジョイント、およびＮ個のフレームＦ１、Ｆ２、・・・ＦＮにわたる平均値である。要は、プロットされた上述の黒塗りの円（小さい丸）の位置座標を足し合わせてＮで除算することにより算出された位置座標である。この白抜きの円の位置座標が第０の座標Ａｖｒ０に相当する。また、図４（ｂ）に示す、黒塗りの円１（大きい丸）は、図４（ａ）に示す黒塗りの円（小さい丸）のうちの、白抜きの円の位置座標から最も離れたところに位置するものを表している。この黒塗りの円１（大きい丸）の位置座標は第１の座標Ａｖｒ１に相当し、該黒塗りの円１をプロットするうえで基になったジョイント位置座標を有するフレームＦｎがフレームＫ１（キーポーズＫＰ１）に相当する。
【００３１】
また、図４（ｃ）に示す、黒塗りの円２（大きい丸）は、図４（ａ）に示す黒塗りの円（小さい丸）のうちの、白抜きの円の位置座標および黒塗りの円１（大きい丸）から最も離れたところに位置するものを表している。この黒塗りの円２（大きい丸）の位置座標は第２の座標Ａｖｒ２に相当し、該黒塗りの円２をプロットするうえで基になったジョイント位置座標を有するフレームがフレームＫ２（キーポーズＫＰ２）に相当する。
【００３２】
図４（ｃ）と同様に、図４（ｄ）に示す、黒塗りの円３（大きい丸）は、図４（ａ）に示す黒塗りの円（小さい丸）のうちの、白抜きの円の位置座標、黒塗りの円１（大きい丸）、および黒塗りの円２（大きい丸）から最も離れたところに位置するものを表している。この黒塗りの円３（大きい丸）の位置座標は第３の座標Ａｖｒ３に相当し、該黒塗りの円３をプロットするうえで基になったジョイント位置座標を有するフレームがフレームＫ３（キーポーズＫＰ３）に相当する。
【００３３】
図４（ａ）から図４（ｄ）を参照することにより、本発明のキーポーズの選定方法が、平均的な挙動とはおおいに異なる特徴的な挙動を表すキーポーズを効率的に選定していることが分かるであろう。
【００３４】
処理部１６は、プログラム記憶部１３に記憶される解析プログラムに基づいて、上述のＳ１からＳ７にかけての一連の処理を実行することにより、一つのモーションキャプチャデータから所定個数ｋのキーポーズを表すフレームを抽出した後、そのフレームを該モーションキャプチャデータに対応させて表示部１５に表示させることとなる（表示ステップＳ８）。
【００３５】
以上、本発明の第１の実施の形態の制御装置、およびその制御装置によるキーポーズの選定方法によれば、多数のモーションキャプチャデータのなかから所望の挙動が反映されたものを探す視聴者は、モーションキャプチャデータにおける特徴的な挙動を表すｋ個のキーポーズのみを視認することによって、所望の挙動を探せばよい。このため、視聴者は、各モーションキャプチャを最初から最後まで再生する必要がなく、さらに、短期間でモーションキャプチャデータによって反映されている挙動を視認することができる。
【００３６】
ここで、三次元グラフィックスとして構築されたモーションキャプチャデータを時系列に並べたものと、そのモーションキャプチャデータから本発明のキーポーズの選定方法により抽出されたキーポーズと、の一例を図５に示している。図５（ａ）の左図は被測定者がバスケットボールのジャンプシュートをしている際に取得したモーションキャプチャデータを、図５（ａ）の右図はそのモーションキャプチャデータから抽出したキーポーズを示している。図５（ｂ）の左図は被測定者が野球ボールを投げている際に取得したモーションキャプチャデータを、図５（ｂ）の右図はそのモーションキャプチャデータから抽出したキーポーズを示している。図５（ｃ）の左図は被測定者がゴルフスィングをしている際に取得したモーションキャプチャデータを、図５（ｃ）の右図はそのモーションキャプチャデータから抽出したキーポーズを示している。また、図５（ａ）から図５（ｃ）の左図は、モーションキャプチャデータを構成する２０フレームをフレーム番号の若いものから時系列的に紙面左から右にかけて並べたものである。
【００３７】
図５（ａ）から図５（ｃ）の右図はそれぞれ、左図のモーションキャプチャデータから抽出した５つのフレームＫ１〜Ｋ５（キーポーズＫＰ１〜ＫＰ５に相当）を示している。なお、図５（ａ）から図５（ｃ）の右図では、キーポーズＫ１〜Ｋ５の並び順は、必ずしもＫ１、Ｋ２、Ｋ３、Ｋ４、Ｋ５の順に並んでいるものではなく、フレームＫ１〜Ｋ５をフレーム番号の若いものから時系列的に紙面左から右にかけて並べた点に注意されたい。
【００３８】
図５から明らかなように、本発明の第１の実施の形態の制御装置、およびその制御装置によるキーポーズの選定方法によれば、あるモーションキャプチャデータにおける特徴的な挙動を表すｋ個のキーポーズを確実に抽出することができる。
【００３９】
尚、本発明の第１の実施の形態の制御装置、およびその制御装置によるキーポーズの選定方法では、第１距離算出ステップ、第２距離算出ステップ、・・・第ｋ距離算出ステップにおいて、フレームＦｎを構成するジョイント位置座標各々と第０の座標Ａｖｒ０との距離、および、フレームＦｎを構成するジョイント位置座標各々とフレームＫ１、Ｋ２、・・・Ｋ（ｋ−１）それぞれを構成する前記ジョイント位置座標の平均値Ａｖｒ１、Ａｖｒ２、・・・Ａｖｒ（ｋ−１）との距離、をそれぞれ算出すると述べた。これらの距離を算出する際に、フレームＦｎを構成するジョイントのうちの所定のものの位置座標と第０、１、２、・・・（ｋ−１）の座標との距離に所定の係数ωｍを乗算することにより、所定のジョイントの位置座標と第０、１、２、・・・（ｋ−１）の座標との距離に対して重み付けを行ってもよい。これは、すなわち、
ω１｜Ｊ１−Ａｖｒ０｜、ω２｜Ｊ２−Ａｖｒ０｜、・・・ωＭ｜ＪＭ−Ａｖｒ０｜
ω１｜Ｊ１−Ａｖｒ１｜、ω２｜Ｊ２−Ａｖｒ１｜、・・・ωＭ｜ＪＭ−Ａｖｒ１｜
ω１｜Ｊ１−Ａｖｒ２｜、ω２｜Ｊ２−Ａｖｒ２｜、・・・ωＭ｜ＪＭ−Ａｖｒ２｜
・・・
ω１｜Ｊ１−Ａｖｒ（ｋ−１）｜、ω２｜Ｊ２−Ａｖｒ（ｋ−１）｜、・・・ωＭ｜ＪＭ−Ａｖｒ（ｋ−１）｜
の式によって、所定のジョイントの位置座標と第０、１、２、・・・（ｋ−１）の座標との距離を算出することである。
【００４０】
所定のジョイントの位置座標と第０、１、２、・・・（ｋ−１）の座標との距離に対して重み付けを行うことにより、ジョイントのなかの特徴的な挙動を示すことが多いもの、例えば、人間の右手首、左手首、右肘、左肘、腰、右膝、左膝、右足首、左足首がジョイントになるのであれば、右手首、左手首、右足首、左足首などの手先、足先、の動きをより顕著に第１抽出ステップ、第２抽出ステップ、・・・第ｋ抽出ステップに反映させて、モーションキャプチャ中において特徴的なキーポーズを特定することができる。
【００４１】
（第２の実施の形態）
第１の実施の形態では、第２距離算出ステップＳ４または第ｋ距離算出ステップＳ６において、フレームＦｎを構成するジョイント位置座標各々と第０の座標Ａｖｒ０との距離、および、フレームＦｎを構成するジョイント位置座標各々とフレームＫ１、Ｋ２、・・・Ｋ（ｋ−１）それぞれを構成する前記ジョイント位置座標の平均値Ａｖｒ１、Ａｖｒ２、・・・Ａｖｒ（ｋ−１）との距離、を算出し、第２距離算出ステップＳ４または第ｋ距離算出ステップＳ６にて算出した第０の座標Ａｖｒ０との距離の和、第１の座標Ａｖｒ１との距離の和、・・・第（ｋ−１）の座標Ａｖｒ１との距離の和、の合計値が最も大きいフレームを、第ｋのキーポーズＫＰｋを表す第ｋのフレームＫｋとして抽出する手法について説明した。しかし、本発明の第２距離算出ステップＳ４または第ｋ距離算出ステップＳ６における処理は、フレームＦｎを構成するジョイント位置座標各々とフレームＫ１、Ｋ２、・・・Ｋ（ｋ−１）それぞれを構成する前記ジョイント位置座標の平均値Ａｖｒ１、Ａｖｒ２、・・・Ａｖｒ（ｋ−１）との距離（差分）に限定されるものではない。第２の実施の形態では、第２距離算出ステップＳ４または第ｋ距離算出ステップＳ６における処理の別の例について説明する。
【００４２】
まず、モーションキャプチャ中において二番目に特徴的な挙動を表すフレームを特定するための、第２距離算出ステップの別の例（Ｓ４’）について説明する。第２距離算出ステップＳ４’では、フレームＦｎを構成するジョイント位置座標Ｊ１、Ｊ２、・・・ＪＭ各々と第０の座標Ａｖｒ０とのマンハッタン距離、および、フレームＦｎを構成するジョイント位置座標Ｊ１、Ｊ２、・・・ＪＭ各々とフレームＫ１を構成するジョイント位置座標ＪＫ１１、ＪＫ２１、・・・ＪＫＭ１（キーポーズを示すフレームのジョイント位置座標とキーポーズではないフレームのジョイント位置座標とを区別するために、キーポーズを示すフレームのジョイント位置座標をＪＫ１ｋ、ＪＫ２ｋ、・・・ＪＫＭｋと標記することとする。なお、指数部分の「ｋ」の数値により、そのキーポーズを示すフレームのジョイント位置座標が、「ｋ」番目に特徴的なキーポーズのものであることを表している。）各々とのマンハッタン距離を、前記フレーム毎に算出する。すなわち、下記の（０）式および（１）式をフレーム毎に算出する。
（０）あるフレームＦｎと第０の座標Ａｖｒ０（ｘ、ｙ、ｚ）とのマンハッタン距離
Ｊ１：｜ｊ１ｘ―ｘ｜＋｜ｊ１ｙ―ｙ｜＋｜ｊ１ｚ―ｚ｜
Ｊ２：｜ｊ２ｘ―ｘ｜＋｜ｊ２ｙ―ｙ｜＋｜ｊ２ｚ―ｚ｜
・・・
ＪＭ：｜ｊＭｘ―ｘ｜＋｜ｊＭｙ―ｙ｜＋｜ｊＭｚ―ｚ｜
（１）あるフレームＦｎとフレームＫ１とのマンハッタン距離：
Ｊ１：｜ｊ１ｘ―ｊＫ１１ｘ｜＋｜ｊ１ｙ―ｊＫ１１ｙ｜＋｜ｊ１ｚ―ｊＫ１１ｚ｜
Ｊ２：｜ｊ２ｘ―ｊＫ２１ｘ｜＋｜ｊ２ｙ―ｊＫ２１ｙ｜＋｜ｊ２ｚ―ｊＫ２１ｚ｜
・・・
ＪＭ：｜ｊＭｘ―ｊＫＭ１ｘ｜＋｜ｊＭｙ―ｊＫＭ１ｙ｜＋｜ｊＭｚ―ｊＫＭ１ｚ｜
【００４３】
そして、第２距離算出ステップＳ４’にて算出したマンハッタン距離に基づき特定される、第０の座標Ａｖｒ０およびフレームＫ１からジョイント位置座標各々が最も離れたフレームを、第２のキーポーズＫＰ２を表す第２のフレームＫ２として抽出する（第２抽出ステップ。Ｓ５）。第０の座標Ａｖｒ０およびフレームＫ１からジョイント位置座標各々が最も離れたフレームを特定する際の具体的な一例としては、第２距離算出ステップＳ４’にて算出したマンハッタン距離の和（すなわち、（０）式で算出されるマンハッタン距離と、（１）式で算出されるマンハッタン距離と、の和）が最も大きいフレームを、第２のキーポーズＫＰ２を表す第２のフレームＫ２として抽出する。
【００４４】
このようにして抽出された第２のフレームＫ２は、モーションキャプチャ中の平均的な挙動とは類似性の無い挙動のうち、第１のキーポーズＫＰ１を表す例外的な挙動とは対極にある挙動を行った際に取得した各ジョイント位置座標によって構成されていると考えられる。したがって、第２抽出ステップＳ５において、モーションキャプチャ中において二番目に特徴的な、且つ第１のキーポーズＫＰ１と類似性の少ない第２のキーポーズＫＰ２を特定することができる。
【００４５】
さらに、モーションキャプチャ中においてｋ番目に特徴的な挙動を表すフレームを特定するための、第ｋ距離算出ステップの別の例（Ｓ６’）について説明する。第ｋ距離算出ステップＳ６’では、フレームＦｎを構成するジョイント位置座標Ｊ１、Ｊ２、・・・ＪＭ各々と第０の座標Ａｖｒ０とのマンハッタン距離、および、フレームＦｎを構成するジョイント位置座標Ｊ１、Ｊ２、・・・ＪＭ各々と、フレームＫ１を構成するジョイント位置座標ＪＫ１１、ＪＫ２１、・・・ＪＫＭ１各々、フレームＫ２を構成するジョイント位置座標ＪＫ１２、ＪＫ２２、・・・ＪＫＭ２各々、・・・フレームＫ（ｋ−１）を構成するジョイント位置座標ＪＫ１（ｋ−１）、ＪＫ２（ｋ−１）、・・・ＪＫＭ（ｋ−１）各々、とのマンハッタン距離を、前記フレームＦｎ毎に算出する。すなわち、下記の（０）式から（ｋ−１）式をフレームＦｎ毎に算出する。
（０）あるフレームＦｎと第０の座標Ａｖｒ０（ｘ、ｙ、ｚ）とのマンハッタン距離
Ｊ１：｜ｊ１ｘ―ｘ｜＋｜ｊ１ｙ―ｙ｜＋｜ｊ１ｚ―ｚ｜
Ｊ２：｜ｊ２ｘ―ｘ｜＋｜ｊ２ｙ―ｙ｜＋｜ｊ２ｚ―ｚ｜
・・・
ＪＭ：｜ｊＭｘ―ｘ｜＋｜ｊＭｙ―ｙ｜＋｜ｊＭｚ―ｚ｜
（１）あるフレームＦｎとフレームＫ１とのマンハッタン距離：
Ｊ１：｜ｊ１ｘ―ｊＫ１１ｘ｜＋｜ｊ１ｙ―ｊＫ１１ｙ｜＋｜ｊ１ｚ―ｊＫ１１ｚ｜
Ｊ２：｜ｊ２ｘ―ｊＫ２１ｘ｜＋｜ｊ２ｙ―ｊＫ２１ｙ｜＋｜ｊ２ｚ―ｊＫ２１ｚ｜
・・・
ＪＭ：｜ｊＭｘ―ｊＫＭ１ｘ｜＋｜ｊＭｙ―ｊＫＭ１ｙ｜＋｜ｊＭｚ―ｊＫＭ１ｚ｜
（２）あるフレームＦｎとフレームＫ２とのマンハッタン距離：
Ｊ１：｜ｊ１ｘ―ｊＫ１２ｘ｜＋｜ｊ１ｙ―ｊＫ１２ｙ｜＋｜ｊ１ｚ―ｊＫ１２ｚ｜
Ｊ２：｜ｊ２ｘ―ｊＫ２２ｘ｜＋｜ｊ２ｙ―ｊＫ２２ｙ｜＋｜ｊ２ｚ―ｊＫ２２ｚ｜
・・・
ＪＭ：｜ｊＭｘ―ｊＫＭ２ｘ｜＋｜ｊＭｙ―ｊＫＭ２ｙ｜＋｜ｊＭｚ―ｊＫＭ２ｚ｜
・・・
（ｋ−１）あるフレームＦｎとフレームＫ（ｋ−１）とのマンハッタン距離：
Ｊ１：｜ｊ１ｘ―ｊＫ１（ｋ−１）ｘ｜＋｜ｊ１ｙ―ｊＫ１（ｋ−１）ｙ｜＋｜ｊ１ｚ―ｊＫ１（ｋ−１）ｚ｜
Ｊ２：｜ｊ２ｘ―ｊＫ２（ｋ−１）ｘ｜＋｜ｊ２ｙ―ｊＫ２（ｋ−１）ｙ｜＋｜ｊ２ｚ―ｊＫ２（ｋ−１）ｚ｜
・・・
ＪＭ：｜ｊＭｘ―ｊＫＭ（ｋ−１）ｘ｜＋｜ｊＭｙ―ｊＫＭ（ｋ−１）ｙ｜＋｜ｊＭｚ―ｊＫＭ（ｋ−１）ｚ｜
【００４６】
そして、前記第ｋ距離算出ステップにて算出した距離に基づき特定される、第０の座標Ａｖｒ０およびフレームＫ１、Ｋ２、・・・Ｋ（ｋ−１）それぞれからジョイント位置座標各々が最も離れたフレームＦｎを、第ｋのキーポーズＫＰｋを表す第ｋのフレームＫｋとして抽出する（第ｋ抽出ステップ。Ｓ７）。第０の座標Ａｖｒ０およびフレームＫ１、Ｋ２、・・・Ｋ（ｋ−１）それぞれからジョイント位置座標各々が最も離れたフレームを特定する際の具体的な一例としては、上述の（０）式から（ｋ−１）式それぞれにおいて算出した各ジョイントのマンハッタン距離の和をさらにフレームＫ１、Ｋ２・・・、Ｋ（ｋ−１）にわたって加算した合計値が、最も大きいフレームＦｎを、第ｋのキーポーズＫＰｋを表す第ｋのフレームＫｋとして抽出する、ことが挙げられる。
【００４７】
あるいは、第０の座標Ａｖｒ０およびフレームＫ１、Ｋ２、・・・Ｋ（ｋ−１）それぞれからジョイント位置座標各々が最も離れたフレームＦｎを特定する際の具体的な他例としては、上述の（０）式から（ｋ−１）式それぞれにおいて算出したマンハッタン距離の和のうち、最も小さいマンハッタン距離の和を、そのフレームＦｎに割り当てられるマンハッタン距離と定義し（例えば、上述の（０）式から（ｋ−１）式のうち（１）式で算出した各ジョイントのマンハッタン距離の和が最も小さければ、（１）式で算出したマンハッタン距離の和がフレームＦｎに割り当てられる。）、そのようにしてマンハッタン距離が割り当てられたフレームＦｎのなかから該マンハッタン距離が最も大きいものを、第ｋのキーポーズＫＰｋを表す第ｋのフレームＫｋとして抽出する、ことが挙げられる。
【００４８】
以下、視聴者がキーポーズを所望する個数に到達するまでｋを１ずつ繰り上げながら上述の第ｋ距離算出ステップＳ６’および第ｋ抽出ステップＳ７を繰り返す。
【００４９】
このようにして第ｋのキーポーズＫＰｋを表す第ｋのフレームＫｋを抽出することにより、第ｋ抽出ステップＳ７において、モーションキャプチャ中においてｋ番目に特徴的な、且つ、それまでに抽出した第１、２、・・・（ｋ−１）のキーポーズＫＰ１、ＫＰ２、・・・ＫＰ（ｋ−１）と類似性の少ない第ｋのキーポーズＫＰｋを特定することができる。
【００５０】
以上、本発明の第２の実施の形態では、第２距離算出ステップＳ４または第ｋ距離算出ステップＳ６における処理の例をいくつか説明した。これらの例以外にも、本発明には、第０の座標Ａｖｒ０およびフレームＫ１、Ｋ２、・・・Ｋ（ｋ−１）それぞれからジョイント位置座標各々が最も離れたフレームＦｎを特定するための各種の手法、例えばユークリッド距離等、を適用することができる。
【００５１】
尚、本発明の第２の実施の形態の制御装置、およびその制御装置によるキーポーズの選定方法では、第２距離算出ステップＳ４’、・・・第ｋ距離算出ステップＳ６’において、フレームＦｎを構成するジョイント位置座標Ｊ１、Ｊ２、・・・ＪＭ各々と第０の座標Ａｖｒ０とのマンハッタン距離、および、フレームＦｎを構成するジョイント位置座標各々と、フレームＫ１を構成するジョイント位置座標ＪＫ１１、ＪＫ２１、・・・ＪＫＭ１各々、フレームＫ２を構成するジョイント位置座標ＪＫ１２、ＪＫ２２、・・・ＪＫＭ２各々、・・・フレームＫ（ｋ−１）を構成するジョイント位置座標ＪＫ１（ｋ−１）、ＪＫ２（ｋ−１）、・・・ＪＫＭ（ｋ−１）各々、とのマンハッタン距離をそれぞれ算出すると述べた。これらのマンハッタン距離を算出する際に、フレームＦｎを構成するジョイントのうちの所定のものの位置座標と第０の座標Ａｖｒ０、およびフレームＦｎを構成するジョイントのうちの所定のものの位置座標とフレームＫ１、Ｋ２、・・・Ｋ（ｋ−１）を構成するジョイントのうちの所定のものの位置座標、のマンハッタン距離に所定の係数ωｍを乗算することにより、フレームＦｎの所定のジョイントの位置座標と、第０の座標Ａｖｒ０またはフレームＫ１、Ｋ２、・・・Ｋ（ｋ−１）の所定のジョイントの位置座標と、のマンハッタン距離に対して重み付けを行ってもよい。これは、すなわち、
（０）あるフレームＦｎと第０の座標Ａｖｒ０（ｘ、ｙ、ｚ）とのマンハッタン距離
Ｊ１：ω１｜ｊ１ｘ―ｘ｜＋ω１｜ｊ１ｙ―ｙ｜＋ω１｜ｊ１ｚ―ｚ｜
Ｊ２：ω２｜ｊ２ｘ―ｘ｜＋ω２｜ｊ２ｙ―ｙ｜＋ω２｜ｊ２ｚ―ｚ｜
・・・
ＪＭ：ωＭ｜ｊＭｘ―ｘ｜＋ωＭ｜ｊＭｙ―ｙ｜＋ωＭ｜ｊＭｚ―ｚ｜
（１）あるフレームＦｎとフレームＫ１とのマンハッタン距離：
Ｊ１：ω１｜ｊ１ｘ―ｊＫ１１ｘ｜＋ω１｜ｊ１ｙ―ｊＫ１１ｙ｜＋ω１｜ｊ１ｚ―ｊＫ１１ｚ｜
Ｊ２：ω２｜ｊ２ｘ―ｊＫ２１ｘ｜＋ω２｜ｊ２ｙ―ｊＫ２１ｙ｜＋ω２｜ｊ２ｚ―ｊＫ２１ｚ｜
・・・
ＪＭ：ωＭ｜ｊＭｘ―ｊＫＭ１ｘ｜＋ωＭ｜ｊＭｙ―ｊＫＭ１ｙ｜＋ωＭ｜ｊＭｚ―ｊＫＭ１ｚ｜
（２）あるフレームＦｎとフレームＫ２とのマンハッタン距離：
Ｊ１：ω１｜ｊ１ｘ―ｊＫ１２ｘ｜＋ω１｜ｊ１ｙ―ｊＫ１２ｙ｜＋ω１｜ｊ１ｚ―ｊＫ１２ｚ｜
Ｊ２：ω２｜ｊ２ｘ―ｊＫ２２ｘ｜＋ω２｜ｊ２ｙ―ｊＫ２２ｙ｜＋ω２｜ｊ２ｚ―ｊＫ２２ｚ｜
・・・
ＪＭ：ωＭ｜ｊＭｘ―ｊＫＭ２ｘ｜＋ωＭ｜ｊＭｙ―ｊＫＭ２ｙ｜＋ωＭ｜ｊＭｚ―ｊＫＭ２ｚ｜
・・・
（ｋ−１）あるフレームＦｎとフレームＫ（ｋ−１）とのマンハッタン距離：
Ｊ１：ω１｜ｊ１ｘ―ｊＫ１（ｋ−１）ｘ｜＋ω１｜ｊ１ｙ―ｊＫ１（ｋ−１）ｙ｜＋ω１｜ｊ１ｚ―ｊＫ１（ｋ−１）ｚ｜
Ｊ２：ω２｜ｊ２ｘ―ｊＫ２（ｋ−１）ｘ｜＋ω２｜ｊ２ｙ―ｊＫ２（ｋ−１）ｙ｜＋ω２｜ｊ２ｚ―ｊＫ２（ｋ−１）ｚ｜
・・・
ＪＭ：ωＭ｜ｊＭｘ―ｊＫＭ（ｋ−１）ｘ｜＋ωＭ｜ｊＭｙ―ｊＫＭ（ｋ−１）ｙ｜＋ωＭ｜ｊＭｚ―ｊＫＭ（ｋ−１）ｚ｜
の式によって、フレームＦｎの所定のジョイントの位置座標と第０の座標Ａｖｒ０の所定のジョイントの位置座標、およびフレームＦｎの所定のジョイントの位置座標とフレームＫ１、Ｋ２、・・・Ｋ（ｋ−１）の所定のジョイントの位置座標、のマンハッタン距離を算出することである。
【００５２】
このように所定のジョイントのマンハッタン距離に対して重み付けを行うことにより、ジョイントのなかの特徴的な挙動を示すことが多いもの、例えば、人間の右手首、左手首、右肘、左肘、腰、右膝、左膝、右足首、左足首がジョイントになるのであれば、右手首、左手首、右足首、左足首などの手先、足先、の動きをより顕著に第１抽出ステップ、第２抽出ステップ、・・・第ｋ抽出ステップに反映させて、モーションキャプチャ中において特徴的なキーポーズを特定することができる。
【００５３】
（第３の実施の形態）
ところで、本発明の第２の実施の形態では、第２距離算出ステップの別の例（Ｓ４’）および第ｋ距離算出ステップの別の例（Ｓ６’）において、フレームＦｎを構成するジョイント位置座標Ｊ１、Ｊ２、・・・ＪＭ各々と第０の座標Ａｖｒ０とのマンハッタン距離を算出する際、平均化ステップＳ１にて算出した第０の座標Ａｖｒ０（ｘ、ｙ、ｚ）、すなわち、各フレームＦｎ毎に、該フレームＦｎを構成するジョイント位置座標Ｊ１、Ｊ２、・・・ＪＭの和であるＪｓｕｍ（ｊｘ、ｊｙ、ｊｚ）を算出し、さらに、そのフレームＦｎ毎に算出したＪｓｕｍの和を（Ｎ×Ｍ）で割ることによって得られる位置座標、を利用した。この第０の座標は、必ず、一つの座標を表すことになるが、次に示すように、各ジョイント毎１、Ｊ２、・・・ＪＭに第０の座標Ａｖｒ０Ｊ１、Ａｖｒ０Ｊ２、・・・Ａｖｒ０ＪＭを割り当てて、第０の座標をＭ個の座標の集合としても良い。
【００５４】
すなわち、第０の座標Ａｖｒ０Ｊｍ（ｘｍ、ｙｍ、ｚｍ）（ただし、ｍ＝１、２、・・・Ｍ）は、フレームＦ１、Ｆ２・・・ＦＮそれぞれを構成するジョイント位置座標Ｊｍ（ｊｍｘ、ｊｍｙ、ｊｍｚ）を加算し、その値をＮで除算することにより算出される。このようにして第０の座標Ａｖｒ０Ｊｍ（ｘｍ、ｙｍ、ｚｍ）を算出する（平均化ステップＳ１’）。
【００５５】
平均化ステップＳ１’にて算出した第０の座標Ａｖｒ０Ｊｍ（ｘｍ、ｙｍ、ｚｍ）を用いる場合、平均化ステップＳ１’に続くステップの計算式が変わってくる。すなわち、平均化ステップＳ１’に続いて、フレームＦｎを構成するジョイント位置座標Ｊ１、Ｊ２、・・・ＪＭ各々と第０の座標Ａｖｒ０Ｊ１、Ａｖｒ０Ｊ２、・・・Ａｖｒ０ＪＭの距離、すなわち、
｜Ｊ１−Ａｖｒ０Ｊ１｜、｜Ｊ２−Ａｖｒ０Ｊ２｜、・・・｜ＪＭ−Ａｖｒ０ＪＭ｜
を、フレームＦｎ毎に算出する（第１距離算出ステップ。Ｓ２’）。
【００５６】
続いて、第１距離算出ステップＳ２’にて算出した距離に基づき特定される、第０の座標Ａｖｒ０Ｊ１、Ａｖｒ０Ｊ２、・・・Ａｖｒ０ＪＭからジョイント位置座標各々が最も離れたフレームを、第１のキーポーズＫＰ１を表す第１のフレームＫ１として抽出する（第１抽出ステップ。Ｓ３’）。第０の座標からジョイント位置座標各々が最も離れたフレームを特定する際の具体的な一例としては、第１距離算出ステップＳ２’にて算出した距離の和、すなわち、
｜Ｊ１−Ａｖｒ０Ｊ１｜＋｜Ｊ２−Ａｖｒ０Ｊ２｜＋・・・｜ＪＭ−Ａｖｒ０Ｊｍ｜
が最も大きいフレームを、第１のキーポーズＫＰ１を表す第１のフレームＫ１として抽出する。
【００５７】
さらに、第２距離算出ステップの別の例（Ｓ４”）では、モーションキャプチャ中において二番目に特徴的な挙動を表すフレームを特定する。第２距離算出ステップＳ４”では、フレームＦｎを構成するジョイント位置座標Ｊ１、Ｊ２、・・・ＪＭ各々と第０の座標Ａｖｒ０Ｊ１、Ａｖｒ０Ｊ２、・・・Ａｖｒ０ＪＭとのマンハッタン距離、および、フレームＦｎを構成するジョイント位置座標Ｊ１、Ｊ２、・・・ＪＭ各々とフレームＫ１を構成するジョイント位置座標ＪＫ１１、ＪＫ２１、・・・ＪＫＭ１各々とのマンハッタン距離を、前記フレーム毎に算出する。すなわち、下記の（０）式および（１）式をフレーム毎に算出する。
（０）あるフレームＦｎと第０の座標Ａｖｒ０Ｊｍ（ｘｍ、ｙｍ、ｚｍ）とのマンハッタン距離
Ｊ１：｜ｊ１ｘ―ｘ１｜＋｜ｊ１ｙ―ｙ１｜＋｜ｊ１ｚ―ｚ１｜
Ｊ２：｜ｊ２ｘ―ｘ２｜＋｜ｊ２ｙ―ｙ２｜＋｜ｊ２ｚ―ｚ２｜
・・・
ＪＭ：｜ｊＭｘ―ｘｍ｜＋｜ｊＭｙ―ｙｍ｜＋｜ｊＭｚ―ｚｍ｜
（１）あるフレームＦｎとフレームＫ１とのマンハッタン距離：
Ｊ１：｜ｊ１ｘ―ｊＫ１１ｘ｜＋｜ｊ１ｙ―ｊＫ１１ｙ｜＋｜ｊ１ｚ―ｊＫ１１ｚ｜
Ｊ２：｜ｊ２ｘ―ｊＫ２１ｘ｜＋｜ｊ２ｙ―ｊＫ２１ｙ｜＋｜ｊ２ｚ―ｊＫ２１ｚ｜
・・・
ＪＭ：｜ｊＭｘ―ｊＫＭ１ｘ｜＋｜ｊＭｙ―ｊＫＭ１ｙ｜＋｜ｊＭｚ―ｊＫＭ１ｚ｜
【００５８】
そして、第２距離算出ステップＳ４”にて算出したマンハッタン距離に基づき特定される、第０の座標Ａｖｒ０Ｊ１、Ａｖｒ０Ｊ２、・・・Ａｖｒ０ＪＭおよびフレームＫ１からジョイント位置座標各々が最も離れたフレームを、第２のキーポーズＫＰ２を表す第２のフレームＫ２として抽出する（第２抽出ステップ。Ｓ５）。第０の座標Ａｖｒ０Ｊ１、Ａｖｒ０Ｊ２、・・・Ａｖｒ０ＪＭおよびフレームＫ１からジョイント位置座標各々が最も離れたフレームを特定する際の具体的な一例としては、第２距離算出ステップＳ４”にて算出したマンハッタン距離の和（すなわち、（０）式で算出されるマンハッタン距離と、（１）式で算出されるマンハッタン距離と、の和）が最も大きいフレームを、第２のキーポーズＫＰ２を表す第２のフレームＫ２として抽出する。
【００５９】
さらに、第ｋ距離算出ステップの別の例（Ｓ６”）では、モーションキャプチャ中においてｋ番目に特徴的な挙動を表すフレームを特定する。第ｋ距離算出ステップＳ６”では、フレームＦｎを構成するジョイント位置座標Ｊ１、Ｊ２、・・・ＪＭ各々と第０の座標Ａｖｒ０Ｊ１、Ａｖｒ０Ｊ２、・・・Ａｖｒ０ＪＭとのマンハッタン距離、および、フレームＦｎを構成するジョイント位置座標Ｊ１、Ｊ２、・・・ＪＭ各々と、フレームＫ１を構成するジョイント位置座標ＪＫ１１、ＪＫ２１、・・・ＪＫＭ１各々、フレームＫ２を構成するジョイント位置座標ＪＫ１２、ＪＫ２２、・・・ＪＫＭ２各々、・・・フレームＫ（ｋ−１）を構成するジョイント位置座標ＪＫ１（ｋ−１）、ＪＫ２（ｋ−１）、・・・ＪＫＭ（ｋ−１）各々、とのマンハッタン距離を、前記フレームＦｎ毎に算出する。すなわち、下記の（０）式から（ｋ−１）式をフレームＦｎ毎に算出する。
（０）あるフレームＦｎと第０の座標Ａｖｒ０Ｊｍ（ｘｍ、ｙｍ、ｚｍ）とのマンハッタン距離
Ｊ１：｜ｊ１ｘ―ｘ１｜＋｜ｊ１ｙ―ｙ１｜＋｜ｊ１ｚ―ｚ１｜
Ｊ２：｜ｊ２ｘ―ｘ２｜＋｜ｊ２ｙ―ｙ２｜＋｜ｊ２ｚ―ｚ２｜
・・・
ＪＭ：｜ｊＭｘ―ｘｍ｜＋｜ｊＭｙ―ｙｍ｜＋｜ｊＭｚ―ｚｍ｜
（１）あるフレームＦｎとフレームＫ１とのマンハッタン距離：
Ｊ１：｜ｊ１ｘ―ｊＫ１１ｘ｜＋｜ｊ１ｙ―ｊＫ１１ｙ｜＋｜ｊ１ｚ―ｊＫ１１ｚ｜
Ｊ２：｜ｊ２ｘ―ｊＫ２１ｘ｜＋｜ｊ２ｙ―ｊＫ２１ｙ｜＋｜ｊ２ｚ―ｊＫ２１ｚ｜
・・・
ＪＭ：｜ｊＭｘ―ｊＫＭ１ｘ｜＋｜ｊＭｙ―ｊＫＭ１ｙ｜＋｜ｊＭｚ―ｊＫＭ１ｚ｜
（２）あるフレームＦｎとフレームＫ２とのマンハッタン距離：
Ｊ１：｜ｊ１ｘ―ｊＫ１２ｘ｜＋｜ｊ１ｙ―ｊＫ１２ｙ｜＋｜ｊ１ｚ―ｊＫ１２ｚ｜
Ｊ２：｜ｊ２ｘ―ｊＫ２２ｘ｜＋｜ｊ２ｙ―ｊＫ２２ｙ｜＋｜ｊ２ｚ―ｊＫ２２ｚ｜
・・・
ＪＭ：｜ｊＭｘ―ｊＫＭ２ｘ｜＋｜ｊＭｙ―ｊＫＭ２ｙ｜＋｜ｊＭｚ―ｊＫＭ２ｚ｜
・・・
（ｋ−１）あるフレームＦｎとフレームＫ（ｋ−１）とのマンハッタン距離：
Ｊ１：｜ｊ１ｘ―ｊＫ１（ｋ−１）ｘ｜＋｜ｊ１ｙ―ｊＫ１（ｋ−１）ｙ｜＋｜ｊ１ｚ―ｊＫ１（ｋ−１）ｚ｜
Ｊ２：｜ｊ２ｘ―ｊＫ２（ｋ−１）ｘ｜＋｜ｊ２ｙ―ｊＫ２（ｋ−１）ｙ｜＋｜ｊ２ｚ―ｊＫ２（ｋ−１）ｚ｜
・・・
ＪＭ：｜ｊＭｘ―ｊＫＭ（ｋ−１）ｘ｜＋｜ｊＭｙ―ｊＫＭ（ｋ−１）ｙ｜＋｜ｊＭｚ―ｊＫＭ（ｋ−１）ｚ｜
【００６０】
そして、前記第ｋ距離算出ステップにて算出した距離に基づき特定される、第０の座標Ａｖｒ０Ｊ１、Ａｖｒ０Ｊ２、・・・Ａｖｒ０ＪＭおよびフレームＫ１、Ｋ２、・・・Ｋ（ｋ−１）それぞれからジョイント位置座標各々が最も離れたフレームＦｎを、第ｋのキーポーズＫＰｋを表す第ｋのフレームＫｋとして抽出する（第ｋ抽出ステップ。Ｓ７）。第０の座標Ａｖｒ０Ｊ１、Ａｖｒ０Ｊ２、・・・Ａｖｒ０ＪＭおよびフレームＫ１、Ｋ２、・・・Ｋ（ｋ−１）それぞれからジョイント位置座標各々が最も離れたフレームを特定する際の具体的な一例としては、上述の（０）式から（ｋ−１）式それぞれにおいて算出した各ジョイントのマンハッタン距離の和をさらにフレームＫ１、Ｋ２・・・、Ｋ（ｋ−１）にわたって加算した合計値が、最も大きいフレームＦｎを、第ｋのキーポーズＫＰｋを表す第ｋのフレームＫｋとして抽出する、ことが挙げられる。
【００６１】
あるいは、第０の座標Ａｖｒ０Ｊ１、Ａｖｒ０Ｊ２、・・・Ａｖｒ０ＪＭおよびフレームＫ１、Ｋ２、・・・Ｋ（ｋ−１）それぞれからジョイント位置座標各々が最も離れたフレームＦｎを特定する際の具体的な他例としては、上述の（０）式から（ｋ−１）式それぞれにおいて算出したマンハッタン距離の和のうち、最も小さいマンハッタン距離の和を、そのフレームＦｎに割り当てられるマンハッタン距離と定義し（例えば、上述の（０）式から（ｋ−１）式のうち（１）式で算出した各ジョイントのマンハッタン距離の和が最も小さければ、（１）式で算出したマンハッタン距離の和がフレームＦｎに割り当てられる。）、そのようにしてマンハッタン距離が割り当てられたフレームＦｎのなかから該マンハッタン距離が最も大きいものを、第ｋのキーポーズＫＰｋを表す第ｋのフレームＫｋとして抽出する、ことが挙げられる。
【００６２】
第３の実施の形態で説明したように、平均化ステップにおいてフレームＦｎのジョイント毎に平均値を取ることにより、より高精度にキーポーズを抽出することができる。
【００６３】
尚、第３の実施の形態においても、第２の実施の形態で述べたように、マンハッタン距離を算出する際に、フレームＦｎを構成するジョイントのうちの所定のものの位置座標Ｊｍと第０の座標Ａｖｒ０の所定のジョイントの位置座標Ａｖｒ０Ｊｍ、およびフレームＦｎを構成するジョイントのうちの所定のものの位置座標とフレームＫ１、Ｋ２、・・・Ｋ（ｋ−１）を構成するジョイントのうちの所定のものの位置座標、のマンハッタン距離に所定の係数ωｍを乗算することにより、フレームＦｎの所定のジョイントの位置座標Ｊｍと、第０の座標Ａｖｒ０の所定のジョイントの位置座標Ａｖｒ０ＪｍまたはフレームＫ１、Ｋ２、・・・Ｋ（ｋ−１）の所定のジョイントの位置座標と、のマンハッタン距離に対して重み付けを行ってもよい。これは、すなわち、
（０）あるフレームＦｎと第０の座標Ａｖｒ０Ｊｍ（ｘｍ、ｙｍ、ｚｍ）とのマンハッタン距離
Ｊ１：ω１｜ｊ１ｘ―ｘ１｜＋ω１｜ｊ１ｙ―ｙ１｜＋ω１｜ｊ１ｚ―ｚ１｜
Ｊ２：ω２｜ｊ２ｘ―ｘ２｜＋ω２｜ｊ２ｙ―ｙ２｜＋ω２｜ｊ２ｚ―ｚ２｜
・・・
ＪＭ：ωＭ｜ｊＭｘ―ｘＭ｜＋ωＭ｜ｊＭｙ―ｙＭ｜＋ωＭ｜ｊＭｚ―ｚＭ｜
（１）あるフレームＦｎとフレームＫ１とのマンハッタン距離：
Ｊ１：ω１｜ｊ１ｘ―ｊＫ１１ｘ｜＋ω１｜ｊ１ｙ―ｊＫ１１ｙ｜＋ω１｜ｊ１ｚ―ｊＫ１１ｚ｜
Ｊ２：ω２｜ｊ２ｘ―ｊＫ２１ｘ｜＋ω２｜ｊ２ｙ―ｊＫ２１ｙ｜＋ω２｜ｊ２ｚ―ｊＫ２１ｚ｜
・・・
ＪＭ：ωＭ｜ｊＭｘ―ｊＫＭ１ｘ｜＋ωＭ｜ｊＭｙ―ｊＫＭ１ｙ｜＋ωＭ｜ｊＭｚ―ｊＫＭ１ｚ｜
（２）あるフレームＦｎとフレームＫ２とのマンハッタン距離：
Ｊ１：ω１｜ｊ１ｘ―ｊＫ１２ｘ｜＋ω１｜ｊ１ｙ―ｊＫ１２ｙ｜＋ω１｜ｊ１ｚ―ｊＫ１２ｚ｜
Ｊ２：ω２｜ｊ２ｘ―ｊＫ２２ｘ｜＋ω２｜ｊ２ｙ―ｊＫ２２ｙ｜＋ω２｜ｊ２ｚ―ｊＫ２２ｚ｜
・・・
ＪＭ：ωＭ｜ｊＭｘ―ｊＫＭ２ｘ｜＋ωＭ｜ｊＭｙ―ｊＫＭ２ｙ｜＋ωＭ｜ｊＭｚ―ｊＫＭ２ｚ｜
・・・
（ｋ−１）あるフレームＦｎとフレームＫ（ｋ−１）とのマンハッタン距離：
Ｊ１：ω１｜ｊ１ｘ―ｊＫ１（ｋ−１）ｘ｜＋ω１｜ｊ１ｙ―ｊＫ１（ｋ−１）ｙ｜＋ω１｜ｊ１ｚ―ｊＫ１（ｋ−１）ｚ｜
Ｊ２：ω２｜ｊ２ｘ―ｊＫ２（ｋ−１）ｘ｜＋ω２｜ｊ２ｙ―ｊＫ２（ｋ−１）ｙ｜＋ω２｜ｊ２ｚ―ｊＫ２（ｋ−１）ｚ｜
・・・
ＪＭ：ωＭ｜ｊＭｘ―ｊＫＭ（ｋ−１）ｘ｜＋ωＭ｜ｊＭｙ―ｊＫＭ（ｋ−１）ｙ｜＋ωＭ｜ｊＭｚ―ｊＫＭ（ｋ−１）ｚ｜
の式によって、フレームＦｎの所定のジョイントの位置座標Ｊｍと第０の座標Ａｖｒ０の所定のジョイントの位置座標Ａｖｒ０Ｊｍ、およびフレームＦｎの所定のジョイントの位置座標とフレームＫ１、Ｋ２、・・・Ｋ（ｋ−１）の所定のジョイントの位置座標、のマンハッタン距離を算出することである。
【００６４】
（第４の実施の形態）
ところで、モーションキャプチャデータを三次元グラフィックスに構築した際、どの角度からのカメラ視点（θ、φ）で視たものをディスプレイに表示させるによって、そのグラフィックスの見え方は大きく異なる。本発明の第４の実施の形態では、モーションキャプチャデータを構築した三次元グラフィックスを視聴者が最も好ましい角度（θ、φ）のカメラ視点から視ることができるシステムについて説明する。なお、本発明では、第１の実施の形態で抽出したキーポーズを最も好ましい角度のカメラ視点（θ、φ）で視る際の処理について説明するが、必ずしもキーポーズを視る際の処理に限る必要は無く、モーションキャプチャデータを構築した三次元グラフィックスを視る際の処理に広く適用することができる。
【００６５】
本発明の第４の実施の形態の制御装置のデータベース部１２には、次に説明する規則に則ったデータベースが格納されている。このデータベースを構成する基本要素としては２つある。
【００６６】
一つは、あるジョイントの、該ジョイントの動きを制約するルートジョイントを起点とするベクトルＶの集合である。このベクトルＶは、例えば、右手首（ジョイント）のベクトルＶを算出する場合、右肘（ルートジョイント）を起点として算出され、右肘（ジョイント）のベクトルを算出する場合、右肩（ルートジョイント）を起点として算出される。このように、あるジョイントＪｐに隣り合い、該ジョイントＪｐとの間に別のジョイントが位置することの無いジョイントのことをルートジョイントＪｑとしたとき、あるジョイントＪｐのベクトルＶｐは、Ｊｐ（ｊｐｘ、ｊｐｙ、ｊｐｚ）―Ｊｑ（ｊｑｘ、ｊｑｙ、ｊｑｚ）によって与えられる。例えば、人間の右手首（Ｊ１）、左手首（Ｊ２）、右肘（Ｊ３）、左肘（Ｊ４）、腰（Ｊ５）、右膝（Ｊ６）、左膝（Ｊ７）、右足首（Ｊ８）、左足首（Ｊ９）のジョイントに取り付けられたセンサからデータを取得している場合、
右手首（Ｊ１）のベクトルＶ１は、Ｊ１−Ｊ３
左手首（Ｊ２）のベクトルＶ２は、Ｊ２−Ｊ４
右膝（Ｊ６）のベクトルＶ６は、Ｊ６−Ｊ５
左膝（Ｊ７）のベクトルＶ７は、Ｊ７−Ｊ５
右足首（Ｊ８）のベクトルＶ８は、Ｊ８−Ｊ６
左足首（Ｊ９）のベクトルＶ９は、Ｊ９−Ｊ６
の６つのベクトルＶ１、Ｖ２、Ｖ６、Ｖ７、Ｖ８、Ｖ９が定義され、このベクトルの集合が上述したデータベースの基本要素の一つを構成する。
【００６７】
そして、もう一つは、カメラ視点の角度を表すＡｎｇ１（θ、φ）である。
【００６８】
データベース部１２に格納されているデータベースは、上述のベクトルの集合と、上述の角度Ａｎｇ１（θ、φ）と、が一組になったデータの集合によって構成されている。ここで、図６に示す、本発明の第４の実施の形態のデータベースの概略構成図を参照して、データベースの概要を説明する。このデータベースでは、上述した６つのベクトルＶ１、Ｖ２、Ｖ６、Ｖ７、Ｖ８、Ｖ９から成るベクトルの集合によって基本要素が構成されているものとする。また、６つのベクトルＶ１、Ｖ２、Ｖ６、Ｖ７、Ｖ８、Ｖ９は、（０ｏｒ１、０ｏｒ１、０ｏｒ１）の合計８パターンのベクトルから構成されるものとする。なお、本発明は、ベクトルＶ１、Ｖ２、・・・の数や、そのベクトルの数値によって限定されるものではない。
【００６９】
本発明のデータベースでは、最大、２（３×６）パターンあるベクトルの集合毎に、一つのＡｎｇ１（θｎ、φｎ）が記録される。言い換えれば、各ベクトルの集合に対して設定されているＡｎｇ１は、６つのベクトルＶ１、Ｖ２、Ｖ６、Ｖ７、Ｖ８、Ｖ９が一義的に決められた場合に、これらのベクトルの集合に対してカメラ視点の角度として好ましい角度（θｎ、φｎ）を表している。
【００７０】
本発明の第４の実施の形態では、上述のように作成されたデータベースを参照して、第１の実施の形態で抽出したキーポーズを視るカメラ視点を選択したうえで、該キーポーズを表示部１５に表示する。この処理は、図３に示す、表示ステップ８内での処理に相当する。
【００７１】
すなわち、第１の実施の形態で説明した処理を実行して抽出されたキーポーズＫＰ１、ＫＰ２、・・・ＫＰｋのいずれか一つを表示する際には、まず、そのキーポーズＫＰｋを表すフレームＫｋを構成するジョイント位置座標Ｊ１、Ｊ２、・・・ＪＭを参照する（参照ステップ）。そして、そのジョイント位置座標Ｊｍから、上述した６つのベクトルＶ１、Ｖ２、Ｖ６、Ｖ７、Ｖ８、Ｖ９を算出する（ベクトル算出ステップ。なお、このベクトル算出ステップにて算出したベクトルをＶ１’、Ｖ２’、Ｖ６’、Ｖ７’、Ｖ８’、Ｖ９’と記載することとする。）。そして、データベースに記録された６つのベクトルＶ１、Ｖ２、Ｖ６、Ｖ７、Ｖ８、Ｖ９を参照して、ベクトル算出ステップにて算出したベクトルＶ１’、Ｖ２’、Ｖ６’、Ｖ７’、Ｖ８’、Ｖ９’に最も近いものを特定し、その特定したベクトルＶ１、Ｖ２、Ｖ６、Ｖ７、Ｖ８、Ｖ９に対応付けられたＡｎｇ１を抽出する（カメラ視点抽出ステップ。）。そうして、カメラ視点抽出ステップにて抽出したＡｎｇ１にてキーポーズＫＰｋを表示部１５に表示する。
【００７２】
以上のように、本発明の第４の実施の形態によれば、キーポーズを視るうえで最適なカメラ視点で該キーポーズを視ることができる。これにより、モーションキャプチャデータによって反映されている挙動を視認するために要する時間が短縮されるという効果を奏する。
【００７３】
尚、キーポーズＫＰ１、ＫＰ２、・・・ＫＰｋのいずれか一つを表示する際の処理について詳細に説明したが、必ずしも一つに限る必要は無い。キーポーズの数にもよるが、フレームＫｋそれぞれのジョイント位置座標Ｊ１、Ｊ２、・・・ＪＭから算出した６つのベクトルＶ１、Ｖ２、Ｖ６、Ｖ７、Ｖ８、Ｖ９の平均値を算出することによって、ベクトルＶ１’、Ｖ２’、Ｖ６’、Ｖ７’、Ｖ８’を算出するようにしてもよい。これにより、複数のキーポーズにとって好ましいカメラ視点から該キーポーズを表示することができる。
【００７４】
ところで、本発明のデータベースでは、２（３×６）パターンあるベクトルの集合毎に、一つのＡｎｇ１（θｎ、φｎ）が記録されると述べたが、必ずしも、そのＡｎｇ１が最適なものとは言えないことが想定される。このような場合、一度、そのＡｎｇ１の角度のカメラ視点からキーポーズを視た視聴者が、カメラ視点の角度を適宜調整できる環境が望まれる。特に、複数人の視聴者がキーポーズを視聴する場合（例えば、インターネット環境を利用してサーバに格納されたモーションキャプチャデータ、キーポーズ、およびＡｎｇ１を参照する場合）にはその傾向が強い。そこで、以降では、一度ある角度のカメラ視点からキーポーズを視た視聴者がカメラ視点の角度を適宜調整した場合に、その調整された角度をデータベースに反映させるための処理について説明する。図７に、本発明の第４の実施の形態のデータベースの概略構成図の他例を示す。
【００７５】
図７に示すデータベースの概略構成図は、図６のものと比べると、Ｃｏｕｎｔ１、Ａｎｇ２、Ｃｏｕｎｔ２、Ａｎｇ３、Ｃｏｕｎｔ３、・・・がさらに加えられた点が異なる。Ｃｏｕｎｔ１には、上述したカメラ視点抽出ステップにてＡｎｇ１が参照された回数が記録される。カメラ視点抽出ステップにて抽出したＡｎｇ１にてキーポーズＫＰｋが表示部１５に表示された後、ある視聴者がカメラ視点の角度を入力部１１を操作して適宜調整した場合、その調整された角度がＡｎｇ２として記録される。
【００７６】
その後、さらに別の視聴者が、カメラ視点抽出ステップにて抽出したＡｎｇ１にてキーポーズＫＰｋを表示部１５に表示すると、まず、Ａｎｇ１を一つ繰り上げる。そして、キーポーズＫＰｋが表示部１５に表示された後、カメラ視点の角度を適宜調整した場合、その調整された角度がＡｎｇ２と同程度（例えば、±５度の範囲内。尚、この数値に限定されるものではない。）であれば、Ａｎｇ２を一つ繰り上げ、一方、その調整された角度がＡｎｇ２と同程度の範囲を超えていれば、その調整された角度がＡｎｇ３として記録される。以降、キーポーズＫＰｋが表示部１５に表示され、カメラ視点の角度が調整される毎に、データベースには、その角度を範囲内に含むＡｎｇ１、２、３・・・に対応するＣｏｕｎｔ１、２、３・・・が計数され、または新たなＡｎｇＬ（ただし、Ｌは２以上の整数。）が追加されることとなる。このようにしてデータベースを構成する要素は、視聴者が視聴する度に、新たなカメラ視点の最適な角度の候補Ａｎｇ２、３、４、・・・が追加されることとなる。
【００７７】
このようにして更新されるデータベースを参照して、第１の実施の形態で抽出したキーポーズを視るカメラ視点を選択し、該キーポーズを表示部１５に表示する場合の処理について説明する。すなわち、第１の実施の形態で説明した処理を実行して抽出されたキーポーズＫＰ１、ＫＰ２、・・・ＫＰｋのいずれか一つを表示する際には、まず、そのキーポーズＫＰｋを表すフレームＫｋを構成するジョイント位置座標Ｊ１、Ｊ２、・・・ＪＭを参照する（参照ステップ）。そして、そのジョイント位置座標Ｊ１、Ｊ２、・・・ＪＭから、上述した６つのベクトルＶ１’、Ｖ２’、Ｖ６’、Ｖ７’、Ｖ８’、Ｖ９’を算出する。そして、データベースに記録された６つのベクトルＶ１、Ｖ２、Ｖ６、Ｖ７、Ｖ８、Ｖ９を参照して、ベクトル算出ステップにて算出したベクトルＶ１’、Ｖ２’、Ｖ６’、Ｖ７’、Ｖ８’、Ｖ９’に最も近いものを特定し、その特定したベクトルＶ１、Ｖ２、Ｖ６、Ｖ７、Ｖ８、Ｖ９に対応付けられたＡｎｇ１、２、３、・・・のうちの一つを、Ｃｏｕｎｔ１、２、３の値に基づいて選択、抽出する（カメラ視点抽出ステップ。）。尚、上述したデータベースの更新手法では、Ｃｏｕｎｔ１の値が最も大きくなるため、例えばＣｏｕｎｔ１の値の半分の数値を別のＣｏｕｎｔ２、３、・・・の一つが超えれば、その一つのＣｏｕｎｔに対応するＡｎｇを抽出するなどの処理などが必要である。そうして、カメラ視点抽出ステップにて抽出したＡｎｇ１、２、３・・・のいずれかにてキーポーズＫＰｋを表示部１５に表示する。
【００７８】
この構成により、一度ある角度のカメラ視点からキーポーズを視た視聴者がカメラ視点の角度を適宜調整した場合に、その調整された角度をデータベースに反映させることができる。この結果、視聴者にとってより好ましいカメラ視点の角度にデータベースを更新することができ、モーションキャプチャデータによって反映されている挙動を視認するために要する時間が短縮されるという効果を奏する。
【００７９】
尚、本発明のデータベースでは、２（３×６）パターンあるベクトルの集合毎に、一つのＡｎｇ１（θｎ、φｎ）が記録されると述べたが、該データベースのデータサイズの関係などから必ずしも全てのベクトルの集合にＡｎｇ１が割り当てられていない場合が想定される（Ａｎｇ１がＮｕｌｌの場合が想定される。）。このような場合、まずは、上述したカメラ視点抽出ステップにおいて、カメラ視点の角度を一律に（０、０）として抽出し、まずは、その（０、０）の角度にてキーポーズＫＰｋを表示部１５に表示する。その後、視聴者がカメラ視点の角度を適宜調整すれば、その角度をＡｎｇ１として入力する。これにより、Ａｎｇ１を２（３×６）パターンあるベクトルの集合毎に割り当てなくても、視聴者が結果的に入力してくれることになるため、データベース作成者または管理者の負担を軽減することができる。
【００８０】
尚、本発明の第４の実施の形態では、第１の実施の形態で抽出したキーポーズを最も好ましい角度のカメラ視点（θ、φ）で視る際の処理を一例として挙げて説明したが、上述の最も好ましい角度のカメラ視点（θ、φ）で視る際の処理は、必ずしもキーポーズを視る際の処理に限る必要は無い。このため、この処理を実施するための最小の構成は次のように記載することができる。
【００８１】
本発明のキーポーズの選定方法は、
モーションキャプチャにより逐次取得したＮ（ただし、Ｎは整数。）個のフレームのうちの少なくとも一つを構成する複数のジョイント位置座標を参照して、あるジョイントの、該ジョイントの動きを制約するルートジョイントを起点とするベクトルを算出し、
予め前記ベクトルに応じたカメラ視点の角度が登録されたデータベースを参照して、前記算出したベクトルに対応するカメラ視点の角度を抽出し、
前記抽出したカメラ視点の角度から、前記フレームのうちの少なくとも一つを表示する。
【００８２】
以上、本発明の第１、２、３、４の実施の形態の制御装置、およびその制御装置によるキーポーズの選定方法について詳細に説明した。本発明によれば、多数のモーションキャプチャデータのなかから所望の挙動が反映されたものを探す視聴者は、モーションキャプチャデータにおける特徴的な挙動を表すｋ個のキーポーズのみを視認することによって、所望の挙動を探せばよい。このため、視聴者は、各モーションキャプチャを最初から最後まで再生する必要がなく、さらに、短期間でモーションキャプチャデータによって反映されている挙動を視認することができる。
【符号の説明】
【００８３】
１１  入力部
１２  データベース部
１３  プログラム記憶部
１４  フレーム記憶部
１５  表示部
１６  処理部
【図１】
2010181959.tif 000003
【図２】
2010181959.tif 000004
【図３】
2010181959.tif 000005
【図４】
2010181959.tif 000006
【図５】
2010181959.tif 000007
【図６】
2010181959.tif 000008
【図７】
2010181959.tif 000009