(57)【特許請求の範囲】
【請求項１】
測定対象に付着され、前記測定対象とともに動く３次元運動を計測データとして検出するセンサー部と、
前記測定対象とともにマーカーである前記センサー部を撮像して動画像データを生成する複数の撮像部と、
前記動画像データと前記計測データとを時間軸上で同期させる制御部と、を備え、
前記撮像部は、前記撮像部から撮影対象までの距離を計測可能であり、計測した距離データを含む動画像データを生成するものであり、
前記制御部は、複数の撮像部によって生成された複数の前記動画像データに基づいて、前記動画像データのフレームにおける前記センサー部の位置を特定して、前記距離データに基づき前記特定したセンサー部の３次元運動を表す解析データを生成し、
前記解析データから算出した前記センサー部の３次元運動に関する変化パターンと、前記計測データから算出した前記センサー部の運動に関する変化パターンとを比較し、比較結果に基づいて前記動画像データと前記計測データとを時間軸上で同期させる、
３次元画像処理システム。
【請求項２】
前記撮像部は、対象までの距離を画素ごとに計測可能であり、画素ごとに計測した距離データを含む動画像データを生成するものであり、
前記制御部は、画素ごとに計測した複数の前記動画像データに基づいて、前記センサー部の３次元運動を表す解析データを生成する、
請求項１に記載の３次元画像処理システム。
【請求項３】
前記制御部は、前記解析データから算出した前記センサー部の３次元運動に関する絶対速度の変化パターンと、前記計測データから算出した前記センサー部の運動に関する絶対速度の変化パターンとを比較し、比較結果に基づいて前記動画像データと前記計測データとを時間軸上で同期させる、
請求項１または２に記載の３次元画像処理システム。
【請求項４】
前記制御部は、前記比較結果に基づいて、前記計測データに基づく位置の座標系と前記動画像データに基づく位置の座標系とを対応付ける、
請求項１ないし３のいずれかに記載の３次元画像処理システム。
【請求項５】
前記制御部は、前記取得した複数の動画像データに基づいて前記対象の動画像表示データを生成し、前記取得した複数の動画像データと同期した前記計測データに基づいて前記マーカーの運動を表す動画像表示データを生成し、前記対象の前記動画像表示データと前記マーカーの動画像表示データとを同期再生する、
請求項１ないし４のいずれかに記載の３次元画像処理システム。
【請求項６】
測定対象に付着され、前記測定対象とともに動く３次元運動を計測データとして検出するセンサー部から前記計測データを取得し、前記測定対象とともにマーカーである前記センサー部を撮像して動画像データを生成する複数の撮像部のそれぞれから前記動画像データを取得する取得部と、
前記動画像データと前記計測データとを時間軸上で同期させる制御部と、を備え、
前記撮像部は、前記撮像部から撮影対象までの距離を計測可能であり、計測した距離データを含む動画像データを生成するものであり、
前記制御部は、複数の撮像部によって生成された複数の前記動画像データに基づいて、前記動画像データのフレームにおける前記センサー部の位置を特定して、前記距離データに基づき前記特定したセンサー部の３次元運動を表す解析データを生成し、
前記解析データから算出した前記センサー部の３次元運動に関する変化パターンと、前記計測データから算出した前記センサー部の運動に関する変化パターンとを比較し、比較結果に基づいて前記動画像データと前記計測データとを時間軸上で同期させる、
３次元画像処理装置。
【請求項７】
測定対象に付着されたセンサー部により、前記測定対象とともに動く前記センサー部の３次元運動を検出した計測データと、複数の撮像部により前記測定対象とともにマーカーである前記センサー部を撮像した複数の動画像データと、を時間軸上で同期させる３次元画像処理方法であって、
前記撮像部は、前記撮像部から撮影対象までの距離を計測可能であり、計測した距離データを含む動画像データを生成するものであり、
複数の撮像部によって生成された複数の前記動画像データに基づいて、前記動画像データのフレームにおける前記センサー部の位置を特定して、前記距離データに基づき前記特定したセンサー部の３次元運動を表す解析データを生成し、
前記解析データから算出した前記センサー部の３次元運動に関する変化パターンと、前記計測データから算出した前記センサー部の運動に関する変化パターンとを比較し、比較結果に基づいて前記動画像データと前記計測データとを時間軸上で同期させる、
３次元画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元画像処理システム、３次元画像処理装置および３次元画像処理方法に関する。
【背景技術】
【０００２】
従来、撮像装置とモーションセンサーを用いた３次元画像処理システムが知られている。特許文献１には、モーションセンサーと同期した光源の点滅とともに対象を撮像することで、カメラから出力される動画像記録データとモーションセンサーから出力される時系列の計測データとを同期させる方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１９２５９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、一般に、カメラの時間分解能であるフレームレートはモーションセンサーの時間分解能に比べてはるかに低い。したがって特許文献１に開示された方法によると、たとえモーションセンサーの時間分解能で光源の点滅がモーションセンサーに同期しているとしても、カメラでは同じ分解能で光源の点滅を記録できないため、動画像記録データと計測データとを正確に同期させることができないという問題がある。そして、動画像記録データと計測データとの時間のずれは、それらによって表される対象の位置のずれになる。そしてこのような問題は、ゴルフスイングのように、非常に速い運動を記録し再生するときに顕著に表れる。
【０００５】
本発明は、このような問題を解決するために創作されたものであって、カメラとモーションセンサーによって運動を記録し再生する際に、カメラの出力に基づく時系列データとモーションセンサーの出力に基づく時系列データとを正確に同期させることを目的の１つとする。
【課題を解決するための手段】
【０００６】
上記目的を達成するための３次元画像処理システムは、測定対象に付着され、前記測定対象とともに動く３次元運動を計測データとして検出するセンサー部と、前記測定対象とともに前記センサー部が撮像された動画像データを生成する動画像データ生成部と、前記動画像データに基づく前記センサー部の運動に関する変化パターンと、前記計測データに基づく前記センサー部の運動に関する変化パターンを比較することにより、前記動画像データと前記計測データとを時間軸上で同期させる制御部と、を備える。
【０００７】
動画像データに基づくセンサー部の運動に関する変化パターンと計測データに基づくセンサー部の運動に関する変化パターンとを比較する場合、それぞれのデータに表れる既知の特徴的な変化（例えば光源の点滅、打撃の瞬間などによって表れる特徴的な変化）を探索してデータ同士を対応付けなくても、全体または相当の長さがある区間について時系列のデータを比較することにより、任意の時刻について計測データと解析データの対応関係を特定することができる。したがって計測データに基づく変化パターンと解析データに基づく変化パターンとを比較することにより、データのサンプリング周期が異なっていても、既知の特徴的な変化がそれぞれのデータに表れていなくても、データの対応関係に基づいて、両者を正確に同期させることができる。すなわち本発明によると、計測データと解析データとを時間に伴う変化パターンとして比較した結果に基づいて計測データと解析データとを同期させるため、正確に両者を同期させることができる。なお、「変化パターンを比較」とは、例えばそれぞれの極値をとる時間や既知の値をとる時間を比較するのではなく、それぞれの時間関数の任意の時間に対応する値が一致する２つの関数の位相差を求めることを意味する。すなわち時系列データを変化パターンとして比較することは、謂わば、点の比較ではなく、時間の関数の比較である。そして計測データと解析データとを時間の関数として比較する方法としては、位相をずらしながら同じ時刻のデータの差分の総和を比較するといった様々な方法が知られており、どのような方法を採用しても良い。
【０００８】
また請求項に記載された各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら各手段の機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。さらに、本発明は３次元画像処理プログラムとしても、その記録媒体としても成立する。むろん、そのコンピュータプログラムの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体であってもよい。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態にかかる模式図。
【図２】本発明の実施形態にかかるブロック図。
【図３】本発明の実施形態にかかるフローチャート。
【図４】本発明の実施形態にかかるグラフであって、図４Ａは動画像に基づく対象の変位の変化パターンを示し、図４Ｂは計測データに基づく対象の変位の変化パターンを示す。
【図５】本発明の実施形態にかかるグラフであって、図５Ａは動画像に基づく対象の絶対速度の変化パターンを示し、図４Ｂは計測データに基づく対象の絶対速度の変化パターンを示す。
【図６】本発明の実施形態にかかるグラフであって、動画像に基づく対象の絶対速度の変化パターンと、計測データに基づく対象の絶対速度の変化パターンの比較を示す。
【図７】本発明の実施形態にかかる画面構成図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態を添付図面を参照しながら以下の順に説明する。尚、各図において対応する構成要素には同一の符号が付され、重複する説明は省略される。
【００１１】
１．構成
ここでは本発明の一実施例として、ゴルフスイングの動画像を記録して表示することにより、ゴルフスイングの指導に役立てる３次元画像処理システムについて説明する。３次元画像処理システムは、図１に示すように、対象である人Ｍと一体に動くマーカーの３次元運動の計測データを生成するモーションセンサー２と、人Ｍの動画像記録データを生成する撮像部３１、３２、３３、３４と、撮像部３１、３２、３３、３４のそれぞれから動画像記録データを取得し、取得した複数の動画像記録データに基づいてマーカーの３次元運動を示す解析データを生成し、前記計測データと前記解析データとを時間の関数として比較し、比較結果に基づいて、前記取得した複数の動画像記録データと前記計測データとを同期させる制御部１とを備えている。
【００１２】
センサー部としてのモーションセンサー装置２は、人Ｍの手首やゴルフクラブのシャフトＣに取り付けられ、人Ｍやゴルフクラブと一体に動く。モーションセンサー装置２は、３軸の加速度センサーと３軸の角速度センサーとを備えている。また、モーションセンサー装置２には、マーカーとしての機能が備わっている。モーションセンサー装置２は、モーションセンサー装置２が一体に取り付けられた部位の加速度および角速度を予め決められたサンプリング周波数（例えば１０００Ｈｚ）で計測する。モーションセンサー２が生成する加速度および角速度の計測データに基づいてマーカーの速度、位置、角加速度、姿勢を導出する。なお、モーションセンサー装置２は、マーカーの加速度、速度、位置、角速度、角加速度のいずれかを撮像部３１のフレームレートより高い時間分解能で直接計測できる構成であれば良い。本実施例では、後述するように直接の計測結果である加速度から絶対速度と位置を導出することとするが、例えば直接計測結果の角加速度から位置を導出する構成でも良いし、直接位置を計測する構成としても良い。加速度を２回積分すれば位置を導出することができ、角加速度を２回積分すると角度（すなわちモーションセンサー装置２の姿勢）を導出することができる。また位置を１回微分することで速度を導出することができる。
【００１３】
マーカーは、マーカーを撮像した動画像記録データの解析によってその運動を解析できる構成であれば良く、予め決められた波長の光を自ら放射する構成でも良いし、予め決められた波長の光を反射する構成でも良い。またマーカーが放射又は反射する光は、可視光であってもよいし、赤外線など、可視光以外の光であっても良い。また、マーカーとモーションセンサー２は、一体に構成されていても良いし、人Ｍの手首やゴルフクラブのシャフトにそれぞれが取り付けられることによってマーカーと一体に運動するように構成されても良い。
【００１４】
動画像データ生成部としての撮像部３１、３２、３３、３４は、運動を記録する対象である人Ｍの死角を互いに補うように、すなわち人Ｍを囲むように、例えば９０度間隔で配置される。撮像部を配置する数は、２以上であればよく、３または５以上でも良い。撮像部３１、３２、３３、３４が生成する動画像記録データは、可視光の強度を画素毎に持つ可視光画像と、対象までの距離を画素毎に持つ距離画像を時系列に記録したデータである。具体的には、撮像部３１、３２、３３、３４は、可視光の撮像素子と、赤外線の光源と撮像素子とを備えている。赤外線帯域に感度を持つ撮像素子によって赤外線の位相を画素毎に計測することによって光源側と受光側の位相差に対応する対象までの距離（奥行き）を画素毎に計測することが可能になる。二次元配列された画素毎に情報を持つ画像データは、データサイズが大きい。このため撮像部のフレームレートは高い方が望ましいものの、一般には、モーションセンサーの時間分解能に比べると桁違いに低くならざるを得ない（例えば３０〜６０Ｈｚ）。なお、撮像部は、可視光画像データだけまたは距離画像データだけを生成する構成でも良い。
【００１５】
制御部１は、ＰＣ（Personal Computer）、スマートフォン等の情報処理端末で構成される。図２に示すように制御部１は、外部インターフェース１１、内部インターフェース１２、プロセッサユニット１３、主記憶部１４、外部記憶部１５、表示部１６等を備えている。外部インターフェース１１は、ＵＳＢ、ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ、ＩｒＤＡ等の規格に準拠した入出力インターフェースを備え、撮像部３１、３２、３３、３４、モーションセンサー２からデータを入力する。なお、撮像部３１、３２、３３、３４、モーションセンサー２と制御部１とは、通信可能に接続してもよいし、接続しなくても良い。モーションセンサー２と制御部１とを接続しない場合、リムーバブルメモリを用いることにより、撮像部３１、３２、３３、３４、モーションセンサー２からデータを制御部１に入力すればよい。外部記憶１５には、ＯＳ（Operating System）、３次元画像処理プログラムなどの各種プログラムが記憶されている。表示部１６は、液晶表示パネル、ディスプレイコントローラーなどを備える。内部インターフェース１２は、外部インターフェース１１、外部記憶部１５、主記憶部１４、表示部１６、プロセッサユニット１３の間でデータ転送を制御する。
【００１６】
プロセッサユニット１３は、外部記憶部１５に記憶された３次元画像処理プログラムを主記憶部１４にロードして実行することにより、取得部１３１、解析部１３２、同期制御部１３３、描画部１３４および再生部１３５として機能する。取得部１３１としてのプロセッサユニット１３の機能は、モーションセンサー２から計測データを取得し、撮像部３１、３２、３３、３４のそれぞれから動画像記録データを取得することである。解析部１３２としてのプロセッサユニット１３の機能は、撮像部３１、３２、３３、３４のそれぞれから取得した動画像記録データに基づいてマーカーの３次元運動を示す解析データを生成することである。同期制御部１３３としてのプロセッサユニット１３の機能は、計測データに基づく変化パターンと解析データに基づく変化パターンとを比較し、比較結果に基づいて、動画像記録データと計測データとを時間軸上で同期させるとともに、計測データに基づく位置の座標系と動画像記録データに基づく位置の座標系とを対応付けることである。描画部１３４としてのプロセッサユニット１３の機能は、撮像部３１、３２、３３、３４のそれぞれから取得した動画像記録データに基づいて対象である人Ｍの動画像表示データを生成し、また、計測データに基づいてマーカーの動画像表示データを生成することである。再生部１３５としてのプロセッサユニット１３の機能は、人Ｍの動画像表示データとマーカーの動画像表示データを同期再生することである。以下、これらの機能について詳細に説明する。
【００１７】
２．作動
図３は、プロセッサユニット１３が３次元画像処理プログラムを実行することによって実行される３次元画像処理の流れを示すフローチャートである。
【００１８】
ユーザーが３次元画像処理プログラムを起動した後にデータ入力を指示すると、プロセッサユニット１３は、モーションセンサー装置２と撮像部３１、３２、３３、３４とから計測データと動画像記録データとを取得する（Ｓ１）。例えば、制御部１とモーションセンサー装置２と撮像部３１、３２、３３、３４が接続されている場合、ユーザーは制御部１のマウスやキーボードやタッチパネルを操作することによってデータ入力を指示することができる。データ入力が指示されると、制御部１は、モーションセンサー２と撮像部３１、３２、３３、３４とを制御して計測データと動画像記録データを生成させ、生成された計測データと動画像記録データを取得する。
【００１９】
次にプロセッサユニット１３は、動画像記録データに基づいて３次元動画像データを生成する（Ｓ２）。具体的には、プロセッサユニット１３は、撮像部３１、３２、３３、３４が生成した各時間の距離画像データに基づいて時系列のポリゴンモデルを３次元モデルデータとして生成する。可視光画像データには、各ポリゴンとの対応関係が設定される。３次元モデルデータと可視光画像データとこれらの対応関係を示すデータとが３次元動画像データを構成する。
【００２０】
次にプロセッサユニット１３は、撮像部３１、３２、３３、３４が生成した可視光動画像データを解析することにより、マーカーの３次元運動を示す解析データを生成する（Ｓ３）。具体的には、フレーム毎に、可視光画像データに対するテンプレートマッチングなどの手法によって可視光画像座標系でマーカーの位置を特定し、３次元モデルデータと可視光画像データとの対応関係に基づいて、絶対座標系でマーカーの位置を特定する。ここで絶対座標系とは、３次元モデルデータの座標系（Ｘ、Ｙ、Ｚ）である。図４Ａは、このようにして特定されるマーカーの位置を時間軸上にプロットしたグラフである。フレーム毎に絶対座標系で特定されたマーカーの位置を時間の関数として扱うことにより、マーカーの変位、速度、加速度等を導出することが可能である。ここでは、マーカーの絶対速度の時系列を解析データとして生成する。このようにして生成される解析データは、図５Ａに示すように、撮像部３１、３２、３３、３４のフレームレート（時間分解能）でマーカーの３次元運動を示すデータとなる。なお、解析データは、マーカーの位置や加速度を表すデータでも良い。
【００２１】
次にプロセッサユニット１３は、計測データと解析データとを時間の関数として比較し、比較結果に基づいて計測データと解析データとを同期させる（Ｓ４）。図４Ｂはモーションセンサー２が生成する計測データの解析により特定されるマーカーの位置を時間軸上にプロットしたグラフである。モーションセンサー２が生成する計測データの時間分解能は、撮像部３１、３２、３３、３４のフレームレートよりも高いため、計測データから導かれるマーカーの位置を解析データと同一スケールの時間軸上にプロットすると、図４Ｂに示すように、同一区間内のデータ個数は計測データの方が多くなる。また計測データから導かれるマーカーの絶対速度を解析データと同一スケールの時間軸上にプロットすると、図５Ｂに示すように同一区間内のデータ個数は計測データの数に対応する。
【００２２】
解析データから導かれるマーカーの絶対速度と計測データから導かれるマーカーの絶対速度とは、図６に示すように時間分解能（サンプリングレート）が異なるものの時間関数としてみれば時系列に共通する、または近似する変化パターンを有している。すなわち、これら２つの時間関数は、同一の運動を表すデータであるため、位相を一致させ、誤差成分を除けば、重なり合うはずである。そこで、計測データに基づいてマーカーの絶対速度を導出し、ＩＣＰ（iterative closest point）等の公知の手法を用いて、解析データに基づくマーカーの絶対速度と計測データに基づくマーカーの絶対速度とが最も近くなる位相差を求めることで、これら２つの時間関数を同期させることができる。すなわち、解析データの基礎となった動画像記録データと計測データとの位相差を導出することができる。そしてこのように導出される位相差は、複数の時間について動画像記録データと計測データとの差分を総合的に加味して導出されるため、動画像記録データのフレームレートよりも高い精度で導出できる。
【００２３】
次にプロセッサユニット１３は、モーションセンサー２１が生成する計測データによって導出される位置の座標系と撮像部３１、３２、３３、３４が生成する動画像記録データに基づく３次元モデルデータの座標系とを対応付ける（Ｓ５）。そこでプロセッサユニット１３は、計測データに基づいてマーカーの位置（座標）を導出し、対応する解析データに基づいてマーカーの位置（座標）を導出し、計測データに基づくマーカーの位置と解析データに基づくマーカーの位置とに基づいて、３次元モデルデータの座標系（撮像部の座標系）と計測データによって導かれる位置の座標系（モーションセンサーの座標系）を対応付ける変換行列を導出する。
【００２４】
次にプロセッサユニット１３は、人Ｍの全体を表す動画像表示データとマーカーの運動を表す動画像表示データとを生成して同期させる（Ｓ６）。具体的には、ステップＳ２で生成した３次元モデルデータと、撮像部３１、３２、３３、３４が生成した動画像記録データに基づいて人Ｍの全体を表す２次元の動画像データが視点に応じて動画像表示データとして生成される。すなわち、視点を設定すると、視点から見た人Ｍを表す２次元の動画像表示データが３次元動画像データに基づいて生成される。また計測データに基づいて、視点から見たマーカーの運動を表す２次元の動画像表示データが生成さる。
【００２５】
計測データに基づく動画像表示データによって表すマーカーの形態は、モーションセンサー２と一体のマーカーそのものの形態であっても、そうでなくてもよく、マーカーの位置を表示画面上で特定できる形態（例えば予め決められた色の円）であればよい。ここでは、計測データに基づいてフレーム毎にマーカーの描画位置を導出し、導出した描画位置に予め決められたマーカーの図形を描画することにより、マーカーの運動を表す動画像表示データを生成する。
【００２６】
３次元動画像データに基づいて生成する人Ｍの動画像表示データと、計測データに基づいて生成するマーカーの動画像表示データのフレームレートは、再生のフレームレートに一致している必要はない。動画像表示データのフレームレートと再生のフレームレートが異なっていても、フレームレートの差に応じて間引きや補間をすることにより、１倍速再生時には、記録された人とマーカーの動きを実際の速さで再生することができる。そこで、３次元動画像データに基づいて生成する動画像表示データのフレームレートは、撮像部３１、３２、３３、３４のフレームレートと一致させる。また計測データに基づいて生成するマーカーの動画像表示データのフレームレートは、モーションセンサー２１の時間分解能に一致させる。モーションセンサー２の時間分解能が撮像部３１、３２、３３、３４のフレームレートよりも高いため、所謂スロー再生時やコマ送り再生時には、可視光動画像記録データに基づく人Ｍの動画像表示データによっては表示できないマーカーの動きを、計測データに基づく動画像表示データによって表示することができる。フレームレートを落としてスロー再生したり、ユーザーの指示毎に表示対象フレームを順送りするコマ送り再生することにより、体全体の動きよりも細かくマーカーの動きを確認することも可能である。
【００２７】
解析データに基づく人Ｍの動画像表示データと計測データに基づくマーカーの運動を表す動画像表示データとを同期させるに当たっては、ステップＳ４で導出した位相差が用いられる。具体的には、任意の時刻Ｔに表示されるフレームに対応する可視光動画像データの録画時刻ｔ１と計測データの計測時刻ｔ２とが一致した状態で再生されるように、ステップＳ４で導出した位相差に基づいて、人Ｍの全体を表す動画像表示データとマーカーの運動を表す動画像表示データの各フレームの再生タイミングを設定する。
【００２８】
次にプロセッサユニット１３は、人Ｍの全体を表す動画像表示データとマーカーの運動を表す動画像表示データとを同期再生する（Ｓ７）。本実施例において同期再生とは、任意の時刻Ｔに表示されるフレームに対応する可視光動画像データの録画時刻ｔ１と計測データの計測時刻ｔ２とが一致するように画像を再生することである。
【００２９】
同期再生の形態としては、例えば人Ｍの全体を表す動画像表示データとマーカーの運動を表す動画像表示データとを重ねて再生しても良いし、２つの独立した画面内領域にそれぞれを再生しても良い。なお、人Ｍの全体を表す動画像表示データとマーカーの運動を表す動画像表示データとを重ねて再生する場合、同一の視点が用いられる。人Ｍの全体を表す動画像表示データとマーカーの運動を表す動画像表示データとを２つの独立した画面内領域にそれぞれ再生する場合、それぞれの画面内領域に対応する視点を一致させても良いし、一致させなくても良い。すなわち、人Ｍの全体を表す動画像表示データとマーカーの運動を表す動画像表示データとを生成する際に設定する視点を異ならせても良い。
【００３０】
人Ｍの動画像表示データとマーカーの運動を表す動画像表示データとが同期していれば、マーカーの動きと人Ｍの動きがどのように対応しているかを画面上で確認することができる。すなわちユーザーは、人Ｍの体全体の動きを画面で確認しながら、マーカーの微小時間内の位置の変化や、マーカーの正確な軌跡といったマーカーの動きをさらに細かく画面で確認することができる。
【００３１】
そしてステップＳ５において、計測データに基づく位置の座標系と動画像記録データに基づく位置の座標系とが対応付けられているため、人Ｍの全体を表す動画像表示データによって時刻Ｔに表されるマーカーの画面上の位置とマーカーの運動を表す動画像表示データによって同じ時刻Ｔに表されるマーカーの画面上の位置とを一致させることが可能である。また、人Ｍの動画像表示データのフレームに、マーカーの運動を表す動画像表示データの複数のフレームを重ねて合成することにより、ある瞬間までのマーカーの軌跡とその瞬間の人Ｍの姿勢を対応付けて確認することも可能である。
【００３２】
図７は、解析データに基づく動画像表示データの１つのフレームに、計測データに基づく動画像表示データの複数のフレームを重畳合成して同期再生する際の静止画面の構成例を説明するための模式図である。図７Ａにおいて、５１、５２は、撮像部３１、３２、３３、３４が生成する動画像記録データの連続する２つのフレームに基づく動画像表示データによって画面表示される人Ｍを示している。６１、６２、６３は、５１で示される状態に人Ｍが記録されてから５２で示される状態に人Ｍが記録されるまでの期間に生成された計測データに基づく動画像表示データのフレームによって画面表示されるマーカーを示している。人Ｍが５１のように表れるフレームは合成せずに、人Ｍが５２のように表れるフレームとマーカーが６１、６２、６３のように表れるフレームを合成してもよいし、人Ｍが５１、５２のように表れる２つのフレームとマーカーが６１、６２、６３のように表れるフレームを合成しても良い。図７Ｂにおいて、５３、５４は、撮像部３１、３２、３３、３４が生成する動画像記録データの連続する２つのフレームに基づく動画像表示データによって画面表示される人Ｍを示している。また５３は、図７Ａの５２で表された人Ｍの状態に対応している。６５−６８は、５３で示される状態に人Ｍが記録されてから５４で示される状態に人Ｍが記録されるまでの期間に生成された計測データに基づく動画像表示データのフレームによって画面表示されるマーカーを示している。
【００３３】
以上説明した実施例によると、計測データと解析データとを時間の関数として比較するため、それぞれのデータに表れる既知の特徴的な変化を探索してデータ同士を対応付けなくても、全体または相当の長さがある区間について計測データと解析データとを比較することにより、任意の時刻についてデータの対応関係を特定することができる。したがって、データのサンプリング周期が異なっていても、既知の特徴的な変化がそれぞれのデータに表れていなくても、正確に計測データと解析データを同期させることができる。そして正確に計測データと解析データを同期させることができるため、計測データに基づく位置の座標系と動画像記録データに基づく位置の座標系とを正確に対応付けることができる。
【００３４】
３．他の実施形態
尚、本発明の技術的範囲は、上述した実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、上記実施例では、マーカーの絶対速度によって解析データと計測データを比較したが、計測データと動画像記録データとに基づいてそれぞれ導出するマーカーの位置や加速度といった他の物理量を導出し、絶対速度以外によって解析データと計測データを比較しても良い。
【００３５】
上述した実施例では、動画像記録データと計測データとを同期させるようにしたが、複数の撮像部により得られる複数の動画像記録データから３次元運動を表す３次元動画データを生成し、３次元の動画データと計測データとを同期させるようにしてもよい。
【００３６】
そして計測データと解析データを時間の関数として比較して位相差を特定する方法としては、ＩＣＰに限らず、複数のデータ同士の対応関係を直接的又は間接的に仮定し、仮定された対応関係にあるデータ同士の差を求め、その差が最小になるデータ同士の対応関係に対応する位相差を求めることができればよい。また、このようにして求める位相差を、計測データの時間分解能よりも高い精度で求めることも可能である。すなわち、離散的な関数から連続的な関数を求め、連続的な関数同士の比較によって位相差を求めても良い。
【００３７】
また例えば、上記実施例では、人Ｍの全体を表す２次元の動画像表示データとマーカーの運動を表す２次元の動画像表示データとをそれぞれ生成した後に合成することによって体全体とマーカーの動画像表示データを同期再生する例について説明したが、３次元動画像データに基づいて人Ｍを２次元で描画するフレームに、計測データに基づいて直接マーカーを描画してもよい。すなわち、解析データと計測データとに基づいて１つの動画像表示データを生成しても良い。解析データと計測データとに基づいて１つの動画像表示データを生成する場合、同じ時刻の解析データと計測データとに基づいて動画像表示データの１フレームを生成すればよい。
【００３８】
また上記実施例では、複数の撮像部のそれぞれから動画像記録データを制御部が取得する例について説明したが、複数の撮像部のそれぞれから動画像記録データを取得し、取得した動画像記録データに基づいて３次元動画像データを生成する装置と、この装置から取得した３次元動画像データとモーションセンサーから取得する計測データとを処理する３次元画像処理装置とを備える３次元画像処理システムを構成しても良い。
【００３９】
また上記実施例では、ゴルフスイングの動画像を記録して再生する３次元画像処理システムを例にして本発明を説明したが、対象の運動を、対象を含む画像データと、対象の点運動を直接計測するデータとで記録し、記録したこれらのデータに基づいて対象の３次元運動に関するデータ処理を実行する様々な３次元画像処理システムに本発明を適用することができる。
【符号の説明】
【００４０】
１…制御部、２…モーションセンサー、１１…外部インターフェース、１２…内部インターフェース、１３…プロセッサユニット、１４…主記憶、１５…外部記憶、１６…表示部、２１…モーションセンサー、３１…撮像部、３２…撮像部、３３…撮像部、３４…撮像部、１３１…取得部、１３２…解析部、１３３…同期制御部、１３４…描画部、１３５…再生部、Ｍ…人
【図１】
0006638194.tif 000002
【図２】
0006638194.tif 000003
【図３】
0006638194.tif 000004
【図４】
0006638194.tif 000005
【図５】
0006638194.tif 000006
【図６】
0006638194.tif 000007
【図７】
0006638194.tif 000008