(57)【要約】【課題】高精度で且つ安定性に優れた追跡処理における負荷の軽減及び処理速度の向上を図る。【解決手段】被写体追跡装置１００であって、被写体の動画像を取得する動画像取得部５ａと、取得された動画像内の被写体の向きを基準として、動体モデルの所定位置に存する動き基準点の二次元空間内での所定の時間間隔毎の位置を示す位置情報を取得する位置情報取得部５ｄと、取得された位置情報に基づいて、動画像を構成する複数のフレーム画像の各々にて被写体の特定部位を時系列フィルタを用いた処理により追跡する追跡部５ｇと、を備えている。【選択図】図１
2014157558.tif 000002
【特許請求の範囲】
【請求項１】
被写体の動画像を取得する第１取得手段と、
前記第１取得手段により取得された動画像内の被写体の向きを基準として、動体モデルの所定位置に存する動き基準点の二次元空間内での所定の時間間隔毎の位置を示す位置情報を取得する第２取得手段と、
前記第２取得手段により取得された位置情報に基づいて、前記動画像を構成する複数のフレーム画像の各々にて被写体の特定部位を時系列フィルタを用いた処理により追跡する追跡手段と、
を備えたことを特徴とする被写体追跡装置。
【請求項２】
前記動体モデルの複数の向きの各々と対応付けられた複数の前記位置情報を記憶する記憶手段を更に備え、
前記第２取得手段は、前記記憶手段に記憶されている前記複数の位置情報の中で、前記被写体の向きと略等しい動体モデルの向きと対応付けられている前記位置情報を取得することを特徴とする請求項１に記載の被写体追跡装置。
【請求項３】
前記第１取得手段により取得された動画像内の被写体の向きを特定する特定手段を更に備え、
前記第２取得手段は、前記特定手段により特定された前記被写体の向きと略等しい動体モデルの向きと対応付けられている位置情報を取得することを特徴とする請求項１又は２に記載の被写体追跡装置。
【請求項４】
前記特定手段は、更に、前記被写体を構成する複数の構成部分の長さの比率に基づいて、前記被写体の向きを特定することを特徴とする請求項３に記載の被写体追跡装置。
【請求項５】
前記第２取得手段は、前記動き基準点の三次元空間内での動きを示す情報から、前記被写体の向きと略等しい動体モデルの向きに対応する前記位置情報を生成して取得することを特徴とする請求項１に記載の被写体追跡装置。
【請求項６】
前記位置情報は、前記動き基準点の二次元空間内での位置を所定の時間間隔で連続して並べた複数のフレームからなる情報を含み、
前記位置情報の前記複数のフレーム数と前記動画像を構成する前記複数のフレーム画像数を一致させる第１一致手段を更に備え、
前記追跡手段は、前記第１一致手段により前記動画像を構成する前記複数のフレーム画像数と前記複数のフレーム数を一致させた前記位置情報に基づいて、前記被写体の特定部位を追跡することを特徴とする請求項１〜５の何れか一項に記載の被写体追跡装置。
【請求項７】
前記位置情報の前記動体モデルの大きさと前記動画像内の被写体の大きさを一致させる第２一致手段を更に備え、
前記追跡手段は、前記第２一致手段により前記動画像内の被写体の大きさと前記動体モデルの大きさを一致させた前記位置情報に基づいて、前記被写体の特定部位を追跡することを特徴とする請求項１〜６の何れか一項に記載の被写体追跡装置。
【請求項８】
前記追跡手段は、更に、前記被写体の特定部位に位置する追跡用マーカーを追跡することを特徴とする請求項１〜７の何れか一項に記載の被写体追跡装置。
【請求項９】
前記時系列フィルタは、パーティクルフィルタを含むことを特徴とする請求項１〜８の何れか一項に記載の被写体追跡装置。
【請求項１０】
前記位置情報は、スポーツの種類に応じて、前記動体モデルが所定のスポーツ特有の動きをなす際の前記動き基準点の二次元空間内での動きを示す情報を含むことを特徴とする請求項１〜９の何れか一項に記載の被写体追跡装置。
【請求項１１】
被写体追跡装置を用いた被写体追跡方法であって、
被写体の動画像を取得する処理と、
取得された動画像内の被写体の向きを基準として、動体モデルの所定位置に存する動き基準点の二次元空間内での所定の時間間隔毎の位置を示す位置情報を取得する処理と、
取得された位置情報に基づいて、前記動画像を構成する複数のフレーム画像の各々にて被写体の特定部位を時系列フィルタを用いた処理により追跡する処理と、
を含むことを特徴とする被写体追跡方法。
【請求項１２】
被写体追跡装置のコンピュータを、
被写体の動画像を取得する第１取得手段、
前記第１取得手段により取得された動画像内の被写体の向きを基準として、動体モデルの所定位置に存する動き基準点の二次元空間内での所定の時間間隔毎の位置を示す位置情報を取得する第２取得手段、
前記第２取得手段により取得された位置情報に基づいて、前記動画像を構成する複数のフレーム画像の各々にて被写体の特定部位を時系列フィルタを用いた処理により追跡する追跡手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体追跡装置、被写体追跡方法及びプログラムに関する。
【背景技術】
【０００２】
従来、被写体の所定位置に取り付けられたマーカーを撮像して、当該マーカーを追跡することで被写体の動作を取得（キャプチャ）するモーションキャプチャが知られている（例えば、特許文献１参照）。
このモーションキャプチャは、近年盛んに実用化がなされており、例えば、コンピュータグラフィック（ＣＧ）を用いた映像作成にて、モーションキャプチャにより動作を取得して、その動作をＣＧに与えることにより動きのある映像を実現している。また、例えば、スポーツ分野では、モーションキャプチャにより取得した動作をコンピュータに取り込んで、その動作の解析に適用している。また、モーションキャプチャにより取得した動作を機器の操作とする活用もなされている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−５５６５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、撮像により生成された画像データ内でのマーカーの追跡は、テンプレートマッチングを用いて行われるが、テンプレートマッチングの結果からマーカー位置を特定するだけでは、外乱に強いシステムを構築することはできない。また、マーカーを追跡する探索空間の次元数が多くなると、当該追跡処理にかかる負荷が大きく、適正に行うことができないといった問題もある。
【０００５】
そこで、本願発明の課題は、高精度で且つ安定性に優れた追跡処理における負荷の軽減及び処理速度の向上を図ることができる被写体追跡装置、被写体追跡方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る被写体追跡装置は、
被写体の動画像を取得する第１取得手段と、前記第１取得手段により取得された動画像内の被写体の向きを基準として、動体モデルの所定位置に存する動き基準点の二次元空間内での所定の時間間隔毎の位置を示す位置情報を取得する第２取得手段と、前記第２取得手段により取得された位置情報に基づいて、前記動画像を構成する複数のフレーム画像の各々にて被写体の特定部位を時系列フィルタを用いた処理により追跡する追跡手段と、を備えたことを特徴としている。
【０００７】
また、本発明に係る被写体追跡方法は、
被写体追跡装置を用いた被写体追跡方法であって、被写体の動画像を取得する処理と、取得された動画像内の被写体の向きを基準として、動体モデルの所定位置に存する動き基準点の二次元空間内での所定の時間間隔毎の位置を示す位置情報を取得する処理と、取得された位置情報に基づいて、前記動画像を構成する複数のフレーム画像の各々にて被写体の特定部位を時系列フィルタを用いた処理により追跡する処理と、を含むことを特徴としている。
【０００８】
また、本発明に係るプログラムは、
被写体追跡装置のコンピュータを、被写体の動画像を取得する第１取得手段、前記第１取得手段により取得された動画像内の被写体の向きを基準として、動体モデルの所定位置に存する動き基準点の二次元空間内での所定の時間間隔毎の位置を示す位置情報を取得する第２取得手段、前記第２取得手段により取得された位置情報に基づいて、前記動画像を構成する複数のフレーム画像の各々にて被写体の特定部位を時系列フィルタを用いた処理により追跡する追跡手段、として機能させることを特徴としている。
【発明の効果】
【０００９】
本発明によれば、高精度で且つ安定性に優れた追跡処理における負荷の軽減及び処理速度の向上を図ることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明を適用した一実施形態の被写体追跡装置の概略構成を示すブロック図である。
【図２】図１の被写体追跡装置による被写体追跡処理に係る動作の一例を示すフローチャートである。
【図３】図２の被写体追跡処理における初期設定処理に係る動作の一例を示すフローチャートである。
【図４】図２の被写体追跡処理における特定部位追跡処理に係る動作の一例を示すフローチャートである。
【図５】図２の被写体追跡処理を説明するための図である。
【図６】図２の被写体追跡処理を説明するための図である。
【図７】図２の被写体追跡処理に係る被写体の向きの特定方法の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の被写体追跡装置１００の概略構成を示すブロック図である。
【００１２】
被写体追跡装置１００は、例えば、ワークステーションなどのコンピュータにより構成され、図１に示すように、中央制御部１と、メモリ２と、記憶部３と、操作入力部４と、追跡処理部５と、表示部６と、表示制御部７と、外部通信部８とを備えている。
【００１３】
中央制御部１は、被写体追跡装置１００の各部を制御するものである。具体的には、中央制御部１は、ＣＰＵ（Central Processing Unit；図示略）を備え、被写体追跡装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００１４】
メモリ２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１、追跡処理部５等によって処理されるデータ等を一時記憶する。また、メモリ２は、外部機器２００から当該被写体追跡装置１００に対して送信されて、外部通信部８により受信された動画像データＤを一時記憶する。
【００１５】
記憶部３は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、中央制御部１の動作に必要な各種プログラムやデータ（図示略）を記憶している。
【００１６】
また、記憶部３は、位置情報データベース（位置情報ＤＢ）３ａを記憶している。
位置情報データベース（記憶手段）３ａは、動体モデルの複数の向きの各々と対応付けられた複数の位置情報Ｐ、…（図２参照）を記憶する。即ち、位置情報Ｐは、互いに直交する二軸（例えば、ｘ軸、ｙ軸等）により規定される二次元空間内における動き基準点の所定の時間間隔毎の位置を示す情報である。また、位置情報Ｐは、動体モデルの所定位置（例えば、左手首、左肘、左肩等の人体の関節に相当する位置）に存する動き基準点の二次元空間内での位置を所定の時間間隔で連続して並べた複数のフレームからなる情報を含んでいる。
ここで、動体モデルの向きとは、仮想的な一の点から動体モデルに向かう所定の方向（例えば、真正面、右側から斜め、上側から斜め等）のことである。例えば、所定の動きを行う動体モデルを撮像する場合の撮像装置の光軸方向と略一致すると考えられる。また、各動き基準点の位置は、例えば、ヒトや動物等の動体モデルの骨格の形状や関節の位置等を考慮してそれぞれ規定されている。
従って、位置情報Ｐは、二次元空間内にて複数の動き基準点の全て若しくは少なくとも一つを移動させた座標情報を所定の時間間隔で連続して並べることで、複数の動き基準点の動きが連続して表されている。特に、位置情報Ｐは、スポーツの種類に応じて設けられ、具体的には、動体モデルが所定のスポーツ特有の動きをなす際の動き基準点の二次元空間内での動きを示す情報を含んでいる。
なお、複数の動き基準点の座標情報の各々は、例えば、基準となる動き基準点の座標情報に対する各動き基準点の移動量を規定した情報であっても良いし、各動き基準点の絶対位置座標を規定した情報であっても良い。また、動き基準点の個数は、動体モデルの形状や大きさ等に応じて適宜任意に設定可能である。
【００１７】
例えば、位置情報Ｐは、「Group info」と「Group frame」という名称の２つのグループから構成されている（図２参照）。
「Group info」のグループは、例えば、ゴルフスイング、バットスイング、体操の前転、等の動作対象を規定する情報を含む。具体的には、「Info_Type」のカラムに、動作対象（例えば、ゴルフスィング）が格納されている。また、「Info_rate」のカラムに、動体モデルの向きを規定する情報、例えば、右腕と左腕の長さの比率(Arm_L/R)、頭と胸下の長さの比率(Length_U/L)等が格納されている。また、「Info_nFrame」のカラムに、フレーム数が規定されている。
また、「Group frame」のグループは、動き基準点の二次元空間内での座標情報をフレーム毎に規定する情報を含む。例えば、開始フレーム（フレーム０）〜終了フレーム（フレーム（ｎ−１））までの、複数の動き基準点（例えば、左手首に存する動き基準点のx座標「L_Wrist_x」、左手首に存する動き基準点のy座標「L_Wrist_y」、左肘に存する動き基準点のx座標「L_Elbow_x」、左肘に存する動き基準点のy座標「L_Elbow_y」、左肩に存する動き基準点のx座標「L_Shoulder_x」、左肩に存する動き基準点のy座標「L_Shoulder_y」等）の二次元空間内での座標情報が規定されている。
【００１８】
操作入力部４は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等の操作部（図示略）を備え、これらの操作部の操作に応じて所定の操作信号を中央制御部１に出力する。
【００１９】
追跡処理部５は、動画像取得部５ａと、被写体抽出部５ｂと、被写体向き特定部５ｃと、位置情報取得部５ｄと、第１一致処理部５ｅと、第２一致処理部５ｆと、追跡部５ｇとを具備している。
なお、追跡処理部５の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
【００２０】
動画像取得部５ａは、被写体の動画像を取得する。
即ち、動画像取得部（第１取得手段）５ａは、複数のフレーム画像を含む被写体の動画像データＤを取得する。具体的には、動画像取得部５ａは、メモリ２から外部機器２００により生成された被写体の動画像データＤを取得する。
ここで、動画像データＤには、所定の背景のフレーム画像、所定の背景をバックにＴ字型のポーズをなす被写体のフレーム画像、当該被写体が所定の動作（例えば、ゴルフスイング等）をなす複数のフレーム画像が記憶されている。
【００２１】
なお、外部機器２００としては、例えば、被写体の動画像を撮像する撮像装置や、この撮像装置から被写体の動画像データＤを取得するコンピュータ等が挙げられるが、被写体の動画像データＤを記憶して当該被写体追跡装置１００に送信可能なものであれば如何なる構成であっても良く、その詳細な説明は省略する。
また、動画像取得部５ａは、当該被写体追跡装置１００本体に対して着脱自在な記録媒体（図示略）などを介して取得するようにしても良い。
【００２２】
被写体抽出部５ｂは、動画像データＤ内で被写体領域Ｓを抽出する。
具体的には、被写体抽出部５ｂは、動画像取得部５ａにより取得された動画像データＤに含まれる背景のフレーム画像とＴ字型のポーズをなす被写体のフレーム画像とを取得して、これら二つのフレーム画像を用いて背景差分法によりＴ字型のポーズの被写体領域Ｓを抽出する（図６（ａ）参照）。
なお、被写体のポーズは、一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、スポーツの種類に応じた特徴的なポーズ（例えば、ゴルフのアドレスの状態等）であっても良い。
【００２３】
被写体向き特定部５ｃは、動画像データＤ内の被写体の向きを特定する。
即ち、被写体向き特定部（特定手段）５ｃは、動画像取得部５ａにより取得された動画像データＤ内の被写体の向きを特定する。具体的には、被写体向き特定部５ｃは、被写体抽出部５ｂにより抽出された被写体領域Ｓを構成する複数の構成部分の長さの比率に基づいて、被写体の向きを特定する。例えば、被写体向き特定部５ｃは、被写体抽出部５ｂにより抽出されたＴ字型のポーズをなす被写体領域Ｓを構成する左腕、右腕、頭、胸から下に相当する各部分の画素数（長さ）をそれぞれ算出する（図６（ａ）参照）。また、被写体向き特定部５ｃは、左腕と右腕の長さの比率（Arm_L/R）、頭と胸から下の長さの比率(Length_U/L)をそれぞれ算出する。
そして、被写体向き特定部５ｃは、算出された左腕と右腕の長さの比率（Arm_L/R）、頭と胸から下の長さの比率(Length_U/L)に基づいて、撮像装置の光軸方向に対する被写体の傾きを被写体の向きとして特定する。例えば、被写体向き特定部５ｃは、左腕と右腕の長さの比率が１：１で、且つ、頭と胸から下の長さの比率が基準値となった場合、被写体の左右方向及び上下方向が撮像装置の光軸方向に対して略直交した状態であると特定する（図７（ｂ）参照）。また、被写体向き特定部５ｃは、左腕の長さが右腕の長さよりも長くなった場合、被写体の左側が右側よりも撮像装置に近付くように当該被写体の左右方向が撮像装置の光軸方向に対して傾いた状態であると特定する（図７（ｂ）参照）。また、被写体向き特定部５ｃは、頭の長さと胸から下の長さの比率が基準値よりも小さくなった場合、被写体の頭側が足側よりも撮像装置に近付くように当該被写体の上下方向が撮像装置の光軸方向に対して傾いた状態であると特定する（図７（ｃ）参照）。
【００２４】
位置情報取得部５ｄは、位置情報データベース３ａから何れか一の位置情報Ｐを取得する。
即ち、位置情報取得部（第２取得手段）５ｄは、動画像取得部５ａにより取得された動画像データＤ内の被写体の向きを基準として、動体モデルの所定位置に存する動き基準点の二次元空間内での所定の時間間隔毎の位置を示す位置情報Ｐを取得する。具体的には、位置情報取得部５ｄは、位置情報データベース３ａに記憶されている複数の位置情報Ｐ、…の中で、被写体向き特定部５ｃにより特定された被写体の向きと略等しい動体モデルの向きと対応付けられている位置情報Ｐを取得する。例えば、位置情報取得部５ｄは、被写体向き特定部５ｃにより算出された左腕と右腕の長さの比率(Arm_L/R)、頭と胸から下の長さの比率(Length_U/L)等と、位置情報データベース３ａに記憶されている複数の位置情報Ｐ、…の「Info_rate」のカラム内の右腕と左腕の長さの比率(Arm_L/R)、頭と胸下の長さの比率(Length_U/L)等とを比較して、当該比率が最も一致する位置情報Ｐを取得する。このとき、位置情報取得部５ｄは、位置情報Ｐの「Info_Type」のカラム内の動作対象の情報を参照して、ユーザによる操作入力部４の所定操作に基づいて指定されたスポーツの種類に対応する位置情報Ｐを取得するようにしても良い。
【００２５】
第１一致処理部（第１一致手段）５ｅは、位置情報Ｐの複数のフレーム数と動画像データＤを構成する複数のフレーム画像数を一致させる。
具体的には、第１一致処理部５ｅは、先ず、動画像データＤを構成する複数のフレーム画像の中で、ユーザによる操作入力部４の所定操作に基づいて指定された開始フレーム及び終了フレームの各々を、位置情報Ｐの複数のフレームのうちの最初のフレーム（フレーム０）及び終了フレーム（フレーム（ｎ−１））と対応付けて、開始タイミング及び終了タイミングを一致させる。次に、第１一致処理部５ｅは、動画像データＤの複数のフレーム画像の時間軸に合わせるように、位置情報Ｐの複数のフレームを再構成する。例えば、第１一致処理部５ｅは、動画像データＤの複数のフレーム画像のフレーム間のピッチに合わせるように、位置情報Ｐの複数のフレームのフレーム間のピッチや、各フレームに係る動き情報の位置座標を補間処理や間引き処理等により生成する。
なお、上記した位置情報Ｐの複数のフレーム数と動画像データＤの複数のフレーム画像数を一致させる処理の手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
【００２６】
第２一致処理部（第２一致手段）５ｆは、位置情報Ｐの動体モデルの大きさと動画像データＤ内の被写体の大きさを一致させる。
具体的には、第２一致処理部５ｆは、動画像データＤ内の被写体の身長（例えば、頭の長さ＋胸から下の長さ）を基準として、位置情報Ｐの動体モデルの身長に相当する長さ（例えば、頭頂部に存する動き基準点と足のつま先に存する動き基準点とのy方向の距離）をスケール変換する。例えば、位置情報Ｐの複数の動き基準点の位置座標が、動体モデルの身長に相当する長さが１となるように正規化されている場合、第２一致処理部５ｆは、動画像データＤの被写体の身長に相当する座標距離を位置情報Ｐの各フレーム内の各動き情報の位置座標に乗算して、動き基準点の位置座標を相対的に動画像データＤ内の被写体の大きさに合わせる。
【００２７】
追跡部５ｇは、動画像データＤの複数のフレーム画像の各々にて被写体の特定部位を追跡する。
即ち、追跡部（追跡手段）５ｇは、位置情報取得部５ｄにより取得された位置情報Ｐに基づいて、動画像データＤを構成する複数のフレーム画像の各々にて被写体の特定部位を時系列フィルタ（例えば、パーティクルフィルタ）を用いた処理により追跡する（特定部位追跡処理；図５参照）。
ここで、時系列フィルタとしては、例えば、パーティクルフィルタ、カルマンフィルタ、拡張カルマンフィルタ等が挙げられる。特に、パーティクルフィルタは、カルマンフィルタで扱うことのできない非ガウス性雑音が加算された信号の時系列解析にて有用である。また、パーティクルフィルタは、有限個のパーティクルを追跡候補として導入することにより対象の確率分布を表現し、それを用いて時系列推定や予測を行うことができるが、公知の技術であるので、ここでは詳細な説明は省略する。
また、追跡部５ｇは、第１一致処理部５ｅにより動画像データＤを構成する複数のフレーム画像数と複数のフレーム数を一致させた位置情報Ｐに基づいて、被写体の特定部位をパーティクルフィルタにより追跡する。また、追跡部５ｇは、第２一致処理部５ｆにより動画像データＤ内の被写体の大きさと動体モデルの大きさを一致させた位置情報Ｐに基づいて、被写体の特定部位をパーティクルフィルタにより追跡する。
【００２８】
具体的には、追跡部５ｇのパーティクル生成部ｇ１は、動画像データＤの複数のフレーム画像の各々にて、追跡対象となる被写体の特定部位毎に所定数（例えば、Ｎ個；Ｎは自然数）のパーティクルを生成する。追跡部５ｇは、各パーティクルの位置座標に対応する領域と特定部位に位置する追跡用マーカーＭのテンプレートとの一致度を算出し、各特定部位毎に、各パーティクルの一致度を重みとする加重平均をとって追跡用マーカーＭの追跡位置を特定する。このとき、パーティクル生成部ｇ１は、処理対象を次のフレーム画像に進める際に、追跡用マーカーＭの追跡位置、動き制御点の現フレーム画像から次のフレーム画像への移動量（差分量）、ランダムノイズに基づいて、次のフレーム画像の処理用に所定数のパーティクルを特定部位毎に生成する。
【００２９】
表示部６は、例えば、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等のディスプレイから構成され、表示制御部７の制御下にて各種情報を表示画面に表示する。
【００３０】
表示制御部７は、表示用データを生成して表示部６の表示画面に表示させる制御を行う。
具体的には、表示制御部７は、例えば、ＧＰＵ（Graphics Processing Unit）やＶＲＡＭ（Video Random Access Memory）等を具備するビデオカード（図示略）を備えている。そして、表示制御部７は、中央制御部１からの表示指示に従って、動画像取得部５ａにより取得された動画像データＤに基づいて動画像の表示用データをビデオカードによる描画処理によって生成し、表示部６に出力する。
【００３１】
外部通信部８は、外部機器２００と所定の通信回線（例えば、ＬＡＮ（Local Area Network）等）を介して情報を送受信可能に接続される。具体的には、外部通信部８は、例えば、図示は省略するが、外部機器２００との接続用の端子（例えば、ＬＡＮ端子等）に装着された所定の通信ケーブル（例えば、ＬＡＮケーブル）を介してデータの送受信を行う。例えば、外部通信部８は、外部機器２００から送信された動画像データＤを受信する。外部通信部８により受信された動画像データＤは、メモリ２に転送されて一時的に記憶される。
【００３２】
＜被写体追跡処理＞
次に、被写体追跡装置１００による被写体追跡処理について、図３〜図６を参照して説明する。
図３は、被写体追跡処理に係る動作の一例を示すフローチャートである。
なお、以下の説明にあっては、動画像データＤとして、被写体が行ったゴルフスイングを所定方向から撮像したものを用いるものとする。また、当該動画像データＤは、外部機器２００により取得された後、外部通信部８を介してメモリ２に一時記憶されているものとする。
【００３３】
図３に示すように、被写体追跡処理では、先ず、当該処理の初期設定を行うための初期設定処理（図４参照）を行い（ステップＳ１）、続けて、被写体の特定部位を追跡する特定部位追跡処理（図５参照）を行う（ステップＳ２）。
【００３４】
＜初期設定処理＞
以下に、初期設定処理について図４を参照して説明する。
図４は、初期設定処理に係る動作の一例を示すフローチャートである。
【００３５】
図４に示すように、先ず、動画像取得部５ａは、メモリ２から被写体の動画像データＤを読み出して取得する（ステップＳ１０１）。
続けて、被写体抽出部５ｂは、動画像データＤから被写体領域Ｓを抽出する（ステップＳ１０２）。具体的には、被写体抽出部５ｂは、動画像取得部５ａにより取得された動画像データＤに含まれる背景のフレーム画像及び所定のポーズ（例えば、Ｔ字型のポーズ等）をなす被写体のフレーム画像を用いて背景差分法により被写体領域Ｓを抽出する（図６（ａ）参照）。
【００３６】
次に、被写体抽出部５ｂは、被写体の追跡対象となる特定部位の色を特定し、テンプレートとして取得する（ステップＳ１０３）。例えば、被写体抽出部５ｂは、被写体領域Ｓ内で特定部位（例えば、左手首、左肘、左肩等）を特定し、当該特定部位を基準とする所定領域内での最頻色を当該特定部位に付されたマーカーの色として取得する。
【００３７】
次に、被写体向き特定部５ｃは、被写体領域Ｓを構成する複数の構成部分（例えば、左腕、右腕、頭、胸から下に相当する各部分等）の画素数を長さとしてそれぞれ算出する（ステップＳ１０４）。そして、被写体向き特定部５ｃは、左腕と右腕の長さの比率（Arm_L/R）、頭と胸から下の長さの比率(Length_U/L)をそれぞれ算出した後、算出された左腕と右腕の長さの比率（Arm_L/R）、頭と胸から下の長さの比率(Length_U/L)に基づいて、撮像装置の光軸方向に対する被写体の傾きを被写体の向き（例えば、被写体の左右方向及び上下方向が撮像装置の光軸方向に対して略直交した状態等）として特定する（ステップＳ１０５）。
【００３８】
続けて、位置情報取得部５ｄは、被写体の向きに対応する位置情報Ｐを取得する（ステップＳ１０６）。具体的には、位置情報取得部５ｄは、位置情報データベース３ａに記憶されている複数の位置情報Ｐ、…の中で、被写体向き特定部５ｃにより特定された被写体の向きと略等しい動体モデルの向きと対応付けられている位置情報Ｐを取得する。
【００３９】
次に、例えば、表示部６に動画像データＤが表示された状態で、第１一致処理部５ｅは、ユーザによる操作入力部４の所定操作に基づいて、動画像データＤを構成する複数のフレーム画像の中で開始フレーム及び終了フレームの各々を指定する（ステップＳ１０７）。続けて、第１一致処理部５ｅは、位置情報Ｐの複数のフレーム数と動画像データＤを構成する複数のフレーム画像数を一致させる（ステップＳ１０８）。具体的には、第１一致処理部５ｅは、動画像データＤ及び位置情報Ｐの開始タイミング及び終了タイミングを一致させた後、動画像データＤの複数のフレーム画像の時間軸に合わせるように、位置情報Ｐの複数のフレームを再構成する。
【００４０】
次に、第２一致処理部５ｆは、動画像データＤ内の被写体の身長（例えば、頭の長さ＋胸から下の長さ）を基準として、位置情報Ｐの動体モデルの大きさと動画像データＤ内の被写体の大きさを一致させる（ステップＳ１０９）。具体的には、第２一致処理部５ｆは、被写体の身長に相当する座標距離を位置情報Ｐの各フレーム内の各動き情報の位置座標に乗算して、動き基準点の位置座標を相対的に動画像データＤ内の被写体の大きさに合わせる。
【００４１】
次に、動画像データＤを構成する複数のフレーム画像のうちの開始フレーム内で、ユーザによる操作入力部４の所定操作に基づいて追跡対象となる特定部位（例えば、左手首、左肘、左肩等）の位置が指定されると（ステップＳ１１０）、パーティクル生成部ｇ１は、当該開始フレーム（フレーム画像）について、特定部位毎に所定数のパーティクルを生成する（ステップＳ１１１）。
これにより、初期設定処理を終了する。
【００４２】
＜特定部位追跡処理＞
以下に、特定部位追跡処理について図５を参照して説明する。
図５は、特定部位追跡処理に係る動作の一例を示すフローチャートである。
【００４３】
図５に示すように、追跡部５ｇは、動画像取得部５ａにより取得された動画像データＤを構成する複数のフレーム画像のうち、開始フレームを処理対象のフレームとして指定した後（ステップＳ２０１）、追跡対象となる特定部位（例えば、左手首、左肘、左肩等）の各々について、パーティクル生成部ｇ１により生成された所定数のパーティクルの中で何れか一のパーティクルを指定する（ステップＳ２０２）。
【００４４】
次に、追跡部５ｇは、各特定部位毎に、指定されたパーティクルから対応する特定部位の位置座標を取得して（ステップＳ２０３）、処理対象のフレーム画像内で取得された位置座標に対応する領域の色と特定部位に位置する追跡用マーカーＭのテンプレートの色との一致度を算出する（ステップＳ２０４）。
具体的には、例えば、追跡部５ｇは、左肩のマーカーについて、所定の色空間でのユークリッド距離をL0（L0は相違度に相当）とし、下記式に従って一致度D0を算出する。
D0=exp(-L0*L0/(2*σ0))
なお、σ0は調整係数を表す。
また、追跡部５ｇは、例えば、左肘及び左手首のマーカーについても、上記と同様にして、一致度D1、D2を算出する。
【００４５】
そして、追跡部５ｇは、算出された各特定部位の一致度（例えば、一致度D0、D1、D2等）をパーティクルの識別情報と対応付けて所定の格納手段（例えば、メモリ２等）に一時的に記憶する（ステップＳ２０５）。
【００４６】
次に、追跡部５ｇは、パーティクル生成部ｇ１により生成された全てのパーティクルについて一致度を算出する処理を行ったか否かを判定する（ステップＳ２０６）。
ここで、全てのパーティクルについて処理していないと判定されると（ステップＳ２０６；ＮＯ）、追跡部５ｇは、パーティクル生成部ｇ１により生成された所定数のパーティクルの中で、未処理の次のパーティクルを新たに指定する（ステップＳ２０７）。その後、追跡部５ｇは、処理をステップＳ２０３に戻し、新たに指定されたパーティクルについて、上記と同様にしてステップＳ２０３〜Ｓ２０５の各処理を実行する。
これにより、新たに指定されたパーティクルについて、各特定部位の一致度が算出されて所定の格納手段（例えば、メモリ２等）に一時的に記憶された状態となる。
上記の各処理は、ステップＳ２０６にて、全てのパーティクルについて処理したと判定されるまで繰り返し実行される。
【００４７】
一方、ステップＳ２０６にて、全てのパーティクルについて処理したと判定されると（ステップＳ２０６；ＹＥＳ）、追跡部５ｇは、所定の格納手段（例えば、メモリ２等）から全ての一致度を取得して、各特定部位の各々にて、各パーティクルの一致度を重みとする加重平均をとり、追跡用マーカーＭの追跡位置を特定する（ステップＳ２０８）。
具体的には、例えば、追跡部５ｇは、左肩のマーカーについて、追跡結果である追跡位置NewPos0を下記式に従って算出する。
NewPos0=Σ{i=0:N-1}(D0i*POS0i)/Σ{i=0:N-1}D0i
なお、{}は、変数iの範囲を示し、D0は左肩の一致度であり、D00は左肩のパーティクル0の一致度を表す。POS00は、左肩パーティクル0の座標位置を表す。
また、追跡部５ｇは、例えば、左肘及び左手首のマーカーについても、上記と同様にして、追跡位置を算出する。
【００４８】
続けて、追跡部５ｇは、動画像データＤを構成する全てのフレーム画像について追跡用マーカーＭを追跡する処理を行ったか否かを判定する（ステップＳ２０９）。
ここで、全てのフレーム画像について処理していないと判定されると（ステップＳ２０９；ＮＯ）、追跡部５ｇは、動画像データＤの複数のフレーム画像の中で、未処理の次のフレーム画像を新たに指定する（ステップＳ２１０）。
【００４９】
次に、パーティクル生成部ｇ１は、各特定部位毎に、現フレーム画像内での追跡用マーカーＭの追跡位置に、動き制御点の現フレーム画像から次のフレーム画像への移動量（差分量）及びランダムノイズを付加して、次のフレーム画像の処理用に所定数のパーティクルを生成する（ステップＳ２１１）。ここで、ランダムノイズを付加することにより、位置情報Ｐに規定されていない動作を被写体が行った場合にも、特定部位の追従を行うことができ、事前に用意する位置情報データベース３ａにおける被写体の向きのピッチを細かくする必要が無くなる。
その後、追跡部５ｇは、処理をステップＳ２０２に戻し、新たに指定されたフレーム画像について、上記と同様にしてステップＳ２０２〜Ｓ２０８の各処理を実行する。
これにより、新たに指定されたフレーム画像について、追跡用マーカーＭの追跡結果（追跡位置）が算出される。
上記の処理は、ステップＳ２０９にて、全てのフレーム画像について処理したと判定されるまで繰り返し実行される。
【００５０】
一方、ステップＳ２０９にて、全てのフレーム画像について処理したと判定されると（ステップＳ２０９；ＹＥＳ）、追跡部５ｇは、算出された各特定部位（追跡用マーカーＭ）の追跡結果を所定の格納手段（例えば、メモリ２等）に記憶して（ステップＳ２１２）、特定部位追跡処理を終了する。
【００５１】
以上のように、本実施形態の被写体追跡装置１００によれば、動画像データＤ内の被写体の向きを基準として、動体モデルの所定位置に存する動き基準点の二次元空間内での所定の時間間隔毎の位置を示す位置情報Ｐを取得し、取得された位置情報Ｐに基づいて、動画像データＤを構成する複数のフレーム画像の各々にて被写体の特定部位（例えば、特定部位に位置する追跡用マーカーＭ）を時系列フィルタ（例えば、パーティクルフィルタ）を用いた処理により追跡するので、次元数を削減して二次元空間内で特定部位の追跡を行うことができ、追跡処理における負荷を軽減して処理速度を向上させることができる。さらに、時系列フィルタ（例えば、パーティクルフィルタ）を用いることで、当該特定部位の追跡を高精度に行うことができるだけでなく、外乱等に影響されにくい安定した追跡を実現することができる。
このように、高精度で且つ安定性に優れた追跡処理における負荷の軽減及び処理速度の向上を図ることができる。
【００５２】
また、動体モデルの複数の向きの各々と対応付けられた複数の位置情報Ｐ、…を記憶しておくことで、これら複数の位置情報Ｐ、…の中から、被写体の向きと略等しい動体モデルの向きと対応付けられている位置情報Ｐを取得して被写体追跡処理に用いることができ、次元数を削減しつつ、特定部位の追跡を高精度に行うことができる。
また、動画像データＤ内の被写体の向きを特定して、特定された被写体の向きと略等しい動体モデルの向きと対応付けられている位置情報Ｐを取得するので、被写体追跡処理に用いられる位置情報Ｐの取得を適正に行うことができる。特に、被写体を構成する複数の構成部分の長さの比率に基づいて、被写体の向きを特定するので、被写体の向きの特定を情報処理により簡便に行うことができる。
【００５３】
また、位置情報Ｐの複数のフレーム数と動画像データＤを構成する複数のフレーム画像数を一致させるので、当該位置情報Ｐを用いて、複数のフレーム画像の各々にて時間経過を考慮して被写体の特定部位の追跡を適正に行うことができる。
さらに、位置情報Ｐの動体モデルの大きさと動画像データＤ内の被写体の大きさを一致させるので、当該位置情報Ｐを用いて、複数のフレーム画像の各々にて被写体の大きさを考慮して被写体の特定部位の追跡を適正に行うことができる。
【００５４】
また、スポーツの種類に応じて、動体モデルが所定のスポーツ特有の動きをなす際の動き基準点の二次元空間内での動きを示す情報を含む位置情報Ｐを用いることで、被写体が所定のスポーツ特有の動きを行った際に特定部位の追跡を適正に行うことができる。さらに、被写体の動作をある程度制限して予測することができ、特定部位の追跡精度を向上させることができる。
【００５５】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、被写体の向きを、被写体領域Ｓを構成する複数の構成部分の長さの比率に基づいて特定するようにしたが、一例であってこれに限られるものではなく、被写体の向きの特定方法は適宜任意に変更可能である。即ち、例えば、図７に示すように、被写体にキャリブレーションボードＢを保持させて、当該キャリブレーションボードＢを用いて被写体の向きを特定するようにしても良い。具体的には、例えば、キャリブレーションボードＢの所定位置（例えば、四隅等）には、所定形状（例えば、円形状等）のマークＢａが複数付されている。そして、複数のマークＢａの中心座標及びマークＢａどうしの距離に基づいて、被写体の向きを特定するようにしても良い。
【００５６】
また、上記実施形態では、動き基準点の二次元空間内での位置を示す情報を含む位置情報Ｐを記憶しておくようにしたが、一例であってこれに限られるものではなく、例えば、動き基準点の三次元空間内での動きを示す情報を記憶しておき、被写体の向きと略等しい動体モデルの向きに対応する位置情報Ｐ、即ち、動き基準点の二次元空間内での位置を示す情報を生成するようにしても良い。
これにより、位置情報データベース３ａに、動体モデルの複数の向きに応じて位置情報Ｐを複数記憶しておく必要がなくなる。
【００５７】
さらに、被写体追跡装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。例えば、被写体追跡装置１００として、ワークステーションなどのコンピュータを例示したが、これに限られるものではなく、一般的なパーソナルコンピュータなどにより構成しても良い。
【００５８】
加えて、上記実施形態にあっては、第１取得手段、第２取得手段、追跡手段としての機能を、中央制御部１の制御下にて、動画像取得部５ａ、位置情報取得部５ｄ、追跡部５ｇが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、第１取得処理ルーチン、第２取得処理ルーチン、追跡処理ルーチンを含むプログラムを記憶しておく。そして、第１取得処理ルーチンにより中央制御部１のＣＰＵを、被写体の動画像を取得する手段として機能させるようにしても良い。また、第２取得処理ルーチンにより中央制御部１のＣＰＵを、取得された動画像内の被写体の向きを基準として、動体モデルの所定位置に存する動き基準点の二次元空間内での所定の時間間隔毎の位置を示す位置情報Ｐを取得する手段として機能させるようにしても良い。また、追跡処理ルーチンにより中央制御部１のＣＰＵを、取得された位置情報Ｐに基づいて、動画像を構成する複数のフレーム画像の各々にて被写体の特定部位を時系列フィルタを用いた処理により追跡する手段として機能させるようにしても良い。
【００５９】
同様に、特定手段、第１一致手段、第２一致手段についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
【００６０】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【００６１】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
被写体の動画像を取得する第１取得手段と、
前記第１取得手段により取得された動画像内の被写体の向きを基準として、動体モデルの所定位置に存する動き基準点の二次元空間内での所定の時間間隔毎の位置を示す位置情報を取得する第２取得手段と、
前記第２取得手段により取得された位置情報に基づいて、前記動画像を構成する複数のフレーム画像の各々にて被写体の特定部位を時系列フィルタを用いた処理により追跡する追跡手段と、
を備えたことを特徴とする被写体追跡装置。
＜請求項２＞
前記動体モデルの複数の向きの各々と対応付けられた複数の前記位置情報を記憶する記憶手段を更に備え、
前記第２取得手段は、前記記憶手段に記憶されている前記複数の位置情報の中で、前記被写体の向きと略等しい動体モデルの向きと対応付けられている前記位置情報を取得することを特徴とする請求項１に記載の被写体追跡装置。
＜請求項３＞
前記第１取得手段により取得された動画像内の被写体の向きを特定する特定手段を更に備え、
前記第２取得手段は、前記特定手段により特定された前記被写体の向きと略等しい動体モデルの向きと対応付けられている位置情報を取得することを特徴とする請求項１又は２に記載の被写体追跡装置。
＜請求項４＞
前記特定手段は、更に、前記被写体を構成する複数の構成部分の長さの比率に基づいて、前記被写体の向きを特定することを特徴とする請求項３に記載の被写体追跡装置。
＜請求項５＞
前記第２取得手段は、前記動き基準点の三次元空間内での動きを示す情報から、前記被写体の向きと略等しい動体モデルの向きに対応する前記位置情報を生成して取得することを特徴とする請求項１に記載の被写体追跡装置。
＜請求項６＞
前記位置情報は、前記動き基準点の二次元空間内での位置を所定の時間間隔で連続して並べた複数のフレームからなる情報を含み、
前記位置情報の前記複数のフレーム数と前記動画像を構成する前記複数のフレーム画像数を一致させる第１一致手段を更に備え、
前記追跡手段は、前記第１一致手段により前記動画像を構成する前記複数のフレーム画像数と前記複数のフレーム数を一致させた前記位置情報に基づいて、前記被写体の特定部位を追跡することを特徴とする請求項１〜５の何れか一項に記載の被写体追跡装置。
＜請求項７＞
前記位置情報の前記動体モデルの大きさと前記動画像内の被写体の大きさを一致させる第２一致手段を更に備え、
前記追跡手段は、前記第２一致手段により前記動画像内の被写体の大きさと前記動体モデルの大きさを一致させた前記位置情報に基づいて、前記被写体の特定部位を追跡することを特徴とする請求項１〜６の何れか一項に記載の被写体追跡装置。
＜請求項８＞
前記追跡手段は、更に、前記被写体の特定部位に位置する追跡用マーカーを追跡することを特徴とする請求項１〜７の何れか一項に記載の被写体追跡装置。
＜請求項９＞
前記時系列フィルタは、パーティクルフィルタを含むことを特徴とする請求項１〜８の何れか一項に記載の被写体追跡装置。
＜請求項１０＞
前記位置情報は、スポーツの種類に応じて、前記動体モデルが所定のスポーツ特有の動きをなす際の前記動き基準点の二次元空間内での動きを示す情報を含むことを特徴とする請求項１〜９の何れか一項に記載の被写体追跡装置。
＜請求項１１＞
被写体追跡装置を用いた被写体追跡方法であって、
被写体の動画像を取得する処理と、
取得された動画像内の被写体の向きを基準として、動体モデルの所定位置に存する動き基準点の二次元空間内での所定の時間間隔毎の位置を示す位置情報を取得する処理と、
取得された位置情報に基づいて、前記動画像を構成する複数のフレーム画像の各々にて被写体の特定部位を時系列フィルタを用いた処理により追跡する処理と、
を含むことを特徴とする被写体追跡方法。
＜請求項１２＞
被写体追跡装置のコンピュータを、
被写体の動画像を取得する第１取得手段、
前記第１取得手段により取得された動画像内の被写体の向きを基準として、動体モデルの所定位置に存する動き基準点の二次元空間内での所定の時間間隔毎の位置を示す位置情報を取得する第２取得手段、
前記第２取得手段により取得された位置情報に基づいて、前記動画像を構成する複数のフレーム画像の各々にて被写体の特定部位を時系列フィルタを用いた処理により追跡する追跡手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００６２】
１００  被写体追跡装置
１      中央制御部
３      記憶部
３ａ    位置情報データベース
５      追跡処理部
５ａ    動画像取得部
５ｃ    被写体向き特定部
５ｄ    位置情報取得部
５ｅ    第１一致処理部
５ｆ    第２一致処理部
５ｇ    追跡部
【図１】
2014157558.tif 000003
【図２】
2014157558.tif 000004
【図３】
2014157558.tif 000005
【図４】
2014157558.tif 000006
【図５】
2014157558.tif 000007
【図６】
2014157558.tif 000008
【図７】
2014157558.tif 000009