(57)【要約】【課題】追跡物体の状態に依らず、追跡結果を容易に判定することができる追跡表示処理システムを実現する。【解決手段】追跡表示処理システム１０００では、物体位置シフト部２４が、物体位置特定部２１により取得した重心位置に加速度を減算することで、シフト重心位置を取得する。そして、シフト重心位置に基づいて、追跡対象の検出結果（追跡結果）の表示を行うので、追跡対象が単振動に類似した移動を行う場合であっても、追跡結果を容易に判定することができる。【選択図】図１
2015203997.tif 000002
【特許請求の範囲】
【請求項１】
追跡対象を含む映像から取得される画像を入力とし、前記画像に基づいて、前記追跡対象に相当する画像領域の重心位置を特定する物体位置特定部と、
前記物体位置特定部により特定された前記追跡対象の重心位置に関する情報を記憶する記憶部と、
前記物体位置特定部により特定された前記追跡対象の重心位置と、前記記憶部に記憶されている現時刻よりも前の時刻における前記追跡対象の重心位置とから、前記追跡対象の加速度を算出する加速度算出部と、
前記物体位置特定部により特定された前記追跡対象の重心位置から、前記加速度算出部により算出された前記追跡対象の加速度を減算することで、シフト重心位置を取得する物体位置シフト部と、
前記物体位置シフト部により取得された前記シフト重心位置に基づいて、前記追跡対象の検出結果を表示した検出結果表示画像を生成する検出結果表示部と、
を備える追跡表示処理装置。
【請求項２】
前記物体位置シフト部は、
前記追跡対象の重心位置のｘ座標をＣｏ＿ｘとし、
前記追跡対象の重心位置のｙ座標をＣｏ＿ｙとし、
前記追跡対象のシフト重心位置のｘ座標をＣｏ１＿ｘとし、
前記追跡対象のシフト重心位置のｙ座標をＣｏ１＿ｙとし、
前記追跡対象の加速度の重心位置のｘ成分をＡｏ＿ｘとし、
前記追跡対象の加速度の重心位置のｙ成分をＡｏ＿ｙとすると、
2015203997.tif 000005
ｋ：正の係数
に相当する処理により、前記追跡対象のシフト重心位置を取得する、
請求項１に記載の追跡表示処理装置。
【請求項３】
現時刻の処理対象フレームを第Ｎフレーム（Ｎ：整数）とし、
第αフレーム（α：整数）における前記追跡対象の重心位置を示す位置ベクトルデータをＣｏ（α）と表記し、第αフレームにおける前記追跡対象の加速度を示す加速度ベクトルをＡｏ（Ｎ）と表記するとすると、
前記加速度算出部は、
第Ｎフレームにおける前記追跡対象の加速度を、
Ａｏ（Ｎ）＝Ｃｏ（Ｎ）＝２×Ｃｏ（Ｎ−ｍ）＋Ｃｏ（Ｎ−２×ｍ）
ｍ：自然数
に相当する処理により取得する、
請求項１又は２に記載の追跡表示処理装置。
【請求項４】
表示情報記憶部をさらに備え、
前記検出結果表示部は、前記追跡対象の検出結果を前記検出結果表示画像に表示させるための表示情報を生成し、
前記表示情報記憶部は、前記検出結果表示部が生成した前記表示情報を格納し、
現時刻の処理対象フレームを第Ｎフレーム（Ｎ：整数）とすると、
前記検出結果表示部は、
第Ｎフレームの表示情報と、前記表示情報記憶部に記憶されている、少なくとも１つの過去フレームの表示情報とに基づいて、第Ｎフレームにおける前記追跡対象の検出結果と、前記少なくとも１つの過去フレームにおける前記追跡対象の検出結果とが、前記検出結果表示画像に表示されるように、前記検出結果表示画像を生成する、
請求項１から３のいずれかに記載の追跡表示処理装置。
【請求項５】
前記検出結果表示部は、
前記第Ｎフレームにおける前記追跡対象の検出結果を示す、前記検出結果表示画像上での領域の面積を第１サイズとすると、
前記過去フレームにおける前記追跡対象の検出結果を示す、前記検出結果表示画像上での領域の面積が、前記第１サイズよりも小さくなるように、前記過去フレームにおける前記追跡対象の検出結果を前記検出結果表示画像に表示し、
複数個の前記過去フレームにおける前記追跡対象の検出結果を前記検出結果表示画像に表示させる場合、古い過去フレームである程、前記追跡対象の検出結果を示す前記検出結果表示画像上での領域の面積が小さくなるように、前記過去フレームにおける前記追跡対象の検出結果を前記検出結果表示画像に表示する、
請求項４に記載の追跡表示処理装置。
【請求項６】
追跡対象を含む映像であって、複数のフレーム画像からなる前記映像から取得される第Ｎフレーム画像（Ｎ：整数）と、当該第Ｎフレームよりもｎフレーム前に取得される第Ｎ−ｎフレーム画像（ｎ：自然数）とを入力とし、前記映像の第Ｎフレーム画像から所定の画像特徴量を抽出した第Ｎフレーム画像特徴量抽出画像と、前記映像の第Ｎ―ｎフレーム画像から所定の画像特徴量を抽出した第Ｎ−ｎフレーム画像特徴量抽出画像とに対して差分処理を行うことで、第Ｎフレーム差分画像を取得する差分画像取得部と、
前記請求項１から５のいずれかに記載の追跡表示処理装置と、
を備え、
前記追跡表示処理装置の前記物体位置特定部は、
前記差分画像取得部が取得した前記第Ｎフレーム差分画像を入力とする、
追跡表示処理システム。
【請求項７】
追跡対象を含む映像から取得される画像を入力とし、前記画像に基づいて、前記追跡対象に相当する画像領域の重心位置を特定する物体位置特定ステップと、
前記物体位置特定ステップにより特定された前記追跡対象の重心位置に関する情報を記憶する記憶ステップと、
前記物体位置特定ステップにより特定された前記追跡対象の重心位置と、前記記憶ステップで記憶された現時刻よりも前の時刻における前記追跡対象の重心位置とから、前記追跡対象の加速度を算出する加速度算出ステップと、
前記物体位置特定ステップにより特定された前記追跡対象の重心位置から、前記加速度算出ステップにより算出された前記追跡対象の加速度を減算することで、シフト重心位置を取得する物体位置シフトステップと、
前記物体位置シフトステップにより取得された前記シフト重心位置に基づいて、前記追跡対象の検出結果を表示した検出結果表示画像を生成する検出結果表示ステップと、
を備える追跡表示処理方法をコンピュータに実行させるためのプログラム。
【請求項８】
追跡対象を含む映像から取得される画像を入力とし、前記画像に基づいて、前記追跡対象に相当する画像領域の重心位置を特定する物体位置特定部と、
前記物体位置特定部により特定された前記追跡対象の重心位置に関する情報を記憶する記憶部と、
前記物体位置特定部により特定された前記追跡対象の重心位置と、前記記憶部に記憶されている現時刻よりも前の時刻における前記追跡対象の重心位置とから、前記追跡対象の加速度を算出する加速度算出部と、
前記物体位置特定部により特定された前記追跡対象の重心位置から、前記加速度算出部により算出された前記追跡対象の加速度を減算することで、シフト重心位置を取得する物体位置シフト部と、
前記物体位置シフト部により取得された前記シフト重心位置に基づいて、前記追跡対象の検出結果を表示した検出結果表示画像を生成する検出結果表示部と、
を備える集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体を追跡して表示する追跡表示処理技術に関する。
【背景技術】
【０００２】
時々刻々変化する観測対象の内部状態を推定する技術として、時系列フィルタを用いた技術があり、時系列フィルタの１つの実装方法として、パーティクルフィルタを用い手法が開発されている。パーティクルフィルタ用いて物体を追跡することで、精度良く物体を追跡することができる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２１９９３６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、パーティクルフィルタを用いて、映像内の所定の物体を追跡し、その追跡結果を明示するために、例えば、所定の枠（例えば、円状の枠）を映像に重畳させて表示し、所定の物体を適切に追跡されているか、映像を見るだけで容易に確認することができる追跡表示処理装置（追跡表示処理方法）が開発されている。
【０００５】
しかしながら、このような追跡表示処理装置では、追跡結果の中心位置（あるいは重心位置）に、追跡結果を明示する表示がなされるため、追跡対象の状態によっては、追跡結果を判定しにくいという課題がある。
【０００６】
そこで、本発明は、上記課題に鑑み、追跡物体の状態に依らず、追跡結果を容易に判定することができる追跡表示処理装置、追跡表示処理システム、プログラムおよび集積回路を実現することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、第１の発明は、物体位置特定部と、記憶部と、加速度算出部と、物体位置シフト部と、検出結果表示部と、を備える追跡表示処理装置である。
【０００８】
物体位置特定部は、追跡対象を含む映像から取得される画像を入力とし、画像に基づいて、追跡対象に相当する画像領域の重心位置を特定する。
【０００９】
記憶部は、物体位置特定部により特定された追跡対象の重心位置に関する情報を記憶する。
【００１０】
加速度算出部は、物体位置特定部により特定された追跡対象の重心位置と、記憶部に記憶されている現時刻よりも前の時刻における追跡対象の重心位置とから、追跡対象の加速度を算出する。
【００１１】
物体位置シフト部は、物体位置特定部により特定された追跡対象の重心位置から、加速度算出部により算出された追跡対象の加速度を減算することで、シフト重心位置を取得する。
【００１２】
検出結果表示部は、物体位置シフト部により取得されたシフト重心位置に基づいて、追跡対象の検出結果を表示した検出結果表示画像を生成する。
【００１３】
この追跡表示処理装置では、シフト重心位置に、追跡対象の検出結果（追跡結果）の表示（例えば、円を描いて表示）を行うので、追跡対象が単振動に類似した移動を行う場合であっても、追跡結果を容易に判定することができる。つまり、この追跡表示処理装置では、追跡対象の追跡結果位置を、追跡対象の重心位置（中心位置）から、追跡対象の重心位置の加速度（加速度ベクトル）を減算した位置とするので、追跡対象が単振動に類似した移動を行う場合、追跡対象の追跡結果位置（シフト重心位置）のとる軌跡の範囲が、追跡対象の重心位置がとる軌跡の範囲よりも広くすることができる。その結果、追跡対象の移動軌跡をより明確に把握することができる。
【００１４】
また、この追跡表示処理システムでは、追跡対象の追跡結果位置を、追跡対象の重心位置（中心位置）から、追跡対象の重心位置の加速度（加速度ベクトル）を減算した位置とするので、追跡対象の加速度が小さい、あるいは、「０」である場合、追跡結果位置は、追跡対象の重心位置とほぼ同じ位置（加速度が小さい場合）、あるいは、全く同じ位置（加速度が「０」の場合）となるので、追跡対象の加速度が小さい場合に、大きく検出位置がずれることがない。その結果、この追跡表示処理装置では、追跡対象の追跡結果を、違和感なく、自然に認識できるように表示することができる。
【００１５】
したがって、この追跡表示処理装置により取得された検出結果画像（検出結果動画像）を観察することで、追跡物体の状態に依らず、追跡結果を容易に判定することができる。
【００１６】
第２の発明は、第１の発明であって、
物体位置シフト部は、
追跡対象の重心位置のｘ座標をＣｏ＿ｘとし、
追跡対象の重心位置のｙ座標をＣｏ＿ｙとし、
追跡対象のシフト重心位置のｘ座標をＣｏ１＿ｘとし、
追跡対象のシフト重心位置のｙ座標をＣｏ１＿ｙとし、
追跡対象の加速度の重心位置のｘ成分をＡｏ＿ｘとし、
追跡対象の加速度の重心位置のｙ成分をＡｏ＿ｙとすると、
【００１７】
【数１】
2015203997.tif 000003
【００１８】
ｋ：正の係数
に相当する処理により、追跡対象のシフト重心位置を取得する。
【００１９】
これにより、この追跡表示処理装置では、追跡対象の移動軌跡をより明確に把握することができる。さらに、この追跡表示処理装置では、加速度ベクトルに乗算する係数ｋを調整することで、追跡対象の追跡結果位置（シフト重心位置）のとる軌跡の範囲を調整することができる。
【００２０】
第３の発明は、第１または第２の発明であって、現時刻の処理対象フレームを第Ｎフレーム（Ｎ：整数）とし、第αフレーム（α：整数）における追跡対象の重心位置を示す位置ベクトルデータをＣｏ（α）と表記し、第αフレームにおける追跡対象の加速度を示す加速度ベクトルをＡｏ（Ｎ）と表記するとすると、加速度算出部は、第Ｎフレームにおける追跡対象の加速度を、
Ａｏ（Ｎ）＝Ｃｏ（Ｎ）＝２×Ｃｏ（Ｎ−ｍ）＋Ｃｏ（Ｎ−２×ｍ）
ｍ：自然数
に相当する処理により取得する。
【００２１】
これにより、簡単に、追跡対象の加速度を取得することができる。
【００２２】
第４の発明は、第１から第３のいずれかの発明であって、表示情報記憶部をさらに備える。
【００２３】
検出結果表示部は、追跡対象の検出結果を検出結果表示画像に表示させるための表示情報を生成する。
【００２４】
表示情報記憶部は、検出結果表示部が生成した表示情報を格納する。
【００２５】
現時刻の処理対象フレームを第Ｎフレーム（Ｎ：整数）とすると、検出結果表示部は、第Ｎフレームの表示情報と、表示情報記憶部に記憶されている、少なくとも１つの過去フレームの表示情報とに基づいて、第Ｎフレームにおける追跡対象の検出結果と、少なくとも１つの過去フレームにおける追跡対象の検出結果とが、検出結果表示画像に表示されるように、検出結果表示画像を生成する。
【００２６】
これにより、この追跡表示処理装置により取得される検出結果表示画像において、現フレーム（第Ｎフレーム）での追跡対象の検出結果と、現フレームよりも前のフレームでの追跡対象の検出結果とを表示させることができる。したがって、この追跡表示処理装置により、取得された検出結果画像（検出結果動画像）を観察することで、追跡結果を容易に認識することができる。
【００２７】
第５の発明は、第４の発明であって、検出結果表示部は、第Ｎフレームにおける追跡対象の検出結果を示す、検出結果表示画像上での領域の面積を第１サイズとすると、過去フレームにおける追跡対象の検出結果を示す、検出結果表示画像上での領域の面積が、第１サイズよりも小さくなるように、過去フレームにおける追跡対象の検出結果を検出結果表示画像に表示し、複数個の過去フレームにおける追跡対象の検出結果を検出結果表示画像に表示させる場合、古い過去フレームである程、追跡対象の検出結果を示す検出結果表示画像上での領域の面積が小さくなるように、過去フレームにおける追跡対象の検出結果を検出結果表示画像に表示する。
【００２８】
第６の発明は、差分画像取得部と、第１から第５のいずれかの発明である追跡表示処理装置と、を備える追跡表示処理システムである。
【００２９】
差分画像取得部は、追跡対象を含む映像であって、複数のフレーム画像からなる映像から取得される第Ｎフレーム画像（Ｎ：整数）と、当該第Ｎフレームよりもｎフレーム前に取得される第Ｎ−ｎフレーム画像（ｎ：自然数）とを入力とし、映像の第Ｎフレーム画像から所定の画像特徴量を抽出した第Ｎフレーム画像特徴量抽出画像と、映像の第Ｎ―ｎフレーム画像から所定の画像特徴量を抽出した第Ｎ−ｎフレーム画像特徴量抽出画像とに対して差分処理を行うことで、第Ｎフレーム差分画像を取得する。
【００３０】
そして、追跡表示処理装置の物体位置特定部は、差分画像取得部が取得した第Ｎフレーム差分画像を入力とする。
【００３１】
これにより、この追跡表示処理装置により取得される検出結果表示画像において、過去のフレームで取得された追跡対象の検出結果ほど、小さく表示されるため、当該検出結果画像を観察することで、追跡対象の軌跡を容易に判別することができるとともに、追跡対象の現在位置を容易に判別することができる。
【００３２】
第７の発明は、追跡表示処理方法をコンピュータに実行させるためのプログラムである。
【００３３】
追跡表示処理方法は、物体位置特定ステップと、記憶ステップと、加速度算出ステップと、物体位置シフトステップと、検出結果表示ステップと、を備える。
【００３４】
物体位置特定ステップは、追跡対象を含む映像から取得される画像を入力とし、画像に基づいて、追跡対象に相当する画像領域の重心位置を特定する。
【００３５】
記憶ステップは、物体位置特定ステップにより特定された追跡対象の重心位置に関する情報を記憶する。
【００３６】
加速度算出ステップは、物体位置特定ステップにより特定された追跡対象の重心位置と、記憶ステップで記憶された現時刻よりも前の時刻における追跡対象の重心位置とから、追跡対象の加速度を算出する。
【００３７】
物体位置シフトステップは、物体位置特定ステップにより特定された追跡対象の重心位置から、加速度算出ステップにより算出された追跡対象の加速度を減算することで、シフト重心位置を取得する。
【００３８】
検出結果表示ステップは、物体位置シフトステップにより取得されたシフト重心位置に基づいて、追跡対象の検出結果を表示した検出結果表示画像を生成する。
【００３９】
これにより、第１の発明と同様の効果を奏する追跡表示処理方法をコンピュータに実行させるプログラムを実現することができる。
【００４０】
第８の発明は、物体位置特定部と、記憶部と、加速度算出部と、物体位置シフト部と、検出結果表示部と、を備える集積回路である。
【００４１】
物体位置特定部は、追跡対象を含む映像から取得される画像を入力とし、画像に基づいて、追跡対象に相当する画像領域の重心位置を特定する。
【００４２】
記憶部は、物体位置特定部により特定された追跡対象の重心位置に関する情報を記憶する。
【００４３】
加速度算出部は、物体位置特定部により特定された追跡対象の重心位置と、記憶部に記憶されている現時刻よりも前の時刻における追跡対象の重心位置とから、追跡対象の加速度を算出する。
【００４４】
物体位置シフト部は、物体位置特定部により特定された追跡対象の重心位置から、加速度算出部により算出された追跡対象の加速度を減算することで、シフト重心位置を取得する。
【００４５】
検出結果表示部は、物体位置シフト部により取得されたシフト重心位置に基づいて、追跡対象の検出結果を表示した検出結果表示画像を生成する。
【００４６】
これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。
【発明の効果】
【００４７】
本発明によれば、追跡物体の状態に依らず、追跡結果を容易に判定することができる追跡表示処理装置、追跡表示処理システム、プログラムおよび集積回路を実現することができる。
【図面の簡単な説明】
【００４８】
【図１】第１実施形態に係る追跡表示処理システム１０００の概略構成図。
【図２】差分画像ｄｉｆｆ（Ｎ）から、人の指部分の重心位置Ｃｏ（Ｎ）を特定する処理を説明するための図。
【図３】単振動する物体Ｏｂｊの位置と加速度の関係を模式的に示した図。
【図４】検出結果画像を示す図。
【図５】検出結果画像を示す図。
【発明を実施するための形態】
【００４９】
［第１実施形態］
第１実施形態について、図面を参照しながら、以下、説明する。
【００５０】
＜１．１：追跡表示処理システムの構成＞
図１は、第１実施形態に係る追跡表示処理システム１０００の概略構成図である。
【００５１】
追跡表示処理システム１０００は、図１に示すように、画像用記憶部Ｍ１と、差分画像取得部１と、画像用記憶部Ｍ１と、追跡表示処理装置２と、を備える。
【００５２】
画像用記憶部Ｍ１は、追跡表示処理システムに入力される動画像信号Ｄｉｎをフレーム単位で記憶することができる画像用メモリである。画像用記憶部Ｍ１は、記憶している動画像信号を、動画像信号Ｄ１として、差分画像取得部１に出力する。
【００５３】
差分画像取得部１は、動画像信号Ｄｉｎと、画像用記憶部Ｍ１に記憶されている過去の動画像信号Ｄ１とを入力する。そして、差分画像取得部１は、動画像信号Ｄｉｎと、動画像信号Ｄ１とに対して差分処理を行い、差分画像信号ｄｉｆｆ（差分画像ｄｉｆｆ）を取得する。なお、差分画像取得部１は、動画像信号Ｄｉｎから所定の画像特徴量を抽出した画像特徴量抽出画像Ｉｍｇ（Ｄｉｎ）と、動画像信号Ｄ１から所定の画像特徴量を抽出した画像特徴量抽出画像Ｉｍｇ（Ｄ１）とに対して差分処理を行い、差分画像信号ｄｉｆｆ（差分画像ｄｉｆｆ）を取得するようにしてもよい。
【００５４】
そして、差分画像取得部１は、取得した差分画像信号ｄｉｆｆ（差分画像ｄｉｆｆ）を追跡表示処理装置２に出力する。
【００５５】
追跡表示処理装置２は、図１に示すように、物体位置特定部２１と、第１記憶部２２と、加速度算出部２３と、物体位置シフト部２４と、検出結果表示部２５と、第２記憶部２６と、を備える。
【００５６】
物体位置特定部２１は、差分画像取得部１から出力される差分画像ｄｉｆｆを入力する。物体位置特定部２１は、入力された差分画像において、追跡処理対象中の物体が占める画像領域の重心位置（あるいは中心位置）を取得する。そして、物体位置特定部２１は、取得した重心位置に関する情報Ｃｏを第１記憶部２２と、加速度算出部２３と、物体位置シフト部２４とに出力する。
【００５７】
第１記憶部２２は、物体位置特定部２１から出力される重心位置に関する情報Ｃｏを入力し、入力された重心位置に関する情報Ｃｏを記憶する。第１記憶部２２は、記憶している重心位置に関する情報を、所定のタイミングで（例えば、加速度算出部２３からの読み出し指令に従い）、加速度算出部２３に出力する。
【００５８】
加速度算出部２３は、物体位置特定部２１から出力される重心位置に関する情報Ｃｏと、第１記憶部２２に記憶されている重心位置に関する情報（過去の重心位置に関する情報）とを入力する。加速度算出部２３は、入力された重心位置に関する情報に基づいて、重心位置の移動（画像上の移動速度）についての加速度Ａｏを算出する。そして、加速度算出部２３は、算出した加速度Ａｏについての情報を物体位置シフト部２４に出力する。
【００５９】
物体位置シフト部２４は、物体位置特定部２１から出力される重心位置Ｃｏに関する情報と、加速度算出部２３から出力される加速度Ａｏについての情報とを入力する。物体位置シフト部２４は、加速度Ａｏに基づいて、重心位置Ｃｏの位置をずらすことで、シフト重心位置Ｃｏ１を取得する。そして、物体位置シフト部２４は、取得したシフト重心位置Ｃｏ１に関する情報を、検出結果表示部２５に出力する。
【００６０】
検出結果表示部２５は、動画像信号Ｄｉｎと、物体位置シフト部２４から出力されるシフト重心位置Ｃｏ１に関する情報とを入力する。検出結果表示部２５は、シフト重心位置Ｃｏ１に基づいて、検出結果を明示した検出結果画像を生成し、表示させる。また、検出結果表示部２５は、シフト重心位置Ｃｏ１に関する情報を第２記憶部２６に出力する。また、検出結果表示部２５は、第２記憶部２６に対して、データの読み出し／書き込みを行うことができる。
【００６１】
第２記憶部２６は、検出結果表示部２５から出力されるシフト重心位置Ｃｏ１に関する情報を記憶する。また、第２記憶部２６は、検出結果表示部２５からの読み出し指令に基づいて、記憶しているシフト重心位置Ｃｏ１に関する情報を、検出結果表示部２５に出力する。
【００６２】
＜１．２：追跡表示処理システムの動作＞
以上のように構成された追跡表示処理システム１０００の動作について、以下、説明する。
【００６３】
なお、以下では、人の手の指先を追跡する処理を例に説明する。具体的には、指先を指揮棒のように振る場合に、指先を追跡する処理について説明する。
【００６４】
追跡表示処理システム１０００には、例えば、人が指先を指揮棒のように振るシーンを撮像した動画像が動画像信号Ｄｉｎとして入力される。なお、以下では、フレーム単位での処理が実行される場合について、説明する。そして、現フレーム画像（動画像信号Ｄｉｎにより形成される現時刻のフレーム画像）が第Ｎフレーム（Ｎ：自然数）であるものとして、説明する。そして、画像用記憶部Ｍ１には、第Ｎ−１フレーム画像が記憶されているものとする。
【００６５】
差分画像取得部１は、第Ｎフレーム画像Ｄｉｎと、画像用記憶部Ｍ１から第Ｎ−１フレーム画像Ｄ１と、を入力する。そして、差分画像取得部１は、第Ｎフレーム画像Ｄｉｎから肌色領域を抽出した画像特徴量抽出画像Ｉｍｇ（Ｎ）と、第Ｎ−１フレーム画像Ｄ１から肌色領域を抽出した画像特徴量抽出画像Ｉｍｇ（Ｎ−１）とを取得し、両者の差分をとることで、差分画像ｄｉｆｆ（Ｎ）を取得する。なお、第Ｋフレーム（Ｋ：自然数）の画像特徴量抽出画像をＩｍｇ（Ｋ）と表記し、第Ｋフレーム（Ｋ：自然数）の差分画像をｄｉｆｆ（Ｋ）と表記する。
【００６６】
そして、差分画像取得部１は、差分画像ｄｉｆｆ（Ｎ）から、人の指部分の重心位置Ｃｏ（Ｎ）を特定する。この処理について、図２を用いて説明する。
【００６７】
図２は、差分画像ｄｉｆｆ（Ｎ）から、人の指部分の重心位置Ｃｏ（Ｎ）を特定する処理を説明するための図である。図２の左図は、画像特徴量抽出画像Ｉｍｇ（Ｎ）を示しており、白い画像が抽出された肌色領域を示している。図２の右図は、画像特徴量抽出画像Ｉｍｇ（Ｎ）および画像特徴量抽出画像Ｉｍｇ（Ｎ−１）から取得された差分画像ｄｉｆｆ（Ｎ）を、画素値を反転させて表示した図である。つまり、図２の右図では、黒い部分の領域が、差分値が大きいことを示している。
【００６８】
物体位置シフト部２４は、差分画像ｄｉｆｆ（Ｎ）から、重心位置を算出する。物体位置シフト部２４は、例えば、差分画像ｄｉｆｆ（Ｎ）の画素値と座標位置を示す値（Ｘ値、Ｙ値）との積の総和を求め、求めた総和を、差分画像ｄｉｆｆ（Ｎ）の画素値の総和で除算することで、重心の座標位置を算出する。このように算出された重心位置Ｃｏ（Ｎ）を、図２の右図に黒丸で示す。なお、第Ｋフレーム（Ｋ：自然数）の差分画像から算出された重心位置をＣｏ（Ｋ）と表記する。
【００６９】
なお、重心位置の算出方法は、上記に限定されることはなく、例えば、パーティクルフィルタを差分画像ｄｉｆｆ（Ｎ）に対して適用し、肌色の物体を追跡するパーティクルの分布と、観測データである差分画像ｄｉｆｆ（Ｎ）の画素値から導出される尤度に基づいて、追跡対象の重心位置（あるいは中心位置）Ｃｏ（Ｎ）を求めるようにしてもよい。
【００７０】
上記にようにして算出された重心位置Ｃｏ（Ｎ）についての情報は、物体位置特定部２１から、第１記憶部２２、加速度算出部２３、および、物体位置シフト部２４に出力される。
【００７１】
第１記憶部２２は、物体位置シフト部２４から出力された重心位置Ｃｏ（Ｎ）についての情報を記憶する。また、第１記憶部２２は、過去複数フレームにおいて、取得された重心位置についての情報を記憶しているものとする。
【００７２】
加速度算出部２３は、物体位置特定部２１から出力される現フレームの重心位置Ｃｏ（Ｎ）と、第１記憶部２２から出力される過去フレームの重心位置Ｃｏ（Ｎ−ｋ）（ｋ：自然数）とを用いて、重心位置の移動速度の加速度Ａｏを算出する。
【００７３】
具体的には、加速度算出部２３は、過去フレームの重心位置Ｃｏ（Ｎ−ｋ）、および、現フレームの重心位置Ｃｏ（Ｎ）との差分を求めることで、まず、重心位置の移動速度を算出し、さらに、算出した重心位置の移動速度の差を算出することで、重心位置の加速度を算出する。
【００７４】
例えば、加速度算出部２３は、第Ｋフレームの重心位置の速度をＶｏ（Ｋ）とすると、現フレームの重心位置の加速度Ａｏ（Ｎ）を、
Ａｏ（Ｎ）＝Ｖｏ（Ｎ）―Ｖｏ（Ｎ−１）
＝（Ｃｏ（Ｎ）―Ｃｏ（Ｎ−１））−（Ｃｏ（Ｎ−１）−Ｃｏ（Ｎ−２））
＝Ｃｏ（Ｎ）−２×Ｃｏ（Ｎ−１）＋Ｃｏ（Ｎ−２）
として、算出する。なお、重心位置は、２次元の位置情報であるので、上記は、ベクトル演算となる（以下、同様）。
【００７５】
なお、上位では、時間軸において、隣接する３つの重心位置を用いて加速度Ａｏ（Ｎ）を算出しているが、上記に限定されることはなく、時間軸において、離間するフレーム間の速度Ｖｏ（Ｋ）、および、重心位置Ｃｏ（Ｋ）を用いて、加速度Ａｏ（Ｎ）を算出してもよい。
【００７６】
例えば、時間軸において、ｋフレーム間隔で離間するフレーム間の重心位置を用いて、加速度Ａｏ（Ｎ）を算出する場合、
Ａｏ（Ｎ）＝Ｃｏ（Ｎ）＝２×Ｃｏ（Ｎ−ｋ）＋Ｃｏ（Ｎ−２×ｋ）
により、加速度Ａｏ（Ｎ）を算出することができる。ｋは、例えば、「５」（５フレームに相当）することが好ましい。
【００７７】
以上のように、加速度算出部２３により算出された重心位置Ｃｏ（Ｎ）の加速度Ａｏ（Ｎ）は、加速度算出部２３から物体位置シフト部２４に出力される。
【００７８】
物体位置シフト部２４は、物体位置特定部２１から出力された重心位置Ｃｏ（Ｎ）と、加速度算出部２３から出力された加速度Ａｏ（Ｎ）とを用いて、
Ｃｏ１（Ｎ）＝Ｃｏ（Ｎ）―ｋ×Ａｏ（Ｎ）
に相当する処理を実行することで、シフト重心位置Ｃｏ１（Ｎ）を取得する。
【００７９】
なお、上記の処理はベクトル演算である。なお、ｋは、正の係数である。
【００８０】
つまり、上記数式の処理は、
Ｃｏ１（Ｎ）のｘ座標成分をＣｏ１（Ｎ）＿ｘとし、
Ｃｏ１（Ｎ）のｙ座標成分をＣｏ１（Ｎ）＿ｙとし、
Ｃｏ（Ｎ）のｘ座標成分をＣｏ（Ｎ）＿ｘとし、
Ｃｏ（Ｎ）のｙ座標成分をＣｏ（Ｎ）＿ｙとし、
Ａｏ（Ｎ）のｘ成分をＡｏ（Ｎ）＿ｘとし、
Ａｏ（Ｎ）のｙ成分をＡｏ（Ｎ）＿ｙとすると、
下記（数式２）のベクトル演算に相当する。なお、Ｃｏ１（Ｎ）＿ｘ、Ｃｏ１（Ｎ）＿ｙ、Ｃｏ（Ｎ）＿ｘ、Ｃｏ（Ｎ）＿ｙ、Ａｏ（Ｎ）＿ｘ、Ａｏ（Ｎ）＿ｙは、実数である。
【００８１】
【数２】
2015203997.tif 000004
【００８２】
ｋ：正の係数
物体位置シフト部２４では、上記のように、重心位置から加速度成分を減算することで、重心位置をシフトしている（ずらしている）。このようにシフトした重心位置に、追跡中の対象物を示す表示をすることで、追跡中の対象物の軌跡、特に、単振動の軌跡と類似する軌跡を辿る物体を追跡する場合の軌跡をより分かりやすく明示することができる。
【００８３】
これについて、図３を用いて、説明する。
【００８４】
図３は、単振動する物体Ｏｂｊ（単振り子運動を行う物体Ｏｂｊ）の位置と加速度の関係を模式的に示した図である。
【００８５】
図３では、Ａ点とＢ点の間を、物体Ｏｂｊが単振動するものとする。なお、Ａ点に存在するときの物体Ｏｂｊ（Ａ）に係る加速度（加速度ベクトル）をＶａ（Ａ）とし、Ｂ点に存在するときの物体Ｏｂｊ（Ｂ）に係る加速度（加速度ベクトル）をＶａ（Ｂ）とし、Ｃ点に存在するときの物体Ｏｂｊ（Ｃ）に係る加速度（加速度ベクトル）をＶａ（Ｃ）とする。
【００８６】
図３に示すように、単振動している物体Ｏｂｊにかかる加速度は、端点であるＡ点およびＢ点で最大になり、その加速度ベクトルの向きは、内側（Ｃ点側）となる。
【００８７】
したがって、位置Ａ点に対して、加速度ベクトルＶａ（Ａ）を引くことで取得される位置は、Ａ１点となり、Ａ点よりも外側（Ｃ点と逆側）となる。また、位置Ｂ点に対して、加速度ベクトルＶａ（Ｂ）を引くことで取得される位置は、Ｂ１点となり、Ｂ点よりも外側（Ｃ点と逆側）となる。なお、加速度ベクトルの値が「０」となるＣ点では、位置Ｃ点に対して、加速度ベクトルＶａ（Ｃ）を引くことで取得される位置は、Ｃ点となる。
【００８８】
このように、位置座標から加速度ベクトルを引くことで取得される位置は、単振動の軌跡の外側である程、外側に大きくずれることになる。つまり、単振動している物体の位置座標から加速度ベクトルを引いた位置の軌跡の範囲は、単振動している物体の軌跡の範囲よりも広くなる。したがって、単振動している物体に対応する表示を、当該物体の重心位置の位置座標から加速度ベクトルを引くことで取得される位置とすることで、単振動している物体の軌跡をより認識しやすくなる。
【００８９】
このような理由により、物体位置シフト部２４では、上記のように、重心位置から加速度成分を減算することで、重心位置をシフトして、シフト重心位置を取得している。
【００９０】
物体位置シフト部２４により、シフトされた重心位置Ｃｏ１についての情報は、検出結果表示部２５に出力される。
【００９１】
検出結果表示部２５は、物体位置シフト部２４によりシフトされた重心位置Ｃｏ１に基づいて、検出結果を画像（動画像）上に表示させるための情報を決定する。例えば、検出結果表示部２５は、現フレーム（第Ｎフレーム）における追跡対象の検出結果を画像上に表示させるための位置情報（画像上の座標）、表示サイズ、表示形状、表示色等を、検出結果表示情報ｄｅｔ（Ｎ）として、決定する。また、検出結果表示部２５は、検出結果表示情報を記憶保持する第２記憶部２６から、過去のフレームにおける検出結果表示情報を読み出す（取得する）。検出結果表示部２５は、例えば、第２記憶部２６から過去５フレーム分の検出結果表示情報を読み出す（取得する）。つまり、この場合、検出結果表示部２５は、現フレームの検出結果表示情報ｄｅｔ（Ｎ）と、過去の５フレームにおける検出結果表示情報ｄｅｔ（Ｎ−１）、ｄｅｔ（Ｎ−２）、ｄｅｔ（Ｎ−３）、ｄｅｔ（Ｎ−４）、ｄｅｔ（Ｎ−５）、とを取得する。
【００９２】
検出結果表示部２５は、検出結果表示情報ｄｅｔに基づく表示が行われるように、検出結果画像（検出結果動画像）を生成する。
【００９３】
例えば、検出結果表示情報ｄｅｔが、所定の大きさの円を、追跡対象のシフト重心位置に表示させることを示している場合、検出結果表示部２５は、シフト重心位置に、所定の大きさの円を表示させた表示画像を生成する。このようにして生成された表示画像の一例を図４に示す。図４から分かるように、現フレーム（第Ｎフレーム）、および、過去５フレーム分の検出位置（追跡対象の検出位置）を示す同じ大きさの円が、６つ表示されている。
【００９４】
検出結果表示部２５は、上記のように生成した表示画像を形成する動画像信号を動画像信号Ｄｏｕｔとして出力する。
【００９５】
なお、検出結果表示部２５において、現フレーム（第Ｎフレーム）に時間的に近いフレームほど、その検出結果位置（シフト重心位置）に、大きな半径の円が表示されるように、検出結果表示情報ｄｅｔを生成するようにしてもよい。つまり、第Ｋフレームの検出結果位置（シフト重心位置Ｃｏ１（Ｋ））に表示させる円の半径をＲ（Ｃｏ１（Ｋ））とすると、検出結果表示部２５は、
Ｒ（Ｃｏ１（Ｋ））＞Ｒ（ｃｏ１（Ｋ−ｍ））
ｍ：自然数
を満たすように、検出結果位置（シフト重心位置）に、表示させる円の半径を決定する。
【００９６】
例えば、現フレーム（第Ｎフレーム）、および、過去５フレーム分の検出結果を表示させる場合、
Ｒ（Ｃｏ１（Ｎ））＞Ｒ（Ｃｏ１（Ｎ−１））＞Ｒ（Ｃｏ１（Ｎ−２））
かつ
Ｒ（Ｃｏ１（Ｎ−２））＞Ｒ（Ｃｏ１（Ｎ−３））＞Ｒ（Ｃｏ１（Ｎ−４））
かつ
Ｒ（Ｃｏ１（Ｎ−４））＞Ｒ（Ｃｏ１（Ｎ−５））
を満たすように、検出結果表示部２５は、各フレームの検出結果位置（シフト重心位置）に表示させる円の半径を決定する。
【００９７】
図５に、現フレームと、過去５フレーム分の検出結果を、現フレームに近い程、大きな円として表示させるようにして生成した検出結果画像を示す。
【００９８】
図５から分かるように、現フレーム（第Ｎフレーム）の検出結果位置（シフト重心位置Ｃｏ（Ｎ））に描かれている円の半径が最大であり、第Ｎ−１フレーム、第Ｎ−２フレーム、・・・と古い過去のフレームになる程、検出結果位置（シフト重心位置）に描かれている円の半径が小さくなるように表示されている。このように表示されることにより、現フレームの検出結果位置が明確に分かるとともに、過去からの軌跡についても明確に認識することができる。
【００９９】
以上のように、追跡表示処理システム１０００では、シフト重心位置に、追跡対象の検出結果（追跡結果）の表示（例えば、円を描いて表示）を行うので、追跡対象が単振動に類似した移動を行う場合であっても、追跡結果を容易に判定することができる。つまり、追跡表示処理システム１０００では、追跡対象の追跡結果位置を、追跡対象の重心位置（中心位置）から、追跡対象の重心位置の加速度（加速度ベクトル）を減算した位置とするので、追跡対象が単振動に類似した移動を行う場合、追跡対象の追跡結果位置（シフト重心位置）のとる軌跡の範囲が、追跡対象の重心位置がとる軌跡の範囲よりも広くすることができる。その結果、追跡対象の移動軌跡をより明確に把握することができる。
【０１００】
また、追跡表示処理システム１０００では、追跡対象の追跡結果位置を、追跡対象の重心位置（中心位置）から、追跡対象の重心位置の加速度（加速度ベクトル）を減算した位置とするので、追跡対象の加速度が小さい、あるいは、「０」である場合、追跡結果位置は、追跡対象の重心位置とほぼ同じ位置（加速度が小さい場合）、あるいは、全く同じ位置（加速度が「０」の場合）となるので、追跡対象の加速度が小さい場合に、大きく検出位置がずれることがない。その結果、追跡表示処理システム１０００では、追跡対象の追跡結果を、違和感なく、自然に認識できるように表示することができる。
【０１０１】
さらに、追跡表示処理システム１０００では、シフト重心位置に、現フレームに時間的に近い程、大きなサイズ（占める画像領域の面積の大きい）表示を行うことで、追跡対象の過去からの軌跡をより明確に把握することができる。したがって、追跡表示処理システム１０００では、追跡対象の現在位置や移動方向をより明確に認識できるように、検出結果の表示を行うことができる。
【０１０２】
追跡表示処理システム１０００では、上記のようにして、追跡対象の追跡結果を、検出結果画像（検出結果動画像）に表示することができる。したがって、追跡表示処理システム１０００により取得された検出結果画像（検出結果動画像）を観察することで、追跡物体の状態に依らず、追跡結果を容易に判定することができる。
【０１０３】
［他の実施形態］
上記実施形態では、追跡表示処理システムが、第１記憶部と、第２記憶部とを有する構成である場合について、説明したが、これに限定されることはなく、第１記憶部と、第２記憶部とは、１つのメモリにより実現されるものであってもよい。
【０１０４】
上記実施形態では、人の手の指先を追跡する処理を例に説明したが、これに限定されることはなく、追跡対象を他のものにするようにしてもよい。
【０１０５】
特に、単振動に類似した動作（移動）を多く行う物体を追跡する場合、本発明を適用することで、認識しやすい追跡対象の追跡結果（検出結果画像（検出結果動画像））を取得することができる。
【０１０６】
例えば、野球のバットのスイングや、ゴルフクラブのスイングや、テニスラケットのスイングを行うシーンを撮像した動画像に対して、本発明を適用することで、認識しやすい追跡対象の追跡結果（検出結果画像（検出結果動画像））を取得することができる。
【０１０７】
また、上記実施形態では、指先を追跡する処理を行うため、入力される動画像から、画像特徴量を肌色度合いとして、入力される動画像から、肌色領域を抽出して画像特徴量抽出画像を生成する場合について説明したが、これに限定されることはない。追跡対象に応じて、画像特徴量を設定し、所定の特徴を有する画像領域を抽出して、画像特徴量抽出画像を生成するようにしてもよい。
【０１０８】
また、上記実施形態で説明した追跡表示処理システム、追跡表示処理装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
【０１０９】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１１０】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【０１１１】
また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
【０１１２】
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
【０１１３】
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
【０１１４】
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。
【０１１５】
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
【０１１６】
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【符号の説明】
【０１１７】
１０００  追跡表示処理システム
１  差分画像取得部
２  追跡表示処理装置
２１  物体位置特定部
２２  第１記憶部
２３  加速度算出部
２４  物体位置シフト部
２５  検出結果表示部
２６  第２記憶部
【図１】
2015203997.tif 000006
【図２】
2015203997.tif 000007
【図３】
2015203997.tif 000008
【図４】
2015203997.tif 000009
【図５】
2015203997.tif 000010