(57)【要約】【課題】目標物体の状態によらず、より正確に目標物体を追跡する。【解決手段】検出部は、入力画像から目標物体を検出し、判定部は、目標物体の少なくとも一部が前景物体に隠れているか否かを判定する。目標物体が前景物体に隠れていると判定された場合、隠れ推定部は、目標物体の前景物体に隠されていない部分を推定し、修正部は、隠れ推定部による推定結果に基づいて、検出部による目標物体の検出結果を修正する。本技術は、例えばパーソナルコンピュータ等の情報処理装置に適用することができる。【選択図】図１
2013152537.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から目標物体を検出する検出部と、
前記目標物体の少なくとも一部が前景物体に隠れているか否かを判定する判定部と、
前記目標物体が前記前景物体に隠れていると判定された場合、前記目標物体の前記前景物体に隠されていない部分を推定する隠れ推定部と、
前記目標物体が前記前景物体に隠れていると判定された場合、前記隠れ推定部による推定結果に基づいて、前記検出部による前記目標物体の検出結果を修正する修正部と
を備える情報処理装置。
【請求項２】
前記判定部は、前記目標物体の少なくとも一部が前記前景物体に隠れているか、または、前記目標物体の形状が変化したかを判定し、
前記目標物体の形状が変化したと判定された場合、前記目標物体の形状が変化した部分を推定する変化推定部をさらに備え、
前記目標物体の形状が変化したと判定された場合、前記修正部は、前記変化推定部による推定結果に基づいて、前記検出部による前記目標物体の検出結果を修正する
請求項１に記載の情報処理装置。
【請求項３】
前記判定部は、過去フレームの、現フレームにおいて前記目標物体が検出された検出領域に対応する対応領域に、前記前景物体が存在するか否かを判定することで、前記目標物体の少なくとも一部が前記前景物体に隠れているか、または、前記目標物体の形状が変化したかを判定する
請求項２に記載の情報処理装置。
【請求項４】
前記隠れ推定部は、複数の過去フレームの前記対応領域に含まれる前記前景物体を学習することで、現フレームにおいて前記目標物体の前記前景物体に隠されていない部分を推定する
請求項３に記載の情報処理装置。
【請求項５】
前記変化推定部は、複数の過去フレームの前記検出領域に含まれる前記目標物体の形状の変化を学習することで、現フレームにおいて前記目標物体の形状が変化した部分を推定する
請求項３に記載の情報処理装置。
【請求項６】
前記目標物体が、所定のジェスチャを行うユーザの体の一部または全部である場合、前記判定部は、前記ジェスチャに要する時間に応じた数の過去フレームにおける前記対応領域に、前記前景物体が存在するか否かを判定する
請求項２に記載の情報処理装置。
【請求項７】
現フレームにおける前記目標物体の検出結果と、過去フレームにおける前記目標物体の検出結果とを比較することで、前記判定部による判定の必要性を示す比較部をさらに備え、
前記判定部は、前記比較部による比較結果に応じて、前記目標物体の少なくとも一部が前記前景物体に隠れているか、または、前記目標物体の形状が変化したかを判定する
請求項２に記載の情報処理装置。
【請求項８】
前記入力画像とともに、前記検出部による前記目標物体の検出結果として、前記入力画像上の前記目標物体を報知する情報を表示する表示部をさらに備え、
前記目標物体が前記前景物体に隠れていると判定された場合、前記表示部は、前記目標物体の前記前景物体に隠されていない部分を報知する情報を表示する
請求項１に記載の情報処理装置。
【請求項９】
前記目標物体が前記前景物体に隠れていると判定された場合、前記表示部は、前記目標物体の少なくとも一部が前景物体に隠れている旨の警告をさらに表示する
請求項８に記載の情報処理装置。
【請求項１０】
前記表示部は、前記目標物体の前記前景物体に隠されていない部分を報知する情報として、前記目標物体の前記前景物体に隠されていない部分を囲む矩形枠を表示する
請求項８に記載の情報処理装置。
【請求項１１】
入力画像から目標物体を検出する検出部と、
前記目標物体の少なくとも一部が前景物体に隠れているか否かを判定する判定部と、
前記目標物体が前記前景物体に隠れていると判定された場合、前記目標物体の前記前景物体に隠されていない部分を推定する隠れ推定部と、
前記目標物体が前記前景物体に隠れていると判定された場合、前記隠れ推定部による推定結果に基づいて、前記検出部による前記目標物体の検出結果を修正する修正部とを備える情報処理装置の情報処理方法であって、
前記情報処理装置が、
入力画像から目標物体を検出し、
前記目標物体の少なくとも一部が前景物体に隠れているか否かを判定し、
前記目標物体が前記前景物体に隠れていると判定された場合、前記目標物体の前記前景物体に隠されていない部分を推定し、
前記目標物体が前記前景物体に隠れていると判定された場合、前記隠れ推定部による推定結果に基づいて、前記検出部による前記目標物体の検出結果を修正する
ステップを含む情報処理方法。
【請求項１２】
入力画像から目標物体を検出する検出ステップと、
前記目標物体の少なくとも一部が前景物体に隠れているか否かを判定する判定ステップと、
前記目標物体が前記前景物体に隠れていると判定された場合、前記目標物体の前記前景物体に隠されていない部分を推定する隠れ推定ステップと、
前記目標物体が前記前景物体に隠れていると判定された場合、前記隠れ推定ステップによる推定結果に基づいて、前記検出ステップによる前記目標物体の検出結果を修正する修正ステップと
を含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置および方法、並びにプログラムに関し、特に、目標物体の状態によらず、目標物体を追跡することができるようにする情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、よりロバストな物体追跡システムを実現するため、追跡目標となる目標物体の部分的な隠れまたは形状変化に対応するようにして、目標物体を追跡する様々な手法が提案されている。具体的には、例えば、背景差分を用いて目標物体を追跡する手法や、事前に目標物体についての知識を学習することで目標物体を追跡する手法等がある。
【０００３】
また、ユーザの体の一部や片手で扱えるような所定の物体を目標物体とした物体追跡技術を、一般家庭における各種機器の操作に応用することが提案されている。例えば、手ジェスチャを認識することで、機器をコントロールするシステムの実用例も存在する。
【０００４】
手ジェスチャを認識する技術としては、まず、手のみが撮像されている画像を用いるか、または、画像内における手の位置が指定されることにより、手のみが含まれている画像が抽出され、抽出されたその画像について、肌色情報、動き検出、およびパターンマッチングと言った手法により手ジェスチャを認識するものが提案されている（特許文献１参照）。
【０００５】
一方で、「Z. Kalal, K. Mikolajczyk, and J. Matas, “Face-TLD: Tracking-Learning-Detection Applied to Faces”, International Conference on Image Processing, 2010.」や、「Boris Babenko, Ming-Hsuan Yang, Serge Belongie, “Visual Tracking with Online Multiple Instance Learning” CVPR 2009.」等で提案されているような、オンライン学習を用いた物体追跡技術も存在する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−３３３６９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の、手ジェスチャを認識して機器をコントロールするような技術では、手の形状や色が大きく変化した場合、認識精度に影響を及ぼす恐れがあった。
【０００８】
また、上述の、オンライン学習を用いて目標物体を追跡するような技術では、変化しない背景の前に存在する動物体や、変化する背景の前に存在する静止物体には対応できるが、部分的な隠れと形状変化のいずれもが起こり得る目標物体には対応できない恐れがあった。このような場合、誤った物体を目標物体として誤認識する現象（ドリフト）が発生しやすくなり、正確に目標物体を追跡することができなくなってしまう。
【０００９】
本技術は、このような状況に鑑みてなされたものであり、目標物体の状態によらず、より正確に目標物体を追跡することができるようにするものである。
【課題を解決するための手段】
【００１０】
本技術の一側面の情報処理装置は、入力画像から目標物体を検出する検出部と、前記目標物体の少なくとも一部が前景物体に隠れているか否かを判定する判定部と、前記目標物体が前記前景物体に隠れていると判定された場合、前記目標物体の前記前景物体に隠されていない部分を推定する隠れ推定部と、前記目標物体が前記前景物体に隠れていると判定された場合、前記隠れ推定部による推定結果に基づいて、前記検出部による前記目標物体の検出結果を修正する修正部とを備える。
【００１１】
前記判定部には、前記目標物体の少なくとも一部が前記前景物体に隠れているか、または、前記目標物体の形状が変化したかを判定させ、前記情報処理装置には、前記目標物体の形状が変化したと判定された場合、前記目標物体の形状が変化した部分を推定する変化推定部をさらに設け、前記目標物体の形状が変化したと判定された場合、前記修正部には、前記変化推定部による推定結果に基づいて、前記検出部による前記目標物体の検出結果を修正させることができる。
【００１２】
前記判定部には、過去フレームの、現フレームにおいて前記目標物体が検出された検出領域に対応する対応領域に、前記前景物体が存在するか否かを判定することで、前記目標物体の少なくとも一部が前記前景物体に隠れているか、または、前記目標物体の形状が変化したかを判定させることができる。
【００１３】
前記隠れ推定部には、複数の過去フレームの前記対応領域に含まれる前記前景物体を学習することで、現フレームにおいて前記目標物体の前記前景物体に隠されていない部分を推定させることができる。
【００１４】
前記変化推定部には、複数の過去フレームの前記検出領域に含まれる前記目標物体の形状の変化を学習することで、現フレームにおいて前記目標物体の形状が変化した部分を推定させることができる。
【００１５】
前記目標物体が、所定のジェスチャを行うユーザの体の一部または全部である場合、前記判定部には、前記ジェスチャに要する時間に応じた数の過去フレームにおける前記対応領域に、前記前景物体が存在するか否かを判定させることができる。
【００１６】
前記情報処理装置には、現フレームにおける前記目標物体の検出結果と、過去フレームにおける前記目標物体の検出結果とを比較することで、前記判定部による判定の必要性を示す比較部をさらに設け、前記判定部には、前記比較部による比較結果に応じて、前記目標物体の少なくとも一部が前記前景物体に隠れているか、または、前記目標物体の形状が変化したかを判定させることができる。
【００１７】
前記情報処理装置には、前記入力画像とともに、前記検出部による前記目標物体の検出結果として、前記入力画像上の前記目標物体を報知する情報を表示する表示部をさらに設け、前記目標物体が前記前景物体に隠れていると判定された場合、前記表示部には、前記目標物体の前記前景物体に隠されていない部分を報知する情報を表示させることができる。
【００１８】
前記目標物体が前記前景物体に隠れていると判定された場合、前記表示部には、前記目標物体の少なくとも一部が前景物体に隠れている旨の警告をさらに表示させることができる。
【００１９】
前記表示部には、前記目標物体の前記前景物体に隠されていない部分を報知する情報として、前記目標物体の前記前景物体に隠されていない部分を囲む矩形枠を表示させることができる。
【００２０】
本技術の一側面の情報処理方法は、入力画像から目標物体を検出する検出部と、
前記目標物体の少なくとも一部が前景物体に隠れているか否かを判定する判定部と、
前記目標物体が前記前景物体に隠れていると判定された場合、前記目標物体の前記前景物体に隠されていない部分を推定する隠れ推定部と、
前記目標物体が前記前景物体に隠れていると判定された場合、前記隠れ推定部による推定結果に基づいて、前記検出部による前記目標物体の検出結果を修正する修正部とを備える情報処理装置の情報処理方法であって、
前記情報処理装置が、
入力画像から目標物体を検出し、
前記目標物体の少なくとも一部が前景物体に隠れているか否かを判定し、
前記目標物体が前記前景物体に隠れていると判定された場合、前記目標物体の前記前景物体に隠されていない部分を推定し、
前記目標物体が前記前景物体に隠れていると判定された場合、前記隠れ推定部による推定結果に基づいて、前記検出部による前記目標物体の検出結果を修正するステップを含む。
【００２１】
本技術の一側面のプログラムは、入力画像から目標物体を検出する検出ステップと、前記目標物体の少なくとも一部が前景物体に隠れているか否かを判定する判定ステップと、前記目標物体が前記前景物体に隠れていると判定された場合、前記目標物体の前記前景物体に隠されていない部分を推定する隠れ推定ステップと、前記目標物体が前記前景物体に隠れていると判定された場合、前記隠れ推定ステップによる推定結果に基づいて、前記検出ステップによる前記目標物体の検出結果を修正する修正ステップとを含む処理をコンピュータに実行させる。
【００２２】
本技術の一側面においては、入力画像から目標物体が検出され、目標物体の少なくとも一部が前景物体に隠れているか否かが判定され、目標物体が前景物体に隠れていると判定された場合、目標物体の前景物体に隠されていない部分が推定され、目標物体が前景物体に隠れていると判定された場合、推定結果に基づいて、目標物体の検出結果が修正される。
【発明の効果】
【００２３】
本技術の一側面によれば、目標物体の状態によらず、より正確に目標物体を追跡することが可能となる。
【図面の簡単な説明】
【００２４】
【図１】本技術を適用した情報処理装置の第１の形態の構成を示すブロック図である。
【図２】本技術を適用したパーソナルコンピュータの一実施の形態の構成を示すブロック図である。
【図３】物体追跡処理について説明するフローチャートである。
【図４】隠れ推定処理について説明するフローチャートである。
【図５】従来の物体追跡処理の結果の表示例を示す図である。
【図６】本技術の物体追跡処理の結果の表示例を示す図である。
【図７】本技術を適用した情報処理装置の第２の形態の構成を示すブロック図である。
【図８】物体追跡処理について説明するフローチャートである。
【図９】変化推定処理について説明するフローチャートである。
【図１０】従来の物体追跡処理の結果の他の表示例を示す図である。
【図１１】本技術の物体追跡処理の結果の他の表示例を示す図である。
【図１２】本技術を適用した情報処理装置の第３の形態の構成を示すブロック図である。
【図１３】物体追跡処理について説明するフローチャートである。
【図１４】本技術の物体追跡処理の結果のさらに他の表示例を示す図である。
【発明を実施するための形態】
【００２５】
以下、本技術の実施の形態について図を参照して説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（部分的な隠れに対応した物体追跡処理を行う構成）
２．第２の実施の形態（形状変化に対応した物体追跡処理を行う構成）
３．第３の実施の形態（部分的な隠れおよび形状変化に対応した物体追跡処理を行う構成）
４．その他
【００２６】
＜１．第１の実施の形態＞
［情報処理装置の構成］
図１は、本技術を適用した情報処理装置の第１の実施の形態の構成を示すブロック図である。
【００２７】
図１の情報処理装置１は、動画像である入力画像から追跡目標である目標物体を追跡し、その追跡結果を出力（表示）する。
【００２８】
情報処理装置１は、入力部１１、物体追跡部１２、判定部１３、隠れ推定処理部１４、表示部１５、および過去データ保存部１６から構成される。
【００２９】
入力部１１は、カメラ等により被写体を撮像することにより取得された動画像を入力し、その動画像（入力画像）を物体追跡部１２に供給する。なお、入力部１１は、それ自体が被写体を撮像するカメラであってもよい。また、カメラは、撮影方向が固定の固定カメラであるものとする。
【００３０】
物体追跡部１２は、入力部１１からの入力画像のフレーム毎に目標物体を検出し、その検出結果を目標物体の追跡結果として、入力画像とともに表示部１５および過去データ保存部１６に供給する。
【００３１】
物体追跡部１２は、検出部２１、比較部２２、および修正部２３を備えている。検出部２１は、入力画像において現在注目している現フレームから目標物体を検出する。比較部２２は、現フレームにおける目標物体の検出結果と、過去データ保存部１６に保存されている、現フレームより時間的に過去の過去フレームにおける目標物体の検出結果とを比較する。この比較結果は判定部１３に供給される。修正部２３は、必要に応じて、隠れ推定処理部１４からの情報に基づいて目標物体の検出結果を修正する。
【００３２】
判定部１３は、比較部２２からの比較結果に応じて、物体追跡部１２によって現フレームにおいて追跡（検出）された目標物体の少なくとも一部が前景物体に隠れているか否かを判定し、その判定結果を隠れ推定処理部１４に供給する。ここで、前景物体は、入力画像において、背景を除いた目標物体以外の物体であり、背景の一部ということもできる。
【００３３】
隠れ推定処理部１４は、判定部１３からの判定結果に基づいて、現フレームにおいて目標物体の少なくとも一部が前景物体に隠れている場合に、目標物体の前景物体に隠されていない部分を推定する。
【００３４】
隠れ推定処理部１４は、抽出部２４、学習部２５、および推定部２６を備えている。抽出部２４は、過去データ保存部１６に保存されている過去フレームから、現フレームにおいて目標物体の少なくとも一部を隠している前景物体を抽出する。学習部２５は、過去フレームから抽出された前景物体の情報を学習する。推定部２６は、学習部２５の学習結果を基に、現フレームにおいて目標物体の前景物体に隠されていない部分を推定し、その推定結果を物体追跡部１２に供給する。物体追跡部１２においては、修正部２３が、推定部２６による推定結果に基づいて、目標物体の検出結果を修正するようになる。
【００３５】
表示部１５は、入力画像とともに、物体追跡部１２による目標物体の追跡結果（検出結果）として、入力画像上の目標物体をユーザに報知する情報を、フレーム毎に表示する。
【００３６】
過去データ保存部１６は、入力画像とともに、物体追跡部１２による目標物体の追跡結果（検出結果）を過去データとして、フレーム毎に保存する。
【００３７】
［パーソナルコンピュータの構成］
図２は、本技術を適用したパーソナルコンピュータの一実施の形態の構成を示すブロック図である。
【００３８】
情報処理装置としてのパーソナルコンピュータ３１は、バス４１、CPU（Central Processing Unit）４２、ROM（Read Only Memory）４３、RAM（Random Access Memory）４４、入力部４５、出力部４６、記憶部４７、通信部４８、ドライブ４９、およびリムーバブルメディア５０から構成されている。
【００３９】
バス４１は、CPU４２、ROM４３、RAM４４、入力部４５、出力部４６、記憶部４７、通信部４８、ドライブ４９をそれぞれ相互に接続する。
【００４０】
CPU４２は、パーソナルコンピュータ３１の各種の動作を制御することで、図１の情報処理装置１の各種の機能を実現する。
【００４１】
ROM４３は、パーソナルコンピュータ３１において実行される各種の処理プログラムや処理に必要なデータなどを記録する。RAM４４は、各種の処理において得られたデータを一時的に記録保持するなどのように、各種の処理の作業領域として用いられる。
【００４２】
入力部４５は、キーボード、マウス、マイクロフォンなどよりなる。出力部４６は、ディスプレイ、スピーカなどよりなる。記憶部４７は、ハードディスクや不揮発性のメモリなどよりなる。
【００４３】
通信部４８は、ネットワークインタフェースなどよりなる。ドライブ４９は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５０を駆動する。
【００４４】
以上のように構成されるパーソナルコンピュータ３１においては、CPU４２が、例えば、ROM４３や記憶部４７に記憶されているプログラムを、バス４１を介して、RAM４４にロードして実行することにより、各種の処理が行われる。
【００４５】
CPU４２が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５０に記録して提供される。
【００４６】
なお、パッケージメディアとしては、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc-Read Only Memory），DVD（Digital Versatile Disc）等）、光磁気ディスク、もしくは半導体メモリなどが用いられる。
【００４７】
また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【００４８】
パーソナルコンピュータ３１においては、プログラムは、リムーバブルメディア５０をドライブ４９に装着することにより、バス４１を介して、記憶部４７にインストールすることができる。
【００４９】
また、プログラムは、有線または無線の伝送媒体を介して、通信部４８で受信し、記憶部４７にインストールすることができる。その他、プログラムは、ROM４３や記憶部４７に、あらかじめインストールしておくことができる。
【００５０】
なお、パーソナルコンピュータ３１が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われる処理であっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００５１】
［物体追跡処理］
次に、図３のフローチャートを参照して、情報処理装置１による物体追跡処理について説明する。図３の物体追跡処理においては、例えば、入力画像において時間的に位置が変化するパーの形状の手の追跡が行われる。
【００５２】
ステップＳ１１において、入力部１１は、目標物体を設定する。ここでは、目標物体として、パーの形状の手が設定される。
【００５３】
ステップＳ１２において、入力部１１は、画像を取得する。すなわち、被写体を撮像して得られた入力画像が取得される。取得された入力画像（フレーム）は、物体追跡部１２に供給される。
【００５４】
ステップＳ１３において、物体追跡部１２の検出部２１は、例えば、テンプレートマッチングを用いて、目標物体を検出する。すなわち、ステップＳ１１の処理で設定されたパーの形状の手が、ステップＳ１２の処理により取得された入力画像から検出される。なお、テンプレートマッチングを用いて目標物体を検出する以外にも、過去データ保存部１６の過去フレームを用いたフレーム間差分により目標物体を検出するようにしてもよい。また、例えば、「Yokoyama, M. and T. Poggio, "A Contour-Based Moving Object Detection and Tracking", In: Proceedings of Second Joint IEEE International Workshop on Visual Surveillance and Performance Evaluation of Tracking and Surveillance (in conjunction with ICCV 2005), p.271-276, October 2005」に記載されている手法を用いて、目標物体を検出するようにしてもよい。
【００５５】
ステップＳ１４において、比較部２２は、現フレームにおいて検出部２１によって目標物体が検出された検出領域と、過去データ保存部１６に保存されている過去フレームのうちの、現フレームより時間的に１つ前の前フレームにおいて目標物体が検出された検出領域とを比較する。具体的には、比較部２２は、現フレームの検出領域と前フレームの検出領域との画素の画素値の差分を算出することで、現フレームにおける目標物体と前フレームにおける目標物体とのマッチングを行う。
【００５６】
現フレームの検出領域と前フレームの検出領域との差分が小さい場合、現フレームと前フレームとの間での目標物体の状態の変化が小さいということができ、また、現フレームの検出領域と前フレームの検出領域との差分が大きい場合、現フレームと前フレームとの間での目標物体の状態の変化が大きいということができる。
【００５７】
例えば、前フレームにおいて前景物体に隠れていなかった目標物体の一部が、現フレームにおいて前景物体に隠れた場合には、目標物体が前景物体に隠れる前と比べて、現フレームの検出領域と前フレームの検出領域との差分が大きくなる。つまり、比較部２２による比較結果は、現フレームにおける目標物体に部分的な隠れがあるか否かの判定の必要性を示す指針ということができる。
【００５８】
なお、上述では、現フレームの検出領域と前フレームの検出領域とを比較するようにしたが、現フレームの検出領域と、複数の過去フレームの検出領域とを比較するようにしてもよい。これにより、現フレームにおける目標物体と過去フレームにおける目標物体とのマッチングを精度よく行うことができるようになる。また、フレーム間の目標物体のマッチング手法として、画素のSSD（Sum of Squared Difference）やエッジマッチング等を用いるようにしてもよい。
【００５９】
ステップＳ１５において、比較部２２は、現フレームの検出領域と前フレームの検出領域との画素の画素値の差分が所定の閾値より大きいか否かを判定する。
【００６０】
ステップＳ１５において、差分が所定の閾値より大きいと判定された場合、すなわち、現フレームの検出領域と前フレームの検出領域との差分が大きく、現フレームにおける目標物体に部分的な隠れがあるか否かの判定が必要であるとされた場合、比較部２２は、その判定が必要である旨の情報を判定部１３に供給し、処理はステップＳ１６に進む。
【００６１】
判定部１３は、比較部２２から情報が供給されると、ステップＳ１６において、過去データ保存部１６から複数の過去フレームを取得する。
【００６２】
そして、ステップＳ１７において、判定部１３は、取得した複数の過去フレームそれぞれの、現フレームにおける検出領域に対応する領域（以下、対応領域という）に、同一の前景物体があるか否かを判定することで、現フレームにおける目標物体に部分的な隠れがあるか否かを判定する。具体的には、判定部１３は、現フレームにおける検出領域と、過去フレームにおける対応領域との画素の画素値の差分を算出することで、前景物体があるか否かを判定する。
【００６３】
ステップＳ１７において、複数の過去フレームにおける対応領域に、同一の前景物体があると判定された場合、すなわち、現フレームにおける目標物体に部分的な隠れがあると判定された場合、その判定結果を隠れ推定処理部１４に供給し、処理はステップＳ１８に進む。
【００６４】
ステップＳ１８において、隠れ推定処理部１４は、判定部１３からの判定結果に基づいて、隠れ推定処理を実行することで、目標物体の前景物体に隠されていない部分を推定する。
【００６５】
［隠れ推定処理の詳細］
ここで、図４のフローチャートを参照して、図３のフローチャートのステップＳ１８における隠れ推定処理の詳細について説明する。
【００６６】
ステップＳ４１において、抽出部２４は、判定部１３によって前景物体があると判定された複数の過去フレームそれぞれから、前景物体の領域を抽出する。
【００６７】
ステップＳ４２において、学習部２５は、抽出部２４によって抽出された複数の過去フレームそれぞれの前景物体の領域の位置、領域に含まれる色や形状等の情報を用いて、前景物体を学習する。
【００６８】
ステップＳ４３において、推定部２６は、学習部２５による学習結果を基に、現フレームの目標物体の前景物体に隠されていない部分を推定し、その推定結果を物体追跡部１２に供給する。具体的には、推定部２６は、学習部２５による学習結果に基づいて、現フレームの検出領域から前景物体を除去し、前景物体に隠されていない目標物体の領域を抽出する。推定部２６は、抽出した目標物体の領域を表す情報を目標物体の推定結果として、物体追跡部１２に供給し、処理は図３のステップＳ１８に戻る。
【００６９】
このようにして、事前に前景物体の学習を行わず、目標物体を追跡しながら前景物体の学習を行うことができるので、任意の前景物体にその一部が隠された目標物体を推定することができる。なお、隠れ推定処理において、前フレームとの画像差分を用いることで、前景物体に隠されていない目標物体の領域を抽出するようにしてもよい。
【００７０】
図３のフローチャートに戻り、ステップＳ１８の後、ステップＳ１９において、物体追跡部１２の修正部２３は、隠れ推定処理部１４からの目標物体の推定結果に基づいて、ステップＳ１３において得られた検出結果を修正する。修正部２３は、現フレームとともに、修正した検出結果を表示部１５および過去データ保存部１６に供給する。
【００７１】
一方、ステップＳ１５において、差分が所定の閾値より大きくないと判定された場合、すなわち、現フレームの検出領域と前フレームの検出領域との差分が小さく、現フレームにおける目標物体に部分的な隠れがあるか否かの判定が必要でないとされた場合、検出部２１は、現フレームとともに、ステップＳ１３において得られた検出結果を表示部１５および過去データ保存部１６に供給し、ステップＳ１６乃至Ｓ１９の処理はスキップされる。
【００７２】
また、ステップＳ１７において、複数の過去フレームにおける対応領域に、同一の前景物体がないと判定された場合、すなわち、現フレームにおける目標物体に部分的な隠れがないと判定された場合、判定部１３はその旨を検出部２１に通知する。そして、検出部２１は、現フレームとともに、ステップＳ１３において得られた検出結果を表示部１５および過去データ保存部１６に供給し、ステップＳ１８，Ｓ１９の処理はスキップされる。
【００７３】
なお、入力画像の１フレーム目については、過去データが存在しないので、ステップＳ１４乃至Ｓ１９の処理がスキップされる。
【００７４】
ステップＳ２０において、表示部１５は、物体追跡部１２からの入力画像（現フレーム）とともに、目標物体の検出結果として、目標物体を囲む矩形枠を表示する。
【００７５】
ステップＳ２１において、過去データ保存部１６は、物体追跡部１２からの入力画像（現フレーム）とともに、目標物体の検出結果を保存する。
【００７６】
ステップＳ２１の処理の後、処理はステップＳ１２に戻り、新たな入力画像のフレームが取得され、それ以降の処理が繰り返される。
【００７７】
なお、新たに取得される画像は、過去に取得された画像の次のフレームの画像でもよいし、過去に取得された画像から所定のフレーム数だけ後の画像でもよい。
【００７８】
すなわち、新たな画像は、１フレーム毎に取得されてもよいし、所定のフレーム数ごとに取得されてもよい。
【００７９】
ここで、表示部１５における物体追跡処理の結果の表示例について説明する。
【００８０】
図５は、従来の物体追跡処理の結果の表示例を示している。
【００８１】
図５の左側には、ｍフレーム目の入力画像７１ｍ（以下、フレーム７１ｍという）が示されている。フレーム７１ｍには、ユーザ８１の体の一部であるパーの形状の手８１ｈと、前景物体８２とが表示されている。フレーム７１ｍにおいては、手８１ｈが目標物体として検出されており、その検出結果として、手８１ｈを囲む矩形の検出枠９１ｍが表示されている。
【００８２】
図５の右側には、フレーム７１ｍより所定数フレーム後のｎフレーム目の入力画像７１ｎ（以下、フレーム７１ｎという）が示されている。フレーム７１ｎにおいては、手８１ｈの手の平の部分が前景物体８２に隠された状態となっているが、目標物体の検出結果である検出枠９１ｎは、手８１ｈが前景物体８２に隠れる前のフレーム７１ｍにおける検出枠９１ｍと同一の大きさとなっている。すなわち、フレーム７１ｎにおいて、検出枠９１ｎは、前景物体８２に隠されていない手８１ｈの指の部分と、手８１ｈの手の平の部分を隠している前景物体８２とを囲むように表示されている。
【００８３】
このように、従来の物体追跡処理では、目標物体の一部が前景物体に隠れてしまうような場合、その目標物体の一部を隠している前景物体をも追跡対象として追跡してしまい、正確に目標物体を追跡することができなくなってしまう恐れがあった。
【００８４】
一方、図６は、本実施の形態の物体追跡処理の結果の表示例を示している。
【００８５】
図６の左側には、フレーム７１ｍが示されているが、図５で説明したフレーム７１ｍと同一であるので、その説明は省略する。
【００８６】
図６の右側には、フレーム７１ｎが示されている。図６のフレーム７１ｎにおいても、手８１ｈの手の平の部分が前景物体８２に隠された状態となっているが、目標物体の検出結果である検出枠９１ｎ’は、前景物体８２に隠されていない手８１ｈの指の部分のみを囲むように表示されている。
【００８７】
すなわち、本実施の形態の物体追跡処理によれば、目標物体の一部が前景物体に隠れてしまうような場合であっても、その目標物体の隠されていない部分のみを追跡対象として追跡することができるようになるので、目標物体の状態によらず、より正確に目標物体を追跡することが可能となる。
【００８８】
＜２．第２の実施の形態＞
［情報処理装置の構成］
図７は、本技術を適用した情報処理装置の第２の実施の形態の構成を示すブロック図である。
【００８９】
図７の情報処理装置１０１は、入力部１１、物体追跡部１２、表示部１５、過去データ保存部１６、判定部１１１、および変化推定処理部１１２から構成される。
【００９０】
なお、図７の情報処理装置１０１において、図１の情報処理装置１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【００９１】
すなわち、図７の情報処理装置１０１において、図１の情報処理装置１と異なるのは、判定部１３および隠れ推定処理部１４に代えて、判定部１１１および変化推定処理部１１２を設けた点である。
【００９２】
判定部１１１は、比較部２２からの比較結果に応じて、物体追跡部１２によって現フレームにおいて追跡（検出）された目標物体の形状が前フレームから変化したか否かを判定し、その判定結果を変化推定処理部１１２に供給する。
【００９３】
変化推定処理部１１２は、判定部１１１からの判定結果に基づいて、現フレームにおいて前フレームから目標物体の形状が変化した場合に、その目標物体の変化した部分を推定する。
【００９４】
変化推定処理部１１２は、抽出部１２１、学習部１２２、および推定部１２３を備えている。抽出部１２１は、過去データ保存部１６に保存されている過去フレームから目標物体を抽出する。学習部１２２は、過去フレームから抽出された目標物体の情報を学習する。推定部１２３は、学習部１２２の学習結果を基に、現フレームにおいて変化した目標物体を推定し、その推定結果を物体追跡部１２に供給する。物体追跡部１２においては、修正部２３が、推定部１２３による推定結果に基づいて、目標物体の検出結果を修正するようになる。
【００９５】
［物体追跡処理］
次に、図８のフローチャートを参照して、情報処理装置１０１による物体追跡処理について説明する。図８の物体追跡処理においては、例えば、入力画像において時間的に形状が変化する手の追跡が行われる。
【００９６】
なお、図８のフローチャートのステップＳ１１１乃至Ｓ１１４の処理は、図３のフローチャートのステップＳ１１乃至Ｓ１４の処理と基本的に同様であるので、その説明は省略する。
【００９７】
ところで、前フレームにおける目標物体の形状が、現フレームにおいて変化した場合には、目標物体の形状が変化しない場合と比べて、現フレームの検出領域と前フレームの検出領域との差分が大きくなる。つまり、ステップＳ１１４における比較部２２による比較結果は、現フレームにおける目標物体に形状変化があるか否かの判定の必要性を示す指針ということができる。
【００９８】
すなわち、ステップＳ１１５においては、比較部２２は、現フレームの検出領域と前フレームの検出領域との画素の画素値の差分が所定の閾値より大きいか否かを判定することで、現フレームにおける目標物体に形状変化があるか否かの判定が必要であるかを判定する。
【００９９】
ステップＳ１１５において、差分が所定の閾値より大きいと判定された場合、すなわち、現フレームの検出領域と前フレームの検出領域との差分が大きく、現フレームにおける目標物体に形状変化があるか否かの判定が必要であるとされた場合、比較部２２は、その判定が必要である旨の情報を判定部１１１に供給し、処理はステップＳ１１６に進む。
【０１００】
判定部１１１は、比較部２２から情報が供給されると、ステップＳ１１６において、過去データ保存部１６から複数の過去フレームを取得する。
【０１０１】
そして、ステップＳ１１７において、判定部１１１は、判定部１３と同様に、取得した複数の過去フレームそれぞれの、現フレームにおける検出領域に対応する対応領域に、同一の前景物体があるか否かを判定することで、現フレームにおける目標物体に形状変化があるか否かを判定する。
【０１０２】
ステップＳ１１７において、複数の過去フレームにおける対応領域に、同一の前景物体がないと判定された場合、すなわち、現フレームにおける目標物体に形状変化があると判定された場合、その判定結果を変化推定処理部１１２に供給し、処理はステップＳ１１８に進む。
【０１０３】
ステップＳ１１８において、変化推定処理部１１２は、判定部１１１からの判定結果に基づいて、変化推定処理を実行することで、目標物体の変化した部分を推定する。
【０１０４】
［変化推定処理の詳細］
ここで、図９のフローチャートを参照して、図８のフローチャートのステップＳ１１８における変化推定処理の詳細について説明する。
【０１０５】
ステップＳ１４１において、抽出部１２１は、判定部１１１によって前景物体がないと判定された複数の過去フレームそれぞれから、目標物体の領域を抽出する。
【０１０６】
ステップＳ１４２において、学習部１２２は、抽出部１２１によって抽出された複数の過去フレームそれぞれの目標物体の領域の位置、領域に含まれる色や形状等の情報を用いて、目標物体の変化を学習する。
【０１０７】
ステップＳ１４３において、推定部１２３は、学習部１２２による学習結果を基に、現フレームの目標物体を推定し、その推定結果を物体追跡部１２に供給する。具体的には、推定部１２３は、学習部１２２による学習結果に基づいて、現フレームの目標物体の形状を推定し、その目標物体の領域を抽出する。推定部２６は、抽出した目標物体の領域を表す情報を目標物体の推定結果として、物体追跡部１２に供給し、処理は図８のステップＳ１１８に戻る。
【０１０８】
このようにして、事前に目標物体の形状の学習を行わず、目標物体を追跡しながら目標物体の学習を行うことができるので、形状が変化する任意の目標物体を推定することができる。なお、変化推定処理において、前フレームとの差分画像を用いることで、現フレームの目標物体の形状を推定し、その目標物体の領域を抽出するようにしてもよい。
【０１０９】
図８のフローチャートに戻り、ステップＳ１１８の後、ステップＳ１１９において、物体追跡部１２の修正部２３は、変化推定処理部１１２からの目標物体の推定結果に基づいて、ステップＳ１１３において得られた検出結果を修正する。修正部２３は、現フレームとともに、修正した検出結果を表示部１５および過去データ保存部１６に供給する。
【０１１０】
一方、ステップＳ１１５において、差分が所定の閾値より大きくないと判定された場合、すなわち、現フレームの検出領域と前フレームの検出領域との差分が小さく、現フレームにおける目標物体に形状変化があるか否かの判定が必要でないとされた場合、検出部２１は、現フレームとともに、ステップＳ１１３において得られた検出結果を表示部１５および過去データ保存部１６に供給し、ステップＳ１１６乃至Ｓ１１９の処理はスキップされる。
【０１１１】
また、ステップＳ１１７において、複数の過去フレームにおける対応領域に、同一の前景物体があると判定された場合、すなわち、現フレームにおける目標物体に形状変化がないと判定された場合、判定部１１１は、その旨を検出部２１に通知する。そして、検出部２１は、現フレームとともに、ステップＳ１１３において得られた検出結果を表示部１５および過去データ保存部１６に供給し、ステップＳ１１８，Ｓ１１９の処理はスキップされる。
【０１１２】
なお、入力画像の１フレーム目については、過去データが存在しないので、ステップＳ１１４乃至Ｓ１１９の処理がスキップされる。
【０１１３】
ステップＳ１２０において、表示部１５は、物体追跡部１２からの入力画像（現フレーム）とともに、目標物体の検出結果として、目標物体を囲む矩形枠を表示する。
【０１１４】
ステップＳ１２１において、過去データ保存部１６は、物体追跡部１２からの入力画像（現フレーム）とともに、目標物体の検出結果を保存する。
【０１１５】
ステップＳ１２１の処理の後、処理はステップＳ１１２に戻り、新たな入力画像のフレームが取得され、それ以降の処理が繰り返される。
【０１１６】
ここで、表示部１５における物体追跡処理の結果の表示例について説明する。
【０１１７】
図１０は、従来の物体追跡処理の結果の表示例を示している。
【０１１８】
図１０の左側には、ｍフレーム目の入力画像１７１ｍ（以下、フレーム１７１ｍという）が示されている。フレーム１７１ｍには、ユーザ１８１の体の一部であるパーの形状の手１８１ｈと、前景物体１８２とが表示されている。フレーム１７１ｍにおいては、手１８１ｈが目標物体として検出されており、その検出結果として、手１８１ｈを囲む矩形の検出枠１９１ｍが表示されている。
【０１１９】
図１０の右側には、フレーム１７１ｍより所定数フレーム後のｎフレーム目の入力画像１７１ｎ（以下、フレーム１７１ｎという）が示されている。フレーム１７１ｎにおいては、手１８１ｈの形状が物を握るような形状に変化した状態となっているが、目標物体の検出結果である検出枠１９１ｎは、手１８１ｈの形状が変化する前のフレーム１７１ｍにおける検出枠１９１ｍと同一の大きさとなっている。すなわち、フレーム１７１ｎにおいて、検出枠１９１ｎは、形状が変化した手１８１ｈと、それ以外の背景部分とを囲むように表示されている。
【０１２０】
このように、従来の物体追跡処理では、目標物体の形状が変化してしまうような場合、例えば、その形状変化に伴い目標物体が小さくなった場合には、その目標物体以外の物体をも追跡対象として追跡してしまい、また、その形状変化に伴い目標物体が大きくなった場合には、その目標物体の一部しか追跡対象とせずに追跡してしまい、正確に目標物体を追跡できなくなってしまう恐れがあった。
【０１２１】
一方、図１１は、本実施の形態の物体追跡処理の結果の表示例を示している。
【０１２２】
図１１の左側には、フレーム１７１ｍが示されているが、図１０で説明したフレーム１７１ｍと同一であるので、その説明は省略する。
【０１２３】
図１１の右側には、フレーム１７１ｎが示されている。図１１のフレーム１７１ｎにおいても、手１８１ｈの形状が物を握るような形状に変化した状態となっているが、目標物体の検出結果である検出枠１９１ｎ’は、形状が変化した手１８１ｈのみを囲むように表示されている。
【０１２４】
すなわち、本実施の形態の物体追跡処理によれば、目標物体の形状が変化してしまうような場合であっても、その目標物体のみを追跡対象として追跡することができるようになるので、目標物体の状態によらず、より正確に目標物体を追跡することが可能となる。
【０１２５】
＜３．第３の実施の形態＞
［情報処理装置の構成］
図１２は、本技術を適用した情報処理装置の第３の実施の形態の構成を示すブロック図である。
【０１２６】
図１２の情報処理装置２０１は、入力部１１、物体追跡部１２、隠れ推定処理部１４、表示部１５、過去データ保存部１６、変化推定処理部１１２、および判定部２１１から構成される。
【０１２７】
なお、図１２の情報処理装置２０１において、図１の情報処理装置１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１２８】
すなわち、図１２の情報処理装置２０１において、図１の情報処理装置１と異なるのは、判定部１３に代えて判定部２１１を設け、変化推定処理部１１２を新たに設けた点である。なお、変化推定処理部１１２は、図７の情報処理装置１０１に設けられたものと同様であるので、その説明も省略するものとする。
【０１２９】
判定部２１１は、比較部２２からの比較結果に応じて、物体追跡部１２によって現フレームにおいて追跡（検出）された目標物体の少なくとも一部が前景物体に隠れているか、または、目標物体の形状が前フレームから変化したかを判定し、その判定結果を隠れ推定処理部１４または変化推定処理部１１２に供給する。
【０１３０】
［物体追跡処理］
次に、図１３のフローチャートを参照して、情報処理装置２０１による物体追跡処理について説明する。図１３の物体追跡処理においては、例えば、入力画像において時間的に位置と形状が変化する手の追跡が行われる。
【０１３１】
なお、図１３のフローチャートのステップＳ２１１乃至Ｓ２１４の処理は、図３のフローチャートのステップＳ１１乃至Ｓ１４の処理と基本的に同様であるので、その説明は省略する。
【０１３２】
ところで、前フレームにおいて前景物体に隠れていなかった目標物体の一部が、現フレームにおいて前景物体に隠れた場合、または、前フレームにおける目標物体の形状が、現フレームにおいて変化した場合には、少なくとも、現フレームの検出領域と前フレームの検出領域との差分が大きくなる。つまり、ステップＳ２１４における比較部２２による比較結果は、現フレームにおける目標物体に部分的な隠れがあるか、または、形状変化があるかの判定の必要性を示す指針ということができる。
【０１３３】
すなわち、ステップＳ２１５においては、比較部２２は、現フレームの検出領域と前フレームの検出領域との画素の画素値の差分が所定の閾値より大きいか否かを判定することで、現フレームにおける目標物体に部分的な隠れがあるか、または、形状変化があるかの判定が必要であるかを判定する。
【０１３４】
ステップＳ２１５において、差分が所定の閾値より大きいと判定された場合、すなわち、現フレームの検出領域と前フレームの検出領域との差分が大きく、現フレームにおける目標物体に部分的な隠れがあるか、または、形状変化があるかの判定が必要であるとされた場合、比較部２２は、その判定が必要である旨の情報を判定部２１１に供給し、処理はステップＳ２１６に進む。
【０１３５】
判定部２１１は、比較部２２から情報が供給されると、ステップＳ２１６において、過去データ保存部１６から複数の過去フレームを取得する。
【０１３６】
そして、ステップＳ２１７において、判定部２１１は、判定部１３と同様に、取得した複数の過去フレームそれぞれの、現フレームにおける検出領域に対応する対応領域に、同一の前景物体があるか否かを判定することで、現フレームにおける目標物体に部分的な隠れがあるか、または、形状変化があるかを判定する。
【０１３７】
ステップＳ２１７において、複数の過去フレームにおける対応領域に、同一の前景物体があると判定された場合、すなわち、現フレームにおける目標物体に部分的な隠れがあると判定された場合、その判定結果を隠れ推定処理部１４に供給し、処理はステップＳ２１８に進む。
【０１３８】
ステップＳ２１８において、隠れ推定処理部１４は、判定部２１１からの判定結果に基づいて、隠れ推定処理を実行することで、目標物体の前景物体に隠されていない部分を推定する。なお、隠れ推定処理の詳細については、図４を参照して説明したので省略する。
【０１３９】
一方、ステップＳ２１７において、複数の過去フレームにおける対応領域に、同一の前景物体がないと判定された場合、すなわち、現フレームにおける目標物体に形状変化があると判定された場合、その判定結果を変化推定処理部１１２に供給し、処理はステップＳ２１９に進む。
【０１４０】
ステップＳ２１９において、変化推定処理部１１２は、判定部２１１からの判定結果に基づいて、変化推定処理を実行することで、目標物体の変化した部分を推定する。変化推定処理の詳細については、図９を参照して説明したので省略する。
【０１４１】
ステップＳ２１８またはステップＳ２１９の後、ステップＳ２２０において、物体追跡部１２の修正部２３は、隠れ推定処理部１４または変化推定処理部１１２からの目標物体の推定結果に基づいて、ステップＳ２１３において得られた検出結果を修正する。修正部２３は、現フレームとともに、修正した検出結果を表示部１５および過去データ保存部１６に供給する。
【０１４２】
一方、ステップＳ２１５において、差分が所定の閾値より大きくないと判定された場合、すなわち、現フレームの検出領域と前フレームの検出領域との差分が小さく、現フレームにおける目標物体に部分的な隠れがあるか、または、形状変化があるかの判定が必要でないとされた場合、検出部２１は、現フレームとともに、ステップＳ２１３において得られた検出結果を表示部１５および過去データ保存部１６に供給し、ステップＳ２１６乃至Ｓ２２０の処理はスキップされる。
【０１４３】
ステップＳ２２１において、表示部１５は、物体追跡部１２からの入力画像（現フレーム）とともに、目標物体の検出結果として、目標物体を囲む矩形枠を表示する。
【０１４４】
ステップＳ２２２において、過去データ保存部１６は、物体追跡部１２からの入力画像（現フレーム）とともに、目標物体の検出結果を保存する。
【０１４５】
ステップＳ２２２の処理の後、処理はステップＳ２１２に戻り、新たな入力画像のフレームが取得され、それ以降の処理が繰り返される。
【０１４６】
以上の処理によれば、目標物体に部分的な隠れがあるか、または、目標物体に形状変化があるかが判定され、そのいずれの場合であっても、目標物体を追跡対象として追跡することができるようになるので、目標物体の状態によらず、より正確に目標物体を追跡することが可能となる。
【０１４７】
以上においては、目標物体はユーザの体の一部である手であるものとしたが、手以外の体の一部や体全体、ユーザの体以外の物体等、時間的に位置や形状が変化するものであればよい。
【０１４８】
なお、上述した処理では、物体追跡を行う限り、過去データ保存部１６にデータ（画像および目標物体の検出結果）が保存され続けるが、そのデータ量は、目標物体の部分的な隠れまたは形状変化の有無の判定や、前景物体や目標物体の形状変化の学習に必要な量であればよく、所定数フレームより以前のデータは削除されるようにしてもよい。
【０１４９】
例えば、目標物体が、所定のジェスチャを行いながら移動するユーザの体の一部または全部である場合、過去データ保存部１６には、所定のジェスチャに要する時間に応じた量のデータが保存されればよい。この場合、例えば判定部２１１は、所定のジェスチャに要する時間に応じた量のデータ（過去フレーム）の対応領域に、同一の前景物体があるか否かを判定することで、目標物体に部分的な隠れがあるか、または、形状変化があるかを判定するようになる。
【０１５０】
このようにして、目標物体の動きの特徴に応じて、保存されるデータ量を調整できるので、過去データ保存部１６の記憶容量の無駄を削減することが可能となる。
【０１５１】
また、目標物体の少なくとも一部が前景物体に隠れている場合には、目標物体の少なくとも一部が前景物体に隠れている旨の警告を表示部に表示するようにしてもよい。
【０１５２】
図１４は、目標物体が前景物体に隠れている旨の警告の表示例を示している。
【０１５３】
図１４には、上述で説明した図６で説明したフレーム７１ｎが示されている。図１４のフレーム７１ｎにおいては、前景物体８２に隠されていない手８１ｈの指の部分のみを囲む検出枠９１ｎ’に加え、前景物体８２に手が隠れている旨の警告を示すメッセージ２５１が表示されている。
【０１５４】
このように、目標物体の少なくとも一部が前景物体に隠れている場合に、その旨の警告を表示することを、例えば監視カメラ等に適用することで、追跡対象の追跡を阻害する障害物があることを監視者に報知することができる。
【０１５５】
＜４．その他＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１５６】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１５７】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１５８】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１５９】
また、本技術は以下のような構成をとることができる。
（１）  入力画像から目標物体を検出する検出部と、
前記目標物体の少なくとも一部が前景物体に隠れているか否かを判定する判定部と、
前記目標物体が前記前景物体に隠れていると判定された場合、前記目標物体の前記前景物体に隠されていない部分を推定する隠れ推定部と、
前記目標物体が前記前景物体に隠れていると判定された場合、前記隠れ推定部による推定結果に基づいて、前記検出部による前記目標物体の検出結果を修正する修正部と
を備える情報処理装置。
（２）  前記判定部は、前記目標物体の少なくとも一部が前記前景物体に隠れているか、または、前記目標物体の形状が変化したかを判定し、
前記目標物体の形状が変化したと判定された場合、前記目標物体の形状が変化した部分を推定する変化推定部をさらに備え、
前記目標物体の形状が変化したと判定された場合、前記修正部は、前記変化推定部による推定結果に基づいて、前記検出部による前記目標物体の検出結果を修正する
（１）に記載の情報処理装置。
（３）  前記判定部は、過去フレームの、現フレームにおいて前記目標物体が検出された検出領域に対応する対応領域に、前記前景物体が存在するか否かを判定することで、前記目標物体の少なくとも一部が前記前景物体に隠れているか、または、前記目標物体の形状が変化したかを判定する
（２）に記載の情報処理装置。
（４）  前記隠れ推定部は、複数の過去フレームの前記対応領域に含まれる前記前景物体を学習することで、現フレームにおいて前記目標物体の前記前景物体に隠されていない部分を推定する
（３）に記載の情報処理装置。
（５）  前記変化推定部は、複数の過去フレームの前記検出領域に含まれる前記目標物体の形状の変化を学習することで、現フレームにおいて前記目標物体の形状が変化した部分を推定する
（３）または（４）に記載の情報処理装置。
（６）  前記目標物体が、所定のジェスチャを行うユーザの体の一部または全部である場合、前記判定部は、前記ジェスチャに要する時間に応じた数の過去フレームにおける前記対応領域に、前記前景物体が存在するか否かを判定する
（２）乃至（５）のいずれかに記載の情報処理装置。
（７）  現フレームにおける前記目標物体の検出結果と、過去フレームにおける前記目標物体の検出結果とを比較することで、前記判定部による判定の必要性を示す比較部をさらに備え、
前記判定部は、前記比較部による比較結果に応じて、前記目標物体の少なくとも一部が前記前景物体に隠れているか、または、前記目標物体の形状が変化したかを判定する
（２）乃至（６）のいずれかに記載の情報処理装置。
（８）  前記入力画像とともに、前記検出部による前記目標物体の検出結果として、前記入力画像上の前記目標物体を報知する情報を表示する表示部をさらに備え、
前記目標物体が前記前景物体に隠れていると判定された場合、前記表示部は、前記目標物体の前記前景物体に隠されていない部分を報知する情報を表示する
（１）に記載の情報処理装置。
（９）  前記目標物体が前記前景物体に隠れていると判定された場合、前記表示部は、前記目標物体の少なくとも一部が前景物体に隠れている旨の警告をさらに表示する
（８）に記載の情報処理装置。
（１０）  前記表示部は、前記目標物体の前記前景物体に隠されていない部分を報知する情報として、前記目標物体の前記前景物体に隠されていない部分を囲む矩形枠を表示する
（８）または（９）に記載の情報処理装置。
（１１）  入力画像から目標物体を検出する検出部と、
前記目標物体の少なくとも一部が前景物体に隠れているか否かを判定する判定部と、
前記目標物体が前記前景物体に隠れていると判定された場合、前記目標物体の前記前景物体に隠されていない部分を推定する隠れ推定部と、
前記目標物体が前記前景物体に隠れていると判定された場合、前記隠れ推定部による推定結果に基づいて、前記検出部による前記目標物体の検出結果を修正する修正部とを備える情報処理装置の情報処理方法であって、
前記情報処理装置が、
入力画像から目標物体を検出し、
前記目標物体の少なくとも一部が前景物体に隠れているか否かを判定し、
前記目標物体が前記前景物体に隠れていると判定された場合、前記目標物体の前記前景物体に隠されていない部分を推定し、
前記目標物体が前記前景物体に隠れていると判定された場合、前記隠れ推定部による推定結果に基づいて、前記検出部による前記目標物体の検出結果を修正する
ステップを含む情報処理方法。
（１２）  入力画像から目標物体を検出する検出ステップと、
前記目標物体の少なくとも一部が前景物体に隠れているか否かを判定する判定ステップと、
前記目標物体が前記前景物体に隠れていると判定された場合、前記目標物体の前記前景物体に隠されていない部分を推定する隠れ推定ステップと、
前記目標物体が前記前景物体に隠れていると判定された場合、前記隠れ推定ステップによる推定結果に基づいて、前記検出ステップによる前記目標物体の検出結果を修正する修正ステップと
を含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０１６０】
１  情報処理装置，  １１  入力部，  １２  物体追跡部，  １３  判定部，  １４  隠れ推定処理部，  １５  表示部，  １６  過去データ保存部，  ２１  検出部，  ２２  比較部，  ２３  修正部，  ２４  抽出部，  ２５  学習部，  ２６  推定部，  １０１  情報処理装置，  １１１  判定部，  １１２  変化推定処理部，  １２１  抽出部，  １２２  学習部，  １２３  推定部，  ２０１  情報処理装置，  ２１１  判定部
【図１】
2013152537.tif 000003
【図２】
2013152537.tif 000004
【図３】
2013152537.tif 000005
【図４】
2013152537.tif 000006
【図５】
2013152537.tif 000007
【図６】
2013152537.tif 000008
【図７】
2013152537.tif 000009
【図８】
2013152537.tif 000010
【図９】
2013152537.tif 000011
【図１０】
2013152537.tif 000012
【図１１】
2013152537.tif 000013
【図１２】
2013152537.tif 000014
【図１３】
2013152537.tif 000015
【図１４】
2013152537.tif 000016