(57)【要約】  過去の画像内の第１移動被写体と現在の画像内の第２移動被写体とが同一物か否かを判定する。情報処理装置は、第１の画像内の第１移動被写体の向き、大きさおよび位置と、第２画像内の第２移動被写体の向き、大きさおよび位置とを取得する被写体情報取得手段と、前記第１の画像内の第１移動被写体の前記向き、大きさおよび位置と、前記第２の画像内の第２移動被写体の向きおよび大きさとに基づいて、前記第２の画像における前記第１移動被写体の推定位置を導出する推定手段と、前記第２の画像内の前記第１移動被写体の前記推定位置と前記第２の画像内の前記第２移動被写体の位置との距離を算出する算出手段と、前記距離に基づいて、前記第１移動被写体と前記第２移動被写体とが同一物か否かを判定する判定手段と、を有する。
2015198592.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像内の第１移動被写体の向き、大きさおよび位置と、第２画像内の第２移動被写体の向き、大きさおよび位置とを取得する被写体情報取得手段と、
前記第１の画像内の第１移動被写体の前記向き、大きさおよび位置と、前記第２の画像内の第２移動被写体の向きおよび大きさとに基づいて、前記第２の画像における前記第１移動被写体の推定位置を導出する推定手段と、
前記第２の画像内の前記第１移動被写体の前記推定位置と前記第２の画像内の前記第２移動被写体の位置との距離を算出する算出手段と、
前記距離に基づいて、前記第１移動被写体と前記第２移動被写体とが同一物か否かを判定する判定手段と、
を有する情報処理装置。
【請求項２】
移動している第１移動被写体の第１の画像を取得し、移動している第２移動被写体の第２画像を取得する画像取得手段を更に有する請求項１に記載の情報処理装置。
【請求項３】
前記推定手段は、第１移動被写体を追跡し、前記第１移動被写体が追跡の間、隠されたか否かを判定し、第１移動被写体が隠されたとの判定に応じて前記第２の画像における第１移動被写体の推定位置を導出する、請求項１または２に記載の情報処理装置。
【請求項４】
前記距離に基づいて、前記第１移動被写体と前記第２移動被写体とが同一物か否かの確率を計算する計算手段をさらに有し、前記判定手段は、前記確率に基づいて同一物であるか否かを判定する請求項１から３の何れか１項に記載の情報処理装置。
【請求項５】
前記第１移動被写体および第２移動被写体は、夫々、人の顔である請求項１から４の何れか１項に記載の情報処理装置。
【請求項６】
前記被写体情報取得手段は、前記第１の画像内での大きさとして、前記第１移動被写体の顔の目間距離を取得し、前記第２の画像内での大きさとして、前記第２移動被写体の顔の目間距離を取得する請求項５に記載の情報処理装置。
【請求項７】
第１の画像内の第１移動被写体の向き、大きさおよび位置と、第２画像内の第２移動被写体の向き、大きさおよび位置とを取得し、
前記第１の画像内の第１移動被写体の前記向き、大きさおよび位置と、前記第２の画像内の第２移動被写体の向きおよび大きさとに基づいて、前記第２の画像における前記第１移動被写体の推定位置を導出し、
前記第２の画像内の前記第１移動被写体の前記推定位置と前記第２の画像内の前記第２移動被写体の位置との距離を算出し、
前記距離に基づいて、前記第１移動被写体と前記第２移動被写体とが同一物か否かを判定する、情報処理方法。
【請求項８】
第１の画像内の第１移動被写体の向き、大きさおよび位置と、第２画像内の第２移動被写体の向き、大きさおよび位置とを取得する被写体情報取得ステップと、
前記第１の画像内の第１移動被写体の前記向き、大きさおよび位置と、前記第２の画像内の第２移動被写体の向きおよび大きさとに基づいて、前記第２の画像における前記第１移動被写体の推定位置を導出する推定ステップと、
前記第２の画像内の前記第１移動被写体の前記推定位置と前記第２の画像内の前記第２移動被写体の位置との距離を算出ステップと、
前記距離に基づいて、前記第１移動被写体と前記第２移動被写体とが同一物か否かを判定する判定ステップと、
をコンピュータに実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。
【背景技術】
【０００２】
上記技術分野において、特許文献１には、入力画像を有彩色空間画像に変換し、その有彩色空間画像の投影ヒストグラムに基づき顔位置と寸法を推定し、顔の動きを推定し出力する技術が記載されている。【０００３】
また、特許文献２には、フレームから人物の顔を表す顔画像と、その人物の体の少なくとも一部を表す画像とを検出し、顔画像が検出されなかった場合、体の少なくとも一部を表す画像に基づいてその人物のトラッキングを行う技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４２５１７１９号公報
【特許文献２】特開２００９−４８３４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記文献に記載の技術では、過去の画像内の第１移動被写体と現在の画像内の第２移動被写体とが同一物か否かを判定することができなかった。例えば、人物が隠れてしまった場合、過去の画像内の第１移動被写体と現在の画像内の第２移動被写体とが同一物か否かを判定することができなかった。【０００６】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明に係る情報処理装置は、
第１の画像内の第１移動被写体の向き、大きさおよび位置と、第２画像内の第２移動被写体の向き、大きさおよび位置とを取得する被写体情報取得手段と、
前記第１の画像内の第１移動被写体の前記向き、大きさおよび位置と、前記第２の画像内の第２移動被写体の向きおよび大きさとに基づいて、前記第２の画像における前記第１移動被写体の推定位置を導出する推定手段と、
前記第２の画像内の前記第１移動被写体の前記推定位置と前記第２の画像内の前記第２移動被写体の位置との距離を算出する算出手段と、
前記距離に基づいて、前記第１移動被写体と前記第２移動被写体とが同一物か否かを判定する判定手段と、
を有する。【０００８】
上記目的を達成するため、本発明に係る情報処理方法は、
第１の画像内の第１移動被写体の向き、大きさおよび位置と、第２画像内の第２移動被写体の向き、大きさおよび位置とを取得し、
前記第１の画像内の第１移動被写体の前記向き、大きさおよび位置と、前記第２の画像内の第２移動被写体の向きおよび大きさとに基づいて、前記第２の画像における前記第１移動被写体の推定位置を導出し、
前記第２の画像内の前記第１移動被写体の前記推定位置と前記第２の画像内の前記第２移動被写体の位置との距離を算出し、
前記距離に基づいて、前記第１移動被写体と前記第２移動被写体とが同一物か否かを判定する。【０００９】
上記目的を達成するため、本発明に係る情報処理プログラムは、
第１の画像内の第１移動被写体の向き、大きさおよび位置と、第２画像内の第２移動被写体の向き、大きさおよび位置とを取得する被写体情報取得ステップと、
前記第１の画像内の第１移動被写体の前記向き、大きさおよび位置と、前記第２の画像内の第２移動被写体の向きおよび大きさとに基づいて、前記第２の画像における前記第１移動被写体の推定位置を導出する推定ステップと、
前記第２の画像内の前記第１移動被写体の前記推定位置と前記第２の画像内の前記第２移動被写体の位置との距離を算出ステップと、
前記距離に基づいて、前記第１移動被写体と前記第２移動被写体とが同一物か否かを判定する判定ステップと、
をコンピュータに実行させる。
【発明の効果】
【００１０】
本発明によれば、過去の画像内の第１移動被写体と現在の画像内の第２移動被写体とが同一物か否かを判定することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。
【図２】移動被写体の追跡が途切れる典型的な場面について説明する図である。
【図３】本発明の第２実施形態に係る情報処理装置の構成を示すブロック図である。
【図４】画像空間座標と実空間座標との間の投影関係を示す図である。
【図５】移動被写体が人物であるとした場合の推定部によるその人物の推定位置の導出についての説明図である。
【図６】第２移動被写体が複数あった場合の同一物か否かの判定についての説明図である。
【図７】本発明の第２実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。
【図８】本発明の第２実施形態に係る情報処理装置が有する顔情報テーブル、フレーム画像テーブルおよび被写体対応テーブルの構成を示す図である。
【図９】本発明の第２実施形態に係る情報処理装置の処理手順を示すフローチャートである。
【図１０】本発明の第２実施形態に係る推定部の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明記載する。ただし、以下の実施の形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。
【００１３】
［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、過去および現在の画像内の被写体が同一物か否かを判定する装置である。
【００１４】
図１に示すように、情報処理装置１００は、画像取得部１０１と被写体情報取得部１０２と推定部１０３と算出部１０４と判定部１０５とを有する。画像取得部１０１は、移動している被写体を撮像することによって、過去の画像（第１の画像）および過去の画像（第２の画像）を取得する。例えば、画像取得部１０１は、被写体の移動の検出を受けて被写体の追跡を開始してもよい。被写体情報取得部１０２は、移動被写体の画像内での向き、大きさおよび位置を取得する。推定部１０３は、過去の画像内の第１移動被写体の過去の画像内での向き、大きさおよび位置と、現在の画像内の第２移動被写体の現在の画像内での向きおよび大きさとに基づいて、第１移動被写体の現在の画像内での推定位置を導出する。算出部１０４は、推定部１０３により導出された推定位置と第２移動被写体の現在の画像内での位置との距離を算出する。判定部１０５は、算出部１０４により算出された距離に基づいて、第１移動被写体と第２移動被写体とが同一物か否かを判定する。
【００１５】
本実施形態によれば、情報処理装置１００は、過去の画像内の第１移動被写体と現在の画像内の第２移動被写体とが同一物か否かを判定することができる。
【００１６】
［第２実施形態］
初めに、図２を用いて、移動被写体の追跡が途切れ、追跡不能となる典型的な場面について説明する。図２の（ａ）は、画面左上にいる人物Ａが画面右下に向かって移動している様子を示している。図２の（ｂ）は、移動の途中で人物Ａが木の陰に隠れて見えなくなる様子を示している。例えば、図２の（ｂ）は、人物Ａが隠れている場合の一例を示している。（例えば、見失った、隠れた、マスクされた、見えないように抑制された、部分的または全体的に秘匿された、瞬間的に追跡不可能など）。図２の（ｃ）は、人物Ａが画面右下まで移動し終えた様子を示している。
【００１７】
この場合、図２の（ｂ）で人物Ａが木の陰に隠れて、人物Ａが画面上から一旦消失して非視認状態となる。これにより、図２の（ｃ）で人物Ａが画面上に再び出現したときには、図２の（ａ）に示した人物Ａが、図２の（ｃ）に示した人物１、２または３のいずれに対応するのかが不明となる。その結果、本来は人物２が人物Ａであるにもかかわらず、例えば、人物１または人物３を人物Ａと認識して追跡する。また、人物２を人物Ａとは全くの別人であると認識することもある。これにより、図２の（ｃ）における人物の対応付けにエラーが発生し、人物Ａの追跡が途切れ、追跡不能となる。ここでは、人物Ａが木の後ろを通過することにより、人物Ａが見え隠れするケースについて説明したが、例えば、図２の（ｂ）において画面の解像度が低下した場合にも、上述と同様の非視認状態が発生し、追跡が途切れる。同様に、図２の（ｂ）において、手ぶれなどにより画面が乱れたり、被写体が激しく動いて像が乱れたり、ピンボケにより像が不鮮明になる場合にも、同様に非視認状態が発生し、移動被写体の追跡が途切れる。
【００１８】
図３は、本実施形態に係る情報処理装置３００の機能構成を説明するためのブロック図である。情報処理装置３００は、画像取得部３０１と被写体情報取得部３０２と推定部３０３と算出部３０４と判定部３０５とを備える。
【００１９】
画像取得部３０１は、移動している被写体である移動被写体を撮像して得られた画像から、現在および過去の画像を取得する。
【００２０】
被写体情報取得部３０２は、画像取得部３０１により取得した画像から移動被写体を検出し、その移動被写体の画像内での向き、大きさおよび位置を取得する。具体的には、過去の画像における移動被写体を第１移動被写体とすると、被写体情報取得部３０２は、第１移動被写体の過去の画像内での向き、大きさおよび位置を取得する。同様に、現在の画像における移動被写体を第２移動被写体とすると、被写体情報取得部３０２は、第２移動被写体の現在の画像内での向きおよび大きさを取得する。ここで、例えば、移動被写体が人物である場合には、移動被写体の向きは、その人物の顔の向きであり、移動被写体の大きさとは、その人物の顔の目間距離である。なお、ここでは、移動被写体を人物として説明したが、移動被写体はこれに限られない。移動する被写体であればいずれの物体でもよく、例えば、動物や乗り物などでもよい。
【００２１】
推定部３０３は、第１移動被写体の過去の画像内での向き、大きさおよび位置と、第２移動被写体の現在の画像内での向きおよび大きさとに基づいて、第１移動被写体の現在の画像内における推定位置を導出する。具体的には、まず、推定部３０３は、被写体情報取得部３０２により取得した第１移動被写体の向き、大きさおよび位置を画像空間座標から実空間座標へと投影する。同様に、推定部３０３は、被写体情報取得部３０２により取得した第２移動被写体の向きおよび大きさを画像空間座標から実空間座標へと投影する。そして、推定部３０３は、投影された第１移動被写体の向き、大きさおよび位置と投影された第２移動被写体の向きおよび大きさとを用いて、第１移動被写体の現在の推定位置を導出する。
【００２２】
算出部３０４は、推定部３０３により導出された推定位置に基づいて、推定位置と第２移動被写体の現在の画像内での位置との間の距離を算出する。
【００２３】
判定部３０５は、算出部３０４により算出された距離に基づいて、第１移動被写体と第２移動被写体とが同一物か否かを判定する。具体的には、算出部３０４により算出された距離を所定の閾値と比較して判定する。例えば、算出された距離が、所定の閾値以内の場合には、判定部３０５は、第１移動被写体と第２移動被写体とが同一物であると判定する（例えば、第１移動被写体と第２移動被写体とが同じ人物、物体、追跡対象物等）。また、第２移動被写体が少なくとも２つある場合には、判定部３０５は、算出部３０４により算出された距離が最も小さいものを第１移動被写体と同一物であると判定する。
【００２４】
なお、判定方法については、距離を所定の閾値と比較したり、距離が最も小さいものを同一物であると判定する方法について説明したが、算出した距離から同一物である確率を求めることにより判定してもよい。確率を求める方法としては、例えば、距離についてガウス分布を仮定し、その分布に基づいて確率を計算する方法がある。
【００２５】
ここで、推定位置の導出および同一物か否かの判定について図４及び図５を用いてさらに説明する。
【００２６】
図４は、画像空間座標と実空間座標との間の投影関係を示す図である。
【００２７】
図４に示したように、実空間座標を（Ｘｔ，Ｙｔ，Ｚｔ）、画像空間座標を（ｘｔ，ｙｔ）、カメラの高さをＨ、カメラの焦点距離をｆ、カメラの仰角をξとして、下記（式１）〜（式３）に基づいて座標投影を行う。なお、図４において、軸Ｚ’は、実世界平面で人物が移動した方向を表す軸である。ここで、実世界平面とは、実世界上の地面を表しており、図４におけるＸＺ’平面である。
【００２８】
【数１】
2015198592.tif 000003
【００２９】
【数２】
2015198592.tif 000004
【００３０】
【数３】
2015198592.tif 000005
【００３１】
図５は、移動被写体が人物であるとした場合の推定部３０３によるその人物の推定位置の導出についての説明図である。図５及び後述の図６の状況において、人物などの被写体は上下に大きさが変動しないため、実空間座標が変化しないものと仮定してもよい。この仮定において実空間座標（Ｘｔ，Ｙｔ，Ｚｔ）は（Ｘｔ，Ｚｔ）と省略して表記されてもよい。
【００３２】
図５に示したように、第１移動被写体の過去の時刻の顔位置を（Ｘｔ−Ｔ，Ｚｔ−Ｔ）、顔向きをθｔ−Ｔとする。また、第１移動被写体の現在の時刻の推定位置を（Ｘｔ，Ｚｔ）、第２移動被写体の現在の時刻の顔向きをθｔとする。さらに、時刻ｔにおける第２移動被写体の目間距離ｗｔと時刻ｔ−Ｔにおける第１移動被写体の目間距離ｗｔ−Ｔとの間の変化率をａ＝ｗｔ／ｗｔ−Ｔとする。時刻ｔ−Ｔのときの第１移動被写体の顔向き（角度）θｔ−Ｔは、カメラの光軸と、時刻ｔ−Ｔの時点の顔の正面方向を表す軸とがなす角度を示す。顔の正面方向は、第１移動被写体の過去の時刻の顔位置（Ｘｔ−Ｔ、Ｚｔ−Ｔ）と、線形推定位置（~Ｘｔ，~Ｚｔ）とを結ぶ直線で表現される方向である。ここで、線形推定位置（~Ｘｔ，~Ｚｔ）は、第１移動被写体の顔向きが過去と現在とで変わらないと仮定した場合、つまり顔向きが一定の場合の線形推定による推定位置である。
【００３３】
推定部３０３は、下記（式４）に基づいて、第１の移動被写体の実空間座標における奥行き移動量ｄＺを導出する。なお、奥行き移動量ｄＺが（式４）のように表わされるのは、像の大きさが、レンズからの距離に反比例するからである。
【００３４】
【数４】
2015198592.tif 000006
【００３５】
次に、推定部３０３は、下記（式５）に基づいて、第１移動被写体の向きの変化を導出する。
【００３６】
【数５】
2015198592.tif 000007
【００３７】
さらに、推定部３０３は、下記（式６）に基づいて、図５に示すパラメータλを導出する。
【００３８】
【数６】
2015198592.tif 000008
【００３９】
そして、推定部３０３は、下記（式７）に基づいて、第１移動被写体の横向き移動量ｄＸを導出する。
【００４０】
【数７】
2015198592.tif 000009
【００４１】
以上の計算により、推定部３０３は、顔向きと大きさ（目間距離）とを考慮した第１移動被写体の推定位置（Ｘｔ＝Ｘｔ−Ｔ＋ｄＸ，Ｚｔ＝Ｚｔ−Ｔ＋ｄＺ）を導出することができる。
【００４２】
図６は、第２移動被写体が複数（本実施形態では３者）あった場合の同一物か否かの判定についての説明図である。被写体情報取得部３０２が、現在の画像から第２被写体として、検出顔ａ、検出顔ｂおよび検出顔ｃを検出し、検出した各検出顔に対して、向き、大きさおよび位置を取得したと仮定する。図６では、上記場合に、被写体情報取得部３０２が検出した各検出顔の検出位置を、点線で示している。推定部３０３は、過去の画像から検出された、第１移動被写体の向き、大きさおよび位置と、検出顔ａ、検出顔ｂ、検出顔ｃのそれぞれとに基づいて、上記第１移動被写体の、現在の画像における推定位置を導出する。図６では、推定部３０３が導出した推定位置を、実線で示す。例えば、第１移動被写体が検出顔ｂ（第２移動被写体）の位置に移動したと仮定すると、過去の時刻における第１移動被写体の顔の向き、大きさおよび位置と、検出顔ｂの向きおよび大きさに基づいて、第１移動被写体の推定位置を導出する。これと同様に、推定部３０３は、検出顔ａおよび検出顔ｃのそれぞれの向きおよび大きさに基づいて、推定位置をそれぞれ導出する。
【００４３】
そして、算出部３０４は、各顔について、実線で示した推定位置と点線で示した検出位置との間の距離を算出する。すなわち、算出部３０４は、検出顔ａの位置と検出顔ａに基づいた推定位置との間の距離を計算し、検出顔ｂの位置と検出顔ｂに基づいた推定位置との間の距離を計算し、検出顔ｃの位置と検出顔ｃに基づいた推定位置との間の距離を計算する。判定部３０５は、計算した距離が最も小さいもの、本実施形態においては、検出顔ａの人物が、第１移動被写体である人物と同一人物であると判定する。
【００４４】
以上の説明では、距離が最も小さいものを基準として判定したが、この距離に基づいて同一物か否かについての確率を求め、この確率が最も高いものを用いて判定してもよい。確率を求める方法としては、例えば、距離についてガウス分布を仮定し、その分布に基づいて確率を計算する方法がある。
【００４５】
図７は、本実施形態に係る情報処理装置３００のハードウェア構成を示すブロック図である。情報処理装置３００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）７０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）７０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）７０３およびストレージ７０４を備えている。
【００４６】
ＣＰＵ７０１は、演算処理用のプロセッサであり、プログラムを実行することにより情報処理装置３００の機能構成部を実現する。なお、ＣＰＵ７０１は１つに限定されず、複数であってもよく、また、画像処理用のＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を含んでもよい。ＲＯＭ７０２は、リードオンリメモリであり、プログラムなどを記憶する。ＲＡＭ７０３は、ＣＰＵ７０１が一時記憶用のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ７０３には、本実施形態の実現に必要なデータを記憶する領域がある。このようなデータとして、ＲＡＭ７０３は、顔情報テーブル７３１と、フレーム画像テーブル７３２と、推定位置７３３と、距離７３４と、閾値７３５と、確率７３６と、被写体対応テーブル７３７とを含む。
【００４７】
ストレージ７０４は、本実施形態の実現に必要なプログラムやデータベースなどを記憶する記憶デバイスである。ストレージ７０４は、映像データベース７４１と推定プログラム７４２と制御プログラム７４９とを含む。映像データベース７４１は、ビデオカメラなどの撮像装置により時々刻々撮影された映像を格納する。位置推定プログラム７４２は、第１移動被写体の過去の画像内での向き、大きさおよび位置と第２移動被写体の現在の画像内での向きおよび大きさとに基づいて、第１移動被写体の現在の画像内での推定位置を導出するプログラムである。位置推定プログラム７４２は、向き抽出モジュール７４３、大きさ抽出モジュール７４４、位置抽出モジュール７４５、推定位置導出モジュール７４６、距離算出モジュール７４７および判定モジュール７４８を含む。制御プログラム７４９は、情報処理装置３００の全体を制御するプログラムである。
【００４８】
図８は、本実施形態に係る情報処理装置３００が備える顔情報テーブル７３１、フレーム画像テーブル７３２および被写体対応テーブル７３７の構成を示す図である。
【００４９】
顔情報テーブル７３１には、被写体、向き、大きさおよび位置の項目が示されている。例えば、顔Ａの被写体は、向き１８３、大きさ１２３１、位置（７８，５８）であることを示している。これらの項目の情報を組み合わせることにより、第１移動被写体の向き、大きさおよび位置や第２移動被写体の向きおよび大きさが生成される。
【００５０】
フレーム画像テーブル７３２には、各フレームにおける被写体の大きさおよび位置の項目が示されている。例えば、フレーム番号３１の被写体番号１２３１１は、大きさが１２３１で、位置が（７８，５８）であることを示している。これらの項目を組み合わせることにより、各フレームにおける被写体毎の大きさ、位置を特定することができる。
【００５１】
被写体対応テーブル７３７には、追跡被写体、過去のフレーム（向き、大きさ、位置の項目を含む）、現在のフレーム（被写体、向き、大きさ、位置の項目を含む）、現在のフレームでの人物Ａの推定位置、距離および対応／非対応の項目が示されている。例えば、対応／非対応の項目により、追跡被写体である人物Ａは、現在のフレームの被写体ａに対応することがわかる。これにより、移動被写体の対応付けが可能となり、被写体の追跡を行なうことができる。
【００５２】
図９および図１０を用いて本実施形態に係る情報処理装置３００の処理手順について説明する。図９は、本実施形態に係る情報処理装置３００の処理手順を示すフローチャートである。図１０は、本実施形態に係る推定部３０３の処理手順を示すフローチャートである。これらのフローチャートは、ＣＰＵ７０１がＲＡＭ７０３を使用して実行し、情報処理装置３００の機能構成部を実現する。
【００５３】
ステップＳ９０１において、画像取得部３０１は、画像を取得する。本実施形態では、移動被写体の現在および過去の画像を取得する。
【００５４】
ステップＳ９０２において、被写体情報取得部３０２は、被写体の各種情報、例えば、被写体の向きや大きさ、位置などの情報を取得する。本実施形態では、第１移動被写体の向き、大きさおよび位置と第２移動被写体の向きおよび大きさとを取得する。
【００５５】
ステップＳ９０３において、情報処理装置３００は、ステップＳ９０１で取得した画像において、移動被写体の顔向き情報を用いて移動被写体の追跡位置を修正できるか否かを判断する。例えば、ステップＳ９０１で取得した画像において、移動被写体が他の物体や他の移動被写体の陰に隠れることにより、追跡対象の移動被写体を見つけることができない状態にあれば、追跡位置の修正ができると判断する。そして、移動被写体の顔向き情報を用いて移動被写体の追跡位置を修正することができない場合（ステップＳ９０３のＮＯ）には、情報処理装置３００は、ステップＳ９０７において、顔向き情報を用いないで位置追跡処理を継続する。移動被写体の顔向き情報を用いて移動被写体の追跡位置を修正できると判断した場合（ステップＳ９０３のＹＥＳ）には、情報処理装置３００は、次のステップＳ９０４に進む。
【００５６】
ステップＳ９０４において、推定部３０３は、現在の画像内での推定位置を導出する。ここで、推定部３０３の位置推定処理について、図１０を用いてさらに説明する。ステップＳ１００１において、推定部３０３は、第１移動被写体の向き、大きさおよび位置と第２移動被写体の向きおよび大きさを画像空間座標から実空間座標へと投影する。次に、ステップＳ１００２において、推定部３０３は、投影された第１移動被写体の向き、大きさおよび位置と投影された第２移動被写体の向きおよび大きさとを用いて、移動被写体の現在の推定位置を導出する。そして、ステップＳ１００３において、推定部３０３は、導出された推定位置を実空間座標から画像空間座標へと再投影する。その後、処理はステップＳ９０５へ進む。
【００５７】
ステップＳ９０５において、算出部３０４は、推定位置と第２移動被写体の現在の画像内での位置との間の距離を算出する。
【００５８】
ステップＳ９０６において、判定部３０５は、算出された距離に基づいて、第１移動被写体と第２移動被写体とが同一物か否か、つまり、第１移動被写体と第２移動被写体との間に対応関係が存在するか否かを判定する。具体的には、判定部３０５は、算出された距離を所定の閾値と比較して判定する。例えば、算出された距離が、所定の閾値以内の場合には第１移動被写体と第２移動被写体とが同一物であると判定して、両者を対応付ける。また、第２移動被写体が複数ある場合には、算出された距離が最も小さい位置にある第２移動被写体を第１移動被写体と同一物であると判定し、両者を対応付けてもよい。さらに、算出された距離から第１移動被写体と第２移動被写体とが同一物である確率を求め、この確率の最も高い物を同一物であると判定し、両者を対応付けてもよい。
【００５９】
本実施形態によれば、推定部３０３は、第１移動被写体の過去の画像内での向き、大きさおよび位置と第２移動被写体の現在の画像内での向きおよび大きさから推定位置を導出するので、高い精度で推定位置を導出できる。また、推定部３０３により、精度良く推定位置を導出できるので、移動被写体が他の物体や他の移動被写体の陰に隠れることにより画面上から消失しても、追跡を継続することができる。さらに、算出部３０４により算出された推定位置と現在の画面内での位置との間の距離に基づいて、判定部３０５が同一物か否かの判定をするので、容易かつ迅速に判定可能となる。したがって、一連のフレームの中に非視認状態のフレームが存在したとしても追跡を継続することができる。
【００６０】
［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【００６１】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。
【００６２】
［実施形態の他の表現］
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
移動している被写体としての移動被写体を撮像して得た現在および過去の画像を取得する画像取得手段と、
前記移動被写体の画像内での向き、大きさおよび位置を取得する被写体情報取得手段と、
過去の画像内の第１移動被写体の前記過去の画像内での向き、大きさおよび位置と、現在の画像内の第２移動被写体の前記現在の画像内での向きおよび大きさとに基づいて、前記第１移動被写体の前記現在の画像内での推定位置を導出する推定手段と、
前記推定位置と前記第２移動被写体の前記現在の画像内での位置との距離を算出する算出手段と、
前記距離に基づいて、前記第１移動被写体と前記第２移動被写体とが同一物か否かを判定する判定手段と、
を有する情報処理装置。
（付記２）
前記判定手段は、前記距離を所定の閾値と比較することにより、前記第１移動被写体と前記第２移動被写体とが同一物か否かを判定する付記１に記載の情報処理装置。
（付記３）
前記判定手段は、前記第２移動被写体が少なくとも２つある場合に、前記距離が最も小さいものを前記第１移動被写体と同一物であると判定する付記１に記載の情報処理装置。
（付記４）
前記距離に基づいて、前記第１移動被写体と前記第２移動被写体とが同一物か否かの確率を計算する計算手段をさらに有する付記１乃至３のいずれか１項に記載の情報処理装置。
（付記５）
前記判定手段は、前記確率に基づいて、前記第１移動被写体と前記第２移動被写体とが同一物であるか否かを判定する付記１乃至４のいずれか１項に記載の情報処理装置。
（付記６）
前記判定手段により、同一物であると判定された第１移動被写体と第２移動被写体とを対応付けする対応付け手段をさらに有する付記１乃至５のいずれか１項に記載の情報処理装置。
（付記７）
前記移動被写体の画像内での大きさは、目間距離に対応する付記１乃至６のいずれか１項に記載の情報処理装置。
（付記８）
前記移動被写体は、人の顔である付記１乃至７のいずれか１項に記載の情報処理装置。
（付記９）
移動している被写体としての移動被写体を撮像して得た現在および過去の画像を取得する画像取得ステップと、
前記移動被写体の画像内での向き、大きさおよび位置を取得する被写体情報取得ステップと、
過去の画像内の第１移動被写体の前記過去の画像内での向き、大きさおよび位置と、現在の画像内の第２移動被写体の前記現在の画像内での向きおよび大きさとに基づいて前記第１移動被写体の前記現在の画像内での推定位置を導出する推定ステップと、
前記推定位置と前記第２移動被写体の前記現在の画像内での位置との距離を算出する算出ステップと、
前記距離に基づいて、前記第１移動被写体と前記第２移動被写体とが同一物か否かを判定する判定ステップと、
を含む情報処理方法。
（付記１０）
移動している被写体としての移動被写体を撮像して得た現在および過去の画像を取得する画像取得ステップと、
前記移動被写体の画像内での向き、大きさおよび位置を取得する被写体情報取得ステップと、
過去の画像内の第１移動被写体の前記過去の画像内での向き、大きさおよび位置と、現在の画像内の第２移動被写体の前記現在の画像内での向きおよび大きさとに基づいて前記第１移動被写体の前記現在の画像内での推定位置を導出する推定ステップと、
前記推定位置と前記第２移動被写体の前記現在の画像内での位置との距離を算出する算出ステップと、
前記距離に基づいて、前記第１移動被写体と前記第２移動被写体とが同一物か否かを判定する判定ステップと、
をコンピュータに実行させる情報処理プログラム。
【００６３】
この出願は、２０１４年６月２４日に出願された日本出願特願２０１４−１２９６１１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2015198592.tif 000010
【図２】
2015198592.tif 000011
【図３】
2015198592.tif 000012
【図４】
2015198592.tif 000013
【図５】
2015198592.tif 000014
【図６】
2015198592.tif 000015
【図７】
2015198592.tif 000016
【図８】
2015198592.tif 000017
【図９】
2015198592.tif 000018
【図１０】
2015198592.tif 000019
【国際調査報告】
2015198592.tif 000020
2015198592.tif 000021