(57)【要約】  オブジェクト情報抽出装置（２０００）は、画像取得部（２０２０）、頻度決定部（２０４０）、及び情報抽出部（２０６０）を有する。画像取得部（２０２０）は、映像の所定単位時間に相当する複数の画像を取得する。頻度決定部（２０４０）は、上記複数の画像それぞれに含まれる複数の部分領域に関して、それぞれ頻度情報を生成する。情報抽出部（２０６０）は、各部分領域に関して、所定単位時間に相当する複数の画像のうち、各部分領域に関する頻度情報が示す数の画像それぞれから、各部分領域に含まれるオブジェクトの情報を抽出する。
2014045479.tif 000002
【特許請求の範囲】
【請求項１】
映像の所定単位時間に相当する複数の画像フレームを取得する画像取得手段と、
前記画像取得手段により取得される前記各画像フレームにそれぞれ含まれる複数の部分領域に関し、それぞれ異なる複数の頻度情報を取得する頻度決定手段と、
前記部分領域毎に、前記複数の画像フレームのうち、前記頻度決定手段により取得される該部分領域の頻度情報に対応する数の画像フレームを対象に画像処理を実行することにより、前記複数の部分領域の少なくとも１つの部分領域からオブジェクト情報を抽出する情報抽出手段と、
を備えるオブジェクト情報抽出装置。
【請求項２】
前記各部分領域は、前記画像取得手段により取得される前記各画像フレームを区分けした画像領域である分割領域であり、
前記複数の部分領域の少なくとも１つの部分領域は、所定オブジェクトを表す個別領域を含み、
前記情報抽出手段は、前記少なくとも１つの部分領域内の前記個別領域に関し、前記複数の画像フレームの中の、前記頻度決定手段により取得される前記少なくとも１つの部分領域の頻度情報に対応する数の画像フレームを対象に画像処理を実行することにより、前記個別領域から前記所定オブジェクトのオブジェクト情報を抽出する、
請求項１に記載のオブジェクト情報抽出装置。
【請求項３】
前記部分領域は、所定オブジェクトを表し、
前記頻度決定手段は、前記複数の部分領域により表わされる複数の所定オブジェクトの動き量を取得し、該動き量の大きさに応じて高い指標を示すような各頻度指標をそれぞれ決定し、該各頻度指標に基づいて、該複数の所定オブジェクトに関する複数の頻度情報を決定し、
前記情報抽出手段は、前記各部分領域により表わされる前記各所定オブジェクトについて、前記複数の画像フレームの中の、前記頻度決定手段により取得される該所定オブジェクトの頻度情報に対応する数の画像フレームを対象に画像処理を実行することにより、該各所定オブジェクトのオブジェクト情報をそれぞれ抽出する、
請求項１に記載のオブジェクト情報抽出装置。
【請求項４】
前記頻度決定手段は、前記画像取得手段により取得される前記各画像フレームが区分けされた画像領域である複数の分割領域に関する複数の頻度指標を更に決定し、前記動き量に基づく前記頻度指標と、前記所定オブジェクトを表す前記個別領域を含む該分割領域に関する該頻度指標とを用いて、複数の所定オブジェクトに関する複数の頻度情報を決定する、
請求項３に記載のオブジェクト情報抽出装置。
【請求項５】
前記頻度決定手段は、前記各所定オブジェクトに関し大きさ又は向きの情報をそれぞれ取得し、該大きさ又は向きの情報に基づく各頻度指標をそれぞれ更に決定し、該大きさ又は向きの情報に基づく各頻度指標を更に用いることにより、前記各所定オブジェクトのオブジェクト情報をそれぞれ抽出する、
請求項３又は４に記載のオブジェクト情報抽出装置。
【請求項６】
前記画像取得手段により取得される前記複数の画像フレームから前記所定オブジェクトを検出するオブジェクト検出手段と、
前記オブジェクト検出手段により検出される前記所定オブジェクトの動き量を検出する動き量検出手段と、
を更に備え、
前記頻度決定手段は、前記動き量検出手段により検出された、前記所定オブジェクトの動き量を取得する、
請求項３乃至５いずれか１項に記載のオブジェクト情報抽出装置。
【請求項７】
前記頻度決定手段は、前記分割領域に複数の前記所定オブジェクトが含まれている場合、該複数の所定オブジェクトの動き量を統計処理した値を、該複数の所定オブジェクトの動き量にすることで、該複数の所定オブジェクトに対して共通の前記動き量に基づき頻度指標を算出する請求項４に記載のオブジェクト情報抽出装置。
【請求項８】
前記頻度決定手段は、前記画像の撮像範囲に基づいて、前記分割領域ごとの頻度情報を生成する請求項２又は４に記載のオブジェクト情報抽出装置。
【請求項９】
コンピュータを、オブジェクト情報抽出装置として機能させるオブジェクト情報抽出プログラムであって、前記コンピュータに、
映像の所定単位時間に相当する複数の画像フレームを取得する画像取得機能と、
前記画像取得機能により取得される前記各画像フレームにそれぞれ含まれる複数の部分領域に関し、それぞれ異なる複数の頻度情報を取得する頻度決定機能と、
前記部分領域毎に、前記複数の画像フレームのうち、前記頻度決定機能により取得される該部分領域の頻度情報に対応する数の画像フレームを対象に画像処理を実行することにより、前記複数の部分領域の少なくとも１つの部分領域からオブジェクト情報を抽出する情報抽出機能と、
を持たせるオブジェクト情報抽出プログラム。
【請求項１０】
コンピュータによって実行されるオブジェクト情報抽出方法であって、
映像の所定単位時間に相当する複数の画像フレームを取得する画像取得ステップと、
前記画像取得ステップにより取得される前記各画像フレームにそれぞれ含まれる複数の部分領域に関し、それぞれ異なる複数の頻度情報を取得する頻度決定ステップと、
前記部分領域毎に、前記複数の画像フレームのうち、前記頻度決定ステップにより取得される該部分領域の頻度情報に対応する数の画像フレームを対象に画像処理を実行することにより、前記複数の部分領域の少なくとも１つの部分領域からオブジェクト情報を抽出する情報抽出ステップと、
を有するオブジェクト情報抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクト情報抽出装置、オブジェクト情報抽出プログラム、及びオブジェクト情報抽出方法に関する。
【背景技術】
【０００２】
監視カメラ等で撮像された人や車などのオブジェクトの情報（以下、オブジェクト情報とも表記）を抽出する装置が開発されている。ここで、オブジェクトとは、人や車、動物などの物体を指す。また、オブジェクト情報とは、オブジェクトの位置や形状を表す情報や、オブジェクトの特徴量を表す情報である。オブジェクトの特徴量とは、人の顔や服などの特徴を表す値や、車の形状や色などの特徴を表す値である。【０００３】
特許文献１記載の装置は、カメラの視線方向の変化をジャイロセンサや重力センサで検出し、カメラの視線方向の変化に基づいて、画像の特徴量を抽出する頻度を変更する。【０００４】
特許文献２記載の装置は、画像から撮影対象の特徴量を抽出する装置である。当該装置は、画像を複数の領域に分割し、分割した領域ごとに、撮影対象が写っている確率を推定する。そして、推定した確率に基づいて、各領域ごとに画像の表現方法を変更してから、領域ごとの特徴量を抽出する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０７−２００８２４号公報
【特許文献２】特開２００６−１３９４１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明者は、必要なオブジェクトの情報を確実に取得できるオブジェクト情報抽出装置の必要性を見いだした。特許文献１記載の装置や特許文献２記載の装置に代表される既存の装置は、画像上で一様にオブジェクトの検出処理を行い、検出された各オブジェクトからそれぞれの特徴量を抽出する。ところが、画像内の各オブジェクトについて、オブジェクト情報の抽出のしやすさは一様ではない。例えば、天井から斜め下を見下ろす角度で撮影を行っている監視カメラによって撮影された映像を考える。この場合、映像を構成する画像の下方は実際の空間における手前側であり、画像の上方は実際の空間における奥側である。したがって、手前側を示す画像の下方では、奥側を示す画像の上方に比べ、オブジェクトの大きさは大きくなる。さらに、手前側を示す画像の下方では、奥側を示す画像の上方に比べ、オブジェクトの動き量が大きくなる。【０００７】
上述の例の場合、大きく写っているオブジェクトほどオブジェクト情報抽出装置によって多くの情報を抽出できるため、オブジェクト情報の抽出に向いている。例えば、大きく写っている顔からの方が、目や鼻の形状など、様々な情報を正確に抽出することができる。したがって、画像の下方に写っているオブジェクトほど、オブジェクト情報の抽出に向いているといえる。しかし、画像の下方にあるオブジェクトは、動き量が大きいため、写っている画像の数が少ない。そのため、画像内のオブジェクトから一様にオブジェクト情報を抽出する既存のオブジェクト情報抽出装置は、本来オブジェクト情報の抽出に向いている画像の下方にあるオブジェクトからオブジェクト情報を抽出する頻度が低くなってしまう。【０００８】
一方、画像の上方に写っているオブジェクトは、オブジェクト情報の抽出に向いていない。例えば、画像の上方に写っている人の顔は、画像内で小さく写るため、顔の細部の情報を抽出することが難しい。ところが、画像の上方に写っているオブジェクトは動き量が小さいため、写っている画像が多くなる。そのため、既存のオブジェクト情報抽出装置は、本来オブジェクト情報の抽出に向いていない画像の上方に移っているオブジェクトから、オブジェクト情報を頻繁に抽出する。【０００９】
上述した、画像内に写っているオブジェクトから一様にオブジェクト情報の抽出を行うことの弊害は、多くのオブジェクトが画面内に写っている場合に顕著となる。この場合、既存のオブジェクト情報抽出装置は、画像に写っている多くのオブジェクトからオブジェクト情報を抽出するため、オブジェクト情報の抽出処理に時間がかかる。そのため、映像を構成する複数の画像フレームからオブジェクト情報を抽出する場合、オブジェクト情報を抽出できる画像フレームの数が低下する。その結果、画像内に大きく写っているために特徴量抽出に向いているオブジェクトから、オブジェクト情報を抽出する機会が減り、必要なオブジェクトの情報を確実に取得することができなくなる。【００１０】
本発明の目的は、必要なオブジェクトの情報を確実に取得するオブジェクト情報抽出装置、オブジェクト情報抽出プログラム、及びオブジェクト情報抽出方法を提供することである。
【課題を解決するための手段】
【００１１】
本発明が提供するオブジェクト情報抽出装置は、映像の所定単位時間に相当する複数の画像フレームを取得する画像取得手段と、前記画像取得手段により取得される前記各画像フレームにそれぞれ含まれる複数の部分領域に関し、それぞれ異なる複数の頻度情報を取得する頻度決定手段と、前記部分領域毎に、前記複数の画像フレームのうち、前記頻度決定手段により取得される該部分領域の頻度情報に対応する数の画像フレームを対象に画像処理を実行することにより、前記複数の部分領域の少なくとも１つの部分領域からオブジェクト情報を抽出する情報抽出手段を備える。【００１２】
本発明が提供するオブジェクト情報抽出プログラムは、コンピュータに、本発明が提供するオブジェクト情報抽出装置として動作する機能を持たせる。当該オブジェクト情報抽出プログラムは、前記コンピュータに、本発明が提供するオブジェクト情報抽出装置の各機能構成部が有する機能を持たせる。【００１３】
本発明が提供するオブジェクト情報抽出方法は、コンピュータによって実行される。当該オブジェクト情報抽出方法は、映像の所定単位時間に相当する複数の画像フレームを取得する画像取得ステップと、前記画像取得ステップにより取得される前記各画像フレームにそれぞれ含まれる複数の部分領域に関し、それぞれ異なる複数の頻度情報を取得する頻度決定ステップと、前記部分領域毎に、前記複数の画像フレームのうち、前記頻度決定ステップにより取得される該部分領域の頻度情報に対応する数の画像フレームを対象に画像処理を実行することにより、前記複数の部分領域の少なくとも１つの部分領域からオブジェクト情報を抽出する情報抽出ステップを有する。
【発明の効果】
【００１４】
本発明によれば、必要なオブジェクトの情報を確実に取得するオブジェクト情報抽出装置、オブジェクト情報抽出プログラム、及びオブジェクト情報抽出方法を提供することができる。
【図面の簡単な説明】
【００１５】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。【００１６】
【図１】実施形態１に係るオブジェクト情報抽出装置を表すブロック図である。
【図２】画像を縦に３分割して分割領域に区切る例を示す図である。
【図３】画像を同心円状に分割して分割領域に区切る例を示す図である。
【図４】頻度テーブルの構成を示す図である。
【図５】実施形態１におけるオブジェクト情報抽出処理の流れの一例を示すフローチャートである。
【図６】画像内の各オブジェクトを部分領域とする例を示す図である。
【図７】実施形態２におけるオブジェクト情報抽出処理の流れの一例を示すフローチャートである。
【図８】実施形態３におけるオブジェクト情報抽出処理の流れの一例を示すフローチャートである。
【図９】実施形態４におけるオブジェクト情報抽出処理の流れの一例を示すフローチャートである。
【図１０】実施形態１に係るオブジェクト情報抽出装置のハードウエア構成を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【００１８】
なお、以下に示す説明において、各装置の各構成要素は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。各装置の各構成要素は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスクなどの記憶メディア、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置には様々な変形例がある。
【００１９】
＜実施形態の概要＞
図１は、以下で示す各実施形態が共通して持つ機能ブロックのみで構成されたオブジェクト情報抽出装置２０００を表す図である。ここで、図中の矢印は、情報の流れを表す。
【００２０】
オブジェクト情報抽出装置２０００は、画像取得部２０２０、頻度決定部２０４０、及び情報抽出部２０６０を有する。画像取得部２０２０は、撮影された映像の所定単位時間に相当する複数の画像フレームを取得する。以下、画像フレームのことを、単に画像とも表記する。ここで、所定単位時間とは、例えば１秒間である。また、所定単位時間に相当する複数の画像フレームとは、例えばフレームレートが１５ｆｐｓの映像であれば、映像において連続している１５枚の画像フレームである。
【００２１】
頻度決定部２０４０は、上記複数の画像それぞれに含まれる複数の部分領域に関して、それぞれ頻度情報を生成する。ここで部分領域とは、画像を１つ以上の位置で区切って分割した各領域（以下、分割領域）、又は各オブジェクトを表す個別領域である。部分領域ごとに生成される頻度情報が示す頻度は、例えば、所定単位時間に相当する複数の画像のうち、情報抽出部２０６０がその部分領域に関して画像処理を行う画像の枚数である。この場合、例えば頻度情報は、「Ｘ枚／秒」という頻度を示す。頻度情報が示す頻度は、その他にも例えば、所定単位時間に相当する複数の画像について、情報抽出部２０６０がその部分領域に関する画像処理を何枚おきに行うかという周期を示してもよい。この場合、例えば頻度情報は、「Ｘ枚おき」という頻度を示す。以下では、頻度情報は、所定単位時間に相当する複数の画像のうち、情報抽出部２０６０がその部分領域に関して画像処理を行う画像の枚数であるとする。
【００２２】
情報抽出部２０６０は、各部分領域に関して、所定単位時間に相当する複数の画像のうち、各部分領域に対する頻度情報が示す枚数の画像それぞれについて、各部分領域に対して画像処理を行い、各部分領域に含まれるオブジェクトのオブジェクト情報を抽出する。例えば、ある部分領域に対する頻度情報が「５枚／秒」という頻度を示しており、取得した映像のフレームレートが１５ｆｐｓ（フレーム／秒）である場合、情報抽出部２０６０は、所定単位時間に相当する１５枚の画像のうち、５枚の画像それぞれについて、上記部分領域からオブジェクト情報の抽出を行う。
【００２３】
オブジェクト情報抽出装置２０００が処理対象とするオブジェクトは様々であり、例えば人や車、動物等である。
【００２４】
画像取得部２０２０が映像を取得する方法は様々である。例えば画像取得部２０２０は、監視カメラ等のビデオカメラから映像を取得する。その他にも例えば、画像取得部２０２０は、可搬型記憶媒体に記憶されている映像を取得してもよいし、通信回線を通じて外部に記憶されている映像を取得してもよい。
【００２５】
画像取得部２０２０が取得する映像は様々である。例えば画像取得部２０２０は、ビデオカメラによって撮影された映像を取得する。また、例えば画像取得部２０２０は、他の装置によって処理を施された映像を取得してもよい。例えば画像取得部２０２０は、圧縮処理をされた映像を取得する。また例えば、画像取得部２０２０は、ノイズ除去等の画像処理を行う装置によって処理された映像を、上記装置から取得する。このように、オブジェクト情報抽出装置２０００は、映像に対して画像処理を施すその他の装置と組み合わせて用いることも可能である。
【００２６】
頻度決定部２０４０による頻度の決定方法は、部分領域の定義によって異なる。オブジェクト情報抽出装置２０００が分割領域を部分領域とする場合、頻度決定部２０４０は、分割領域ごとに頻度情報を生成する。頻度決定部２０４０は、分割領域ごとに与えられた指標（以下、分割領域頻度指標）に基づいて、分割領域ごとに頻度を決定する。頻度決定部２０４０は、例えばオブジェクトの動き量が大きいと予測される分割領域ほど、高い頻度を示す分割領域頻度指標を取得する。これは、動き量が大きいオブジェクトほど写っている画像が少ない場合が多いため、動き量が大きいオブジェクトから十分な情報を抽出するためには、オブジェクト情報の抽出を高い頻度で行う必要があるためである。その他にも例えば、頻度決定部２０４０は、オブジェクトの大きさが大きいと予測される分割領域ほど、高い頻度を示す分割領域頻度指標を取得する。これは、大きく写っているオブジェクトほど、オブジェクトの各部の詳細な情報など、得られる情報の量が多いため、オブジェクト情報の抽出を高い頻度で行う必要があるためである。上記分割領域頻度指標は、オブジェクト情報抽出装置２０００のユーザが手動で与えてもよいし、サーバなどの外部装置に格納しておき、頻度決定部２０４０がそれらの外部装置から自動で取得してもよい。
【００２７】
一方、オブジェクト情報抽出装置２０００がオブジェクトを表す個別領域を部分領域とする場合、頻度決定部２０４０は、オブジェクトごとに頻度情報を生成する。頻度決定部２０４０は、各オブジェクトの動き量を取得し、取得した各オブジェクトの動き量に基づき、オブジェクトごとの頻度情報を生成する。この場合、頻度決定部２０４０は、動き量が大きいオブジェクトほど高い頻度を示す頻度情報を生成する。その他にも例えば、頻度決定部２０４０は、各オブジェクトの大きさを取得し、取得したオブジェクトの大きさに基づき、オブジェクトごとの頻度情報を生成する。この場合、頻度決定部２０４０は、大きさがオブジェクトほど高い頻度を示す頻度情報を生成する。
【００２８】
情報抽出部２０６０が抽出するオブジェクト情報は様々である。例えば、情報抽出部２０６０は、オブジェクトの位置や形状に関する情報を抽出する。また、情報抽出部２０６０は、オブジェクトの特徴を表す特徴量を抽出する。例えば、情報抽出部２０６０は、画像に写っている人物の顔の特徴量を抽出する。こうすることで、例えばオブジェクト情報抽出装置２０００のユーザは、映像に特定の人物が写っているか否かを判定することができる。同様に、例えば情報抽出部２０６０は、画像に写っている車の特徴量として、車の色やナンバープレートの番号等を抽出する。こうすることで、例えばオブジェクト情報抽出装置２０００のユーザは、映像に特定の車が写っているか否かを判定することができる。
【００２９】
情報抽出部２０６０が、各部分領域について、所定単位時間に相当する複数の画像のうち、どの画像からオブジェクト情報を抽出するかは様々である。例えば情報抽出部２０６０は、各部分領域について、単位時間に相当する複数の画像のうち、部分領域に関する頻度情報が示す枚数の連続する画像それぞれから、その部分領域内のオブジェクトの情報を抽出する。ここで、上記部分領域に関する頻度情報が「５枚／秒」という頻度を示しており、取得した映像のフレームレートが１５ｆｐｓであるとする。この場合、情報抽出部２０６０は、１５枚の画像のうち連続した５枚の画像それぞれから、該当する部分領域内のオブジェクトの情報を抽出する。その他にも例えば、情報抽出部２０６０は、所定単位時間に相当する画像それぞれから、等間隔でオブジェクト情報を抽出する。頻度情報と映像のフレームレートが上述した例の場合、情報抽出部２０６０は、「１枚の画像の該当する部分領域からオブジェクト情報を抽出し、続く２枚の画像の該当する部分領域からはオブジェクト情報を抽出しない」、という処理を繰り返す。その他にも例えば、情報抽出部２０６０は、各部分領域について、所定時間に相当する複数の画像から、各部分領域に関する頻度情報が示す枚数の画像をランダムに選択し、選択した画像それぞれにおけるその部分領域からオブジェクト情報を抽出してもよい。
【００３０】
以上の構成により、オブジェクト情報抽出装置２０００は、取得した画像の各部分領域ごとに、オブジェクトの情報を抽出する頻度を決定する。そして、オブジェクト情報抽出装置２０００は、部分領域ごとに定めた頻度で、各部分領域に含まれるオブジェクトの情報を抽出する。これにより、オブジェクト情報抽出装置２０００は、オブジェクトの動き量が大きい部分領域や、オブジェクトの大きさが大きい部分領域など、頻繁にオブジェクト情報を抽出する必要がある部分領域に関する頻度情報が示す頻度を高くする。そうすることで、オブジェクト情報抽出装置２０００は、頻繁にオブジェクト情報を抽出する必要がある部分領域内のオブジェクトからは、高い頻度でオブジェクト情報を抽出する。一方、オブジェクト情報抽出装置２０００は、オブジェクトの動き量が小さい部分領域や、オブジェクトの大きさが小さい部分領域など、オブジェクト情報を取得する頻度が低くてよい部分領域に関する頻度情報が示す頻度を低くする。こうすることで、オブジェクト情報抽出装置２０００は、オブジェクト情報を取得する頻度が低くてよい部分領域のオブジェクトからは、低い頻度でオブジェクト情報を抽出する。このように、オブジェクト情報抽出装置２０００は、オブジェクト情報の抽出頻度を部分領域ごとに設定する。こうすることで、オブジェクト情報抽出装置２０００は、全てのオブジェクトから一様にオブジェクト情報を抽出する場合と比較し、オブジェクト情報の抽出処理にかかる時間が短くなる。これにより、オブジェクト情報抽出装置２０００は、必要なオブジェクトの情報を確実に取得することができる。
【００３１】
以下、上記構成を有する複数の実施形態について、それぞれ詳細に説明する。
【００３２】
[実施形態１]
＜概要＞
本実施形態のオブジェクト情報抽出装置２０００は、画像取得部２０２０が取得する画像を１つ以上の位置で区切って分割した各領域である分割領域を部分領域とする。
【００３３】
例えば本実施形態のオブジェクト情報抽出装置２０００は、図２が示す画像１０の様に、各画像を分割領域に区切る。図２において、点線が分割領域を区切る線である。画像１０は、縦に３等分に分割されており、分割領域１、２、及び３は、それぞれ分割領域である。オブジェクト２０は、それぞれ画像１０に写っているオブジェクトである。
【００３４】
本実施形態の頻度決定部２０４０は上記分割領域ごとに示された頻度指標を取得する。以下、分割領域ごとに示された頻度指標を、分割領域頻度指標と表記する。そして、頻度決定部２０４０は、上記頻度指標に基づき、分割領域ごとの頻度情報を生成する。
【００３５】
情報抽出部２０６０は、各分割領域に関して、所定単位時間に相当する複数の画像のうち、各分割領域に対する頻度情報が示す枚数の画像それぞれから、各分割領域に含まれるオブジェクトのオブジェクト情報を抽出する。
【００３６】
以上のように、本実施形態のオブジェクト情報抽出装置２０００は、画像取得部２０２０が取得する各画像を１つ以上の位置で区切って分割した各分割領域にごとに、オブジェクト情報の抽出頻度を決定する。そして、分割領域ごとに決定した頻度で、各分割領域からオブジェクト情報を抽出する。これにより、オブジェクト情報抽出装置２０００は、画像の分割領域ごとの特性に合わせて、オブジェクト情報を抽出する頻度を決定することができる。
【００３７】
例えば図２において、分割領域３に写っているオブジェクト２０は、分割領域１に写っているオブジェクト２０よりもカメラに近い。そのため、実際の速度は同じオブジェクト２０であっても、分割領域３に写っているオブジェクト２０の方が、分割領域１に写っているオブジェクト２０よりも画面上の動きが速くなる。したがって、オブジェクト情報抽出装置２０００は、分割領域３に写っているオブジェクト２０から、より高頻度でオブジェクト情報を抽出する必要がある。そこで、頻度決定部２０４０は、例えば、「分割領域１の分割領域頻度指標＜分割領域２の分割領域頻度指標＜分割領域３の分割領域頻度指標」という大小関係である分割領域頻度指標を取得する。こうすることで、情報抽出部２０６０は、上記大小関係が示すような異なる頻度で、各分割領域からオブジェクト情報を取得する。
【００３８】
以下、本実施形態について詳細を述べる。
【００３９】
＜分割領域の区切り方＞
オブジェクト情報抽出装置２０００による分割領域の区切り方は様々である。例えばオブジェクト情報抽出装置２０００は、図２のように、各画像を直線で分割した領域を分割領域とする。また、例えばオブジェクト情報抽出装置２０００は、図３のように、画像を同心円状に分割した各領域を分割領域としてもよい。また、オブジェクト情報抽出装置２０００は、直線や曲線を混在させて、画像を分割領域に区切ってもよい。
【００４０】
分割領域の区切り方は、カメラの画角に対応して定められることが好ましい。例えば、天井に設置されており、斜め下を撮影しているカメラから画像を取得する場合は、図２に示す区切り方で画像を分割領域に分割する方法が好ましい。これは、天井から斜め下を撮影する場合、画像の上方と下方で、オブジェクトの動き量及び大きさが異なるためである。その他にも、例えば魚眼レンズを使って天井から真下を撮影するカメラの場合は、図３に示す区切り方で画像を分割する方法が好ましい。これは、魚眼レンズの場合、画像の中心からの距離に応じて、オブジェクトの動き量及びオブジェクトの大きさが変化するためである。
【００４１】
＜ハードウエア構成＞
オブジェクト情報抽出装置２０００は、例えば図１０に示すコンピュータ３０００で実現される。コンピュータ３０００は、例えばＣＰＵ３０１０、ＲＡＭ３０２０、通信デバイス３０３０、及びストレージ３０５０を有する。そして、上記ＣＰＵ３０１０、ＲＡＭ３０２０、通信デバイス３０３０、及びストレージ３０５０は、バス３０４０で接続されている。ストレージ３０５０は、コンピュータ３０００をオブジェクト情報抽出装置２０００として機能させるプログラムであるオブジェクト情報抽出プログラム３１００を格納している。なお、ストレージ３０５０は、オペレーティングシステム（ＯＳ）等の汎用的なプログラムや、ＯＳ等が使用する汎用的なデータも格納している。図１０においては、それら汎用的なプログラム及びデータは省略している。
【００４２】
コンピュータ３０００は、ストレージ３０５０からオブジェクト情報抽出プログラム３１００を読み出し、ＣＰＵ３０１０で実行することで、オブジェクト情報抽出装置２０００として機能する。ストレージ３０５０から読み出したオブジェクト情報抽出プログラム３１００や、計算結果等の一次データは、適宜ＲＡＭ３０２０に格納される。
【００４３】
オブジェクト情報抽出プログラム３１００は、画像取得部２０２０の機能を実現する画像取得モジュール３１１０、頻度決定部２０４０の機能を実現する頻度決定モジュール３１２０、及び情報抽出部２０６０の機能を実現する情報抽出３１３０を有する。画像取得モジュール３１１０は、例えば通信デバイス３０３０を通じて、監視カメラ等が撮影した映像を取得し、取得した映像を構成する各画像を、画像３０６０としてストレージ３０５０に格納する。ここで、画像３０６０は、ＲＡＭ３０２０に格納されてもよい。
【００４４】
オブジェクト情報抽出プログラム３１００は、ストレージ３０５０以外の場所に格納されていてもよい。例えば、オブジェクト情報抽出プログラム３１００は、ＲＡＭ３０２０に格納される。その他にも例えば、コンピュータ３０００が読み出し専用メモリ（ＲＯＭ）を有する場合、オブジェクト情報抽出プログラム３１００は、上記ＲＯＭに格納されていてもよい。
【００４５】
＜頻度決定部２０４０の詳細＞
頻度決定部２０４０が生成する頻度情報は、例えば図４に示す頻度テーブル２００で表される。頻度テーブル２００は例えば、部分領域ＩＤ２１０、及び各部分領域からオブジェクト情報を抽出する頻度を示す頻度２２０を有する。本実施形態の場合、頻度２２０は例えば、分割領域のそれぞれについて、所定単位時間に相当する複数の画像のうち、何枚の画像からオブジェクト情報を抽出するかを示す。例えば分割領域１についての頻度情報が図４のレコード１のように示されている場合、オブジェクト情報抽出装置２０００は、所定単位時間に相当する複数の画像のうち５枚の画像から、分割領域１に含まれるオブジェクトの情報を抽出する。
【００４６】
頻度決定部２０４０は、取得した分割領域頻度指標に基づいて、頻度情報が示す頻度を決定する。ここで、頻度決定部２０４０は、取得した分割領域頻度指標をそのまま頻度情報が示す頻度としてもよいし、取得した分割領域頻度指標から別の値を算出し、算出した値を頻度情報が示す頻度としてもよい。
【００４７】
頻度決定部２０４０が取得する分割領域頻度指標はさまざまである。例えば頻度決定部２０４０は、分割領域のそれぞれについて、所定単位時間に相当する複数の画像のうち、何枚の画像からオブジェクト情報を取得するかを示す分割領域頻度指標を取得する。この場合、頻度決定部２０４０は、例えば次のように、頻度情報が示す頻度を決定する。ここで、ある分割領域ｊに関する分割領域頻度指標が示す値をＸ（ｊ）、画像取得部２０２０が取得する映像のフレームレートをＦＲとする。分割領域ｊに関する分割領域頻度指標Ｘ（ｊ）が、Ｘ（ｊ）≧ＦＲを満たす場合、頻度決定部２０４０は、「ＦＲ枚／秒」という頻度を示す頻度情報を生成する。これは、オブジェクト情報抽出装置２０００が、全ての画像の分割領域ｊからオブジェクト情報を抽出することを意味する。また、頻度決定部２０４０は、ＦＲ＞Ｘ（ｊ）＞０の場合、「Ｘ（ｊ）枚／秒」という頻度を示す頻度情報を生成する。これは、オブジェクト情報抽出装置２０００が、１秒間に撮影された画像のうち、Ｘ（ｊ）枚の画像の分割領域ｊからオブジェクト情報を抽出することを意味する。さらに、頻度決定部２０４０は、Ｘ（ｊ）≦０の場合、「０枚／秒」という頻度を示す頻度情報を生成する。これは、オブジェクト情報抽出装置２０００が、分割領域ｊからオブジェクト情報を抽出しないことを意味する。
【００４８】
また、頻度決定部２０４０は、１〜Ｎなどのランクで表された分割領域頻度指標を取得してもよい。この場合、頻度決定部２０４０は、例えば予め、「Ｘ（ｊ）＝１の場合は、５枚／秒」、「Ｘ（ｊ）＝２の場合は、３枚／秒」というように、分割領域頻度指標が示すランクに対応した頻度情報を定めておく。その他にも例えば、頻度決定部２０４０は、分割領域頻度指標が示すランクを用いて算出した値を頻度情報に示してもよい。例えば、頻度決定部２０４０は、分割領域頻度指標が示すランクの値のＸ（ｊ）とした時、「１秒間にＦＲ／Ｘ（ｊ）枚」という頻度を示す頻度情報を生成する。これにより、オブジェクト情報抽出装置２０００は、各部分領域に関するランクに反比例する頻度で、各部分領域からオブジェクト情報を抽出する。
【００４９】
頻度決定部２０４０が取得する分割領域頻度指標は、様々な方法で決定される。例えばオブジェクト情報抽出装置２０００が、監視カメラの映像からオブジェクト情報を抽出する場合を考える。この場合、例えばオブジェクト情報抽出装置２０００のユーザは、オブジェクト情報抽出装置２０００の運用前にトレーニング期間を設け、上記監視カメラが撮像した映像を分析して、頻度決定部２０４０に与える分割領域頻度指標を決定する。例えば、オブジェクト情報抽出装置２０００のユーザは、カメラの画角内の様々な位置で、同じ物体を同じ速さで動かして撮影する。そして、オブジェクト情報抽出装置２０００のユーザは、画像に記録される上記物体の速度や大きさの差異を分析する。そして、その分析結果に基づいて、各分割領域に関する分割領域頻度指標を決定する。
【００５０】
例えば頻度決定部２０４０は、画像内における物体の速度が速い分割領域ほど、高い頻度を示す分割領域頻度指標を取得する。例えば、分割領域頻度指標は、上記分割領域においてオブジェクトの速度を複数回測定した測定結果の平均値や、メディアン、モード等の統計値として算出される。また、例えば上記統計値は、分割領域におけるオブジェクトの速度の測定結果に関する分布のうち、外側の一定の割合（例：５％）を除いた測定結果の値から算出されてもよい。こうすることで、統計値の計算において、はずれ値が除かれる。
【００５１】
その他にも、頻度決定部２０４０は、例えば画像内における物体の大きさが大きい分割領域ほど高い頻度を示す分割領域頻度指標を取得する。さらに、頻度決定部２０４０は、例えば画像内において明度が高い領域ほど高い頻度を示す分割領域頻度指標を取得する。これらの分割領域頻度指標に関しても、オブジェクトの速度を利用した場合と同様に、統計処理によって算出されることが望ましい。
【００５２】
ここで、上記トレーニング期間においては、カメラが撮像する物体の大きさや速さを、オブジェクト情報抽出装置２０００のユーザの意図で設定することができる。また、トレーニングに用いる物体は、例えば一色のみで塗られた物体など、分析処理が行いやすい物体を採用できる。そのため、分割領域頻度指標は、オブジェクト情報抽出装置２０００の運用を開始してから決定するより、トレーニング期間を設けて決定する方が容易である。ただし、分割領域頻度指標は、オブジェクト情報抽出装置２０００の運用を開始してから決定しても構わない。
【００５３】
＜情報抽出部２０６０の詳細＞
オブジェクト情報としてオブジェクトの特徴量を取得する場合、情報抽出部２０６０は、特徴量を抽出するオブジェクトの画像内における位置を知る必要がある。情報抽出部２０６０が、各オブジェクトの画像内における位置を知る方法は様々である。例えば情報抽出部２０６０は、オブジェクトの位置を検出する赤外線センサなどの外部装置から、その外部装置によって検出された各オブジェクトの位置に関する情報を取得する。また、情報抽出部２０６０は、画像処理を行って各オブジェクトの位置を検出する外部装置から、その外部装置によって検出された各オブジェクトの位置に関する情報を取得しても良い。その他にも例えば、情報抽出部２０６０は、オブジェクト情報の抽出処理としてオブジェクトの位置を抽出する処理を行って各オブジェクトの位置を抽出した後に、抽出した情報で位置が特定された各オブジェクトの特徴量を抽出する処理を行ってもよい。
【００５４】
＜オブジェクト情報抽出処理の流れ＞
図５は、オブジェクト情報抽出装置２０００が、オブジェクト情報を抽出する処理（以下、オブジェクト情報抽出処理）の流れの一例を示すフローチャートである。
【００５５】
ステップＳ１０２において、画像取得部２０２０は、映像を構成する画像を取得する。
【００５６】
ステップＳ１０４において、頻度決定部２０４０は、分割領域頻度指標を取得する。
【００５７】
ステップＳ１０６において、頻度決定部２０４０は、取得した頻度指標に基づき、分割領域ごとの頻度情報を生成する。
【００５８】
ステップＳ１０８において、情報抽出部２０６０は、分割領域ごとに、単位時間に相当する複数の画像のうち、各分割領域に対する頻度情報が示す枚数の画像それぞれから、各分割領域に含まれるオブジェクトのオブジェクト情報を抽出する。
【００５９】
＜変形例＞
オブジェクト情報抽出装置２０００は、画像取得部２０２０が取得する映像の撮像範囲に基づいて、各分割領域の頻度情報を生成してもよい。例えば、オブジェクト情報抽出装置２０００は、天井に設置されたカメラが斜め下を撮影した映像を取得するとする。この場合、カメラの俯角が変化すると、画像内におけるオブジェクトの動き量や大きさが変化する。例えば、カメラの俯角が小さくなるほど、近くのオブジェクトと遠くのオブジェクトの速さ及び大きさの違いが大きくなる。そこで、オブジェクト情報抽出装置２０００は、映像の撮像範囲に基づいて、各分割領域の頻度情報を生成する。
【００６０】
例えば上記カメラの例の場合、オブジェクト情報抽出装置２０００は、カメラの俯角が小さいほど、分割領域間の頻度の差を大きくする。
【００６１】
映像の撮像範囲に基づいた頻度情報の生成方法は様々である。例えばオブジェクト情報抽出装置２０００は、映像の撮像範囲の変化に応じ、異なる分割領域頻度指標を取得する。その他にも例えば、オブジェクト情報抽出装置２０００は、予め、映像の撮像範囲に応じた分割領域頻度指標を複数取得しておく。そして、オブジェクト情報抽出装置２０００は、映像の撮像範囲に対応した分割領域頻度指標を利用する。
【００６２】
オブジェクト情報抽出装置２０００が、映像の撮像範囲を示す情報を取得する方法は様々である。例えば、オブジェクト情報抽出装置２０００は、画像取得部２０２０が取得する映像を撮影しているカメラ等の装置から、映像の撮像範囲を示す情報を取得する。これは例えば、上述した例におけるカメラの俯角の値である。その他にも、オブジェクト情報抽出装置２０００は、例えば画像の背景の変化から、映像の撮像範囲の変化を自身で算出してもよい。
【００６３】
＜作用・効果＞
以上の構成により、本実施形態によれば、オブジェクト情報抽出装置２０００は、画像取得部２０２０が取得する画像を１つ以上の位置で区切って分割した分割領域を部分領域とする。頻度決定部２０４０は、上記分割領域ごとに示された分割領域頻度指標を取得し、分割領域ごとの頻度情報を生成する。情報抽出部２０６０は、各分割領域に関して、単位時間に相当する複数の画像のうち、各分割領域に関する頻度情報が示す枚数の画像それぞれから、各分割領域に含まれるオブジェクトのオブジェクト情報を抽出する。これにより、オブジェクト情報抽出装置２０００は、画像の分割領域ごとの特性に合わせて、オブジェクト情報を抽出する頻度を決定することができる。
【００６４】
[実施形態２]
＜概要＞
本実施形態において、実施形態１と同じ機能構成部は、特に説明しない限り実施形態１と同様の機能を有する。
【００６５】
本実施形態のオブジェクト情報抽出装置２０００は、画像内のオブジェクトを表す個別領域を、前述した部分領域として扱う。例えば、図６に示す画像の場合、オブジェクト情報抽出装置２０００は、各オブジェクト２０を部分領域として扱う。図６は、通路を人が移動している様子を撮影した画像である。
【００６６】
本実施形態の頻度決定部２０４０は、オブジェクトの頻度指標として、各オブジェクトの動き量を取得する。そして、頻度決定部２０４０は、オブジェクトごとに、取得した動き量に基づいた頻度指標を算出する（以下、動き量頻度指標）。ここで、頻度決定部２０４０は、動き量が大きいオブジェクトほど高い頻度を示す動き量頻度指標を算出する。そして、頻度決定部２０４０は、オブジェクトごとに算出した動き量頻度指標を、そのオブジェクトからオブジェクト情報を抽出する頻度とする頻度情報を生成する。
【００６７】
情報抽出部２０６０は、各オブジェクトに関して、所定単位時間に相当する複数の画像のうち、各オブジェクトに関する頻度情報が示す数の画像それぞれから、各オブジェクトのオブジェクト情報を抽出する。
【００６８】
以上のように、本実施形態のオブジェクト情報抽出装置２０００は、画像内の各オブジェクトを表す個別領域をそれぞれ部分領域として扱う。そして、オブジェクト情報抽出装置２０００は、画面上での動き量が大きいオブジェクトほど高い頻度で、オブジェクト情報の抽出を行う。こうすることで、本実施形態のオブジェクト情報抽出装置２０００は、実施形態１のオブジェクト情報抽出装置２０００と異なり、オブジェクトの動きに合わせて、各オブジェクトから情報を抽出する頻度を決定することができる。例えば、本実施形態のオブジェクト情報抽出装置２０００は、動く速さが異なるオブジェクトが画像内で近接している場合でも、それぞれのオブジェクトから、異なる頻度でオブジェクト情報を抽出することができる。
【００６９】
以下、本実施形態の詳細を述べる。
【００７０】
＜頻度決定部２０４０の詳細＞
頻度決定部２０４０は、オブジェクトの動き量を取得する。ここで、頻度決定部２０４０が取得する動き量の表され方は様々である。例えば、オブジェクトの動き量は、オブジェクトが１フレームごとに画像内で何画素移動するかを示す。その他にも、オブジェクトの動き量は、例えば実際の空間におけるオブジェクトの速度を表す。
【００７１】
頻度決定部２０４０がオブジェクトの動き量を取得する方法は様々である。例えば頻度決定部２０４０は、物体の位置を検知する赤外線センサなどから、各オブジェクトの位置を時系列で取得する。そして、頻度決定部２０４０は、時系列で表されたオブジェクトの位置から、オブジェクトの動き量を算出する。この場合、オブジェクト情報抽出装置２０００は、オブジェクトの位置の変化から、オブジェクトの動き量を算出する動き量算出部をさらに有する。そして、頻度決定部２０４０は、上記動き量算出手段が算出した動き量を取得する。
【００７２】
また、オブジェクト情報抽出装置２０００は、取得した画像からオブジェクトの位置を自身で検出し、検出した各オブジェクトの位置の変化から、各オブジェクトの動き量を算出してもよい。この場合、オブジェクト情報抽出装置２０００は、上記動き量検出部に加え、取得した画像からオブジェクトの位置を検出するオブジェクト検出部をさらに有する。動き量検出部は、オブジェクト検出部が検出した各オブジェクトの位置を取得し、各オブジェクトの位置の変化から、各オブジェクトの動き量を算出する。
【００７３】
その他にも例えば、オブジェクト情報抽出装置２０００は、情報抽出部２０６０により、各オブジェクトの位置をオブジェクト情報として抽出してもよい。この場合、上記動き量検出部は、情報抽出部２０６０から取得したオブジェクトの位置の変化から、オブジェクトの動き量を算出する。
【００７４】
また、頻度決定部２０４０は、例えば上記赤外線センサが生成したオブジェクトの位置の変化を表す情報に基づいて各オブジェクトの動き量を算出する別の装置から、各オブジェクトの動き量を取得してもよい。
【００７５】
頻度決定部２０４０が、オブジェクトの動き量に基づき、各オブジェクトの動き量頻度指標を決定する方法は様々である。例えば頻度決定部２０４０は、オブジェクトの動き量に比例する値として、動き量頻度指標を算出する。以下に、その方法の具体例を示す。以下の例では、オブジェクトの動き量は一定であり、その動き量はν画素／秒（ν＞０）であるとする。
【００７６】
頻度決定部２０４０は例えば、次の数式１に従って、各オブジェクトの動き量頻度指標を算出する。Ｆｒｅｑ＿Ｍ（ｉ）は、ＩＤがｉであるオブジェクトｉについて、１秒間に何枚の画像からオブジェクト情報を抽出するかを示す動き量頻度指標である。Ｆ（ν）は、０から１の間で変化する単調非減少関数とする。
【数１】
2014045479.tif 000003
【００７７】
上記数式１を用いると、例えばフレームレートが１５ｆｐｓの場合、オブジェクトｉに関する動き量頻度指標は、１５Ｒ枚／秒となる。したがって、オブジェクト情報抽出装置２０００は、１秒間に撮像された画像のうち、１５Ｒ枚の画像から、オブジェクトｉのオブジェクト情報を抽出する。
【００７８】
また、上記数式１で用いるＦ（ν）は様々である。例えば、以下の数式２が示す線形関数を用いる。
【数２】
2014045479.tif 000004
【００７９】
数式１及び数式２によって算出されるＦｒｅｑ＿Ｍ（ｉ）は、オブジェクトの動き量が大きくなるにつれて線形に大きくなる。また、動き量がν０画素／秒より大きくなると、Ｆｒｅｑ＿Ｍ（ｉ）はフレームレートと等しくなる。この場合、オブジェクト情報抽出装置２０００は、全ての画像からオブジェクトｉのオブジェクト情報を抽出する。
【００８０】
他にも、Ｆ（ν）は例えば以下の数式３〜５に示す関数で表される。
【００８１】
【数３】
2014045479.tif 000005
【数４】
2014045479.tif 000006
【数５】
2014045479.tif 000007
【００８２】
なお、動き量頻度指標の算出には、オブジェクトの動き全体ではなく、特定方向への動きのみを用いても良い。例えば図６の場合には、画面上のオブジェクトの動きのうち、通路方向の動きが重要となる。そこで図６の場合、頻度決定部２０４０は、オブジェクトの動きのうち、通路方向の動き成分のみを用いて動き量頻度指標を算出してもよい。例えば頻度決定部２０４０は、動き量頻度指標の算出に利用する特定方向を表すベクトルを、画面上の位置ごとに定義しておく。そして、頻度決定部２０４０は、オブジェクトの位置に対応するベクトル、及びオブジェクトの動き量に基づいて、オブジェクトの位置に対応するベクトル方向の動き成分を算出する。特定方向の動き成分は、上記特定方向の単位ベクトルと、オブジェクトの動きを表すベクトルとの内積を計算することで算出できる。そして、頻度決定部２０４０は、特定のベクトル方向への動き量を利用して、動き量頻度指標を算出する。また、動き量頻度指標の算出は、画面上の各方向（例：Ｘ方向及びＹ方向）に対して異なる重みを付けたオブジェクトの動きに基づいて行ってもよい。こうすることで、頻度決定部２０４０は、各方向への動きを加味しつつ、重要度の高い方向への動きほど動き量頻度指標の値に大きく反映されるように、動き量頻度指標を算出することができる。
【００８３】
＜オブジェクト情報抽出処理の流れ＞
図７は、本実施形態におけるオブジェクト情報抽出装置２０００によるオブジェクト情報抽出処理の流れの一例を示すフローチャートである。ここで、図７において、図５と同符号のステップについては、図５における同符号の処理と同様の処理であるため、説明を省略する。
【００８４】
ステップＳ２０２において、頻度決定部２０４０は、オブジェクトごとの動き量を取得する。
【００８５】
ステップＳ２０４において、頻度決定部２０４０は、オブジェクトごとの動き量に基づき、オブジェクトごとの動き量頻度指標を算出する。
【００８６】
ステップＳ２０６において、頻度決定部２０４０は、オブジェクトごとの動き量頻度指標に基づき、オブジェクトごとの頻度情報を生成する。
【００８７】
＜作用・効果＞
以上の構成により、本実施形態によれば、オブジェクト情報抽出装置２０００は、画像内の各オブジェクトを表す個別領域を部分領域として扱う。頻度決定部２０４０は、オブジェクトの頻度指標として、各オブジェクトの動き量を取得する。そして、頻度決定部２０４０は、オブジェクトごとに動き量頻度指標を算出し、算出した動き量頻度指標を頻度として示す頻度情報を生成する。情報抽出部２０６０は、各オブジェクトに関して、所定単位時間に相当する複数の画像のうち、各オブジェクトに関する頻度情報が示す数の画像それぞれから、各オブジェクトのオブジェクト情報を抽出する。こうすることで、本実施形態のオブジェクト情報抽出装置２０００は、実施形態１のオブジェクト情報抽出装置２０００と異なり、オブジェクトの動きに合わせて、各オブジェクトから情報を抽出する頻度を決定することができる。
【００８８】
[実施形態３]
本実施形態におけるオブジェクト情報抽出装置２０００は、各オブジェクトを表す個別領域をそれぞれ部分領域とする。
【００８９】
本実施形態における頻度決定部２０４０は、各オブジェクトの動き量を取得する。そして、各オブジェクトについて、動き量頻度指標を算出する。頻度決定部２０４０はさらに、各画像を区切った分割領域ごとの分割領域頻度指標を取得する。そして、頻度決定部２０４０は、各オブジェクトに関する頻度を、そのオブジェクトの動き量頻度指標と、そのオブジェクトが含まれる分割領域の分割領域頻度指標に基づいて算出する。
【００９０】
頻度決定部２０４０は、例えば実施形態２と同様に数式１を用いて、取得したオブジェクトの動き量から、動き量頻度指標を算出する。また、頻度決定部２０４０は、実施形態１と同様に、分割領域ごとに分割領域頻度指標の値Ｘ（ｊ）を取得する。ここで、ｊは分割領域のＩＤである。また、頻度決定部２０４０は、取得した分割領域頻度指標に基づいて算出した値を、新たに分割量頻度指標Ｘ（ｊ）として用いても良い。
【００９１】
頻度決定部２０４０は、例えば次の数式６を用いてオブジェクトｉに関する頻度ＦＲＥＱ（ｉ）を算出することで、動き量頻度指標と分割領域頻度指標の両方に基づいた頻度を算出する。ここで、オブジェクトｉは、分割領域ｊに含まれているとする。以下のＦＲＥＱ（ｉ）の単位は、枚／秒である。あるいは、Freq_M(i)とX(j)の積の平方根をFreq(i)としてもよい。
【００９２】
【数６】
2014045479.tif 000008
【００９３】
その他にも、例えば次の数式７の様に、動き量頻度指標と分割領域頻度指標に異なる重みを設定して、オブジェクトｉに関する頻度を算出してもよい。Ｗｍは動き量頻度指標に与える重みであり、Ｗｄは分割領域頻度指標に与える重みである。
【００９４】
【数７】
2014045479.tif 000009
【００９５】
＜オブジェクト情報抽出処理の流れ＞
図８は、本実施形態におけるオブジェクト情報抽出処理の流れの一例を示すフローチャートである。ここで、図８において、図５と同符号のステップについては、図５における同符号の処理と同様の処理であるため、説明を省略する。
【００９６】
ステップＳ３０２において、頻度決定部２０４０は、分割領域ごとの分割領域頻度指標を取得する。
【００９７】
ステップＳ３０４において、頻度決定部２０４０は、オブジェクトごとの動き量を取得する。
【００９８】
ステップＳ３０６において、頻度決定部２０４０は、取得した動き量に基づいて、オブジェクトごとの動き量頻度指標を算出する。
【００９９】
ステップＳ３０８において、頻度決定部２０４０は、分割領域頻度指標と動き量頻度指標に基づいて、オブジェクトごとの頻度情報を生成する。
【０１００】
＜変形例＞
本実施形態における頻度決定部２０４０は、一つの分割領域に複数のオブジェクトが含まれる場合、各オブジェクトの動き量を統計処理した値を、各オブジェクトの動き量としてもよい。こうすることで、一つの分割領域に含まれる複数のオブジェクトに対して、共通の動き量頻度指標を生成する。こうすることで、一つの分割領域に含まれる複数のオブジェクトから、同じ頻度でオブジェクト情報を抽出する。これにより、頻度情報の生成に要する計算資源を削減することができる。
【０１０１】
上記統計処理の方法は様々である。例えば頻度決定部２０４０は、一つの分割領域に含まれる全てのオブジェクトの動き量を平均した値を、その分割領域に含まれる全てのオブジェクトに共通の動き量とする。その他にも例えば、頻度決定部２０４０は、上記統計処理として、分割領域に含まれる全てのオブジェクトの動き量から、メディアンやモード等の値を算出してもよい。さらに、頻度決定部２０４０は、一つの分割領域に含まれる複数のオブジェクトの動き量の分布を算出し、その分布における外側の一定の割合（例：５％）の値を除いてから、上記統計処理を行ってもよい。こうすることで、はずれ値を除いた上で、一つの分割領域に含まれる複数のオブジェクトに対して共通に用いる動き量を算出することができる。
【０１０２】
＜作用・効果＞
以上の構成により、本実施形態によれば、オブジェクト情報抽出装置２０００は、頻度決定部２０４０により、オブジェクトの動き量に関する頻度指標と、そのオブジェクトが含まれる分割領域の頻度指標の双方を用いて、各オブジェクトから情報を抽出する頻度を決定する。これにより、オブジェクト情報抽出装置２０００のユーザは、オブジェクト情報を抽出する頻度を、オブジェクトの動き量とオブジェクトの位置という２つの視点で設定することができる。例えば、各分割領域の分割領域頻度指標を、明度が明るいほど高い値に設定する場合を考える。この場合、オブジェクト情報抽出装置２０００は、動き量が大きく、かつ明度が高い部分領域に写っているオブジェクトからは、高い頻度でオブジェクト情報を抽出する。また、オブジェクト情報抽出装置２０００は、動き量が大きく、明度が低い分割領域に位置するオブジェクト、及び動き量が小さく、明度が高い分割領域に位置するオブジェクトからは、中程度の頻度でオブジェクト情報を抽出する。そして、オブジェクト情報抽出装置２０００は、動き量が小さく、明度が低い分割領域に位置するオブジェクトからは、低い頻度でオブジェクト情報を抽出する。
【０１０３】
[実施形態４]
＜概要＞
本実施形態におけるオブジェクト情報抽出装置２０００は、各オブジェクトを表す個別領域をそれぞれ部分領域とする。
【０１０４】
本実施形態における頻度決定部２０４０は、各オブジェクトの動き量を取得する。そして、各オブジェクトについて、動き量頻度指標を算出する。また、頻度決定部２０４０はさらに、各オブジェクトの大きさや向きに関する情報（以下、適性度指標）を取得する。そして、頻度決定部２０４０は、各オブジェクトに関する頻度を、そのオブジェクトの動き量頻度指標と、そのオブジェクトの適性度指標に基づいて算出する。
【０１０５】
適性度指標の定め方は様々である。例えば、映像に写っている各人物をオブジェクトとし、オブジェクト情報として、各人物の顔の特徴量を抽出する場合を想定する。この場合、画像に大きく写っている人物ほど、顔の特徴量を抽出しやすい。そこで例えば、オブジェクト情報抽出装置２０００は、画像内のオブジェクトの大きさを、適性度指標として取得する。この場合、オブジェクトの大きさが大きいほど、適性度指標の値は大きくなる。また、上述の例の場合、顔がカメラの正面を向いている人物ほど、顔の特徴量を抽出しやすい。そこで例えば、オブジェクト情報抽出装置２０００は、画像内に写っている人物の顔の向きを、適性度頻度指標として用いる。この場合、適性度頻度指標の値は、顔がカメラの方向を向いているほど大きい値となる。適性度指標は、その他にも、服の色や肌の色など、種々の情報に基づいて設定することができる。
【０１０６】
さらに頻度決定部２０４０は、複数の適性度指標を取得し、それらを全て加味した値を、新たに適性度指標として算出してもよい。例えば上述の例の場合、人物の大きさから定まる適性度指標と、人物の顔の向きから定まる適性度指標の双方を取得し、２つの適性度頻度指標を乗算した値を、新たに適性度指標として用いる。
【０１０７】
頻度決定部２０４０は、例えば実施形態２と同様に数式１を用いて、取得したオブジェクトの動き量から動き量頻度指標を算出する。また、頻度決定部２０４０は、オブジェクトごとに適性度頻度指標の値Ｐ（ｉ）を取得する。そして、頻度決定部２０４０は、例えば次の数式８によって、オブジェクトｉに関する頻度を決定する。ＦＲＥＱ（ｉ）の単位は、枚／秒である。
【０１０８】
【数８】
2014045479.tif 000010
【０１０９】
その他にも、例えば次の数式９の様に、動き量頻度指標と適性度頻度指標に異なる重みを設定して、オブジェクトｉに関する頻度を算出してもよい。Ｗｍは動き量頻度指標に与える重みであり、Ｗｐは適性度頻度指標に与える重みである。
【０１１０】
【数９】
2014045479.tif 000011
【０１１１】
＜オブジェクト情報抽出処理の流れ＞
図９は、本実施形態におけるオブジェクト情報抽出装置２０００によるオブジェクト情報抽出処理の流れの一例を示すフローチャートである。ここで、図９おいて、図５と同符号のステップについては、図５における同符号の処理と同様の処理であるため、説明を省略する。
【０１１２】
ステップＳ４０２において、頻度決定部２０４０は、オブジェクトごとの適性度指標を取得する。
【０１１３】
ステップＳ４０４において、頻度決定部２０４０は、オブジェクトごとの動き量を取得する。
【０１１４】
ステップＳ４０６において、頻度決定部２０４０は、取得した動き量に基づいて、オブジェクトごとの動き量頻度指標を算出する。
【０１１５】
ステップＳ４０８において、頻度決定部２０４０は、適性度指標と動き量頻度指標に基づいて、オブジェクトごとの頻度情報を生成する。
【０１１６】
＜変形例１＞
本実施形態の頻度決定部２０４０は、動き量頻度指標を算出する代わりに、各画像を区切った分割領域ごとの分割領域頻度指標を取得し、分割領域頻度指標と適性度頻度指標に基づいて、オブジェクトごとの頻度情報を生成してもよい。
【０１１７】
＜変形例２＞
また、本実施形態の頻度決定部２０４０は、動き量頻度指標、分割領域頻度指標、及び適性度頻度指標の３つの指標に基づいて、オブジェクトごとの頻度情報を生成してもよい。
【０１１８】
＜作用・効果＞
以上の構成により、本実施形態のオブジェクト情報抽出装置２０００が有する頻度決定部２０４０は、各オブジェクトの動き量から、各オブジェクトについて動き量頻度指標を算出する。また、頻度決定部２０４０はさらに、各オブジェクトの大きさや向きに関する情報である適性度指標を取得する。そして、頻度決定部２０４０は、各オブジェクトに関する頻度を、そのオブジェクトの動き量頻度指標と、そのオブジェクトの適性度指標に基づいて算出する。こうすることで、本実施形態のオブジェクト情報抽出装置２０００は、オブジェクトの大きさや向き等の様々なパラメータに基づいて、オブジェクトごとに、オブジェクト情報を抽出する頻度を決定することができる。
【０１１９】
以上、図面を参照して本発明の実施形態及び実施例について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【０１２０】
以下、参考形態の例を付記する。
１．  映像の所定単位時間に相当する複数の画像フレームを取得する画像取得手段と、
前記画像取得手段により取得される前記各画像フレームにそれぞれ含まれる複数の部分領域に関し、それぞれ異なる複数の頻度情報を取得する頻度決定手段と、
前記部分領域毎に、前記複数の画像フレームのうち、前記頻度決定手段により取得される該部分領域の頻度情報に対応する数の画像フレームを対象に画像処理を実行することにより、前記複数の部分領域の少なくとも１つの部分領域からオブジェクト情報を抽出する情報抽出手段と、
を備えるオブジェクト情報抽出装置。
２．  前記各部分領域は、前記画像取得手段により取得される前記各画像フレームを区分けした画像領域である分割領域であり、
前記複数の部分領域の少なくとも１つの部分領域は、所定オブジェクトを表す個別領域を含み、
前記情報抽出手段は、前記少なくとも１つの部分領域内の前記個別領域に関し、前記複数の画像フレームの中の、前記頻度決定手段により取得される前記少なくとも１つの部分領域の頻度情報に対応する数の画像フレームを対象に画像処理を実行することにより、前記個別領域から前記所定オブジェクトのオブジェクト情報を抽出する、
１．に記載のオブジェクト情報抽出装置。
３．  前記部分領域は、所定オブジェクトを表し、
前記頻度決定手段は、前記複数の部分領域により表わされる複数の所定オブジェクトの動き量を取得し、該動き量の大きさに応じて高い指標を示すような各頻度指標をそれぞれ決定し、該各頻度指標に基づいて、該複数の所定オブジェクトに関する複数の頻度情報を決定し、
前記情報抽出手段は、前記各部分領域により表わされる前記各所定オブジェクトについて、前記複数の画像フレームの中の、前記頻度決定手段により取得される該所定オブジェクトの頻度情報に対応する数の画像フレームを対象に画像処理を実行することにより、該各所定オブジェクトのオブジェクト情報をそれぞれ抽出する、
１．に記載のオブジェクト情報抽出装置。
４．  前記頻度決定手段は、前記画像取得手段により取得される前記各画像フレームが区分けされた画像領域である複数の分割領域に関する複数の頻度指標を更に決定し、前記動き量に基づく前記頻度指標と、前記所定オブジェクトを表す前記個別領域を含む該分割領域に関する該頻度指標とを用いて、複数の所定オブジェクトに関する複数の頻度情報を決定する、
３．に記載のオブジェクト情報抽出装置。
５．  前記頻度決定手段は、前記各所定オブジェクトに関し大きさ又は向きの情報をそれぞれ取得し、該大きさ又は向きの情報に基づく各頻度指標をそれぞれ更に決定し、該大きさ又は向きの情報に基づく各頻度指標を更に用いることにより、前記各所定オブジェクトのオブジェクト情報をそれぞれ抽出する、
３．又は４．に記載のオブジェクト情報抽出装置。
６．  前記画像取得手段により取得される前記複数の画像フレームから前記所定オブジェクトを検出するオブジェクト検出手段と、
前記オブジェクト検出手段により検出される前記所定オブジェクトの動き量を検出する動き量検出手段と、
を更に備え、
前記頻度決定手段は、前記動き量検出手段により検出された、前記所定オブジェクトの動き量を取得する、
３．乃至５．いずれか一つに記載のオブジェクト情報抽出装置。
７．  前記頻度決定手段は、前記分割領域に複数の前記所定オブジェクトが含まれている場合、該複数の所定オブジェクトの動き量を統計処理した値を、該複数の所定オブジェクトの動き量にすることで、該複数の所定オブジェクトに対して共通の前記動き量に基づき頻度指標を算出する４．に記載のオブジェクト情報抽出装置。
８．  前記頻度決定手段は、前記画像の撮像範囲に基づいて、前記分割領域ごとの頻度情報を生成する２．又は４．に記載のオブジェクト情報抽出装置。
９．  コンピュータを、オブジェクト情報抽出装置として機能させるオブジェクト情報抽出プログラムであって、前記コンピュータに、
映像の所定単位時間に相当する複数の画像フレームを取得する画像取得機能と、
前記画像取得機能により取得される前記各画像フレームにそれぞれ含まれる複数の部分領域に関し、それぞれ異なる複数の頻度情報を取得する頻度決定機能と、
前記部分領域毎に、前記複数の画像フレームのうち、前記頻度決定機能により取得される該部分領域の頻度情報に対応する数の画像フレームを対象に画像処理を実行することにより、前記複数の部分領域の少なくとも１つの部分領域からオブジェクト情報を抽出する情報抽出機能と、
を持たせるオブジェクト情報抽出プログラム。
１０．  前記各部分領域は、前記画像取得機能により取得される前記各画像フレームを区分けした画像領域である分割領域であり、
前記複数の部分領域の少なくとも１つの部分領域は、所定オブジェクトを表す個別領域を含み、
前記情報抽出機能は、前記少なくとも１つの部分領域内の前記個別領域に関し、前記複数の画像フレームの中の、前記頻度決定機能により取得される前記少なくとも１つの部分領域の頻度情報に対応する数の画像フレームを対象に画像処理を実行することにより、前記個別領域から前記所定オブジェクトのオブジェクト情報を抽出する、
９．に記載のオブジェクト情報抽出プログラム。
１１．  前記部分領域は、所定オブジェクトを表し、
前記頻度決定機能は、前記複数の部分領域により表わされる複数の所定オブジェクトの動き量を取得し、該動き量の大きさに応じて高い指標を示すような各頻度指標をそれぞれ決定し、該各頻度指標に基づいて、該複数の所定オブジェクトに関する複数の頻度情報を決定し、
前記情報抽出機能は、前記各部分領域により表わされる前記各所定オブジェクトについて、前記複数の画像フレームの中の、前記頻度決定機能により取得される該所定オブジェクトの頻度情報に対応する数の画像フレームを対象に画像処理を実行することにより、該各所定オブジェクトのオブジェクト情報をそれぞれ抽出する、
９．に記載のオブジェクト情報抽出プログラム。
１２．  前記頻度決定機能は、前記画像取得機能により取得される前記各画像フレームが区分けされた画像領域である複数の分割領域に関する複数の頻度指標を更に決定し、前記動き量に基づく前記頻度指標と、前記所定オブジェクトを表す前記個別領域を含む該分割領域に関する該頻度指標とを用いて、複数の所定オブジェクトに関する複数の頻度情報を決定する、
１１．に記載のオブジェクト情報抽出プログラム。
１３．  前記頻度決定機能は、前記各所定オブジェクトに関し大きさ又は向きの情報をそれぞれ取得し、該大きさ又は向きの情報に基づく各頻度指標をそれぞれ更に決定し、該大きさ又は向きの情報に基づく各頻度指標を更に用いることにより、前記各所定オブジェクトのオブジェクト情報をそれぞれ抽出する、
１１．又は１２．に記載のオブジェクト情報抽出プログラム。
１４．  １１．乃至１３．いずれか一つに記載のオブジェクト情報抽出プログラムであって、
前記コンピュータに、
前記画像取得機能により取得される前記複数の画像フレームから前記所定オブジェクトを検出するオブジェクト検出機能と、
前記オブジェクト検出機能により検出される前記所定オブジェクトの動き量を検出する動き量検出機能と、
を更に持たせ、
前記頻度決定機能は、前記動き量検出機能により検出された、前記所定オブジェクトの動き量を取得するオブジェクト情報抽出プログラム。
１５．  前記頻度決定機能は、前記分割領域に複数の前記所定オブジェクトが含まれている場合、該複数の所定オブジェクトの動き量を統計処理した値を、該複数の所定オブジェクトの動き量にすることで、該複数の所定オブジェクトに対して共通の前記動き量に基づき頻度指標を算出する１２．に記載のオブジェクト情報抽出プログラム。
１６．  前記頻度決定機能は、前記画像の撮像範囲に基づいて、前記分割領域ごとの頻度情報を生成する１０．又は１２．に記載のオブジェクト情報抽出プログラム。
１７．  コンピュータによって実行されるオブジェクト情報抽出方法であって、
映像の所定単位時間に相当する複数の画像フレームを取得する画像取得ステップと、
前記画像取得ステップにより取得される前記各画像フレームにそれぞれ含まれる複数の部分領域に関し、それぞれ異なる複数の頻度情報を取得する頻度決定ステップと、
前記部分領域毎に、前記複数の画像フレームのうち、前記頻度決定ステップにより取得される該部分領域の頻度情報に対応する数の画像フレームを対象に画像処理を実行することにより、前記複数の部分領域の少なくとも１つの部分領域からオブジェクト情報を抽出する情報抽出ステップと、
を有するオブジェクト情報抽出方法。
１８．  前記各部分領域は、前記画像取得ステップにより取得される前記各画像フレームを区分けした画像領域である分割領域であり、
前記複数の部分領域の少なくとも１つの部分領域は、所定オブジェクトを表す個別領域を含み、
前記情報抽出ステップは、前記少なくとも１つの部分領域内の前記個別領域に関し、前記複数の画像フレームの中の、前記頻度決定ステップにより取得される前記少なくとも１つの部分領域の頻度情報に対応する数の画像フレームを対象に画像処理を実行することにより、前記個別領域から前記所定オブジェクトのオブジェクト情報を抽出する、
１７．に記載のオブジェクト情報抽出方法。
１９．  前記部分領域は、所定オブジェクトを表し、
前記頻度決定ステップは、前記複数の部分領域により表わされる複数の所定オブジェクトの動き量を取得し、該動き量の大きさに応じて高い指標を示すような各頻度指標をそれぞれ決定し、該各頻度指標に基づいて、該複数の所定オブジェクトに関する複数の頻度情報を決定し、
前記情報抽出ステップは、前記各部分領域により表わされる前記各所定オブジェクトについて、前記複数の画像フレームの中の、前記頻度決定ステップにより取得される該所定オブジェクトの頻度情報に対応する数の画像フレームを対象に画像処理を実行することにより、該各所定オブジェクトのオブジェクト情報をそれぞれ抽出する、
１７．に記載のオブジェクト情報抽出方法。
２０．  前記頻度決定ステップは、前記画像取得ステップにより取得される前記各画像フレームが区分けされた画像領域である複数の分割領域に関する複数の頻度指標を更に決定し、前記動き量に基づく前記頻度指標と、前記所定オブジェクトを表す前記個別領域を含む該分割領域に関する該頻度指標とを用いて、複数の所定オブジェクトに関する複数の頻度情報を決定する、
１９．に記載のオブジェクト情報抽出方法。
２１．  前記頻度決定ステップは、前記各所定オブジェクトに関し大きさ又は向きの情報をそれぞれ取得し、該大きさ又は向きの情報に基づく各頻度指標をそれぞれ更に決定し、該大きさ又は向きの情報に基づく各頻度指標を更に用いることにより、前記各所定オブジェクトのオブジェクト情報をそれぞれ抽出する、
１９．又は２０．に記載のオブジェクト情報抽出方法。
２２．  １９．乃至２１．いずれか一つに記載のオブジェクト情報抽出方法であって、
前記画像取得ステップにより取得される前記複数の画像フレームから前記所定オブジェクトを検出するオブジェクト検出ステップと、
前記オブジェクト検出ステップにより検出される前記所定オブジェクトの動き量を検出する動き量検出ステップと、
を更に有し、
前記頻度決定ステップは、前記動き量検出ステップにより検出された、前記所定オブジェクトの動き量を取得するオブジェクト情報抽出方法。
２３．  前記頻度決定ステップは、前記分割領域に複数の前記所定オブジェクトが含まれている場合、該複数の所定オブジェクトの動き量を統計処理した値を、該複数の所定オブジェクトの動き量にすることで、該複数の所定オブジェクトに対して共通の前記動き量に基づき頻度指標を算出する２０．に記載のオブジェクト情報抽出方法。
２４．  前記頻度決定ステップは、前記画像の撮像範囲に基づいて、前記分割領域ごとの頻度情報を生成する１８．又は２０．に記載のオブジェクト情報抽出方法。
【０１２１】
この出願は、２０１２年９月２４日に出願された日本出願特願２０１２−２０９１１１号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2014045479.tif 000012
【図２】
2014045479.tif 000013
【図３】
2014045479.tif 000014
【図４】
2014045479.tif 000015
【図５】
2014045479.tif 000016
【図６】
2014045479.tif 000017
【図７】
2014045479.tif 000018
【図８】
2014045479.tif 000019
【図９】
2014045479.tif 000020
【図１０】
2014045479.tif 000021
【国際調査報告】
2014045479.tif 000022
2014045479.tif 000023
2014045479.tif 000024