(57)【特許請求の範囲】
【請求項１】
撮像画像の動き領域を検出することで、前記撮像画像から混雑領域を検出する混雑領域検出部と、
パターンマッチングを行うことで、前記撮像画像からターゲットの画像を検出する物体検出部と、
前記混雑領域検出部によって検出された前記混雑領域を囲む混雑領域枠と、前記物体検出部によって検出された前記ターゲットの画像を囲む物体検出枠と、を形成する検出枠形成部と、
を具備する画像表示装置。
【請求項２】
前記混雑領域枠に囲まれた領域の画像及び前記物体検出枠に囲まれた領域の画像を、前記撮像画像から切り出す画像切出し部を、さらに具備する、
請求項１に記載の画像表示装置。
【請求項３】
前記混雑領域検出部は、フレーム間差分値に基づいて検出された動き領域に基づき、当該動き領域の面積が閾値以上の領域を、前記混雑領域と決定する、
請求項１又は請求項２に記載の画像表示装置。
【請求項４】
前記検出枠形成部は、前記物体検出枠よりも、前記混雑領域枠を優先的に形成する、
請求項１から請求項３のいずれか一項に記載の画像表示装置。
【請求項５】
前記検出枠形成部は、前記物体検出部によって検出された前記ターゲットの画像のうち、前記混雑領域枠外に存在する前記ターゲットの画像に対して前記物体検出枠を形成する、
請求項１から請求項４のいずれか一項に記載の画像表示装置。
【請求項６】
前記検出枠形成部は、前記混雑領域枠内に包含される前記物体検出枠は形成しない、
請求項１から請求項５のいずれか一項に記載の画像表示装置。
【請求項７】
前記物体検出部により得られた検出結果に基づいて、前記ターゲットの移動方向を算出する移動方向算出部を、さらに具備し、
前記検出枠形成部は、前記物体検出部で検出された前記ターゲットの移動方向が前記混雑領域に接近する方向である場合、前記混雑領域枠を前記ターゲットの方向に拡大する、
請求項１から請求項６のいずれか一項に記載の画像表示装置。
【請求項８】
前記物体検出部により得られた検出結果に基づいて、前記ターゲット間の距離を算出する距離算出部を、さらに具備し、
前記検出枠形成部は、前記物体検出部で検出された前記ターゲットの画像のうち、ターゲット間の距離が閾値以下のターゲットの画像を、同一の物体検出枠によって囲む、
請求項１から請求項７のいずれか一項に記載の画像表示装置。
【請求項９】
撮像画像の動き領域を検出することで、前記撮像画像から混雑領域を検出する混雑領域検出ステップと、
パターンマッチングを行うことで、前記撮像画像からターゲットの画像を検出する物体検出ステップと、
前記混雑領域検出ステップで検出された前記混雑領域を囲む混雑領域枠と、前記物体検出ステップで検出された前記ターゲットの画像を囲む物体検出枠と、を形成する検出枠形成ステップと、
を含む画像表示方法。
【請求項１０】
前記混雑領域枠に囲まれた領域の画像及び前記物体検出枠に囲まれた領域の画像を、前記撮像画像から切り出す画像切出しステップを、さらに含む、
請求項９に記載の画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば監視カメラにより得られた撮像画像から人物を検出し、その人物を検出枠で囲んで表示し、さらにはその人物を切り出して表示する画像表示装置及び画像表示方法に関する。特に、混雑領域が存在する撮像画像に適用して好適な技術である。
【背景技術】
【０００２】
従来、監視カメラ、車載用カメラ等のビデオカメラでは、人物等のターゲット画像を自動追尾する自動追尾機能を有するものがある。ところで、物体を自動追尾するためには、物体を検出する必要があるが、物体が密集している混雑領域では物体同士が邪魔になって検出精度が低下する。よって、混雑領域では、自動追尾が失敗したり、自動追尾の精度が著しく低下する可能性がある。
【０００３】
特許文献１には、混雑領域の画像のように追尾が困難な画像に対しては非追尾モードを選択し、指定した固定の範囲を撮像することにより、無理な追尾を止めて誤追尾の可能性を低くする、自動追尾装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−０６８００８号公報
【特許文献２】特開２００９−１１００５４号公報
【特許文献３】特開２００９−１１０１５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、特許文献１に記載された技術は、パン、チルト及びズーム機能を有する所謂ＰＴＺカメラにおける自動追尾を想定したものである。従って、撮影領域が限定される。例えば、複数の別の動きをする人物がいる場合、ある人物をＰＴＺを行いながら追尾すると、その人物とは別の動きをしている他の人物は撮影画角に入らなくなる可能性が高い。また、特許文献１の技術を採用すると、混雑領域から離れた場所に人物が現れた場合には、この人物は撮影画角から外れてしまう可能性が高い。
【０００６】
一方で、全周囲カメラのように広範囲の領域を撮像するカメラによって得られた画像からターゲット画像を検出し、この検出画像を検出枠で囲んで追尾したり、電子的なＰＴＺを行って切り出す場合には、上述したような、あるターゲットが画角から外れてしまうといった不都合は回避できる。
【０００７】
しかしながら、全周囲カメラのように広範囲の領域を撮像するカメラによって得られた画像であり、かつ、混雑領域を含む画像において、どのように検出枠を形成し、どのように画像を切り出せば、安定した見易い画像を得ることができるかについては、十分な検討がなされていなかった。
【０００８】
本発明は、以上の点を考慮してなされたものであり、全周囲画像のように、混雑領域と、非混雑領域と、が混在する可能性がある撮像画像において、安定した見易い検出枠及び切出画像を得ることができる画像表示装置及び画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像表示装置の一つの態様は、撮像画像の動き領域を検出することで、前記撮像画像から混雑領域を検出する混雑領域検出部と、パターンマッチングを行うことで、前記撮像画像からターゲットの画像を検出する物体検出部と、前記混雑領域検出部によって検出された前記混雑領域を囲む混雑領域枠と、前記物体検出部によって検出された前記ターゲットの画像を囲む物体検出枠と、を形成する検出枠形成部と、を具備する。
【００１０】
本発明の画像表示装置の一つの態様は、前記混雑領域枠に囲まれた領域の画像及び前記物体検出枠に囲まれた領域の画像を、前記撮像画像から切り出す画像切出し部を、さらに具備する。
【００１１】
本発明の画像表示方法の一つの態様は、撮像画像の動き領域を検出することで、前記撮像画像から混雑領域を検出する混雑領域検出ステップと、パターンマッチングを行うことで、前記撮像画像からターゲットの画像を検出する物体検出ステップと、前記混雑領域検出ステップで検出された前記混雑領域を囲む混雑領域枠と、前記物体検出ステップで検出された前記ターゲットの画像を囲む物体検出枠と、を形成する検出枠形成ステップと、を含む。
【００１２】
本発明の画像表示方法の一つの態様は、前記混雑領域枠に囲まれた領域の画像及び前記物体検出枠に囲まれた領域の画像を、前記撮像画像から切り出す画像切出しステップを、さらに含む。
【発明の効果】
【００１３】
本発明によれば、混雑検出と物体検出とをそれぞれに適した異なる方法で行って、検出枠（混雑領域枠及び物体検出枠）を形成したことにより、安定した見易い検出枠及び切出画像を得ることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態に係る画像表示装置の構成を示すブロック図
【図２】距離算出部による距離算出処理の説明に供する図であり、図２Ａは、全周囲画像上の距離ｄ１及びパノラマ展開画像上の周方向の距離ｄ２を示す図、図２Ｂは、パノラマ展開画像上の周方向の距離ｄ２及びパノラマ展開画像上の縦方向の距離ｄ３を示す図
【図３】画像表示装置による検出枠の形成動作の説明に供するフローチャート
【図４】検出枠形成部によって形成される検出枠の例を示す図
【図５】検出枠形成部によって形成される検出枠の例を示す図であり、特に、移動人物が存在する場合の例を示す図
【図６】実施の形態の画像表示装置による第１の表示画像例を示す図
【図７】実施の形態の画像表示装置による第２の表示画像例を示す図
【図８】実施の形態の画像表示装置による第３の表示画像例を示す図
【図９】実施の形態の画像表示装置による第４の表示画像例を示す図
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１６】
以下の実施の形態では、主に、ターゲットの画像が人物画像である例について説明するが、ターゲットの画像は人物画像に限らない。ターゲットの画像は、例えば車両やその他の物体であってもよい。
【００１７】
図１に、本実施の形態の画像表示装置の構成を示す。画像表示装置１００は、画像入力部１０１に全周囲カメラにより得られた全周囲画像を入力する。なお、画像入力部１０１に入力される画像は、全周囲画像に限らず、広角ビデオカメラにより得られた撮像画像であればよい。画像入力部１０１は、入力された撮像画像を混雑領域検出部１０２及び物体検出部１０３に出力する。
【００１８】
混雑領域検出部１０２は、撮像画像の動き領域を検出することで、撮像画像から混雑領域を検出する。混雑領域検出部１０２は、動き情報算出部１０４及び混雑領域決定部１０５を有する。動き情報算出部１０４は、入力された撮像画像に対してフレーム間差分を算出することで、差分値が閾値以上の領域を前景領域（換言すれば、動き領域）として求める。動き情報算出部１０４は、求めた前景領域の情報（動き領域の情報）を、混雑領域決定部１０５に出力する。
【００１９】
混雑領域決定部１０５は、前景領域の情報をクラスタリングし、前景領域の面積が閾値以上の領域を、混雑領域と決定する。このような、動き情報を用いた混雑領域の決定方法については、例えば特許文献２、３にも記載されている。ここで、混雑領域を決定するために用いる前記閾値は、撮像画像が全周囲画像の場合には、全周囲画像上の中心からの距離に応じて変えることが好ましい。具体的には、一般に、全周囲画像は、同一面積の対象を撮像した場合、画像中心ほど大きな領域として撮像されるので、前記閾値は、画像中心ほど大きな値に設定すると好ましい。これにより、全領域で公平な混雑度推定を行うことができる。混雑領域決定部１０５は、決定した混雑領域の情報を検出枠形成部１１０に出力する。
【００２０】
物体検出部１０３は、パターンマッチングを行うことで、撮像画像からターゲットの画像を検出する。本実施の形態の場合、ターゲットは人物なので、物体検出部１０３は、予め用意した人物パターンと、撮像画像との間でパターン認識処理を行うことで、撮像画像中の人物を検出する。物体検出部１０３は、検出した人物の画像上での位置情報を、物体位置記憶部１０６、移動方向算出部１０７及び距離算出部１０８に出力する。
【００２１】
移動方向算出部１０７は、物体検出部１０３によって検出された各人物の移動方向を算出する。具体的には、移動方向算出部１０７は、各人物について、物体位置記憶部１０６に記憶された過去の位置と、新たに入力された現在の位置とから、移動方向を算出する。移動方向算出部１０７は、算出した各人物の移動方向を検出枠形成部１１０に出力する。
【００２２】
距離算出部１０８は、物体検出部１０３によって検出された各人物間の距離を算出する。距離算出部１０８は、例えば、以下のｉ）〜ｉｉｉ）のいずれかの方法で、図２の距離ｄ１、ｄ２又はｄ３を算出する。つまり、算出する距離は、ｄ１であってもよく、ｄ２であってもよく、ｄ３であってもよい。
【００２３】
ｉ）図２Ａに示すような、全周囲画像上の距離ｄ１を算出する。
ｉｉ）図２Ａ、図２Ｂに示すような、パノラマ展開画像上の周方向の距離ｄ２を算出する。
ｉｉｉ）図２Ｂに示すような、パノラマ展開画像上の縦方向の距離ｄ３を算出する。
【００２４】
距離算出部１０８は、算出した距離ｄ１、ｄ２又はｄ３を検出枠形成部１１０に出力する。
【００２５】
検出枠形成部１１０は、混雑領域検出部１０２によって検出された混雑領域を囲む混雑領域枠と、物体検出部１０３によって検出された人物の画像を囲む物体検出枠と、を形成する。
【００２６】
検出枠形成部１１０は、先ず、混雑領域と、検出人物とを、グループ分けする。この際、混雑領域は１つのグループ（同一グループ）として扱われる。検出人物は、互いの距離が閾値未満の検出人物同士が同一グループとして扱われる。検出枠形成部１１０は、同一グループを囲む枠を検出枠として形成する。つまり、混雑領域を囲む検出枠が混雑領域枠として形成され、互いの距離が閾値未満の検出人物同士を囲む枠が物体検出枠として形成される。
【００２７】
ここで、検出枠形成部１１０がグループ分けするグループ数（換言すれば、形成する枠数）は、最大表示数保持部１１１によって保持されているグループ数以内である。つまり、最大表示数保持部１１１に保持されているグループ数が例えば３の場合には、最大グループ数（最大枠数）は、３である。なお、最大表示数保持部１１１によって保持するのは、最大グループ数（最大枠数）に限らず、例えば、枠の最大サイズであってもよい。
【００２８】
検出枠形成部１１０は、以下の規則に従ってグループ分け及び検出枠の形成を行う。
【００２９】
ａ）  混雑領域検出部１０２によって検出された混雑領域が存在する場合には、その混雑領域に、物体検出部１０３によって検出された人物よりも、優先的に検出枠を割り当てて、混雑領域枠を形成する。
【００３０】
ｂ）  物体検出部１０３によって検出された人物については、検出された人物間の距離に基づいてグループ分けしながら、物体検出枠を形成する。
【００３１】
ｃ）  物体検出部１０３によって検出された人物画像のうち、混雑領域枠外に存在する人物画像に対して物体検出枠を形成する。換言すれば、混雑領域枠内に包含される物体検出枠は形成しない。
【００３２】
ｄ）  混雑領域の方向に移動している人物は、混雑領域と同一の検出枠内に含める。あるいは、混雑領域の方向に移動している人物が存在する場合には、混雑領域の検出枠のサイズを徐々に移動人物の方向に拡大しながら、移動人物を徐々に混雑領域と同一の検出枠内に包含させる。
【００３３】
上記ａ）及びｃ）のように、物体検出枠よりも混雑領域枠を優先して形成するようにしたのは、物体検出部によるパターンマッチングを用いた人物検出では、混雑領域において検出が不安定になるためである。換言すれば、混雑領域では、検出が不安定である個別追尾を行わずに（つまり個別追尾枠を形成せずに）、混雑領域枠を形成したことにより、安定して見易い検出枠の形成及び画像切出しを行うことができるようになる。
【００３４】
また、上記ｂ）のようにしたことにより、物体検出枠の無駄な増加を抑制して、見易い物体検出枠及び切出し画像を得ることができる。
【００３５】
また、上記ｄ）のようにしたことにより、混雑領域枠に沿った画像切出しを行った場合に、混雑領域と移動人物との位置関係が分かり易い切出し画像を得ることができる。
【００３６】
なお、検出枠のサイズは、検出枠の数などに応じて変更してもよく、固定でもよい。検出枠形成部１１０は、形成した検出枠の情報を画像切出し部１１２に出力する。
【００３７】
画像切出し部１１２は、検出枠に沿って画像を切り出す。これにより、各検出枠に囲まれた領域の切出し画像が得られる。画像切出し部１１２は、切出し画像を歪補正部１１３に出力する。
【００３８】
歪補正部１１３は、各切出し画像を歪補正し、歪補正後の切出し画像を画像出力部１１４に出力する。具体的には、全周囲画像から切り出された画像は、中心ほど大きく写っているので、歪補正部１１３は、周辺部ほど画素を補間しながら拡大する歪補正処理を行う。
【００３９】
画像出力部１１４は、歪補正後の切出し画像の向きを調整する処理や、画面上での配置を調整する処理等を行い、処理後の画像をモニタに出力する。
【００４０】
図３は、画像表示装置１００による検出枠の形成動作の説明に供するフローチャートである。
【００４１】
画像表示装置１００においては、ステップＳＴ１で処理を開始すると、ステップＳＴ２で混雑領域決定部１０５が混雑領域を決定し、ステップＳＴ３で物体検出部１０３が人物を検出する。続くステップＳＴ４では、検出枠形成部１１０が混雑領域情報及び人物間の距離情報に基づいてグループ分けを行い、ステップＳＴ５では検出枠形成部１１０が検出枠を形成する。続く、ステップＳＴ６では、検出枠形成部１１０が検出された各人物が移動しているか否かを判断し、移動していると判断した場合には、ステップＳＴ７に移って、混雑領域の検出枠のサイズを移動している人物の方向に拡大する。画像表示装置１００は、ステップＳＴ８で検出枠の形成処理を終了する。
【００４２】
次に、図４及び図５を用いて、検出枠形成部１１０によって形成される検出枠について説明する。図４は移動人物が存在しない場合の例を示し、図５は移動人物が存在する場合の例を示す。なお、図４及び図５の例では、人物間の距離として、図２Ａ、図２Ｂで説明した、パノラマ展開画像上の周方向の距離ｄ２を用いるものとする。また、最大表示数保持部１１１によって保持されているグループ数（つまり最大枠数）は、３であるとする。
【００４３】
図４Ａは、３人の人物間の距離がすべて所定値以上の例であり、この場合、各人物は別々のグループに分けられ、別々の検出枠（物体検出枠）によって囲まれる。
【００４４】
図４Ｂは、２人の人物間の距離が所定値未満で、これらの人物から他の１人の人物までの距離が所定値以上の例である。この場合、２人の人物は、同一のグループに分けられ、同一の検出枠によって囲まれる。他の１人の人物は、別のグループに分けられ、別の検出枠によって囲まれる。図４Ｃは、図４Ｂと同様に、２人の人物のグループと、１人の人物のグループにグループ分けが行われた例である。図４Ｃでは、図２Ａに示すような全周囲画像上の距離ｄ１は小さいが、図２Ａ、図２Ｂで示すようなパノラマ展開画像上の周方向の距離ｄ２が所定値以上なので、１人の人物は２人の人物とは別のグループに分けられている。
【００４５】
図４Ｄは、混雑領域が混在する場合の例である。混雑領域は、優先的に同一グループとされ、検出枠によって囲まれる。混雑領域以外の領域で検出された人物については、２人の人物間の距離は所定値未満で、これらの人物から他の１人の人物までの距離は所定値以上である。よって、２人の人物は、同一のグループに分けられ、同一の検出枠によって囲まれ、他の１人の人物は、別のグループに分けられ、別の検出枠によって囲まれる。
【００４６】
次に、図５を用いて、混雑領域及び移動人物が存在する場合の例について説明する。図５Ａに示すように、混雑領域は混雑領域枠によって囲まれ、混雑領域以外の領域で検出された人物は物体検出枠によって囲まれる。ここで、１人の人物が矢印で示すように、混雑領域に近づく方向に移動している。すると、図５Ｂに示すように、混雑領域枠は近づいてくる人物の方向に拡大される。やがて、図５Ｃに示すように、移動人物は混雑領域枠内に入る。図５Ｄに示すように、移動人物の物体検出枠が完全に混雑領域枠内に収まると、移動人物の物体検出枠は消去される。つまり、移動人物の追尾が終了する。
【００４７】
次に、本実施の形態の画像表示装置１００により得られる表示画像の例を示す。以下に説明する表示画像例では、画面を４分割し、左上の分割領域に全周囲画像を表示し、他の３つの分割領域に切出し画像を表示するようになっている。
【００４８】
［第１の表示画像例］
図６に、第１の表示画像例を示す。全周囲画像には検出枠が表示される。ここで、混雑領域枠と、物体検出枠は、例えば異なる色で識別可能に表示される。図では、便宜上、物体検出枠が実線で示され、混雑領域枠が点線で示されている。なお、物体検出枠は、物体の移動に伴って移動するので、追尾枠と呼ぶこともできる。
【００４９】
図６Ａ、図６Ｂ、図６Ｃ、図６Ｄ、図６Ｅは、この順序で順次変化する時系列のフレーム画像を示す。
【００５０】
図６Ａ、図６Ｂでは、３人の人物が物体検出部１０３によって検出され、３つの物体検出枠が形成され、３つの切出しが表示されている。
【００５１】
一方、図６Ｃの状態では、混雑領域が検出され、混雑領域枠が形成され、混雑領域枠によって包含された画像が切出し画像として表示されている。
【００５２】
図６Ｄの状態では、非混雑領域に人物が現れ、この人物を囲む新たな物体検出枠が形成され、この検出枠によって包含された画像が切出し画像として表示されている。
【００５３】
図６Ｅの状態では、混雑領域の１人の人物が非混雑領域に移動し、この人物が物体検出部１０３によって検出され、この人物を囲む新たな物体検出枠が形成され、この検出枠によって包含された画像が切出し画像として表示されている。
【００５４】
［第２の表示画像例］
図７に、第２の表示画像例を示す。この表示画像例は、混雑領域の方向に移動している人物が存在する場合の表示画像例である。
【００５５】
図７Ａの状態では、混雑領域が検出され、混雑領域枠が形成され、この混雑領域枠によって包含される画像が切り出されて表示されている。図７Ｂの状態では、非混雑領域に人物が現れ、この人物を囲む新たな物体検出枠が形成され、この物体検出枠によって包含される画像が切出し画像として表示されている。
【００５６】
図７Ｃ及び図７Ｄの状態では、非混雑領域の人物が混雑領域の方向に移動していることが検出されたので、混雑領域枠が移動人物の方向に拡大されている。これにより、図７Ｃ及び図７Ｄの右上の分割画面からも分かるように、混雑領域の画像の隅に移動人物が表示されるので、混雑領域と移動人物との位置関係が分かり易い表示を行うことができる。
【００５７】
図７Ｅの状態は、移動人物が混雑領域枠に完全に入った状態（実際には、移動人物の物体検出枠が混雑領域枠に完全に入った状態）を示すもので、この状態では、移動人物の物体検出枠の表示は終了され、この人物に対する個別の切出し表示も終了される。
【００５８】
図７Ｆ及び図７Ｇは、混雑領域枠内のある人物が混雑領域枠から離れていく状態を示すものである。図７Ｆに示すように、混雑領域と移動人物との距離（この距離は検出枠形成部１１０で計算すればよい）が所定値未満の場合には、混雑領域枠を移動人物の方向に拡大することで、混雑領域の切出し画像に移動人物が入るようにする。やがて、混雑領域と移動人物との距離が所定値以上になると、図７Ｇに示すように、混雑領域枠の拡大が終了されると共に移動人物の物体検出枠が形成され、混雑領域と移動人物が完全に独立に切出されて表示される。
【００５９】
［第３の表示画像例］
図８に、第３の表示画像例を示す。この表示画像例は、図８Ｃ又は図８Ｈに示すように、混雑領域に近づく又は混雑領域から遠ざかる移動人物が存在する場合に、移動人物の移動に合わせて移動するウィンドウを表示するものである。ウィンドウ内には移動人物が切り出して表示される。
【００６０】
具体的には、混雑領域の方向に移動してくる人物が存在する場合には、図８Ｃに示すように、この人物を切り出したウィンドウをモニタに表示する。このとき、ウィンドウの位置は、切り出されて分割表示された混雑領域画像とウィンドウとの位置関係が、実空間上での、混雑領域と移動人物との位置関係に同じになるように、設定される。また、ウィンドウの近傍には移動人物の移動方向を表す矢印が表示される。これにより、移動人物が混雑領域にどのようにして接近してくるかを一目で認識できるようになる。
【００６１】
一方、混雑領域から離れていく人物が存在する場合には、図８Ｈに示すように、この人物を切り出したウィンドウをモニタに表示する。また、ウィンドウの近傍には移動人物の移動方向を表す矢印が表示される。これにより、移動人物が混雑領域からどのようにして離れていくかを一目で認識できるようになる。
【００６２】
このような、ウィンドウ表示処理は、画像出力部１１４によって行えばよい。
【００６３】
図８Ｃ、図８Ｈ以外の、図８Ａ、図８Ｂ、図８Ｄ、図８Ｅ、図８Ｆ、図８Ｇ、図８Ｉは、実質的に、図７で説明した表示状態と同様なので、ここでの説明は省略する。
【００６４】
［第４の表示画像例］
図９に、第４の表示画像例を示す。この表示画像例では、全周囲画像内に新たな人物が現れた場合に、図９Ｃに示すように、この人物を切り出したウィンドウをモニタに表示する。このとき、ウィンドウの位置は、既に表示されている切出し画像（図９Ｃの例では、切り出されて分割表示された混雑領域画像）とウィンドウとの位置関係が、実空間上での位置関係と同じになるように、設定される。また、新たに現れた人物とウィンドウとを例えば図９Ｃに示すように矢印で関連付ける。これにより、ウィンドウ画像がどの人物のものであるかが識別し易くなる。このようにすることで、全周囲画像と切出し画像との対応付けが分かり、見易い表示が可能となる。
【００６５】
［効果］
以上説明したように、本実施の形態によれば、撮像画像の動き領域を検出することで、撮像画像から混雑領域を検出する混雑領域検出部１０２と、パターンマッチングを行うことで、撮像画像からターゲットの画像を検出する物体検出部１０３と、混雑領域検出部１０２によって検出された混雑領域を囲む混雑領域枠と物体検出部１０３によって検出されたターゲットの画像を囲む物体検出枠とを形成する検出枠形成部１１０と、を設けた。
【００６６】
これにより、混雑領域以外の物体については、物体検出部１０３によって高い検出精度が得られるので、物体検出部１０３での検出結果を基に物体検出枠及び切出し画像を得る一方、混雑領域の物体は、物体検出部１０３によって高い検出精度が得られないので、混雑領域検出部１０２での検出結果を基に混雑領域枠及び切出し画像を得る、といった処理を行うことができるようになる。この結果、安定して見易い検出枠の形成及び画像切出しを行うことができるようになる。
【００６７】
つまり、全周囲画像のように、人物の混雑領域と、非混雑領域と、が混在する可能性がある撮像画像において、混雑領域での物体検出枠（追尾枠）の不安定な表示を回避しつつ、非混雑領域では物体検出枠（追尾枠）を安定して表示できるようになる。つまり、混雑領域については、物体検出枠（追尾枠）の表示を止めて、それに代えて、物体検出枠とは別の方法で検出された混雑領域枠を表示することにより、安定して見易い検出枠を表示できるようになる。そして、このような安定した検出枠を基に切出しを行うので、安定した切出し表示を行うことができるようになる。
【００６８】
なお、上述の実施の形態の画像表示装置１００は、メモリ・ＣＰＵを含むパソコン等のコンピュータによって構成することができる。そして、画像表示装置１００を構成する各構成要素の機能は、メモリ上に記憶されたコンピュータプログラムをＣＰＵが読み出して実行処理することで実現できる。
【産業上の利用可能性】
【００６９】
本発明は、例えば全周囲カメラにより得られた全周囲画像に対して、ターゲットの検出枠を形成して表示し、ターゲットの切出し画像を表示させる場合に好適である。
【符号の説明】
【００７０】
１００  画像表示装置
１０２  混雑領域検出部
１０３  物体検出部
１０４  動き情報算出部
１０５  混雑領域決定部
１０７  移動方向算出部
１０８  距離算出部
１１０  検出枠形成部
１１２  画像切出し部
【図１】
0005810296.tif 000002
【図２】
0005810296.tif 000003
【図３】
0005810296.tif 000004
【図４】
0005810296.tif 000005
【図５】
0005810296.tif 000006
【図６】
0005810296.tif 000007
【図７】
0005810296.tif 000008
【図８】
0005810296.tif 000009
【図９】
0005810296.tif 000010