(57)【要約】【課題】  全方位画像における被写体を精度よく追尾する技術を提供する。【解決手段】  追尾システム１００は、全方位カメラによる撮影画像から被写体を検出し識別ＩＤを付けて追尾を行う追尾システムである。画像入力装置１１０は、全周囲を撮影して撮影画像を生成する。画像処理装置１２０は、全方位画像から生成されたダブルパラマ画像や４画面画像について被写体の検出及び追尾処理を行う。モニタ装置１３０は、被写体のトラック枠と識別ＩＤとを画像に重畳表示する。【選択図】  図１
2019004427.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像から切り出した第２の画像において被写体を検出する検出手段と、
前記第１の画像で前記被写体の移動に関する情報を生成する生成手段と、
前記移動に関する情報に基づいて、前記第２の画像で検出された被写体に識別子を割り当てる割り当て手段と、を備える画像処理装置。
【請求項２】
前記生成手段は、前記検出された被写体の予測される移動位置を前記移動に関する情報として生成する、請求項１に記載の画像処理装置。
【請求項３】
前記第１の画像から複数の領域に対応する前記第２の画像を切り出す画像切り出し手段をさらに備え、
前記割り当て手段は、前記検出手段が、第１の被写体を検出した後に、前記第１の被写体を検出した領域とは異なる領域において第２の被写体を検出した場合に、前記生成手段から前記移動に関する情報を取得する、請求項２に記載の画像処理装置。
【請求項４】
前記生成手段は、
前記第２の画像における前記被写体の検出位置を、前記第１の画像に射影して保持する射影情報保持手段と、
前記被写体の前記第１の画像上に保持された位置から、前記第１の画像において前記被写体の移動位置を予測する位置予測手段と、を含み、
前記割り当て手段は、前記第１の被写体の前記予測される移動位置が、前記第２の被写体の検出位置に対応すれば、前記第２の被写体に対し、前記第１の被写体と同一の識別子を割り当てる、請求項３に記載の画像処理装置。
【請求項５】
前記生成手段は、前記第１の画像から切り出された後の残余領域における動体の移動方向を前記移動に関する情報として生成する、請求項１に記載の画像処理装置。
【請求項６】
前記割り当て手段は、前記第２の画像において新たに検出された被写体の移動方向が、前記残余領域における前記動体の移動方向に対応すれば、前記新たに検出された被写体に、前記残余領域における前記動体と同一の識別子を割り当てる、請求項５に記載の画像処理装置。
【請求項７】
幾何変換により歪みを補正した画像を生成する歪み補正処理手段をさらに備え、
前記検出手段は、前記歪み補正処理手段によって補正された前記第２の画像に対して被写体の検出を行う、請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
前記第１の画像は全方位画像であり、前記第２の画像はパノラマ展開した画像である、請求項１から７のいずれか一項に記載の画像処理装置。
【請求項９】
画像を入力する画像入力手段と、
少なくとも前記第２の画像及び前記検出した被写体の前記識別子を表示するモニタ装置と、
請求項１から８のいずれか一項に記載された画像処理装置と、を備える追尾システム。
【請求項１０】
画像処理装置の制御方法であって、
第１の画像から切り出した第２の画像において被写体を検出する被写体検出工程と、
前記第１の画像で被写体の移動に関する情報を生成する生成工程と、
前記移動に関する情報に基づいて、前記第２の画像で検出された被写体に識別子を割り当てる割り当て工程と、を備える制御方法。
【請求項１１】
コンピュータを、請求項１から８のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を精度よく追尾する画像処理装置、追尾システム、画像処理装置の制御方法及びプログラムに関する。
【背景技術】
【０００２】
魚眼レンズを搭載した全方位カメラは、全周囲の景観を撮影する事が可能な撮像装置であり、監視カメラなどにおいて利用されている。全方位カメラでは１台のカメラで３６０度の円形全方位画像を撮影する事が出来る。そして、撮影された全方位画像に対して幾何変換処理を行う事により、パノラマ展開画像や平面透視投影画像へ変換して、全方位の所望の画像を得ることができる。
こうした全方位画像上で被写体を検出し追尾を行う従来技術として、特許文献１では、全方位画像をパノラマ展開した画像の端を通過する被写体の追尾を行う技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１８３１７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
全方位画像を上下に切り出したダブルパノラマ表示や、上下左右に切り出した４画面表示などでは、画像の切り出し処理により切り出し画像間の境界画像が不連続になる。このため、このような切り出し画像間にわたって移動する被写体を継続的に追尾することは難しい。
【０００５】
また、全方位画像の中心領域が切り出されない場合、中心領域を動体が通るときに、切り出し画像から被写体が消失する。この場合、被写体を継続的に追尾することが困難となるため、全方位画像の中心領域を通って再び切り出し領域内に入った被写体を、別の被写体として認識してしまう。
本発明の目的は、被写体を精度よく追尾する技術を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明は、第１の画像から切り出した第２の画像において被写体を検出する検出手段と、第１の画像で被写体の移動に関する情報を生成する生成手段と、移動に関する情報に基づいて、第２の画像で検出された被写体に識別子を割り当てる割り当て手段と、を備える画像処理装置を提供する。
【発明の効果】
【０００７】
本発明によれば、被写体を精度よく追尾することができる。
【図面の簡単な説明】
【０００８】
【図１】第一の実施形態に係る追尾システムの構成例を示すブロック図。
【図２】ダブルパノラマ画像及び４画面画像の表示方法を示した図。
【図３】被写体の位置予測と追尾手順を示した図。
【図４】被写体の追尾処理を示すフローチャート。
【図５】第二の実施形態に係る追尾システムの構成例を示すブロック図。
【図６】画像処理装置５２０の動体検出処理とモニタ装置５３０の被写体検出処理の連携を示した図。
【図７】画像処理装置５２０の処理を示すフローチャート。
【図８】モニタ装置５３０の処理を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下に、本発明の好ましい実施の形態を、図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
＜第一の実施形態＞
図１は、第一の実施形態に係る追尾システムの構成例を示すブロック図である。追尾システム１００は、全方位カメラによる撮影画像（動画及び静止画）に基づいて被写体を検出し、被写体を識別するための識別子である識別ＩＤを付けて画面内追尾を行う追尾システムである。追尾システム１００は、画像入力装置１１０と、画像処理装置１２０と、モニタ装置１３０と、を含んで構成される。
【００１０】
画像入力装置１１０は、全周囲を撮影して撮影画像を生成する装置であり、全方位カメラにより構成される。画像入力装置１１０は、撮像した全方位画像を画像処理装置１２０へ出力する。
画像処理装置１２０は、画像入力部１０と、画像切り出し部１１と、歪み補正処理部１２と、検出部１３と、射影情報保持部１４と、位置予測部１５と、通信部１６と、を含んで構成される。画像処理装置１２０は、入力された第１の画像から第２の画像を切り出す。第１の画像は、例えば、画像入力装置１１０から入力された全方位画像である。第２の画像は、例えば、全方位画像から切り出し処理、幾何変換処理を行って得られた、ダブルパノラマ画像や４画面画像（図２により後述する。）である。そして、画像処理装置１２０は、生成したダブルパラマ画像や４画面画像から被写体の検出及び追尾処理を行う。
【００１１】
画像入力部１０は、画像入力装置１１０から入力された全方位画像を、画像切り出し部１１に出力する。
画像切り出し部１１は、画像入力部１０から受け取った全方位画像から、ダブルパノラマ画像や４画面画像の表示を行うための画像を切り出す切り出し処理を行う。切り出した画像は歪み補正処理部１２へ出力される。
歪み補正処理部１２は、画像切り出し部１１から入力された切り出し画像に対し、レンズの特性に合わせた幾何変換処理を行って歪みの補正を行う。歪み補正処理後の画像は、検出部１３及び、通信部１６へ出力される。
【００１２】
検出部１３は、歪み補正処理部１２から入力された画像に対し被写体の検出処理を行う。検出部１３は、例えば、検出した動体の領域にパターンマッチング処理等を用いて人物などの特定の被写体を検出する。また、動体の検出には背景差分法やフレーム間差分法等を用いることができる。背景差分法とは、事前に取得しておいた背景画像と撮影画像を比較し、背景画像には存在しない物体を抽出する方法である。また、フレーム間差分法とは、撮影画像とその直前、もしくは、数フレーム前の撮影画像とを比較し、比較対象の前フレームからの差分を動体として抽出する手法である。背景差分法やフレーム間差分法については公知の技術であるため、詳細な説明を省略する。検出部１３は、検出した被写体を囲むトラック枠と識別ＩＤとを関連付けて管理を行う。また、被写体の検出位置から軌跡情報を算出し、保持する。
【００１３】
検出部１３は、被写体を検出すると、保持しておいた軌跡情報から既出の被写体か否かを判別する。被写体の検出位置が、既出被写体の軌跡情報から推測される範囲内の場合、既出被写体と同一の被写体であると判別する。そして、検出された被写体に既出被写体と同じ識別ＩＤを割り当てる。
一方、被写体の検出位置が、既出被写体の軌跡情報から推測される範囲外の場合、検出部１３は、位置予測部１５から、後述する位置予測情報とその識別ＩＤとを被写体の移動に関する情報（以下、「移動情報」と呼ぶ。）として取得する。位置予測情報が示す既出被写体の移動位置が被写体の検出位置に対応していれば、その被写体に移動情報が示す識別ＩＤを割り当てる。こうして、検出された被写体に既出被写体と同じ識別ＩＤが割り当てられる。そうでない場合は、新しく出現した被写体として、新しい識別ＩＤを割り当てる。
【００１４】
検出部１３は、検出した被写体の、中心位置と識別ＩＤとを射影情報保持部１４へ出力する。また、被写体のトラック枠座標と識別ＩＤとを通信部１６へ出力する。
射影情報保持部１４は、検出部１３から入力された中心位置を円形全方位画像上に射影し、該当座標とその被写体の識別ＩＤとを管理する。射影情報保持部１４は、最近の過去一定時間の被写体の座標と識別ＩＤとを関連付けて保持する。そして、座標から算出した円形全方位画像上の軌跡情報と識別ＩＤを位置予測部１５へ出力する。
【００１５】
位置予測部１５は、射影情報保持部１４から入力された円形全方位画像上の軌跡情報を元にその被写体が次に移動する位置の予測を行う。予測した移動位置を示す位置予測情報と、その被写体の識別ＩＤとが、移動情報として検出部１３へ出力される。
通信部１６は、ネットワークを介してモニタ装置１３０と接続されている。通信部１６は、歪み補正処理部１２や、検出部１３から入力された画像や被写体のトラック枠座標、識別ＩＤをモニタ装置１３０へ送信する。
【００１６】
モニタ装置１３０は、画像処理装置１２０から送信される画像とトラック枠座標、識別ＩＤをもとに被写体のトラック枠と識別ＩＤとを画像に重畳して表示を行う。
なお、図１に示す各機能部は、ハードウェア又はソフトウェアとして装置に実装される。これらの機能部がソフトウェアとして実装される場合には、これらの機能を実行するためのプログラムが、不図示の記憶部（ＲＯＭ，ＲＡＭ等のメモリ）に記憶されることになる。そして、不図示のＣＰＵが、記憶部に記憶されたプログラムを実行することにより、これらの機能部が提供する機能が実現されることになる。
【００１７】
図２は、ダブルパノラマ画像（２画面のパノラマ画像）及び４画面画像の表示方法を示した図である。
まず、円形全方位画像２００をダブルパノラマ展開する場合について説明する。画像切り出し部１１は、円形全方位画像２００から、領域２０１及び２０２を切り出して円環画像を得る。歪み補正処理部１２は円環画像に対して幾何変換を行い、画像２１１及び２１２に展開されたダブルパノラマ画像２１０を得る。ダブルパノラマ画像２１０は、通信部１６を介してモニタ装置１３０へ送信され、表示される。
また、円形全方位画像２２０を４画面表示する場合は、画像切り出し部１１と歪み補正処理部１２により、例えば、領域２２１，２２２，２２３，２２４の４つの領域で切り出し処理・幾何変換が行われる。そして、それぞれ画像２３１，２３２，２３３，２３４に展開された４画面画像２３０が得られる。図２に示すとおり、本実施の形態では、ダブルパノラマ画像の１画面の横幅は４画面画像のうちの１画面の横幅の２倍としているが、その限りではない。
【００１８】
図３は、被写体の位置予測と追尾手順を示した図である。
以下では、本実施形態による追尾を、ダブルパノラマ画像に適用した例で説明する。
ダブルパノラマ画像３１０は、円形全方位画像３００から領域３０１及び３０２を切り出して得られた円環画像を、それぞれ画像３１１及び３１２に展開表示したものである。
【００１９】
本実施形態では、人物などの被写体の検出及び追尾は、円形全方位画像から複数の領域を切り出し処理・幾何変換した画像において行う。これは人物を検出するためのパターンマッチング処理などに幾何変換処理後の画像が適しているためである。画像内で被写体を検出した場合、既出被写体の軌跡情報に基づいて、検出した被写体が既出被写体か否かを判別できる。しかしながら、切り出された画像間は画像境界が不連続となるため、当該画像間にわたって移動する被写体を継続的に追尾することは困難である。そこで、本実施形態では、切り出された画像内での軌跡情報から既出の被写体か否か判別できない被写体については、円形全方位画像における被写体の予測される移動位置を移動情報として用い、識別ＩＤの割り当てを行う。以下に、具体的な手順を説明する。
【００２０】
検出部１３はダブルパノラマ画像３１０に対して被写体の検出処理を行い、検出された被写体はトラック枠（例えば、トラック枠３１４）で囲い、識別ＩＤ（例えば、識別ＩＤ３１９）を付与する。
射影情報保持部１４は、ダブルパノラマ画像３１０において検出された被写体３１３の位置を円形全方位画像上に射影して（例えば、マーク３０４）、該当座標を被写体３１３の識別ＩＤと関連付けて保持する。保持している座標（例えば、マーク３０３，３０４）から被写体３１３の軌跡情報を算出する。
【００２１】
ダブルパノラマ画像３４０に示すように、被写体３１５が新たに検出された場合、検出部１３は位置予測部１５へ移動情報の取得要求を行う。取得要求を受けた位置予測部１５は、射影情報保持部１４から最近保持された軌跡情報（マーク３０３，３０４から算出される軌跡情報）とその軌跡情報に関連付けられた識別ＩＤを取得する。そして、円形全方位画像３３０のマーク３０５が示す位置（すなわち、該軌跡の延長線上の位置）を、該軌跡情報に関連付けられた識別ＩＤに対応する被写体３１３が次に移動する位置と予測する。例えば、被写体の位置予測は過去の２回分の被写体の検出位置を用い、被写体が等速直線移動した場合の位置を予測位置とする。そして、予測位置と識別ＩＤを移動情報として検出部１３へ送る。
【００２２】
ダブルパノラマ画像における座標位置に変換した予測位置３１６が、新たに検出された被写体３１５のトラック枠３１７内に入っている場合、検出部１３は、予測位置３１６に関連付けられている識別ＩＤを被写体３１５に割り当てる。これにより、被写体３１５は既出の被写体３１３と同一の被写体として扱われる。
そして、ダブルパノラマ画像３５０において、トラック枠３１８で囲まれた被写体が識別ＩＤ３２０を付されて表示される。
【００２３】
なお、本実施形態では、円形全方位画像における予測位置をパノラマ画像における座標位置に変換したが、円形全方位画像とパノラマ画像とで位置の対応関係が分かればどちらの座標系に変換してもよい。また、本実施形態では、被写体が等速直線移動する場合として円形全方位画像における予測位置を算出したが、被写体の次の移動先を示す範囲を推定できればどのような算出方法でもよい。
【００２４】
図４は、被写体の追尾処理を示すフローチャートである。
追尾システム１００は、ユーザ操作により起動され、追尾処理が開始する。
ステップＳ１において、画像入力部１０は、画像入力装置１１０から円形全方位画像３００を取得する。
ステップＳ３において、画像切り出し部１１は、画像入力部１０から受け取った円形全方位画像３００からダブルパノラマ画像または４画面画像表示のための画像（たとえば、領域３０１，３０２の画像）の切り出し処理を行う。
【００２５】
ステップＳ５において、歪み補正処理部１２は、画像切り出し部１１から受け取った切り出し画像に対しレンズの特性に合わせた幾何変換処理を行い歪みの補正を行う。これにより、補正済みの画像（例えば、画像３１１，３１２）を生成する。歪み補正処理部１２は、補正済みの画像を検出部１３及び通信部１６へ出力する。通信部１６は、歪み補正処理部１２から受け取った画像を、ネットワーク等を介してモニタ装置１３０へ送信する。
ステップＳ７において、検出部１３は、補正済みの画像に対して被写体の検出処理を行う。
ステップＳ９において、検出部１３は、被写体が検出されたかどうかの判別処理を行う。被写体が検出された場合（ステップＳ９にてＹＥＳ）は、処理はステップＳ１１へ進み、動体が検出されなかった場合(ステップＳ９にてＮＯ)は、処理はステップＳ１へ進む。
【００２６】
ステップＳ１１において、検出部１３は、検出された被写体が切り出し画像内の既出被写体が移動したものか、新たに検出した被写体かの判別処理を行う。新たに検出した被写体の場合(ステップＳ１１にてＹＥＳ)は、処理はステップＳ１３へ進み、既出の被写体であった場合(ステップＳ１１にてＮＯ)は、処理はステップＳ２１へ進む。
図３の例では、被写体３１５が新たに検出されている。ステップＳ１３において、検出部１３は、位置予測部１５へ位置予測情報を取得するため移動情報の取得要求を出す。位置予測部１５は、取得要求に応じて射影情報保持部１４から円形全方位画像上の軌跡情報とその識別ＩＤを受け取り、被写体の位置予測を行って位置予測情報を検出部１３へ出力する。
【００２７】
ステップＳ１５において、検出部１３は、位置予測部１５から受け取った位置予測情報を幾何変換後の画像の座標位置に変換し、変換後の予測位置が新たに検出された被写体のトラック枠内に入っているかの判別処理を行う。予測位置が新たに検出された被写体のトラック枠内に入っている場合(ステップＳ１５にてＹＥＳ)は、処理はステップＳ１７へ進み、トラック枠内に入っていない場合(ステップＳ１５にてＮＯ)は、処理はステップＳ１９へ進む。
ステップＳ１７において、検出部１３は、新たに検出した被写体に、位置予測で用いた軌跡情報に関連付けられている被写体（予測被写体）の識別ＩＤを割り当てる。そして、処理はステップＳ２３へ進む。これにより既出被写体の識別ＩＤが付与され、追跡が継続する。図３の例では、被写体３１５が新たに検出されると（ステップＳ９及びＳ１１でＹＥＳ）、予測位置３１６が位置予測部１５から取得される（ステップＳ１３）。予測位置３１６がトラック枠３１７内にあるので、識別ＩＤ３２０が付与される。
【００２８】
一方、ステップＳ１９において、検出部１３は、検出した被写体に、新規の識別ＩＤを割り当てる。そして、処理はステップＳ２３へ進む。
ステップＳ２１において、検出部１３は、検出した被写体に、既出被写体の識別ＩＤを割り当てる。そして、処理はステップＳ２３へ進む。
ステップＳ２３において、検出部１３は、被写体の位置情報と識別ＩＤを射影情報保持部１４へ出力する。射影情報保持部１４は、受け取った被写体の検出位置を円形全方位画像上に射影して該当座標を識別ＩＤと関連付けて保持する。
【００２９】
ステップＳ２５において、検出部１３は被写体の検出結果からトラック枠座標を算出し、トラック枠座標と識別ＩＤとを通信部１６へ出力する。通信部１６は、受け取ったトラック枠座標と識別ＩＤとを、ネットワーク等を介してモニタ装置１３０へ送信する。
ステップＳ２７において、モニタ装置１３０は通信部１６から受け取った補正済みの画像、被写体のトラック枠座標、識別ＩＤをもとに被写体のトラック枠と識別ＩＤを画像に重畳して表示を行う。例えば、ダブルパノラマ画像３５０のように、トラック枠３１８と識別ＩＤ３２０とが重畳表示される。
【００３０】
ステップＳ２９において、ユーザ操作による不図示の追尾処理Ｏｎ／Ｏｆｆ  ＳＷが操作され、追尾処理の停止操作が行われたかどうかを判別する。停止操作が行われていない場合(ステップＳ２９にてＮＯ)は、処理はステップＳ１へ進み、停止操作が行われた場合(ステップＳ２９にてＹＥＳ)は、追尾処理を終了する。
以上のように、円形全方位画像上に保持した被写体の位置から予測される移動位置を用いることで、不連続境界を考慮した精度の高い追尾を行う追尾システムを提供することができる。
【００３１】
本実施形態では画像処理装置１２０にて被写体の検出処理、位置予測を行ったが、例えば、画像処理装置１２０では行わず、画像を受け取ったモニタ装置１３０で被写体の検出処理、位置予測を行う構成でもよい。また、本実施形態ではモニタ装置１３０にて被写体のトラック枠と識別ＩＤの重畳処理を行ったが、例えば、モニタ装置１３０では行わず画像処理装置１２０内でトラック枠と識別ＩＤの重畳を行う構成でもよい。また、画像入力装置１１０と画像処理装置１２０とは一体で構成されても良い。
また、検出した被写体に識別子を割り当てる際、被写体の色や大きさ等の情報も用いて既出被写体と同一か否かの判断を行うよう構成してもよい。
【００３２】
＜第二の実施形態＞
図５は、第二の実施形態に係る追尾システムの構成例を示すブロック図である。
追尾システム５００は、全方位カメラによる撮影画像に基づいて被写体を検出し識別ＩＤを付けて画面内追尾を行う追尾システムである。追尾システム５００は、画像入力装置５１０と、画像処理装置５２０と、モニタ装置５３０と、を含んで構成される。
【００３３】
画像入力装置５１０は、全周囲を撮影して撮影画像を生成する装置であり、全方位カメラにより構成される。画像入力装置５１０は、撮像した全方位画像を画像処理装置５２０へ出力する。
画像処理装置５２０は、画像入力部５２１と、画像切り出し部５２２と、歪み補正処理部５２３と、動体検出部５２４と、通信部５２５と、を含んで構成される。画像処理装置５２０は、画像入力装置５１０から入力された全方位画像から切り出し処理、幾何変換処理を行い、ダブルパノラマ画像や４画面画像を生成する。また、生成するダブルパノラマ画像や４画面画像に含まれない円形全方位画像の中心領域である残余領域について動体の検出及び追尾処理を行う。生成した画像や動体の軌跡情報、識別ＩＤは、通信部５２５を介してモニタ装置５３０へ送信される。
【００３４】
画像入力部５２１は、画像入力装置５１０から入力された全方位画像を、画像切り出し部５２２に出力する。
画像切り出し部５２２は、画像入力部５２１から受け取った全方位画像から、ダブルパノラマ画像や４画面画像の表示を行うための画像を切り出す切り出し処理を行う。画像切り出し部５２２は、切り出した画像を歪み補正処理部５２３へ出力する。また、画像切り出し部５２２は、切り出し処理で残った円形全方位画像の中心領域である残余領域の画像を動体検出部５２４へ出力する。
【００３５】
歪み補正処理部５２３は、画像切り出し部５２２から入力された切り出し画像に対し、レンズの特性に合わせた幾何変換処理を行って歪みの補正を行う。歪み補正処理後の画像は、通信部５２５へ出力される。
動体検出部５２４は、画像切り出し部５２２から入力された残余領域の画像に対し動体の検出処理を行う。動体の検出は、背景差分法やフレーム間差分法等の、前述した公知の技術を用いる。検出した動体は動体位置情報と識別ＩＤとを関連付けて管理を行う。また、検出した動体について軌跡情報及び移動方向を算出し、保持しておく。
【００３６】
動体検出部５２４は、動体を検出すると、保持しておいた軌跡情報から既出動体か否かを判別する。動体検出部５２４は、動体の検出位置が、既出動体の軌跡情報から推測される範囲内であれば、同一の動体であると判別し、既出動体と同じ識別ＩＤを割り当てる。
【００３７】
一方、動体の検出位置が、既出動体の軌跡情報から推測される範囲外であれば、動体検出部５２４は、新しく出現した動体であると判別し、モニタ装置５３０から被写体の移動方向を被写体の移動に関する情報（以下、「移動情報」と呼ぶ。）として取得する。そして、取得した移動方向から、検出した動体が、モニタ装置５３０で検出された被写体に対応するかを判別する。対応する判別した場合は、動体検出部５２４は、モニタ装置５３０から取得した移動方向に対応付けられている識別ＩＤを、検出した動体に割り当てる。そうでない場合は、動体検出部５２４は、新しい識別ＩＤを検出した動体に割り当てる。動体検出部５２４は、通信部５２５を介してモニタ装置５３０から移動情報の取得要求を受け取った場合、動体の移動方向、識別ＩＤを、移動情報として通信部５２５を介してモニタ装置５３０へ送信する。
【００３８】
通信部５２５は、ネットワークを介してモニタ装置５３０と接続されており、画像や移動情報をモニタ装置５３０へ送信する。
モニタ装置５３０は、画像処理装置５２０から受け取った画像から被写体の検出及び追尾処理を行う。モニタ装置５３０は、通信部５３１と、検出部５３２と、画像出力部５３３とを含んで構成される。
【００３９】
通信部５３１は、ネットワークを介して画像処理装置５２０の通信部５２５と接続されている。通信部５３１は、画像処理装置５２０から画像を受け取り、検出部５３２及び画像出力部５３３へ出力する。また検出部５３２から取得した動体情報を画像処理装置５２０へ送信する。
検出部５３２は、通信部５３１から入力された画像に対し被写体の検出処理を行う。被写体の検出処理については、上述の検出部１３と同様であるため、詳細な説明は省略する。検出部５３２は、検出した被写体について、被写体を囲むトラック枠と識別ＩＤを関連付けて管理する。また、検出部５３２は、被写体の検出位置から軌跡情報及び移動方向を算出し、保持しておく。
【００４０】
検出部５３２は、被写体を検出すると、保持しておいた軌跡情報から既出被写体か否かを判別する。被写体の検出位置が、既出被写体の軌跡情報から推測される範囲内であれば検出部５３２は、検出された被写体と既出被写体とが同一であると判別し、検出された被写体に既出被写体と同じ識別ＩＤを割り当てる。
【００４１】
一方、被写体の検出位置が、既出被写体の軌跡情報から推測される範囲外であれば、検出部５３２は、検出された被写体が新しく出現した被写体であると判別する。この場合、検出部５３２は、画像処理装置５２０から残余領域で検出された動体の移動方向を移動情報として取得し、取得した移動方向から、検出した被写体が画像処理装置５２０で検出された動体に対応するかを判別する。対応すると判別した場合は画像処理装置５２０から取得した移動方向に関連付けられている識別ＩＤを割り当てる。そうでない場合は、検出部５３２は、新しい識別ＩＤを割り当てる。検出部５３２は、通信部５３１を介して画像処理装置５２０から移動情報の取得要求を受け取った場合、被写体の移動方向、識別ＩＤを、通信部５３１を介して画像処理装置５２０へ送信する。また、検出した被写体のトラック枠座標、識別ＩＤを画像出力部５３３へ出力する。
【００４２】
画像出力部５３３は、通信部５３１から受け取った画像と、検出部５３２から受け取ったトラック枠座標、識別ＩＤをもとに被写体のトラック枠と識別ＩＤを画像に重畳して表示を行う。
図６は、画像処理装置５２０の動体検出処理とモニタ装置５３０の被写体検出処理の連携を示した図である。
ダブルパノラマ画像６００を構成する画像６０１，６０２は、円形全方位画像６１０の円環画像から領域６１１及び６１２を切り出して幾何変換して得られる。なお、画像６０１及び６０２の底辺部分は、円環画像の中心領域に該当する。
【００４３】
第二の実施形態では、ダブルパノラマ画像６００における軌跡情報から既出の被写体か否か判別できない被写体については、円形全方位画像において検出された動体の移動方向を移動情報として用い、識別ＩＤの割り当てを行う。以下に、具体的な手順を説明する。
被写体の検出結果の表示は、ダブルパノラマ画像に対して行われる。検出された被写体はトラック枠（例えば、トラック枠６０３）で囲われ、識別ＩＤ（例えば、識別ＩＤ６０５）が付与されて表示される。
【００４４】
モニタ装置５３０ではダブルパノラマ画像に対して被写体の検出処理が行われ、画像処理装置５２０では円形全方位画像の切り出し領域外の残余領域（円環画像の中心領域）に対して動体の検出処理が行われる。例えば、モニタ装置５３０の検出部５３２は、ダブルパノラマ画像に対してパターンマッチング処理等を用いて特定の被写体を検出するのに対し、画像処理装置５２０の動体検出部５２４は、円形全方位画像に対して、背景差分法等を用いて動体の検出を行う。
画像処理装置５２０において、残余領域６１３で方向６１４から出現した動体６１５を新たに検出した場合、画像処理装置５２０は、モニタ装置５３０からモニタ装置側の移動情報を取得する。モニタ装置５３０側の移動情報が、被写体６０４が方向６０６のように円環中心方向へ移動したことを示している場合は、動体６１５の移動の方向６１４と被写体６０４の移動の方向６０６とが対応していると判断される。そして、画像処理装置５２０は、動体６１５は被写体６０４に対応するとして、動体６１５に対しモニタ装置５３０側の被写体６０４の識別ＩＤを割り当てる。
【００４５】
次いで、モニタ装置５３０において、画像６３２で方向６３６から出現した被写体６３４を新たに検出した場合、モニタ装置５３０は、画像処理装置５２０から画像処理装置側の移動情報を取得する。画像処理装置５２０側の移動情報が、動体６１５が方向６１６のように残余領域６１３から円環方向へ移動したことを示している場合は、被写体６３４の移動の方向６３６と動体６１５の移動の方向６１６とが対応していると判断される。そして、モニタ装置５３０は、被写体６３４は動体６１５に対応するとして、被写体６３４に対し画像処理装置５２０側の動体６１５の識別ＩＤを割り当てる。
【００４６】
ダブルパノラマ画像６３０において、トラック枠６３３で囲まれた被写体６３４が識別ＩＤ６３５を付されて表示される。
以上のように、画像処理装置とモニタ装置とを連携させ、被写体の識別ＩＤを全方位画像で検出した動体を介して割り当てることで、パノラマ画像において被写体の追尾を精度よく行うことができる。
図７及び８を参照して、被写体の追尾処理を行う手順について説明する。
図７は、画像処理装置５２０の処理を示すフローチャートである。
画像処理装置５２０は、ユーザ操作により起動され、動体追尾処理が開始される。
【００４７】
ステップＳ７０１において、画像入力部５２１は、画像入力装置５１０から全方位画像を取得する。
ステップＳ７０３において、画像切り出し部５２２は、画像入力部５２１から受け取った全方位画像からダブルパノラマ画像や４画面画像を表示するための画像を切り出す切り出し処理を行う。画像切り出し部５２２は、切り出した画像を歪み補正処理部５２３へ出力し、切り出し処理で残った円形全方位画像の中心領域である残余領域の画像を動体検出部５２４へ出力する。
ステップＳ７０５において、歪み補正処理部５２３は、画像切り出し部５２２から受け取った切り出し画像に対しレンズの特性に合わせた幾何変換処理を行い歪みの補正を行う。これにより、補正済みの画像を得る。補正済みの画像は通信部５２５へ出力される。通信部５２５は受け取った画像を、ネットワーク等を介してモニタ装置５３０へ送信する。
【００４８】
ステップＳ７０７において、動体検出部５２４は残余領域の画像に対して動体の検出処理を行う。ステップＳ７０９において、動体検出部５２４は、動体が検出されたかどうかの判別処理を行う。動体が検出された場合（ステップＳ７０９にてＹＥＳ）は、処理はステップＳ７１１へ進み、動体が検出されなかった場合(ステップＳ７０９にてＮＯ)は、処理はステップＳ７０１へ進む。
ステップＳ７１１において、動体検出部５２４は、検出された動体が画像内の既出動体が移動したものか新たに検出された動体かの判別処理を行う。新たに検出された動体の場合(ステップＳ７１１にてＹＥＳ)は、処理はステップS７１３へ進み、既出動体であった場合(ステップＳ７１１にてＮＯ)は、処理はステップＳ７１５へ進む。
【００４９】
ステップＳ７１３において、動体検出部５２４は、通信部５２５を介してモニタ装置５３０側から移動情報（画像６０１，６０２における被写体の移動方向、識別ＩＤ）を取得する。
ステップＳ７１５において、動体検出部５２４は、検出した動体に、既出動体のＩＤを識別ＩＤとして割り当てる。
ステップＳ７１７において、動体検出部５２４は、取得したモニタ装置５３０側の移動情報から円環中心方向に移動した被写体があるかどうかを判別する。円環中心方向に移動した被写体がある場合(ステップＳ７１７にてＹＥＳ)は、処理はステップＳ７１９へ進み、円環中心方向に移動した被写体がない場合(ステップＳ７１７にてＮＯ)は、処理はステップＳ７２１へ進む。
【００５０】
ステップＳ７１９において、動体検出部５２４は、新たに検出した動体に、モニタ装置５３０から取得した移動情報の識別ＩＤを割り当てる。
ステップＳ７２１において、動体検出部５２４は、新たに検出した動体に、新規のＩＤを識別ＩＤとして割り当てる。
ステップＳ７２３において、通信部５２５は歪み補正処理部５２３から受け取った画像をモニタ装置５３０へ送信する。
ステップＳ７２５において、画像処理装置５２０は、ユーザ操作による不図示の追尾処理Ｏｎ／Ｏｆｆ  ＳＷが操作され動体追尾処理の停止操作が行われたかどうかを判別する。停止操作が行われていない場合(ステップＳ７２５にてＮＯ)は、処理はステップＳ７０１へ進み、上記の処理が繰り返される。他方、停止操作が行われた場合(ステップＳ７２５にてＹＥＳ)は、追尾処理を終了する。
【００５１】
図８は、モニタ装置５３０の処理を示すフローチャートである。
モニタ装置５３０は、ユーザ操作により起動され、被写体の追尾処理が開始される。
ステップＳ８０１において、通信部５３１は、画像処理装置５２０から切り出し画像を取得する。
ステップＳ８０３において、検出部５３２は、通信部５３１から入力された画像に対して被写体の検出処理を行う。
【００５２】
ステップＳ８０５において、検出部５３２は、被写体が検出されたかどうかの判別処理を行う。被写体が検出された場合（ステップＳ８０５にてＹＥＳ）は、処理はステップＳ８０７へ進み、被写体が検出されなかった場合(ステップＳ８０５にてＮＯ)は、処理はステップＳ８０１へ進む。
ステップＳ８０７において、検出部５３２は、検出された被写体が切り出し画像内の既出被写体が移動したものか新たに検出された被写体かの判別処理を行う。新たに検出された被写体の場合(ステップＳ８０７にてＹＥＳ)は、処理はステップＳ８０９へ進み、既出被写体であった場合(ステップＳ８０７にてＮＯ)は、処理はステップＳ８１３へ進む。
【００５３】
ステップＳ８０９において、検出部５３２は、被写体が円環の中心に当たる各画像の底辺部分から出現したかどうかを被写体の移動方向から判別する。底辺部分から出現した被写体であると判別した場合(ステップＳ８０９にてＹＥＳ)は、処理はステップＳ８１１へ進み、そうでない場合(ステップＳ８０９にてＮＯ)は、処理はステップＳ８１９へ進む。
ステップＳ８１１において、検出部５３２は、通信部５３１を介して画像処理装置５２０側で行っている残余領域の画像についての移動情報を取得する。ステップＳ８１３において、検出部５３２は、検出した被写体に、既出被写体の識別ＩＤを割り当てる。
【００５４】
ステップＳ８１５において、検出部５３２は、取得した画像処理装置５２０側の移動情報から円環方向に移動した動体があるかどうかを判別する。円環方向に移動した動体があると判別した場合(ステップＳ８１５にてＹＥＳ)は、処理はステップＳ８１７へ進み、そうでない場合(ステップＳ８１５にてＮＯ)は、処理はステップＳ８１９へ進む。
ステップＳ８１７において、検出部５３２は、検出した被写体に、画像処理装置５２０から取得した移動情報の識別ＩＤを割り当てる。ステップＳ８１９において、検出部５３２は、検出した被写体に、新規の識別ＩＤを割り当てる。
【００５５】
ステップＳ８２１において、検出部５３２は、被写体の検出結果からトラック枠座標を算出し、トラック枠座標と識別ＩＤを画像出力部５３３へ送る。画像出力部５３３は、通信部５３１から受け取った画像、検出部５３２から受け取った被写体のトラック枠座標、識別ＩＤをもとに被写体のトラック枠と識別ＩＤを画像に重畳して表示を行う。
ステップＳ８２３において、ユーザ操作による追尾処理の停止操作が行われたかどうかを判別する。停止操作が行われていない場合(ステップＳ８２３にてＮＯ)は、処理はステップＳ８０１へ進み、停止操作が行われた場合(ステップＳ８２３にてＹＥＳ)は、追尾処理を終了する。
【００５６】
以上の様に、モニタ装置５３０側で行う被写体の検出処理と並行してモニタ側に表示されない領域の動体検出処理を画像処理装置５２０側で行う。双方の検出情報から同一体かを判別する事で非表示領域での被写体の見失いを考慮した精度の高い追尾が可能となる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００５７】
例えば、本実施形態では、モニタ装置５３０において表示領域の、画像処理装置５２０において非表示領域の追尾処理を行ったが、画像処理装置５２０内にて非表示領域を含めた追尾処理を行うよう構成してもよい。
本発明に係る画像処理装置及びその制御方法、追尾システムは、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５８】
１００  追尾システム、１１０  画像入力装置、１２０  画像処理装置、１３０  モニタ装置、１０  画像入力部、１１  画像切り出し部、１２  歪み補正処理部、１３  検出部、１４  射影情報処理部、１３  位置予測部、１６  通信部
【図１】
2019004427.tif 000003
【図２】
2019004427.tif 000004
【図３】
2019004427.tif 000005
【図４】
2019004427.tif 000006
【図５】
2019004427.tif 000007
【図６】
2019004427.tif 000008
【図７】
2019004427.tif 000009
【図８】
2019004427.tif 000010