(57)【特許請求の範囲】
【請求項１】
時系列に沿って得られた複数の画像において、所定の物体領域を追尾する追尾装置であって、
所定の判定期間における、追尾対象として指定された領域である第１の物体領域の追尾の結果得られる第１の物体領域の位置に対する第２の物体領域の追尾の結果得られる第２の物体領域の相対位置の変化量に基づいて、前記第２の物体領域を前記第１の物体領域に関連付けるか否かを判定する判定手段と、
前記判定手段により関連付けると判定された前記第２の物体領域を前記第１の物体領域に関連付ける関連付手段と
を有することを特徴とする追尾装置。
【請求項２】
前記第１の物体領域は、前記複数の画像から追尾対象として検出された移動物体の領域又はユーザにより追尾対象として指定された物体領域の何れかの領域であることを特徴とする請求項１に記載の追尾装置。
【請求項３】
前記第２の物体領域は、特定の物体種別に固有の特徴に基づいて前記画像から検出された物体領域であることを特徴とする請求項１又は２に記載の追尾装置。
【請求項４】
前記画像において、前記第１の物体領域を追尾する第１の追尾手段と、
前記画像において、前記第２の物体領域を追尾する第２の追尾手段と
を有し、
前記判定手段は、前記第１の追尾手段の追尾の結果と、前記第２の追尾手段の追尾の結果と、に基づいて、前記第２の物体領域を前記第１の物体領域に関連付けるか否かを判定することを特徴とする請求項１乃至３何れか１項に記載の追尾装置。
【請求項５】
前記第１の追尾手段は、前記第１の物体領域と前記第２の物体領域とが関連付けられている場合に、前記第２の物体領域の位置に基づいて、前記第１の物体領域の追尾を行うことを特徴とする請求項４に記載の追尾装置。
【請求項６】
前記第１の物体領域と前記第２の物体領域とが関連付けられている場合に、前記第２の物体領域に基づいて、前記第１の物体領域を変更する領域変更手段をさらに有することを特徴とする請求項４又は５に記載の追尾装置。
【請求項７】
画像を撮像する撮像手段と、
前記第１の物体領域と前記第２の物体領域とが関連付けられている場合に、前記第２の物体領域の位置に基づいて、前記撮像手段における撮像方向又は撮像画角のうち少なくとも一方を制御する制御手段と
をさらに有することを特徴とする請求項１乃至６何れか１項に記載の追尾装置。
【請求項８】
前記判定手段は、前記第１の物体領域の位置と、前記第２の物体領域の位置との関係に係る条件に従い、前記第２の物体領域を前記第１の物体領域に関連付けるか否かを判定することを特徴とする請求項１乃至７何れか１項に記載の追尾装置。
【請求項９】
前記条件の１つは、前記判定期間に対応する複数の画像それぞれにおける、前記第１の物体領域と前記第２の物体領域の間の距離が閾値未満の場合に、前記第２の物体領域を前記第１の物体領域に関連付けるという条件であることを特徴とする請求項８に記載の追尾装置。
【請求項１０】
前記条件の１つは、前記判定期間に対応する複数の画像それぞれにおける、前記第１の物体領域の位置を基準とした前記第２の物体領域の相対位置の変化量の最大値が閾値未満の場合に、前記第２の物体領域を前記第１の物体領域に関連付けるという条件であることを特徴とする請求項８又は９に記載の追尾装置。
【請求項１１】
前記判定手段は、さらに前記第１の物体領域の面積と前記第２の物体領域の面積との関係に係る条件に基づいて、前記第２の物体領域を、前記第１の物体領域に関連付けるか否かを判定することを特徴とする請求項１乃至１０何れか１項に記載の追尾装置。
【請求項１２】
前記判定手段は、前記画像において検出された前記第２の物体領域の数に基づいて、前記第２の物体領域を前記第１の物体領域に関連付けるか否かを判定するための条件を決定し、決定した条件に従い、前記第２の物体領域を前記第１の物体領域に関連付けるか否かを判定することを特徴とする請求項８乃至１１何れか１項に記載の追尾装置。
【請求項１３】
前記第１の物体領域と前記第２の物体領域の間の距離及び前記第１の物体領域と前記第２の物体領域とが重畳する領域の面積のうち少なくとも一方に基づいて、前記判定期間を変更する期間変更手段をさらに有することを特徴とする請求項１乃至１２何れか１項に記載の追尾装置。
【請求項１４】
前記画像において検出された前記第２の物体領域の数に基づいて、前記判定期間を変更する期間変更手段をさらに有することを特徴とする請求項１乃至１２何れか１項に記載の追尾装置。
【請求項１５】
時系列に沿って得られた複数の画像において、所定の物体領域を追尾する追尾装置が実行する追尾処理であって、
所定の判定期間における、追尾対象として指定された領域である第１の物体領域の追尾の結果得られる第１の物体領域の位置に対する第２の物体領域の追尾の結果得られる第２の物体領域の相対位置の変化量に基づいて、前記第２の物体領域を前記第１の物体領域に関連付けるか否かを判定する判定ステップと、
前記判定ステップにおいて関連付けると判定された前記第２の物体領域を前記第１の物体領域に関連付ける関連付ステップと
を含むことを特徴とする追尾方法。
【請求項１６】
時系列に沿って得られた複数の画像において、所定の物体領域を追尾する追尾装置のコンピュータを、
所定の判定期間における、追尾対象として指定された領域である第１の物体領域の追尾の結果得られる第１の物体領域の位置に対する第２の物体領域の追尾の結果得られる第２の物体領域の相対位置の変化量に基づいて、前記第２の物体領域を前記第１の物体領域に関連付けるか否かを判定する判定手段と、
前記判定手段により関連付けると判定された前記第２の物体領域を前記第１の物体領域に関連付ける関連付手段と
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像において対象を追尾する追尾装置、追尾方法及びプログラムに関する。
【背景技術】
【０００２】
従来、監視カメラ等の撮像画像において、所定の物体を追尾する技術が知られている。さらに、追尾対象となる対象物体と、対象物体に関連する関連物体とを対応付けて管理し、関連物体の追尾結果を用いることで対象物体の追尾を行う技術も知られている。これにより、対象物体の追尾精度を向上させることができる。特許文献１には、移動物体の領域と特定物体の領域の重畳する部分の面積に基づいて、移動物体と特定物体とが対応するかを判断し、対応すると判断した場合に、移動物体と特定物体の関連付けを行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１０３７５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、対象物体と関連物体の関係性は、両物体の画像領域が重なるというものに限られるものではなく、例えば、対象物体がある人物の下半身の一部である場合に、同一人物の頭部を対応する特定物体として関連付けることも可能である。このように、多様な関係性を有する画像同士を適切に関連付ける技術が望まれている。
【０００５】
本発明はこのような問題点に鑑みなされたもので、画像中の複数の物体を適切に関連付けることを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明は、時系列に沿って得られた複数の画像において、所定の物体領域を追尾する追尾装置であって、所定の判定期間における、追尾対象として指定された領域である第１の物体領域の追尾の結果得られる第１の物体領域の位置に対する第２の物体領域の追尾の結果得られる第２の物体領域の相対位置の変化量に基づいて、前記第２の物体領域を前記第１の物体領域に関連付けるか否かを判定する判定手段と、前記判定手段により関連付けると判定された前記第２の物体領域を前記第１の物体領域に関連付ける関連付手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、画像中の複数の物体を適切に関連付けることができる。
【図面の簡単な説明】
【０００８】
【図１】追尾システムの全体図である。
【図２】カメラのハードウェア構成を示す図である。
【図３】カメラのソフトウェア構成を示す図である。
【図４】カメラによる追尾処理を示すフローチャートである。
【図５】追尾処理の説明図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面に基づいて説明する。
図１は、本実施形態に係る追尾システム１００の全体図である。本実施形態においては、追尾システム１００が人物を追尾する場合を例に説明するが、追尾対象は人物に限定されるものではなく、車や自転車、バイク等であってもよい。追尾システム１００は、カメラ１０１と、録画装置１０２と、表示装置１０３と、入力装置１０４とを有している。カメラ１０１、録画装置１０２及び表示装置１０３は、ネットワーク１０５経由で接続される。入力装置１０４は、表示装置１０３に接続される。カメラ１０１は、ＰＴＺカメラと呼ばれるパン・チルト・ズームを調節可能なカメラである。カメラ１０１は、追尾対象となる対象物体が常に撮像されるよう、自動でパン・チルト・ズームを制御する。ここでパンとはカメラ１０１の向きを左右に振ること、チルトとはカメラ１０１の向きを上下に振ること、ズームとは画角を望遠又は広角に変化させることを意味する。
【００１０】
カメラ１０１は、録画装置１０２や表示装置１０３からの要求に応じて、映像を送信する。録画装置１０２は、カメラ１０１から取得した映像を不図示の記録媒体に保存する。表示装置１０３は、カメラ１０１から得た映像や、録画装置１０２に保存された映像を読み出して表示したり、入力装置１０４を通じてユーザからの要求を受け取り、カメラ１０１へ要求を送信したりする。
【００１１】
図２は、カメラ１０１のハードウェア構成を示す図である。ＣＰＵ２０１は、ＲＯＭ２０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。なお、後述するカメラ１０１の機能や処理は、ＣＰＵ２０１がＲＯＭ２０２等に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。撮像部２０４は、ＣＭＯＳセンサやＣＣＤセンサ等の固体撮像素子と、雲台とを有し、パン、チルト、ズームを変化させて映像（画像）を撮像する。表示部２０５は、各種情報を表示する。入力部２０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部２０７は、ＨＴＴＰやＴＣＰ／ＩＰ等の通信方式に基づき、ネットワーク１０５を介して外部装置との通信処理を行う。
【００１２】
図３は、カメラ１０１のソフトウェア構成を示す図である。映像取得部３０１は、撮像部２０４から撮像データを取得する。ここで撮像データとは、撮像部２０４により撮像された映像と、その映像の撮像時の撮像部２０４の姿勢情報（パン値、チルト値、ズーム値）を含むデータである。符号化部３０２は、映像取得部３０１から撮像データを受け取り、映像を適当な符号化方式で符号化する。ここで符号化方式としてはＪＰＥＧやＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４等の方式がある。符号化された映像は、通信処理部３０３により、通信部２０７を経由して外部に送信される。通信処理部３０３は、外部装置との間でデータの送受信を行う。通信処理部３０３は例えば、入力装置１０４においてユーザから入力された情報を、通信部２０７を介して受信する。
【００１３】
検出部３０４は、映像取得部３０１が取得した撮像データに含まれる映像を受け取る。そして、検出部３０４は、既知のパターン認識や機械学習の各種手法を利用し、映像に含まれる各フレーム画像から特定物体の領域を検出する。ここで、特定物体とは、顔や人体の全体又はその一部等予め定められた物体である。本実施形態においては、人の顔が特定物体として予め定められているものとする。また、追尾対象が自動車である場合には、特定物体は、車のナンバープレート等であってもよい。
【００１４】
カメラ１０１のＲＡＭ２０３等にこの特定物体を検出するために必要な、特定物体の物体種別に固有の特徴を示す情報が予め記憶されているものとする。検出部３０４は、例えば、画像の大きさを変更しながら照合パターンを画像全域に用いて複数の局所パターンを抽出し、それぞれの局所特徴量を算出する。そして、検出部３０４は、局所特徴量に重み付けを行った結果の総和から特定物体であるかを判定する。本処理については、特開２００９−２１１３１１号公報を参照することができる。
【００１５】
特定物体追尾部３０５は、特定物体の領域の追尾を行う。具体的には、特定物体追尾部３０５は、映像において時間的に連続する複数のフレーム画像それぞれにおいて検出された特定物体の領域の対応付けを行う。対応付け処理は、各フレーム画像の特定物体の領域の検出結果のうち、同一の特定物体に対応する検出結果同士をペアリングするマッチング問題として定式化できる。特定物体追尾部３０５は、まず、複数のフレーム画像の特定物体間の類似度を、特定物体を表す図形の位置やサイズ、特定物体から抽出された特徴量など任意の値を使って定義する。次に、特定物体追尾部３０５は、最も類似度の高い検出結果の組から順番にペアを作る方法や、全体の類似度の和が最大になるようペアを作る全体最適化方法を用いて、検出結果のマッチングを決定することができる。そして、特定物体追尾部３０５は、対応付けされた特定物体の領域に対し、同一のＩＤを付与する。
【００１６】
決定部３０６は、映像取得部３０１が取得した撮像データに含まれる映像を受け取る。そして、決定部３０６は、映像中の移動物体を追尾対象として決定する。以下、追尾対象の移動物体を対象物体と称する。対象物体追尾部３０７は、対象物体の領域の位置と対象物体の領域に関連付けられた特定物体の領域の位置に基づいて、対象物体の領域の追尾を行う。関連付部３０８は、決定部３０６により決定された対象物体の領域と、検出部３０４により検出された特定物体の領域との関連付けを行う。決定部３０６、対象物体追尾部３０７及び関連付部３０８の処理の詳細については後述する。制御部３０９は、カメラ１０１のパンモータ、チルトモータ、ズームモータの制御命令を生成、発行する。
【００１７】
図４は、カメラ１０１による追尾処理を示すフローチャートである。例えば、入力装置１０４へのユーザ入力に応じて、カメラ１０１に送信されたＰＴＺ追尾開始要求を通信処理部３０３が受信すると、カメラ１０１のＣＰＵ２０１は、ＰＴＺ追尾モードを開始する。追尾処理は、ＰＴＺ追尾モードにおけるカメラ１０１の処理である。図５は、追尾処理の説明図である。図５（ａ）〜（ｄ）に示す各フレーム画像５００、５１０、５２０、５３０は、映像に含まれる連続するフレーム画像である。フレーム画像５００、５１０、５２０、５３０の配列順は、撮像順に対応する。すなわち、フレーム画像５００、５１０、５２０、５３０は、時系列に沿って得られた複数の画像の一例である。なお、図５（ａ）〜（ｄ）の各フレーム画像の右に示す座標については後述する。
【００１８】
図４のＳ４００において、映像取得部３０１は、撮像部２０４により撮像されたフレーム画像（入力画像）を１枚取得する。Ｓ４００において取得したフレーム画像が、Ｓ４０１以降の処理の処理対象となる。以下、処理対象のフレーム画像を対象フレーム画像と称する。なお、追尾処理は、ループ処理である。例えば、図５に示す４枚のフレーム画像を含む映像を処理対象とする場合には、映像取得部３０１は、１回目のＳ４０１の実行時にフレーム画像５００を取得し、２回目のＳ４０１の実行時にはフレーム画像５１０を取得する。このように、映像における配列順（撮像順）に、フレーム画像を１枚ずつ取得する。
【００１９】
次に、Ｓ４０１において、検出部３０４は、既知のパターン認識や機械学習の各種手法を利用し、対象フレーム画像から特定物体の領域を検出する。なお、本実施形態においては、検出部３０４は、人の頭部を特定物体として、特定物体の領域を検出するものとする。図５の例においては、図５（ａ）のフレーム画像５００には特定物体は存在しないため、特定物体の領域は検出されない。図５（ｂ）のフレーム画像５１０からは、特定物体の領域５１２、５１３が検出される。図５（ｃ）のフレーム画像５２０からは、特定物体の領域５２２、５２３が検出される。図５（ｄ）のフレーム画像５３０からは、特定物体の領域５３２、５３３が検出される。
【００２０】
次に、Ｓ４０２において、特定物体追尾部３０５は、時間的に連続するフレーム画像間において、対応する特定物体の領域同士の対応付け処理を行う。例えば、図５の例において、図５（ｂ）のフレーム画像５１０が対象フレーム画像であるとする。この場合、直前のフレーム画像５００に、特定物体の領域５１２、５１３に対応する特定物体の領域が存在しないため、特定物体追尾部３０５は、各特定物体の領域５１２、５１３に新規の特定物体ＩＤを割り当てる。図５（ｂ）の例では、特定物体の領域５１２には、特定物体ＩＤ「１」が付与され、特定物体の領域５１３には、特定物体ＩＤ「２」が付与される。
【００２１】
また、図５（ｃ）のフレーム画像５２０が対象フレーム画像であるとする。この場合、直前のフレーム画像５１０に特定物体の領域５２２、５２３が存在している。このため、フレーム画像５２０の特定物体の領域５２２、５２３に対し、それぞれに対応するフレーム画像５１０の特定物体の領域５１２、５１３の特定物体ＩＤと同じ特定物体ＩＤ、すなわち「１」、「２」を割り当てる。このように、同一の特定物体に係る領域に同じ特定物体ＩＤを割り当てることにより、特定物体の領域同士を対応付けることができる。同様に、図５（ｄ）の特定物体の領域５３２、５３３には、それぞれ特定物体ＩＤ「１」、「２」が割り当てられる。
【００２２】
図４に戻り、Ｓ４０２の処理の後、ＣＰＵ２０１は、処理をＳ４０３へ進める。Ｓ４０３において、ＣＰＵ２０１は、追尾対象となる移動物体が既に決定されているか否かを確認する。ＣＰＵ２０１は、追尾対象が決定済みの場合には（Ｓ４０３でｙｅｓ）、処理をＳ４０６へ進める。ＣＰＵ２０１は、追尾対象が決定されていない場合には（Ｓ４０３でｎｏ）、処理をＳ４０４へ進める。例えば、ＰＴＺ追尾モードが開始した直後はまだ追尾対象が決定していないため、処理はＳ４０４へ進むことになる。
【００２３】
Ｓ４０４において、決定部３０６は、対象フレーム画像に、追尾対象の移動物体が存在するか否かを確認する。決定部３０６は、対象フレーム画像に追尾対象の移動物体が存在した場合には（Ｓ４０４でｙｅｓ）、処理をＳ４０５へ進める。Ｓ４０５において、決定部３０６は、追尾対象の移動物体の領域を、対象物体の領域として決定する。具体的には、決定部３０６は、自動的に移動物体を検出する。決定部３０６は、例えばフレーム間差分と呼ばれる、時間的に隣り合うフレーム画像の差を取る手法を用いることで、動き領域を検出する。そして、決定部３０６は、多くの動き領域を含む矩形領域を対象物体の領域として検出する。図５の例では、図５（ａ）に示すように、人物の足が最初にフレーム画像に現れるため、人物の足を含む矩形領域５０１が、対象物体の領域として決定されている。決定部３０６は、対象フレーム画像に追尾対象の移動物体が存在しなかった場合には（Ｓ４０４でｎｏ）、処理をＳ４１２へ進める。
【００２４】
他の例としては、決定部３０６は、ユーザが入力装置１０４を通じて、明示的に移動物体を指定した場合に、追尾すべき移動物体が存在すると判断してもよい。ユーザが追尾したいと考える物体の近くで、入力装置１０４の一例であるマウスをクリックすると、決定部３０６は、クリックに係る情報を、通信処理部３０３を介して取得する。この場合、決定部３０６は、追尾すべき移動物体が存在すると判断する。そして、決定部３０６は、この情報に基づいて、例えばクリックされた座標を中心とした一定のサイズの矩形領域を対象物体の領域として決定する。
【００２５】
また、Ｓ４０６において、ＣＰＵ２０１は、対象物体の領域に対し特定物体の領域が関連付けられているか否かを確認する。ＣＰＵ２０１は、対象物体の領域と特定物体の領域とを関連付ける情報が存在する場合には（Ｓ４０６でｙｅｓ）、処理をＳ４０９へ進める。ＣＰＵ２０１は、対象物体の領域と特定物体の領域とを関連付ける情報が存在しない場合には（Ｓ４０６でｎｏ）、処理をＳ４０７へ進める。
【００２６】
Ｓ４０７において、対象物体追尾部３０７は、対象フレーム画像において、対象物体の領域の追尾を行う。具体的には対象フレーム画像の前のフレーム画像までの処理において決定済みの対象物体の領域を対象フレーム画像において検出し、検出位置を特定する。対象物体追尾部３０７は、対象物体の領域の検出には、例えばテンプレートマッチングやミーンシフトなど、任意の追尾手法を利用してよい。例えば、図５の例においては、図５（ａ）のフレーム画像５００において対象物体の領域５０１に対する追尾処理により図５（ｂ）のフレーム画像５１０において領域５１１が対象物体の領域として検出され、この位置が特定される。同様に、図５（ｃ）のフレーム画像５２０においては領域５２１、図５（ｄ）のフレーム画像５３０においては領域５３１が、それぞれ対象物体の領域として検出され、これらの位置が特定される。
【００２７】
次に、Ｓ４０８において、関連付部３０８は、対象物体の領域に新たに関連付ける特定物体の領域が存在するか否かを判定する。関連付部３０８はこのとき、対象物体の追尾処理の結果得られた対象物体の位置と、特定物体の追尾処理の結果得られた、特定物体の位置と、を参照する。以下、Ｓ４０８における処理について図５を参照しつつ説明する。図５(ａ)〜（ｄ）のフレーム画像５１０〜５３０の右に記載された座標系は、対象物体の中心を原点とする直交座標系である。これらの直交座標系において、フレーム画像の横方向をｘ軸（右向きを正）、縦方向をｙ軸（上方向を正）とし、対象物体の領域の中心を原点としている。これらの直交座標系によって、特定物体の領域の相対位置を数値化することができる。ここで、対象物体の領域の縦幅及び横幅のうち、大きな方を長さ１．０と定めることとする。また、図中、各座標系において、特定物体の領域に相当する枠５１２、５１３、５２２、５２３、５３２、５３３内に示される数字は、特定物体ＩＤである。
【００２８】
関連付部３０８は、対象物体の領域と特定物体の領域との位置関係に係る関連付条件に従い、特定物体の領域を対象物体の領域に関連付けるか否かを判定する。なお、関連付条件は、予めＲＡＭ２０３等の記憶部に設定されているものとする。本実施形態においては、関連付条件は、以下の２つの条件を含むものとし、関連付部３０８は、特定物体の領域が２つの条件の両方を満たす場合に、この特定物体の領域を対象物体の領域に関連付けると判定する。
【００２９】
１つ目の条件は、対象物体の領域と特定物体の領域との距離が距離閾値未満の状態が判定期間の間、継続することである。２つ目の条件は、判定期間における、対象物体の領域の位置を基準とした特定物体の領域の相対位置の変化量の最大値（以下、最大位置変化量）が変化量閾値未満であることである。ここで、判定期間は、フレーム数で定められていてもよく、また、経過時間で定められていてもよい。また、判定期間は、連続するある期間でもよいし、連続するある期間のうちのある所定の割合を占める期間でもよい。例えば、「連続する５フレーム」や「連続する５フレームのうち４フレーム以上」を判定期間とできる。以下では、連続する３フレームを判定期間として説明する。
【００３０】
１つ目の条件についてさらに説明する。対象物体の領域と特定物体の領域との距離は、例えばそれぞれの中心座標のユークリッド距離で定義できる。例えば、この距離が一定以下、例えば２．５以下の特定物体の領域のみ、１つ目の条件を満たす特定物体の領域とする。特定物体の領域５１２、５１３、５２２、５２３、５３２、５３３のいずれも対象物体の領域との距離が２．５以下であるとする。この場合には、すべての特定物体の領域５１２、５１３、５２２、５２３、５３２、５３３が、１つ目の条件を満たす。
【００３１】
２つ目の条件についてさらに説明する。対象物体の領域の位置を基準とした特定物体の領域の相対位置は、特定物体の領域の中心点の、先述した直交座標におけるｘ、ｙ座標により定義される。特定物体ＩＤ「１」の特定物体５１２、５２２、５３２のｘ、ｙ座標が、それぞれ（−０．１，１．２）、（−０．１，１．３）、（０，１．１）であるとする。また、特定物体ＩＤ「２」の特定物体の領域５１３、５２３、５３３のｘ、ｙ座標が、それぞれ（１．８，１．６）、（１．０，０．８）、（０．４，−０．４）であるとする。この場合、最大位置変化量は、例えば、判定期間に出現する、同一の特定物体ＩＤの特定物体の領域のうちの２つの間のユークリッド距離の最大値として定義できる。
【００３２】
例えば、図５（ｂ）、（ｃ）、（ｄ）のフレーム画像５１０、５２０、５３０における特定物体ＩＤ「１」の特定物体の領域の最大位置変化量は、特定物体の領域５２２と特定物体の領域５３２との間のユークリッド距離０．２２となる。同様に、図５の（ｂ）、（ｃ）、（ｄ）のフレーム画像５１０、５２０、５３０における特定物体ＩＤ「２」の特定物体の領域の最大位置変化量は、特定物体の領域５１３と特定物体の領域５３３との間のユークリッド距離１．８４となる。例えば最大位置変化量が０．７以下の特定物体の領域のみ、２つ目の条件を満たすとすると、特定物体ＩＤ「１」の特定物体の領域は２つ目の条件を満たすが、特定物体ＩＤ「２」の特定物体の領域は２つ目の条件を満たさない。
【００３３】
以上のことから、図５（ｄ）のフレーム画像５３０が対象フレーム画像に設定されている場合には、特定物体ＩＤ「１」の特定物体の領域５３２が対象物体の領域に関連付くと判定される。一方で、特定物体ＩＤ「２」の特定物体の領域５３３は対象物体の領域に関連付けられないと判定される。
【００３４】
このように、関連付部３０８は、対象物体の領域と、特定物体の領域と、の位置の関係に係る条件を参照することにより、対象物体の領域と特定物体の領域との関連付けを適切に行うことができる。また、関連付部３０８は、必ずしも特定物体の領域と対象物体の領域とが重畳していなかったとしても、特定物体の領域を対象物体の領域に関連付けるか否かを適切に判定することができる。なお、Ｓ４０８の処理は、特定物体の物体領域を対象物体の物体領域に関連付けるか否かを決定する決定処理の一例である。
【００３５】
図４に戻り、Ｓ４０８において、関連付部３０８は、対象物体の領域に新たに関連付ける特定物体の領域が存在すると判定した場合には（Ｓ４０８でｙｅｓ）、処理をＳ４０９へ進める。関連付部３０８は、新たに関連付ける特定物体の領域が存在しないと判定した場合には（Ｓ４０８でｎｏ）、処理をＳ４１２へ進める。
【００３６】
Ｓ４０９において、関連付部３０８は、Ｓ４０８において関連付けると判定された特定物体の領域を対象物体の領域に関連付ける。関連付部３０８は、例えば、対象物体の領域と、特定物体の領域の特定物体ＩＤとを対応付けた関連付け情報を生成し、これをＲＡＭ２０３等に格納する。図５（ｄ）のフレーム画像５０３においては、対象物体の領域５３１と、特定物体ＩＤ「１」の特定物体の領域５３２とが関連付けられる。以下、対象物体の領域に関連付けられた特定物体の領域を関連物体の領域と称する。
【００３７】
また、Ｓ４１０においては、対象物体追尾部３０７は、対象物体の領域の位置及び関連物体の領域の位置に基づいて、対象物体の領域の追尾を行う。なお、追尾処理には、任意の方法を用いることができる。１つ目の方法は、関連物体の領域の位置に基づいて、対象物体の領域を追尾する方法である。対象物体追尾部３０７は、Ｓ４０２における追尾結果に基づいて、関連物体と同じ特定物体ＩＤの特定物体の領域を特定し、関連物体の領域の位置を更新する。そして、対象物体追尾部３０７は、対象物体の領域と関連物体の領域の関連付けを行ったときの対象物体の領域と関連物体の領域との位置関係は不変と仮定することで、対象物体の領域の位置を、関連物体の領域の位置から求めることができる。
【００３８】
２つ目の方法は、対象物体の領域の位置及び関連物体の領域の位置の両方に基づいて、対象物体の領域を追尾する方法である。ここで、対象物体追尾部３０７は、Ｓ４０７の処理と同様の処理で対象物体の領域の追尾を行う。対象物体追尾部３０７はまた、１つ目の方法で述べた方法と同様の処理で、関連物体の領域の追尾を行う。そして、対象物体追尾部３０７は、２つの追尾結果を統合することで、対象物体の領域の位置を決定する。対象物体追尾部３０７は、具体的には、それぞれの追尾結果のうち、追尾の自信度が高い方の結果を採用することで対象物体の領域の位置を決定してもよいし、それぞれの追尾結果で求めた対象物体の位置の中間値をとって対象物体の位置としてもよい。ここで追尾の自信度は、追尾の成功確率を表すスコアを意味する。
【００３９】
なお、対象物体追尾部３０７は、Ｓ４１０において算出された追尾の信頼度が閾値以下の場合には、追尾対象を未決定の状態に戻す。なお、Ｓ４０７においても、対象物体追尾部３０７は、同様に、追尾の信頼度を算出し、算出された追尾の信頼度が閾値以下の場合には、追尾対象を未決定の状態に戻す。
【００４０】
次に、Ｓ４１１において、関連付部３０８は、対象物体の領域と特定物体の領域との関連付けの情報を更新する。例えば、複数のフレーム画像において、関連物体の領域が連続して消失した場合には、関連付部３０８は、対象物体の領域と関連物体の領域としての特定物体の領域との関連付けを解消する。具体的には、関連付部３０８は、関連付け情報において、対象物体の領域に対応付けられている関連物体の領域としての特定物体の領域の特定物体ＩＤを削除する。
【００４１】
次に、Ｓ４１２において、制御部３０９は、Ｓ４０７又はＳ４１１において特定した対象物体の領域の位置に基づいて、対象物体が画像の中心付近に表示され続けるように、カメラ１０１のパン、チルト及びズームを制御する。具体的には、制御部３０９は、パンモータ、チルトモータ及びズームモータそれぞれの制御命令を生成し、これを撮像部２０４に送る。
【００４２】
さらに、関連物体の領域が存在する場合には、Ｓ４１２において、制御部３０９は、関連物体の領域の位置に基づいて、対象物体が画像の中心付近に表示され続けるように、カメラ１０１のパン、チルト及びズームを制御してもよい。なお、本実施形態においては、制御部３０９は、パン、チルト及びズームのすべてを制御することとしたが、制御部３０９は、パン、チルト及びズームのうち少なくとも１つを制御対象とすればよい。本処理は、関連物体としての物体領域の位置に基づいて、撮像方向及び撮像画角のうち少なくとも一方を制御する制御処理の一例である。
【００４３】
また、他の例としては、関連物体の領域が存在する場合には、関連物体の領域の位置及び大きさに基づいて、対象物体の領域の位置及び大きさを推定することができる。そこで、制御部３０９は、この推定結果に基づいて、例えば、対象物体が画像において一定の大きさで写るように、カメラ１０１のズームを制御してもよい。
【００４４】
次に、Ｓ４１３において、ＣＰＵ２０１は、入力装置１０４へのユーザ入力に応じて、送信されたＰＴＺ追尾開始要求を通信処理部３０３が受信したか否かを確認する。ＣＰＵ２０１は、ＰＴＺ追尾開始要求を受信した場合には（Ｓ４１３でｙｅｓ）、追尾処理を終了する。ＣＰＵ２０１は、ＰＴＺ追尾開始要求を受信しなかった場合には（Ｓ４１３でｎｏ）、処理をＳ４００へ進める。
【００４５】
以上のように、本実施形態に係る追尾システムにおいては、対象物体の領域に対し適切な物体の領域を自動的に関連付けることができる。また、画像において対象物体の領域に重畳していない物体の領域についても、対象物体の領域に関連付けることができる。また、画像上に対象物体の領域に関連付け得る複数の特定物体の領域が存在する場合においても、適切な特定物体の領域を選択し、これを対象物体の領域に関連付けることができる。このように、画像中の複数の物体の領域を適切に関連付けることができる。
【００４６】
さらに、ＰＴＺ追尾において、対象物体の領域と特定物体の領域とを関連付けることで、追尾精度を向上させることができる。対象物体の領域の追尾は、画像から抽出した色やエッジなどの見た目の情報を用いて行われる。このため、対象物体の外観の変化や照明変動などの要因があると失敗しやすい。一方、対象物体の領域の代わりに、対象物体の領域に関連付けられた特定物体の領域を追尾したり、対象物体の領域の追尾と関連物体の領域の追尾を同時に行い、その結果を統合したりすることで、より高精度に追尾を行うことができる。
【００４７】
また、対象物体の領域と特定物体の領域とを関連付けることで、適切なＰＴＺ制御を行うことができる。関連物体の領域の画面上の位置及び大きさにより、対象物体の領域の位置及び大きさを推定できる。そこで、推定結果をもとに、例えば、対象物体が画面上に一定の大きさで映るようにズームを制御したり、対象物体の重要な部位を画面中心に映すようにパン、チルトを制御したりすることができる。
【００４８】
本実施形態の第１の変更例としては、関連付部３０８は、映像中に表れる特定物体の領域の数に応じて、関連付条件を決定（変更）してもよい。関連付部３０８は、例えば、特定物体の領域の出現数が多いほど、判定期間を長くしてもよい。本処理は、判定期間を変更する期間変更処理の一例である。また、関連付部３０８は、特定物体の領域の出現数が多いほど、１つ目の条件及び２つ目の条件を、特定物体の領域が対象物体の領域に関連付き難い条件に変更してもよい。この変更により、対象物体の領域に関連付けられる可能性のある特定物体の領域が複数存在している場合には、特定物体の領域との関連性がより高い特定物体の領域のみを対象物体の領域に関連付けることができる。
【００４９】
また、第２の変更例としては、関連付部３０８は、実施形態において説明した関連付条件の判定期間を適宜変更してもよい。例えば、関連付部３０８は、対象物体の領域と特定物体の領域との間の距離、または、対象物体の領域と特定物体の領域とが重畳する面積に基づいて、判定期間を変更してもよい。関連付部３０８は例えば、対象物体の領域と特定物体の領域との間の距離が閾値未満の場合には、距離が閾値以上の場合の判定期間に比べてより短い期間を判定期間としてもよい。また、関連付部３０８は、対象物体の領域と特定物体の領域とが重畳する領域の面積の大きさが閾値以上の場合に、大きさが閾値未満の場合の判定期間に比べてより短い期間を判定期間としてもよい。本処理は、判定期間を変更する期間変更処理の一例である。
【００５０】
また他の例としては、関連付部３０８は、対象物体の領域と特定物体の領域の少なくとも一方に含まれる領域又は対象物体の領域と特定物体の領域を包含する最小の外接矩形を基準とする。そして、関連付部３０８は、基準の面積に対する、対象物体の領域と特定物体の領域とが重畳する面積の割合が大きい場合に、判定期間をより短い期間に変更してもよい。
【００５１】
また、第３の変更例としては、関連付条件は、実施形態に限定されるものではない。例えば、関連付部３０８は、上記１つ目の条件、２つ目の条件に加えて３つ目の条件を満たす場合に、特定物体の領域を関連付けることとしてもよい。ここで、３つ目の条件は、対象物体の領域の面積を基準とした特定物体の領域の面積の変化量（以下、最大面積変化量）が所定の範囲であるという条件である。この３つ目の条件を加えることにより、対象物体の領域に対して面積が大きく変動する特定物体の領域を、関連付けの候補から除くことができる。
【００５２】
また、第４の変更例としては、本実施形態においては、物体間の距離を、２次元画像上の物体の位置に従って定義したが、距離の計算方法はこれに限定されるものではない。例えば、カメラ１０１を中心とした球面を考える。カメラ１０１を端として物体とを結ぶ半直線と、球面との交点を物体の座標と定義すると、物体の座標は、経度及び緯度により唯一に定まる。物体の経度及び緯度は、映像撮像時の撮像部２０４の姿勢情報と、物体の映像上の位置の情報と、から算出可能である。このように、他の例としては、カメラ１０１は、２次元座標の代わりに、経度および緯度に基づき、物体間の距離を定義してもよい。
【００５３】
第５の変更例としては、Ｓ４０９において関連付けを行った後、決定部３０６は、対象物体の領域を変更してもよい。決定部３０６は、例えば、対象物体の領域の中心が関連付けられた特定物体の領域の中心と同じになるように、対象物体の領域を変更してもよい。本処理は、対象物体の物体領域を変更する領域変更処理の一例である。
【００５４】
第６の変更例としては、追尾処理は、カメラ１０１以外の装置が行ってもよい。例えば、カメラ１０１の制御装置がカメラ１０１と別装置として存在する場合において、制御装置が追尾処理を実行してもよい。この場合、制御装置は、カメラ１０１により撮影された映像をリアルタイムに受信し、受信した映像に対して、追尾処理を実行し、ＰＴＺ制御により生成したパン、チルト及びズームの制御命令をカメラ１０１に送信する。また、他の例としては、録画装置１０２が追尾処理を行ってもよい。この場合、録画装置１０２は、カメラ１０１から受信した映像に対しリアルタイムに追尾処理を行ってもよく、不図示の記憶部に録画された映像に対し追尾処理を行ってもよい。また録画装置１０２が追尾処理を行う場合には、ＰＴＺ制御処理（Ｓ４１２）は省略してもよい。
【００５５】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００５６】
（その他の実施形態）
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００５７】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５８】
１００  追尾システム
１０１  カメラ
１０２  録画装置
１０３  表示装置
２０１  ＣＰＵ
２０４  撮像部
【図１】
0006755713.tif 000002
【図２】
0006755713.tif 000003
【図３】
0006755713.tif 000004
【図４】
0006755713.tif 000005
【図５】
0006755713.tif 000006