(57)【要約】【課題】  撮像手段により得られる画像信号に基づいて画像中の物体を追跡する物体追跡方法で、撮像手段を効果的に制御する。【解決手段】  画像中における前記物体の特徴量を検出する画像中物体検出ステップと、前記検出結果に基づいて前記撮像手段の撮像レンズを制御する撮像レンズ制御ステップと、前記検出結果に基づいて前記画像の部分画像を設定する部分画像設定ステップと、前記設定された部分画像を所定の大きさに拡大する画像拡大ステップとを備えるようにした。【選択図】  図１
2005100388.tif 000002
【特許請求の範囲】
【請求項１】
撮像方向とズーム量が制御可能な撮像手段を用いて物体を追跡する物体追跡方法であって、
前記撮像手段から得られた入力画像内の前記物体の画像の特徴量を少なくとも１つ検出し、
前記物体の追跡のため、前記検出された特徴量に基づいて前記撮像手段を制御し、
前記検出された特徴量に基づいて前記入力画像内に前記物体の画像を含む部分領域の範囲を設定し、
前記設定された部分領域の範囲の画像を拡大する、
ことを特徴とする物体追跡方法。
【請求項２】
請求項１に記載の物体追跡方法において、
前記少なくとも1つの特徴量は、前記物体の画像の位置、大きさ、移動量の少なくともいずれかを含む、
ことを特徴とする物体追跡方法。
【請求項３】
請求項２に記載の物体追跡方法において、
前記物体の画像の位置に基づいて前記部分領域の範囲の位置を設定し、
前記物体の画像の大きさに基づいて前記部分領域の範囲の大きさを設定する、
ことを特徴とする物体追跡方法。
【請求項４】
請求項３に記載の物体追跡方法において、
前記部分領域の範囲の大きさと所定の画像表示サイズとに基づいて設定した拡大率で、前記部分領域の範囲の画像を拡大する、
ことを特徴とする物体追跡方法。
【請求項５】
請求項３に記載の物体追跡方法において、
前記物体の画像の大きさに基づいて前記撮像手段の撮像レンズのズーム量の上限を設定し、前記部分領域の範囲の大きさは、前記入力画像の大きさの予め設定した１より小さい割合以下になるように設定される、
ことを特徴とする物体追跡方法。
【請求項６】
請求項２に記載の物体追跡方法において、
前記物体の画像の移動量に依存して前記撮像手段のズーム量を変える、
ことを特徴とする物体追跡方法。
【請求項７】
請求項２に記載の物体追跡方法において、
前記物体の画像の大きさに依存して前記撮像手段のズーム量を変える、
ことを特徴とする物体追跡方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像される画像中の物体を追跡する物体追跡方法に関し、特に、撮像を行う撮像レンズを効果的に制御する技術に関する。
【背景技術】
【０００２】
例えば、ＴＶカメラ（テレビジョンカメラ）などの撮像装置を用いた遠隔モニタ方式の監視システムは、従来から広く用いられているが、その多くは、監視員がモニタに表示される画像を見ながら監視を行う、いわゆる有人監視方式の監視システムである。有人監視方式の監視システムでは、監視員が常時モニタに表示される映像を見ていて、監視対象領域内に入り込んでくる人間や自動車などの侵入物体をリアルタイムで識別する必要があり、監視員に大きな負担がかかる。
【０００３】
すなわち、人間の集中力には限りがあるため、有人監視方式の監視システムでは、侵入物体の見逃しの発生が無視できず、信頼性の面で問題がある。また、監視カメラの爆発的な普及によって、監視員一人が数多くのＴＶカメラ映像を複数のモニタで監視する場面も多くなっており、複数のＴＶカメラで同時に侵入物体を捉えた場合にも侵入物体の見逃しが発生する可能性がある。
【０００４】
そこで、このような人による監視ではなく、ＴＶカメラで撮像された画像から画像処理により侵入物体を自動的に検出し、当該侵入物体の画像を画面の中央に捉えるようにＴＶカメラを搭載するカメラ雲台（旋回台）を制御して視野方向及び画角を自動的に調節し、所定の報知や警報処置が得られるようにした、いわゆる自動追跡方式の監視システムが、近年、強く要求されるようになってきている。
【０００５】
ところで、このようなシステムの実現には、所定の監視方式を用い、侵入物体と見なすべき監視対象物体を画像信号から検出し、該侵入物体の動きを検出する機能が必要となる。このような侵入物体検出を行う監視方式の一例に差分法と呼ばれる方法があり、従来から広く用いられている。差分法とは、ＴＶカメラより得られた入力画像と予め作成した基準背景画像、すなわち、検出すべき物体の写っていない画像とを比較し、画素毎に輝度値の差分を求め、その差分値の大きい領域を物体として検出するものである。また、差分法の応用例も検討されている（例えば、特許文献１参照。）。
【０００６】
更に、侵入物体の移動量検出を行う監視方式の一例にテンプレートマッチング法と呼ばれる方法があり、差分法と同様に従来から広く用いられている。テンプレートマッチング法とは、差分法などによって検出された侵入物体の画像をテンプレートとして登録し、逐次入力される画像の中でテンプレート画像ともっとも似ている位置を検出する（例えば、非特許文献１参照。）。通常、テンプレートマッチングを用いて対象物体を追跡する場合、対象物体の姿勢の変化に追従するため、マッチング処理によって検出された対象物体の位置の画像を新たにテンプレートとして逐次更新する。
【特許文献１】特開平９−７３５４１号公報
【非特許文献１】田村秀行監修、「コンピュータ画像処理入門」、総研出版、１９８５年、ｐ.１４９―１５３
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、物体追跡方式の監視システムでは、機械式／光学式追跡と呼ばれる、カメラ雲台及び撮像レンズの機械的及び／又は光学的な制御を伴うシステムが存在する。しかしながら、監視システムのＭＰＵ（Micro Processing Unit）等の処理装置がカメラ雲台の制御もしくは撮像レンズの制御を必要だと判断した場合に、実際に制御が開始されるまでに遅れ時間が生じる。また、カメラ雲台及び撮像レンズの制御時間（目的とするカメラ雲台の位置や撮像レンズの焦点距離に制御を完了するまでの時間）は数秒に及ぶ場合があり、その間に処理装置により複数フレームの入力画像の処理が実行される。
【０００８】
この様子を図７を参照して、具体的に説明する。図７は、ある時刻ｔ１に検出された人型の侵入物体８０１ａをズームインしながら追跡する例である。なお、同図では、入力画像８０１を取得した時刻をｔ１と表し、所定の時間間隔（例えば、１００ｍｓ）で逐次入力する入力画像の取得時刻を、入力順に（ｔ１＋１）、（ｔ１＋２）、・・・と表す。
【０００９】
まず、時刻ｔ１で得られた入力画像８０１中の侵入物体８０１ａを差分法によって検出する。侵入物体の画像はテンプレート８０１ｂとして登録される。そして、侵入物体８０１ａは入力画像８０１の中央から左側に存在するため、雲台制御インタフェース手段を介してカメラ雲台を左側に回転（パン）させる命令を送信し、さらに侵入物体の画像の大きさを所定の大きさ（例えば、画面の縦８０％）にするためレンズ制御インタフェース手段を介して撮像レンズの焦点距離を長くする命令を送信する。
【００１０】
次に、時刻（ｔ１＋１）で得られた入力画像８０２に対してテンプレートマッチング法を適用して侵入物体８０２ａを検出し、その画像をテンプレート８０２ｂとして更新する。この時、時刻ｔ１でカメラ雲台及び撮像レンズで送信した命令の動作は完了していない。この場合、再度カメラ雲台及び撮像レンズに対して制御命令を送信する。
【００１１】
次に、時刻（ｔ１＋２）で得られた入力画像８０３に対してテンプレートマッチング法を適用して侵入物体８０３ａを検出し、その画像をテンプレート８０３ｂとして更新する。ここでは、侵入物体８０３ａは画面の中央に位置しており、カメラ雲台の制御は完了する。しかし、入力画像上の侵入物体の大きさは目標とする所定の大きさに達していない。従って、再々度、撮像レンズに対して制御命令を送信する。
【００１２】
次に、時刻（ｔ１＋３）で得られた入力画像８０４に対してテンプレートマッチング法を適用して侵入物体８０４ａを検出し、その画像をテンプレート８０４ｂとして更新する。この時点では、入力画像上の侵入物体の大きさは目標とする所定の大きさに達したため、撮像レンズの制御は完了する。
【００１３】
このようにして、処理装置の侵入物体の検出結果とカメラ雲台及び撮像レンズの制御には遅れが生じてしまい、この応答性の低さによって監視領域内の侵入物体の動きにカメラ雲台、或いは、撮像レンズが追随できなくなる場合があり、その場合には侵入物体を撮像装置の視野内に捉えなくなるため、物体追跡性能を高くすることが難しい。この問題は、撮像レンズの焦点距離が長い場合（ズームインしている場合）に顕著に現れるため、機械式／光学式追跡を行う際には、撮像レンズの焦点距離を小さく設定しての監視が要求される。
【００１４】
以上のような問題に対して、カメラ雲台及び撮像レンズの制御を行わずに入力画像の一部を電子的に拡大して追跡する電子式追跡と呼ばれる物体追跡方法がある。この方法は、入力画像の一部を切り出して拡大するため、切り出し位置を調整すれば擬似的なカメラ雲台の制御を実現できる。さらに、機械的な制御を伴わないため、先に説明した機械式／光学式追跡のように制御する機器の応答性の低さを解決でき、安定な追跡が行える。しかし、この方法は、入力画像の一部を切り出して拡大するため、入力画像の解像度が低い場合、拡大した画像はブロック状（モザイク状）の画像となってしまうという問題がある。
【００１５】
この問題を図８を参照して、具体的に説明する。図８は、図７で説明した例と同じ時刻ｔ１での入力画像９０１（入力画像８０１と同じ）を処理した結果を表している。図８において、入力画像９０１に対して電子的追跡を実行すると、入力画像９０１の部分画像９０１ｃを電子的に拡大したブロック状の画像９０２が画像モニタに表示される。同図において、画像９０２に示すように、電子的な拡大率が高くなると、侵入物体の細かな表情などの情報は得られなくなってしまう。さらに、電子式追跡においては、カメラ雲台及び撮像レンズの制御を行わず、監視領域全体を撮像装置で撮像しなければならないため、画角の広い撮像装置を使用する必要がある。すなわち、電子的追跡を行うためには、解像度の高い、広画角の高価な撮像装置が必要となる。
【００１６】
ここで、自動追跡方式の監視システムでは、物体追跡機能の信頼性を低下させることなく監視する対象物体をできるだけ大きくズームインして監視することが重要となる。機械式／光学式追跡では、一例として、広い範囲の監視、侵入物体の画像を高解像度で取得できるという利点があるが、一方で、一例として、カメラ雲台、撮像レンズの応答性の低さによって侵入物体を画面中央に適切な大きさで捉えるまでに時間がかかるという問題や、侵入物体が画像の外に外れてしまうと物体追跡処理が行なえなくなってしまうという問題などがある。
【００１７】
また、電子式追跡では、一例として、侵入物体を画面の中央に適切な大きさで高速に捉えられるという利点があるが、一方で、一例として、低い解像度の入力画像で拡大率を高くするとブロック状の画像になってしまい、侵入物体の細かな表情などの情報が得られなくなってしまうという問題や、広画角の撮像装置が必要になるという問題などがある。
【００１８】
本発明は、このような従来の事情に鑑み為されたもので、撮像される画像中の物体を追跡するに際して、撮像手段を効果的に制御することができる物体追跡方法を提供することを目的とする。
【課題を解決するための手段】
【００１９】
上記目的を達成するため、本発明に係る物体追跡方法は、撮像方向とズーム量が制御可能な撮像手段を用いて物体を追跡する物体追跡方法であって、前記撮像手段から得られた入力画像内の前記物体の画像の特徴量を少なくとも１つ検出し、前記物体の追跡のため、前記検出された特徴量に基づいて前記撮像手段を制御し、前記検出された特徴量に基づいて前記入力画像内に前記物体の画像を含む部分領域の範囲を設定し、
前記設定された部分領域の範囲の画像を拡大する。
【００２０】
なお、本明細書では、「追跡」という語を用いて説明を行うが、例えば、「追尾」といった語についても、同様な用語であり、本発明に包含される。また、本明細書では、「画像」という語を用いて説明を行うが、例えば、「映像」といった語についても、同様な用語であり、本発明に包含される。また、本明細書に言う画像は、例えば、時間的に連続したものについては動画像のことを言い、例えば、静止した画像については、動画像の中の１フレームの画像や、当該１フレーム中の一部の画像や、動画像とは無関係な静止した画像のことを言っている。
【００２１】
ここで、撮像手段としては、種々なものが用いられてもよく、例えば、カメラなどを用いることができる。また、画像信号としては、ＮＴＳＣ方式、ＰＡＬ方式等、種々なものが用いられてもよい。また、物体としては、人、車両、動物等、種々なものが対象として用いられてもよい。また、画像中の物体としては、例えば、画像の中に存在する対象となる物体の画像部分に相当する。
【００２２】
また、本発明に係る物体追跡方法において、前記少なくとも1つの特徴量は、前記物体の画像の位置、大きさ、移動量の少なくともいずれかを含む。
また、本発明に係る物体追跡方法において、前記物体の画像の位置に基づいて前記部分領域の範囲の位置を設定し、前記物体の画像の大きさに基づいて前記部分領域の範囲の大きさを設定する。
【００２３】
また、本発明に係る物体追跡方法において、前記部分領域の範囲の大きさと所定の画像表示サイズとに基づいて設定した拡大率で、前記部分領域の範囲の画像を拡大する。
また、本発明に係る物体追跡方法において、前記物体の画像の大きさに基づいて前記撮像手段の撮像レンズのズーム量の上限を設定し、前記部分領域の範囲の大きさは、前記入力画像の大きさの予め設定した１より小さい割合以下になるように設定される。
【００２４】
また、本発明に係る物体追跡方法において、前記物体の画像の移動量に依存して前記撮像手段のズーム量を変える。
また、本発明に係る物体追跡方法において、前記物体の画像の大きさに依存して前記撮像手段のズーム量を変える。
【００２５】
また、上記目的を達成するため、本発明に係る物体追跡装置は、撮像方向とズーム量が制御可能な撮像装置、表示装置、前記撮像装置により得られる入力画像中の物体の画像の特徴量を検出する検出部と、前記物体の追跡のため、検出された前記特徴量に基づいて前記撮像装置を制御する制御部と、前記特徴量に基づいて、前記入力画像内に前記物体を含む部分領域の範囲を設定する設定部と、前記表示装置に表示するため、前記設定された部分領域の範囲の画像を拡大する拡大部から構成される。
【００２６】
また、本発明に係る物体追跡装置において、前記特徴量は、前記物体の画像の位置、大きさ、移動量の少なくともいずれかを含むように構成される。
また、本発明に係る物体追跡装置において、前記設定部は、前記物体の画像の位置に基づいて前記部分領域の範囲の位置を設定し、前記物体の画像の大きさに基づいて前記部分領域の範囲の大きさを設定するように構成される。
【００２７】
また、本発明に係る物体追跡装置において、前記拡大部は、前記部分領域の範囲の大きさと所定の画像表示サイズとに基づいて設定した拡大率で、前記部分領域の範囲の画像を拡大するように構成される。
【００２８】
また、本発明に係る物体追跡装置において、前記制御部は、前記物体の画像の大きさに基づいて前記撮像装置の撮像レンズのズーム量の上限を設定し、前記部分領域の範囲の大きさは、前記入力画像の大きさの予め設定した１より小さい割合以下になるように設定されるように構成される。
【００２９】
また、本発明に係る物体追跡装置において、前記制御部は、前記物体の画像中の移動量に依存して撮像装置の撮像レンズのズーム量を変えることを含むように構成される。
また、本発明に係る物体追跡装置において、前記制御部は、前記物体の画像の大きさに依存して前記撮像装置のズーム量を変えるように構成される。
【００３０】
また、上記目的を達成するため、本発明に係る計算機のプログラムは、撮像方向とズーム量が制御可能な撮像装置を備えた物体追跡装置物を動作させて物体追跡を行うために以下のステップを実行する計算機のプログラムであって、前記撮像装置から得られた画像内の前記物体の画像の特徴量を少なくとも１つ検出するステップ、前記特徴量は前記物体の画像の位置、大きさ、移動量の少なくともいずれかを含み、前記物体の追跡のため、前記検出された特徴量に基づいて前記撮像装置を制御するステップ、前記検出された特徴量に基づいて前記画像内に前記物体の画像を含む部分領域の範囲を設定するステップ、前記設定された部分領域の範囲の画像を拡大するステップを備える。
【００３１】
また、本発明に係る計算機のプログラムにおいて、前記部分領域の範囲を設定するステップは、前記物体の画像の位置に基づいて前記部分領域の範囲の位置を設定すること、及び、前記物体の画像の大きさに基づいて前記部分領域の範囲の大きさを設定することを含む。
【００３２】
また、本発明に係る計算機のプログラムにおいて、前記撮像装置を制御するステップは、前記物体の画像の大きさに基づいて前記撮像装置の撮像レンズのズーム量の上限を設定することを含み、前記部分領域の範囲の大きさは、前記入力画像の大きさの予め設定した１より小さい割合以下になるように設定される。
【００３３】
また、上記目的を達成するため、本発明に係る計算機読取可能な媒体上に実現された計算機プログラムは、撮像方向とズーム量が制御可能な撮像装置を備えた物体追跡装置物を動作させて物体追跡を行うために以下のステップを実行する、計算機読取可能な媒体上に実現された計算機プログラムであって、前記撮像装置から得られた入力画像内の前記物体の画像の特徴量を少なくとも１つ検出するステップ、前記特徴量は前記物体の画像の位置、大きさ、移動量の少なくともいずれかを含み、前記物体の追跡のため、前記検出された特徴量に基づいて前記撮像装置を制御するステップ、前記検出された特徴量に基づいて前記画像内に前記物体の画像を含む部分領域の範囲を設定するステップ、前記設定された部分領域の範囲の画像を拡大するステップを備える。
【００３４】
また、本発明に係る計算機読取可能な媒体上に実現された計算機プログラムにおいて、前記部分領域の範囲を設定するステップは、前記物体の画像の位置に基づいて前記部分領域の範囲の位置を設定すること、及び、前記物体の画像の大きさに基づいて前記部分領域の範囲の大きさを設定することを含む。
【００３５】
また、本発明に係る計算機読取可能な媒体上に実現された計算機プログラムにおいて、前記撮像装置を制御するステップは、前記物体の画像の大きさに基づいて前記撮像装置の撮像レンズのズーム量の上限を設定することを含み、前記部分領域の範囲の大きさは、前記入力画像の大きさの予め設定した１より小さい割合以下になるように設定される。
【発明の効果】
【００３６】
本発明に係る物体追跡方法によると、撮像方向とズーム量が制御可能な撮像手段を用いて物体を追跡するに際して、物体の画像の特徴量に基づいて撮像手段を制御し、物体の画像を含む部分領域の範囲の画像を拡大するようにしたため、例えば、撮像手段を効果的に制御することができる。
【発明を実施するための最良の形態】
【００３７】
以下、本発明の実施例につき図面に言及して説明する。同様な部材には同様な参照符号を付す。
図２には、本発明に係る物体追跡装置を適用した画像監視装置のハードウエアの構成例を示してある。本例の画像監視装置は、撮像装置２０１と、処理装置２０２と、操作装置２０３と、外部記憶装置２０４と、画像モニタ２０５と、警告灯２０６を備えて構成されている。
【００３８】
撮像装置は、ＴＶカメラ２０１ａと、例えばズームレンズから構成された撮像レンズ２０１ｂと、例えば旋回台から構成されたカメラ雲台２０１ｃから構成されている。
処理装置２０２は、画像入力部２０２ａと、雲台制御部２０２ｂと、レンズ制御部２０２ｃと、操作入力部２０２ｄと、画像メモリ２０２ｅと、ＭＰＵ２０２ｆと、ワークメモリ２０２ｇと、外部入出力部２０２ｈと、画像出力部２０２ｉと、警報出力部２０２ｊと、データバス２０２ｋから構成されている。
【００３９】
操作装置２０３は、ジョイスティック２０３ａと、第１のボタン２０３ｂと、第２のボタン２０３ｃから構成されている。
具体的には、ＴＶカメラ２０１ａの出力は画像入力部２０２ａを介してデータバス２０２ｋと接続されており、撮像レンズ２０１ｂの制御部はレンズ制御部２０２ｃを介してデータバス２０２ｋと接続されており、ＴＶカメラ２０１ａを搭載するカメラ雲台２０１ｃは雲台制御部２０２ｂを介してデータバス２０２ｋと接続され、操作装置２０３の出力は操作入力部２０２ｄを介してデータバス２０２ｋと接続されている。
【００４０】
また、外部記憶装置２０４は外部入出力部２０２ｈを介してデータバス２０２ｋ  に接続されており、監視用の画像モニタ２０５は画像出力部２０２ｉを介してデータバス２０２ｋに接続されており、警告灯２０６は警報出力部２０２ｊを介してデータバス２０２ｋに接続されている。なお、ＭＰＵ２０２ｆとワークメモリ２０２ｇと画像メモリ２０２ｅは、直接的に、データバス２０２ｋと接続されている。
【００４１】
ここで、ＴＶカメラ２０１ａは、監視の対象となる領域を所定の視野内に捉え、監視対象領域を撮像して画像信号を出力する。このため、ＴＶカメラ２０１ａは、撮像レンズ２０１ｂを備え、カメラ雲台２０１に搭載されている。そして、ＴＶカメラ２０１ａにより撮像された画像信号は、画像入力部２０２ａからデータバス２０２ｋを介して画像メモリ２０２ｅに蓄積される。
【００４２】
外部記憶装置２０４は、プログラムやデータなどを記憶する働きをし、プログラムやデータなどが必要に応じて外部入出力部２０２ｈを介してワークメモリ２０２ｇに読み込まれ、また、反対に、プログラムやデータなどがワークメモリ２０２ｇから外部記憶装置２０４に保存される。
【００４３】
ＭＰＵ２０２ｆは、外部記憶装置２０４に保存されて処理装置２０２の動作時にワークメモリ２０２ｇに読み込まれたプログラムに従って処理を実行し、ワークメモリ２０２ｇ内で、画像メモリ２０２ｅに蓄積された画像の解析を行う。そして、ＭＰＵ２０２ｆは、当該処理結果に応じて、レンズ制御部２０２ｃを介して撮像レンズ２０１ｂを制御することや、雲台制御部２０２ｂを介してカメラ雲台２０１ｃを制御することを行い、ＴＶカメラ２０１ａの撮像視野を変えるとともに、必要に応じて画像モニタ２０５に侵入物体を検出した結果の画像を表示し、警告灯２０６を点灯させる働きをする。
【００４４】
なお、上記した画像監視装置については、撮像装置201や、処理装置202等の構成及びこれらの接続形式は、以上の実施例に限られるものではない。例えば、撮像装置201と処理装置202がインターネット等のネットワークを介して接続されるような構成や、ＴＶカメラ２０１aにより撮像された画像信号をデジタル圧縮処理した画像データが処理装置２０２に入力されるような構成等を用いることが可能である。
【００４５】
図１は、本例の画像監視装置により行われる、差分法及びテンプレートマッチング法を用いた物体追跡処理の手順の一例を示す。図１に言及して、この物体追跡処理を説明する。
【００４６】
まず、初期化処理ステップ１０１では、物体追跡処理を実行するための画像メモリ２０２ｅ、ワークメモリ２０２ｇ等の初期化を行う。
次に、差分法による侵入物体の検出処理１０２（ステップ１０２ａ〜ステップ１０２ｅ）を行う。
【００４７】
すなわち、第１の画像入力処理ステップ１０２ａでは、ＴＶカメラ２０１ａから、例えば横３２０画素、高さ２４０画素の入力画像を得る。
差分処理ステップ１０２ｂでは、第１の画像入力ステップ１０２ａで得た入力画像と予め作成しておいた侵入物体の映っていない基準背景画像との間で各画素毎の輝度値の差分を計算する。
【００４８】
二値化処理ステップ１０２ｃでは、差分処理ステップ１０２ｂで得られた差分画像の画素値（差分値）が所定のしきい値Ｔｈ未満である画素の画素値を“０”とし、当該しきい値Ｔｈ以上である画素の画素値を“２５５”として二値化画像を得る。ここで、所定のしきい値Ｔｈとしては、例えば、Ｔｈ＝２０を用いている。また、１画素の画素値を８ビット（“０”〜“２５５”）で計算している。
【００４９】
ラベリング処理ステップ１０２ｄでは、二値化処理ステップ１０２ｃで得られた二値化画像中の画素値“２５５”となる画素のかたまりを検出して各々に番号を付けて区別できるようにする。
【００５０】
侵入物体存在判定処理ステップ１０２ｅでは、ラベリング処理ステップ１０２ｄで番号付けされた画素値“２５５”となる画素のかたまりが所定の条件を満たした場合に、監視対象領域内に侵入物体が存在すると判定する。ここで、所定の条件としては、例えば、横が２０画素以上で高さが５０画素以上の大きさであるといった条件が用いられる。
【００５１】
そして、侵入物体存在判定処理ステップ１０２ｅで侵入物体が存在すると判定された場合には、警報・検出情報表示処理ステップ１０３へ移行し、侵入物体が存在しないと判定された場合には、再び上記した第１の画像入力処理ステップ１０２ａへ移行して再び差分法による処理を実行する。
【００５２】
ここで、図３を参照して、上記した侵入物体の検出処理を具体的に説明する。図３には、上記した差分法を用いて侵入物体を検出する処理の一例の概略と、後述する当該侵入物体の画像をテンプレートに登録する処理の一例の概略を模式的に示してある。
【００５３】
図３において、４０１は第１の画像入力処理ステップ１０２ａで得られた入力画像を示しており、４０２は予め作成し画像メモリ２０２ｅに記録しておいた基準背景画像を示している。また、４０６は差分処理ステップ１０２ｂの処理を表す減算器を示しており、４０３は差分処理ステップ１０２ｂで得られた差分画像を示しており、４０７は二値化処理ステップ１０２ｃの処理を表す二値化器を示している。また、４０４は二値化処理ステップ１０２ｃで得られた二値化画像を示している。
【００５４】
そして、減算器４０６は、入力画像４０１と基準背景画像４０２との間における画素の輝度値の差分を画素毎に計算して、差分画像４０３を出力する。次に、二値化器４０７は、差分画像４０３をしきい値Ｔｈで画素毎にしきい値処理し、しきい値Ｔｈ未満の画素値を“０”とし、しきい値Ｔｈ以上の画素の画素値を“２５５”として、二値化画像４０４を得る。これにより、入力画像４０１に映った人型の物体４０９は、減算器４０６によって差分が生じた領域（画像信号の変化領域）４１０として計算され、二値化器４０７によって画像４１１として検出される。
【００５５】
次に、上記図１に示した処理手順の続きを説明する。警報・検出情報表示処理ステップ１０３では、例えば、侵入物体を発見したことを表す警報を監視員に伝えるために、画像出力部２０２ｊを介して画像モニタ２０５に侵入物体の情報を表示することや、警報出力部２０２ｊを介して警告灯２０６を点灯させることなどを行う。ここで、侵入物体の情報としては、例えば、位置や人数などの情報を用いることが可能である。
【００５６】
また、例えば、入力画像に侵入物体を重畳して画像モニタ２０５に表示させてもよい。なお、入力画像に重畳する侵入物体の表示形態は、２値化処理ステップ１０２ｃで得られた侵入物体の二値化画像そのもの、或いはその外接矩形、或いは侵入物体が人間であれば、その頭上に三角マークを付す、或いは、カラー表示する等々、様々な形態が可能である。
【００５７】
次に、テンプレートマッチング法による侵入物体の移動量の検出処理１０４（１０４ａ〜１０４ｆ）を行う。
すなわち、テンプレート登録処理ステップ１０４ａでは、上記したラベリング処理ステップ１０２ｄで番号付けされた画素値“２５５”となる画素のかたまりの外接矩形４１２に基づいて、入力画像中の侵入物体の画像を切り出し、テンプレートとして登録する。
【００５８】
第２の画像入力処理ステップ１０４ｂでは、第１の画像入力処理ステップ１０２ａと同様に、ＴＶカメラ２０１ａから、例えば横３２０画素、高さ２４０画素の入力画像を得る。その際、ＴＶカメラ２０１ａの撮像レンズ２０１ｂの焦点距離をｆとし、ワークメモリ２０２ｇに記録する。
【００５９】
テンプレート拡大・縮小処理ステップ１０４ｃでは、ワークメモリ２０２ｇに記録した焦点距離ｆ’、すなわち例えば前回における後述するテンプレート更新処理ステップ１０４ｆの実行時におけるＴＶカメラ２０１ａの撮像レンズ２０１ｂの焦点距離ｆ’と、ワークメモリ２０２ｇに記録した現在の焦点距離ｆとの比に応じて、撮像レンズ２０１ｂの焦点距離を変更することによって生じる入力画像とテンプレートに映る追跡対象物体の大きさの違いを補正する。なお、本例では、後述する雲台・レンズ制御処理ステップ１０５により、撮像レンズ２０１ｂが制御されて、焦点距離が変化する。
【００６０】
テンプレートマッチング処理ステップ１０４ｄでは、第２の画像入力ステップ１０４ｂで得た入力画像の中でテンプレートと最も一致度が高い画像を検出する。通常、テンプレートと入力画像全体とを比較すると計算時間がかかるため、テンプレートに対して所定の範囲を探索領域として、当該探索領域内でテンプレートと最も一致度が高い画像を検出する。
【００６１】
一致度判定処理ステップ１０４ｅでは、後述する一致度ｒ（Δｘ，Δｙ）を判定し、後述する式１で表される正規化相関値を用いた場合、例えば、一致度が０．７以上であれば一致度が高いと判定してテンプレート更新処理ステップ１０４ｆへ移行し、一致度が０．７未満であれば上記した第１の画像入力処理ステップ１０２ａに移行する。
【００６２】
ここで、一致度が大きいということは、入力画像中でテンプレートに似た画像がある、すなわち監視対象領域内に侵入物体が存在し、その位置が後述するテンプレートの位置（ｘ０、ｙ０）から見て相対的に（Δｘ，Δｙ）の位置であることを意味し、この場合には、引き続いて侵入物体の移動量を検出する。また、一致度が小さいということは、入力画像中でテンプレートに似た画像がない、すなわち監視対象領域内に侵入物体が存在しないことを意味し、この場合には、第１の画像入力処理ステップ１０２ａへ移行して、再び、差分法により侵入物体を検出する。
【００６３】
テンプレート更新処理ステップ１０４ｆでは、新たに求められた侵入物体の位置に基づいて第２の画像入力処理ステップ１０４ｂで得られた入力画像を切り出し、新たなテンプレート画像とする。このように、テンプレートを逐次更新することで、テンプレートには最新の侵入物体の画像が記録され、侵入物体が姿勢変化を起こした場合においても、安定に侵入物体の移動量を検出することができる。
【００６４】
ここで、図６Ａ、図６Ｂを参照して、上記したテンプレート拡大・縮小処理ステップ１０４ｃについて具体的に説明する。なお、図６Ａ、図６Ｂの例では、テンプレートを拡大する場合を示すが、テンプレートを縮小する場合についても同様である。
【００６５】
図６Ａには、テンプレートの拡大前の画像７０１の一例を示してあり、図６Ｂには、テンプレートの拡大後の画像７０３の一例を示してある。テンプレートのズーム倍率ｒは、式１のように表される。
【００６６】
【数１】
2005100388.tif 000003
例えば、テンプレート更新処理ステップ１０４ｆの実行時におけるＴＶカメラ２０１ａの撮像レンズ２０１ｂの焦点距離ｆ’が２０ｍｍであり、現在における焦点距離ｆが２４ｍｍであるとすると、ｒ＝２４／２０＝１．２となり、撮像レンズ２０１ｂの焦点距離の変化によって対象物体の画像上の大きさが１．２倍になったことになる。すなわち、拡大前と拡大後とでテンプレートの中心位置７０２、７０４を一致させるようにして、テンプレート７０１を１．２倍し、この結果を新たなテンプレート７０３にすれば、入力画像中の侵入物体の大きさとテンプレートの侵入物体の大きさとを一致させることができる。
【００６７】
なお、図６Ａ、図６Ｂの例では、Ｘ−Ｙ直交座標系において、拡大前のテンプレート７０１のＸ軸方向の長さＴｘをズーム倍率ｒ倍した結果である（ｒ×Ｔｘ）の長さを拡大後のテンプレート７０３のＸ軸方向の長さとしており、同様に、拡大前のテンプレート８１のＹ軸方向の長さＴｙをズーム倍率ｒ倍した結果である（ｒ×Ｔｙ）の長さを拡大後のテンプレート７０３のＹ軸方向の長さとしている。また、これに際して、テンプレート７０１、７０３の中心位置７０２、７０４が不変であるようにしている。
【００６８】
また、上記した侵入物体の検出処理１０２で侵入物体を検出した直後においては、テンプレート更新処理ステップ１０４ｆが実行されていないことから、テンプレート更新時におけるＴＶカメラ２０１ａの撮像レンズ２０１ｂの焦点距離ｆ’が取得されていないため、この場合には、テンプレートの拡大・縮小処理ステップ１０４ｃは実行されない。
【００６９】
また、本例のようにテンプレート拡大・縮小処理ステップ１０４ｃが行われる場合には、テンプレート更新処理ステップ１０４ｆでは、処理の実行時に、ワークメモリ２０２ｇに記録した焦点距離ｆ’を現在におけるＴＶカメラ２０１ａの撮像レンズ２０１ｂの焦点距離ｆを用いて更新するようにする。
【００７０】
ここで、上記図３及び図４を参照して、上記した侵入物体の移動量の検出処理について具体的に説明する。上記図３には、切り出し器４０８、テンプレート画像４０５を示してある。
【００７１】
そして、入力画像４０１中に映る侵入物体は、上記したラベリング処理ステップ１０２ｄによって二値化画像内の画素値“２５５”のかたまり（ｃｌｕｓｔｅｒ）として得られた侵入物体４１１の外接矩形４１２に基づいて切り出し器４０８で切り出され、これにより、テンプレート画像４０５が得られる。テンプレート画像４０５中には、侵入物体４０９のテンプレート４１３が含まれており、これがテンプレートマッチング法による侵入物体の移動量の検出処理における初期のテンプレートとなる。次いで、当該初期テンプレートに基づいて、テンプレートマッチングが実行される。
【００７２】
図４には、テンプレートマッチング法による侵入物体の移動量の検出処理を逐次実行して侵入物体を追跡する処理の流れの一例を模式的に示してある。
図４では、テンプレート画像５０１を取得した時刻をｔ０と表し、所定の時間間隔（例えば、１００ｍｓ）で逐次入力する入力画像の取得時刻を、入力順に（ｔ０＋１）、（ｔ０＋２）、・・・と表す。
【００７３】
図４において、５０１は時刻ｔ０におけるテンプレート画像を示している。当該テンプレート画像５０１中に、時刻ｔ０におけるテンプレート５０１ａがある。なお、これらは、それぞれ、上記図３に示したテンプレート画像４０５、テンプレート４１３と同一のものである。
【００７４】
また、５０２は時刻（ｔ０＋１）における入力画像を示している。当該入力画像５０２において、矩形領域５０２ｂは時刻ｔ０における侵入物体の位置（テンプレート５０１ａの位置）、矩形領域５０２ｃはテンプレートマッチングの対象となる領域（探索領域）を表している。
【００７５】
そして、テンプレートマッチング処理（ステップ１０４ｄ）５０９を実行すると、テンプレートマッチングの探索領域５０２ｃの中でテンプレート５０１ａに最も一致する画像５０２ａで一致度が最も大きくなり、侵入物体は時刻（ｔ０＋１）において画像５０２ａの位置に存在していることが分かる。この位置は、時刻ｔ０におけるテンプレート５０１ａの位置（ｘ０、ｙ０）から見て相対位置（Δｘ、Δｙ）で表される。すなわち、侵入物体は矢印５０２ｄに示される分だけ移動したことが分かる。
【００７６】
そこで、テンプレート更新処理（ステップ１０４ｆ）５１０により、テンプレート５０１ａに最も一致した画像５０２ａを時刻（ｔ０＋１）における新たなテンプレートとして更新する。すなわち、図４に示されるように、入力画像５０２から侵入物体の位置５０２ａを切り出し、これをテンプレート画像５０３とし、侵入物体の画像５０２ａを時刻（ｔ０＋１）における新たなテンプレート５０３ａとして更新する。
【００７７】
この処理をＴＶカメラ２０１ａから逐次入力される入力画像に対して適用する。具体的には、図４に示されるように、時刻（ｔ０＋２）における入力画像５０４中にテンプレート５０３ａの位置５０４ｂに基づいて探索領域５０４ｃを設定し、時刻（ｔ０＋１）におけるテンプレート画像５０３中のテンプレート５０３ａを用いてテンプレートマッチング処理（ステップ１０４ｄ）５０９によって侵入物体の位置５０４ａを検出する。すると侵入物体は矢印５０４ｄのように移動したことが分かる。
【００７８】
更に、図４に示されるように、テンプレート更新処理（ステップ１０４ｆ）５１０によって時刻（ｔ０＋２）におけるテンプレート画像５０５及び侵入物体のテンプレート５０５ａを更新する。
【００７９】
また、図４に示されるように、時刻（ｔ０＋３）における入力画像５０６中にテンプレート５０５ａの位置５０６ｂに基づいて探索領域５０６ｃを設定し、時刻（ｔ０＋２）におけるテンプレート画像５０５中のテンプレート５０５ａを用いてテンプレートマッチング処理（ステップ１０４ｄ）５０９によって侵入物体の位置５０６ａを検出する。すると侵入物体は矢印５０６ｄで示されるように移動したことが分かる。
【００８０】
更に、図４に示されるように、テンプレート更新処理（ステップ１０４ｆ）５１０によって時刻（ｔ０＋３）におけるテンプレート画像５０７及び侵入物体のテンプレート５０７ａを更新する。
【００８１】
そして、図４に示されるように、時刻（ｔ０＋４）における入力画像５０８中にテンプレート５０７ａの位置５０８ｂに基づいて探索領域５０７ｃを設定し、時刻（ｔ０＋３）におけるテンプレート画像５０７中のテンプレート５０７ａを用いてテンプレートマッチング処理（ステップ１０４ｄ）５０９によって侵入物体の位置５０８ａを検出する。すると、侵入物体は矢印５０８ｄのように移動したことが分かる。
【００８２】
このように、テンプレートマッチングを逐次実行することで、侵入物体を追跡することができる。
ここで、上記したテンプレートマッチング処理（ステップ１０４ｄ）における探索領域や一致度について具体的に説明する。上記した探索領域の範囲は、例えば、テンプレートに登録された対象物体の入力画像上での動きによって決定される。
【００８３】
具体例として、撮像装置２０１として１／３インチＣＣＤ（撮像素子サイズ  ４．８ｍｍ×３．６ｍｍ）が用いられ、撮像レンズ２０１ｂの焦点距離３２ｍｍであり、対象物体までの距離が３０ｍであるといった条件で撮像すると、ＴＶカメラ２０１ａの横方向の視野は、３０×４．８÷３２＝４．５ｍとなる。このＴＶカメラ２０１ａで、移動速度が時速５ｋｍ／ｈ（約１．３９ｍ／ｓ）の対象物体を、画像サイズ３２０×２４０画素、入力間隔０．１ｓ（１００ｍｓ）で撮像すると、対象物体の入力画像毎の画像上での移動量は、横方向３２０×１．３９×０．１／４．５≒９．８８画素となる。
【００８４】
また、対象物体がＴＶカメラ２０１ａの方向に向かって移動すると画像上での移動量も大きくなるため、実際の探索領域の範囲は、上記で算出した値の５倍程度の余裕をもって設定する。すなわち、探索領域の横方向の大きさＭｘを５０画素とする。探索領域の縦方向の大きさＭｙは、ＴＶカメラ２０１ａの仰角に依存して、ＴＶカメラ２０１ａの取り付け位置によって変化するため、横方向の大きさのおよそ４０％程度の値とする。従って、探索範囲は、この例では、テンプレートに対して左右Ｍｘ＝５０画素、上下Ｍｙ＝２０画素だけ広げた領域とすればよい。
【００８５】
また、一致度としては、例えば正規化相関値ｒ（Δｘ，Δｙ）が適用でき、式２のように表される。
【００８６】
【数２】
2005100388.tif 000004
ここで、ｆ（ｘ，ｙ）は入力画像を表している。また、後述する図５を参照して、ｇ（ｘ，ｙ）はテンプレート画像６０１を表しており、（ｘ０，ｙ０）はテンプレート６０２の左上の座標を表しており、Ｄはテンプレートの大きさを表している。本例では、画像の座標軸としては、画像の左上を原点（０，０）としている。また、図３を参照して、Ｄは二値化画像４０４で検出された侵入物体の外接矩形４１２の大きさに相当し、本例では、横５０画素、縦２０画素に相当する。
【００８７】
正規化相関値ｒ（Δｘ，Δｙ）は、−１≦ｒ（Δｘ，Δｙ）≦１の値を取り、入力画像とテンプレートが全く一致した場合には、“１”となる。
テンプレートマッチングでは、Δｘ、Δｙを探索範囲内で走査させた場合に、すなわち上記した例では、−Ｍｘ≦Δｘ≦Ｍｘ、−Ｍｙ≦Δｙ≦Ｍｙと変化させた場合に、正規化相関値ｒ（Δｘ，Δｙ）が最も大きくなる位置（Δｘ，Δｙ）を検出する処理が行われる。
【００８８】
次に、上記図１で示した処理手順の続きを説明する。焦点距離情報取得処理ステップ１０５では、ワークメモリ２０２ｇに記録した現在の入力画像を取得した時点の撮像レンズ１０２ｂの焦点距離ｆを取得する。
【００８９】
次に、雲台／レンズ制御ステップ１０６では、上記した侵入物体の移動量の検出処理１０４におけるテンプレートマッチング処理ステップ１０４ｄによって検出された侵入物体の位置と入力画像の中心との変位に応じて、カメラ雲台２０１ｃの制御を行う。また、検出された侵入物体の画像上の大きさと、そのときのＴＶカメラ２０１ａの焦点距離（ステップ１０５で取得）とに応じて新たな焦点距離（ズーム倍率）を計算して撮像レンズ２０１ｂの焦点距離（ズーム）の制御を行う。ズーム倍率の計算については後述する。
【００９０】
ここで、図５を参照して、上記したカメラ雲台２０１ｃの制御処理を具体的に説明する。一例として、テンプレート画像６０１において、図５に示すような位置６０２に侵入物体が検出されたとする。この場合、侵入物体の中心位置をテンプレートの中心６０３とすると、テンプレート画像６０１の中心６０４からのＸ軸方向の変位ｄｘ、Ｙ軸方向の変位ｄｙが算出される。
【００９１】
そして、テンプレートの中心位置６０３が入力画像の中心６０４と比べて所定量  ｓ以上左側（ｄｘ＜−ｓ）であればカメラ雲台２０１ｃを左に回転（パン）させ、所定量ｓ以上右側（ｄｘ＞ｓ）であればカメラ雲台２０１ｃを右に回転（パン）させる。また、テンプレートの中心位置６０３が入力画像の中心６０４と比べて、所定量ｓ以上上側（ｄｙ＜−ｓ）であればカメラ雲台２０１ｃを上に傾け（チルト）させ、所定量ｓ以上下側（ｄｙ＞ｓ）であれば下に傾け（チルト）させる。
【００９２】
このような所定量ｓを用いると、侵入物体が画像の中心付近に存在する場合には、カメラ雲台２０１ｃを制御する必要がなく、このため、所定量ｓによってカメラ雲台２０１ｃの制御を開始する侵入物体の位置を指定することができる。なお、左、右、上、下のそれぞれについての所定量ｓとしては、種々な値が用いられてもよく、例えば、左右上下で同一の値が用いられてもよく、或いは、左右上下でそれぞれ任意な値が用いられてもよい。
【００９３】
一例として、左右上下の所定量ｓ＝５０という値を用いることが可能である。また、例えば、所定量ｓが小さいほど、侵入物体が少しでも中心から外れたらカメラ雲台２０１ｃが制御されてしまって画像が見づらくなってしまう可能性はあるが、上記した所定量ｓ＝０といった値や、所定量ｓとして小さい値を用いることも可能である。
【００９４】
また、テンプレート画像６０１の中心６０４に対する侵入物体のＸ軸方向の変位ｄｘ、Ｙ軸方向の変位ｄｙの絶対値によってパンや、チルトモータの制御速度を変化させるような制御を行うことも可能である。この場合、例えば、Ｘ軸方向の変位ｄｘ、或いは、Ｙ軸方向の変位ｄｙの絶対値が大きいほど、制御速度を大きくする。
【００９５】
次に、上記した撮像レンズ２０１ｂの制御処理を具体的に説明する。撮像レンズ２０１ｂの制御では、例えば、検出した侵入物体の画像上の大きさ、すなわちテンプレートの大きさに基づき、一例として、テンプレートの高さが所定の値未満である（又は、所定の値以下である）場合は撮像レンズ２０１ｂをズームインし、テンプレートの高さが所定の値以上である（又は、所定の値を超える）場合は撮像レンズ２０１ｂをズームアウトする。一例として、所定の値として、４００画素（入力画像の大きさを横方向６４０画素、高さ方向４８０画素とした場合）という値を用いることが可能である。この場合、例えば、現在のテンプレートの高さが３００画素、ワークメモリ２０２ｇに記録した現在のズームレンズ２０１ｂの焦点距離がｆ＝３０ｍｍであったとすると、テンプレートの高さを４００画素にするためには、ズームレンズの焦点距離をｆ＝３０×（４００/３００）＝４０ｍｍにすればよい。即ち、ズーム比率を１．３３倍にすれば良い。従って、ＭＰＵ２０２ｆは、レンズ制御部２０２ｃを介して、ズームレンズ２０１ｂの焦点距離を４０ｍｍに制御する。このようにすることで、侵入物体をＴＶカメラ２０１aの視野内に適切な大きさで捉えることができる。
【００９６】
代替例として、ズームインとして、焦点距離を１．０ｍｍ長くするという処理を行い、ズームアウトとして、焦点距離を１．０ｍｍ短くするという簡易的な処理でもズームレンズ２０１ｂを制御することができる。侵入物体を追跡する処理は逐次繰り返し実行されるため、このように簡易的な処理でも、焦点距離の制御が足りない場合は、次の処理フレームでも同様に制御が行なわれる。したがって、侵入物体を追跡する処理を繰り返すことで、ズームレンズ２０１ｂの焦点距離は適切な値に制御され、テンプレートの高さを所定の大きさに合わせることができる。ここで、焦点距離の変化量１．０ｍｍというのは経験的に算出されるものであって、この値が大きいと、テンプレートの高さを所定の大きさに迅速に合わせることができるが、適切な値付近では焦点距離の振動減少が発生する可能性がある（over damping）。一方、焦点距離の変化量が小さいと、テンプレートの高さが所定の大きさに合うまでに時間がかかる場合がある（under damping）。
【００９７】
上記の例では、対象物体の画像上の大きさの判定にテンプレートの高さを使ったが、その理由は、侵入物体はほとんどの場合、縦長に映り、それに対して撮像装置２０１により入力される画像は横長であるためである。即ち、侵入物体を撮像装置２０１の視野内に捉える場合、侵入物体の上下、左右端から入力画像の上下、左右端までの間隔をそれぞれ比較すると侵入物体の上下端から入力画像の上下端までの間隔の方が狭い。よって、テンプレートの幅を使って対象物体の画像上の大きさを判定してその結果に基づいて撮像レンズ１０２ｂを制御してズームインした場合、侵入物体の上下が画像上の視野の外側へ飛び出してしまうといった問題が生じる可能性があるためである。
【００９８】
従って、侵入物体の画像上での大きさを評価する場合に、テンプレートの高さを基準に撮像レンズ１０２ｂの焦点距離を調整した場合の例では、安定なカメラ雲台２０１ｃの制御を維持しながら、ズームイン及びズームアウトが行える。なお、テンプレートの高さ以外、例えば、テンプレートの幅等を基準に撮像レンズ１０２ｂの焦点距離を調整することも可能である。例えば、自動車のように侵入物体が横長の場合、テンプレートの幅を用いることができる。
【００９９】
これにより、侵入物体をＴＶカメラ２０１ａの視野内の中央に捉えながら、カメラ雲台２０１ｃを自動的に制御して、侵入物体を追跡することができる。
なお、上記した侵入物体の画像上の大きさ以外の要素、例えば、侵入物体の画像上での移動量に基づいて、撮像レンズ２０１ｂの制御を行うことも可能である。具体的には、侵入物体の画像上での移動量が所定の値未満である（又は、所定の値以下である）場合は撮像レンズ２０１ｂをズームインし、侵入物体の画像上での移動量が所定の値以上である（又は、所定の値を超える）場合は撮像レンズ２０１ｂをズームアウトする。この、侵入物体の画像上での移動量に基づく撮像レンズ２０１ｂの制御については別の実施例に関連して後で説明する。
【０１００】
以下で説明する画像切り出し処理ステップ１０７と画像拡大処理ステップ１０８では、入力画像内に侵入物体の映像を含む部分領域の範囲を設定し、設定された範囲の部分領域の画像に画像処理（拡大処理）を施す。
【０１０１】
まず、画像切り出し処理ステップ１０７では、侵入物体の位置とテンプレートの大きさに応じて、入力画像の部分画像を切り出す（部分画像の位置、大きさ等を設定する）。
ここで、図１０を参照して、部分画像の切り出し処理を具体的に説明する。図１０は、ある時刻の入力画像において検出された侵入物体のテンプレート１１０１と、切り出す部分画像１１０３との関係を示している。図１０において、部分画像の大きさ、すなわち横Ｓｘ画素、縦Ｓｙ画素は、一例として、式３のように表される。
【０１０２】
【数３】
2005100388.tif 000005
ここで、Ｔｘはテンプレートの横のサイズ（幅）であり、Ｔｙはテンプレートの縦のサイズ（高さ）である。従って、部分画像の高さＳｙは、式３に示す例では、テンプレートの縦のサイズＴｙの１２０％となるように設定される。ここで、１２０％という値は一例であり、例えば、８０％等、テンプレートの縦のサイズＴｙよりも小さい値を部分画像の高さＳｙとして設定することも可能である。
【０１０３】
また、部分画像の幅Ｓｘは、一例として、拡大結果を出力する画像モニタ２０５のアスペクト比に応じて設定する。例えば、画像モニタ２０５のアスペクト比が４：３である場合には、式３に示す通り、部分画像の幅Ｓｘは、上記設定された部分画像の高さＳｙの４／３倍に設定される。
【０１０４】
なお、図１０において、部分画像の切り出し範囲１１０３は、テンプレートの中心（座標（Ｃｘ，Ｃｙ））１１０２を基準に設定される。すなわち、図１０において、部分画像の切り出し範囲１１０３の左上の座標（ｘ０，ｙ０）は（Ｃｘ−Ｓｘ／２，Ｃｙ−Ｓｙ／２）、部分画像の切り出し範囲１１０３の右下の座標（ｘ１，ｙ１）は（Ｃｘ＋Ｓｘ／２，Ｃｙ＋Ｓｙ／２）と設定される。このようにすると、テンプレートの中心を部分画像の中心と一致させることができる。
【０１０５】
なお、上記した式３においては、テンプレートの縦のサイズＴｙを基準に部分画像の大きさ（高さ、幅）を設定しているが、テンプレートの横のサイズＴｘを基準に部分画像の大きさを設定してもよい。
【０１０６】
次に、上記図１に示した処理の続きを説明する。画像拡大処理ステップ１０８では、画像切り出し処理ステップ１０７で得られた部分画像を画像モニタ２０５に出力するために、画像モニタ２０５で出力できる大きさに拡大する。即ち、出力する画像信号の大きさは、画像モニタ２０５の画面サイズ等に応じて所望の大きさを設定することが可能である。例えば、画像モニタ２０５がＮＴＳＣ方式の画像信号を出力できる場合には、一例として、横６４０画素、縦４８０画素に拡大する。この場合には、横方向は６４０／Ｓｘ倍、縦方向は４８０／Ｓｙ倍に拡大すれば良いが、拡大の倍率としては種々な値を用いることが可能である。また、拡大の倍率に上限値や下限値を設定することも可能である。また、上記した例では、横６４０画素、縦４８０画素という一定の大きさに画像を拡大する場合について示したが、拡大後の画像サイズは一定の大きさでなくてもよい。ここで拡大された画像は、後述する警報／追尾情報表示処理ステップ１０９において、画像モニタ２０５に表示される。
【０１０７】
次に、警報／追尾情報表示処理ステップ１０９では、画像拡大処理ステップ１０８で拡大された画像を画像出力部２０２ｉを介して画像モニタ２０５に表示する。また、例えば、侵入物体を追跡中であることを表す警報を監視員に伝えるため、画像出力部２０２ｉを介して画像モニタ２０５に侵入物体の情報を表示することや、警報出力部２０２ｊを介して警告灯２０６を点灯させることなどを行う。ここで、侵入物体の情報としては、例えば、移動量、移動経路などの情報を用いることが可能である。
【０１０８】
このように、本実施例によれば、機械式／光学式追跡でのカメラ雲台／撮像レンズの応答性の低さを電子的な画像の切り出し処理（ステップ１０７）と画像の拡大処理（ステップ１０８）で補い、電子式追跡で要求される広画角の撮像装置を機械式のカメラ雲台制御処理（ステップ１０６）で補い、また、解像度の低さを光学的な撮像レンズ制御処理（ステップ１０６）で補うことで、侵入物体を画像の中央に高速に捉えながら、できる限り高い解像度で画像モニタに出力しながら追跡処理を行うことができる。
【０１０９】
次に、図９を参照して、本実施例の効果を具体的に説明する。図９は、図７に示した侵入物体の追尾処理結果と同じ時刻の入力画像に対して、本実施例を適用した場合の一例を示すものである。図９においては、時刻ｔ１、（ｔ１＋１）、（ｔ１＋２）、（ｔ１＋３）の入力画像をそれぞれ１００１、１００３、１００５、１００７とし（入力画像８０１、８０２、８０３、８０４と同じ）、その時の画像モニタ２０５に出力される部分画像の拡大結果をそれぞれ１００２、１００４、１００６、１００８としている。
【０１１０】
図９中、侵入物体の位置１００１ａ、１００３ａ、１００５ａ、１００７ａ、テンプレート１００１ｂ、１００３ｂ、１００５ｂ、１００７ｂは、それぞれ上記図８における侵入物体の位置８０１ａ、８０２ａ、８０３ａ、８０４ａ、テンプレート８０１ｂ、８０２ｂ、８０３ｂ、８０４ｂと同じである。
【０１１１】
図９において、時刻ｔ１において、入力画像１００１が得られ、侵入物体１００１ａが検出されている。この際、画像切り出し処理（ステップ１０７）では、侵入物体のテンプレート１００１ｂに応じて、上記の通り、部分画像１００１ｃを切り出す。そして、画像拡大処理（ステップ１０８）では、画像モニタ２０５に表示するために該部分画像１００１ｃを拡大する。すると、画像モニタ２０５には、表示結果１００２のように表示される。ここで、侵入物体は、１００２ａのように画面中央に表示される（ステップ１０９）。
【０１１２】
次に、時刻（ｔ１＋１）では、部分画像１００３ｃが切り出され（ステップ１０７）、拡大されて（ステップ１０８）、画像モニタ２０５に表示結果１００４のように表示される（ステップ１０９）。さらに時刻（ｔ１＋２）では、部分画像１００５ｃが切り出され（ステップ１０７）、拡大されて（ステップ１０８）、表示結果１００６のように表示される（ステップ１０９）。時刻（ｔ１＋３）では、切り出す部分画像が入力画像と同じ大きさになったため、入力画像１００７がそのまま表示結果１００８となる。
【０１１３】
なお、切り出す部分画像の大きさを入力画像の大きさより常に小さくするように、例えば、切り出す部分画像の大きさを入力画像の大きさの６０％に抑えるようにすることも可能である。また、その際、上記した撮像レンズ２０１ｂの制御ではズームインの上限として、一例としてテンプレートの高さが４００画素になる値を上限として用いていたが、より小さい値、例えば、テンプレートの高さが入力画像の高さの１／２、即ち、２４０画素になる値をズームインの上限として用いるようにすることも可能である。この場合、上記した画像拡大処理ステップ１０８では、必ず、部分画像を拡大しなければならないが、切り出す部分画像（テンプレートの大きさ）に対して、入力画像が大きいため侵入物体の上下、左右端から入力画像の上下端、左右端までの間隔を広くすることができる。したがって、侵入物体の上下、左右が入力画像上の視野の外側へ飛び出してしまうといった問題が生じる可能性が減少し、侵入物体追跡性能を向上させることができる。また、侵入物体の移動に応じて部分画像の切り出し位置を変えることで侵入物体の追尾ができるので物体移動に対する高速な応答を実現できる。
【０１１４】
また、切り出す部分画像の位置を侵入物体の移動量（Δｘ，Δｙ）で補正することで、侵入物体の移動に追随しながら侵入物体の追跡が行え、侵入物体の表示上の見逃しを減少させることができる。この場合、部分画像の切り出し範囲１１０３の左上の座標（ｘ０，ｙ０）は（Ｃｘ−Ｓｘ／２＋Δｘ，Ｃｙ−Ｓｙ／２＋Δｙ）、部分画像の切り出し範囲１１０３の右下の座標（ｘ１，ｙ１）は（Ｃｘ＋Ｓｘ／２＋Δｘ，Ｃｙ＋Ｓｙ／２＋Δｙ）となる。
【０１１５】
従って、本発明によれば、カメラ雲台・撮像レンズの応答性の低さの影響を抑えながら検出した侵入物体を画面の中央に捉え、侵入物体の解像度も撮像レンズの焦点距離変化に応じて徐々に高解像度の映像を表示することができる。
【０１１６】
なお、上記図１０に示した処理では、画像の切り出し位置をテンプレートの中央を基準に行ったが、例えば、テンプレートの中央よりも上の方等、テンプレートの中央以外の場所を基準として部分画像の切り出し処理を行うことも可能である。この際、テンプレートが表示結果からはみ出す可能性があるが、処理装置の対象としている画像は切り出し前の入力画像であるため、物体追跡処理ができなくなるようなことはない。例えば、テンプレートの中央よりも上の方に基準を設定した場合、侵入物体の顔を中心とした部分画像が得られる。また、部分画像として侵入物体の顔付近のみを切り出せば、侵入物体の顔のみを拡大した画像を画像モニタ２０５に出力させるようなことが可能である。
【０１１７】
また、本実施例では、侵入物体の画像モニタ２０５の表示画像上での大きさを一定に保つように画像拡大処理ステップ１０８を実行するように構成したが、侵入物体の入力画像上での大きさが小さいと画像の拡大処理によって著しく表示画像の解像度が低下する場合がある。このような場合には、部分画像切り出し処理ステップ１０７における部分画像の幅Ｓｘ及び高さＳｙに下限を設けることも可能である。例えば、部分画像の幅Ｓｘと高さＳｙの下限をそれぞれ１６０、１２０画素分と設定すると、画像拡大処理ステップ１０８における拡大の倍率は最大で、６４０／Ｓｘ＝６４０／１６０＝４倍、４８０／Ｓｙ＝４８０／１２０＝４倍、となり、４倍以上の拡大は行われない。従って、侵入物体の表示画像上での大きさは一定ではなくなるものの、表示画像の解像度の低下を抑制することができる。
【０１１８】
また、画像モニタ２０５には、画像拡大処理（ステップ１０８）により拡大された部分画像の他、電子的な拡大を行ってない画像、すなわち、画像入力処理１０２ａ、１０４ｂにおける入力画像を表示させることも可能である。この際、入力画像と、拡大した部分画像とを左右に並べて画像モニタ２０５に表示させることも可能である。また、拡大した部分画像に重ねて、入力画像を縮小した画像を表示させるといったこと等も可能である。
【０１１９】
本発明の別の実施例を以下で説明する。
本発明では上記した侵入物体の画像上の大きさ以外の要素、例えば、侵入物体の画像上での移動量に基づいて、撮像レンズ２０１ｂの制御を行うことも可能である。本実施例では侵入物体の画像上での移動量に基づいて、撮像レンズ２０１ｂの制御を行う。具体的には、侵入物体の画像上での移動量が所定の値未満である（又は、所定の値以下である）場合は撮像レンズ２０１ｂをズームインし、侵入物体の画像上での移動量が所定の値以上である（又は、所定の値を超える）場合は撮像レンズ２０１ｂをズームアウトする。以下でこの処理を図１１と図１２に言及して説明する。
【０１２０】
図１１は、図２の画像監視装置により行われる差分法及びテンプレートマッチング法を用いた物体追跡処理の手順の別の例を示す。なお、図１１に示す手順の内ステップ１０１から１０４（及び１０５）までは図１と同様なので説明を省略する。図１２は本実施例におけるズーム倍率の設定の一例を説明する為の図である。
【０１２１】
図１と同様、ステップ１０５において、ワークメモリ２０２ｇに記録された、現在の入力画像を取得した時点の撮像レンズ２０１ｂの焦点距離ｆを取得する。
次に、テンプレートマッチング処理（ステップ１０４）で得られた侵入物体の移動量（Δｘ、  Δｙ）に基いて、式４によりズーム倍率ｒｆを算出する（ステップ１１０）。
【０１２２】
【数４】
2005100388.tif 000006
式４において、Ｍｘ、Ｍｙは、既に説明したとおり、テンプレートマッチング法における探索範囲を表している。Ｋｘ，Ｋｙは、安定に追跡することが可能な侵入物体の画像上での最大移動量を表しており、例えば、探索範囲の半分程度、即ち、この例では、Ｍｘ＝５０、Ｍｙ＝２０とし、Ｋｘ＝２５、Ｋｙ＝１０とする。なお、ＫｘやＫｙの値は、例えば、物体が探索範囲から外れないように探索範囲の半分程度で余裕をもたせるといった程度の要求を満たす値であればよいが、実際には、シミュレーションや実験などを行って設定する。
【０１２３】
また、式４では、侵入物体の移動量が（Δｘ、  Δｙ）＝（０、０）の場合には、つまり侵入物体の移動量がゼロである場合には、ズーム倍率ｒｆ＝１．５としている。
なお、例えば、ズーム倍率ｒｆが所定の値以上になった場合には、ズーム倍率ｒｆを当該所定の値にして、急激にズームインしないようにしてもよい。当該所定の値としては、例えば、１．５を用いることができる。この場合、１回のズームインで最大５０％のズームインまで可能となる。
【０１２４】
このように、１回のズームインにおける最大のズームイン倍率ｒｆ（上限値）を設定すると、例えば、入力画像の端近くで検出された物体はズームインによって画像上の視野の外側に飛び出してしまうといった問題を抑制することができる。
【０１２５】
また、例えば、ズーム倍率ｒｆの上限値を可変とするような構成を用いることも可能である。このような構成では、例えば、入力画像の画面サイズと比べてテンプレートが小さすぎる場合に、ズーム倍率ｒｆの上限値を１．５より大きい値とすることも可能である。
【０１２６】
また、例えば、テンプレートの高さに基づいてズームインを制限するようにしてもよい。例えば、画像の画面の高さがテンプレートの高さの１２０％以上となる範囲でしかズームインを行わないようにしてもよいし、或いは、画像の画面の幅がテンプレートの幅の１２０％以上となる範囲でしかズームインを行わないようにしてもよい。これにより、侵入物体の移動量（Δｘ、  Δｙ）が小さくて多数回のズームインがなされてテンプレートが画面のサイズを超えてしまうようなことを防ぐことができ、画像を見易くして、安定した動作を確保することができる。
【０１２７】
また、テンプレートと画面の上端、下端、左端、右端までのそれぞれの距離に基いてズームインに上限を設けるようにしてもよい。例えば、図１２に示すように、テンプレート１７２と画面１７１の上端、下端、左端、右端までの距離をそれぞれｄｕ、ｄｂ、ｄｌ、ｄｒとし、テンプレート１７２の上辺、下辺、左辺、右辺がズームインによって画面の外に超える倍率１２０／（１２０−ｄｕ）、１２０／（１２０−ｄｂ）、１６０／（１６０−ｄｌ）、１６０／（１６０−ｄｒ）の中で負の値を除いて最も小さい倍率をズームインの上限とする。ここで、画面サイズとして、幅３２０画素、高さ２４０画素を想定した。
【０１２８】
また、対象物体の移動量の予測を行う場合には、前フレームでの対象物体の移動量を（Δｘ’、  Δｙ’）とした場合、１２０／[１２０−（ｄｕ＋Δｙ’）]、１２０／[１２０−（ｄｂ−Δｙ’）]、１６０／[１６０−（ｄｌ＋Δｘ’）]、１６０／[１６０−（ｄｒ−Δｘ’）]として、上記と同様にして、テンプレートの上辺、下辺、左辺、右辺がズームインによって画面の外に超える倍率（ズームインの倍率の上限）を算出する。
【０１２９】
なお、例えば、テンプレート１７２と画面１７１の上端、下端までの距離ｄｕ、ｄｂの内で短い方のみに基づきズームインの倍率の上限を算出してもよく、また、テンプレート１７２と画面１７１の左端、右端までの距離ｄｌ、ｄｒの内で短い方のみに基づきズームインの倍率の上限を算出してもよい。
【０１３０】
以上のようにして侵入物体の画像上での移動量に基づいて撮像レンズ２０１ｂのズーム倍率を算出し、雲台／レンズ制御ステップ１０６においてレンズ制御部２０２ｃを介して撮像レンズ２０１ｂの焦点距離をｆ×ｒｆに調整することになる。
【０１３１】
以上で侵入物体の画像上での移動量に基づいて撮像レンズ２０１ｂの制御を行うことについての説明を終える。ステップ１０７−１０９は図１の実施例と同様なので説明は省略する。
【０１３２】
なお、上記実施例では、画像から物体を検出する方法として差分法を例として用い、また、物体の移動量を検出する方法としてテンプレートマッチング法を例として用いたが、例えば、本例と同様に侵入物体の移動量を検出しながら追跡することが可能な方法であれば、種々な方法が用いられてもよい。
【０１３３】
また、上記記載は実施例についてなされたが、本発明はその精神とクレームの範囲で種々の変更及び修正をすることが出来ることは当業者に明らかである。
例えば、本発明に係る物体追跡装置や画像監視装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。
【０１３４】
更に、例えば、実施例では撮像装置の撮像レンズとしてズームレンズで説明したが、これに限らず種々なものが用いられてもよい。
また、撮像レンズ制御ステップは、入力画像中における物体の大きさが所定範囲を満足するように、或いは、前記画像中における物体の移動量が所定の値範囲を満足するようように撮像手段の撮像レンズのズーム倍率を算出してもよい。
【０１３５】
また、部分画像設定の設定方法としては種々なものが用いられてもよい。また、画像拡大手段としては、画像を電子的に拡大する手段の他、種々なものが用いられてもよい。
また、入力画像中の物体検出手段による検出結果に基づいて撮像手段の撮像レンズを制御する態様としては、種々な態様が用いられてもよい。また、入力画像中の物体検出手段による検出結果に基づいて撮像手段の撮像レンズのズーム倍率を算出する仕方としては、種々な仕方が用いられてもよい。
【０１３６】
また、ズーム倍率の算出結果に基づいて撮像手段の撮像レンズを制御する仕方としては、種々な仕方が用いられてもよく、例えば、算出されるズーム倍率を実現するように撮像手段の撮像レンズを動かすような仕方を用いることができる。
【０１３７】
また、画像中における物体の大きさ、移動量としては、例えば、画像のフレーム中において物体の大きさ、物体が移動する量に相当し、一例として、フレームを構成する画素の数を基準として検出することが可能である。  また、画像中における物体の大きさに関する所定範囲としては、種々な値が用いられてもよく、例えば、フレームにおいて物体の大きさが大きすぎないようにすることなどを考慮して設定することができる。また、画像中における物体の移動量に関する所定範囲としては、種々な値が用いられてもよく、例えば、フレームにおいて物体の移動速度が速すぎないようにすることなどを考慮して設定することができる。
【０１３８】
従って、上記実施例の物体追跡方法及び物体追跡装置によると、撮像により得られた画像信号に基づいて画像中の物体を追跡するに際して、撮像を行う撮像レンズの制御と、画像の電子的拡大処理により、例えば、物体の移動に十分高速に追随して物体の画像を十分な解像度で取得することができる。
【０１３９】
ここで、本発明は、例えば本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムなどとして提供することも可能であり、また、例えば物体追跡装置などの種々な装置やシステムとして提供することも可能である。
【０１４０】
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係る物体追跡装置や画像監視装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Read Only Memory）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
【０１４１】
また、本発明は上記の制御プログラムを格納したフレキシブルディスクやＣＤ（Compact Disc）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
【図面の簡単な説明】
【０１４２】
【図１】本発明の一実施例に係る画像監視装置により行われる物体追跡処理の手順の一例を示す図である。
【図２】本発明の一実施例に係る画像監視装置の構成例を示す図である。
【図３】差分法を用いて侵入者を検出する処理の一例の概略と、当該侵入物体の画像をテンプレートに登録する処理の一例の概略を示す図である。
【図４】テンプレートマッチング法による侵入物体の移動量の検出処理を逐次実行して侵入物体を追跡する処理の流れの一例を示す図である。
【図５】検出物体の位置に基づいてカメラ雲台を制御する動作の一例を示す図である。
【図６Ａ】テンプレートの拡大・縮小の様子の一例を示す図である。
【図６Ｂ】テンプレートの拡大・縮小の様子の一例を示す図である。
【図７】カメラ雲台及び撮像レンズを制御する動作の一例の概略を示す図である。
【図８】入力画像の一部を電子的に拡大する処理の様子の一例を示す図である。
【図９】本発明の一実施例に係る画像監視装置により行われる物体追跡処理の様子の一例を示す図である。
【図１０】部分画像の切り出し処理の様子の一例を示す図である。
【図１１】本発明の別の実施例による物体追跡処理の手順を示すフローチャートである。
【図１２】図１１の実施例における撮像レンズのズーミング倍率設定の一例を説明するための図である。
【符号の説明】
【０１４３】
２０１：撮像装置、２０１ａ：ＴＶカメラ、２０１ｂ：ズームレンズ、２０１ｃ：カメラ雲台、２０２：処理装置、２０２ａ：画像入力部、２０２ｂ：雲台制御部、２０２ｃ：レンズ制御部、２０２ｄ：操作入力部、２０２ｅ：画像メモリ、２０２ｆ：ＭＰＵ、２０３ｇ：ワークメモリ、２０２ｈ：外部入出力部、２０２ｉ：画像出力部、２０２ｊ：警報出力部、２０２ｋ：データバス、２０３：操作手段、２０３ａ：ジョイスティック、２０３ｂ：ボタン、２０３ｃ：ボタン、２０４：外部記憶装置、２０５：画像モニタ、２０６：警告灯。
【図１】
2005100388.tif 000007
【図２】
2005100388.tif 000008
【図３】
2005100388.tif 000009
【図４】
2005100388.tif 000010
【図５】
2005100388.tif 000011
【図６Ａ】
2005100388.tif 000012
【図６Ｂ】
2005100388.tif 000013
【図７】
2005100388.tif 000014
【図８】
2005100388.tif 000015
【図９】
2005100388.tif 000016
【図１０】
2005100388.tif 000017
【図１１】
2005100388.tif 000018
【図１２】
2005100388.tif 000019