(57)【特許請求の範囲】
【請求項１】
移動体を追跡する移動体追跡カメラシステムであって、該移動体追跡カメラシステムは、
広い視野で移動体を撮像して広視野画像を出力する広視野撮像部と、
前記広視野撮像部よりも狭い視野で移動体を撮像して注視画像を出力する注視撮像部と、
前記広視野撮像部による広視野画像に、空間上積分処理となるぼかし処理を施しぼかし画像を出力するぼかし処理部と、
前記ぼかし処理部によるぼかし画像からぼかし画像の任意のある点に対して移動体の位置する方向を推測して移動体の位置を検出して位置情報を出力する移動体検出部と、
前記移動体検出部による位置情報に基づき注視撮像部の撮像位置を制御する制御部と、
を具備することを特徴とする移動体追跡カメラシステム。
【請求項２】
請求項１に記載の移動体追跡カメラシステムにおいて、前記制御部は、移動体検出部による位置情報を初期位置として注視撮像部の撮像位置を初動制御し、以降、注視撮像部による注視画像に基づき注視撮像部の撮像位置を制御することを特徴とする移動体追跡カメラシステム。
【請求項３】
請求項２に記載の移動体追跡カメラシステムにおいて、前記制御部は、移動体検出部による位置情報を補完的に用いながら注視撮像部の撮像位置を制御することを特徴とする移動体追跡カメラシステム。
【請求項４】
請求項１乃至請求項３の何れかに記載の移動体追跡カメラシステムにおいて、前記広視野撮像部及び前記注視撮像部は、１つの光学系と１つの撮像素子とからなり、広視野画像を出力するときには撮像素子の画素を間引いて生成した広視野画像を出力し、注視画像を出力するときには撮像素子の一部の領域の画素を用いて生成した注視画像を出力することを特徴とする移動体追跡カメラシステム。
【請求項５】
請求項１乃至請求項３の何れかに記載の移動体追跡カメラシステムにおいて、前記広視野撮像部及び前記注視撮像部は、１つの光学系と、光軸が合せられる画素数の異なる２つの撮像素子とからなり、注視撮像部の撮像素子は広視野撮像部の撮像素子よりも画素数が多いことを特徴とする移動体追跡カメラシステム。
【請求項６】
請求項１乃至請求項３の何れかに記載の移動体追跡カメラシステムにおいて、前記広視野撮像部及び前記注視撮像部は、１つの光学系と、光軸が合せられる撮像面積の異なる２つの撮像素子とからなり、注視撮像部の撮像素子は広視野撮像部の撮像素子よりも撮像面積が狭いことを特徴とする移動体追跡カメラシステム。
【請求項７】
請求項１乃至請求項３の何れかに記載の移動体追跡カメラシステムにおいて、前記広視野撮像部は広角カメラからなり、前記注視撮像部は望遠カメラからなり、望遠カメラの回転軸は広角カメラの回転軸に連動又は独立していることを特徴とする移動体追跡カメラシステム。
【請求項８】
請求項１乃至請求項７の何れかに記載の移動体追跡カメラシステムにおいて、前記広視野撮像部は連続的に広い視野で撮像して複数の広視野フレームを出力し、広視野フレーム間で時間上微分処理、及び／又は広視野フレームごとに空間上積分処理を行うことを特徴とする移動体追跡カメラシステム。
【請求項９】
請求項１乃至請求項８の何れかに記載の移動体追跡カメラシステムにおいて、前記注視撮像部は移動体を連続的に撮像して複数の注視フレームを出力し、注視フレーム間で時間上積分処理、及び／又は注視フレームごとに空間上微分処理を行うことを特徴とする移動体追跡カメラシステム。
【請求項１０】
請求項１乃至請求項９の何れかに記載の移動体追跡カメラシステムであって、さらに、前記注視撮像部よりもさらに狭い視野で移動体を撮像して第２注視画像を出力する第２注視撮像部を具備し、
前記ぼかし処理部は、前記注視撮像部による注視画像にぼかし処理を施し第２ぼかし画像を出力し、
前記移動体検出部は、前記ぼかし処理部による第２ぼかし画像から移動体の位置を検出して第２位置情報を出力し、
前記制御部は、前記移動体検出部による第２位置情報に基づき第２注視撮像部の撮像位置を制御する、
ことを特徴とする移動体追跡カメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は移動体追跡カメラシステムに関し、特に、人間の眼球網膜特性及び眼球運動制御原理を模倣して移動体を追跡する移動体追跡カメラシステムに関する。
【背景技術】
【０００２】
本願発明者は、これまでも人間の眼球の動きを模倣したシステムを種々開発している。例えば、特許文献１には、眼球の微小振動を模倣して立体形状のエッジを強調する技術が開示されている。
【０００３】
また、特許文献２には、人間の眼球の網膜の構造を模倣してカメラの制御に応用した技術が開示されている。これは、人間の眼球の網膜が、中心窩を中心に上下左右に４分割されており、各々の分割された網膜からの情報は神経を経由して脳内の異なる視覚野で処理されていることを応用したものである。
【０００４】
さらに、特許文献３には、２つのカメラによる被測定点の対応付けを容易とするために光スポットを被測定点に形成する技術が開示されている。
【０００５】
【特許文献１】特開２００６−２５８５４３号公報
【特許文献２】特開２００６−３２９７４７号公報
【特許文献３】特開２００７−１２０９９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、これまでの従来技術では、カメラの視野内から特定の視標（追跡すべき移動体）を検出するのに時間がかかり、また、誤検出が発生する可能性もあった。さらに、高速に移動する移動体に対する追従性もより要求され、さらなる性能の向上が望まれていた。
【０００７】
本発明は、斯かる実情に鑑み、撮像された画像から移動体の位置を高速に検出し、その位置に注視して画像を出力するように制御して追従性を高めた移動体追跡カメラシステムを提供しようとするものである。
【課題を解決するための手段】
【０００８】
上述した本発明の目的を達成するために、本発明による移動体追跡カメラシステムは、広い視野で移動体を撮像して広視野画像を出力する広視野撮像部と、広視野撮像部よりも狭い視野で移動体を撮像して注視画像を出力する注視撮像部と、広視野撮像部による広視野画像にぼかし処理を施しぼかし画像を出力するぼかし処理部と、ぼかし処理部によるぼかし画像から移動体の位置を検出して位置情報を出力する移動体検出部と、移動体検出部による位置情報に基づき注視撮像部の撮像位置を制御する制御部と、を具備するものである。
【０００９】
ここで、制御部は、移動体検出部による位置情報を初期位置として注視撮像部の撮像位置を初動制御し、以降、注視撮像部による注視画像に基づき注視撮像部の撮像位置を制御すれば良い。
【００１０】
また、制御部は、移動体検出部による位置情報を補完的に用いながら注視撮像部の撮像位置を制御しても良い。
【００１１】
また、広視野撮像部及び注視撮像部は、１つの光学系と１つの撮像素子とからなり、広視野画像を出力するときには撮像素子の画素を間引いて生成した広視野画像を出力し、注視画像を出力するときには撮像素子の一部の領域の画素を用いて生成した注視画像を出力するものであれば良い。
【００１２】
また、広視野撮像部及び注視撮像部は、１つの光学系と、光軸が合せられる画素数の異なる２つの撮像素子とからなり、注視撮像部の撮像素子は広視野撮像部の撮像素子よりも画素数が多いものであれば良い。
【００１３】
また、広視野撮像部及び注視撮像部は、１つの光学系と、光軸が合せられる撮像面積の異なる２つの撮像素子とからなり、注視撮像部の撮像素子は広視野撮像部の撮像素子よりも撮像面積が狭いものであっても良い。
【００１４】
また、広視野撮像部は広角カメラからなり、注視撮像部は望遠カメラからなり、望遠カメラの回転軸は広角カメラの回転軸に連動又は独立していれば良い。
【００１５】
さらに、広視野撮像部は連続的に広い視野で撮像して複数の広視野フレームを出力し、広視野フレーム間で時間上微分処理、及び／又は広視野フレームごとに空間上積分処理を行えば良い。
【００１６】
また、注視撮像部は移動体を連続的に撮像して複数の注視フレームを出力し、注視フレーム間で時間上積分処理、及び／又は注視フレームごとに空間上微分処理を行っても良い。
【００１７】
さらに、注視撮像部よりもさらに狭い視野で移動体を撮像して第２注視画像を出力する第２注視撮像部を具備し、ぼかし処理部は、注視撮像部による注視画像にぼかし処理を施し第２ぼかし画像を出力し、移動体検出部は、ぼかし処理部による第２ぼかし画像から移動体の位置を検出して第２位置情報を出力し、制御部は、移動体検出部による第２位置情報に基づき第２注視撮像部の撮像位置を制御するものであっても良い。
【発明の効果】
【００１８】
本発明の移動体追跡カメラシステムには、広い視野から移動体の位置を高速に検出し、その位置に注視して高精細な画像を出力できるという利点がある。
【発明を実施するための最良の形態】
【００１９】
人間の眼球の網膜は、周辺視野と中心窩が存在し、それぞれ異なる視覚認識機能と運動制御に対する役割を有している。周辺視野は観察範囲が広く、危険探知や興味を持つ物体を高速に探索する機能を備え、特に、運動する物体に対する認識能力が高い部分である。また、周辺視野は、サッカード運動及び運動刺激を追従する眼球運動である視機性反射運動に関係していることが分かった。さらに、周辺視野にしか存在していない桿状体には、ローパスフィルタ機能があることが分かった。一方、中心窩は狭い視野しか持っておらず、注視物体に対する解析機能と、その移動を検出する機能を有している。また、中心窩は、移動体を追跡するときの円滑で連続的な眼球運動であるスムーズパーシュート運動に関係していることが分かった。本願発明者は、これらの眼球の生理学特性を考慮して、以下の発明をするに至った。
【００２０】
以下、本発明を実施するための最良の形態を図示例と共に説明する。図１は、本発明の移動体追跡カメラシステムの構成を説明するための概略図である。図示の通り、本発明の移動体追跡カメラシステムは、広視野撮像部１０と、注視撮像部２０と、ぼかし処理部３０と、移動体検出部４０と、制御部５０とから主に構成されるものである。広視野撮像部１０は、広い視野で移動体１を撮像して広視野画像を出力するものである。これは、例えば広角レンズにより撮像するカメラである。注視撮像部２０は、広視野撮像部１０よりも狭い視野で移動体１を撮像して注視画像を出力するものである。これは、例えば望遠レンズにより撮像するカメラである。ぼかし処理部３０は、広視野撮像部による広視野画像にぼかし処理を施し、ぼかし画像を出力するものである。これは、例えば電子計算機等のコンピュータにより、広視野画像を画像処理により加工するものである。移動体検出部４０は、ぼかし処理部３０によるぼかし画像から移動体１の位置を検出して位置情報を出力するものである。これは、例えば電子計算機等のコンピュータにより、ぼかし画像から移動体１の特徴点を抽出し、位置や移動量を検出するものである。そして、制御部５０は、移動体検出部４０による位置情報に基づき、注視撮像部２０の撮像位置を制御するものである。これは、例えば注視撮像部２０を移動させるアクチュエータ２５を制御し、移動体１の位置に注視撮像部２０を向けるよう制御するものである。なお、図示例では、アクチュエータ２５は広視野撮像部１０にも接続されており、広視野撮像部１０が注視撮像部２０と連動して移動するものを示している。そして、注視撮像部２０の出力は制御部５０に入力され、注視撮像部２０で移動体１を捉えると、注視画像を用いて移動体１に追従するようにアクチュエータ２５をフィードバック制御する。
【００２１】
本発明では、上述のような構成を用いて、広視野撮像部は所望の移動体の探索のみに特化し、注視撮像部は移動体の運動を追跡するための視覚フィードバック信号の抽出のための画像処理に特化するように構成している。
【００２２】
本発明の移動体追跡カメラシステムの処理過程について、図２も用いながら説明する。図２は、本発明の移動体追跡カメラシステムの処理を説明するためのフローチャートである。まず、広視野撮像部１０により広視野撮像を行う（ステップ１００）。なお、広視野撮像部１０や注視撮像部２０の詳細な構成例については後述する。広視野撮像部１０から出力された広視野画像は、次にぼかし処理部３０に入力される（ステップ１０１）。ぼかし処理部３０は、人間の眼球の周辺視野に対応する機能を実現するためのものであり、入力された広視野画像にぼかし処理を施す。ぼかし処理としては、ぼかしフィルタ、ガウスフィルタ、平滑化、ローパスフィルタ、ピラミッド画像等が挙げられる。また、広視野撮像部１０のピントをずらして撮像することでぼかし画像を生成しても良い。このように、ぼかし処理部では、入力された広視野画像に対して空間上積分処理を行う。
【００２３】
そして、このようにぼかし処理が施されたぼかし画像は、移動体検出部４０に入力され、移動体１の位置が検出される（ステップ１０２）。ぼかし処理が施された画像では、移動体１とそれ以外の部分の情報の変化が急峻ではなくなだらかとなるため、ぼかし画像の任意のある点に対して移動体の位置する方向がある程度推測できるようになる。したがって、通常、情報量が多い詳細な画像の中から特定の移動体１の位置を検出しようとすると非常に時間がかかるが、本発明の移動体追跡カメラシステムの移動体検出部４０では、広視野画像にぼかし処理が施されることで、高速に移動体１の位置を大まかに推測することが可能となる。移動体検出部４０における具体的な検出手法としては、例えば特徴点の抽出・追跡を行う手法であるＨａｒｒｉｓ法やＳＩＦＴ法、ＫＬＴ−Ｔｒａｃｋｅｒ法等を用いれば良い。また、単に微分幾何学的な特徴点、即ち極大点や極小点、停留点を用いて移動体を検出しても良い。
【００２４】
また、広視野撮像部１０が移動体を連続的に撮像して複数の広視野フレームを出力する場合には、移動体検出部４０では、さらに、ぼかし処理部３０により出力されるぼかし処理された広視野フレーム間で時間上微分処理を行うことが好ましい。時間上微分処理とは、例えばフレーム間の差分やオプティカルフロー、移動体１の特徴点のフレーム間移動量検出等の処理である。このように、本発明の移動体追跡カメラシステムでは、広視野画像に対して空間上積分処理を行い、広視野フレームごとに時間上微分処理を行う。なお、積分処理と微分処理は、積分処理のみを行うものであっても良い。また、連続的に撮像した広視野フレームに対して、移動体の特徴点のフレーム間の移動を検出することによって、視野全体の画像内の平均移動量や特異的な運動をする特徴点や複数の特徴点で構成される特徴点グループを検出することも可能である。特徴点の移動量検出についても、従来から知られた各種手法を用いれば良い。
【００２５】
これにより、本発明の移動体追跡カメラシステムでは、広視野画像内で移動している物体を確実に検出することが可能となる。そして、移動体検出部４０では、検出された移動体１の位置に関する位置情報を出力する。位置情報は、例えば絶対軸座標上や相対軸座標上の座標位置等であれば良い。また、広視野画像内のＸＹ座標位置等であっても良い。
【００２６】
次に、検出された移動体１の位置情報に基づき、制御部５０において注視撮像部２０の撮像位置を制御する（ステップ１０３）。これは眼球のサッカード運動を模倣したものである。制御部５０は、例えば注視撮像部２０に接続されたアクチュエータ２５を制御し、移動体検出部４０にて検出された移動体１の検出位置に注視撮像部２０を向けるように制御するものである。即ち、制御部５０は、注視撮像部２０を広視野撮像部１０内に捉えられた移動体１に向け、移動体１を例えば望遠レンズで高詳細に撮像するように制御するものである。広視野撮像部１０は撮像範囲が広視野であるが、注視撮像部２０はそれよりも視野が狭いため、広視野画像内の任意の位置に注視撮像部の視線を移動可能に構成すれば良い。なお、広視野撮像部１０及び注視撮像部２０を、それぞれ広角カメラと望遠カメラで構成した場合には、これらの回転軸がそれぞれ連動するように構成することも可能である。例えば、アクチュエータ上の固定カメラヘッドを共用するように広角カメラと望遠カメラを固定すれば、制御部５０では、連動して両方の撮像部を容易に制御可能となる。
【００２７】
次に、移動体１に向けられた注視撮像部２０にて、移動体１を撮像し、注視画像を出力する（ステップ１０４）。そして、注視撮像部２０で撮像された注視画像内に移動体１があるか否か判断する（ステップ１０５）。なお、ここでは、特にステップ１０５を実行するセクションを明記していないが、これは注視撮像部２０の出力を移動体検出部４０にも入力し、移動体検出部４０で移動体１の有無を判断しても良いし、別途検出部を設けても良い。これらの検出処理については、従来の種々の手法を用いれば良く、コンピュータ等の電子情報機械器具により実行すれば良い。また、これらの検出処理を行うときには、注視画像に対して空間上微分処理を行うことで、注視画像の移動体の特徴部分を強調させても良い。空間上微分処理とは、例えばエッジ強調やハイパスフィルタ、エンボスフィルタ等の処理をいう。さらに、空間上微分処理を行った画像は、微小な移動体の変化に対する影響も大きいため、必要により注視撮像部において連続的に撮像された複数の注視フレームのフレーム間で時間上積分処理を行っても良い。時間上積分処理とは、例えば複数の注視フレームの加算や平均化、補完処理をいう。なお、積分処理と微分処理はどちらか一方を行うものであっても良い。
【００２８】
そして、注視画像内に移動体１が存在している場合には、再度、注視撮像部２０の撮像位置を制御するステップ１０３へ戻り、移動体検出部４０による移動体１の位置情報を用いてその位置に注視撮像部２０を向けるように視覚フィードバック制御を行う。これを繰り返すことで、注視撮像部２０にて移動体１を正確に追跡して撮像することが可能となる。
【００２９】
一方、ステップ１０５において、注視画像内に移動体１が存在していない場合には、最初のステップ１００の広視野撮像に戻って広視野撮像部１０により移動体１を広域で撮像し、以降、ぼかし処理等のステップを同様に行う。制御部５０では、このように広視野撮像部１０に基づく位置情報を補完的に用いながら注視撮像部２０の撮像位置を制御すれば良い。
【００３０】
このように、広視野撮像部１０に基づく移動体検出部４０による移動体１の位置情報を初期位置として注視撮像部２０の撮像位置を初動制御し、以降、注視撮像部２０による注視画像に基づき注視撮像部２０の撮像位置を制御するように構成している。そして、移動体１がアクチュエータ２５の動作よりも速い動きで移動した場合等、注視撮像部２０の画角から移動体１が外れた場合には、再度広視野撮像部１０により移動体１を広域で撮像することを繰り返し、移動体１を追跡撮像することが可能となる。これにより、広範囲な空間の中から特定の移動体を高速に見つけ出し、その移動体に注視して追跡しながら高詳細な画像を出力し続けることが可能となる。なお、移動体が仮に止まったとしても、それに注視し続けることが可能であることは言うまでもない。
【００３１】
本発明の移動体追跡カメラシステムでは、上述のように、移動体の位置や移動量を高精度且つ確実に検出するために、広視野画像をぼかし処理（空間上微分処理、特徴点抽出）して移動体の位置を検出し、ぼかし処理された広視野画像のフレーム間の特徴点の増強、補完、補償等を行う（時間上積分処理）。そして、このようにして検出された移動体に対して、注視撮像部を向け、撮像された注視画像のフレーム間の時間上積分処理を施し、また注視フレームごとに空間上微分処理を施す。これらを繰り返すことで、移動体を追跡することが可能となる。
【００３２】
このように、本発明の移動体追跡カメラシステムは、広視野撮像部により広範囲に撮像エリアをカバーすることが可能となり、また注視撮像部により高詳細に移動体を追跡撮像可能となる。注視撮像部では高詳細に移動体を撮像してこれを基に視覚フィードバックを行うため、移動体が小さい場合であっても見失うことや誤認識等を減少させることが可能となる。
【００３３】
なお、広視野撮像部からの広視野画像がぼかし処理部でぼかし処理されるが、ぼかし処理前の広視野画像を別途利用することも可能である。
【００３４】
次に、広視野撮像部と注視撮像部の構成についてより詳細に説明する。図３は、本発明の第１実施例の移動体追跡カメラシステムの広視野撮像部と注視撮像部の構成を説明するための図であり、図３（ａ）が広視野撮像モードの撮像素子の画素イメージを、図３（ｂ）が注視撮像モードの撮像素子の画素イメージを表している。第１実施例の移動体追跡カメラシステムでは、広視野撮像部及び注視撮像部が、１つの光学系（図示せず）と１つの撮像素子１２とからなっている。光学系は、例えば広角レンズからなるものであり、移動体１を含めて広範囲で撮像できる画角を有するものである。撮像素子１２は、ＣＣＤやＣＭＯＳセンサからなるものであり、画素数が多いものが好ましい。
【００３５】
このように構成された本発明の第１実施例の移動体追跡カメラシステムでは、まず広視野画像を出力するとき（広視野撮像モード）には、図３（ａ）に示されるように、撮像素子１２の画素を間引いて生成した画像（間引き画像）を広視野画像として出力する。そして、注視画像を出力するとき（注視撮像モード）には、図３（ｂ）に示されるように、撮像素子１２の一部の領域の画素を用いて生成した画像（クロップ画像）を注視画像として出力する。
【００３６】
より具体的には、間引き画像を生成する広視野撮像部は、例えば、撮像素子１２の撮像領域全体をカバーしつつ、画素数を減らすように、画素を数列、数行置き、又はランダムに間引いて画像情報を読み出すように構成されたものである。これにより、画角の広い広視野画像であっても、画素数を減らした画像情報を用いて後の処理を行うことが可能となるため、ぼかし処理部等を処理能力の高くないコンピュータ等を用いて安価に構成することができる。
【００３７】
また、クロップ画像を生成する注視撮像部は、例えば、撮像素子１２の撮像領域の中心部等の一部の領域のみの画素をフルに用いて画像情報を読み出すように構成されたものである。中心部等の一部の領域の画素をフルに用いることで、移動体に追従して撮像された注視撮像部の画像は、高精細なものとなる。
【００３８】
本発明の第１実施例の移動体追跡カメラシステムでは、このような構成により、１つの光学系と１つの撮像素子とからで構成可能である。したがって、１つのカメラを用いて、画像生成プロセスの部分を広視野撮像モードと注視撮像モードに切り替えて画像を出力すれば良い。
【００３９】
次に、本発明の移動体追跡カメラシステムの広視野撮像部と注視撮像部の他の構成例を説明する。図４は、本発明の第２実施例の移動体追跡カメラシステムの広視野撮像部と注視撮像部の構成を説明するための概略図である。第２実施例の移動体追跡カメラシステムでは、広視野撮像部と注視撮像部が、１つの光学系２２と、光軸が合わせられる画素数の異なる２つの撮像素子１１、２１とからなっている。光学系２２は、例えば所定の画角を有するレンズ２２０とプリズム２２１とからなるものであり、移動体１を含めてある程度の範囲で撮像できる画角を有すると共に、レンズ２２０に入射した光をプリズム２２１で光軸が合うように２つに分離するものである。このように、本発明の第２実施例の移動体追跡カメラシステムでは、広視野撮像部と注視撮像部の光軸が一致しているので、その視線の移動制御についてはそれぞれ連動するように構成されていることになる。
【００４０】
そして、広視野撮像部１０を構成する撮像素子１１及び注視撮像部２０を構成する撮像素子２１は、ＣＣＤやＣＭＯＳセンサからなるものであり、注視撮像部２０の撮像素子２１は、広視野撮像部１０の撮像素子１１よりも画素数が多い。広視野撮像部１０では、広範囲の中から所定の移動体の位置を検出できるよう、ある程度低解像度で撮像すれば良く、低画素数の撮像素子１１を用いる。そして、ぼかし処理部３０によるぼかし処理と相まって高速な位置検出を行うことが可能となる。一方、広視野撮像部１０により移動体１の位置が一旦分かれば、制御部５０によりアクチュエータ２５を制御し、例えば常に移動体１を広視野画像の中心に配置するように制御する。光学系は１つであるため、広視野画像の中心に配置された移動体１は、注視撮像部２０でもその中心に位置することになる。したがって、注視画像の中心付近に移動体１が位置しているか否かを検出すれば良いため、注視撮像部２０の撮像素子２１が高画素数であっても、十分な処理速度が安価に実現可能である。また、高画素数の撮像素子２１であるため、撮像された注視画像は高詳細なものであるため、鮮明に移動体１を撮像することが可能となる。
【００４１】
なお、図示例では光学系２２は、レンズ２２０とプリズム２２１で構成された例を示したが、本発明はこれに限定されず、レンズは複数枚組み合わせて用いても良いし、光軸が合わされれば良いため、例えばプリズムの代わりにハーフミラーを用いても良い。また、撮像面が２層からなる２層撮像素子を用いても良い。さらに、プリズムと撮像素子の間にレンズを挿入することで、広視野撮像部や注視撮像部を実現しても良い。
【００４２】
次に、本発明の移動体追跡カメラシステムの広視野撮像部と注視撮像部のさらに他の構成例を説明する。図５は、本発明の第３実施例の移動体追跡カメラシステムの広視野撮像部と注視撮像部の構成を説明するための概略図である。第３実施例の移動体追跡カメラシステムでは、広視野撮像部と注視撮像部が、１つの光学系２２と、光軸が合わせられる撮像面積の異なる２つの撮像素子１３、２３とからなっている。光学系２２は、例えば所定の画角を有するレンズ２２０とプリズム２２１とからなるものであり、移動体１を含めてある程度の範囲で撮像できる画角を有すると共に、レンズ２２０に入射した光をプリズム２２１で光軸が合うように２つに分離するものである。このように、本発明の第３実施例の移動体追跡カメラシステムでは、広視野撮像部と注視撮像部の光軸が一致しているので、その視線の移動制御についてはそれぞれ連動するように構成されていることになる。
【００４３】
そして、広視野撮像部１０を構成する撮像素子１３及び注視撮像部２０を構成する撮像素子２３は、ＣＣＤやＣＭＯＳセンサからなるものであり、注視撮像部２０の撮像素子２３は、広視野撮像部１０の撮像素子１３よりも撮像面積が狭い。即ち、広視野撮像部１０の撮像素子１３には、撮像素子がより小さいものを用いる。なお、画素数については特に限定されないが、広視野撮像部１０よりも高詳細な注視画像を得ようとする場合には、広視野撮像部１０の撮像素子１３よりも注視撮像部２０の撮像素子２３のほうが、画素密度が高いものが好ましい。
【００４４】
広視野撮像部１０では、広範囲の中から所定の移動体の位置を検出するため、広い撮像面積の撮像素子１３を用いて広視野で撮像する。なお、より広角となるように、光学系２２の本来備えている最大画角となる程度の撮像面積を有する撮像素子を用いることが好ましい。一方、広視野撮像部１０により移動体１の位置が一旦分かれば、制御部５０によりアクチュエータ２５を制御し、例えば常に移動体１を広視野画像の中心に配置するように制御する。光学系２２は１つなため、広視野画像の中心に配置された移動体１は、注視撮像部２０でもその中心に位置することになる。したがって、注視撮像部２０はその撮像素子２３の撮像面積が小さくても、十分に注視撮像部２０で追跡することが可能である。
【００４５】
なお、図示例でも光学系２２は、レンズ２２０とプリズム２２１で構成された例を示したが、上述のように本発明はこれに限定されず、レンズは複数枚組み合わせて用いても良いし、光軸が合わされれば良いため、例えばプリズムの代わりにハーフミラーを用いても良い。また、撮像面が２層からなる２層撮像素子を用いても良い。さらに、プリズムと撮像素子の間にレンズを挿入することで、広視野撮像部や注視撮像部を実現しても良い。
【００４６】
これまでの図示例では、広視野撮像部と注視撮像部の視線の制御がそれぞれ連動するも、即ち、各撮像部の回転軸が連動するものについて説明したが、本発明はこれに限定されず、各撮像部の回転軸はそれぞれ独立して回転可能に構成されていても良い。図６は、本発明の移動体追跡カメラシステムのアクチュエータによる広視野撮像部と注視撮像部の移動制御について説明するための概略図である。図中、図１と同一の符号を付した部分は同一物を表している。図示例の移動体追跡カメラシステムでは、広視野撮像部１０が所定の向きに固定されて配置されており、注視撮像部２０がアクチュエータ２５に接続されている。広視野撮像部１０により、固定画角であるが常に広い領域を撮像するように構成し、ぼかし処理や移動体検出処理を経て注視撮像部２０の動きを制御する点については上述の図示例と同様である。
【００４７】
例えば図示例のような移動体追跡カメラシステムを防犯カメラに応用した場合、広視野撮像部１０はカメラシステムが設置される部屋全体をカバーするような広い画角とする。そして、移動体としての不審者が入室してきたときに、高速に移動体検出を行い、移動体を追跡するように注視撮像部を制御する。注視撮像部では、不審者を高詳細に撮像することが可能であるため、不審者特定が容易となる。さらに、注視撮像部にズームレンズ等を用いれば、例えば不審者の全身だけでなく、顔部分にのみ注視した注視画像を生成することも可能となる。
【００４８】
このように、本発明の移動体追跡カメラシステムにおいて、広視野撮像部と注視撮像部は、回転軸がそれぞれ独立していても良い。
【００４９】
次に、本発明の移動体追跡カメラシステムの他の構成例について説明する。図７は、本発明の移動体追跡カメラシステムの他の構成例を説明するための概略図である。図中、図１と同一の符号を付した部分は同一物を表している。図示例の移動体追跡カメラシステムでは、広視野撮像部１０と注視撮像部２０以外に、さらに、注視撮像部２０よりも狭い視野で移動体を撮像して第２注視画像を出力する第２注視撮像部７０を具備するものである。また、第２注視撮像部７０には、これを移動させるアクチュエータ２６が接続されている。そして、注視撮像部２０には、第２ぼかし処理部３５が接続されている。第２ぼかし処理部３５は、ぼかし処理部３０と同様の構成であり、注視撮像部２０による注視画像にぼかし処理を施し第２ぼかし画像を出力するものである。そして、移動体検出部４１では、第２ぼかし画像からも移動体１の位置を検出して第２位置情報を出力する。広視野撮像部１０に基づくぼかし処理部３０からの位置情報と、この第２位置情報がそれぞれ制御部５１に入力される。制御部５１では、注視撮像部２０を移動させるアクチュエータ２５及び第２注視撮像部７０を移動させるアクチュエータ２６をそれぞれ制御する。
【００５０】
図示例のような移動体追跡カメラシステムは、図１に示される移動体追跡カメラシステムと基本的には同様であるが、複数の撮像部を組み合わせて用いることにより、段階的に注視していくことが可能となるため、より正確に移動体に追従させることが可能となる。
【００５１】
このように、本発明によれば、広範囲のところから移動体の検出を高速に行え、移動体の高解像度画像を生成でき、さらに移動体に対する追従性を向上させることが可能な移動体追跡カメラシステムを提供可能となる。
【００５２】
なお、本発明の移動体追跡カメラシステムは、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【図面の簡単な説明】
【００５３】
【図１】図１は、本発明の移動体追跡カメラシステムの構成を説明するための概略図である。
【図２】図２は、本発明の移動体追跡カメラシステムの処理を説明するためのフローチャートである。
【図３】図３は、本発明の第１実施例の移動体追跡カメラシステムの広視野撮像部と注視撮像部の構成を説明するための図である。
【図４】図４は、本発明の第２実施例の移動体追跡カメラシステムの広視野撮像部と注視撮像部の構成を説明するための概略図である。
【図５】図５は、本発明の第３実施例の移動体追跡カメラシステムの広視野撮像部と注視撮像部の構成を説明するための概略図である。
【図６】図６は、本発明の移動体追跡カメラシステムのアクチュエータによる広視野撮像部と注視撮像部の移動制御について説明するための概略図である。
【図７】図７は、本発明の移動体追跡カメラシステムの他の構成例を説明するための概略図である。
【符号の説明】
【００５４】
１    移動体
１０    広視野撮像部
１１、２１    広視野撮像部の撮像素子
１３、２３    注視撮像部の撮像素子
１２    撮像素子
２０    注視撮像部
２２    光学系
２５、２６    アクチュエータ
３０    ぼかし処理部
３５    第２ぼかし処理部
４０、４１    移動体検出部
５０、５１    制御部
７０    第２注視撮像部
２２０    レンズ
２２１    プリズム
【図１】
0005152758.tif 000002
【図２】
0005152758.tif 000003
【図３】
0005152758.tif 000004
【図４】
0005152758.tif 000005
【図５】
0005152758.tif 000006
【図６】
0005152758.tif 000007
【図７】
0005152758.tif 000008