(57)【要約】      （修正有）【課題】動体を検索する固定、もしくはパンチルトカメラとその動体をズームして動体の詳細を撮影するためのパンチルトカメラを用いて動体を複数検知した場合に、効率よくまた確実に複数の動体の詳細画像を取得できるようにする。【解決手段】センサーカメラ１０で広範囲な撮影を行いつつ、ズームカメラ２０でその撮影範囲内の追跡対象を撮影するにあたり、広範囲な撮影を行うセンサーカメラ１０により得られるセンサー画像から動体の位置と大きさを動体検知モジュール３２により抽出し、抽出された複数の動体から一つの撮影画角を撮影画角計算モジュールにより決定し、決定された画角の位置、移動速度、大きさから、上記センサーカメラ１０の撮影範囲内の抽出された複数の動体を追跡対象として追跡対象画像取得モジュール３４によりズームカメラ２０で撮影させる。【選択図】図３
2006081125.tif 000002
【特許請求の範囲】
【請求項１】
広範囲な撮影を行うセンサーカメラと、
上記センサーカメラの撮影範囲内の追跡対象を撮影するズームカメラと、
上記センサーカメラから及びズームカメラを制御する制御部からなり、
上記制御部は、上記センサーカメラにより得られるセンサー画像から動体の位置と大きさを抽出する動体検知手段と、上記動体検知手段により抽出された複数の動体から一つの撮影画角を決定する撮影画角計算手段と、上記撮影画角計算手段により決定された画角の位置、移動速度、大きさからその場所を上記ズームカメラに撮影させる追跡対象画像取得手段と、その撮影順を管理する画角追跡順管理手段と、動体撮影画角内の全ての動体が停止した際に、その撮影画角を一定時間保持する停止撮影画角管理手段と、センサーカメラの撮像範囲における撮影位置を算出する処理を行うカメラ相対位置補正手段とを備え、撮影画角にＩＤを割り振り動体が停止した後も同一の画角ＩＤを振り、その同一動体撮影画角の撮影の優先順位を制御し、上記センサーカメラで広範囲な撮影を行いつつ、上記ズームカメラでその撮影範囲内の追跡対象を撮影することを特徴とする撮像システム。
【請求項２】
上記制御部は、同一撮影画角で持続時間が長い撮影の優先順位を下げる制御を行うことを特徴とする請求項１記載の撮像システム。
【請求項３】
上記制御部は、同一撮影画角での撮影の優先順位を上げる制御を行うことを特徴とする請求項１記載の撮像システム。
【請求項４】
上記制御部は、画角位置変化情報を保持し、その情報を元にズーム倍率と撮影位置を決定することを特徴とする請求項１記載の撮像システム。
【請求項５】
センサーカメラで広範囲な撮影を行いつつ、ズームカメラでその撮影範囲内の追跡対象を撮影するにあたり、
広範囲な撮影を行うセンサーカメラにより得られるセンサー画像から動体の位置と大きさを抽出し、
抽出された複数の動体から一つの撮影画角を決定し、
決定された画角の位置、移動速度、大きさから、上記センサーカメラの撮影範囲内の抽出された複数の動体を追跡対象としてズームカメラで撮影させるとともに、その撮影順を管理し、
動体撮影画角内の全ての動体が停止した際に、その撮影画角を一定時間保持し、
撮影画角にＩＤを割り振り動体が停止した後も同一の画角ＩＤを振り、その同一動体撮影画角の撮影の優先順位を制御して、
上記センサーカメラで広範囲な撮影を行いつつ、その撮影範囲内の追跡対象を上記ズームカメラで撮影することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２台のカメラ用いてセンサーカメラで広範囲な撮影を行いつつ、もう一方のズームカメラでその撮影範囲内の追跡対象を撮影する撮像システム及び撮像方法に関する。
【背景技術】
【０００２】
従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、ＣＣＤ等の固体撮像素子により画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、モニタに供給される画像信号は、一画面毎の被写体に対応するものである。このため、同時に表示される画像は狭い範囲のものとなり、広範囲の状況を同時に監視することができなかった。
【０００３】
このため、カメラの撮影方向を順にシフトさせながら被写体を撮像することにより、複数の単位画像から構成されるパノラマ状の全体画像を得ることにより、広範囲の状況を監視することができる監視カメラが普及している。特に、近年において、複数の映像信号を縮小／合成し、１フレームの映像信号とする技術も提案され（例えば、特許文献１参照）、また設置された複数の監視用ビデオカメラから監視映像を集めてビデオテープ等の記録媒体に記録することにより、監視の実現を可能とする集中監視記録システムも提案されている（例えば、特許文献２参照）。
【０００４】
【特許文献１】特開平１０−１０８１６３号公報
【特許文献２】特開２０００−２４３０６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の如き
複数の動体を撮影しようとする場合、通常は動体ごとに撮影するため、全ての動体を捉えきれない可能性が高かった。
【０００６】
センサーカメラ画像から動体の位置を取得し、動体の早さによってはパン／チルト／ズームした場合に詳細画像を撮影するカメラの画角から動体が外れてしまい、動体の詳細画像が取得できない可能性が高かった。
【０００７】
そこで、本発明の目的は、上述の如き従来の問題点に鑑み、動体を検索する固定、もしくはパンチルトカメラとその動体をズームして動体の詳細を撮影するためのパンチルトカメラを用いて動体を複数検知した場合に、効率よくまた確実に複数の動体の詳細画像を取得できるようにすることにある
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【課題を解決するための手段】
【０００８】
本発明に係る撮像システムは、広範囲な撮影を行うセンサーカメラと、上記センサーカメラの撮影範囲内の追跡対象を撮影するズームカメラと、上記センサーカメラから及びズームカメラを制御する制御部からなり、上記制御部は、上記センサーカメラにより得られるセンサー画像から動体の位置と大きさを抽出する動体検知手段と、上記動体検知手段により抽出された複数の動体から一つの撮影画角を決定する撮影画角計算手段と、上記撮影画角計算手段により決定された画角の位置、移動速度、大きさからその場所を上記ズームカメラに撮影させる追跡対象画像取得手段と、その撮影順を管理する画角追跡順管理手段と、動体撮影画角内の全ての動体が停止した際に、その撮影画角を一定時間保持する停止撮影画角管理手段と、センサーカメラの撮像範囲における撮影位置を算出する処理を行うカメラ相対位置補正手段とを備え、撮影画角にＩＤを割り振り動体が停止した後も同一の画角ＩＤを振り、その同一動体撮影画角の撮影の優先順位を制御し、上記センサーカメラで広範囲な撮影を行いつつ、上記ズームカメラでその撮影範囲内の追跡対象を撮影することを特徴とする。
【０００９】
上記撮像システムにおいて、上記制御部は、例えば、同一撮影画角で持続時間が長い撮影の優先順位を下げる制御を行う。
【００１０】
また、上記撮像システムにおいて、上記制御部は、例えば、同一撮影画角での撮影の優先順位を上げる制御を行う。
【００１１】
さらに、上記撮像システムにおいて、上記制御部は、例えば、画角位置変化情報を保持し、その情報を元にズーム倍率と撮影位置を決定する。
【００１２】
本は詰めに係る撮像方法は、センサーカメラで広範囲な撮影を行いつつ、ズームカメラでその撮影範囲内の追跡対象を撮影するにあたり、広範囲な撮影を行うセンサーカメラにより得られるセンサー画像から動体の位置と大きさを抽出し、抽出された複数の動体から一つの撮影画角を決定し、決定された画角の位置、移動速度、大きさから、上記センサーカメラの撮影範囲内の抽出された複数の動体を追跡対象としてズームカメラで撮影させるとともに、その撮影順を管理し、動体撮影画角内の全ての動体が停止した際に、その撮影画角を一定時間保持し、撮影画角にＩＤを割り振り動体が停止した後も同一の画角ＩＤを振り、その同一動体撮影画角の撮影の優先順位を制御して、上記センサーカメラで広範囲な撮影を行いつつ、その撮影範囲内の追跡対象を上記ズームカメラで撮影することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、２台のカメラ用いてセンサーカメラで広範囲な撮影を行いつつ、もう一方のズームカメラでその撮影範囲内の追跡対象を撮影する際に、撮影画角にＩＤを割り振り動体が停止した後も同一の画角ＩＤを振り、その同一動体撮影画角と持続時間が長い撮影の優先順位を下げることで、より多くの動体を撮影することができる。また、同一撮影画角の優先順位を上げることで同じ撮影画角を撮影し続けることも可能である。また、画角位置変化情報を保持し、その情報を元にズーム倍率と撮影位置を決定しているので、ある程度大きな複数の動体が高速で移動した場合にもその詳細画像を取得することができる。詳細画像はパンチルト後１枚、ズーム後１枚と２段階の取得を行っているため、動体の詳細画像に追跡対象が撮影されている可能性を高くすることができる。また、この詳細画像は撮影画像の再生時に動体の検索キーとしても使用することもできる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
【００１５】
本発明は、例えば図１に示すような構成の撮像システム１００に適用される。
【００１６】
この撮像システム１００は、１台のカメラで広範囲を撮影可能なシステムであって、センサーカメラ１０とズームカメラ２０をリモートでコントロールするクライアント３０とそれらを結ぶネットワーク４０で構成され、クライアント３０にはカメラの向き（パン／チルト）とズーム倍率と撮影を遠隔地からネットワーク４０を介して制御する機能が搭載されている。
【００１７】
なお、本発明は、図２に示すように３６０度の広範囲な領域を撮影する固定カメラ１０Ａを上記センサーカメラ１０に使用する場合にも適用することができる。
【００１８】
上記クライアント３０は、その機能構成を図３に示すように、広範囲な撮影を行いその動体のセンサーとして上記センサーカメラ１０を利用するセンサー画像取得モジュール３１と、そのセンサー画像から動体の位置と大きさを抽出する動体検知モジュール３２と、複数の動体から一つの撮影画角を決定する撮影画角計算モジュール３３と、その複数動体から決定された画角の位置、移動速度、大きさからその場所をズームカメラ２０に撮影させる撮影命令を出す追跡対象画像取得モジュール３４と、その撮影順を管理する画角追跡順管理データベース３５と、動体撮影画角内の全ての動体が停止した際に、その撮影画角を一定時間保持する停止撮影画角管理データベース３６と、センサーカメラ１０の撮像範囲における撮影位置を算出する処理を行うカメラ相対位置補正モジュール３７と、撮影結果をクライアント３０で結果を表示する結果表示モジュール３８が搭載されている。
【００１９】
上記クライアント３０に搭載された各モジュールの関係を図４のソフトウェアモジュール相関図に示す。
【００２０】
上記センサー画像取得モジュール３１は、動体検知を行うための広範囲を撮影している画像を取得するモジュールであって、図５のフローチャートに示す処理を行う。
【００２１】
すなわち、センサー画像取得モジュール３１は、処理を開始すると、先ずセンサーカメラ１０に画像取得要求を行い（ステップＳ１１）、センサーカメラ１０からセンサー画像を取得する（ステップＳ１２）。そして、センサー画像取得モジュール３１は、がクライアント３０に画像を返却し（ステップＳ１３）、撮影画角計算モジュール３３を呼び出して（ステップＳ１４）、処理を終了する。
【００２２】
また、上記動体検知モジュール３２は、センサー画像から動体の位置と大きさを抽出するモジュールであって、図６のフローチャートに示す処理を行う。
【００２３】
すなわち、動体検知モジュール３２は、処理を開始すると、先ず入力されたセンサー画像を元に動体の位置と大きさを算出し（ステップＳ２１）、呼び出し元に結果を返却して（ステップＳ２２）、処理を終了する。
【００２４】
また、上記撮影画角計算モジュール３３は、動体検知モジュール３２で取得した全ての動体の位置と大きさを元に、撮影画角とそれらの画角の撮影優先順位を決定するモジュールであって、図７のフローチャートに示す処理を行う。
【００２５】
すなわち、撮影画角計算モジュール３３は、処理を開始すると、先ず動体検知モジュール３２にセンサー画像を入力し（ステップＳ３１）、動体検知モジュール３２から結果を受け取る（ステップＳ３２）。
【００２６】
次に、撮影画角計算モジュール３３は、検出範囲に統合可能な他の動体か撮影画角がないか否かを判定し（ステップＳ３３）、その判定結果がＮＯである場合には、ズームカメラ２０が１倍の画角の範囲内にあるか否かを判定する（ステップＳ３４）。
【００２７】
そして、撮影画角計算モジュール３３は、上記ステップＳ３４における判定結果がＮＯである場合には、対象動体、撮影画角に統合不可フラグを立てて（ステップＳ３５）、上記ステップＳ３３の判定処理に戻り、上記ステップＳ３４における判定結果がＹＥＳである場合には、撮影画角を計算して（ステップＳ３６）、上記ステップＳ３３の判定処理に戻る。
【００２８】
また、撮影画角計算モジュール３３は、上記ステップＳ３３における判定結果がＹＥＳである場合には、前回の結果からＩＤを引き継ぎ（ステップＳ３７ａ）、次に、停止撮影画角管理データベース３６の撮影画角からＩＤを引き継ぎ（ステップＳ３７ｂ）、さらに、停止撮影画角管理データベース３６のデータから一定時間経った撮影画角を削除する（ステップＳ３７ｃ）。
【００２９】
そして、撮影画角計算モジュール３３は、今回の撮影画角の計算結果と停止撮影画角管理データベース３６の撮影画角をソートし（ステップＳ３７ｃ）、その結果を画角追跡順管理データベース３５に格納して（ステップＳ３７ｃ）、処理を終了する。
【００３０】
また、上記追跡対象画像取得モジュール３４は、画角追跡順管理データベース３５とカメラ相対位置補正モジュール３７により算出される位置補正結果を元に、追跡対象画像の撮影を行うモジュールであって、図８のフローチャートに示す処理を行う。
【００３１】
すなわち、追跡対象画像取得モジュール３４は、処理を開始すると、先ず画角追跡順管理データベース３５から優先順位の高い撮影画角を取得し（ステップＳ４１）、取得した撮影画角の位置変化量と大きさからズーム値を決定し（ステップＳ４２ａ）、撮影画角の位置変化量と位置からパンチルト値を決定する（ステップＳ４２ｂ）。そして、追跡対象画像取得モジュール３４は、カメラ相対位置補正モジュール３７を呼び出し（ステップＳ４３ａ）、カメラ相対位置補正モジュール３７から位置補正結果を取得する（ステップＳ４３ｂ）。
【００３２】
次に、追跡対象画像取得モジュール３４は、ズームカメラ２０にパン、チルトの命令とともに撮影要求を送信し、ズームカメラ２０から詳細画像を１枚取得して、結果表示モジュール３８にその画像を送る（ステップＳ４４ａ）。さらに、追跡対象画像取得モジュール３４は、ズームカメラ２０にズームの命令とともに撮影要求を送信し、ズームカメラ２０から詳細画像を１枚取得して、結果表示モジュール３８にその画像を送る（ステップＳ４４ｂ）。
【００３３】
次に、追跡対象画像取得モジュール３４は、画角追跡順管理データベース３５に新規の撮影画角があるか否かを判定し（ステップＳ４５）、その判定結果がＹＥＳすなわち新規が撮影画角がある場合は画角追跡順管理データベース３５が管理している撮影順を肇からにリセットして、撮影画角配列の頭から撮影を再開する。また、上記ステップＳ４５における判定結果がＮＯすなわち新規が撮影画角ない場合は画角追跡順管理データベース３５が現在保持している優先順位に従って次の撮影画角を撮影する（ステップＳ４５）。
【００３４】
そして、追跡対象画像取得モジュール３４は、クライアント３０から停止要求があったか否かを判定し（ステップＳ４７）、その判定結果がＮＯすなわち停止要求がない場合には、上記ステップＳ４１に戻り、ステップＳ４１からステップＳ４７を処理を繰り返し行い、上記ステップＳ４７における判定結果がＹＥＳすなわち停止要求があると処理を終了。
【００３５】
なお、上記画角追跡順管理データベース３５は、撮影する画角とその撮影順序を管理するデータベースである。また、停止画角管理データベース３６は、停止した動体撮影画角を管理するデータベースであって、一定時間の間にＩＤを引き継ぐ撮影画角が見つからなかった場合は、このデータベースから自動で消去される。
【００３６】
また、カメラ相対位置補正モジュール３７は、図９のフローチャートに示すように、広角範囲撮影用のセンサーカメラ１０の撮像範囲（パノラマ矩形）における追跡対象位置を相対比で算出し（ステップＳ７１）、求めた相対比からセンサーカメラ１０における撮影位置を算出する処理を行う（ステップＳ７２）。
【００３７】
さらに、結果表示モジュール３８は、追跡対象を撮影した画像を表示するモジュールであって、図１０のフローチャートに示すように、追跡対象画像取得モジュール３４からズームカメラ２０の画像を取得して（ステップＳ８１）、クライアントにズームカメラ画像を表示する処理を行う（ステップＳ７２）。
【００３８】
このような構成の撮像システム１００において、センサー画像から動体情報を取得して、画角情報を生成する動作は、次のように行われる。
【００３９】
すなわち、センサー画像取得モジュール３１は、上述の図５に示したフローチャートの手順に従い、センサーカメラ１０からセンサー画像を取得して、クライアント３０に画像を返却し、撮影画角計算モジュール３３を呼び出す。
【００４０】
撮影画角計算モジュール３３は、上述の図７に示したフローチャートの手順に従い、上記センサー画像取得モジュール３１からの呼び出しに応じて、動体検知モジュール３２に画像を入力し、動体検知モジュール３２から結果を受け取り、動体の位置と大きさから、必要な撮影画角を計算する。
【００４１】
そして、追跡対象画像取得モジュール３４は、上述の図８に示したフローチャートの手順に従った処理を定期的に実行する。
【００４２】
また、この撮像システム１００において、上記画角追跡順管理データベース３４を更新する動作は、次のように行われる。
【００４３】
すなわち、撮影画角計算モジュール３３は、上述の図７に示したフローチャートの手順に従い、全ての新たな撮影画角に対して同一範囲にある前回の撮影画角ＩＤをそれぞれ割り振る。また、その際に撮影画角変化情報も更新する。
【００４４】
撮影画角計算モジュール３３は、前回の撮影画角ＩＤが割り振れなかった場合は、停止画角管理データベース３６から同一範囲にある撮影画角ＩＤを割り振る。そして、停止画角管理データベース３６から撮影画角ＩＤを割り振ることができた場合は、その撮影画角を停止画角管理データベース３６から消去する。
【００４５】
また、撮影画角計算モジュール３３は、過去の撮影画角ＩＤを割り振れなかった撮影画角には新たに撮影画角ＩＤを割り振る。そして、撮影画角ＩＤを割り振ることができなかった前回の撮影画角は停止画角管理データベース３６に追加する。
【００４６】
また、撮影画角計算モジュール３３は、停止画角管理データベース３６にシステムで規定した一定時間以上存在する撮影画角を停止画角管理データベース３６から削除する。
【００４７】
さらに、撮影画角計算モジュール３３は、今回取得した撮影画角において、新規，継続のステータスを付与し、停止画角管理データベース３６にある撮影画角には停止のステータスを付与する。
【００４８】
そして、撮影画角計算モジュール３３は、継続時間の短いもの順、もしくは指定撮影画角ＩＤから順に撮影画角を整理し、画角追跡順管理データベース３４を更新する。
【００４９】
なお、撮影画角とＩＤ割り当ての様子を図１１に示す。
【００５０】
さらに、この撮像システム１００において、上記画角追跡順管理データベース３４を用いて撮影を行う動作は、次のように行われる。
【００５１】
すなわち、上述の図８に示したフローチャートの手順に従い、追跡対象画像取得モジュール３４は、画角追跡順管理データベース３５に格納されている順に従って撮影画角を取り出し、撮影画角の位置、位置変化情報、画角の大きさ、カメラ相対位置補正ロジックを元に、ズームカメラのパンチルト値とズーム値を決定して、ズームカメラ２０にパンチルトの命令を送信し、詳細画像を１枚取得し、結果表示モジュール３８にその画像を送る。さらに、追跡対象画像取得モジュール３４は、ズームカメラ２０にズームの命令を送信し、詳細画像を１枚取得し、結果表示モジュール３８にその画像を送る。
【００５２】
そして、追跡対象画像取得モジュール３４は、画角追跡順管理データベース３５に新規の撮影画角がないかチェックする。新規の撮影画角がある場合は画角追跡順管理データベース３５が管理している撮影画角配列の頭から撮影を再開する。新規の撮影画角がない場合は現在保持している優先順位に従って次の撮影画角を撮影する。
【００５３】
このように、この撮像システム１００では、２台のカメラ１０，２０を用いてセンサーカメラ１０で広範囲な撮影を行いつつ、もう一方のズームカメラ２０でその撮影範囲内の追跡対象を撮影する際に、図１２に示すように複数動体を１つの撮像画角として統合して表示し、その詳細画像を取得することができ、撮影画角にIDを割り振り動体が停止した後も同一の画角IDを振り、その同一動体撮影画角と持続時間が長い撮影の優先順位を下げることで、より多くの動体を撮影することができる。また、同一撮影画角の優先順位を上げることで同じ撮影画角を撮影し続けることも可能である。また、画角位置変化情報を保持し、その情報を元にズーム倍率と撮影位置を決定しているので、ある程度大きな複数の動体が高速で移動した場合にもその詳細画像を取得することができる。詳細画像はパンチルト後１枚、ズーム後１枚と２段階の取得を行っているため、動体の詳細画像に追跡対象が撮影されている可能性を高くすることができる。また、この詳細画像は撮影画像の再生時に動体の検索キーとしても使用することもできる。
【図面の簡単な説明】
【００５４】
【図１】本発明を適用した撮像システムの構成を示すブロック図である。
【図２】本発明が適用される撮像システムの他の構成例を示すブロック図である。
【図３】本発明を適用した撮像システムにおけるクライアントに備えられる機能構成を模式的に示すブロック図である。
【図４】上記クライアントに搭載された各モジュールの関係を示すソフトウェアモジュール相関図である。
【図５】上記クライアントに搭載されたセンサー画像取得モジュールの動作を示すフローチャートである。
【図６】上記クライアントに搭載された動体検知モジュールの動作を示すフローチャートである。
【図７】上記クライアントに搭載された撮影画角計算モジュールの動作を示すフローチャートである。
【図８】上記クライアントに搭載された追跡対象画像取得モジュールの動作を示すフローチャートである。
【図９】上記クライアントに搭載されたカメラ相対位置補正モジュールの動作を示すフローチャートである。
【図１０】上記クライアントに搭載された結果表示モジュールの動作を示すフローチャートである。
【図１１】本発明を適用した撮像システムにおける撮影画角とＩＤ割り当ての様子を示す図である。
【図１２】本発明を適用した撮像システムにおけるセンサーカメラにより得られた広範囲なセンサー画像と、その撮影範囲内の複数動体を統合して追跡対象としてズームカメラで撮影した詳細画像を示す図である。
【符号の説明】
【００５５】
１０  センサーカメラ、１０Ａ  固定カメラ、２０  ズームカメラ、３０  クライアント、３１  センサー画像取得モジュール、３２  動体検知モジュール、３３  撮影画角計算モジュール、３４  追跡対象画像取得モジュール、３５  画角追跡順管理データベース、３６  停止撮影画角管理データベース、３７  カメラ相対位置補正モジュール、３８  結果表示モジュール、４０  ネットワーク、１００  撮像システム１００
【図１】
2006081125.tif 000003
【図２】
2006081125.tif 000004
【図３】
2006081125.tif 000005
【図４】
2006081125.tif 000006
【図５】
2006081125.tif 000007
【図６】
2006081125.tif 000008
【図７】
2006081125.tif 000009
【図８】
2006081125.tif 000010
【図９】
2006081125.tif 000011
【図１０】
2006081125.tif 000012
【図１１】
2006081125.tif 000013
【図１２】
2006081125.tif 000014