(57)【特許請求の範囲】
【請求項１】
最大周囲３６０°の視野領域を有する全方位画像を撮影する全方位カメラと、パンおよびチルト駆動による位置制御とズーム駆動による倍率制御とを可能とするズームカメラと、該全方位カメラの基準位置と該ズームカメラの駆動基準位置が見かけ上一致するように、該全方位カメラの画像の中心軸に対し全方位画像を所定角度回転処理し、その所定角度回転処理した全方位画像データの所定監視位置を該ズームカメラにより駆動制御させる制御部と、該全方位カメラで撮影された全方位画像および該ズームカメラで撮影されたズーム画像を表示可能とする表示部とを有する全方位監視制御システム。
【請求項２】
前記制御部は、前記全方位画像を画像処理する画像処理部と、該全方位画像の所定監視範囲を全方位監視領域として設定すると共に該全方位監視領域を複数の監視領域に分割する監視領域設定部と、該全方位監視領域内に存在する被写体の動きを検知する検知部と、各監視領域から一つの監視領域を該検知部の検知結果または手動により指定する指定部と、該指定部で指定された監視領域に対して予めズームカメラの位置および倍率を設定するたための制御情報に変換する変換部と、該制御情報に基づいて該指定監視領域をズーム撮影するようにズームカメラを駆動制御するズームカメラ制御部とを備えた請求項１記載の全方位監視制御システム。
【請求項３】
前記全方位カメラは、放物面状または双曲面状の凸型回転体ミラーおよび、魚眼レンズの何れかを用いて全方位画像を投影する光学系を有する請求項１または２記載の全方位監視制御システム。
【請求項４】
前記画像処理部は、前記全方位カメラからの全方位画像を、前記凸型回転体ミラーからの光学像に対して反転処理しかつ該凸型回転体ミラーの中心軸に対して所定方向および所定角度だけ回転処理して前記表示部に表示させる請求項３記載の全方位監視制御システム。
【請求項５】
前記監視領域設定部は、前記全方位画像が円形状である場合に、円形状の全方位監視領域の基準位置を縦横のカーソル線で微調整可能に設定し、設定した全方位監視領域を同心円状および放射状に分割し、分割した各監視領域を明示する領域枠およびその領域番号の少なくとも何れかを該全方位画像に付加して前記表示部の表示画面上に識別可能に表示させる請求項２記載の全方位監視制御システム。
【請求項６】
前記表示部に表示された複数の監視領域に対して前記ズームカメラを所定のパンおよびチルト駆動による位置制御とズーム駆動による倍率制御とを行うための制御情報を特定の操作入力手段を用いて順次設定入力可能とする制御情報設定部と、順次設定された制御情報を各監視領域に対応させて記憶する制御情報テーブルとをさらに備え、前記変換部は、前記指定部により指定された画像領域に対する制御情報を該制御情報テーブルまたは／および所定算出手順により求める請求項２記載の全方位監視制御システム。
【請求項７】
前記制御情報設定部は、前記同心円状に分割された各監視領域に対して、前記ズームカメラのパン位置だけ変化させ、同じチルト位置、同じズーム比を含む各制御情報に設定し、前記放射状に分割された各監視領域に対して、前記ズームカメラのズーム比を変化させた各制御情報を設定する請求項６記載の全方位監視制御システム。
【請求項８】
前記制御情報設定部は、前記同心円状および放射状に分割された各監視領域に対して、ある放射状方向に配列された各監視領域に対する制御情報の基準値を設定することにより、残りの全監視領域に対する各制御情報の値を自動設定可能とする請求項６記載の全方位監視制御システム。
【請求項９】
前記制御情報設定部は、前記ズームカメラと全方位カメラとが所定間隔以上離れて設置されたとき、全方位画像の中心設置とズームカメラの駆動中心位置が見かけ上一致するように各監視領域に対する各制御情報のパンおよびチルト位置、ズーム比の各値を予め補正設定可能とする請求項６記載の全方位監視制御システム。
【請求項１０】
前記全方位カメラにより撮影された全方位画像をフレーム単位で順次一時記憶する画像記憶部をさらに備え、前記検知部は、該画像記憶部にフレーム単位で相前後して記憶された全方位画像のパターンマッチングにより差分画像を作成し、その差分画像を被写体の動きとして識別可能に前記表示部の表示画面上に表示させる請求項２記載の全方位監視制御システム。
【請求項１１】
前記検知部は、所定画素数以上の差分画像を示す位置に縦横に交差するカーソル線を全方位画像上に表示し、かつ該カーソル線の交差位置が存在する監視領域の領域番号を所定周期で前記指定部に出力する請求項１０記載の全方位監視制御システム。
【請求項１２】
前記検知部は、所定の画素数と所定の濃度値とを閾値として２値化した差分画像を作成するとき、それらの閾値を前記全方位監視領域に対する監視領域の位置に応じて予め変更可能とする請求項１０記載の全方位監視制御システム。
【請求項１３】
前記検知部は、所定の画素数と所定の濃度値とを閾値として２値化した差分画像を作成するとき、ある領域の画像の平均濃度値から周囲の明るさの変化を検知し、周囲の明るさの変化に応じて該閾値を予め変更可能とする請求項１０記載の全方位監視制御システム。
【請求項１４】
前記全方位監視領域のうち任意の領域を操作入力手段による入力操作により予め無効に設定可能とし、その無効に設定した監視領域を識別可能に前記表示部の表示画面上に表示させる無効領域設定部をさらに備えた請求項２記載の全方位監視制御システム。
【請求項１５】
最大周囲３６０°の視野領域を有する全方位画像を撮影する全方位カメラからの全方位画像データを画像処理する画像処理ステップと、該画像処理後の全方位画像を表示する表示ステップと、該全方位画像の所定範囲を全方位監視領域として設定すると共に該全方位監視領域を複数の監視領域に分割する監視領域設定ステップと、該全方位監視領域内に存在する被写体の動きを検知する検知ステップと、各監視領域から一つの監視領域を該検知ステップでの検知結果または手動により指定する指定ステップと、該指定監視領域に対して予め該ズームカメラの位置および倍率が設定された制御情報に変換する変換ステップと、該制御情報に基づいて該監視領域を中心にズーム撮影するように該ズームカメラを駆動制御するズームカメラ制御ステップとを含み、
該画像処理ステップとして、該全方位カメラの基準位置と該ズームカメラの駆動基準位置が見かけ上一致するように、該全方位カメラの画像の中心軸に対し全方位画像を所定角度回転処理し、その所定角度回転処理した全方位画像データの所定監視位置を該ズームカメラにより駆動制御させる全方位監視制御方法。
【請求項１６】
最大周囲３６０°の視野領域を有する全方位画像を撮影する全方位カメラからの全方位画像データを画像処理する画像処理ステップと、該画像処理後の全方位画像を表示する表示ステップと、該全方位画像の所定範囲を全方位監視領域として設定すると共に該全方位監視領域を複数の監視領域に分割する監視領域設定ステップと、該全方位監視領域内に存在する被写体の動きを検知する検知ステップと、各監視領域から一つの監視領域を該検知ステップでの検知結果または手動により指定する指定ステップと、該監視領域に対して予め該ズームカメラの位置および倍率が設定された制御情報に変換する変換ステップと、該制御情報に基づいて該監視領域を中心にズーム撮影するように該ズームカメラを駆動制御するズームカメラ制御ステップとをコンピュータに実行させると共に、
該画像処理ステップとして、該全方位カメラの基準位置と該ズームカメラの駆動基準位置が見かけ上一致するように、該全方位カメラの画像の中心軸に対し全方位画像を所定角度回転処理し、その所定角度回転処理した全方位画像の所定監視位置を該ズームカメラにより駆動制御させるように該コンピュータに実行させるための全方位監視制御プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば、最大視野角度３６０°の視野情報を取り込むことが可能な全方位カメラで撮影された全方位画像のうち、自動または手動により指定した監視領域を中心にズームカメラによりズーム撮影する全方位監視制御システム、これを用いた全方位監視制御方法および、これらに用いる全方位監視制御プログラムに関する。
【０００２】
【従来の技術】
従来、例えば金融機関やスーパーマーケットなどの防犯監視装置として、固定式または首振り式の監視カメラが一般的に知られている。これらの監視カメラによる映像は、通常、管理人が、管理室のモニタ装置などで侵入者や火災などの異常事態を認識し、それに対して緊急処置を行っている。
【０００３】
しかし、管理人が、監視カメラにより撮影した映像をモニタ装置の画面上で監視する監視設備は大規模なものになって、多大なコストを必要とする。このような監視設備であっても、管理人が遠隔地で防犯対象を正確に監視するには不十分なものである。
【０００４】
また、レーザ光や赤外線などを使用し、侵入者が光線を遮断することにより侵入者を検知するセンサや、火災、ガス漏れなどを検知するセンサにより警報を発する防犯監視装置が一般的に知られている。このようなセンサを用いた防犯監視装置により警報を発する場合、その警報によって異常事態の発生の有無は認識できるものの、管理人が視覚で確認していないので、異常事態の程度や詳細な状態など正確な情報把握が困難であった。
【０００５】
一方、近年の犯罪の増加に伴い、遠隔地の管理者が、常時、特別な注意を必要とせず、防犯対象を監視しつつ異常事態の発生を正確に特定できる防犯監視システムが切望されている。
【０００６】
これらの問題を改善するための技術として、例えば、特開平３−８４７００号公報「遠隔監視装置」、特開平４−１７６４８４号公報「遊技場における監視装置」、さらに特開平１１−２５９７７５号公報「監視システム」などが提案されている。
【０００７】
例えば特開平３−８４７００号公報「遠隔監視装置」では、監視地域ブロック内でセンサ群を分散配置してそれぞれの異常事態を検出し、テレビカメラを自動的に異常発生箇所に向け、異常検出信号と、撮影した映像信号とを監視室端末に交換・伝送し、その端末側で異常箇所の画像表示と関連情報とを自動表示させることにより、異常発生箇所の状況把握を確実かつ容易に行うようにしている。
【０００８】
また、特開平４−１７６４８４号公報「遊技場における監視装置」では、異常検知手段による情報の解析から異常状態であると判定した競技機に対して、監視ビデオカメラをその遊技機の設定監視状態にセットして映像情報を画面表示することにより、低廉な設備コストで、遊技機１台毎の監視状態の効率向上を可能としている。
【０００９】
さらに、特開平１１−２５９７７５号公報「監視システム」では、ワイドカメラにより監視エリアの画像を取得し、この取得した画像を平常画像と比較して差異を認識することにより異常事態を検知している。この異常事態が発生した場合には、ワイドカメラによる画像取得と共に、ズームカメラで重要地点の画像を取得し、ワイドカメラとズームカメラによる画像を端末コンピュータに伝送することにより、遠隔地の管理者が監視エリアの異常発生を比較的詳細に認識でき、異常事態の特定を正確に行うことができる。
【００１０】
【発明が解決しようとする課題】
しかしながら、特開平３−８４７００号公報「遠隔監視装置」において、センサ郡を分散配置することは、予めセンサが配置された箇所しか異常を検知することができず、さらに、そのセンサの種類によってはその種類以外の異常は検知できない。また、配置されたセンサ郡の信頼性が劣化したり、それらのセンサ郡に対するテレビカメラの位置制御の設定が難しいという問題があった。
【００１１】
また、特開平４−１７６４８４号公報「遊技場における監視装置」では、各種センサからなる異常検知手段を各遊技機の近辺に配置する必要があり、予めセンサが配置された箇所しか異常を検知することができず、また、配置された環境によりセンサが故障したり、各種センサとテレビカメラの位置制御の設定が煩雑になるという問題があった。
【００１２】
さらに、特開平１１−２５９７７５号公報「監視システム」では、ワイドカメラは平常画像と比較してその差異から異常を検知する一つのセンサとして機能するものであり、予め設定された幾つかの重要地点にズームカメラを向けるようにしているので、ワイドカメラで撮影された異常箇所に追尾して位置制御および倍率制御ができるようには構成されていない。このため、重要地点が幾つもあるとき、本当に異常事態が発生している重要地点を視覚で確かめなければならない。よって、複数の重要地点の画像を同時に撮影しなければならないという問題があった。
【００１３】
本発明は、上記従来の問題を解決するもので、全方位カメラを用いて複数の重要地点の画像を含めた全方位画像のうち指定監視領域のズーム画像を精度よくズーム撮影すると共に、全方位画像とズーム画像とを同じ視覚内で確認することができる全方位監視システム、これを用いた全方位監視制御方法および、これらに用いる全方位監視制御プログラムを提供するものである。
【００１４】
【課題を解決するための手段】
本発明の全方位監視システムは、最大周囲３６０°の視野領域を有する全方位画像を撮影する全方位カメラと、パンおよびチルト駆動による位置制御とズーム駆動による倍率制御とを可能とするズームカメラと、全方位カメラの基準位置と該ズームカメラの駆動基準位置が見かけ上一致するように、全方位カメラの画像の中心軸に対し全方位画像を所定角度回転処理し、その所定角度回転処理した全方位画像データの所定監視位置をズームカメラにより駆動制御させる制御部と、全方位カメラで撮影された全方位画像およびズームカメラで撮影されたズーム画像を表示可能とする表示部とを有するものであり、そのことにより上記目的が達成される。また、本発明の全方位監視システムは、最大周囲３６０°の視野領域の光学像を光学系を介して投影し、この投影された光学像を全方位画像として撮影部により撮影する全方位カメラと、パンおよびチルト駆動による位置制御とズーム駆動による倍率制御とを可能とするズームカメラと、全方位カメラの中心位置とズームカメラの駆動中心位置が見かけ上一致するように、投影光学像を反転処理して、光学系の中心軸に対し全方位画像を所定角度回転処理し、その所定角度回転処理した全方位画像データの所定監視位置を中心としてズームカメラを駆動制御する制御部と、全方位カメラで撮影された全方位画像およびズームカメラで撮影されたズーム画像を表示可能とする表示部とを有するものであり、そのことにより上記目的が達成される。
【００１５】
また、好ましくは、本発明の全方位監視システムにおける制御部は、全方位画像を画像処理する画像処理部と、この全方位画像の所定監視範囲を全方位監視領域として設定すると共に全方位監視領域を複数の監視領域に分割する監視領域設定部と、この全方位監視領域内に存在する被写体の動きを検知する検知部と、各監視領域から一つの監視領域を検知部の検知結果または手動により指定する指定部と、この指定部で指定された監視領域に対して予めズームカメラの位置および倍率を設定するたための制御情報に変換する変換部と、制御情報に基づいて指定監視領域をズーム撮影するようにズームカメラを駆動制御するズームカメラ制御部とを備える。
【００１６】
さらに、好ましくは、本発明の全方位監視システムにおける全方位カメラは、放物面状または双曲面状の凸型回転体ミラーおよび、魚眼レンズの何れかを用いて全方位画像を投影する光学系を有する。
【００１７】
さらに、好ましくは、本発明の全方位監視システムにおける画像処理部は、全方位カメラからの全方位画像を、凸型回転体ミラーからの光学像に対して反転処理しかつこの凸型回転体ミラーの中心軸に対して所定方向および所定角度だけ回転処理して表示部に表示させる。
【００１８】
さらに、好ましくは、本発明の全方位監視システムにおける監視領域設定部は、全方位画像が円形状である場合に、円形状の全方位監視領域の基準位置を縦横のカーソル線で微調整可能に設定し、設定した全方位監視領域を同心円状および放射状に分割し、分割した各監視領域を明示する領域枠およびその領域番号の少なくとも何れかを全方位画像に付加して表示部の表示画面上に識別可能に表示させる。
【００１９】
さらに、好ましくは、本発明の全方位監視システムにおいて、表示部に表示された複数の監視領域に対してズームカメラを所定のパンおよびチルト駆動による位置制御とズーム駆動による倍率制御とを行うための制御情報を特定の操作入力手段を用いて順次設定入力可能とする制御情報設定部と、順次設定された制御情報を各監視領域に対応させて記憶する制御情報テーブルとをさらに備え、変換部は、指定部により指定された画像領域に対する制御情報を制御情報テーブルまたは／および所定算出手順により求める。
【００２０】
さらに、好ましくは、本発明の全方位監視システムにおける制御情報設定部は、同心円状に分割された各監視領域に対して、ズームカメラのパン位置だけ変化させ、同じチルト位置、同じズーム比を含む各制御情報に設定し、放射状に分割された各監視領域に対して、前記ズームカメラのズーム比を変化させた各制御情報を設定する。
【００２１】
さらに、好ましくは、本発明の全方位監視システムにおける制御情報設定部は、同心円状および放射状に分割された各監視領域に対して、ある放射状方向に配列された各監視領域に対する制御情報の基準値を設定することにより、残りの全監視領域に対する各制御情報の値を自動設定可能とする。
【００２２】
さらに、好ましくは、本発明の全方位監視システムにおける制御情報設定部は、ズームカメラと全方位カメラとが所定間隔以上離れて設置されたとき、全方位画像の中心設置とズームカメラの駆動中心位置が見かけ上一致するように各監視領域に対する各制御情報のパンおよびチルト位置、ズーム比の各値を予め補正設定可能とする。
【００２３】
さらに、好ましくは、本発明の全方位監視システムにおいて、全方位カメラにより撮影された全方位画像をフレーム単位で順次一時記憶する画像記憶部をさらに備え、検知部は、この画像記憶部にフレーム単位で相前後して記憶された全方位画像のパターンマッチングにより差分画像を作成し、その差分画像を被写体の動きとして識別可能に前記表示部の表示画面上に表示させる。
【００２４】
さらに、好ましくは、本発明の全方位監視システムにおける検知部は、所定画素数以上の差分画像を示す位置に縦横に交差するカーソル線を全方位画像上に表示し、かつこのカーソル線の交差位置が存在する監視領域の領域番号を所定周期で前記指定部に出力する。
【００２５】
さらに、好ましくは、本発明の全方位監視システムにおける検知部は、所定の画素数と所定の濃度値とを閾値として２値化した差分画像を作成するとき、それらの閾値を前記全方位監視領域に対する監視領域の位置に応じて予め変更可能とする。
【００２６】
さらに、好ましくは、本発明の全方位監視システムにおける記検知部は、所定の画素数と所定の濃度値とを閾値として２値化した差分画像を作成するとき、ある領域の画像の平均濃度値から周囲の明るさの変化を検知し、周囲の明るさの変化に応じて閾値を予め変更可能とする。
【００２７】
さらに、好ましくは、本発明の全方位監視システムにおいて、全方位監視領域のうち任意の領域を操作入力手段による入力操作により予め無効に設定可能とし、その無効に設定した監視領域を識別可能に前記表示部の表示画面上に表示させる無効領域設定部をさらに備える。
【００２８】
本発明の全方位監視制御方法は、最大周囲３６０°の視野領域を有する全方位画像を撮影する全方位カメラからの全方位画像データを画像処理する画像処理ステップと、画像処理後の全方位画像を表示する表示ステップと、全方位画像の所定範囲を全方位監視領域として設定すると共に全方位監視領域を複数の監視領域に分割する監視領域設定ステップと、全方位監視領域内に存在する被写体の動きを検知する検知ステップと、各監視領域から一つの監視領域を検知ステップでの検知結果または手動により指定する指定ステップと、指定監視領域に対して予めズームカメラの位置および倍率が設定された制御情報に変換する変換ステップと、制御情報に基づいて監視領域を中心にズーム撮影するようにズームカメラを駆動制御するズームカメラ制御ステップとを含み、該画像処理ステップとして、該全方位カメラの基準位置と該ズームカメラの駆動基準位置が見かけ上一致するように、該全方位カメラの画像の中心軸に対し全方位画像を所定角度回転処理し、その所定角度回転処理した全方位画像データの所定監視位置を該ズームカメラにより駆動制御させるものであり、そのことにより上記目的が達成される。
【００２９】
本発明の全方位監視制御プログラムは、最大周囲３６０°の視野領域を有する全方位画像を撮影する全方位カメラからの全方位画像データを画像処理する画像処理ステップと、画像処理後の全方位画像を表示する表示ステップと、全方位画像の所定範囲を全方位監視領域として設定すると共に全方位監視領域を複数の監視領域に分割する監視領域設定ステップと、全方位監視領域内に存在する被写体の動きを検知する検知ステップと、各監視領域から一つの監視領域を検知ステップでの検知結果または手動により指定する指定ステップと、監視領域に対して予めズームカメラの位置および倍率が設定された制御情報に変換する変換ステップと、制御情報に基づいて監視領域を中心にズーム撮影するようにズームカメラを駆動制御するズームカメラ制御ステップとをコンピュータに実行させると共に、  該画像処理ステップとして、該全方位カメラの基準位置と該ズームカメラの駆動基準位置が見かけ上一致するように、該全方位カメラの画像の中心軸に対し全方位画像を所定角度回転処理し、その所定角度回転処理した全方位画像データの所定監視位置を該ズームカメラにより駆動制御させるように該コンピュータに実行させるためのものであり、そのことにより上記目的が達成される。
【００３０】
上記構成により、以下、その作用を説明する。
【００３１】
全方位カメラで広範囲に撮影した全方位画像を複数の監視領域として設定し、複数の監視領域から一つの監視領域を自動または手動により指定することにより、ズームカメラによりその監視領域を中心に精度よくズーム撮影することが可能となる。また、全方位カメラの中心位置とズームカメラの駆動中心位置が見かけ上一致するように、投影光学像を反転処理して、光学系の中心軸に対し所定角度回転処理し、その所定角度回転処理した全方位画像データの所定監視位置を中心としてズームカメラを駆動制御するので、全方位カメラにより撮影された全方位画像と、ズームカメラによりズーム撮影された画像とを同じ視角で確認することが可能となり、異常箇所に追尾して位置制御できて、重要地点が幾つもあるときにも、本当に異常事態が発生している重要地点を視覚で確かめることが可能となる。
【００３２】
また、最大周囲３６０°の視野領域を有する水平方向の全方位にわたる光学像を凸型回転体ミラーや魚眼レンズなどを介して撮像部に投影することができる。よって、1台の全方位カメラで広範囲の監視領域を撮影することができるので、従来のように複数の監視センサを設置する必要がない。
【００３３】
さらに、全方位カメラにより撮影された全方位画像を凸型回転体ミラーに対して反転処理し、かつ凸型回転体ミラーの中心軸に対して所定方向および所定角度だけ回転させて表示部の表示画面上に表示するようにしたので、全方位カメラにより撮影された全方位画像を、ズームカメラによりズーム撮影された画像と同じ視角で見ることができ、かつ凸型回転体ミラーに投影する光学像と撮影部により撮影された全方位画像との位置関係を調整することが可能となる。
【００３４】
さらに、円形状の全方位画像に対して円形状の全方位監視領域を精度よく設定して分割することができ、かつ各監視領域に領域枠およびその領域番号を付加して識別可能に表示（例えばカラー表示）することが可能となる。
【００３５】
さらに、操作入力手段による例えば簡単なキー操作やマウス操作などにより、表示部の表示画面上に表示された監視領域毎にズームカメラの制御情報を設定することが可能となり、指定された画像領域に対し設定した制御情報を対応させることが可能となる。
【００３６】
さらに、同心円状に分割された各監視領域に対し、ズームカメラのパン位置だけ変化させ、同じチルト位置、同じズーム比を含む各制御情報に設定し、放射状に分割された各監視領域に対し、ズームカメラのズーム比を変化させた各制御情報を設定するようにすれば、各監視領域に対する制御情報の設定操作を簡素化することが可能となり、各監視領域に対して最適のズーム撮影をすることが可能となる。
【００３７】
さらに、同心円状および放射状に分割された各監視領域に対し、ある放射状方向に配列された各監視領域に対する制御情報の基準値を設定することにより、残りの全監視領域に対する各制御情報の値を自動設定するようにすれば、各監視領域に対するズームカメラの制御情報の設定操作が簡単になる。しかし、特定の監視領域を決め、その監視領域に対し、特定のパン位置、チルト位置、ズーム比などの値を持つ制御情報に再設定できることは言うまでもない。
【００３８】
さらに、ズームカメラと全方位カメラとが所定間隔以上離れて設置されたとき、全方位画像の中心設置とズームカメラの駆動中心位置とが見かけ上一致するように各監視領域に対する各制御情報のパン、チルト位置およびズーム比の値を予め補正設定するようにすれば、ズームカメラと全方位カメラとの設置位置が異なっても、監視領域の画像と同じ視角で監視領域をズーム撮影することが可能となる。
【００３９】
さらに、全方位カメラにより撮影された全方位画像を画像記憶部にフレーム単位で相前後して記憶された全方位画像のパターンマッチングにより差分画像を作成し、その差分画像を被写体の動きとして識別可能に表示部に表示するようにすれば、全方位カメラにより撮影された全方位画像に含まれる被写体の動きを表示部に表示された差分画像から容易に検知することが可能となる。
【００４０】
さらに、所定の画素数以上の差分画像を示す位置に縦横に交差するカーソル線を全方位画像上に表示（例えばカラー表示）し、かつカーソル線の交差位置が存在する監視領域の領域番号を所定周期で指定部に出力するようにすれば、被写体の動きを示す差分画像の位置を確認することが可能となり、かつその差分画像が存在する監視領域の領域番号を自動的に所定周期で指定することが可能となる。
【００４１】
さらに、所定の画素数と所定の濃度値とを閾値として２値化した差分画像を作成するとき、それらの閾値を全方位監視領域に対する監視領域の位置によって予め変更するようにすれば、監視領域の位置による差分画像の作成精度の低下を防止し、被写体の動きに対する検知精度を高めることが可能となる。
【００４２】
さらに、所定の画素数と所定の濃度値とを閾値として２値化した差分画像を作成するとき、ある領域の画像の平均濃度値から周囲の明るさの変化を検知し、周囲の明るさの変化に基づいてそれらの閾値を予め変更するようにすれば、周囲の明るさの変化による差分画像の作成精度の低下を防止し、被写体の動きに対する検知精度を高めることが可能となる。
【００４３】
さらに、前記全方位監視領域のうち任意の領域を、例えばマウスのドラッグ操作などの操作入力手段による入力操作により予め無効に設定し、その監視領域を識別可能に表示部に表示するようにすれば、周囲の環境変化によって不安定に撮影される領域を予め無効にすることができるので、被写体の動きに対する検知精度の低下およびズームカメラの誤動作を防止することが可能となる。
【００４４】
【発明の実施の形態】
以下、本発明の全方位監視制御システムの一実施形態について図面を参照しながら説明する。なお、本発明は本実施形態による具体的な限定によって限定されるものでない。
【００４５】
図１は本発明の全方位監視制御システムの一実施形態における基本構成を示す概略構成図である。
【００４６】
図１において、全方位監視制御システム２０は、ズームカメラ１と、全方位カメラ２と、リモートコントローラ３と、ズームカメラ制御部を構成するズームカメラ制御ユニット４と、モニタ装置５と、これらの間を通信可能にそれぞれ接続している通信回線６ａ〜６ｄとを有している。
【００４７】
ズームカメラ１は、例えばズームレンズ、ＣＣＤ部からなる撮像部（撮影部）、パン（水平方向）、チルト（垂直方向）およびズーム（倍率）をそれぞれ駆動制御する駆動部、制御信号や画像信号を無線または有線を介して通信する通信部などを含んでおり、ズームカメラ制御ユニット４から送信されてくる制御情報に基づいて位置（パンおよびチルト）および倍率（ズーム）が駆動制御される。例えば、
ズーム比    ：光学ズーム２３倍、電子ズーム１０倍
ズーム速度  ：ＭＡＸ１．６秒（プリセット時）
プリセット数：２５５（２５５個の位置・倍率）
とする。
【００４８】
全方位カメラ２は、最大周囲３６０°の視野領域の光学像を投影する光学系（凸型回転体ミラーまたは魚眼レンズなど）、その光学像を円形状の全方位画像として撮影するＣＣＤ部などの撮像部（撮影部）などから構成されている。例えば、検知範囲（監視領域）として全方位カメラ２から半径約１５ｍとする。
【００４９】
リモートコントローラ３は、例えば有線または無線により通信可能なパーソナルコンピュータで構成されており、詳細に後述するが、同じ視角とするために、全方位カメラ２の基準位置（または注目領域の中心位置）とズームカメラ１の駆動基準位置（または駆動中心位置）が見かけ上一致するように、投影光学像を反転処理して、光学系の中心軸に対し所定角度座標回転処理し、その所定角度座標回転処理した全方位画像データの所定監視位置を中心としてズームカメラ１を駆動制御する制御部を有している。ここで、反転処理とは、光学系からの投影光学像は左右逆の画像であるため、画像が光学的に左右逆向きになるように反転処理する必要がある。また、所定角度の回転処理とは、後述する例えば各領域枠内の領域番号が「１」の位置を基準とした場合に、ズームカメラ１の駆動基準位置（または駆動中心位置）も領域番号が「１」の位置を基準位置として位置制御される。
【００５０】
ズームカメラ制御ユニット４は、例えばＣＰＵ（中央演算処理装置）、ＲＯＭ、ＲＡＭ、Ｉ／Ｏポートからなるコンピュータおよびズームカメラ駆動回路などで構成され、リモートコントローラ３から与えられる制御情報に基づいてズームカメラ１の位置および倍率を駆動制御する。また、ズームカメラ制御ユニット４は、他の各部への有線または無線による通信機能をも備えている。
【００５１】
モニタ装置５は、表示画面が例えば液晶ディスプレイ（ＬＣＤ）、プラズマ・ディスプレイ（ＰＤ）、またはエレクトロ・ルミネンス・ディスプレイ（ＥＬＤ）などで構成されており、ズームカメラ１によりズーム撮影された監視領域の画像を表示する。
【００５２】
通信回線６ａ〜６ｄのうち通信回線６ａは、全方位カメラ２とリモートコントローラ３とをＮＴＳＣ方式により通信接続する通信回線を示しており、全方位カメラ２により撮影された全方位画像をリモートコントローラ３に伝送するためのものである。また、通信回線６ｂは、リモートコントローラ３とズームカメラ制御ユニット４とをＲＳ−２３２Ｃ方式により通信接続する通信回線を示しており、ズームカメラ１を所定の位置（撮影方向）および倍率に駆動制御するための制御情報をズームカメラ制御ユニット４に伝送するためのものである。さらに、通信回線６ｃは、ズームカメラ制御ユニット４とズームカメラ１とをＲＳ−４８５方式により通信接続する通信回線を示しており、ズームカメラ制御ユニット４は、その制御情報に基づいてズームカメラ１に対して、指定された画像領域をズーム撮影する位置および倍率に駆動制御するためのものである。さらに、通信回線６ｄは、ズームカメラ１とモニタ装置５とをＮＴＳＣ方式により通信接続する通信回線を示しており、ズームカメラ１でズーム撮影した画像情報をモニタ装置５に対して伝送するためのものである。
【００５３】
なお、本実施形態では、ズームカメラ制御ユニット４は、個別に設けているが、リモートコントローラ３側に組み込んでもよいし、ズームカメラ１側に組み込んでもよい。また、ズームカメラ１と全方位カメラ２とは、無線または有線でデータ通信できる機能を予め有している。
【００５４】
図２は、図１の全方位監視制御システム２０の具体的な一例を示す図である。なお、図１と同じ構成部材には同符合を付す。
【００５５】
図２において、全方位監視制御システム２０は、例えば、学校の校庭／校門／体育館／昇降口、駐車場、オフィス、店舗、マンションおよび遊技場などの各監視場所を全方位カメラ２で死角なく広域範囲（最大視野角３６０°）を常時監視し、侵入者Ｍを検知したとき、ズームカメラ１で侵入者Ｍの方向に位置制御して所定の倍率にてズーム撮影し、リモートコントローラ３の表示部として個別に配置したモニタ装置５に画像表示するように構成している。なお、侵入者Ｍの拡大画像は、リモートコントローラ３およびモニタ装置５の各表示画面上に共に表示され得るようにすることもできる。
【００５６】
ここでは、ズームカメラ１と全方位カメラ２を、例えば図２のような学校の玄関の軒先に設置し、全方位カメラ２により校庭の校門に侵入した侵入者Ｍを検知し、ズームカメラ１によりその侵入者Ｍをズーム撮影し、侵入者Ｍの拡大画像を監視ルーム内に設置したモニタ装置５に表示する。
【００５７】
また、図１に示すような全方位カメラ２を遠隔制御するリモートコントローラ３、ズームカメラ１を位置および倍率制御するズームカメラ制御ユニット４、リモートコントローラ３、ズームカメラ１および全方位カメラ２などと通信接続する通信回線６ａ〜６ｄなどは図２では図示していないが、当然、監視ルーム内に配置されている。
【００５８】
図３は、図１の全方位監視制御システム２０の要部構成を示すブロック図である。なお、図１と同じ構成部材には同符合を付す。
【００５９】
図３において、前述したように、全方位監視制御システム２０は、ズームカメラ１と、全方位カメラ２と、リモートコントローラ３と、ズームカメラ制御部としてのズームカメラ制御ユニット４と、モニタ装置５と、通信回線６（６ａ〜６ｄ）と、警報情報出力装置７とを有している。
【００６０】
ズームカメラ１は、ＣＣＤ部からなる撮像部１ａ（撮影部）と、パン（水平方向）、チルト（垂直方向）およびズーム（倍率）駆動を制御する駆動部１ｂと、制御信号や画像信号を無線または有線にて通信する通信部１ｃとを有し、ズームカメラ制御ユニット４から送信される制御情報に基づいて、ズーム駆動の位置（撮影方向）および倍率が駆動制御される。駆動部１ｂは、例えばパルスモータ、直流サーボモータ、超音波モータ、エンコーダなどで構成されており、高速の３次元方向の自動位置・倍率制御機能を有している。
【００６１】
全方位カメラ２は、図４にも示すように、光学系２ａと、ＣＣＤ部を含む撮像部（撮影部）２ｂと、制御信号や画像信号を無線または有線を介して情報通信する通信部２ｃとを有している。
【００６２】
光学系２ａは、例えば放物面状または双曲面状などの凸型回転体ミラーや魚眼レンズ、撮像部２ｂとしてのＣＣＤカメラを保持する筒状または椀状透光体などで構成され、最大視野角度３６０°の全方位にわたる光学像（例えば、凸型回転体ミラーの反射光をレンズで集光して得られる光学像や魚眼レンズで集光して得られる光学像）を投影するように構成している。
【００６３】
撮像部２ｂは、例えば撮影レンズ、ＣＣＤ部、Ａ／Ｄ変換回路および画像処理回路を含むＣＣＤカメラで構成され、光学系２ａにより投影された光学像を全方位画像データとして撮影するように構成している（図４参照）。
【００６４】
ズームカメラ制御ユニット４は、例えばＣＰＵ（中央演算処理装置）、ＲＯＭ、ＲＡＭ、Ｉ／Ｏポートからなるコンピュータ、ズームカメラ駆動回路などで構成されており、無線または有線を介して情報通信する通信機能をさらに備え、通信回線６を介して、リモートコントローラ３から伝送されてくる制御情報に基づいてズームカメラ１の位置および倍率を制御するようになっている。
【００６５】
モニタ装置５は、例えば液晶ディスプレイ（ＬＣＤ）、プラズマ・ディスプレイ（ＰＤ）、またはエレクトロ・ルミネンス・ディスプレイ（ＥＬＤ）などの各種表示装置で構成されており、無線または有線を介してデータ通信する情報通信機能をさらに備え、ズームカメラ１によりズーム撮影された拡大画像をリモートコントローラ３から受信して、それを表示画面上に表示するものである。
【００６６】
通信回線６は、例えばＮＴＳＣ方式、ＲＳ−２３２Ｃ方式、ＲＳ−４８５方式による各データ信号をそれぞれ伝送する通信回線で構成されている。なお、通信回線６としては、IrDAControl方式の赤外線信号やBluetooth方式の電波信号など特定の近距離空中伝播信号により無線通信する無線ＬＡＮで構成してもよい。
【００６７】
警報情報出力装置７は、例えばブザー、スピーカ、警報ランプなどから構成されており、例えば被写体が監視領域に侵入したとき、警報音および警報ランプ光を含む警報情報を出力するものである。
【００６８】
リモートコントローラ３は、制御部３ａと、プログラムメモリ３ｂと、バッファメモリ３ｃと、画像記憶部３ｄと、表示部３ｅと、制御情報テーブル３ｆと、操作入力装置３ｇと、通信部３ｈと、これら各部のデータを伝送するためのバス３ｉとを有している。
【００６９】
制御部３ａはコンピュータのＣＰＵ（中央演算処理装置）で構成され、制御プログラムに基づいて、全方位監視制御システム２０を構成する各部を制御するようになっている。なお、制御部３ａの詳細な構成については後述する。
【００７０】
プログラムメモリ３ｂは、例えばＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フロッピー（登録商標）ディスクおよびハードディスクなどの可読記録媒体で構成されており、制御部３ａを起動して各種機能を実行させるための制御プログラムを可読記録媒体内に記憶している。
【００７１】
バッファメモリ３ｃは、例えばＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フロッピー（登録商標）ディスクおよびハードディスクなどの可読記録媒体で構成され、制御中のデータを一時記憶可能としている。
【００７２】
画像記憶部３ｄは、例えばＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フロッピー（登録商標）ディスクおよびハードディスクなどの可読記録媒体で構成されており、全方位カメラ２により撮影された全方位画像をフレーム単位で順次一時記憶可能としている。
【００７３】
表示部３ｅは、例えば液晶ディスプレイ（ＬＣＤ）、プラズマ・ディスプレイ（ＰＤ）、またはエレクトロ・ルミネンス・ディスプレイ（ＥＬＤ）などで構成されており、全方位カメラ２により撮影された全方位画像をその表示画面上に表示する。
【００７４】
制御情報テーブル３ｆは、例えばＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フロッピー（登録商標）ディスクおよびハードディスクなどの可読記録媒体で構成されており、制御情報設定部３ｆにより予め設定された制御情報を各監視領域に対応して記憶している。
【００７５】
操作入力装置３ｇは、例えばマウスおよびキーボードなどで構成されている。
【００７６】
通信部３ｈは、例えば無線信号を送受信するアンテナ、モデム（信号変復調装置）、無線信号変換回路、通信回線接続回路などで構成されており、通信回線６を介して、全方位カメラ２、ズームカメラ制御ユニット４、モニタ装置５および警報情報出力装置７などと通信接続可能に構成されている。
【００７７】
ここで、上記制御部３ａの詳細な構成について説明する。制御部３ａは、監視領域設定部３１ａと、指定部３２ａと、制御情報設定部３３ａと、変換部３４ａと、検知部３５ａと、無効領域設定部３６ａと、画像処理部３７ａと、カーソル制御部３８ａとを有している。
【００７８】
監視領域設定部３１ａは、例えばキーボード、特定のキーアイコンおよびマウスなどの操作入力装置３ｇからの操作指定指令と、制御プログラムのうちカーソル制御プログラムおよび監視領域設定プログラムとに基づいて、表示部３ｅに表示された複数の監視領域に対してズームカメラ１を所定のパン（水平方向）およびチルト（垂直方向）による位置制御と、ズーム駆動による倍率制御とを行うための制御情報を順次設定できるよう構成されている。
また、監視領域設定部３１ａは、操作入力装置３ｇからの操作設定指令と、カーソル制御プログラムなどの制御プログラムとに基づいて、全方位画像が円形状である場合に、円形状の全方位監視領域の中心位置を縦横のカーソル線で微調整可能に設定し、その設定した全方位監視領域を同心円状および放射状に分割し、その分割した各監視領域を明示する領域枠または、領域枠およびその領域番号を全方位画像に付加して表示部３ｅの表示画面上に識別可能なようにカラー表示させるように構成している。
【００７９】
指定部３２ａは、例えばキーボード、マウスなどの操作入力装置３ｇからの操作指定指令と制御プログラムのうちカーソル制御プログラムおよび指定プログラムに基づいて、複数の領域枠と領域番号で明示された監視領域から一つの監視領域を自動または手動により指定するように構成されている。
【００８０】
制御情報設定部３３ａは、例えばキーアイコン、マウスなどの操作入力装置３ｇからの操作設定指令と、制御プログラムのうちカーソル制御プログラムおよび制御情報設定プログラムとに基づいて、表示部３ｅに表示された複数の監視領域に対して、ズームカメラ１を所定のパンおよびチルト駆動による位置制御と、ズーム駆動による倍率制御とを行うための制御情報を、特定のキーアイコンおよびマウスなどの操作入力装置３ｇを用いて順次設定できるように構成されている。
【００８１】
また、制御情報設定部３３ａは、同心円状に分割された各監視領域に対して、ズームカメラ１のパン位置だけ変化させ、同じチルト位置、同じズーム比を含む各制御情報に設定し、また、放射状に分割された各監視領域に対して、ズームカメラ１のズーム比を変化させた各制御情報を設定するように構成されている。
【００８２】
さらに、制御情報設定部３３ａは、同心円状および放射状に分割された各監視領域に対して、ある放射状方向に配列された各監視領域に対する制御情報の基準値を設定することにより、残りの全監視領域に対する各制御情報の値を自動設定可能に構成されている。
【００８３】
さらに、制御情報設定部３３ａは、ズームカメラ１と全方位カメラ２とが所定間隔以上離れて設置されたとき、全方位画像の中心設置とズームカメラ１の駆動中心位置とが見かけ上一致するように各監視領域に対する各制御情報のパン、チルト位置およびズーム比の各制御値を予め補正設定可能に構成されている。
【００８４】
変換部３４ａは、制御プログラムのうち変換プログラムに基づいて、制御情報テーブル３ｆまたは／および所定算出手順により、指定部３２ａで自動または手動により指定された監視領域を予めズームカメラ１の位置および倍率が設定された制御情報に変換するように構成されている。
【００８５】
検知部３５ａは、制御プログラムのうち被写体検知プログラムに基づいて、画像記憶部３ｄにフレーム単位で相前後して記憶された全方位画像（前後のフレーム画像）のパターンマッチングにより差分画像を作成し、この差分画像を被写体（例えば侵入者Ｍなど画像を変化させる物体を含む）の動きとして識別可能に表示部３ｅの表示画面上に表示されている。
また、検知部３５ａは、所定の画素数以上の差分画像を示す位置に縦横に交差するカーソル線を全方位画像上にカラー表示し、かつカーソル線の交差位置が存在する監視領域の領域番号を所定周期で指定部３２ａに出力するように構成されている。
さらに、検知部３５ａは、所定の画素数と所定の濃度値とを閾値として２値化した差分画像を作成するとき、それらの閾値を全方位監視領域に対する監視領域の位置に応じて予め変更可能に構成されている。
さらに、検知部３５ａは、所定の画素数と所定の濃度値とを閾値として２値化した差分画像を作成するとき、ある領域の画像の平均濃度値から周囲の明るさの変化を検知し、周囲の明るさの変化に基づいてそれらの閾値を予め変更可能なように構成されている。
【００８６】
無効領域設定部３６ａは、例えばキーボード、マウスなどの操作入力装置３ｇからの操作設定指令と制御プログラムのうちカーソル制御プログラムおよび無効領域設定プログラムとに基づいて、全方位監視領域のうち任意の領域をマウスのドラッグ操作により予め無効に設定し、その無効に設定した監視領域を識別可能に表示部３ｅの表示画面上に表示するように構成されている。無効領域設定部３６ａにより無効に設定された画像領域は、指定部３２ａによる指定を無効にすることができる。
【００８７】
画像処理部３７ａは、例えばキーボード、マウスなどの操作入力装置３ｇからの操作設定指令と制御プログラムのうちカーソル制御プログラムおよび画像処理プログラムとに基づいて、全方位カメラ１により撮影された全方位画像を、凸型回転体ミラーである光学系２ａにて投影された光学像に対して反転処理し、かつ凸型回転体ミラーである光学系２ａの中心軸に対して所定方向に所定角度だけ回転させて表示部３ｅの表示画面上に表示するように構成されている。
【００８８】
カーソル制御部３８ａは、操作入力装置３ｇからの操作指令と制御プログラムのうちカーソル制御プログラムとに基づいて、表示画面上の縦横のカーソル線の交差位置を制御する。
【００８９】
本実施例の複合カメラ（ズームカメラ１と全方位カメラ２）を全方位監視制御システム２０に適用することにより、下記の効果（１）〜（６）を奏するものである。
【００９０】
（１）全方位カメラ２で監視領域を撮影することにより、死角がない周囲３６０°の画像による監視が可能になる。
【００９１】
（２）全方位カメラ２を通常のズームカメラ１と組み合わせて高画質なズームアップ画像を高速表示することができる。
【００９２】
（３）自動追尾機能として、全方位カメラ２で動く被写体を検知し、通常のズームカメラ１で動く被写体を精度よくズームアップ撮影することができる。
【００９３】
（４）全方位カメラ２により、より広範囲な画像によるエリア検知が可能になる。
【００９４】
（５）手動追尾機能として、全方位カメラ２で撮影された全方位画像のうち手動で指定された監視領域を高速にズームアップ撮影することもできる。
【００９５】
（６）全方位カメラ２により撮影された全方位画像と、それを分割した複数の監視領域の一つをズームカメラによりズーム撮影された画像とを同じ視角で確認することができる。
【００９６】
以上の制御プログラムとしては、最大周囲３６０°の全方位画像を撮影する全方位カメラ２からの全方位画像データを全方位カメラ２の光学系２ａに投影される光学像に対して反転処理する画像処理ステップと、この画像処理後の全方位画像を表示する表示ステップと、全方位画像の所定範囲を全方位監視領域として設定すると共に全方位監視領域を複数の監視領域に分割する監視領域設定ステップと、全方位監視領域内に存在する被写体の動きを検知する検知ステップと、各監視領域から一つの監視領域を検知ステップでの検知結果または手動により指定する指定ステップと、指定監視領域に対して予めズームカメラの位置および倍率が設定された制御情報に変換する変換ステップとが所定の可読記録媒体（プログラムメモリ３ｂ）に記憶されていると共に、変換された制御情報に基づいて、ズームカメラ１に対して、指定監視領域を中心にズーム撮影するように駆動制御するズームカメラ制御ステップが所定の可読記録媒体（ズームカメラ制御ユニット４内の記憶部）に記憶されており、少なくともこれらの各ステップをコンピュータに実行させるものである。これらの各ステップ以外に、例えば、制御情報設定ステップと、被写体検知ステップと、無効領域設定ステップと、警報情報出力制御ステップと、ズーム画像表示ステップなどがある。
【００９７】
図４は、図１の全方位カメラ２の光学系における要部構成を説明するための斜視図である。
【００９８】
図４において、全方位カメラ２の光学系２ａとしては、Ｚ軸を中心に双曲線を回転して得られる２葉双曲面のうち、一方（Ｚ＞０の領域）の双曲面の凸状面側に鏡面を形成した凸型回転体ミラーで構成されている。
【００９９】
この双曲面は、
｛（Ｘ2＋Ｙ2）／ａ2｝−Ｚ2／ｂ2＝−１
ｃ2＝（ａ2＋ｂ2）
で表される。
【０１００】
なお、ここでａおよびｂは双曲面の形状を定義する定数であり、ｃはその焦点の位置を定義する定数である。これらの関係式および各定数は全方位画像をパノラマ画像や透視画像に変換するための変換情報に含まれ、例えば、図３に示すプログラムメモリ３ｂ内に予め記憶されている。
【０１０１】
この凸型回転体ミラーは二つの焦点位置▲１▼および▲２▼を有しており、外部から一方の焦点位置▲１▼に向かう光は、凸型回転体ミラーからなる光学系２ａで反射され、全て他方の焦点位置▲２▼に向かうという特徴を有している。
【０１０２】
したがって、凸型回転体ミラーの回転軸と撮像部２ｂの撮影レンズ（カメラレンズ）の光軸とを一致させると共に、他方の焦点位置▲２▼に撮影レンズの第１主点を配置することにより、撮像部２ｂで撮像された画像が、一方の焦点位置▲１▼を視点中心として視野方向によって視点位置が変わらない画像となる。
【０１０３】
図５は、本発明の実施形態による監視領域・制御情報設定画面の表示例（１）を示す図である。
【０１０４】
図５では、表示部３ｅの表示画面上に表示されたウィンドウ画面５１を示している。このウィンドウ画面５１には、表示された円形状の全方位画像５２と、この全方位画像５２を複数エリアに分割し、その分割した監視領域毎に領域番号（プリセット番号）を付加するときに、マウスやキーボードの操作入力により監視領域設定部３１ａ、制御情報設定部３３ａが起動されたときのプルダウンメニュー５３とが表示されている。
【０１０５】
図６は、本発明の実施形態による監視領域・制御情報設定画面の表示例（２）を示す図である。
【０１０６】
図６では、表示部３ｅの表示画面上に表示されたウィンドウ画面６１を示している。このウィンドウ画面６１には、一部円形状の全方位画像６２と、この全方位画像６２を複数エリアに分割し、その分割した監視領域毎に領域番号（プリセット番号）を付加するとき、マウスやキーボードの操作により制御情報設定部３３ａが起動され、全方位画像６２を同心円状および放射状にそれぞれ等分に分割する数値を入力するためのウィンドウ画面６３とが表示されている。
【０１０７】
ここでは、５段階の同心円に分割し、５段階の同心円上に含まれる監視領域の個数を示す（分割後の各領域は図７参照）。ここでは、全方位画像６２を２５５個の画像領域に分割する。
【０１０８】
図７は、本発明の実施形態による監視領域・制御情報設定画面の表示例（３）を示す図である。
【０１０９】
図７では、表示部３ｅの表示画面上に表示されたウィンドウ画面７１を示している。このウィンドウ画面７１には、円形状の全方位画像７２と、図６に示すウィンドウ画面６３で入力された数値に基づいて、監視領域設定部３１ａにより全方位画像７２を同心円状および放射状にそれぞれ等分に分割した画像領域枠７３と、分割された各画像領域毎に付加した各領域番号表示７４とが表示されている。なお、図７では領域番号（１〜２５５）の一部しか示していないが、実際には全画像領域枠に対して領域番号（１〜２５５）がそれぞれ対応して表示される。
【０１１０】
各画像領域毎の領域番号（１〜２５５）とズームカメラ１を所定の位置および倍率に駆動制御するための制御情報とを対応させている。ここでは、図示していないが、円形状の全方位監視領域の中心位置を縦横のカーソル線で予め微調可能に設定し、その設定した全方位監視領域に対して２５５個の監視領域に分割し、ズームカメラ１を領域番号（１〜２５５）のうちの任意の位置、任意の例えば２５５ポジションにズーム駆動することが可能である。即ち、ズームカメラ１を２５５ポジションにズーム駆動する制御情報が設定されている。
【０１１１】
また、５段階の円周方向毎に放射方向に領域番号１、８６、１５４、２０５、２３９の各監視領域をホームポジション（基準監視領域）として全方位画像７２に対し予め微調可能に回転するよう構成されている。
【０１１２】
図８は本実施例による被写体検知画面の表示例を示す図である。図８において、８１は表示部３ｅに表示されたウィンドウ画面を示す。８２はウィンドウ画面８１に表示された円形状の全方位画像を示す。８３は、検知部３により画像記憶部３ｄにフレーム単位で相前後して記憶された全方位画像のパターンマッチングにより被写体の動きを検知するための差分画像を示す。８４及び８５は、ある基準に基づいて差分画像を指示する縦横のカーソル線を示し、８６は、縦横のカーソルの交差点を示し、
図８は、本発明の実施形態による被写体検知画面の表示例（４）を示す図である。
【０１１３】
図８では、表示部３ｅの表示画面上に表示されたウィンドウ画面８１を示している。このウィンドウ画面８１には、隠れている部分円形状の全方位画像８２と、検知部３５ａにより画像記憶部３ｄにフレーム単位で相前後して記憶された全方位画像８２のパターンマッチングにより被写体の動きを検知するための差分データ画像８３（画像変化部分が白色で示されている）と、ある基準に基づいて差分データ画像を指示（その白色部分の面積が所定比率以上など）する縦横のカーソル線８４，８５と、縦横のカーソル線８４，８５の交差点８６（被写体位置）とが表示されている。この交差点８６に位置する監視領域が自動指定され、この監視領域をズームカメラ１によりズーム撮影するための制御情報に自動変換される。
【０１１４】
図９は本実施例による無効領域設定画面の表示例を示す図である。図９において、９１は表示部３ｅに表示されたウィンドウ画面を示す。９２はウィンドウ画面９１に表示された円形状の全方位画像を示す。９３は  図６に示すウィンドウ画面６３に入力された数値に基づいて、監視領域設定部３ｆにより全方位画像を同心円状及び放射状に分割した監視領域の枠を示す。９４は、無効領域設定部３ｌにより、全方位画像のうち周囲の環境によって不安定に撮影される任意の監視領域を予め無効に設定した監視領域を示す。ここでは、無効の監視領域を細かいブロックの集まりで設定しているが、マウスのドラッグ操作により任意の領域を無効に設定してもよい。
【０１１５】
図９は、本発明の実施形態による無効領域設定画面の表示例（５）を示す図である。
【０１１６】
図９では、表示部３ｅの表示画面上に表示されたウィンドウ画面９１を示している。このウィンドウ画面９１には、円形状の全方位画像９２と、図６に示すウィンドウ画面６３で入力された数値に基づいて、監視領域設定部３１ａにより全方位画像９２を同心円状及び放射状に等分に分割した監視領域枠９３と、無効領域設定部３６ａにより、全方位画像９２のうち周囲の環境によって不安定に撮影される任意の監視領域を予め無効に設定した監視領域９４とが表示されている。ここでは、無効の監視領域を細かいブロックの集まりで設定しているが、マウスのドラッグ操作により任意の領域を無効に設定してもよい。無効領域設定部３６ａにより無効に設定された画像領域は、指定部３２ａによる画像領域の指定、または変換部３４ａによる制御情報の変換が行われない。
【０１１７】
図１０は、図１の全方位監視制御システム２０の基本動作手順を示すフローチャートである。
【０１１８】
図１０に示すように、まず、ステップＳ１で全方位画像を撮影する。即ち、全方位カメラ２を用いて、全方位カメラ２が設置された周囲３６０°の視野領域の全方位画像を撮影する。
【０１１９】
次に、ステップＳ２で、撮影された全方位画像を光学系２ａの凸型回転体ミラーに対して反転処理し、かつ光学系２ａの中心軸に対して所定方向で所定角度だけ回転する。
【０１２０】
ステップＳ３で、撮影された全方位画像を表示部３ｅの表示画面上に表示する。
【０１２１】
ステップＳ４で、全方位画像に対する制御情報設定動作か否かを判定する。ステップＳ４で制御情報設定動作であれば（ＹＥＳ）、ステップＳ１７の処理に進み、テップＳ４で制御情報設定動作でなければ（ＮＯ）、次のステップＳ５の処理に進む。
【０１２２】
ステップＳ５で、自動指定によるズーム撮影か否かを判定する。ステップＳ５で自動指定のズーム撮影であれば（ＹＥＳ）、次のステップＳ６の処理に進み、ステップＳ５で自動指定のズーム撮影でなければ（ＮＯ）、ステップＳ１６の処理に進む。
【０１２３】
ステップＳ６で、無効領域設定部３６ａにより予め無効に設定された監視領域があるか否かを判定する。ステップＳ６で無効監視領域があれば（ＹＥＳ）、次のステップＳ７の処理に進み、ステップＳ６で無効監視領域がなければ（ＮＯ）、ジャンプしてステップＳ８の処理に進む。
【０１２４】
ステップＳ７で、ステップＳ６で無効監視領域がある場合に、無効に設定された監視領域を除いた全方位画像を画像記憶部３ｄにフレーム単位で順次一時記憶し、ジャンプしてステップＳ９の処理に進む。
【０１２５】
ステップＳ８で、ステップＳ６で無効監視領域がない場合に、全監視領域の全方位画像を画像記憶部３ｄにフレーム単位で順次一時記憶し、次のステップＳ９の処理に進む。
【０１２６】
ステップＳ９で、検知部３５ａを用いて、全方位画像中に、被写体の動きによって位置ずれした画像データがあるか否かを調べる。ステップＳ９で位置ずれした画像データがあれば（ＹＥＳ）、次のステップＳ１０の処理に進み、ステップＳ９で位置ずれした画像データがなければ（ＮＯ）、ステップＳ７の処理に戻る。ここでは、被写体の動きにより発生する画像データの位置ずれを、画像記憶部３ｄにフレーム単位で相前後して記憶された全方位画像データのパターンマッチングにより検知する。
【０１２７】
ステップＳ１０で、指定部３２ａを用いて、所定以上の大きさ（画素数または画像面積）の位置ずれした画像データが全方位画像上のどの監視領域に存在するかをカーソルで追尾し、その位置ずれした画像データに対応する監視領域の領域番号を順次指定する。
【０１２８】
ステップＳ１１で、変換部３５ａを用いて、指定部３２ａで指定された監視領域の領域番号を予め設定された制御情報に変換する。ここでは、制御情報テーブル３ｆの参照または／および所定の算出手順により監視領域の領域番号を制御情報に変換する。
【０１２９】
ステップＳ１２で、通信部３ｈを用いて、通信回線６を介し、変換部３５ａで変換した制御情報をズームカメラ制御ユニット４に送信する。
【０１３０】
ステップＳ１３で、ズームカメラ制御ユニット４は、通信回線６を介して、受信した制御情報に基づいてズームカメラ１の位置および倍率を制御する。
【０１３１】
ステップＳ１４で、ズームカメラ１により目的位置の監視領域を所定の倍率でズーム撮影する。
【０１３２】
ステップＳ１５で、ズーム撮影された画像をモニタ装置５の表示画面上に表示し、本全方位監視制御システム２０による監視制御処理を終了する。
【０１３３】
一方、ステップＳ１６では、ステップＳ５で自動指定ズーム撮影ではない場合に、マウスによる操作指令入力に基づいて、ズームカメラ１によりズーム撮影したい監視領域の領域番号を指定部３２ａにより指定した後に、ステップＳ１１の処理にジャンプする。
【０１３４】
ここで、ステップＳ４で制御情報設定動作の場合について以下にその処理（ステップ１７〜２３）を説明する。
【０１３５】
ステップＳ１７で、ステップＳ４で制御情報設定動作の場合に監視領域設定部３１ａを用いて、表示部３ｅに表示された円形状の全方位画像に対し、同円形状の全方位監視領域の中心位置を縦横のカーソル線で設定し、表示部３ｅの表示画面上に表示する。
【０１３６】
ステップＳ１８で、全方位監視領域を同心円状および放射状に分割し、分割した各監視領域を明示する領域枠およびその領域番号を全方位画像に付加する。
【０１３７】
ステップＳ１９では、各監視領域に対する制御情報の設定は自動か否かを判定する。ステップＳ１９で制御情報自動設定であれば（ＹＥＳ）、次のステップＳ２０の処理に進み、ステップＳ１９で制御情報自動設定でなければ（ＮＯ）、次のステップ２２の処理に進む。
【０１３８】
ステップＳ２０で、制御情報設定部３３ａを用いて、ある放射線方向に配列された各監視領域に対する制御情報（パン位置、チルト位置、ズーム比）の基準値を設定する。
【０１３９】
ステップＳ２１で、同心円方向に配列された残りの各監視領域に対する各制御情報の値を自動設定し、ステップＳ２３の処理に進む。
【０１４０】
ここでは、同心円状に分割された各監視領域に対しては、ズームカメラ１のパン位置だけ変化させ、同じチルト位置、同じズーム比を含む各制御情報に設定し、放射状に分割された各監視領域に対しては、ズーム比を変化させた各制御情報を自動設定する。
【０１４１】
ステップＳ２２では、制御情報設定部３３ａを用いて、領域番号を付加した各監視領域毎に制御情報（パン位置、チルト位置、ズーム比）を手動設定する。
【０１４２】
ステップＳ２３で、設定した制御情報を制御情報テーブル３ｆに記憶し、ステップＳ５の処理に戻る。
【０１４３】
以上により、本実施形態によれば、全方位カメラ２で広範囲に撮影した一つの全方位画像を複数の監視領域として設定し、複数の監視領域から一つの監視領域を自動または手動により指定することにより、ズームカメラ１によりその監視領域を中心に精度よくズーム撮影することができる。また、全方位カメラ２の中心位置とズームカメラ１の駆動中心位置が見かけ上一致するように、投影光学像を反転処理して、光学系２ａの中心軸に対し所定角度回転処理し、その所定角度回転処理した全方位画像データの所定監視位置を中心としてズームカメラ１を駆動制御するため、全方位カメラ２により撮影された全方位画像と、ズームカメラ１によりズーム撮影された画像とを同じ視角で確認することができる。
【０１４４】
【発明の効果】
以上により、本発明によれば、全方位カメラで広範囲に撮影した全方位画像を複数の監視領域として設定し、複数の監視領域から一つの監視領域を自動または手動により指定することにより、ズームカメラによりその監視領域を中心に精度よくズーム撮影することができる。また、全方位カメラの中心位置とズームカメラの駆動中心位置が見かけ上一致するように、投影光学像を反転処理して、光学系の中心軸に対し所定角度回転処理し、その所定角度回転処理した全方位画像データの所定監視位置を中心としてズームカメラを駆動制御するため、全方位カメラにより撮影された全方位画像と、ズームカメラによりズーム撮影された画像とを同じ視角で確認することが可能となり、異常箇所に追尾して位置制御できて、重要地点が幾つもあるときにも、本当に異常事態が発生している重要地点を視覚で確かめることができる。
【０１４５】
また、最大周囲３６０°の視野領域を有する水平方向の全方位にわたる光学像を凸型回転体ミラーや魚眼レンズなどを介して撮像部に投影することができる。よって、1台の全方位カメラで広範囲の監視領域を撮影することができるので、従来のように複数の監視センサを設置する必要がない。
【０１４６】
さらに、全方位カメラにより撮影された全方位画像を凸型回転体ミラーに対して反転処理し、かつ凸型回転体ミラーの中心軸に対して所定方向および所定角度だけ回転させて表示部の表示画面上に表示するようにしたので、全方位カメラにより撮影された全方位画像を、ズームカメラによりズーム撮影された画像と同じ視角で見ることができ、かつ凸型回転体ミラーに投影する光学像と撮影部により撮影された全方位画像との位置関係を調整することができる。
【０１４７】
さらに、円形状の全方位画像に対して円形状の全方位監視領域を精度よく設定して分割することができ、かつ各監視領域に領域枠およびその領域番号を付加して識別可能にカラー表示することができる。
【０１４８】
さらに、簡単なキー操作やマウス操作により、表示部の表示画面上に表示された監視領域毎にズームカメラの制御情報を設定することが可能となり、指定された画像領域に対し設定した制御情報を対応させることができる。
【０１４９】
さらに、同心円状に分割された各監視領域に対し、前記ズームカメラのパン位置だけ変化させ、同じチルト位置、同じズーム比を含む各制御情報に設定し、放射状に分割された各監視領域に対し、ズームカメラのズーム比を変化させた各制御情報を設定するようにすれば、各監視領域に対する制御情報の設定操作を簡素化することが可能となり、各監視領域に対して最適のズーム撮影をすることができる。
【０１５０】
さらに、同心円状および放射状に分割された各監視領域に対し、ある放射状方向に配列された各監視領域に対する制御情報の基準値を設定することにより、残りの全監視領域に対する各制御情報の値を自動設定するようにすれば、各監視領域に対するズームカメラの制御情報の設定操作ができる。
【０１５１】
さらに、ズームカメラと全方位カメラとが所定間隔以上離れて設置されたとき、全方位画像の中心設置とズームカメラの駆動中心位置とが見かけ上一致するように各監視領域に対する各制御情報のパン、チルト位置およびズーム比の値を予め補正設定するようにすれば、ズームカメラと全方位カメラとの設置位置が異なっても、監視領域の画像と同じ視角で監視領域をズーム撮影することができる。
【０１５２】
さらに、全方位カメラにより撮影された全方位画像を画像記憶部にフレーム単位で相前後して記憶された全方位画像のパターンマッチングにより差分画像を作成し、その差分画像を被写体の動きとして識別可能に表示部に表示するようにすれば、全方位カメラにより撮影された全方位画像に含まれる被写体の動きを表示部に表示された差分画像から容易に検知することができる。
【０１５３】
さらに、所定の画素数以上の差分画像を示す位置に縦横に交差するカーソル線を全方位画像上にカラー表示し、かつカーソル線の交差位置が存在する監視領域の領域番号を所定周期で指定部に出力するようにすれば、被写体の動きを示す差分画像の位置を確認することが可能となり、かつその差分画像が存在する監視領域の領域番号を自動的に所定周期で指定することができる。
【０１５４】
さらに、所定の画素数と所定の濃度値とを閾値として２値化した差分画像を作成するとき、それらの閾値を全方位監視領域に対する監視領域の位置によって予め変更するようにすれば、監視領域の位置による差分画像の作成精度の低下を防止し、被写体の動きに対する検知精度を高めることができる。
【０１５５】
さらに、所定の画素数と所定の濃度値とを閾値として２値化した差分画像を作成するとき、ある領域の画像の平均濃度値から周囲の明るさの変化を検知し、周囲の明るさの変化に基づいてそれらの閾値を予め変更するようにすれば、周囲の明るさの変化による差分画像の作成精度の低下を防止し、被写体の動きに対する検知精度を高めることができる。
【０１５６】
さらに、前記全方位監視領域のうち任意の領域をマウスのドラッグ操作により予め無効に設定し、その監視領域を識別可能に表示部に表示するようにすれば、周囲の環境変化によって不安定に撮影される領域を予め無効にすることができるので、被写体の動きに対する検知精度の低下およびズームカメラの誤動作を防止することができる。
【図面の簡単な説明】
【図１】本発明の全方位監視制御システムの一実施形態における基本構成を示す概略構成図である。
【図２】図１の全方位監視制御システムをの一例を示す図である。
【図３】図１の全方位監視制御システムの要部構成を示すブロック図である。
【図４】図１の全方位カメラの光学系における要部構成を説明するための斜視図である。
【図５】本発明の実施形態による監視領域・制御情報設定画面の表示例（１）を示す図である。
【図６】本発明の実施形態による監視領域・制御情報設定画面の表示例（２）を示す図である。
【図７】本発明の実施形態による監視領域・制御情報設定画面の表示例（３）を示す図である。
【図８】本発明の実施形態による被写体検知画面の表示例（４）を示す図である。
【図９】本発明の実施形態による無効領域設定画面の表示例（５）を示す図である。
【図１０】図１の全方位監視制御システムの基本動作手順を示すフローチャートである。
【符号の説明】
１    ズームカメラ
１ａ    撮影部
１ｂ    駆動部
１ｃ    通信部
２    全方位カメラ
２ａ    光学系
２ｂ    撮影部
２ｃ    通信部
３      リモートコントローラ
３ａ    制御部
３１ａ    監視領域設定部
３２ａ    指定部
３３ａ    制御情報設定部
３４ａ    変換部
３５ａ    検知部
３６ａ    無効領域設定部
３７ａ    画像処理部
３８ａ    カーソル制御部
３ｂ    プログラムメモリ
３ｃ    バッファメモリ
３ｄ    画像記憶部
３ｅ    表示部
３ｆ    制御情報テーブル
３ｇ    操作入力部
３ｈ    通信部
４    ズームカメラ制御ユニット（ズームカメラ制御部）
５    モニタ装置
６    通信回線
７    警報情報出力装置
２０    全方位監視制御システム
【図１】
0004010444.tif 000002
【図２】
0004010444.tif 000003
【図３】
0004010444.tif 000004
【図４】
0004010444.tif 000005
【図５】
0004010444.tif 000006
【図６】
0004010444.tif 000007
【図７】
0004010444.tif 000008
【図８】
0004010444.tif 000009
【図９】
0004010444.tif 000010
【図１０】
0004010444.tif 000011