(57)【要約】  【課題】  パン・チルト・ズーム制御が可能な回転カメラを含む複数のカメラを連携させ、最小限のカメラ台数で死角なく侵入物体を拡大表示する監視装置を提供すること。  【解決手段】  パン・チルト・ズーム制御が可能な回転カメラを含む複数のカメラと、回転カメラからの画像信号を処理し、侵入物体の位置を追跡する侵入物体認識手段と、監視対象の状況に応じて、監視対象の予め定めた方向が撮影範囲となる第１のカメラに追跡機能を割り当て、監視空間を広角で撮影する広域撮影機能を第２のカメラに割り当てるカメラ機能決定手段と、カメラ機能手段に応じて、複数のカメラを制御するカメラ制御手段とを備え、監視対象の方向に応じて、監視対象を検出するカメラを切り替えることにより、最小限のカメラ台数で、死角なく侵入物体を追跡する。【選択図】  図１
2004343718.tif 000002
【特許請求の範囲】
【請求項１】
少なくともパン・チルト・ズーム制御が可能な回転カメラを含む複数のカメラと、前記複数のカメラより入力される画像信号を解析して監視対象の状況を認識する侵入物体認識手段と、前記監視対象の状況に応じて、前記監視対象の予め定めた方向が撮影範囲となる第１のカメラに追跡機能を割り当て、監視空間を広角で撮影する広域撮影機能を第２のカメラに割り当てるカメラ機能決定手段と、前記カメラ機能手段に応じて、前記複数のカメラを制御するカメラ制御手段とを備えることを特徴とする監視装置。
【請求項２】
請求項１記載の監視装置であって、監視対象の画像を予め蓄積する画像蓄積手段と、前記蓄積された監視対象の画像と第１のカメラから入力された監視対象の画像とを比較する画像認識手段とを更に含み、カメラ機能決定手段は、前記画像認識手段の比較結果と監視対象の状況とに応じて第３のカメラに追跡機能を割り当てることを特徴とする監視装置。
【請求項３】
請求項１又は２記載の監視装置であって、カメラ機能決定手段は、監視対象の予め定めた方向が撮影範囲となるカメラを選択し、前記監視対象に最短のカメラから順に追跡撮影機能を割り当てることを特徴とする監視装置。
【請求項４】
請求項１又は２記載の監視装置であって、カメラ機能決定手段は、監視対象の予め定めた方向が撮影範囲となるカメラを選択し、前記監視対象に最長のカメラから順に追跡撮影機能を割り当てることを特徴とする監視装置。
【請求項５】
請求項１ないし３のいずれか記載の監視装置であって、カメラ機能決定手段は、監視対象の予め定めた方向が撮影範囲となるカメラを選択し、前記監視対象に最長のカメラから順に広域撮影機能を割り当てることを特徴とする監視装置。
【請求項６】
請求項１ないし５のいずれか記載の監視装置であって、カメラ機能決定手段は、複数のカメラの状態を記憶し、前記複数のカメラの状態と監視対象の状況とに応じて、追跡撮影機能又は広域撮影機能を前記複数のカメラに割り当てることを特徴とする監視装置。
【請求項７】
請求項６記載の監視装置であって、カメラ機能決定手段は、カメラが追加又は取り除かれた若しくはカメラが故障状態にある場合は、記憶された複数のカメラの状態を更新することを特徴とする監視装置。
【請求項８】
請求項１ないし５のいずれか記載の監視装置であって、カメラ機能決定手段は、監視区域の状態を記憶し、前記監視区域の状態と監視対象の状況とに応じて、追跡撮影機能又は広域撮影機能をカメラに割り当てることを特徴とする監視装置。
【請求項９】
請求項８記載の監視装置であって、カメラ機能決定手段は、監視区域内に存在する障害物により監視対象を撮影できない場合は、記憶された複数のカメラの状態を更新することを特徴とする監視装置。
【請求項１０】
請求項２記載の監視装置であって、画像蓄積手段には様々な方向から撮影した顔画像データが予め保持され、また、画像認識手段は、前記顔画像データとカメラから入力された監視対象の顔画像とを比較することを特徴とする監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数台の監視カメラと画像処理装置を用いて侵入物体を自動検出し、画面上に拡大表示する監視装置に関する。
【背景技術】
【０００２】
近年、監視分野では、カメラから送られる画像信号を画面上に表示するだけでなく、前記信号を画像処理装置で解析することで、異常が発生した位置を特定し、その付近の映像を監視者に提示するシステムが登場している。
【０００３】
例えば、従来技術の一例を開示する特許文献１は、侵入物を検出するために、広域視野のレンズを備えたカメラを利用し、画像処理を用いて特定した侵入物体の位置に、パン（左右）・チルト（上下）・ズーム（画角）制御が行える回転カメラを向けることで、侵入物体を画面上に拡大表示する侵入物体体追尾画像処理システムを開示している。
【０００４】
以下、図１３を用いて、特許文献１の監視システムについて簡単に説明する。図１３は、従来の侵入物体体追尾画像処理システムの構成を示すブロック図である。このシステムは、広域視野のレンズを備えた広域撮影用カメラ１００１と、パン・チルト・ズーム制御が可能な回転カメラ１００２と、画像信号を解析し、解析結果にしたがって回転カメラ１００２を制御する信号を出力する画像処理装置１００３と、広域撮影用カメラの画像信号を表示するモニタ１００４と、回転カメラの画像信号を表示するモニタ１００５とで構成される。
【０００５】
広域撮影用カメラ１００１は、侵入物体の検出に利用し、画像信号を画像処理装置１００３とモニタ１００４に出力する。回転カメラ１００２は、侵入物体の拡大表示に利用し、画像処理装置１００３から入力される制御信号にしたがって回転移動と画角調整を行い、画像信号をモニタ１００５に出力する。画像処理装置１００３は、侵入物体の追跡を行う侵入物体追跡手段１００６と、回転カメラ１００２に出力する制御信号を生成するカメラ制御手段１００７とで構成される。侵入物体追跡手段１００６は、広域撮影用カメラ１００１から入力される画像信号を利用し、背景差分などの既存の画像処理を組み合わせることで、侵入物体の検出および位置の特定を行う。
【０００６】
侵入物体の位置を特定すると、カメラ制御手段１００７は、回転カメラ１００２が侵入物体の存在する方向を、適切な大きさで侵入物体を撮影できるような制御信号を生成し、回転カメラ１００２に出力する。そして、制御信号を受け取った回転カメラ１００２は、制御信号にしたがって侵入物体の存在する方向にカメラを向け、拡大表示のために画角調整を行い、回転カメラ１００２の画像信号を表示するモニタ１００５は、侵入物体を拡大した映像が表示される。
【特許文献１】特開平１１−６９３４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記のような従来技術では、２台のカメラを用いているが、１台の広域撮影用カメラで侵入物体を検出するため、広域撮影用カメラの設置位置付近に、侵入物体を検出できない死角が発生する。
【０００８】
図１４は、上述のような従来技術における不具合を説明する模式図である。この図に示すように、例えば天井１１０１に広域撮影用カメラ１１０２を設置し、天井１１０１から見下ろす形で侵入物体を撮影する場合、広域撮影用カメラ１１０２の設置位置直下の領域１１０３は、広域撮影用カメラ１１０２の撮影範囲１１０４内に含まれず、死角となり侵入物体を検出できない。従って、死角１１０３内で侵入物を検出するには、広域撮影用カメラを別に１台設置する必要があり、システムの規模が大きくなる。
【０００９】
本発明は上記従来の不具合に鑑みてなされたもので、その目的は、パン・チルト・ズーム制御が可能な回転カメラを含む複数のカメラを連携させ、最小限のカメラ台数で死角なく侵入物体を拡大表示する監視装置を提供することである。
【課題を解決するための手段】
【００１０】
この課題を解決するために本発明では、第一にパン・チルト・ズーム制御が可能な回転カメラを含む複数のカメラと、回転カメラからの画像信号を処理し、侵入物体の位置を追跡する侵入物体認識手段と、監視対象の状況に応じて、監視対象の予め定めた方向が撮影範囲となる第１のカメラに追跡機能を割り当て、監視空間を広角で撮影する広域撮影機能を第２のカメラに割り当てるカメラ機能決定手段と、カメラ機能手段に応じて、複数のカメラを制御するカメラ制御手段とを備える。
【００１１】
これにより、監視対象の予め定めた方向に応じて、監視対象を検出するカメラを切り替えることにより、最小限のカメラ台数で、死角なく侵入物体を追跡するという効果が得られる。
【００１２】
また、第二に、監視対象の画像を予め蓄積する画像蓄積手段と、蓄積された監視対象の画像と第１のカメラから入力された監視対象の画像とを比較する画像認識手段とを含み、カメラ機能決定手段は、画像認識手段の比較結果と監視対象の状況とに応じて第３のカメラに追跡機能を割り当てることを特徴とする。
【００１３】
これにより、監視対象の状況に応じて追跡撮影するカメラを適切に選択することが可能であり、侵入者の移動などに合わせて追跡することができるという効果が得られる。
【００１４】
また、第三に、カメラ機能決定手段は、監視対象の予め定めた方向が撮影範囲となるカメラを選択し、監視対象に最短のカメラ、或いは最長のカメラから順に追跡撮影機能を割り当て、さらには広域撮影機能を割り当てることを特徴とする。
【００１５】
これにより、監視対象に最短のカメラから順に追跡撮影機能を割り当てた場合はより詳細な撮影により追跡ができ、監視対象に最長のカメラから順に追跡撮影機能を割り当てたり広域撮影機能を割り当てた場合は死角を生じさせることなくかつ監視対象を確実に捕えた上でその後段階的または無段階的に、より一層詳細な撮影追跡ができるという効果が得られる。
【００１６】
また、第四に、カメラの状態と監視対象の状態を認識し、これらの状態に応じてカメラの追跡撮影機能又は広域撮影機能を割り当てることを特徴とする。
【００１７】
これにより、カメラの状態と監視対象の状態に合わせて拡大撮影する役割や、監視対象を検出する役割を、適切に割り当てるという効果が得られる。
【００１８】
また、第五に、カメラ機能決定手段は、カメラが追加又は取り除かれた若しくはカメラが故障状態にある場合は、記憶された複数のカメラの状態を更新することを特徴とする。
【００１９】
これにより、カメラの削除、或いは故障による不作動状態が常に認識し得るという効果が得られる。
【００２０】
また、第六に、カメラ機能決定手段は、監視区域の状態を記憶し、前記監視区域の状態と監視対象の状況とに応じて、追跡撮影機能又は広域撮影機能をカメラに割り当てることを特徴とする。
【００２１】
これにより、監視区域の状態と監視対象の状況とに応じた適切な追跡撮影機能又は広域撮影機能をカメラに割り当てることができるという効果が得られる。
【００２２】
また、第七に、監視区域内の障害物の情報を利用し、カメラ機能を割り当てるカメラ機能決定手段を備える。
【００２３】
これにより、遮蔽物により撮影ができないカメラ以外を連携させ、侵入物体を拡大表示できるという効果が得られる。
【発明の効果】
【００２４】
以上のように、本発明によれば、パン・チルト・ズーム可能な複数の回転カメラと、各カメラの役割を決定するカメラ機能決定手段を備えることで、単体カメラでの死角をなくし、最小限のカメラ台数で死角なく監視対象である侵入物体を拡大表示できるという効果が得られる。
【００２５】
また、画像蓄積手段と、画像認識手段とを含み、画像認識手段の比較結果と監視対象の状況とに応じて第３のカメラに追跡機能を割り当てることにより、監視対象の状況に応じて追跡撮影するカメラを適切に選択し、侵入者の移動などに合わせて追跡することができるという効果が得られる。
【００２６】
また、カメラの状態と監視対象の状態を認識し、状態に応じてカメラ機能を決定する手段を備えることで、例えばカメラが故障しても、監視対象を検出する役割などを、故障したカメラ以外に割り当てることで監視を継続できるという効果が得られる。
【００２７】
また、監視区域内の障害物の情報を利用してカメラ機能を決定する手段を備えることで、遮蔽物により撮影ができないカメラ以外を連携させ、監視対象を拡大表示できるという効果が得られる。
【００２８】
また、２台以上の複数のカメラに対応でき、更に同じ効果を持つカメラ機能を複数のカメラに割り当てることで、より詳細に監視対象の映像を拡大表示することや、監視対象の位置や方向を精度よく検出することができるという効果が得られる。
【００２９】
また、他の効果として、画像処理や様々なセンサを用いて侵入物体の移動方向を求め、移動方向に応じてカメラ機能を決定する手段を備えることで、侵入物体の移動方向に合わせて適切なズーム処理を行い、例えば侵入者の正面顔といった監視すべき部位を拡大表示できるという効果が得られる。
【００３０】
また同様な効果を、侵入物体の方向を認識し、その方向に応じてカメラ機能を決定する手段を備えることで実現できる。
【発明を実施するための最良の形態】
【００３１】
本発明の実施の形態について、図１から図１２を用いて説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。
【００３２】
（実施の形態１）
図１乃至図９は、本発明の第１の実施の形態について説明する図である。この本実施の形態では、カメラを支える雲台が左右（パン）や上下（チルト）方向に回転移動することや、レンズの画角（ズーム）を変更することが可能な回転カメラを二台用いて侵入者を追跡し、画面上に拡大して表示する方法について説明する。
【００３３】
図１は、本実施の形態における監視装置の構成を示すブロック図である。本実施の形態における監視装置は、制御信号によりパン・チルト・ズーム制御が可能な二台の回転カメラ１０１、１０２と、回転カメラ１０１、１０２から送られる画像信号を処理し、処理結果に応じて回転カメラ１０１、１０２の制御信号を生成する画像処理装置１０３と、回転カメラ１０１、１０２から送られる画像信号を画面上に表示するモニタ１０４、１０５により構成される。
【００３４】
回転カメラ１０１、１０２には、追跡撮影機能と広域撮影機能の二つの機能を割り当てることが可能である。追跡撮影機能が割り当てられた場合には、画像処理装置１０３が生成する制御信号に従って、上下左右方向に回転移動し、目的の方向にカメラを向け、画角を調節して対象を撮影し、モニタ１０４、１０５に画像信号を出力する。他方、広域撮影機能が割り当てられた場合には、監視空間全体を撮影できるように画角を調整し、モニタ１０４、１０５および画像処理装置１０３へ、画像信号を出力する。
【００３５】
画像処理装置１０３は、監視対象となる侵入者の位置を特定する侵入物体認識手段１０６と、侵入者の位置に応じて回転カメラの機能を決定するカメラ機能決定手段１０７と、カメラ機能に応じて回転カメラの制御信号を生成するカメラ制御手段１０８から構成される。
【００３６】
侵入物体認識手段１０６は、広域撮影機能に割り当てられた回転カメラ１０１、１０２から送られる画像信号を解析し、監視空間における侵入者の３次元座標を特定する。監視空間には、３次元座標系があらかじめ設定されており、各カメラが共通の座標空間に存在することにより、カメラ制御を容易に実施することができる。
図２は、画像信号から追跡対象の監視空間における３次元座標を特定する処理手順を説明するフローチャートである。図３は本実施の形態における監視空間を定義する図である。図２の処理を実行するには、監視空間は、図３に示すようにＸ軸とＹ軸は床と平行に、Ｚ軸は床と垂直に、各軸が直交するように設定し、回転カメラＡを基準点上部の３０１に、回転カメラＢを回転カメラＡと同じ高さの３０２に設置する。また、例えば侵入物体の位置を求めるに際して、入力画像から監視空間上の３次元座標を求めるまでの、中間処理画像を図４に示す。
【００３７】
図２において、ステップ２０１では、回転カメラ１０１、１０２から入力される画像から、画像の変化だけを表す差分画像を生成する。差分画像は、背景を取り除き、侵入物体を含む移動物体を表した画像であり、この画像は、例えば「画像の処理と認識」（長尾智晴・安居院猛著、昭晃堂出版）１６２、１６３ページ記載の、連続する３枚のフレームを利用する方式を用いて生成することができる。上記連続する３枚のフレームの例を図４（ａ）に示す。
【００３８】
ステップ２０２では、ステップ２０１で求めた差分画像内に画像の変化を０と１で表した二値化処理を施し、差分画像を求める。ステップ２０３では、二値化処理を施した画像に「画像の処理と認識」（長尾智晴・安居院猛著、昭晃堂出版）６７、６８ページに記載のラベル付け処理を施し、二値画像上での固まり毎に同一ラベルが付けられたラベリング画像を求める。
【００３９】
二値化処理およびラベル付け処理は、差分画像から侵入物体の候補となる対象の位置や大きさなどの特徴量を抽出するために行う前処理である。二値画像とラベリング画像の例を図４（ｂ）、（ｃ）に示す。ステップ２０４では、ステップ２０３で求めたラベリング画像内の各ラベルに対し、画像上の重心位置や大きさなどの特徴量を求める。特徴量を求めることで、侵入物体かどうかを判断する。画像の固まりの特徴を表す例を図４（ｄ）に示す。
【００４０】
ステップ２０５では、記憶している侵入物体の重心位置や大きさと、ステップ２０４で求めた各ラベルの特徴量を比較し、特徴量が類似する場合は、侵入物体が存在すると判断する。ステップ２０６では、ステップ２０５で侵入物体が存在すると判断した場合、ステップ２０７へ、それ以外は侵入物体が存在しないとして、カメラ機能決定手段１０７に伝えて終了する。ステップ２０７では、ステップ２０５で侵入物体の特徴量と類似するラベルの特徴量を侵入物体の特徴量として更新する。ステップ２０８では、侵入物体の特徴量である画像上の重心位置を、予め求めていた回転カメラ１０１、１０２のカメラパラメータを用い、監視空間の３次元座標に変換し、カメラ機能決定手段１０７へ送る。
【００４１】
カメラパラメータの求め方や、回転カメラが撮影する画像上の座標を監視空間上の座標に変換する方法は、「三次元画像計測」（佐藤宏介・井口征士著、昭晃堂出版）９１〜９９ページ記載の方式を用いる。カメラパラメータは、回転カメラが撮影する画像上の座標と対応する監視空間における３次元座標を６点以上測定することで求める。このパラメータを用いて、画像上の任意の点の座標から、３次元空間における座標を計算することができる。画面上の点と３次元空間の座標の関係を図４（ｅ）に示す。
【００４２】
カメラ機能決定部１０７は、侵入物体認識手段１０６で求めた侵入者の監視空間における３次元座標G（Xin，Ｙin，Ｚin）に応じて、回転カメラ１０１、１０２に、侵入物体を検出するための広域撮影機能や侵入物体を拡大表示するための追跡撮影機能を割り当てる。侵入物体の３次元位置からカメラ機能を割り当てる一手順を示した図５を用いて、カメラ機能決定部の動作を説明する。
【００４３】
図５において、ステップ５０１では、侵入物体認識手段１０６から受け取る情報から侵入者が存在するか判断し、侵入者が存在するならステップ５０２へ、それ以外はステップ５０９へ進む。ステップ５０２では、図３に示す侵入者の監視空間における３次元座標G（Xin，Ｙin，Ｚin）のＸ成分の値Xin３０６と、監視空間上の回転カメラＡの撮影範囲３０４と回転カメラＢの撮影範囲３０５の、Ｘ軸上の境界Xth３０７を比べ、XinがXthより小さい場合はステップ５０３へ、それ以外はステップ５０６へ進む。
【００４４】
ステップ５０３では、図６で示す様に、侵入者６０１が、回転カメラＢの撮影範囲６０２内に存在するため、回転カメラＡの機能を、侵入者を拡大して画面上に表示する追跡撮影機能に決定し、ステップ５０４で回転カメラＢの機能を、侵入者を発見する広域撮影機能に決定する。また、ステップ５０５では、侵入者の監視空間における３次元座標G（Xin，Ｙin，Ｚin）をカメラ制御手段１０８に送る。
【００４５】
ステップ５０６では、図７で示す様に、侵入者７０１が、回転カメラＡの撮影範囲７０２内に存在するため、回転カメラＡの機能を、侵入者を発見する広域撮影機能に決定し、ステップ５０７で回転カメラＢの機能を、侵入者を拡大して画面上に表示する追跡撮影機能に決定する。また、ステップ５０８では、侵入者の監視空間における３次元座標G（Xin，Ｙin，Ｚin）をカメラ制御手段１０８に送る。
【００４６】
ステップ５０９では、侵入者が存在しない状態であり、図３に示す監視範囲３０８に侵入する物体を監視するために、回転カメラＡの機能を、侵入者を発見する広域撮影機能に決定し、ステップ５１０で回転カメラＢの機能を、侵入者を発見する広域撮影機能に決定する。
【００４７】
カメラ制御手段１０８は、追跡撮影機能が割り当てられたカメラには、追跡対象を適切な大きさで撮影できるようなカメラ制御信号を生成し、広域撮影機能が割り当てられたカメラには、監視空間全体を撮影できるようなカメラ制御信号を生成し、回転カメラに送信する。制御信号の生成方法は、撮影したい地点の監視空間における３次元座標（Ｘ，Ｙ，Ｚ）を、制御するカメラを原点とした極座標系における座標（α，β，γ）に変換することで求めることができる。
【００４８】
変換した極座標（α，β，γ）において、αがパン角、βがチルト角、γがズーム値になる。これらの値を基に、カメラ内部で保持する回転移動前のパン角、チルト角、ズーム値（α’，β’，γ’）との差分（Δα，Δβ，Δγ）を求め、差分に応じてパン・チルト・ズームを制御する制御信号を生成する。例えば、カメラ機能が追跡撮影機能の場合、カメラ機能決定手段から送られる監視空間の３次元座標G（Xin，Ｙin，Ｚin）を撮影したい地点の座標に置き換えて、制御信号を生成する。
【００４９】
図８は、侵入者が監視空間外から監視空間内を通り、再び監視空間外へ抜けるまでの回転カメラＢの動きを示した図である。２台の回転カメラＡ、Ｂを用いて、互いに死角なく侵入物体を拡大表示する例を、図８を参照しながら説明する。
【００５０】
侵入者８０１が監視空間外に存在する図８（ａ）では、回転カメラＡ、Ｂは、共にお互いの死角を補う形で侵入者を検出する広域撮影を行っている。この状態を、初期広域撮影状態と定義する。侵入者８０１が移動して初期撮影状態における回転カメラＡの撮影範囲８０３内に侵入した図８（ｂ）では、回転カメラＡが侵入者８０１を捉え、その画像を画像処理装置１０３に送る。画像処理装置１０３は、回転カメラＡから入力された画像を処理して侵入者８０１の監視空間上の座標８０５へ回転カメラＢを向けて拡大撮影するように回転カメラＢに制御信号を送る。回転カメラＢは、制御信号を受け、監視者が存在する８０５付近にカメラを回転し画角を調整して撮影することで、監視者を拡大してモニタ上に表示できる。
【００５１】
同様に、侵入者８０１が移動して初期撮影状態における回転カメラＢの撮影範囲８０４内に侵入した図８（ｃ）では、回転カメラＢが侵入者８０１を捉え、その画像を画像処理装置１０３に送り、画像処理装置１０３が回転カメラＡに制御信号を送ることで、回転カメラＡが監視者を拡大撮影できる。侵入者８０１が監視空間外に移動した図８（ｄ）では、侵入物体を検出しないため、画像処理装置１０３が再び侵入物体検出を行うために回転カメラＡ、Ｂに制御信号を送り、初期撮影状態に移動させる。
【００５２】
このように、侵入物体の位置に応じてカメラの機能を切り替えることで、互いに死角を補って侵入物体を追跡拡大表示できる。
【００５３】
なお、本実施の形態では、侵入物体の検出位置に応じてカメラ機能を決定したが、オプティカルフローなどの既存の画像処理技術や、赤外線や磁気センサなどを組み合わせて侵入物体の移動方向を求め、移動方向に応じてカメラ機能を決定し、複数のカメラを連携させてもよい。
【００５４】
例えば、図９で示すように、移動方向と顔の向く方向は同じであると仮定し、侵入者９０１の移動方向９０２から判断して、回転カメラＡの機能を追跡撮影機能に、回転カメラＢの機能を、侵入者付近を広域に撮影する機能に決定することで、侵入者の正面顔を表示することが可能となる。同様に、画像処理や各種センサを組み合わせ、侵入物体の向く方向を認識し、侵入物体の向く方向からカメラ機能を決定し、複数のカメラを連携させてもよい。
【００５５】
また、本実施の形態では、２台のカメラのうち、１台に侵入物体を追跡する機能を割り当て、１台に侵入物体付近を広域に撮影する機能を割り当てる例を示したが、２台以上複数のカメラを設置する場合も、本実施の形態と同様の方法で前記機能を割り当てることが可能であり、必ずしも監視カメラの設置台数は２台である必要はない。
【００５６】
さらに、２台以上複数カメラを設置する場合、前記機能を割り当てるカメラはそれぞれ１台である必要はなく、複数のカメラに侵入物体を同時に追跡する機能を持たせるか、あるいは複数のカメラで侵入物体周辺を同時に広域に監視する機能を持たせることも可能である。複数のカメラに侵入物体を同時に追跡させることで、侵入物体をより詳細に映像に捉えることができるという効果が新たに発生する。また複数のカメラで侵入物体の周辺を同時に広域に撮影することで、侵入物体の位置、移動方向、向きなどをより高精度に算出することができるという効果が新たに発生する。
【００５７】
また、侵入物体の検出位置のみならず、回転カメラの状態に応じてカメラ機能を決定し、連携させても良い。例えば、各回転カメラの撮影可能な範囲が既知であり、ある回転カメラが故障している場合、カメラ機能決定手段が、故障していない回転カメラから最も相応しい回転カメラを選択して機能を割り当てることで、故障している回転カメラの役割をカバーするといったことが可能である。
【００５８】
同様に、侵入物体の検出位置のみならず、監視空間内に存在する障害物など、カメラの視界をさえぎる遮蔽物の情報からカメラ機能を決定し、連携させても良い。例えば、カメラ機能決定手段が、監視空間内に存在する障害物の位置、大きさを把握しておき、前記障害物により侵入物体を撮影できないカメラに、侵入物体を追跡して撮影する機能および監視区域を広域に撮影する機能を割り当てないことで、侵入物体の追跡撮影および監視区域の広域な撮影を確実に行うことが可能である。
【００５９】
また、本実施の形態では、カメラから送られる画像信号を画像処理し、侵入物体の位置を求めたが、赤外線や磁気センサなどを組み合わせて侵入物体の位置を特定しても、カメラを連携させて侵入物体を拡大表示できる。
【００６０】
（実施の形態２）
図１０は、本発明の実施の形態２における監視装置の構成を示すブロック図である。図１０において、図１と同じ構成要素については、同じ符号を用い、説明を省略する。本実施の形態の特徴は、監視撮影およびその制御機能と、画像認識手段としての顔画像認識装置とを組み合せ、認識結果に応じて各回転カメラの機能を割り当てることで、顔画像認識に適したカメラ機能の切り替えを行い、顔画像認識結果を向上させることである。
【００６１】
図１０において、１２０１は画像認識手段としての人物の顔の画像を認識する顔画像認識装置であり、顔画像から特定の顔を選び出す顔画像認識手段１２０２と、顔画像を蓄積した顔画像蓄積手段１２０３により構成される。
【００６２】
侵入物体認識手段１０６は、侵入物体の三次元座標を特定し、更に過去の座標値を用いて移動方向を算出する。また、追跡機能が割り当てられたカメラの画像信号とカメラ固有の番号を、顔画像認識手段１２０２に送信する。顔画像蓄積手段１２０３は、顔画像認識が可能な範囲内で様々な方向から撮影した不審者などの認識対象の顔画像データを予め保持するものである。
【００６３】
顔画像認識手段１２０２は、侵入物体認識手段１０６から画像信号およびカメラ固有の番号を受信し、受信した画像信号を顔画像蓄積手段１２０３が保持する顔画像データと比較するものである。
【００６４】
上記顔画像認識の動作としては、まず、前処理として例えば、Ｃ言語による画像処理技術における遺伝的アルゴリズムを用いて、受信した画像信号から顔領域の抽出を行う。この技術については、例えば安居院猛、長尾智晴  著、「Ｃ言語による画像処理入門」、１８７−２１１頁、昭晃堂、２０００年出版において説明されている。次に、抽出した顔領域内の画像と、顔画像蓄積手段１２０３内の各顔画像データとの相関係数を求め、相関係数の最大値と最大値を持つ顔領域内の画像および顔画像蓄積部１２０３内の顔画像データを記憶する。最後に相関係数の最大値と閾値ＴＨ１とを比較し、閾値以上である場合は、記憶した顔領域内の画像および顔画像蓄積部１２０３内の顔画像データを、モニタ１０４−１、１０４−２、１０４−３上に並べるなどして表示し警告する。また、相関係数の最大値を類似度としてカメラ機能決定手段１０７に送信する。
【００６５】
カメラ機能決定手段１０７は、侵入物体認識手段１０６から送信される侵入物体の三次元座標、移動方向、および顔画像認識手段１２０２から送信される顔画像データの類似度を用いてカメラ１０１−１、１０１−２、１０１−３のカメラ機能切り替えを決定する。次に、図１１、図１２を用いてカメラ機能切り替えについて説明する。
【００６６】
図１１は、侵入者がＸ軸方向と反対方向に侵入する場合の、カメラ１０１−１〜１０１−３の動作概要を示すダイヤグラム図である。図１１において、（ａ）は監視領域に侵入者が存在しない状態を表す。図１１の（ｂ）〜（ｃ）は侵入者が１３０１（ｂ）〜１３０１−（ｃ）の位置に存在する場合の状態を表す。図１１の（ｄ）は認識結果によりカメラ機能が図１１の（ｃ）の状態から切り替わった直後のカメラの状態を表している。例えば、１３０２（ｂ）−１〜１３０２（ｂ）３は、図１１（ｂ）の状態におけるカメラ１０１−１〜１０１−３の撮影範囲を表し、撮影範囲が大きい１３０２（ｂ）−１、１３０２（ｂ）−３は広域撮影機能、撮影範囲が小さく侵入者１３０１の顔を撮影する１３０２（ｂ）−２は追跡撮影機が割り当てられた状態であることを表す。
【００６７】
図１２は、本実施の形態２におけるカメラ機能決定手段の動作を説明するフローチャートである。図１２において、処理が開始されると（ステップＳ１４０１）、カメラ機能決定手段１０７は、侵入物体の三次元座標から侵入者有りかを判定し（ステップＳ１４０２）、侵入者が存在しない図１１（ａ）の場合は、カメラ１０１−１の機能を広域撮影機能に割り当て（ステップＳ１４１３）、次にカメラ１０１−２の機能を広域撮影機能に割り当て（ステップＳ１４１４）、さらにカメラ１０１−３の機能を広域撮影機能に割り当て（ステップＳ１４１５）、その後処理を終了する。他方、侵入者が存在する場合は、カメラ機能決定手段１０７は、カメラ１０１−１を広域撮影機能に割り当て（ステップＳ１４０３）、図１１（ａ）において撮影範囲が他のカメラの撮影範囲と広く重複するため広域撮影機能から追跡撮影機能に切り替えても侵入物体認識手段に与える影響が少ないカメラ１０１−２を追跡撮影機能に割り当て（ステップＳ１４０４）、カメラ１０１−３を広域撮影機能に割り当てる（ステップＳ１４０５）。次に、カメラ機能決定手段１０７は、ステップＳ１４０６でカメラ１０１−２の追跡撮影機能を別のカメラに割り当てるか否かの切替え判定を行う。この場合の切替え判定方法は、顔画像認識手段１２０２が送信する、カメラ１０１−２で撮影した画像信号で計算した顔画像データの類似度が一定時間内に閾値ＴＨ２を超えるかどうかを判定することにより行う。この切替え判定において、類似度が閾値ＴＨ２を越えない場合は、カメラ機能決定手段１０７は、カメラ１０１−２の追跡撮影機能が顔画像認識において十分に動作してないと判断し、追跡撮影を別のカメラに割り当てるためにステップＳ１４０７へ進む。一方、類似度が閾値ＴＨ２を超える場合は、カメラ機能決定手段１０７はカメラ１０１−２の追跡撮影機能が顔画像認識において十分に動作中であると判断しステップＳ１４１２へ進む。
【００６８】
例えば、図１１（ｂ）の１３０１（ｂ）に侵入者が存在する場合は、カメラ１０１−２は侵入者の顔全体を撮影可能であり、顔画像認識結果である類似度も高い値を示す。したがって、この場合はステップＳ１４１２へ進む。他方、図１１（ｃ）に示されるように、１３０１（ｃ）の位置に侵入者が存在する場合は、カメラ１０１−２は真上から侵入者を見下ろすような状態で撮影するため、目、鼻、眉毛、口など顔画像認証する手がかりを撮影できず、類似度が低くなる。したがって、この場合はステップＳ１４０７へ進む。
【００６９】
ステップＳ１４０６の切替え判定処理の結果、追跡撮影機能切替判定が行われる場合、ステップＳ１４０７では、カメラ機能決定部１０７が、侵入物体認識手段１０６から送信される侵入物体の進行方向とＸ軸方向を比べ同じ方向か否かを判断する。そして、侵入物体認識手段１０６から送信される侵入物体の進行方向とＸ軸方向が同じ方向の場合（図１２中で＋）はカメラ１０１−３を追跡撮影機能に割り当てる（ステップＳ１４０８）一方、カメラ１０１−２を広域撮影機に割り当て（ステップＳ１４０９）、その後ステップＳ１４１２へ進む。また、侵入物体認識手段１０６から送信される侵入物体の進行方向とＸ軸方向が異なる場合は、カメラ１０１−１を追跡撮影機能に割り当てる（ステップＳ１４１０）一方、カメラ１０１−２を広域撮影機能割り当て（ステップＳ１４１１）、その後ステップＳ１４１２へ進む。
【００７０】
これは、侵入者の進行方向と、その時の侵入者の顔の向きが同じであると仮定し、進行方向とは反対方向から（つまり侵入者とカメラが対向している状態で）侵入者を撮影できるカメラに追跡撮影機能を割り当てることで、目、口などが映る正面の顔画像を撮影し、顔画像認識率を上げる効果がある。また、追跡撮影機能が割り当てられたカメラが以前撮影した場所は死角となるので、図１１（ｄ）に示すように、カメラ１０１−２に広域撮影機能を割り当て、死角をカバーするようにする。
【００７１】
次に、ステップＳ１４１２では、カメラ制御手段１０８が、カメラ機能決定部１０７から送信される侵入物体の三次元位置座標と、カメラ１０１−１〜１０１−３の割り当てられたカメラ機能を参照し、各カメラの制御信号を生成する。
【００７２】
このように、本実施の形態によれば、カメラ機能決手段１０７が、顔画像認識手段１２０２の認識結果である顔画像データの類似度を受け取ることで、顔画像認識に適したカメラに追跡撮影機能を割り当てることが可能であり、歩行中の侵入者の顔認証を行うウォークスルー認証などに有効である。
【００７３】
なお、本実施の形態では、顔画像認識装置の例で説明したが、前処理である顔領域の認識結果を利用することも可能である。さらに、顔認識だけでなく、人物全体を特定する人物認識手段や、自動車を特定する自動車認識手段など、特定の対象を認識する手段と組み合せ、その認識結果を用いることで、それぞれの認識に適したカメラ機能の切り替えが実現でき、認識性能を向上させるという効果が生まれる。いずれもこの実施例に限定されるものではない。
【００７４】
また、本実施の形態では、図１２のステップＳ１４０１で示すように侵入者を認識した後、カメラ１０１−２に追跡撮影機能を割り当てたが、この実施例に限定されるものではない。例えば、侵入者の位置に近いカメラを選んで真上から見下ろす撮影を行うのでなく、侵入者の位置から遠いカメラを選んで真横から正面の顔を捕らえて撮影するように、侵入者の進行方向の延長上に存在し侵入者の位置から最も離れているカメラに追跡撮影機能を割り当ててもよい。
【００７５】
同様に、侵入者の位置から近いカメラに広域撮影機能を割り当て、侵入者の位置や進行方向認識の精度を高めてもよく、いずれもこの実施例に限定されるものではない。
【００７６】
また、本実施の形態では、カメラ機能決定時に、侵入物体の位置、進行方向、顔画像認識の結果を用いたが、顔画像認識の結果だけを用いても良い。例えば、カメラ機能の割り当て方を、認識結果が最も高くなる状態まで次々と切り替えることで、最も認識結果が高いカメラ機能の切り替え手段を自動的に検出するこが可能である。また、カメラ機能を割り当てる過程を学習することで、別の状態で認識結果を最も高くするカメラ機能の切り替え手段を探索するとき、探索時間を削減することも可能である。
【００７７】
また、侵入物体の位置、進行方向、認識結果だけでなく、別の情報を利用してカメラ機能を割り当てもよい。例えば、床に埋め込んだ位置検出センサや温度センサなどのセンサ情報と組み合わせることで、より侵入者の位置や侵入方向が精度よく認識でき、認識した結果から最も顔画像認識に適したカメラ機能の割り当てを精度よく選択することが可能となる。例えば、温度センサの処理により進行方向と顔の向きが一致しているかを判定することで、顔の向きと進行方向が逆の後ろ向きに歩く不審者でも顔画像認証が可能なカメラ機能割り当て処理を実現できる。
【００７８】
また、本実施例では、カメラ機能を監視対象の位置に応じて、監視対象を拡大撮影する追跡撮影機能と、監視対象の位置を認識するために監視空間を広角で撮影する広域撮影機能の二つの例で説明したが、別の機能を割り当てることも可能であり、例えば、動き検出結果をカメラ制御にフィードバックさせ、常に画面中央に動く物体を一定の大きさで捕らえ続けるといった、単体カメラの移動体追跡撮影機能などを割り当ててもよく、いずれもこの実施例に限定されるものではない。
【図面の簡単な説明】
【００７９】
【図１】本発明の第１の実施の形態による監視装置の構成を示すブロック図
【図２】本発明の第１の実施の形態における、画像信号から追跡対象の監視空間における３次元座標を特定する処理手順を説明するフローチャート
【図３】本発明の第１の実施の形態における監視空間を定義する図
【図４】本発明の第１の実施の形態において侵入物体の位置を求めるにあたり、入力画像から監視空間上の３次元座標を求めるまでの中間処理画像を示す図
【図５】本発明の第１の実施の形態においてカメラ機能決定部が侵入物体の３次元位置からカメラ機能を割り当てる処理手順を説明するフローチャート
【図６】本発明の第１の実施の形態においてカメラ機能決定部によりカメラ機能を決定する事例を説明する図
【図７】本発明の第１の実施の形態においてカメラ機能決定部によりカメラ機能を決定する別の事例を説明する図
【図８】本発明の第１の実施の形態において、侵入者が監視空間外から監視空間内を通り、再び監視空間外へ抜けるまでの回転カメラＡと回転カメラＢの動きを示す、カメラ機能を説明する図
【図９】本発明の第１の実施の形態において、侵入者の正面顔を表示することを可能にする、カメラ機能決定部によりカメラ機能を決定する事例を説明する図
【図１０】本発明の第２の実施の形態による監視装置の構成を示すブロック図
【図１１】本発明の第２の実施の形態によるカメラの機能を説明する図
【図１２】本発明の第２の実施の形態によるカメラの機能を決定する処理動作を説明するフローチャート
【図１３】従来技術におけるカメラ連携による監視装置の構成を示すブロック図
【図１４】従来技術における不具合を説明する模式図
【符号の説明】
【００８０】
１０１〜１０２  回転カメラ
１０３  画像処理装置
１０４〜１０５  モニタ
１０６  侵入物体認識手段
１０７  カメラ機能決定手段
１０８  カメラ制御手段
１００１  広域撮影用カメラ
１００２  回転カメラ
１００３  画像処理装置
１００４〜１００５  モニタ
１００６  侵入物体追跡手段
１００７  カメラ制御手段
１２０１  顔画像認識装置
１２０２  顔画像認識手段
１２０３  顔画像蓄積部
【図１】
2004343718.tif 000003
【図２】
2004343718.tif 000004
【図３】
2004343718.tif 000005
【図４】
2004343718.tif 000006
【図５】
2004343718.tif 000007
【図６】
2004343718.tif 000008
【図７】
2004343718.tif 000009
【図８】
2004343718.tif 000010
【図９】
2004343718.tif 000011
【図１０】
2004343718.tif 000012
【図１１】
2004343718.tif 000013
【図１２】
2004343718.tif 000014
【図１３】
2004343718.tif 000015
【図１４】
2004343718.tif 000016