(57)【要約】【課題】室内に設置した全てのカメラで撮影された画像の全てを確実に確認することができ、しかも何らかの異常が発生した場合には異常の原因を突き止めることができる画像を容易にかつ確実に検索することができる監視用画像記録装置を提供する。【解決手段】監視対象となる室内に複数のカメラを設置し、室内の隅々まで撮影できるように各カメラの撮影方向を固定とする。そして、各カメラで撮影された画像を画像合成部２０４に入力し、室内を上から見たような１枚の合成画像を生成する。そして、画像合成部２０４に入力される画像と画像合成部２０４が出力する合成画像とを時刻ごとに画像圧縮を行い、データベースを生成して記録部２１３に格納する。データベースには合成画像を生成した際に使用した合成前のカメラからの画像の位置情報を持たせ、合成画像から合成前のカメラからの画像を呼び出すことを可能とする。【選択図】図２
2008028605.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークに接続された複数のカメラで撮影された画像を前記ネットワーク経由で取り込み記録する監視用画像記録装置において、
複数の前記カメラで撮影された複数の画像を同一時刻ごとに整列するソーティング手段と、
前記ソーティング手段で整列処理された同一時刻の複数の画像夫々に対して動き検出を行い、その結果から複数の前記画像を１枚の画像として合成する際の継ぎ目位置を選択し、選択した継ぎ目位置を移動させて合成画像の変化量を評価しながら画像合成する画像合成手段と、
前記画像合成手段で合成された合成画像及び該合成画像の元となる複数の画像を夫々圧縮する画像圧縮手段と、
前記画像圧縮手段で圧縮された合成画像と該合成画像の元となる複数の前記画像とを関連付けたデータベースを生成するデータベース生成手段と、
前記データベース生成手段で生成されたデータベースを記録する記録手段と、
オペレータの指示に従って前記記録手段に記録されたデータベースを検索するデータベース検索手段と、
前記データベース検索手段による検索結果により前記記録手段から読み出された圧縮画像を伸張して圧縮前の元の状態に戻す画像伸張手段と、
を備える監視用画像記録装置。
【請求項２】
前記画像合成手段は、
複数の前記カメラ夫々で撮影された画像から動きを検出する複数の動き検出手段と、
現在の合成画像と直前に生成された合成画像との差分を検出する変化検出手段と、
前記変化検出手段で検出された差分を所定の閾値と比較し、該閾値を超える場合、複数の前記動き検出手段夫々の動き検出結果からどのカメラで撮影された画像に動きが検出されたかを判定し、該判定結果から合成画像を生成する際に移動すべき画像の継ぎ目位置を決定する継ぎ目位置決定手段と、
画像の継ぎ目位置を保持する継ぎ目位置保持手段と、
前記継ぎ目位置保持手段に保持されている現在の継ぎ目位置を前記継ぎ目位置決定手段で決定された継ぎ目位置に移動させる継ぎ目位置移動手段とを備え、
前記現在の合成画像の継ぎ目位置が前記継ぎ目位置決定手段で決定された継ぎ目位置に移動された後、継ぎ目位置移動後の合成画像と前記現在の合成画像との差分が前記閾値に収まるまで画像合成、変化検出、継ぎ目位置決定及び継ぎ目位置移動の各処理を繰り返し行い、前記現在の合成画像と前記継ぎ目位置を移動した後の合成画像との差分が前記閾値に収まると、そのときの移動した継ぎ目位置を前記継ぎ目位置保持手段に格納する請求項１に記載の監視用画像記録装置。
【請求項３】
複数の前記カメラは、監視を行う部屋に、それぞれの撮影範囲が相互に重複するように設置され、
前記画像合成手段は、同一時刻に撮影された複数の画像を画像変換して前記部屋を上から見た合成画像を生成する請求項１又は請求項２に記載の監視用画像記録装置。
【請求項４】
複数の前記カメラは、監視を行う建物のフロア全体に、それぞれの撮影範囲が相互に重複するように設置され、
前記画像合成手段は、複数の前記カメラが撮影した画像を部屋ごと又は特定の撮影箇所ごとに画像変換を行い、前記部屋又は撮影箇所ごとに上から見た合成画像を生成する請求項１又は請求項２に記載の監視用画像記録装置。
【請求項５】
複数の前記カメラ夫々の位置情報を管理するフロア情報管理手段を備え、
前記データベース生成手段は、前記画像圧縮手段で圧縮された合成画像と該合成画像の元となる複数の画像とを関連付けたデータベースを生成する際に、前記フロア情報管理手段が管理している複数の前記カメラ夫々の位置情報を活用することにより合成前の複数の画像夫々を呼び出すことができるようにデータベースを生成する請求項１乃至請求項４のいずれかに記載の監視用画像記録装置。
【請求項６】
前記フロア情報管理手段は、前記監視対象となる部屋の出入り口や窓を含む建物フロアの構造に関する情報を管理し、
前記データベース生成手段は、前記フロア情報管理手段が管理している複数の前記カメラ夫々の位置情報及び前記建物フロアの構造に関する情報を活用することにより複数の監視領域に亘って合成画像を呼び出すことができるようにデータベースを生成する請求項５に記載の監視用画像記録装置。
【請求項７】
ある特定の部屋で監視を行っている際に、前記画像合成手段の複数の前記動き検出手段夫々が監視対象の予想動きベクトルを算出し、前記動き検出手段夫々が算出した前記監視対象の予想動きベクトルを基に前記監視対象の移動先を予測し、前記監視対象が室外に出ると予測した場合には、予測した移動先領域の合成画像を読み出す制御を行う制御手段を備える請求項２乃至請求項６のいずれかに記載の監視用画像記録装置。
【請求項８】
複数の前記カメラで撮影された画像に対して人間の頭部と顔を検出する頭部・顔検出手段を備え、
前記継ぎ目位置決定手段は、前記頭部・顔検出手段が人間の顔を検出した場合に、合成画像に人間の顔が表示されるように画像合成の継ぎ目位置を決定する請求項２乃至請求項７のいずれかに記載の監視用画像記録装置。
【請求項９】
ネットワークに直接又は無線送受信機を介して接続される複数のカメラと、
請求項１乃至請求項８のいずれかに記載の監視用画像記録装置と、
前記監視用画像記録装置に記録された画像を表示するためのモニタと、
前記監視用画像記録装置に対して動作指令を与える入力部と、
を備えるセキュリティシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラで撮影された画像を記録する監視用画像記録装置に関する。
【背景技術】
【０００２】
従来、複数のカメラで撮影された画像からマルチ表示画像を生成するマルチ表示制御装置と、複数のカメラ夫々に対応させた異常検出用のセンサとを備え、該センサにより異常を検出した場合に、該センサからの検出信号と各カメラで撮影された画像とをマルチ表示制御装置に入力し、該マルチ表示制御装置の出力画像にセンサによる異常検出結果をアラームとして重畳させるマルチ表示監視システムが考案されている（例えば、特許文献１参照）。
【０００３】
また、従来、自動車に搭載した複数の撮影手段（カメラ）で撮影された画像を合成し、自動車の周囲の様子を運転者に提示することによって、駐車時などの運転を支援する装置に用いられる画像合成装置が考案されている（例えば、特許文献２参照）。特許文献２で開示されている画像合成装置は、複数の撮影手段と、複数の撮影手段夫々の撮影状況を検出する撮影状況検出手段と、複数の撮影手段で撮影された複数の画像を、検出された撮影状況を反映して投影手段に投影し複数の第１の投影映像を生成する平面投影手段と、複数の第１の投影映像を３次元投影モデルに投影し第２の投影映像を生成する３次元投影モデル投影手段と、第２の投影映像を仮想的に投影する仮想投影手段と、３次元投影モデルの位置と形状とを決定する３次元投影モデル決定手段と、仮想投影手段の撮影状況を決定する仮想投影手段投影状況決定手段とを備えている。
【０００４】
【特許文献１】特開平１１−１８４４４８号公報
【特許文献２】特開２００２−８３２８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のマルチ表示監視システムにおいては、室内に複数のカメラを設置してその室内を監視する場合、マルチ表示できる画像の数は有限であり、全てのカメラで撮影された画像を一度にマルチ表示することは不可能である。すなわち、モニタに映し出す画像は、その内容を人間が識別できる程度の大きさが必要であり、たとえモニタを大型にしても、表示できる画像の数が増えるものの、その数は有限である。また、たとえマルチ表示可能な数で画像をマルチ表示するようにしても、何らかの異常が発生した場合に全てのカメラで撮影された画像を確認して異常の原因を特定するためには非常に多くの労力を要する。さらに多くの画像を検索することになるので、重要な映像を見逃す可能性もある。
【０００６】
また、各カメラからの画像は相互に連携しておらず、例えばオペレータが、あるカメラが撮影している領域の右側を見たい場合には、該当する領域を撮影している他のカメラを選択し、そのカメラからの画像を表示させるための操作を行う必要がある。また、この作業を行うためには各カメラが撮影する領域を把握し、かつ各カメラの相対的位置関係を把握しておく必要がある。また、何らかの異常が発生した場合に、前述した作業を短時間で、かつ繰り返し実行する必要があり、そのためには高度な技術と経験が必要となる。
【０００７】
本発明は、係る事情に鑑みてなされたものであり、室内に設置した全てのカメラで撮影された画像の全てを確実に確認することができ、しかも何らかの異常が発生した場合には異常の原因を突き止めることができる画像を容易にかつ確実に検索することができ、さらに、各カメラからの画像を相互に連携できる監視用画像記録装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的は下記構成により達成される。
（１）  ネットワークに接続された複数のカメラで撮影された画像を前記ネットワーク経由で取り込み記録する監視用画像記録装置において、複数の前記カメラで撮影された複数の画像を同一時刻ごとに整列するソーティング手段と、前記ソーティング手段で整列処理された同一時刻の複数の画像夫々に対して動き検出を行い、その結果から複数の前記画像を１枚の画像として合成する際の継ぎ目位置を選択し、選択した継ぎ目位置を移動させて合成画像の変化量を評価しながら画像合成する画像合成手段と、前記画像合成手段で合成された合成画像及び該合成画像の元となる複数の画像を夫々圧縮する画像圧縮手段と、前記画像圧縮手段で圧縮された合成画像と該合成画像の元となる複数の前記画像とを関連付けたデータベースを生成するデータベース生成手段と、前記データベース生成手段で生成されたデータベースを記録する記録手段と、オペレータの指示に従って前記記録手段に記録されたデータベースを検索するデータベース検索手段と、前記データベース検索手段による検索結果により前記記録手段から読み出された圧縮画像を伸張して圧縮前の元の状態に戻す画像伸張手段と、を備える。
【０００９】
（２）  上記（１）に記載の監視用画像記録装置において、前記画像合成手段は、複数の前記カメラ夫々で撮影された画像から動きを検出する複数の動き検出手段と、現在の合成画像と直前に生成された合成画像との差分を検出する変化検出手段と、前記変化検出手段で検出された差分を所定の閾値と比較し、該閾値を超える場合、複数の前記動き検出手段夫々の動き検出結果からどのカメラで撮影された画像に動きが検出されたかを判定し、該判定結果から合成画像を生成する際に移動すべき画像の継ぎ目位置を決定する継ぎ目位置決定手段と、画像の継ぎ目位置を保持する継ぎ目位置保持手段と、前記継ぎ目位置保持手段に保持されている現在の継ぎ目位置を前記継ぎ目位置決定手段で決定された継ぎ目位置に移動させる継ぎ目位置移動手段とを備え、前記現在の合成画像の継ぎ目位置が前記継ぎ目位置決定手段で決定された継ぎ目位置に移動された後、継ぎ目位置移動後の合成画像と前記現在の合成画像との差分が前記閾値に収まるまで画像合成、変化検出、継ぎ目位置決定及び継ぎ目位置移動の各処理を繰り返し行い、前記現在の合成画像と前記継ぎ目位置を移動した後の合成画像との差分が前記閾値に収まると、そのときの移動した継ぎ目位置を前記継ぎ目位置保持手段に格納する。
【００１０】
（３）  上記（１）又は（２）に記載の監視用画像記録装置において、複数の前記カメラは、監視を行う部屋に、それぞれの撮影範囲が相互に重複するように設置され、前記画像合成手段は、同一時刻に撮影された複数の画像を画像変換して前記部屋を上から見た合成画像を生成する。
【００１１】
（４）  上記（１）又は（２）に記載の監視用画像記録装置において、複数の前記カメラは、監視を行う建物のフロア全体に、それぞれの撮影範囲が相互に重複するように設置され、前記画像合成手段は、複数の前記カメラが撮影した画像を部屋ごと又は特定の撮影箇所ごとに画像変換を行い、前記部屋又は撮影箇所ごとに上から見た合成画像を生成する。
【００１２】
（５）  上記（１）乃至（４）のいずれかに記載の監視用画像記録装置において、複数の前記カメラ夫々の位置情報を管理するフロア情報管理手段を備え、前記データベース生成手段は、前記画像圧縮手段で圧縮された合成画像と該合成画像の元となる前記複数の画像とを関連付けたデータベースを生成する際に、前記フロア情報管理手段が管理している複数の前記カメラ夫々の位置情報を活用することにより合成前の前記複数の画像夫々を呼び出すことができるようにデータベースを生成する。
【００１３】
（６）  上記（５）に記載の監視用画像記録装置において、前記フロア情報管理手段は、前記監視対象となる部屋の出入り口や窓を含む建物フロアの構造に関する情報を管理し、前記データベース生成手段は、前記フロア情報管理手段が管理している複数の前記カメラ夫々の位置情報及び前記建物フロアの構造に関する情報を活用することにより複数の監視領域に亘って合成画像を呼び出すことができるようにデータベースを生成する。
【００１４】
（７）  上記（２）乃至（６）のいずれかに記載の監視用画像記録装置において、ある特定の部屋で監視を行っている際に、前記画像合成手段の複数の前記動き検出手段夫々が監視対象の予想動きベクトルを算出し、前記動き検出手段夫々が算出した前記監視対象の予想動きベクトルを基に前記監視対象の移動先を予測し、前記監視対象が室外に出ると予測した場合には、予測した移動先領域の合成画像を読み出す制御を行う制御手段を備える。
【００１５】
（８）  上記（２）乃至（７）のいずれかに記載の監視用画像記録装置において、複数の前記カメラで撮影された画像に対して人間の頭部と顔を検出する頭部・顔検出手段を備え、前記継ぎ目位置決定手段は、前記頭部・顔検出手段が人間の顔を検出した場合に、合成画像に人間の顔が表示されるように画像合成の継ぎ目位置を決定する。
【００１６】
（９）  セキュリティシステムにおいて、ネットワークに直接又は無線送受信機を介して接続される複数のカメラと、上記（１）乃至（８）のいずれかに記載の監視用画像記録装置と、前記監視用画像記録装置に記録された画像を表示するためのモニタと、前記監視用画像記録装置に対して動作指令を与える入力部と、を備える。
【発明の効果】
【００１７】
上記（１）に記載の監視用画像記録装置では、画像合成する複数のカメラが撮影する監視画像に対して動き検出を行い、その動き検出結果から画像合成する際の継ぎ目位置を選択し、継ぎ目位置を移動させて合成画像の変化量を評価しながら画像合成するので、複数のカメラにより撮影された画像を１枚の画像に合成することで、画像合成時に移動する監視対象が合成画像からの消失したり、不自然に表示されたりすることを防止することが可能となり、これによって、複数のカメラから得られる多くの情報を容易に把握することができる。
【００１８】
また、複数のカメラが撮影する画像に含まれる情報を１枚の合成画像として見ることができるので、状況の変化を容易に把握することができる。さらに、何らかの異常が発生した場合でも１枚の合成画像の元となる複数のカメラの映像を辿って検索することができるので、検索における労力の軽減が図れる。
【００１９】
上記（２）に記載の監視用画像記録装置では、画像合成する際の継ぎ目位置を選択し、継ぎ目位置を移動させて合成画像の変化量を評価しながら画像合成するので、画像合成時に移動する監視対象が合成画像からの消失したり、不自然に表示されたりすることを防止することができる。
【００２０】
上記（３）に記載の監視用画像記録装置では、監視を行う部屋に、それぞれの撮影範囲が相互に重複するように複数のカメラを設置し、これらのカメラによって同一時刻に撮影された複数の画像を画像変換して部屋を上から見た合成画像を生成するので、監視対象が動く様子を極めて容易に把握することができる。
【００２１】
上記（４）に記載の監視用画像記録装置では、監視を行う建物のフロア全体に、それぞれの撮影範囲が相互に重複するように複数のカメラを設置し、これらのカメラが撮影した画像を部屋ごと又は特定の撮影箇所ごとに画像変換を行い、部屋や撮影箇所ごとに上から見た合成画像を生成するので、監視対象が複数の部屋に亘って移動する様子を追跡する場合に、部屋の構造を意識して監視映像を順次切り替える必要がなく、極めて容易に監視対象を追跡することができる。
【００２２】
上記（５）に記載の監視用画像記録装置では、合成画像と該合成画像の元となる複数の画像とを関連付けたデータベースを生成する際に、複数のカメラ夫々の位置情報を活用して合成前の複数の画像夫々を呼び出すことができるようにデータベースを生成するので、何らかの異常が発生した場合に、異常の原因を突き止めることができる画像を容易にかつ確実に検索することができる。
【００２３】
上記（６）に記載の監視用画像記録装置では、監視対象となる部屋の出入り口や窓などの建物フロアの構造に関する情報を管理し、複数の監視領域に亘って合成画像を呼び出すことができるので、何らかの異常が発生した場合に、その原因を複数の監視領域に亘って検索することができる。
【００２４】
上記（７）に記載の監視用画像記録装置では、画像合成手段の複数の動き検出手段夫々が監視対象の予想動きベクトルを算出し、この予想動きベクトルを基に監視対象の移動先を予測して、監視対象が室外に出る場合は、予測した移動先領域の合成画像を読み出すので、複数の監視領域に亘って移動する監視対象を極めて容易に追跡することができる。
【００２５】
上記（８）に記載の監視用画像記録装置では、合成画像に人間の顔が表示されるように画像合成の継ぎ目位置を決定して顔を認識できるように画像合成を行うので、容易に人物の認識が可能となる。
【００２６】
上記（９）に記載のセキュリティシステムでは、実質上扱える監視カメラの数が無限であり、ユビキタスセンサネットワークにおけるセキュリティシステムでの監視を実現できる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２８】
（実施の形態１）
図１は、本発明の実施の形態１に係るセキュリティシステムの概略構成を示すブロック図である。同図において、本実施の形態のセキュリティシステムは、有線カメラ１０１と、無線カメラ１０２と、無線受信機１０３と、ネットワーク１０４と、監視用画像記録装置１０５と、モニタ１０６と、入力部１０７とを備えて構成される。有線カメラ１０１及び無線カメラ１０２は、通常、複数台使用される。有線カメラ１０１は、映像信号を電気信号に変換した後、画像圧縮を施し、圧縮画像データとしてネットワーク１０４に送出する。無線カメラ１０２は、映像信号を電気信号に変換した後、画像圧縮を施し、圧縮画像データとして無線にて送信する。無線カメラ１０２より送信された無線信号は無線受信機１０３にて受信される。
【００２９】
無線受信機１０３は、無線によるデータ受信を行い、また受信したデータをネットワーク１０４に送出する。ネットワーク１０４は、本実施の形態では、有線カメラ１０１、無線カメラ１０２及び無線受信機１０３夫々から送信される圧縮画像データを監視用画像記録装置１０５に供給するための専用ネットワークであり、高速データ通信が可能な充分なネットワーク容量を有している。監視用画像記録装置１０５は、ネットワーク１０４経由で送られてくる圧縮画像データを蓄積する。また、蓄積した画像の検索及び再生が可能となっている。モニタ１０６は、ＬＣＤ（Liquid Crystal Display）などにより構成され、監視用画像記録装置１０５の操作に必要な制御情報の表示や再生画の表示等を行う。入力部１０７は、キーボードやマウスなどにより構成され、オペレータ操作による制御情報を監視用画像記録装置１０５に入力する。
【００３０】
図２は、監視用画像記録装置１０５の概略構成を示すブロック図である。同図において、監視用画像記録装置１０５は、ネットワークＩ／Ｆ（インタフェース）２０１と、ソーティング部（整列手段）２０２と、画像伸張部２０３と、画像合成部２０４と、フロア情報管理部２０５と、制御部２０７と、画像圧縮部２０９と、データベース生成部２１０と、データベース検索部２１１と、データ書込み制御部２１２と、ハードディスク等の記録部２１３と、データ読出し制御部２１４と、画像伸張部２１５と、表示制御部２１６とを備えて構成される。
【００３１】
ネットワークＩ／Ｆ２０１は、ネットワーク１０４経由で供給される複数のカメラ（有線カメラ１０１、無線カメラ１０２）からの圧縮画像データを受信し、ソーティング部２０２に入力する。ソーティング部２０２は、ネットワークＩ／Ｆ２０１から入力された複数のカメラからの圧縮画像データを撮影時刻及びカメラごとに整列し、画像伸張部２０３及びデータベース生成部２１０に入力する。画像伸張部２０３は、ソーティング部２０２で撮影時刻及びカメラごとに整列された圧縮画像データを伸張して画像合成部２０４に入力する。画像合成部２０４は、フロア情報管理部２０５からの情報を基に画像伸張部２０３から入力された伸張画像をカメラが設置された部屋ごとに１枚の上から見たような合成画像を生成する。
【００３２】
フロア情報管理部２０５は、監視対象となる部屋に設置されたカメラの設置情報や監視を行っている建物のフロア構造情報を画像合成部２０４及びデータベース生成部２１０に入力する。この場合、カメラの設置情報とは、監視対象となる部屋におけるカメラの位置情報（水平位置、垂直位置）やカメラの撮影方向、撮影範囲などである。また、フロア構造情報とは、各部屋の位置、部屋の出入り口（ドア等）の位置情報などである。制御入力２０６は、入力部１０７（図１参照）から入力される制御信号である。制御部２０７は、本装置１０５の各部を制御する。制御部２０７には、通常、マイクロコンピュータが用いられる。表示出力２０８は、モニタ１０６に向けて出力される表示信号である。
【００３３】
画像圧縮部２０９は、画像合成部２０４で生成された合成画像を画像圧縮すると共に、該合成画像の元となる同一時刻に撮影された複数の画像を画像圧縮する。データベース生成部２１０は、フロア情報管理部２０５からのフロア構造情報と、ソーティング部２０２からの圧縮画像データ（撮影時刻及びカメラごとに整列された圧縮画像データ）と、画像圧縮部２０９からの圧縮合成画像とを基にデータベースを生成する。データベース検索部２１１は、時刻情報やアラーム情報、カメラ番号、カメラの位置などをキーワードとして該当する画像を検索する。データ書込み制御部２１２は、記録部２１３に対するデータの書き込みの制御を行う。記録部２１３は、各種の画像データをデータベース生成部２１０が生成したデータベースを基に格納する。データ読出し制御部２１４は、データベース検索部２１１の検索結果を基に記録部２１３に対するデータの読み出し制御を行う。画像伸張部２１５は、データ読出し制御部２１４によって記録部２１３から読み出された圧縮画像データを伸張する。表示制御部２１６は、本装置１０５を制御するために必要な情報及び画像伸張部２１５が伸張した画像をモニタ２１６に表示できるフォーマットに変換して表示出力２０８として出力する。
【００３４】
次に、画像合成部２０４を詳細に説明する。図３は、画像合成部２０４の概略構成を示すブロック図である。同図において、画像合成部２０４は４台のカメラからの映像を合成できるものであり、４つのフレームメモリ３０２〜３０５と、４つの動き検出部３０６〜３０９と、合成処理部３１０と、変化検出部３１１と、継ぎ目位置決定部３１２と、継ぎ目位置移動部３１３と、継ぎ目位置バッファ３１４とを備えている。ここで、４台のカメラは、例えば有線カメラ１０１のみとする。勿論、無線カメラ１０２のみでも良いし、有線カメラ１０１と無線カメラ１０２を混在させても良いことは言うまでもない。フレームメモリ(A)３０２には、カメラ１０１−１で撮影された画像が複数フレーム分格納される。フレームメモリ(B)３０３には、カメラ１０１−２で撮影された画像が複数フレーム分格納される。フレームメモリ(C)３０４には、カメラ１０１−３で撮影された画像が複数フレーム分格納される。フレームメモリ(D)３０５には、カメラ１０１−４で撮影された画像が複数フレーム分格納される。
【００３５】
動き検出部(A)３０６は、フレームメモリ(A)３０２に格納された複数フレームの画像の差分を算出することで、カメラ１０１−１で撮影された画像の動きを検出し、その結果を合成処理部３１０に入力する。動き検出部(B)３０７は、フレームメモリ(B)３０３に格納された複数フレームの画像の差分を算出することで、カメラ１０１−２で撮影された画像の動きを検出し、その結果を合成処理部３１０に入力する。動き検出部(C)３０８は、フレームメモリ(C)３０４に格納された複数フレームの画像の差分を算出することで、カメラ１０１−３で撮影された画像の動きを検出し、その結果を合成処理部３１０に入力する。動き検出部(D)３０９は、フレームメモリ(D)３０５に格納された複数フレームの画像の差分を算出することで、カメラ１０１−４で撮影された画像の動きを検出し、その結果を合成処理部３１０に入力する。
【００３６】
合成処理部３１０は、継ぎ目位置バッファ３１４に格納された継ぎ目位置に応じてフレームメモリ(A)３０２、フレームメモリ(B)３０３、フレームメモリ(C)３０４、フレームメモリ(D)３０５それぞれに格納された画像に対して画像合成処理を実施し、部屋を上から見たような１枚の合成画像を生成する。変化検出部３１１は、現在の合成画像と１フレーム前の合成画像との差分を領域ごとに算出し、予め設定された閾値を超えた場合に合成画像のどの領域に変化があったかを判断する。継ぎ目位置決定部３１２は、変化検出部３１１の出力から合成画像を生成する際にどの継ぎ目位置を移動すべきかを決定する。継ぎ目位置移動部３１３は、継ぎ目位置決定部３１２で決定された継ぎ目位置を移動し、その移動結果を継ぎ目位置バッファ３１４に入力する。継ぎ目位置バッファ３１４は、継ぎ目位置移動部３１３から入力された継ぎ目位置を保持する。画像入力３０１は、画像伸張部２０３から入力される画像データである。合成画像出力３１５は、合成処理部３１０の出力であり、画像圧縮部２０９に入力される。
【００３７】
次に、図４を用いてカメラ１０１−１〜１０１−４の設置例について説明する。同図において、監視部屋４００は、監視の対象となる部屋である。カメラ１０１−１は、領域(A)４０５と領域(B)４０６を撮影し、領域(C)４０７と領域(D)４０８の左側（図面に向かって）の領域も撮影範囲となる。カメラ１０１−２は、領域(B)４０６と領域(A)４０５を撮影し、領域(D)４０８と領域(C)４０７の左側（図面に向かって）の領域も撮影範囲となる。カメラ１０１−３は、領域(C)４０７と領域(D)４０８を撮影し、領域(A)４０５と領域(B)４０６の右側（図面に向かって）の領域も撮影範囲となる。カメラ１０１−４は、領域(D)４０８と領域(C)４０７を撮影し、領域(B)４０６と領域(A)４０５の右側（図面に向かって）の領域も撮影範囲となる。このように、各カメラ１０１−１〜１０１−４の撮影範囲は互いにオーバーラップしており、監視対象となる室内では少なくとも２台のカメラにより撮影が行われる。
【００３８】
領域(A)４０５は、主にカメラ１０１−１とカメラ１０１−２により撮影される。領域(B)４０６は、主にカメラ１０１−２とカメラ１０１−１により撮影される。領域(C)４０７は、主にカメラ１０１−３とカメラ１０１−４により撮影される。領域(D)４０８は、主にカメラ１０１−４とカメラ１０１−３により撮影される。監視対象４０９は、室内への侵入者などの移動する物体であり、図４では領域(A)４０５と領域(B)４０６の境界付近に位置している。
【００３９】
次に、図５を用いて画像合成部２０４が生成する合成画像について説明する。簡単のために４つの画像を合成する箇所で説明する。同図において、合成画像５００は画像合成部２０４で生成される。合成画像５００は、画区(A)５０１、画区(B)５０２、画区(C)５０３、画区(D)５０４を基に生成され、部屋を上から見たような１枚の合成画像となる。画区(A)５０１は、カメラ１０１−２で撮影された画像を継ぎ目(AB)５０９と継ぎ目(AC)５１０を境界として切り出された画像である。この際、部屋の形状に合わせて矩形になるように座標変換も施される。画区(B)５０２は、カメラ１０１−１で撮影された画像を継ぎ目(AB)５０９と継ぎ目(BD)５１２を境界として切り出された画像である。この際、部屋の形状に合わせて矩形になるように座標変換も施される。画区(C)５０３は、カメラ１０１−４で撮影された画像を継ぎ目(AC)５１０と継ぎ目(CD)５１１を境界として切り出された画像である。この際、部屋の形状に合わせて矩形になるように座標変換も施される。画区(D)５０４は、カメラ１０１−３で撮影された画像を継ぎ目(CD)５１１と継ぎ目(BD)５１２を境界として切り出された画像である。この際、部屋の形状に合わせて矩形になるように座標変換も施される。監視対象５０５は、侵入者などの移動する物体であり、継ぎ目(AB)５０９付近に位置している。
【００４０】
継ぎ目(AB1)５０６は、継ぎ目(AB)５０９を求める際に継ぎ目を移動させる始点とする。継ぎ目(AB2)５０７は、継ぎ目(AB)５０９を求める際に継ぎ目を移動させる終点とする。継ぎ目移動方向５０８は、継ぎ目(AB)５０９を求める際に、継ぎ目(AB1)５０６から継ぎ目(AB2)５０７まで継ぎ目を移動する際の方向を示す。継ぎ目(AB)５０９は、画区(A)５０１と画区(B)５０２を繋げる際の境界を意味する。継ぎ目(AC)５１０は、画区(A)５０１と画区(C)５０３を繋げる際の境界を意味する。継ぎ目(CD)５１１は、画区(C)５０３と画区(D)５０４を繋げる際の境界を意味する。継ぎ目(BD)５１２は、画区(B)５０２と画区(D)５０４を繋げる際の境界を意味する。
【００４１】
次に、実施の形態１の動作について説明する。図６は、実施の形態１の動作を説明するためのフローチャートである。各カメラ１０１−１〜１０１−４で撮影された画像が圧縮画像データとして送信され、ソーティング部２０２で撮影時刻ごと及びカメラごとに整列される。次いで、画像伸張部２０３で伸張された後、画像合成部２０４に入力される。そして、監視部屋４００に設置された各カメラ１０１−１〜１０１−４で撮影された画像に対して、各動き検出部（動き検出部(A)３０６、動き検出部(B)３０７、動き検出部(C)３０８、動き検出部(D)３０９）が動き検出処理を行う（ステップＳ６０１）。監視部屋４００に設置された各カメラ１０１−１〜１０１−４で撮影された画像に対して合成処理部３１０が画像合成処理を行い、監視部屋４００を上から見たような１枚の合成画像を生成する（ステップＳ６０２）。
【００４２】
次いで、変化検出部３１１が、ステップＳ６０２で生成された現在の合成画像と前のフレームで生成された合成画像とを比較し、その差分（変化分）を算出する（ステップＳ６０３）。そして、算出した差分を予め設定された閾値ＴＨと比較し、該閾値ＴＨを超える場合はステップＳ６０５に遷移し、超えない場合はステップＳ６０９に遷移する（ステップＳ６０４）。ここで、合成画像に閾値ＴＨを超えるような大きな変化が検出された場合には、合成画像の継ぎ目を適切な位置に移動する必要がある。継ぎ目位置決定部３１２が、各カメラ１０１−１〜１０１−４で撮影された画像に対する動き検出結果からどのカメラで撮影された画像に動きが検出されたかを判定する（ステップＳ６０５）。ステップＳ６０５の処理結果から合成画像を生成する際に移動すべき画像の継ぎ目位置を決定する（ステップＳ６０６）。
【００４３】
ここで、図７を用いて合成画像の継ぎ目の位置と合成される画像について説明する。２つの画像を合成し、その中間線の近辺に監視対象が存在する場合、監視対象と継ぎ目には３通りの関係が考えられる。３つの関係を合成画像(A)７００、合成画像(B)７０６、合成画像(C)７１３に示す。ここで、中間線とは、画像を撮影する２台のカメラから等距離の線である。
【００４４】
合成画像(A)７００は、監視対象(A)７０３が画区(AA)７０１に表示されている場合であり、このときの継ぎ目(ABA)７０４は中間線(A)７０５よりも下側に位置する。合成画像(B)７０６は、継ぎ目(ABB)７１０が中間線(B)７１２の近傍に位置し、監視対象(B)７０９は合成画像から消失してしまい、合成画像には表示されない。この場合、継ぎ目(ABB)７１０を移動方向(B)７１１に移動させると、監視対象(B)７０９は合成画像(A)７００のように画区(AB)７０７に表示されるようになる。継ぎ目(ABB)７１０を移動方向(B)７１１と反対方向に移動させると、監視対象(C)７１６は合成画像(C)７１３のように、継ぎ目(ABC)７１７が中間線(Cwww)７１９よりも上側に位置し、監視対象(C)７１６は合成画像(C)７１３のように画区(BC)７１５に表示されるようになる。
【００４５】
図６のフローチャートに戻り、継ぎ目位置バッファ３１４から現在の継ぎ目位置の値を読み出す（ステップＳ６０７）。合成画像７００の場合は、継ぎ目(ABA)７０４が中間線(A)７０５より下側に存在し、その位置情報が格納されている。継ぎ目位置移動部３１３は、継ぎ目位置バッファ３１４から読み出された継ぎ目位置を、ステップＳ６０６の処理結果に応じて、現在の位置から垂直方向に移動させる（ステップＳ６０８）。継ぎ目を移動させた後、ステップＳ６０２に遷移し、ステップＳ６０２からステップＳ６０８の処理を現在の合成画像と継ぎ目を移動した後の合成画像との差分が閾値に収まるまで繰り返す。合成画像と継ぎ目を移動した後の合成画像との差分が閾値ＴＨに収まると、そのときの移動した継ぎ目位置が継ぎ目位置バッファ３１４に格納される（ステップＳ６０９）。
【００４６】
以上のように本実施の形態によれば、画像合成する複数のカメラ１０１、１０２が撮影する監視映像に対して動き検出を行い、その動き検出結果から画像合成する際の継ぎ目位置を選択し、継ぎ目を移動させて合成画像の変化量を評価しながら画像合成することにより、複数のカメラ１０１、１０２により撮影された画像を１枚の画像に合成することで、画像合成時に移動する監視対象が合成画像からの消失したり、不自然に表示されたりすることを防止することが可能となり、これによって、オペレータは複数のカメラから得られる多くの情報を容易に把握することができる。
【００４７】
また、複数のカメラ１０１、１０２が撮影する画像に含まれる情報を１枚の合成画像として見ることができるので、状況の変化を容易に把握することができる。さらに、何らかの異常が発生した場合でも１枚の合成画像の元となる複数のカメラ１０１、１０２の映像を辿って検索することができるので、検索におけるオペレータの労力の軽減が図れる。
【００４８】
また、監視対象の部屋を上から見たような１枚の合成画像を生成するので、監視対象の動きを極めて容易に把握することができる。
【００４９】
（実施の形態２）
次に、本発明の実施の形態２について説明する。図８は、本発明の実施の形態２に係るセキュリティシステムのカメラの設置例を示す図である。同図において、監視フロア８０１は、監視用画像記録装置１０５を用いて監視を行う対象となる建物のあるフロアを示す。監視部屋(A)８０２は、監視フロア８０１に存在する一室であり、図４と同様に４台のカメラ１０１−１〜１０１−４が設置されており、これらのカメラ１０１−１〜１０１−４で撮影された画像から、画像合成部２０４により部屋を上から見たような１枚の合成画像が生成される。監視部屋(B)８０３、監視部屋(C)８０４、監視部屋(D)８０５、監視部屋(E)８０６についても同様であり、それぞれ画像合成部２０４により１枚ずつ合成画像が生成される。共有スペース８０７は、監視フロア８０１に存在する廊下などのスペースである。
【００５０】
共有スペース８０７から、監視部屋(A)８０２、監視部屋(B)８０３、監視部屋(C)８０４、監視部屋(D)８０５、監視部屋(E)８０６へ、ドア(A)８１３、ドア(B)８１４、ドア(C)８１５、ドア(D)８１６、ドア(E)８１７を介して出入りが可能である。カメラ１０１−５は共有スペース８０７に設置され、共有スペース８０７における監視映像を撮影する。カメラ１０１−６、カメラ１０１−７、カメラ１０１−８、カメラ１０１−９、カメラ１０１−１０についても同様である。共有スペース８０７に設置された各カメラ１０１−５〜１０１−１０で撮影された画像から、画像合成部２０４により１枚の合成画像が生成される。ドア(A)８１４は、監視部屋(A)８０２に設けられた共有スペース８０７との出入り口である。ドア(B)８１５は、監視部屋(B)８０３に設けられた共有スペース８０７との出入り口である。ドア(C)８１６は、監視部屋(C)８０４に設けられた共有スペース８０７との出入り口である。ドア(D)８１７は、監視部屋(D)８０５に設けられた共有スペース８０７との出入り口である。ドア(E)８１８は、監視部屋(E)８０６に設けられた共有スペース８０７との出入り口である。
【００５１】
次に、図９を用いて動きベクトルを用いた画像呼び出しの例について説明する。同図において、監視対象９０２は、室内への侵入者などの移動する物体であり、本例では１フレーム期間前には動きベクトル(MVA)９０４で移動し、現在は動きベクトル(MVB)９０５で移動している。ドア(C)８１６は、監視部屋(C)８０４と共有スペース８０７とを繋ぐ出入り口である。予測動きベクトル(MV)９１２は、次のフレームで監視対象９０２がどの位置に移動するかを示す予想される動きベクトルである。切り出し領域９１３は、予測動きベクトル(MVP)９１２の終点が存在する場所を監視フロア８０１から切り出した領域である。
【００５２】
次に、本実施の形態の動作について説明する。図１０は、本実施の形態の動作を説明するためのフローチャートである。同図において、監視部屋(C)８０４に設置された各カメラ１０１−１〜１０１−４から出力される監視映像に対して、各動き検出部（動き検出部(A)３０６、動き検出部(B)３０７、動き検出部(C)３０８、動き検出部(D)３０９）が動き検出処理を行う（ステップＳ１００１）。ステップＳ１００１での動き検出処理で監視部屋(C)８０４内で動きが検出された場合はステップＳ１００３に遷移し、検出されなかった場合はＳ１００１に遷移する（ステップＳ１００２）。各動き検出部３０６〜３０９は、監視部屋(C)８０４に存在する監視対象９０２の予想動きベクトルを算出する（ステップＳ１００３）。各動き検出部３０６〜３０９は、前フレームで検出された動きベクトル(MVA)９０４を保持しており、現フレームで検出された動きベクトル(MVB)９０５との差分を基に予想動きベクトル(MVP)９１２を算出する。
【００５３】
次いで、ステップＳ１００３で算出された予想動きベクトル(MVP)９１２の情報から、制御部２０７が監視対象９０２の次のフレームにおける移動先が現在の監視領域の中にあるか、外にあるかを判定する。監視領域内であった場合にはステップＳ１００１に遷移し、領域外であった場合にはステップＳ１００５に遷移する（ステップＳ１００４）。予想動きベクトル(MVP)９１２には、ベクトルの起点の位置情報と次のフレームまでに移動する距離と方向の情報を有しており、これらの情報から監視対象９０２が次のフレームで現在の監視領域（監視部屋(C)８０４）の外に出るか出ないかを判定できる。
【００５４】
次いで、監視部屋(C)８０４の出入り口情報を読み出す（ステップＳ１００５）。出入り口情報とは、監視部屋(C)８０４に設けられている出入り口の位置情報であり、本実施の形態ではドア(C)８１６の位置情報を意味する。
【００５５】
次いで、監視対象９０２がドア(C)８１６を通って監視部屋(C)８０４を出たかどうかを判断する。監視部屋(C)８０４から出た場合にはステップＳ１００７に遷移し、出なかった場合にはステップＳ１００１に遷移する（ステップＳ１００６）。ステップＳ１００３で算出された監視対象９０２の予想動きベクトル(MVP)９１２が持つ次のフレームまでに予想される移動先が、監視部屋(C)８０４に設けられたドア(C)８１６を経由する場合に、監視対象９０２は監視部屋(C)８０４を出たと判定できる。また、監視対象９０２の予想動きベクトル(MVP)９１２に予想される移動先がドア(C)８１６を経由しない場合は、監視対象９０２は監視部屋(C)８０４から外に出ないことが判定できる。監視対象９０２が監視部屋(C)８０４を出た場合にはモニタ１０６にアラームを表示し、その旨をオペレータに通知する（ステップＳ１００７）。
【００５６】
次いで、監視対象９０２の移動先に監視領域を変更する（ステップＳ１００８）。ドア(C)８１６は共有スペース８０７に繋がっており、監視対象９０２はドア(C)８１６を経由して共有スペース８０７に移動したことが分かる。また、共有スペース８０７におけるドア(C)８１６の位置から次の監視領域は、ドア(C)８１６の周辺を撮影しているカメラ１０１−８、カメラ１０１−９、カメラ１０１−１０が撮影している切り出し領域９１３が望ましいと判定できる。
【００５７】
次の監視領域の圧縮合成画像を記録部２１３から読み出す（ステップＳ１００９）。すなわち、次の監視領域となる切り出し領域９１３の圧縮合成画像を記録部２１３から読み出す。ステップＳ１００９で読み出した次の監視領域の圧縮合成画像を伸張し、モニタ１０６に表示する（ステップＳ１０１０）。
【００５８】
以上のように本実施の形態によれば、監視を行う建物のフロア全体に、それぞれの撮影範囲が相互に重複するように複数のカメラ１０１を設置し、これらのカメラ１０１が撮影した画像を部屋ごと又は特定の撮影箇所ごとに画像変換を行い、部屋や撮影箇所ごとに上から見た合成画像を生成し、また、予想動きベクトルを算出して監視対象の移動先を予測し、出入り口の位置情報とカメラ１０１の設置情報を用いて監視対象の移動先の合成画像を予測して表示するので、監視対象が複数の部屋に亘って移動する様子を追跡する場合に、部屋の構造を意識して監視映像を順次切り替える必要がなく、極めて容易に監視対象を追跡することができる。
【００５９】
（実施の形態３）
次に、本発明の実施の形態３について説明する。図１１は、本発明の実施の形態３に係るセキュリティシステムにおける合成画像から各カメラが撮影した画像の呼び出し処理を説明するための図である。合成画像１１０１は、カメラ１０１−１、カメラ１０１−２、カメラ１０１−３、カメラ１０１−４から出力される監視映像を画像合成部２０４により生成された部屋を上から見たような１枚の合成画像である。画区(A)１１０２は、カメラ１０１−２で撮影された監視画像が反映されている部分、画区(B)１１０３は、カメラ１０１−１で撮影された監視画像が反映されている部分、画区(C)１１０４は、カメラ１０１−４で撮影された監視画像が反映されている部分、画区(D)１１０５は、カメラ１０１−３で撮影された監視画像が反映されている部分である。
【００６０】
カメラ１０１−２で撮影された監視映像１１０６は、合成画像１１０１の画区(A)１１０２に相当する画像であり、画区(A)１１０２よりも詳細な情報が含まれている。カメラ１０１−１で撮影された監視映像１１０７は、合成画像１１０１の画区(B)１１０３に相当する画像であり、画区(B)１１０３よりも詳細な情報が含まれている。カメラ１０１−４で撮影された監視映像１１０８は、合成画像１１０１の画区(C)１１０４に相当する画像であり、画区(C)１１０４よりも詳細な情報が含まれている。カメラ１０１−３で撮影された監視映像１１０９は、合成画像１１０１の画区(D)１１０５に相当する画像であり、画区(D)１１０５よりも詳細な情報が含まれている。
【００６１】
カメラ１０１−２で撮影された監視映像１１０６の位置情報１１１０は、カメラ１０１−１の撮影範囲に関する情報を有する。カメラ１０１−１で撮影された監視映像１１０７の位置情報１１１１は、カメラ１０１−２の撮影範囲に関する情報を有する。カメラ１０１−４で撮影された監視映像１１０８の位置情報１１１２は、カメラ１０１−３の撮影範囲に関する情報を有する。カメラ１０１−３で撮影された監視映像１１０９の位置情報１１１３は、カメラ１０１−４の撮影範囲に関する情報を有する。これらの位置情報１１１０、１１１１、１１１２、１１１３はフロア情報管理部２０５に格納される。
【００６２】
次に、本実施の形態の動作について説明する。図１２は、本実施の形態の動作を説明するためのフローチャートである。同図において、制御部２０７は、記録部２１３に格納された圧縮合成画像を読み出し、画像伸張部２１５で伸張を行い、表示制御部２１６はモニタ１０６に表示している合成画像を更新する（ステップＳ１２０１）。合成画像の更新は一定の時間間隔で行われる。オペレータが入力部１０７を操作し、モニタ１０６に表示された特定の領域を詳細表示するための指示を入力したかどうかを判断する（ステップＳ１２０２）。詳細表示するための指示があった場合はステップＳ１２０３へ遷移し、指示がなかった場合はステップＳ１２０１へ遷移する。
【００６３】
制御部２０７は、オペレータが詳細表示を指示した領域がモニタ１０６に表示されている合成画像１１０１のどの画区に相当するかを認識する（ステップＳ１２０３）。ステップＳ１２０３の処理結果から得られた画区からその画区を撮影しているカメラ１０１を特定する（ステップＳ１２０４）。合成画像１１０１の場合、画区(A)１１０２はカメラ１０１−２で撮影された監視画像１１０６を基に画像合成されており、画区(B)１１０３はカメラ１０１−１で撮影された監視画像１１０７を基に画像合成されており、画区(C)１１０４はカメラ１０１−４で撮影された監視画像１１０８を基に画像合成されており、画区(D)１１０５はカメラ１０１−３で撮影された監視画像１１０９を基に画像合成されている。これらの情報はフロア情報管理部２０５に格納されている。カメラ１０１−１で撮影された監視画像１１０７にはカメラ１０１−１の位置情報１１１１、カメラ１０１−２で撮影された監視画像１１０６にはカメラ１０１−２の位置情報１１１０、カメラ１０１−３で撮影された監視画像１１０９にはカメラ１０１−３の位置情報１１１３、カメラ１０１−４で撮影された監視画像１１０８にはカメラ１０１−４の位置情報１１１２が対応する。
【００６４】
制御部２０７は、現在、モニタ１０６に表示している合成画像の撮影時刻を基に、次にモニタ１０６に表示するステップＳ１２０４で決定したカメラ１０１の画像の撮影時刻を決定する（ステップＳ１２０５）。通常は、現在、モニタ１０６に表示されている合成画像の撮影時刻の１フレーム後に該当するカメラ１０１で撮影された監視映像をモニタ１０６に表示すべきである。制御部２０７は、ステップＳ１２０４で決定したカメラ１０１、ステップＳ１２０５で決定した撮影時刻を基にデータベース検索部２１１に制御信号を入力する。データベース検索部２１１は、該当する圧縮画像データを記録部２１３の中から検索し、読み出す（ステップＳ１２０６）。ステップＳ１２０６の処理により読み出された圧縮画像は画像伸張部２１５で伸張される（ステップＳ１２０７）。ステップＳ１２０７で伸張された画像が表示制御部２１６に入力される。表示制御部２１６はモニタ１０６に該当するカメラで撮影された監視映像を表示する（ステップＳ１２０８）。
【００６５】
以上のように本実施の形態によれば、複数のカメラ１０１からの監視映像を１枚の合成画像を見ることにより多くの情報を容易に把握し、さらに詳細が監視映像を見たい場合にも容易に該当する監視映像を見ることが可能となり、監視のための労力を大幅に軽減することができる。
【００６６】
（実施の形態４）
次に、本発明の実施の形態４について説明する。図１３は、本発明の実施の形態４に係るセキュリティシステムの画像合成部の概略構成を示すブロック図である。本実施の形態のセキュリティシステムの画像合成部２０４Ａは、頭部・顔を検出する機能を有している。画像入力１３０１は、画像伸張部２０３の出力である。フレームメモリ(A)１３０２は、カメラ１０１−１からの画像を複数フレーム分格納する。フレームメモリ(B)１３０３は、カメラ１０１−２からの画像を複数フレーム分格納する。フレームメモリ(C)１３０４は、カメラ１０１−３からの画像を複数フレーム分格納する。フレームメモリ(D)１３０５は、カメラ１０１−４からの画像を複数フレーム分格納する。
【００６７】
動き検出部(A)１３０６は、フレームメモリ(A)１３０２に格納された複数フレームの画像の差分を算出し、カメラ１０１−１で撮影された画像の動き情報を合成処理部１３１４に入力する。頭部・顔検出部(A)１３０７は、フレームメモリ(A)１３０２に格納された画像より人間の頭部の検出を行い、その結果を継ぎ目位置決定部１３１６に入力する。さらに、頭部と判定された領域に対して顔検出を行い、その結果を継ぎ目位置決定部１３１６に入力する。動き検出部(B)１３０８は、フレームメモリ(B)１３０３に格納された複数フレームの画像の差分を算出し、カメラ１０１−２で撮影された画像の動き情報を合成処理部１３１４に入力する。頭部・顔検出部(B)１３０９は、フレームメモリ(B)１３０３に格納された画像より人間の頭部の検出を行い、その結果を継ぎ目位置決定部１３１６に入力する。さらに、頭部と判定された領域に対して顔検出を行い、その結果を継ぎ目位置決定部１３１６に入力する。
【００６８】
動き検出部(C)１３１０は、フレームメモリ(C)１３０４に格納された複数フレームの画像の差分を算出し、カメラ１０１−３で撮影された画像の動き情報を合成処理部１３１４に入力する。頭部・顔検出部(C)１３１１は、フレームメモリ(C)１３０４に格納された画像より人間の頭部の検出を行い、その結果を継ぎ目位置決定部１３１６に入力する。さらに、頭部と判定された領域に対して顔検出を行い、その結果を継ぎ目位置決定部１３１６に入力する。動き検出部(D)１３１２は、フレームメモリ(D)１３０５に格納された複数フレームの画像の差分を算出し、カメラ１０１−４で撮影された画像の動き情報を合成処理部１３１４に入力する。頭部・顔検出部(D)１３１３は、フレームメモリ(D)１３０５に格納された画像より人間の頭部の検出を行い、その結果を継ぎ目位置決定部１３１６に入力する。さらに、頭部と判定された領域に対して顔検出を行い、その結果を継ぎ目位置決定部１３１６に入力する。
【００６９】
合成処理部１３１４は、継ぎ目位置バッファ１３１８に格納された継ぎ目位置に応じてフレームメモリ(A)１３０２、フレームメモリ(B)１３０３、フレームメモリ(C)１３０４、フレームメモリ(D)１３０５夫々に格納された画像に対して画像合成処理を実施し、合成画像出力１３１９として出力する。変化検出部１３１５は、現在の合成画像と１フレーム前の差分を領域ごとに算出し、予め設定された閾値を超えた場合に合成画像のどの領域に変化があったかを判断する。
【００７０】
継ぎ目位置決定部１３１６は、変化検出部１３１５の出力結果と頭部・顔検出部(A)１３０７、頭部・顔検出部(B)１３０９、頭部・顔検出部(C)１３１１、頭部・顔検出部(D)１３１３それぞれの出力から画像合成を行う際の継ぎ目を決定する。継ぎ目位置移動部１３１７は、継ぎ目位置決定部１３１６の出力に応じて合成画像の継ぎ目位置を移動し、その移動結果を継ぎ目位置バッファ１３１８に出力する。継ぎ目位置バッファ１３１８は、継ぎ目位置移動部１３１７の出力する継ぎ目位置を保持する。合成画像出力１３１９は、合成処理部１３１４の出力である。
【００７１】
図１４を用いて画像合成部２０４Ａにおける画像合成処理について説明する。本実施の形態では、簡単のために２つの画像を合成する箇所で説明する。合成画像(A)１４００は、監視部屋４００においてカメラ１０１−１で撮影した画像とカメラ(B)１０１−２で撮影した画像を、継ぎ目(ABA)１４０４を境界に画像合成した合成画像である。画区(AA)１４０１は、カメラ１０１−２で撮影された画像の領域である。画区(BA)１４０２は、カメラ１０１−１で撮影された画像の領域である。監視対象(A)１４０３は、中間線(A)１４０５付近に存在し、顔は正面を向いた画像が表示されている。継ぎ目(ABA)１４０４は、カメラ１０１−１とカメラ１０１−２で撮影された画像を１枚の画像に合成する際の継ぎ目である。なお、中間線とは、画像を撮影する２台のカメラから等距離の線である。
【００７２】
合成画像(B)１４０６は、監視部屋４００においてカメラ１０１−１で撮影した画像とカメラ１０１−２で撮影した画像を、継ぎ目(ABB)１４１０を境界に画像合成した合成画像である。画区(AB)１４０７は、カメラ１０１−１で撮影された画像の領域である。画区(BB)１４０８は、カメラ１０１−１で撮影された画像の領域である。監視対象(B)１４０９は、中間線(B)１４１１付近に存在し、背面を向いた画像が表示されている。継ぎ目(ABB)１４１０は、カメラ１０１−１とカメラ１０１−２で撮影された画像を１枚の画像に合成する際の継ぎ目である。
【００７３】
次に、本実施の形態の動作について説明する。図１５は、本実施の形態の動作を説明するためのフローチャートである。同図において、監視用画像記録装置１０５は、監視部屋４００に設置された４台のカメラ（カメラ１０１−１、カメラ１０１−２、カメラ１０１−３、カメラ１０１−４）がネットワークＩ／Ｆ２０１を介して接続される。各カメラ１０１−１〜１０１−４で撮影された画像が圧縮画像データとして送信され、ソーティング部２０２で時刻ごと及びカメラごとに整列される。次いで画像伸張部２０３で伸張され、画像合成部２０４に入力される。
【００７４】
監視部屋４００に設置された各カメラ（カメラ１０１−１、カメラ１０１−２、カメラ１０１−３、カメラ１０１−４）から出力される監視映像に対して、各動き検出部（動き検出部(A)１３０６、動き検出部(B)１３０８、動き検出部(C)１３１０、動き検出部(D)１３１２）が動き検出処理を行う（ステップＳ１５０１）。監視部屋４００に設置された各カメラ（カメラ１０１−１、カメラ１０１−２、カメラ１０１−３、カメラ１０１−４）から出力される監視映像に対して、各頭部・顔検出部（頭部・顔検出部(A)１３０７、頭部・顔検出部(B)１３０９、頭部・顔検出部(C)１３１１、頭部・顔検出部(D)１３１２）が頭部・顔検出部を行う（ステップＳ１５０２）。ここで、頭部検出は、監視映像に対して、人間の頭部の形状をした物体があるかを検出する画像認識処理の一種である。また、顔検出処理は頭部検出処理により検出された領域に対して、人間の顔があるかを検出する画像認識処理の一種である。
【００７５】
次に、監視部屋４００に設置された各カメラ（カメラ１０１−１、カメラ１０１−２、カメラ１０１−３、カメラ１０１−４）から入力される監視映像に対して画像合成処理を行い、監視部屋４００を上から見たような１枚の合成画像を生成する（ステップＳ１５０３）。次いで、ステップＳ１５０３で生成された現在の合成画像と前のフレームで生成された合成画像とを比較し、その差分を算出する（ステップＳ１５０４）。ステップＳ１５０４で算出された合成画像の変化検出処理の結果に対して、予め設定された閾値ＴＨと比較し、閾値ＴＨを超えた場合はステップＳ１５０６に遷移し、超えない場合はステップＳ１５１１に遷移し、継ぎ目位置を保存する（ステップＳ１５０５）。合成画像に閾値ＴＨを超えるような大きな変化が発生した場合には、合成画像の継ぎ目を適切な位置に移動する必要がある。
【００７６】
ステップＳ１５０１で検出された各カメラ（カメラ１０１−１、カメラ１０１−２、カメラ１０１−３、カメラ１０１−４）で撮影された監視映像に対する動き検出結果からどのカメラからの監視映像に動きが検出されたかを判定する（ステップＳ１５０６）。ステップＳ１５０２で検出された各カメラ（カメラ１０１−１、カメラ１０１−２、カメラ１０１−３、カメラ１０１−４）で撮影された監視映像に対する頭部検出及び顔検出の結果からどのカメラからの監視映像に頭部、及び顔が検出されたかを判定する（ステップＳ１５０７）。
【００７７】
ステップＳ１５０６の処理結果及びステップＳ１５０７での処理結果から合成画像を生成する際に移動すべき画像の継ぎ目位置を決定する（ステップＳ１５０８）。合成画像(A)１４００の場合について説明する。動きが検出された領域が画区(AA)１４０１にある場合、移動すべき継ぎ目は継ぎ目(ABA)１４０４である。また、頭部、及び顔が検出された領域が画区(AA)１４０１にある場合は、監視対象(A)１４０３の正面が表示されており、現在の継ぎ目位置(ABA)１４０４は正しい位置にあると判断できる。
【００７８】
次いで、合成画像(B)１４０６の場合について説明する。動きが検出された領域が画区(BB)１４０８にある場合、移動すべき継ぎ目は継ぎ目(ABB)１４１０である。ここで、頭部が検出された領域が画区(BB)１４０８にあり、顔が検出されない場合は、監視対象(B)１４０９の背面が表示されていることが分かり、現在継ぎ目位置(ABB)１４１０を移動する必要があると判断できる。このとき、現在の継ぎ目(ABB)１４１０を移動する方向は移動方向１４１２である。継ぎ目(ABB)１４１０を継ぎ目移動方向１４１２に移動することにより、監視対象(B)１４０９の正面が合成されるように継ぎ目(ABB)１４１０を移動させる。
【００７９】
次いで、継ぎ目位置バッファ１３１８から現在の継ぎ目位置の値を読み出す（ステップＳ１５０９）。合成画像(B)１４０６の場合は、画区(AB)１４０７と画区(BB)１４０８の間における継ぎ目(ABB)１４１０の位置情報が格納されている。継ぎ目位置移動部１３１７は、継ぎ目位置バッファ１３１８から読み出した継ぎ目位置を、ステップＳ１５０８の処理結果に応じて、現在の位置から継ぎ目と垂直方向に移動させる（ステップＳ１５１０）。継ぎ目を移動後、ステップＳ１５０３に遷移し、ステップＳ１５０３からステップＳ１５１０の処理を現在の合成画像と継ぎ目を移動した後の合成画像の差分が閾値ＴＨに収まるまで繰り返す。合成画像と継ぎ目を移動した後の合成画像の差分が閾値ＴＨに収まった場合、移動した継ぎ目位置を継ぎ目位置バッファ１３１８に格納する（ステップＳ１５１１）。
【００８０】
以上のように本実施の形態によれば、顔・頭部検出処理の結果を利用して、画像合成処理の際の継ぎ目の移動方向を制御することにより、常に監視対象の顔を合成画像内に表示させることが可能となり、異常が発生した際に監視対象を特定するための労力を大幅に軽減することが可能となる。
【産業上の利用可能性】
【００８１】
本発明は、室内に設置した全てのカメラで撮影された画像の全てを確実に確認することができ、しかも何らかの異常が発生した場合には異常の原因を突き止めることができる画像を容易にかつ確実に検索することができ、さらに、各カメラからの画像を相互に連携できるといった効果を有し、セキュリティシステムなどへの適用が可能である。
【図面の簡単な説明】
【００８２】
【図１】本発明の実施の形態１に係るセキュリティシステムの概略構成を示すブロック図
【図２】図１の監視用画像記録装置の概略構成を示すブロック図
【図３】図２の画像合成部の概略構成を示すブロック図
【図４】本発明の実施の形態１に係るセキュリティシステムにおけるカメラの室内における設置例を示す図
【図５】本発明の実施の形態１に係るセキュリティシステムの監視用画像記録装置で生成される合成画像の一例を示す図
【図６】本発明の実施の形態１に係るセキュリティシステムの監視用画像記録装置における合成画像処理を説明するためのフローチャート
【図７】本発明の実施の形態１に係るセキュリティシステムの監視用画像記録装置における合成画像の継ぎ目の移動例を示す図
【図８】本発明の実施の形態２に係るセキュリティシステムのカメラの設置例を示す図
【図９】本発明の実施の形態２に係るセキュリティシステムの監視用画像記録装置における動きベクトルを用いた画像呼び出し処理を説明するための図
【図１０】本発明の実施の形態２に係るセキュリティシステムの監視用画像記録装置における動きベクトルを用いた画像呼び出し処理を説明するためのフローチャート
【図１１】本発明の実施の形態２に係るセキュリティシステムにおける合成画像から各カメラが撮影した画像の呼び出し処理を説明するための図
【図１２】本発明の実施の形態３に係るセキュリティシステムの監視用画像記録装置の動作を説明するためのフローチャート
【図１３】本発明の実施の形態４に係るセキュリティシステムの画像合成部の概略構成を示すブロック図
【図１４】本発明の実施の形態４に係るセキュリティシステムの監視用画像記録装置における合成画像の継ぎ目の移動例を示す図
【図１５】本発明の実施の形態４に係るセキュリティシステムの監視用画像記録装置の動作を説明するためのフローチャート
【符号の説明】
【００８３】
１０１  有線カメラ
１０２  無線カメラ
１０３  無線受信機
１０４  ネットワーク
１０５  監視用画像記録装置
１０６  モニタ
１０７  入力部
２０１  ネットワークＩ／Ｆ
２０２  ソーティング部
２０３  画像伸張部
２０４  画像合成部
２０５  フロア情報管理部
２０７  制御部
２０９  画像圧縮部
２１０  データベース生成部
２１１  データベース検索部
２１２  データ書込み制御部
２１３  記録部
２１４  データ読出し制御部
２１５  画像伸張部
２１６  表示制御部
３０２  フレームメモリ(A)
３０３  フレームメモリ(B)
３０４  フレームメモリ(C)
３０５  フレームメモリ(D)
３０６  動き検出部(A)
３０７  動き検出部(B)
３０８  動き検出部(C)
３０９  動き検出部(D)
３１０  合成処理部
３１１  変化検出部
３１２  継ぎ目位置決定部
３１３  継ぎ目位置移動部
３１４  継ぎ目位置バッファ
４００  監視部屋
８０１  監視フロア
８０２  監視部屋(A)
８０３  監視部屋(B)
８０４  監視部屋(C)
８０５  監視部屋(D)
８０６  監視部屋(E)
８０７  共有スペース
８１４  ドア(A)
８１５  ドア(B)
８１６  ドア(C)
８１７  ドア(D)
８１８  ドア(E)
１３０２  フレームメモリ(A)
１３０３  フレームメモリ(B)
１３０４  フレームメモリ(C)
１３０５  フレームメモリ(D)
１３０６  動き検出部(A)
１３０７  頭部・顔検出部(A)
１３０８  動き検出部(B)
１３０９  頭部・顔検出部(B)
１３１０  動き検出部(C)
１３１１  頭部・顔検出部(C)
１３１２  動き検出部(D)
１３１３  頭部・顔検出部(D)
１３１４  合成処理部
１３１５  変化検出部
１３１６  継ぎ目位置決定部
１３１７  継ぎ目位置移動部
１３１８  継ぎ目位置バッファ
【図１】
2008028605.tif 000003
【図２】
2008028605.tif 000004
【図３】
2008028605.tif 000005
【図４】
2008028605.tif 000006
【図５】
2008028605.tif 000007
【図６】
2008028605.tif 000008
【図７】
2008028605.tif 000009
【図８】
2008028605.tif 000010
【図９】
2008028605.tif 000011
【図１０】
2008028605.tif 000012
【図１１】
2008028605.tif 000013
【図１２】
2008028605.tif 000014
【図１３】
2008028605.tif 000015
【図１４】
2008028605.tif 000016
【図１５】
2008028605.tif 000017