(57)【要約】【課題】  移動物体が隣接するカメラ映像画面を移動する場面に適切な映像合成をする。【解決手段】  複数のカメラ１−１〜１−ｎにより撮像された映像画面を並べてパノラマ映像画面を得るようにしたカメラ監視システムである。隣接する位置に配置される２画面に係るカメラ映像情報に画像処理を行うことで物体検出を行い、検出された２画面に係るカメラ映像情報にそれぞれ、同一形状の物体があるか否かを検出し、２画面に係るカメラ映像情報にそれぞれ、同一形状の物体を検出した場合に、当該物体がパノラマ映像画面において重なるように前記２画面が配置されるパノラマ映像画面における位置情報を検出する手段を画面位置合せ計算部５が備える。上記手段にて検出した位置情報に基づいて隣接する位置に配置される２つのカメラ映像画面を重ねてパノラマ映像を得る映像合成処理部７を具備する。【選択図】  図１
2006229789.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラにより撮像された映像画面を並べてパノラマ映像画面を得るようにしたカメラ監視システムにおいて、
隣接する位置に配置される２画面に係るカメラ映像情報に画像処理を行い、物体検出を行う物体検出手段と、
前記物体検出手段により検出された２画面に係るカメラ映像情報にそれぞれ、同一形状の物体があるか否かを検出する同一形状物体検出手段と、
前記同一形状物体検出手段が２画面に係るカメラ映像情報にそれぞれ、同一形状の物体を検出した場合に、当該物体がパノラマ映像画面において重なるように前記２画面が配置されるパノラマ映像画面における位置情報を検出する位置情報検出手段と、
前記位置検出手段が検出した位置情報に基づいて隣接する位置に配置される２つのカメラ映像画面を重ねてパノラマ映像を得る合成処理部と
を具備することを特徴とするカメラ監視システム。
【請求項２】
前記同一形状物体検出手段は、映像画面における隣接端部領域に同一形状の物体があるか否かを検出することを特徴とする請求項１に記載のカメラ監視システム。
【請求項３】
前記同一形状物体検出手段が検出した物体が、隣接する２つのカメラ映像のそれぞれにどれだけ多く存在するかを検出する物体存在量計算手段を有し、
前記合成処理部が、前記物体存在量計算手段が多い領域を検出した側のカメラ映像画面を他のカメラ映像画面の上に重ねてパノラマ映像画面を得ることを特徴とする請求項１、または請求項２に記載のカメラ監視システム。
【請求項４】
複数のカメラにより撮像された映像画面を並べてパノラマ映像画面を得るようにしたカメラ監視システムにおける映像合成方法において、
隣接する位置に配置される２画面に係るカメラ映像情報に画像処理を行い、物体検出を行う物体検出ステップと、
前記物体検出ステップにより検出された２画面に係るカメラ映像情報にそれぞれ、同一形状の物体があるか否かを検出する同一形状物体検出ステップと、
前記同一形状物体検出ステップが２画面に係るカメラ映像情報にそれぞれ、同一形状の物体を検出した場合に、当該物体がパノラマ映像画面において重なるように前記２画面が配置されるパノラマ映像画面における位置情報を検出する位置情報検出ステップと、
前記位置検出ステップが検出した位置情報に基づいて隣接する位置に配置される２つのカメラ映像画面を重ねてパノラマ映像を得る合成処理ステップと
を具備することをカメラ監視システムにおける映像合成方法。
【請求項５】
前記同一形状物体検出ステップでは、映像画面における隣接端部領域に同一形状の物体があるか否かを検出することを特徴とする請求項４に記載のカメラ監視システムにおける映像合成方法。
【請求項６】
前記同一形状物体検出ステップが検出した物体が、隣接する２つのカメラ映像のそれぞれにどれだけ多く存在するかを検出する物体存在量計算ステップを有し、
前記合成処理部が、前記物体存在量計算ステップが多い領域を検出した側のカメラ映像画面を他のカメラ映像画面の上に重ねてパノラマ映像画面を得ることを特徴とする請求項４、または請求項５に記載のカメラ監視システムにおける映像合成方法。
【請求項７】
複数のカメラにより撮像された映像画面を並べてパノラマ映像画面を得るようにしたカメラ監視システムに用いられているコンピュータが実行する映像合成プログラムであって、次の各ステップにより構成される映像合成プログラム。
隣接する位置に配置される２画面に係るカメラ映像情報に画像処理を行い、物体検出を行う物体検出ステップと、
前記物体検出ステップにより検出された２画面に係るカメラ映像情報にそれぞれ、同一形状の物体があるか否かを検出する同一形状物体検出ステップと、
前記同一形状物体検出ステップが２画面に係るカメラ映像情報にそれぞれ、同一形状の物体を検出した場合に、当該物体がパノラマ映像画面において重なるように前記２画面が配置されるパノラマ映像画面における位置情報を検出する位置情報検出ステップと、
前記位置検出ステップが検出した位置情報に基づいて隣接する位置に配置される２つのカメラ映像画面を重ねてパノラマ映像を得る合成処理ステップ。
【請求項８】
前記同一形状物体検出ステップでは、映像画面における隣接端部領域に同一形状の物体があるか否かを検出することを特徴とする請求項７に記載の映像合成プログラム。
【請求項９】
前記同一形状物体検出ステップが検出した物体が、隣接する２つのカメラ映像のそれぞれにどれだけ多く存在するかを検出する物体存在量計算ステップを有し、
前記合成処理部が、前記物体存在量計算ステップが多い領域を検出した側のカメラ映像画面を他のカメラ映像画面の上に重ねてパノラマ映像画面を得ることを特徴とする請求項７、または請求項８に記載の映像合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数のカメラにより撮像された映像画面を並べてパノラマ映像画面を得るようにしたカメラ監視システム、それに用いられる映像合成方法、映像合成プログラムに関するものである。
【背景技術】
【０００２】
従来のこの種のカメラ監視システムとしては、特許文献１や特許文献２に記載のものが知られている。
【特許文献１】特開２０００−２５３３９１号公報
【特許文献２】特開２００１−９４８５７号公報
【０００３】
上記特許文献１に記載のシステムは、複数台の各カメラについてパーンやチルト更にはズームを行った場合における画面の座標情報を取得してデータベース化しておき、これに基づき現時点のパーンやチルト更にはズームに係る情報から画面の座標を得て映像を重ねパノラマ映像を得るシステムが示されている。
【０００４】
一方、特許文献２には、画面の端部における歪みを補正するワープを行った後に、同一形状の物体を検出するなどして、隣接する画面の重ね合わせを実行し、パノラマ映像を得るシステムが示されている。
【０００５】
しかしながら、上記２つのシステムは、適切に精緻に映像を重ね合わせるものではあるが、動く物体（移動物体）が次々に隣接するカメラ映像画面を渡ってゆく如くの場面を考慮したものではなく、係る観点から映像合成を行うカメラ監視システム、それに用いられる映像合成方法、映像合成プログラムが求められている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、動く物体（移動物体）が次々に隣接するカメラ映像画面を渡ってゆく如くの場面にあって適切な映像合成を可能とするカメラ監視システム、それに用いられる映像合成方法、映像合成プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明に係るカメラ監視システムは、複数のカメラにより撮像された映像画面を並べてパノラマ映像画面を得るようにしたカメラ監視システムにおいて、隣接する位置に配置される２画面に係るカメラ映像情報に画像処理を行い、物体検出を行う物体検出手段と、前記物体検出手段により検出された２画面に係るカメラ映像情報にそれぞれ、同一形状の物体があるか否かを検出する同一形状物体検出手段と、前記同一形状物体検出手段が２画面に係るカメラ映像情報にそれぞれ、同一形状の物体を検出した場合に、当該物体がパノラマ映像画面において重なるように前記２画面が配置されるパノラマ映像画面における位置情報を検出する位置情報検出手段と、前記位置検出手段が検出した位置情報に基づいて隣接する位置に配置される２つのカメラ映像画面を重ねてパノラマ映像を得る合成処理部とを具備することを特徴とする。
【０００８】
本発明に係るカメラ監視システムでは、映像画面における隣接端部領域に同一形状の物体があるか否かを検出することを特徴とする。
【０００９】
本発明に係るカメラ監視システムでは、前記同一形状物体検出手段が検出した物体が、隣接する２つのカメラ映像のそれぞれにどれだけ多く存在するかを検出する物体存在量計算手段を有し、前記合成処理部が、前記物体存在量計算手段が多い領域を検出した側のカメラ映像画面を他のカメラ映像画面の上に重ねてパノラマ映像画面を得ることを特徴としている。
【００１０】
本発明に係るカメラ監視システムにおける映像合成方法は、複数のカメラにより撮像された映像を並べてパノラマ映像を得るようにしたカメラ監視システムにおける映像合成方法おいて、隣接する位置に配置される２画面に係るカメラ映像情報に画像処理を行い、物体検出を行う物体検出ステップと、前記物体検出ステップにより検出された２画面に係るカメラ映像情報にそれぞれ、同一形状の物体があるか否かを検出する同一形状物体検出ステップと、前記同一形状物体検出ステップが２画面に係るカメラ映像情報にそれぞれ、同一形状の物体を検出した場合に、当該物体がパノラマ映像画面において重なるように前記２画面が配置されるパノラマ映像画面における位置情報を検出する位置情報検出ステップと、前記位置検出ステップが検出した位置情報に基づいて隣接する位置に配置される２つのカメラ映像画面を重ねてパノラマ映像を得る合成処理ステップとことを特徴とする。
【００１１】
本発明に係るカメラ監視システムにおける映像合成方法は、前記同一形状物体検出ステップでは、映像画面における隣接端部領域に同一形状の物体があるか否かを検出することを特徴とする。
【００１２】
本発明に係るカメラ監視システムにおける映像合成方法は、前記同一形状物体検出ステップが検出した物体が、隣接する２つのカメラ映像のそれぞれにどれだけ多く存在するかを検出する物体存在量計算ステップを有し、前記合成処理部が、前記物体存在量計算ステップが多い領域を検出した側のカメラ映像画面を他のカメラ映像画面の上に重ねてパノラマ映像画面を得ることを特徴とする。
【００１３】
本発明に係る映像合成プログラムは、複数のカメラにより撮像された映像を並べてパノラマ映像を得るようにしたカメラ監視システムに用いられているコンピュータが実行する映像合成プログラムであって、次の各ステップにより構成される。即ち、隣接する位置に配置される２画面に係るカメラ映像情報に画像処理を行い、物体検出を行う物体検出ステップと、前記物体検出ステップにより検出された２画面に係るカメラ映像情報にそれぞれ、同一形状の物体があるか否かを検出する同一形状物体検出ステップと、前記同一形状物体検出ステップが２画面に係るカメラ映像情報にそれぞれ、同一形状の物体を検出した場合に、当該物体がパノラマ映像画面において重なるように前記２画面が配置されるパノラマ映像画面における位置情報を検出する位置情報検出ステップと、前記位置検出ステップが検出した位置情報に基づいて隣接する位置に配置される２つのカメラ映像画面を重ねてパノラマ映像を得る合成処理ステップ。
【００１４】
本発明に係る映像合成プログラムは、前記同一形状物体検出ステップでは、映像画面における隣接端部領域に同一形状の物体があるか否かを検出することを特徴とする。
【００１５】
本発明に係る映像合成プログラムでは、前記同一形状物体検出ステップが検出した物体が、隣接する２つのカメラ映像のそれぞれにどれだけ多く存在するかを検出する物体存在量計算ステップを有し、前記合成処理部が、前記物体存在量計算ステップが多い領域を検出した側のカメラ映像画面を他のカメラ映像画面の上に重ねてパノラマ映像画面を得る。
【発明の効果】
【００１６】
本発明では、隣接する位置に配置される２画面に係るカメラ映像情報にそれぞれ、同一形状の物体があるか否かを検出し、隣接する位置に配置される２画面に係るカメラ映像情報にそれぞれ、同一形状の物体を検出した場合に、パノラマ映像画面において重なるように前記２画面が配置されるパノラマ映像画面における位置情報を検出し、検出した位置情報に基づいて隣接する位置に配置される２つのカメラ映像画面を重ねてパノラマ映像を得るので、隣接する位置に配置される２つのカメラ映像画面が適切に重ねられる。
【００１７】
本発明では、検出した物体が、隣接する２つのカメラ映像のそれぞれにどれだけ多く存在するかを検出し、多い領域を検出した側のカメラ映像画面を他のカメラ映像画面の上に重ねてパノラマ映像を得るので、重ね合わせ領域の移動物体をより自然に表示することができる。
【発明を実施するための最良の形態】
【００１８】
本発明では、同一カメラにより得た前後するフレーム映像の異なる位置に同一物体を検出することにより、移動物体を検出し、この同物体の情報に基づき重ね合わせを行うことにより、移動物体が次々に隣接するカメラ映像画面を渡ってゆく如くの場面にあって適切な映像合成を可能とするという目的を達成したものである。
【実施例１】
【００１９】
以下添付図面を参照して本発明に係るカメラ監視システム、それに用いられる映像合成方法、映像合成プログラムの実施例を説明する。各図において同一の構成要素には同一の符号を付して重複する説明を省略する。カメラ監視システムは、複数台のテレビカメラ１−１、１−２、・・・、１−ｎにより得られた映像を重ね合わせてパノラマ映像を作成する。
【００２０】
複数台のテレビカメラ１−１、１−２、・・・、１−ｎは、一つのポイントに設けられ、水平に例えば３６０度を写し出すように配置され、或いは天空を含むように例えば１８０度を写し出すように配置されている。例えば、配置された複数のテレビカメラを平面的に概略を示した図２に示されるように、ポール１０にテレビカメラ１−１、１−２、１−３、１−４、・・・が水平方向に例えば３６０度を写し出すように配置されている。
【００２１】
図２に示されるように、テレビカメラ１−１の画角はＬ１−Ｌ３の範囲であり、テレビカメラ１−２の画角はＬ２−Ｌ５の範囲であり、テレビカメラ１−３の画角はＬ４−Ｌ７の範囲であり、テレビカメラ１−４の画角はＬ６−Ｌ８の範囲であり、図２の斜線によって示される範囲は、隣接するテレビカメラにより得られる映像が重なる部分である。
【００２２】
テレビカメラ１−１、１−２、・・・、１−ｎはそれぞれ、画像変換部２−１、２−２、・・・、２−ｎが接続されており、画像変換部２−１、２−２、・・・、２−ｎは、テレビカメラ１−１、１−２、・・・、１−ｎから送られるＮＴＳＣなどの映像信号をディジタル化し、コンピュータによる処理が可能な画素毎の輝度情報へ変換するものである。１画面分の映像信号は、端部において歪みがある場合には、この歪みはこの画像変換部２−１、２−２、・・・、２−ｎにおいて除去するものとし、その手法は例えば、既に挙げた特許文献２に記載されたものを用いることができる。
【００２３】
画像変換部２−１、２−２、・・・、２−ｎには、映像メモリ３−１、３−２、・・・、３−ｎが接続されており、画像変換部２−１、２−２、・・・、２−ｎにより変換された輝度情報は、映像メモリ３−１、３−２、・・・、３−ｎへフレーム毎に時刻を追って記憶される。
【００２４】
映像メモリ３−１、３−２、・・・、３−ｎには、バス４を介して画面位置合せ計算部５、重ね合せ計算部６、映像合成処理部７及び合成信号出力部８が接続されている。画面位置合せ計算部５は、隣接する位置に配置される２つのカメラ映像情報の重なり位置座標を計算するものであり、例えば図３に示されるように、テレビカメラ１−２により得られた画面Ｂとテレビカメラ１−３により得られた画面Ｃを位置合せする場合に、同一形状の物体Ｐ１、Ｐ２が重なるように、画面Ｂと画面Ｃを図４のパノラマ映像画面Ｘに配置すべき座標情報を求める。
【００２５】
重ね合せ計算部６は、画面位置合せ計算部５によって得られた座標情報に基づいて隣接する位置に配置される２つのカメラ映像を所要位置に重ねた場合に、どちらの映像画面を上にするかについて、隣接する２つのカメラ映像画面のそれぞれにどれだけ多く存在するかに基づき計算を行うものである。
【００２６】
画面位置合せ計算部５と重ね合せ計算部６による計算結果は、映像合成処理部７へ送られて、映像合成処理部７がパノラマ映像画面に各テレビカメラ１−１、１−２、・・・、１−ｎにより得られた映像画面を配置して合成する。合成された映像情報は合成信号出力部８へ送られ、合成信号出力部８がディジタル化された映像情報をモニタ９において表示可能な映像信号へ変換して出力する。
【００２７】
上記における画面位置合せ計算部５、重ね合せ計算部６、映像合成処理部７は、それぞれ例えばコンピュータにより構成されており、画面位置合せ計算部５が図５に示されるフローチャートに対応するプログラムにより動作を行い、重ね合せ計算部６が図６に示されるフローチャートに対応するプログラムにより動作を行うので、このフローチャートに基づきシステムの動作を説明する。
【００２８】
画面位置合せ計算部５では、処理する映像に対応するテレビカメラの識別番号ｉを２に設定する（Ｓ１）。識別番号ｉ及び識別番号ｉ−１のテレビカメラにて得られた映像情報を用いて画像処理を行う。具体的には、背景差分やフレーム間差分を行い、処理映像情報を得る。そして、当該処理映像情報について、或いは背景差分やフレーム間差分を行っていない処理時点のフレーム映像情報について、隣接画素との輝度差が所定の閾値を超えている画素をエッジとして検出するエッジ検出処理を行い、物体の輪郭を求め、各物体輪郭にラベリングを行う（Ｓ２：物体検出手段(物体検出ステップ)）。これにより、識別番号ｉ及び識別番号ｉ−１のテレビカメラにて得られたそれぞれの映像情報について物体検出が行われたことになる。
【００２９】
次に、画面位置合せ計算部５では、識別番号ｉ及び識別番号ｉ−１のテレビカメラにて得られた映像画面における隣接端部領域に、同一形状の物体を検出する（Ｓ３：同一形状物体検出手段(同一形状物体検出ステップ)）。具体的には、識別番号ｉ及び識別番号ｉ−１のテレビカメラにて得られた映像情報について行った物体検出の処理により得られた物体輪郭について、例えば重心を検出し、重心を重ね合わせ、輪郭を回転させ２つの物体の輪郭が重なるか否かに基づき同一形状の物体を検出する。ここで、映像画面における隣接端部領域とは、例えば、テレビカメラにて得られた映像情報による画面における幅Ｗの３分の１の領域であり、隣接する画面に近接する領域とする。勿論、３分の１は例示に過ぎない。
【００３０】
ここで、図３に示されるように、テレビカメラ１−２により得られた映像情報に係る画面Ｂとテレビカメラ１−３により得られた映像情報に係る画面Ｃにおける隣接端部領域に、物体Ｐ１、Ｐ２が検出され、これら物体Ｐ１、Ｐ２が同一形状であるとする。次に、図４のパノラマ映像画面Ｘに画面Ｂと画面Ｃを配置したとき、同一形状の物体Ｐ１、Ｐ２が重なるように、画面位置座標を検出する（Ｓ４：位置情報検出手段(位置情報検出ステップ））。
【００３１】
ここで、物体Ｐ１、Ｐ２の画面Ｂと画面Ｃにおける座標値を、例えば、幾つかの角で規定する。ここでは図３に示されるように、物体Ｐ１における２つの角の座標ａＢ、ｂＢと、物体Ｐ２における２つの角の座標ａＣ、ｂＣを求める。そして、既に、テレビカメラ１−２により得られた映像情報に係る画面Ｂが図４に示されるように配置されているものとする。なお、図４における画面Ａは、テレビカメラ１−１により得られた映像情報に係る画面である。そこで、画面Ｂにおける物体Ｐ１の座標ａＢ、ｂＢが、パノラマ映像画面Ｘにおける座標として座標ａＢＸ、ｂＢＸであるとすれば、画面Ｃにおける物体Ｐ２の座標ａＣ、ｂＣを、パノラマ映像画面Ｘにおける座標ａＢＸ、ｂＢＸに重なるように画面Ｃの座標情報（例えば、画面Ｃの２つの角Ｃ１、Ｃ２の座標）を求める。
【００３２】
そして、計算した上記画面Ｃの座標情報を映像合成処理部７へ送出し（Ｓ５）、処理する映像のテレビカメラの識別番号ｉが、テレビカメラｎまでの台数であるｎ台（ＭＡＸ＝ｎ）と一致したかを検出し（Ｓ６）、一致していなければ１インクリメントして（Ｓ７）ステップＳ２へ進む。なお、テレビカメラ１−１により得られた映像情報に係る画面Ａのパノラマ映像画面Ｘにおける座標情報については、予め定められており、映像合成処理部７が保持している。
【００３３】
上記のようにして、ステップＳ２からステップＳ７が繰り返され、テレビカメラ１−１により得られた映像情報に係る画面Ａのパノラマ映像画面Ｘにおける座標情報から、テレビカメラ１−ｎにより得られた映像情報に係る画面のパノラマ映像画面Ｘにおける座標情報が全て揃うと、ステップＳ６においてＹＥＳへ分岐し、ステップＳ１へ戻って次の１フレームに係る映像情報について上記と同様の処理を行う。
【００３４】
重ね合せ計算部６では、処理する映像のテレビカメラの識別番号ｉを２に設定する（Ｓ１１）。識別番号ｉ及び識別番号ｉ−１のテレビカメラにて得られた映像情報を用いてそれぞれ、画像処理を行う。具体的には、背景差分とフレーム間差分を行い、処理画像情報において隣接画素との輝度差が所定の閾値を超えている画素をエッジとして検出するエッジ検出処理を行い、物体の輪郭を求め、各物体輪郭にラベリングを行い、２フレーム間に異なる位置に同一輪郭の物体を検出することにより、移動物体を検出する（Ｓ１２：同一形状物体検出手段(同一形状物体検出ステップ)）。そして、移動物体があるかを検出し（Ｓ１３）、移動物体がなければ、処理する映像のテレビカメラの識別番号ｉが、テレビカメラｎまでの台数であるｎ台（ＭＡＸ＝ｎ）と一致したかを検出し（Ｓ１７）、一致していなければ１インクリメントして（Ｓ１８）ステップＳ１２へ進む。
【００３５】
一方、移動物体があることをステップＳ１３において検出すると、識別番号ｉ及び識別番号ｉ−１のテレビカメラにて得られた映像情報において、どちらの画面にも同一の移動物体があるかを検出する（Ｓ１４：同一形状物体検出手段(同一形状物体検出ステップ)）。同一物体であるかに関する検出手法は、どちらの画面にも当該物体の全てが含まれているときには、既に述べた通り、両画面における２物体について輪郭の一致不一致を検出することによる。一方、少なくとも一方の画面に当該物体の一部のみが含まれる場合（少なくとも一方の画面に当該物体の全部が含まれていない場合）には、例えば、幾つかのフレーム前の映像情報には、当該物体の全部が一方の画面に含まれているので、この当該物体の全部の輪郭と、当該物体の一部のみが含まれる映像情報における上記物体の一部分の輪郭を重ねて輪郭の一致不一致を検出することによって同一を判断する。ステップＳ１４において、同一物体でないことが検出された場合には、ステップＳ１７へ進む。
【００３６】
ステップＳ１４において、同一物体であることが検出された場合には、識別番号ｉ及び識別番号ｉ−１のテレビカメラにて得られた映像情報に係るいずれかの画面に、当該物体の多くの部分（面積）が存在するかを、輪郭の面積計算を行って検出する（Ｓ１５：物体存在量計算手段））。例えば、図７（ａ）に示されるように画面Ｂと画面Ｃとにおいて、画面Ｂに物体Ｐの多くの部分が含まれている場合には、画面Ｂの識別情報として例えばカメラ１−２の識別番号が映像合成処理部７へ送られる（Ｓ１６）。
【００３７】
一方、図７（ｂ）、（ｃ）に示されるように画面Ｂと画面Ｃとにおいて、画面Ｃに物体Ｐの多くの部分が含まれている場合には、画面Ｃの識別情報として例えばカメラ１−３の識別番号が映像合成処理部７へ送られる（Ｓ１６）。処理する映像情報に対応するテレビカメラの識別番号ｉが、テレビカメラ１−ｎまでの台数であるｎ台（ＭＡＸ＝ｎ）と一致したかを検出した場合おいて（Ｓ１７）、一致していなければ１インクリメントして（Ｓ１８）ステップＳ１２へ進んで処理が続けられる。なお、テレビカメラ１−１、１−２、・・・、１−ｎにより得られた映像情報に係る画面重ね合せ順については、初期値が定められており、映像合成処理部７が保持している。
【００３８】
以上の如くの画面位置合せ計算部５と重ね合せ計算部６の処理に対応して、合成処理部を構成する映像合成処理部７は、図８に示されるフローチャートに対応するプログラムにより合成処理を行う。即ち、画面位置合せ計算部５より画面を配置するための座標情報を受け取る（Ｓ２１）。次に、映像合成処理部７は、上記ステップＳ２１において受け取った座標情報と自らに保持しているテレビカメラ１−１に対応の画面Ａを配置するための座標情報とに基づき、各テレビカメラに対応の画面をパノラマ映像画面Ｘに配置する（Ｓ２２）。
【００３９】
次に、映像合成処理部７は、自らに保持しているテレビカメラ１−１、１−２、・・・、１−ｎに対応する画面の重ね合せ順に関する初期値を用いてテレビカメラ１−１、１−２、・・・、１−ｎに対応する画面Ａ、Ｂ、Ｃ、・・・の重ね合わせを実行し、得られたパノラマ映像画面Ｘの映像情報を合成信号出力部８へ送出する（Ｓ２３）。この結果、パノラマ映像画面Ｘには、例えば図９に示されるようにテレビカメラ１−１、１−２、・・・、１−ｎに対応する画面Ａ、Ｂ、Ｃ、・・・が配置され重ね合せられて配置され、この映像情報が合成信号出力部８に受け取られ変換が行われて、モニタ９へ表示される。
【００４０】
更に、映像合成処理部７は、重ね合せ計算部６から重ね合せ状態において上側へ表示すべき画面の識別情報を受け取り（Ｓ２４）、この受け取った識別情報に対応する画面を重ね合せ状態において上側となるように重ね合せ順を制御する（Ｓ２５）。この結果、図９に矢印にて示されるように、パノラマ映像画面Ｘの右から左へ移動する移動物体Ｐが存在する場合において、移動物体Ｐが画面Ｃから画面Ｄへと移動する段階では、画面Ｄに対応する識別情報の受け取りの前には、例えば図１０（ａ）に示されるように画面Ｃが画面Ｄの上に重ね合されていた状態となっている。次に、画面Ｄに対応する識別情報の受け取り後には、図１０（ｂ）に示されるように画面Ｄが画面Ｃの上に重ね合された状態となり、物体Ｐの多くの部分が含まれた映像がモニタ９に表示されるようになり、移動物体Ｐが見易くなる。
【実施例２】
【００４１】
第２の実施例では、画面位置合せ計算部５が移動物体に着目して座標情報を得るものである。この第２の実施例に係るシステムにおける画面位置合せ計算部５は図１１に示されるフローチャートに対応するプログラムにより動作を行う。画面位置合せ計算部５では、処理する映像のテレビカメラの識別番号ｉを２に設定する（Ｓ３１）。
【００４２】
識別番号ｉ及び識別番号ｉ−１のテレビカメラにて得られた映像情報を用いてそれぞれ、背景差分とフレーム間差分を行い、処理画像情報において隣接画素との輝度差が所定の閾値を超えている画素をエッジとして検出するエッジ検出処理を行い、物体の輪郭を求め、各物体輪郭にラベリングを行い、２フレーム間に異なる位置に同一輪郭の物体を検出することにより、移動物体を検出する（Ｓ３２：物体検出手段(物体検出ステップ)）。そして、移動物体があるかを検出し（Ｓ３３）、移動物体がなければ、処理する映像のテレビカメラの識別番号ｉが、テレビカメラｎまでの台数であるｎ台（ＭＡＸ＝ｎ）と一致したかを検出し（Ｓ３７）、一致していなければ１インクリメントして（Ｓ３８）ステップＳ３２へ進む。
【００４３】
一方、移動物体があることをステップＳ３３において検出すると、識別番号ｉ及び識別番号ｉ−１のテレビカメラにて得られた映像情報において、いずれの画面にも同一の移動物体があるかを検出する（Ｓ３４：同一形状物体検出手段(同一形状物体検出ステップ)）。同一物体であるか否かの検出手法は、いずれの画面にも当該物体が全て含まれていれば、既に述べた通り、輪郭の一致不一致の検出による。一方、少なくとも一方の画面に当該物体の一部のみが含まれる場合（少なくとも一方の画面に当該物体の全部が含まれていない場合）には、例えば、数フレーム前には当該物体の全部が一方の画面に含まれるので、この当該物体の全部の輪郭と、当該物体の一部が含まれる映像情報における上記物体の一部分の輪郭を重ねて輪郭の一致不一致を検出することによって同一を判断する。ステップＳ３４において、双方の画面に同一移動物体がないことが検出された場合には、ステップＳ３７へ進む。
【００４４】
ステップＳ３４において、双方の画面に同一移動物体があることが検出された場合には、パノラマ映像画面Ｘに一方の画面と他方の画面Ｃ配置したとき同一形状の物体が重なるように、画面位置座標を検出する（Ｓ３５：位置情報検出手段(位置情報検出ステップ)）。座標検出の方法は、第１の実施例において図４を用いて説明した手法と同様である。そして、計算した上記画面の座標情報を映像合成処理部７へ送出し（Ｓ３６）、処理する映像情報に対応するテレビカメラの識別番号ｉが、テレビカメラｎまでの台数であるｎ台（ＭＡＸ＝ｎ）と一致したかを検出し（Ｓ３７）、一致していなければ１インクリメントして（Ｓ３８）ステップＳ３２へ進む。
【００４５】
本実施例において画面位置合せ計算部５以外の処理は、第１の実施例において説明した通りである。この第２の実施例によれば、画面位置合せ計算部５が移動物体に着目して座標情報を得るので、移動物体に合せて各テレビカメラに対応する画面の位置が適切に調整され、移動物体のスムーズな表示がなされる効果がある。上記第２の実施例は、基本的に常に移動物体が存在する場面の監視（例えば、高速道路の監視）に用いると好適であり、画面の重ね合せ順の初期情報を有していなくとも良い。また、上記第１、第２の実施例における画面位置合せ計算部５、重ね合せ計算部６、映像合成処理部７は、異なるコンピュータにより構成したが、これらを１又は２のコンピュータにより構成しても良い。特に、画像処理を行う画面位置合せ計算部５と重ね合せ計算部６は、共通する処理を多く有するため、共通する処理毎に共通するコンピュータによる処理を採用するようにしても良い。
【図面の簡単な説明】
【００４６】
【図１】本発明に係る監視システムにおける実施例の構成図。
【図２】本発明に係る監視システムにおけるテレビカメラの配置を説明する平面図。
【図３】本発明に係る監視システムにおける画面位置合せ計算部５による位置合せ計算動作を説明する図。
【図４】本発明に係る監視システムにおける画面位置合せ計算部５による位置合せ計算に基づき複数の画面がパノラマ映像画面に配置された状態を示す図。
【図５】本発明に係る監視システムにおける画面位置合せ計算部５による位置合せの計算動作を説明するためのフローチャート。
【図６】本発明に係る監視システムにおける重ね合せ計算部６による重ね合せ計算動作を説明するためのフローチャート。
【図７】本発明に係る監視システムにおける重ね合せ計算部６による重ね合せ計算動作を説明するための図。
【図８】本発明に係る監視システムにおける映像合成処理部７による合成処理を説明するためのフローチャート。
【図９】本発明に係る監視システムにより複数の画面がパノラマ映像画面に配置されて表示された状態を示す図。
【図１０】本発明に係る監視システムにより、画面Ｃと画面Ｄとの重ね合せ順に変動がなされた状態を示す図。
【図１１】本発明に係る監視システムにおける画面位置合せ計算部５の第２の実施例による位置合せの計算動作を説明するためのフローチャート。
【符号の説明】
【００４７】
１−１〜１−ｎ  テレビカメラ
２−１〜２−ｎ  画像変換部
３−１〜３−ｎ  映像メモリ
４  バス
５  画面位置合せ計算部
６  重ね合せ計算部
７  映像合成処理部
８  合成信号出力部
９  モニタ
【図１】
2006229789.tif 000003
【図２】
2006229789.tif 000004
【図３】
2006229789.tif 000005
【図４】
2006229789.tif 000006
【図５】
2006229789.tif 000007
【図６】
2006229789.tif 000008
【図７】
2006229789.tif 000009
【図８】
2006229789.tif 000010
【図９】
2006229789.tif 000011
【図１０】
2006229789.tif 000012
【図１１】
2006229789.tif 000013