(57)【要約】【課題】１つの領域の複数のカメラで取得したビデオを1つの大きな範囲の画像に統合し、1つの領域を監視する統合型画像監視システムを提供する。【解決手段】前記システムは、第１撮影装置と、第２撮影装置と、第３撮影装置と、画像処理装置と、表示装置とを主に含む。画像処理装置は、第１定義素子と、第１合成素子と、第２定義素子と、調整素子と、転換素子と、第３定義素子と、第２合成素子とをさらに含む。【選択図】図２
2009253976.tif 000002
【特許請求の範囲】
【請求項１】
1つの領域の大きな範囲の静止画である第１画像を取得する第１撮影装置と、
該領域の小さな範囲の動画であり、かつ該第１画像と第１重複領域を有する第２画像を取得する第２撮影装置と、
該第１画像に複数の第１特徴点を定義し、該第２画像に複数の第２特徴点を定義し、該第１特徴点は該第２特徴点と第１対応関係を有し、かつ該第１対応関係を介して、該第１画像と該第２画像との第１対応関数をさらに定義することができる第１定義素子と、該第１画像と該第２画像とを、該第１対応関数に基づき第３画像に統合し、該第１画像が該第２画像と重複する場合に、該第２画像のデータを該第３画像に表示する第１合成素子と、該第３画像における該第１画像と該第２画像との接合線の両側の画像の色度の不連続の状況を調整する調整素子とを主に含む画像処理装置と、
該第３画像を表示する表示装置と、
を含む統合型画像監視システム。
【請求項２】
第１撮影装置を使用し、1つの領域の大きな範囲の静止画である第１画像を取得するステップと、
第２撮影装置を使用し、該領域の小さな範囲の動画であり、かつ該第１画像と第１重複領域を有する第２画像を取得するステップと、
該第１画像に複数の第１特徴点を定義し、該第２画像に複数の第２特徴点を定義し、該第１画像の第１特徴点は該第２画像の第２特徴点と第１対応関係を有し、かつ該第１対応関係を介して、該第１画像と該第２画像との第１対応関数をさらに定義することができるステップと、該第１画像と該第２画像とを、該第１対応関数に基づき第３画像に統合し、該第１画像が該第２画像と重複する場合に、第２画像のデータを該第３画像に表示するステップと、該第１画像と該第２画像との接合線の両側の画像の色度の不連続の状況を調整する調整ステップとを主に含む画像処理ステップと、
該第３画像を表示するステップと、
を含む監視システム用の画像ビデオ融合方法。
【請求項３】
1つの領域の低解像度画像である第１画像を取得する第１撮影装置と、
該領域の高解像度画像であり、かつ該第１画像と第１重複領域を有する第２画像を取得する第２撮影装置と、
該第１画像に複数の第１特徴点を定義し、該第２画像に複数の第２特徴点を定義し、該第１特徴点は該第２特徴点と第１対応関係を有し、かつ該第１対応関係を介して、該第１画像と該第２画像との第１対応関数をさらに定義することができる第１定義素子と、該第１画像と該第２画像とを、該第１対応関数に基づき第３画像に統合し、該第１画像が該第２画像と重複する場合に、第２画像のデータを該第３画像に表示する合成素子と、該第３画像における該第１画像と該第２画像との接合線の両側の画像の色度の不連続の状況を調整する調整素子とを含む画像処理装置と、
該第３画像を表示する表示装置と、
を含む統合型画像監視システム。
【請求項４】
第１撮影装置を使用し、1つの領域の低解像度画像である第１画像を取得するステップと、
第２撮影装置を使用し、該領域の高解像度画像であり、かつ該第１画像と第１重複領域を有する第２画像を取得するステップと、
該第１画像に複数の第１特徴点を定義し、該第２画像に複数の第２特徴点を定義し、該第１画像の第１特徴点は該第２画像の第２特徴点と第１対応関係を有し、かつ該第１対応関係を介して、該第１画像と該第２画像との第１対応関数をさらに定義することができるステップと、該第１画像と該第２画像とを、該第１対応関数に基づき第３画像に統合し、該第１画像が該第２画像と重複する場合に、第２画像のデータを該第３画像に表示するステップと、該第１画像と該第２画像との接合線の両側の画像の色度の不連続の状況を調整する調整ステップとを含む画像処理ステップと、
該第３画像を表示するステップと、
を含む監視システム用の画像ビデオ融合方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１つの領域を監視する統合システムに用いるための、複数のカメラのビデオを１つの大きな範囲の画像に統合し、監視角度を迅速かつ滑らかに切り替えることができる統合型画像監視システムおよびそれに対応する方法に関する。
【背景技術】
【０００２】
近年、社会の治安が悪化し、犯罪率が上昇しており、自己のセキュリティを守るため、多くの人がセキュリティシステムを利用している。これに鑑み、スマート型セキュリティビデオ監視システムが次第に重視されている。１つの領域を有効に監視するため、従来の大型セキュリティビデオ監視システムは、次の方法を採っている。監視領域に複数のカメラを設置し、カメラで撮影する画面が監視範囲全体を網羅するようにする。監視範囲が広くなるほど、設置を必要とする数も多くなり、各カメラで撮影された画像が複数のスクリーンに表示され、１人の監視要員が各画面を監視する（図１参照）。各画面は連続していないため、監視要員は気が散り、重要な情報および詳細を見逃しやすくなり、監視画面が多すぎるために監視者に視覚的な混乱が生み出されやすくなる。また、複数台のスクリーンに向かっていると、監視要員は関心を惹く物体を追跡しにくくなり、かつ追跡のプロセスにおいて、監視要員は方向を見失い、誤判別を生みやすくなる。
【０００３】
前記の問題を解決するため、本発明は、監視画像の立体感を向上させ、監視要員による大きな範囲での追跡に役立てるため、１つの領域に設置した各カメラで取得したビデオを１つの静止した大きな範囲の環境の画像中に統合し、良好な監視機能を達成するため監視要員が監視角度を迅速かつ滑らかに切り替えることができる統合型画像監視システムおよびその方法を提供する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前記問題に基づき、本発明は、統合型画像監視システムおよびそれに対応する方法を提出する。
【０００５】
本発明の目的は、監視要員に監視に便利な明晰な画像を提供するため、１つの監視領域に設置された各カメラのビデオをその領域の静止した大きな範囲の環境の画像中に統合し、統合画面を生成する統合型画像監視システムを提供することである。
【０００６】
本発明のもう１つの目的は、画像と画像との間の接合部を情報分野の技術で処理し、接合した部分の見た目をさらに滑らかにする監視システム用の画像ビデオ融合方法を提供することである。
【０００７】
本発明のもう１つの目的は、情報分野の技術で処理し、任意の監視角度に迅速かつ滑らかに切り替えることができる統合型監視システム用の監視角度の切り替え方法を提供することである。
【課題を解決するための手段】
【０００８】
前記の目的に基づき、本発明は、第１撮影装置と、第２撮影装置と、画像処理装置と、表示装置とを主に含む統合型画像監視システムを提供する。画像処理装置は、第１定義素子と、第２定義素子と、第１合成素子と、調整素子と、転換素子をさらに含む。第１撮影装置は、１つの領域の大きな範囲の第１画像を取得するために用いられ、前記画像データは静止データであり、かつ二次元画像である。第２撮影装置は、同じ領域であるが、範囲が比較的小さい第２画像を取得するために用いられ、前記画像のデータは動的データであり、かつ二次元画像であり、第２画像は、第１画像と第１重複領域を有する。前記画像処理装置を利用し、第２画像と第１画像とを合成して第３画像とする。先ず、画像処理装置の第１定義素子で、第１画像に複数の第１特徴点を定義し、第２画像に複数の第２特徴点を定義し、第１特徴点と第２特徴点とは第１対応関係を有する。かつ、前記第１対応関係に基づき、第１画像と第２画像との第１対応関数を定義することができ、前記関数を介して、第２画像が第１画像上に重ね合わせられ、重複部の第１画像データが第２画像中のデータに置き換えられ、第３画像上に表示される。
【０００９】
しかし、前記第１画像と前記第２画像とを統合するときに、少なくとも１つの接合線が２つの画像の接合箇所にあり、接合線の両側の画像の色度に不連続の現象が現れることがある。この現象を改善するため、本発明は、さらに画像処理装置中の調整素子で、先ず前記接合線周囲の適切な範囲を取って接合領域とし、かつ前記接合領域を１画像点および２画像点の第１重複領域の少なくとも一部とする。次に、第２定義素子で、先ず第１画像、第２画像、および第３画像に第１画像点、第２画像点、および第３画像点をそれぞれ定義し、前記画像点は第１画像色度、第２画像色度、および第３画像色度をそれぞれ有する。さらに、第１画像点の第１画像色度および前記第２画像点の第２画像色度を参照し、前記接合領域の第３画像点を適切な比例で混合した後、前記第３画像点の第３画像修正色度を生成する。統合後の第３画像に立体感をもたせるため、さらに画像処理装置中の転換素子で、第３画像を二次元画像から三次元画像に転換し、表示装置で前記第３画像を表示する。
【００１０】
前記統合型画像監視システムは、前記領域の小さな範囲を取得する第３撮影装置と、動的データを含む第４画像とをさらに含む。かつ第４画像は、第２画像と第２重複領域を有し、第２重複領域は、第２画像および第１画像が重なる第１重複領域と、第３重複領域を有する。画像処理装置は、前記第４画像の前記第３重複領域にある部分で複数の第４特徴点を定義し、第２画像の同じ領域にある部分で複数の第３特徴点を定義する第３定義素子をさらに含む。第４特徴点は、前記第３特徴点と第２対応関係を有し、かつ第２対応関係を介して、第４画像と第２画像との第２対応関数をさらに定義することができる。第２合成素子で、第２対応関数に基づき、第２画像と第４画像とを第５画像に統合し、第４画像が第２画像と重複する場合、第２画像のデータまたは第４画像のデータが第５画像に表示される。最後に、表示装置で第５画像を表示する。
【００１１】
本発明は、１つの領域の大きな範囲の静止した第１画像を取得するステップと、前記領域の小さな範囲の動的な第２画像を取得するステップとを主に含む監視システム用の画像ビデオ融合方法をさらに提供する。前記第２画像は、前記第１画像と第１重複領域を有し、かつ前記２つの画像は、いずれも二次元画像である。第１画像および前記第２画像に第１対応関係を有する複数の第１特徴点および第２特徴点を定義するステップを含む画像処理ステップを提供する。かつ第１対応関係から第１画像と第２画像との第１対応関数を推定することができ、前記関数を介して、第２画像と第１画像とを第３画像に統合し、重複領域を第２画像のデータで第３画像上に表示する。第１画像と第２画像との接合箇所には少なくとも１つの接合線があり、かつ前記接合線の両側の画像の色度に不連続の現象が現れることがあるため、さらに画像処理ステップにおいて調整ステップを行なう。先ず、接合線周囲の適切な範囲を取って接合領域としてから、第１画像、第２画像、および第３画像に第１画像点、第２画像点、および第３画像点をそれぞれ定義する。前記画像点は、第１画像色度、第２画像色度、および第３画像色度をそれぞれ有する。さらに、第１画像点の第１画像色度および第２画像点の第２画像色度を参照し、接合領域の第３画像点を適切な比例で混合した後、第３画像点の第３画像修正色度を生成する。最後に、第３画像を二次元から立体感のある三次元画像に転換し、第３画像を表示する。本方法は、さらに前記領域の小さな範囲の動的第４画像を取得する。第４画像は、第２画像と第２重複領域を有し、前記第１重複領域と重複し、第３重複領域を形成する。画像処理ステップは、さらに第４画像および第２画像の第３重複領域にある部分で第２対応関係を有する複数の第４特徴点および第３特徴点を定義し、第２対応関係を介して、第４画像と第２画像との第２対応関数をさらに定義することができる。第２対応関数に基づき、第２画像と第４画像とを第５画像に統合し、第４画像が第２画像と重複する場合、第２画像のデータまたは第４画像のデータが第５画像に表示される。最後に、第５画像を表示する。
【００１２】
本発明は、１つの領域の低解像度の第１画像を取得する第１撮影装置と、第１画像と第１重複領域を有し、かついずれも二次元画像である、前記領域の高解像度の第２画像を取得する第２撮影装置と、先ず、第１画像および第２画像で第１対応関係を有する複数の第１特徴点および第２特徴点を定義し、第１対応関係によって第１画像と第２画像との第１対応関数を定義することができる第１定義素子を含む画像処理装置と、前記関数を介して前記第１画像と第２画像とを統合し、両者の重複領域を第２画像のデータで第３画像上に表示する第１合成素子とを主に含む統合型画像監視システムをさらに提供する。両画像の接合箇所には、少なくとも１つの接合線があり、かつ接合線の両側の画像の色度には不連続の現象が現れる。前記現象を改善するため、前記接合線周囲の適切な範囲を取り接合領域としてから、第２定義素子で第１画像、第２画像、および第３画像に第１画像点、第２画像点、および第３画像点をそれぞれ定義する調整素子をさらに含む。前記画像点は、第１画像色度、第２画像色度、および第３画像色度をそれぞれ有する。さらに、第１画像点の第１画像色度および前記第２画像点の第２画像色度を参照し、前記接合領域の第３画像点を適切な比例で混合した後、第３画像修正色度を生成する。最後に、転換素子で第３画像を二次元画像から三次元画像に転換し、表示装置で第３画像を表示する。統合型画像監視システムは、前記領域の高解像度の第４画像を取得する第３撮影装置をさらに含む。かつ、第４画像は第２画像と第２重複領域を有し、第２重複領域は前記第１重複領域と重複して、第３重複領域を形成する。画像処理装置は、第４画像および第２画像の第３重複領域にある部分で第２対応関係を有する複数の第４特徴点および第３特徴点を定義する第３定義素子をさらに含み、第２対応関係を介して、第４画像と第２画像との第２対応関数をさらに定義することができる。第２合成素子は、第２対応関数に基づき、第２画像と第４画像とを第５画像に統合し、第４画像が第２画像と重複する場合、第２画像のデータまたは第４画像のデータが第５画像に表示される。最後に、表示装置で第５画像を表示する。
【００１３】
本発明は、１つの領域の低解像度の第１画像を取得するステップと、第１画像と第１重複領域を有し、かついずれも二次元画像である、前記領域の高解像度の第２画像を取得するステップとを主に含む監視システム用の画像ビデオ融合方法をさらに提供する。第１画像および前記第２画像で第１対応関係を有する複数の第１特徴点および第２特徴点を定義するステップを含む画像処理ステップを提供し、かつ前記第１対応関係に基づき、第１画像と第２画像との第１対応関数を定義することができる。前記関数を介して、第２画像と第１画像とを第３画像に統合し、重複領域を第２画像のデータで第３画像上に表示する。第１画像と第２画像との接合箇所には少なくとも１つの接合線があり、かつ前記接合線の両側の画像の色度に不連続の現象が現れることがあるため、さらに画像処理ステップにおいて調整ステップを行なう。先ず、前記接合線周囲の適切な範囲を取って接合領域としてから、第１画像、第２画像、および第３画像に第１画像点、第２画像点、および第３画像点をそれぞれ定義する。前記画像点は、第１画像色度、第２画像色度、および第３画像色度をそれぞれ有する。さらに、第１画像点の第１画像色度および第２画像点の第２画像色度を参照し、前記接合領域の第３画像点を適切な比例で混合した後、第３画像修正色度を生成する。さらに、第３画像を二次元から立体感のある三次元画像に転換し、第３画像を表示する。本方法は、さらに前記領域の高解像度の第４画像を取得する。第４画像は、第２画像と第２重複領域を有し、前記第１重複領域と重複し、第３重複領域を形成する。画像処理ステップは、さらに第４画像および第２画像の第３重複領域にある部分で第２対応関係を有する複数の第４特徴点および第３特徴点を定義し、第２対応関係を介して、前記第４画像と前記第２画像との第２対応関数をさらに定義することができる。第２対応関数に基づき、第２画像と第４画像とを第５画像に統合し、第４画像が第２画像と重複する場合、前記第２画像のデータまたは第４画像のデータが第５画像に表示される。最後に、第５画像を表示する。
【図面の簡単な説明】
【００１４】
【図１】従来のモニターの画面である。
【図２】本発明の統合型画像監視システムのブロック図である。
【図３Ａ】第１画像および第２画像の概要図である。
【図３Ｂ】第１画像および第２画像の統合概要図である。
【図３Ｃ】第１画像と第２画像とを統合した第３画像である。
【図３Ｄ】第１画像と第２画像との接合領域の概要図である。
【図４】本発明の統合型画像監視システムのブロック図である。
【図５Ａ】第２画像および第４画像の概要図であり、両画像は重複領域を有する。
【図５Ｂ】第１画像、第２画像および第４画像の統合概要図であり、三画像は重複領域を有する。
【図６】本発明の監視システム用の画像ビデオ融合方法の流れ図である。
【図７】本発明の監視システム用の画像ビデオ融合方法の流れ図である。
【図８】本発明の監視システム用の画像ビデオ融合方法の詳細な流れ図である。
【図９Ａ】第１画像と第２画像との接合領域の概要図である。
【図９Ｂ】三次元モジュールの概要図である。
【図１０】本発明の統合型画像監視システムのブロック図である。
【図１１】本発明の統合型画像監視システムのブロック図である。
【図１２】本発明の監視システム用の画像ビデオ融合方法の流れ図である。
【図１３】本発明の監視システム用の画像ビデオ融合方法の流れ図である。
【発明を実施するための形態】
【００１５】
図２、図３Ａ〜Ｃに示すように、本発明の実施例の統合型画像監視システム１００は、第１撮影装置１１０と、第２撮影装置１２０と、画像処理装置１４０と、表示装置１６０とを主に含む。画像処理装置１４０は、第１定義素子１４２と、第１合成素子１４４と、第２定義素子１４６と、調整素子１４８と、転換素子１５０とをさらに含む。第１撮影装置１１０は、空中写真、航空写真など、１つの領域の大きな範囲の第１画像２１０を取得するために用いられ、画像データは静止データであり、かつ二次元画像である。第２撮影装置１２０は、監視カメラのビデオなど、同じ領域であるが、範囲が比較的小さい第２画像２３０を取得するために用いられ、取得した画像のデータは動的データであり、かつ二次元画像であり、第２画像は、第１画像と第１重複領域２２０を有する。画像処理装置を利用し、第２画像２３０と第１画像２１０とを合成して第３画像２４０とする。先ず、画像処理装置の第１定義素子１４２で、第１画像２１０に５個以上の第１特徴点２１１〜２１６を定義し、第２画像に対応する第２特徴点２３１〜２３６を定義する。第１特徴点と第２特徴点とは、両図上で共通の特徴を有し、第１対応関係を有する。かつ、第１対応関係に基づき、第１画像と第２画像との第１対応関数を定義することができ、関数を介して、第２画像が第１画像上に重ね合わせられ、重複部の第１画像データが第２画像中のデータに置き換えられ、第３画像上に表示される。
【００１６】
次に、図２、図３Ｃ〜Ｄに示すように、第１画像と第２画像とを統合するときに、少なくとも１つの接合線２４１〜２４２が２つの画像の接合箇所にあり、接合線の両側の画像の色度に不連続の現象が現れることがある。この現象を改善するため、本発明は、さらに画像処理装置中の調整素子１４８で、先ず接合線周囲の適切な範囲を取って接合領域２４３とし、かつ接合領域２４３を第１画像点および第２画像点の第１重複領域２２０の少なくとも一部とする。次に、第２定義素子１４６で、第１画像２１０、第２画像２３０、および第３画像２４０に第１画像点、第２画像点、および第３画像点をそれぞれ定義し、これらの画像点は第１画像色度、第２画像色度、および第３画像色度をそれぞれ有する。さらに、第１画像点の第１画像色度および第２画像点の第２画像色度を参照し、接合領域の第３画像点を適切な比例で混合した後、第３画像点の第３画像修正色度を生成する。接合箇所をぼやけさせ、２つの画像の接合に違和感がないようにする。次に、統合後の第３画像に立体感をもたせるため、さらに画像処理装置中の転換素子１５０で、第３画像２４０で３Ｄ再構築（3D Reconstruction）を行ない、二次元画像から三次元画像に転換し、表示装置１６０で処理後の第３画像２４０を表示する。
【００１７】
図４、図５Ａ〜Ｂに示すように、本発明のもう１つの具体的な実施例では、前の実施例の素子に加え、さらに第３撮影装置１３０を含む。第３撮影装置は、前記監視領域のもう１つの監視カメラであり、領域の小さな範囲の動的第４画像２７０を取得するために用いられる。かつ、第４画像２７０は、第２画像２３０と第２重複領域２５０（斜線の領域）を有し、第２重複領域２５０は、第２画像および第１画像が重なる第１重複領域２２０と、第３重複領域２６０（網状の領域）を有する。画像処理装置は、第４画像２７０の第３重複領域２６０にある部分で５個以上の第４特徴点２７１〜２７５を定義し、第２画像の同じ領域にある部分で複数の第３特徴点２３１〜２３５を定義する第３定義素子１５２をさらに含む。第４特徴点は、第３特徴点と第２対応関係を有し、かつ第２対応関係を介して、第４画像２７０と第２画像２３０との第２対応関数をさらに定義することができる。第２合成素子１５４で、第２対応関数に基づき、第２画像２３０と第４画像２７０とを第５画像に統合し、第４画像２７０が第２画像２３０と重複する場合、第２画像のデータまたは第４画像のデータが第５画像に表示される。最後に、表示装置１６０で第５画像を表示する。第５画像は、第５画像の効果をさらによいものとするため、第２定義素子１４６および調整素子１４８で第２画像と第４画像との色差を調整することもできる。
【００１８】
本発明のもう１つの具体的な実施例は、図３Ａ〜Ｄおよび図６に示すように、１つの領域の大きな範囲の静止した第１画像を取得するステップ３１０と、前記領域の小さな範囲の動的な第２画像を取得するステップ３２０とを主に含む監視システム用の画像ビデオ融合方法３００である。第２画像２３０は、第１画像２１０と第１重複領域２２０を有し、かつ前記２つの画像は、いずれも二次元画像である。第１画像および第２画像で第１対応関係を有する複数の第１特徴点および第２特徴点３４２を定義するステップを含む画像処理ステップ３４０を提供し、かつ第１対応関係に基づき、第１画像と第２画像との第１対応関数を推定することができる。第１対応関数を介して、第２画像と第１画像とを第３画像３４４に統合し、重複領域を第２画像のデータで第３画像上に表示する。第１画像と第２画像との接合箇所には少なくとも１つの接合線２４１〜２４２があり、かつ接合線の両側の画像の色度に不連続の現象が現れることがあるため、さらに画像処理ステップにおいて調整ステップ３４８を行なう。先ず、接合線周囲の適切な範囲を取って接合領域２４３としてから、第１画像、第２画像、および第３画像に第１画像点、第２画像点、および第３画像点をそれぞれ定義する。画像点は、第１画像色度、第２画像色度、および第３画像色度をそれぞれ有する。前記はステップ３４６である。さらに、第１画像点の第１画像色度および第２画像点の第２画像色度を参照し、接合領域の第３画像点を適切な比例で混合した後、第３画像点の第３画像修正色度を生成する。前記は、調整ステップ３４８の一部である。最後に、第３画像を二次元から立体感のある三次元画像に転換して（ステップ３５０）、第３画像を表示する（ステップ３６０）。
【００１９】
本発明のもう１つの具体的な実施例は、図５Ａ〜Ｂおよび図７に示すとおりである。前の実施例のステップに加え、本方法は、さらに監視領域の小さな範囲の動的第４画像２７０を取得する（ステップ３３０）。第４画像２７０は、第２画像２３０と第２重複領域２５０を有し、前記第１重複領域２２０と重複し、第３重複領域２６０を形成する。画像処理ステップ３４０は、第４画像および第２画像の第３重複領域にある部分で第２対応関係を有する複数の第４特徴点２７１〜２７５および第３特徴点２３１〜２３５を定義するステップ（ステップ３５２）をさらに含む。第２対応関係を介して、第４画像と第２画像との第２対応関数をさらに定義することができる。第２対応関数に基づき、第２画像２３０と第４画像２７０とを第５画像に統合し、第４画像が第２画像と重複する場合、第２画像のデータまたは第４画像のデータが第５画像に表示される（ステップ３５４）。最後に第５画像を表示する（ステップ３７０）。
【００２０】
以下、本実施例の詳細なステップについて１つ１つ説明する。図８および図９Ａ〜Ｂに示すように、先ず監視領域に設置したカメラを校正し（ステップ４０２）、撮影装置の初期内在パラメータおよび外在パラメータを取得する（ステップ４０４）。さらに、数台を校正した後の撮影装置を監視領域の周囲に設置し（ステップ４０６）、領域の小さな範囲の動画、すなわち前記第２画像２３０および第４画像２７０を取得する（ステップ５０８）。取得した画像について、ステップ４０４で取得した撮影装置のパラメータを利用し、歪み校正還元を行なう（ステップ４１０）。前記領域の大きな範囲の静止画、すなわち前記第１画像２１０（航空写真または空中写真も可）を事前に取得しておく（ステップ４１２）。画像ホモグラフィ行列（homography）の方法を利用し、画像と監視ビデオとの対応関係を取得する。ホモグラフィ行列（homography）は、平面と平面との間の対応関係を表すためのものであるため、２Ｄ座標Ｍと２Ｄ座標ｍとの関係は、以下の対応関数で表示することができる。
【００２１】
【数１】
2009253976.tif 000003
【００２２】
【数２】
2009253976.tif 000004
【００２３】
それぞれ２つの平面画像において５セット以上の対応点を選び、Ｈを計算し、カメラビデオと結合したい画像との間の空間対応関係を正確に探し出すことができる（ステップ４１４）。これによって、動画と静止画を同じ画像に正確に結合することができる（ステップ４１６）。これが、前記第３画像２４０である。
【００２４】
この実施例では、２台以上のカメラ（第２撮影装置、第３撮影装置）を使用して前記領域を監視し、撮影のプロセスにおいて、２台のカメラで撮影した画像（第２画像、第４画像）の境界に重複部分（第２重複領域）をもたせている。その目的は、対象物が１つのカメラから別のカメラに移動するときの動きを観察することができるようにするためである。統合の方法は、前記方法と同じであり、それぞれ先ずこれらの特徴点を探し出し、これらの対応関係を探し出す（ステップ４１８）。その後、ホモグラフィ行列（homography）の方式をさらに利用して、これらを結合する（ステップ４２０）。但し、重複する部分があるため、重複する部分でもいくつかの特徴点を多く探し、その後の結合がさらに正確になるようにする必要がある。これによって、画像の同時進行時に、対象物が１つのカメラから別のカメラに移動したときに、数秒間突然消えた後に再び現れる現象を防止する。
【００２５】
図９Ａに示すように、画像結合を完了した後、静止画と動画（第１画像と第２画像または第４画像）との間であっても、動画と動画（第２画像と第４画像）との間であっても、画像の接合境界上に顕著な接合線２４１〜２４２があるため、画像融合（fusion）の技術を介して、こうした現象を改善することが求められている。この実施例では、「内挿法」でこの問題を処理している。静止画と動画との結合（ステップ４２２）を例に、最初に全図を走査することによって各画像点のＲＧＢ値（画像色度）を探し出して格納した後、画像点の４つの境界の箇所の垂直距離をそれぞれ算出し、最短の距離をａ，ｂとし、融合を行なうか否かの基準とする。仮にａ＜ｂである場合、この画素を融合する。その方法は、大きな範囲の静止画および地面のカメラのビデオのＲＧＢを、比例に基づき内挿するものである。この比例は、ａ／ｂによって決定される。これによって、異なる距離ａに基づき、静止画から動画までの間に、「過渡地帯」が生成される。この方法の主な数学式は次のとおりである。
「結合図のＲＧＢ＝ａ／ｂ×静止画のＲＧＢ＋（１−ａ／ｂ）×動画のＲＧＢ」
動画間の接合箇所も、同様の方式で画像融合を行ない（ステップ４２４）、接合線の両側の画像の色度の不連続を除去することによって、見た目が比較的滑らかな画像を得ることができる。
【００２６】
次に、この境界処理後の結合図を構築済の３Ｄモジュール中に貼り、結合図に立体感をもたせる。このステップ４２６は、主に前記画像融合後の結合図をさらに構築済の３Ｄモジュールに貼るものである。図９Ｂに示すように、結合図を二次元から三次元画像に転換し、監視者が異なる視角から観察し、最適な効果を得られるようにする。この図上を自由に移動、転動および縮小拡大する機能をもたせることもできる。最後に、ステップ４２８で、画像処理した三次元画像を表示する。
【００２７】
図１０に示すように、本発明のもう１つの具体的な実施例では、１つの領域の低解像度の第１画像を取得する第１撮影装置５１０と、第１画像と第１重複領域を有し、かついずれも二次元画像である前記領域の高解像度の第２画像を取得する第２撮影装置５２０と、先ず、第１画像および第２画像で第１対応関係を有する複数の第１特徴点および第２特徴点を定義し、第１対応関係によって第１画像と第２画像との第１対応関数を定義することができる第１定義素子５４２を含む画像処理装置５４０と、第１対応関数を介して第１画像と第２画像とを統合し、両者の重複領域を第２画像のデータで第３画像上に表示する第１合成素子５４４とを主に含む統合型画像監視システム５００を提供する。両画像の接合箇所には、少なくとも１つの接合線があり、かつ接合線の両側の画像の色度には不連続の現象が現れる。この現象を改善するため、接合線周囲の適切な範囲を取り接合領域としてから、第２定義素子５４６で第１画像、第２画像、および第３画像に第１画像点、第２画像点、および第３画像点をそれぞれ定義する調整素子５４８をさらに含む。これらの画像点は、第１画像色度、第２画像色度、および第３画像色度をそれぞれ有する。さらに、第１画像点の第１画像色度および第２画像点の第２画像色度を参照し、接合領域の第３画像点を適切な比例で混合した後、第３画像修正色度を生成する。最後に転換素子５５０で第３画像を二次元画像から三次元画像に転換し、表示装置５６０で第３画像を表示する。
【００２８】
図１１に示すように、本発明のもう１つの具体的な実施例は、前の実施例に含まれる素子に加え、領域の高解像度の第４画像を取得する第３撮影装置５３０をさらに含む。かつ、第４画像は、第２画像と第２重複領域を有し、第２重複領域は前記第１重複領域と重複して、第３重複領域を形成する。画像処理装置は、第４画像および第２画像の第３重複領域にある部分で第２対応関係を有する複数の第４特徴点および第３特徴点を定義する第３定義素子５５２をさらに含み、第２対応関係を介して、第４画像と第２画像との第２対応関数をさらに定義することができる。第２合成素子５５４は、第２対応関数に基づき、第２画像と第４画像とを第５画像に統合し、第４画像が第２画像と重複する場合、第２画像のデータまたは第４画像のデータが第５画像に表示される。最後に、表示装置５６０で第５画像を表示する。第５画像は、第５画像の効果をさらによいものとするため、第２定義素子５４６および調整素子５４８で第２画像と第４画像との色差を調整することもできる。
【００２９】
図１２に示すように、本発明のもう１つの具体的な実施例では、１つの領域の低解像度の第１画像６１０を取得するステップと、第１画像と第１重複領域を有し、かついずれも二次元画像である、領域の高解像度の第２画像６２０を取得するステップとを主に含む監視システム用の画像ビデオ融合方法６００を提供する。第１画像および第２画像で第１対応関係を有する複数の第１特徴点および第２特徴点６４２を定義するステップ６４０を含む画像処理ステップを提供し、かつ第１対応関係に基づき、第１画像と第２画像との第１対応関数を定義することができる。第１対応関数を介して、第２画像と第１画像とを第３画像に統合し６４４、重複領域を第２画像のデータで第３画像上に表示する。第１画像と第２画像との接合箇所には少なくとも１つの接合線があり、接合線の両側の画像の色度に不連続の現象が現れることがあるため、さらに画像処理ステップにおいて調整ステップ６４８を行なう。先ず、接合線周囲の適切な範囲を取って接合領域としてから、第１画像、第２画像、および第３画像に第１画像点、第２画像点、および第３画像点をそれぞれ定義する。画像点は、第１画像色度、第２画像色度、および第３画像色度をそれぞれ有する６４６。さらに、第１画像点の第１画像色度および第２画像点の第２画像色度を参照し、接合領域の第３画像点を適切な比例で混合した後、第３画像修正色度を生成する。さらに、第３画像を二次元から立体感のある三次元画像６５０に転換し、第３画像６６０を表示する。
【００３０】
図１３に示すように、本発明のもう１つの具体的な実施例は、前の実施例に含まれるステップに加え、領域の高解像度の第４画像６３０を取得するステップをさらに含む。第４画像は、第２画像と第２重複領域を有し、前記第１重複領域と重複し、第３重複領域を形成する。画像処理ステップ６４０は、さらに第４画像および第２画像の第３重複領域にある部分で第２対応関係を有する複数の第４特徴点および第３特徴点６５２を定義し、第２対応関係を介して、第４画像と第２画像との第２対応関数をさらに定義することができる。第２対応関数に基づき、第２画像と第４画像とを第５画像６５４に統合し、第４画像が第２画像と重複する場合、第２画像のデータまたは第４画像のデータが第５画像に表示される。最後に、第５画像６７０を表示する。第５画像は、第５画像の効果をさらによいものとするために、ステップ６４６およびステップ６４８で第２画像と第４画像との色差を調整することもできる。
【００３１】
以上、本発明について、各実施例およびその関連図面により詳細に説明した。当業者は、本発明の各実施例は例示的なものでしかなく、制限的なものではないことを理解しており、すなわち本発明の実質的な主旨および範囲を逸脱しない前記各素子の変更例および修正例は、いずれも本発明で網羅されるものである。そのため、本発明は、特許請求の範囲に基づき定める。
【符号の説明】
【００３２】
１００、５００  統合型画像監視システム
１１０、５１０  第１撮影装置
１２０、５２０  第２撮影装置
１３０、５３０  第３撮影装置
１４０、５４０  画像処理装置
１４２、５４２  第１定義素子
１４４、５４４  第１合成素子
１４６、５４６  第２定義素子
１４８、５４８  調整素子
１５０、５５０  転換素子
１５２、５５２  第３定義素子
１５４、５５４  第２合成素子
１６０、５６０  表示装置
２１０          第１画像
２１１〜２１６  第１特徴点
２２０          第１重複領域
２３０          第２画像
２３１〜２３６  第２特徴点
２４０          第３画像
２４１、２４２  接合線
２４３          接合領域
２５０          第２重複領域
２６０          第３重複領域
２７０          第４画像
２７１〜２７５  第４特徴点
２８０          第５画像
３００、６００  監視システム用の画像ビデオ融合方法
３１０          大きな範囲の静止した第１画像を取得する
３２０          小さな範囲の動的な第２画像を取得する
３３０          小さな範囲の動的な第４画像を取得する
３４０、６４０  画像処理ステップ
３４２、６４２  第１画像および第２画像上で対応する特徴点を定義する
３４４、６４４  第１画像と第２画像とを第３画像に合成する
３４６、６４６  画像に複数の画像点を定義する
３４８、６４８  調整ステップ
３５０、６５０  第３画像を二次元から三次元画像に転換する
３５２、６５２  第２画像および第４画像上で対応する特徴点を定義する
３５４、６５４  第２画像と第４画像とを第５画像に合成する
３６０、６６０  第３画像を表示する
３７０、６７０  第５画像を表示する
４０２          撮影装置を校正する
４０４          撮影装置のパラメータを取得する
４０６          監視領域に設置する
４０８          小さな範囲の動画を取得する
４１０          歪み校正
４１２          大きな範囲の静止画を取得する
４１４          画像とビデオとの対応関係を探し出す
４１６          動画と静止画とを同じ画像に結合する
４１８          隣接するビデオの対応関係を探し出す
４２０          隣接するビデオを同じ画像に統合する
４２２          静止画と動画とを融合する
４２４          動画と動画とを融合する
４２６          結合図を二次元から三次元に転換する
４２８          継ぎ目のない三次元結合図を表示する 
６１０          低解像度の第１画像を取得する
６２０          高解像度の第２画像を取得する
６３０          高解像度の第４画像を取得する
【図２】
2009253976.tif 000005
【図３Ａ】
2009253976.tif 000006
【図３Ｂ】
2009253976.tif 000007
【図３Ｃ】
2009253976.tif 000008
【図３Ｄ】
2009253976.tif 000009
【図４】
2009253976.tif 000010
【図５Ａ】
2009253976.tif 000011
【図５Ｂ】
2009253976.tif 000012
【図６】
2009253976.tif 000013
【図７】
2009253976.tif 000014
【図８】
2009253976.tif 000015
【図９Ａ】
2009253976.tif 000016
【図９Ｂ】
2009253976.tif 000017
【図１０】
2009253976.tif 000018
【図１１】
2009253976.tif 000019
【図１２】
2009253976.tif 000020
【図１３】
2009253976.tif 000021
【図１】
2009253976.tif 000022