(57)【要約】【課題】監視カメラシステムにおける遮蔽物画像処理を行う。【解決手段】第１の撮像画像蓄積部で蓄積されている画像に対して画像処理により遮蔽領域を検出する遮蔽領域検出部１０２と、遮蔽領域検出部１０２で検出された第１の画像の遮蔽領域の面積等の情報により画像の合成度合を決定する画像合成度合決定部１０６と、対応座標関係蓄積部で蓄積されている座標関係を用いて、第２の撮像画像蓄積部で蓄積されている画像に対して視点を変換した画像を生成する視点変換画像生成部１０７と、画像合成度合決定部で決定された画像の合成度合に応じて、第１の撮像画像と、視点変換生成部で生成された第２の撮像画像を合成する画像合成部１０８と、を備える。【選択図】図１
2011077981.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像装置によって撮影された画像を合成して出力する監視カメラシステムにおいて、
第１の撮像装置によって撮影された画像が蓄積される第１の撮像画像蓄積手段と、
第１の撮像装置とは異なる地点に設置された撮像装置によって撮影された画像が蓄積される第２の撮像画像蓄積手段と、
前記第１の撮像画像蓄積手段で蓄積されている画像から遮蔽物の領域を検出する遮蔽領域検出手段と、
前記遮蔽領域検出手段で検出された遮蔽物の領域に応じて第１の撮像画像蓄積手段で蓄積されている画像の合成に利用する度合いを決定する画像合成度合決定手段と、
前記第１の撮像画像蓄積手段で蓄積される画像の座標と、前記第２の撮像画像蓄積手段で蓄積される画像の座標との対応関係を蓄積する対応座標関係蓄積手段と、
前記座標対応関係蓄積手段で蓄積されている座標の対応関係と、前記第２の撮像画像蓄積手段で蓄積されている画像とを用いて、前記第１の撮像画像蓄積手段で蓄積されている画像の視点からの画像を生成する視点変換画像生成手段と、
前記視点変換画像生成手段で生成された画像と、前記第１の撮像画像蓄積手段で蓄積されている画像とを用いて、前記画像合成度合決定手段で決定された画像の合成度合に基づいて画像を合成する画像合成手段と、
前記画像合成手段で合成した画像を表示する画像表示手段と
からなることを特徴とする監視カメラシステム。
【請求項２】
前記監視カメラシステムにおいて、
前記画像合成手段で合成する処理は、
前記第１の撮像画像蓄積手段で蓄積されている画像のRGB値と、前記視点変換画像生成手段で生成された画像のRGB値との、重み付き平均で、
前記画像合成手段で合成される画像の各座標におけるRGB値を決定する
ことを特徴とする請求項１記載の監視カメラシステム。
【請求項３】
前記監視カメラシステムにおいて、
前記遮蔽物領域検出手段で検出された遮蔽物の領域が大きくなるほど、前記第１の撮像画像蓄積手段で蓄積されている画像のRGB値の重みを小さくする
ことを特徴とする請求項２記載の監視カメラシステム。
【請求項４】
前記監視カメラシステムにおいて、さらに、
前記第１の撮像装置、前記第２の撮像装置とは異なる地点に設置された撮像装置によって撮影された画像が蓄積される第３の撮像画像蓄積手段をもち、
前記視点変換画像生成手段では、
前記第３の撮像画像蓄積手段で蓄積されている画像を用いて、前記第１の撮像画像蓄積手段で蓄積されている画像の視点からの画像を生成し、
前記画像合成手段では、
前記視点変換画像生成手段で生成された複数の画像と、前記第１の撮像画像蓄積手段で蓄積されている画像とを用いて、前記画像合成度合決定手段で決定された画像の合成度合に基づいて画像を合成する
ことを特徴とする請求項２記載の監視カメラシステム。
【請求項５】
前記監視カメラシステムにおいて、
前記画像合成手段では、
合成される画像の領域ごとに、異なる撮像装置の画像を用いて合成画像を生成する
ことを特徴とする請求項４記載の監視カメラシステム。
【請求項６】
前記監視カメラシステムにおいて、
前記画像合成手段では、
前記遮蔽領域検出手段で検出された遮蔽物のエッジ部分については、前記エッジ部分以外の領域とは異なる重み付けで合成する
ことを特徴とする請求項２記載の監視カメラシステム。
【請求項７】
前記監視カメラシステムにおいて、
前記画像合成手段では、
時間とともに重み付け度合いを変更した合成画像を生成し、
前記画像表示手段では、
前記画像合成手段で合成された画像を動画として表示する
ことを特徴とする請求項２記載の監視カメラシステム。
【請求項８】
前記監視カメラシステムにおいて、
前記対応座標関係蓄積手段では、
前記第１の撮像画像蓄積手段で蓄積される画像の座標と、前記第２の撮像画像蓄積手段で蓄積される画像の座標との対応関係を4点以上の座標の対応関係で表現する
ことを特徴とする請求項１記載の監視カメラシステム。
【請求項９】
前記監視カメラシステムにおいて、
前記対応座標関係蓄積手段では、
前記第１の撮像画像蓄積手段で蓄積される画像の座標と、前記第２の撮像画像蓄積手段で蓄積される画像の座標との対応関係を4点以上の座標の対応関係で表現し、
前記対応関係の４点からなる四角形の内部の点のベクトルの対応関係を用いて、対応する座標を決定する
ことを特徴とする請求項８記載の監視カメラシステム。
【請求項１０】
前記監視カメラシステムにおいて、
前記遮蔽領域検出手段では、
前記第１の撮像画像蓄積手段で蓄積されている画像と、前記第１の撮像装置において過去に取得した画像との差分情報から遮蔽物の領域を検出する
ことを特徴とする請求項１記載の監視カメラシステム。
【請求項１１】
前記監視カメラシステムにおいて、
前記遮蔽領域検出手段では、
前記第１の撮像装置において過去に取得した画像は、地面に設置された所定のマーカの画像であり、前記マーカの画像が取得の有無によって遮蔽物の領域を検出する
ことを特徴とする請求項１０記載の監視カメラシステム。
【請求項１２】
前記監視カメラシステムにおいて、
第１の撮像装置、第２の撮像装置で撮像される画像は家屋の周囲の画像であり、
さらに、
前記画像合成手段で合成した画像を用いて、家屋の天空からの画像情報に変換するトップビュー視点変換手段を保有し、
前記画像表示手段では、
前記トップビュー視点変換手段で変換した画像を利用して、画像を表示する
ことを特徴とする請求項１記載の監視カメラシステム。
【請求項１３】
前記監視カメラシステムにおいて、
ユーザからの指示があった場合に、前記画像合成手段で合成した画像に変更する
ことを特徴とする請求項１２記載の監視カメラシステム。
【請求項１４】
前記監視カメラシステムにおいて、
前記遮蔽領域検出手段で検出される遮蔽物は車両に関する遮蔽物である
ことを特徴とする請求項１３記載の監視カメラシステム。
【請求項１５】
第１の撮像装置によって撮影された画像が蓄積される第１の撮像画像蓄積手段と、
前記第１の撮像装置とは異なる地点に設置された撮像装置によって撮影された画像が蓄積される第２の撮像画像蓄積手段と、
前記第１の撮像画像蓄積手段で蓄積される画像の座標と、前記第２の撮像画像蓄積手段で蓄積される画像の座標との対応関係を蓄積する対応座標関係蓄積手段と、を用いて、
前記第１の撮像画像蓄積手段で蓄積されている画像から遮蔽物の領域を検出する遮蔽領域検出ステップと、
前記遮蔽領域検出ステップで検出された遮蔽物の領域に応じて前記第１の撮像画像蓄積手段で蓄積されている画像の合成に利用する度合いを決定する画像合成度合決定ステップと、
前記座標対応関係蓄積手段で蓄積されている座標の対応関係と、前記第２の撮像画像蓄積手段で蓄積されている画像とを用いて、前記第１の撮像画像蓄積手段で蓄積されている画像の視点からの画像を生成する視点変換画像生成ステップと、
前記第１の撮像画像蓄積ステップで蓄積されている画像のRGB値と、前記視点変換画像生成ステップで生成された画像のRGB値との、重み付き平均により、合成画像の各座標におけるRGB値を決定し、
前記視点変換画像生成ステップで生成された画像と、前記第１の撮像画像蓄積手段で蓄積されている画像とを用いて、前記画像合成度合決定ステップで決定された画像の合成度合に基づいて前記合成画像を合成する画像合成ステップと、
前記画像合成ステップで合成した画像を表示する画像表示ステップと
からなることを特徴とする監視カメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像装置で取得した画像を用いて、ある一つの撮像装置では、遮蔽物によって撮像できないときに、別の撮像装置で取得できた画像の視点を変換した画像と、合成することで、遮蔽物の先にある対象物を表示することができる表示装置を提供するものである。
【背景技術】
【０００２】
従来、監視カメラシステムにおいては、複数のカメラによって撮影された画像を１つの画面に表示していた。さらに、各カメラの画像に対して重要度が付与され、その順位のもとに監視カメラの画像が表示されていた（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2008-278368号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、撮像装置の低価格化にともない、複数のカメラが一般家庭でも設置され、一般ユーザが監視カメラシステムで家の治安を確認できるようになってきた。従来までの監視システムのように、画面上に複数の視点からの画像を表示されても、一般ユーザは、その画像がどこを撮影している画像なのか、直感的に、判別できないことが多い。そこで、例えば、屋根の上から、家屋を眺めたときの画像に、撮像されている画像の視点を変換することで、ユーザは容易に、家の周囲の状況を確認できるようになる。
【０００５】
しかしながら、既に設置されたカメラの前に車両等の遮蔽物が存在した場合には、ユーザは、遮蔽物の先の画像を確認できなくなってしまう。そこで、本願発明においては、家屋の周囲を監視するカメラシステムにおいて、遮蔽物が存在した場合には、他のカメラで撮影された画像の視点を変換することで、遮蔽物の先の画像を生成し、シースルー画像でユーザに画像を提供することで、容易に、家屋の周囲の状況を確認できるシステムを提供するものである。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明では、複数の撮像装置によって撮影された画像を合成して出力する監視カメラシステムにおいて、
第１の撮像装置によって撮影された画像が蓄積される第１の撮像画像蓄積手段と、
第１の撮像装置とは異なる地点に設置された撮像装置によって撮影された画像が蓄積される第２の撮像画像蓄積手段と、
前記第１の撮像画像蓄積手段で蓄積されている画像から遮蔽物の領域を検出する遮蔽領域検出手段と、
前記遮蔽領域検出手段で検出された遮蔽物の領域に応じて第１の撮像画像蓄積手段で蓄積されている画像の合成に利用する度合いを決定する画像合成度合決定手段と、
前記第１の撮像画像蓄積手段で蓄積される画像の座標と、前記第２の撮像画像蓄積手段で蓄積される画像の座標との対応関係を蓄積する対応座標関係蓄積手段と、
前記座標対応関係蓄積手段で蓄積されている座標の対応関係を用いて、前記第２の撮像画像蓄積手段で蓄積されている画像を用いて、前記第１の撮像画像蓄積手段で蓄積されている画像の視点からの画像を生成する視点変換画像生成手段と、
前記視点変換画像生成手段で生成された画像と、前記第１の撮像画像蓄積手段で蓄積されている画像とを用いて、前記画像合成度合決定手段で決定された画像の合成度合に基づいて画像を合成する画像合成手段と、
前記画像合成手段で合成した画像を表示する画像表示手段と
を備えるシステムである。
【０００７】
この構成によると、遮蔽物が検出された場合においても、その遮蔽物のさえぎられた被写体の存在を確認することができるようになる。特に、セキュリティシステムに利用する監視カメラシステムにおいては、不審者等を容易に確認することができるようになる。
【発明の効果】
【０００８】
本発明の画像合成装置によれば、家屋の周囲を監視するカメラシステムにおいて、遮蔽物が存在した場合には、他のカメラで撮影された画像の視点を変換することで、遮蔽物の先の画像を生成し、シースルー画像でユーザに画像を提供することで、容易に、家屋の周囲の状況を確認できるシステムを提供するものである。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１におけるシステム構成の図
【図２】本発明の実施の形態１におけるハードウエア構成の図
【図３】遮蔽物がない場合に画像の対応関係の説明図
【図４】遮蔽物がある場合に画像の対応関係の説明図
【図５】遮蔽物領域の割合の説明図
【図６】対応画像関係蓄積部の内容の図
【図７】被写体の撮像画像の例図
【図８】座標の対応関係の説明図
【図９】座標の対応関係の表図
【図１０】遮蔽物割合と合成度合の特性関係を示す図
【図１１】画像の合成度合の図
【図１２】両方の画像に遮蔽物が存在した場合の図
【図１３】遮蔽物を除去して合成する場合の図
【図１４】実施の形態１のフローチャート
【図１５】セキュリティへの応用の概念図
【図１６】セキュリティへの応用の遮蔽物がある場合の概念図
【図１７】従来までのトップビューのシステム構成図
【図１８】トップビューに本発明のシステムを導入したシステム構成図
【図１９】家屋に設置された撮像装置の図
【図１９Ａ】家屋のセキュリティシステムのインタフェースの図
【図２０】ランドマークによる遮蔽物検出の図
【図２１】遮蔽物の透過率を変化させるインタフェースの図
【図２２】遮蔽物のエッジ部分のみを強調する図
【図２３】実施の形態２のシステム構成の図
【図２４】実施の形態２のハードウエア構成の図
【図２５】３カメラの対応座標の図
【図２６】３カメラの遮蔽物のある場合の図
【図２７】３カメラの合成の説明図
【図２８】実施の形態２のフローチャート
【図２９】実施の形態２のサブルーチンのフローチャート
【発明を実施するための形態】
【００１０】
（実施の形態１）
第１の実施の形態のシステム構成の例を図１に示す。図１において、１０１は第１の撮像装置で撮像し、撮像した画像を蓄積する第1の撮像画像蓄積部、１０２は第１の撮像画像蓄積部で蓄積されている画像に対して画像処理により遮蔽領域を検出する遮蔽領域検出部、１０３は第２の撮像装置で撮像し、撮像した画像を蓄積する第２の撮像画像蓄積部、１０４は第１の撮像画像蓄積部で蓄積されている画像と第２の撮像画像蓄積部で蓄積されている画像に対して、設置されている撮像装置の位置、方向に応じて撮像装置で撮影される画像の対応関係を蓄積している対応画像関係蓄積部、１０５は対応画像関係蓄積部で蓄積されている対応関係のある画像間において、その画像間での対応座標関係を蓄積している対応座標関係蓄積部、１０６は遮蔽領域検出部１０２で検出された第１の画像の遮蔽領域の面積等の情報により画像の合成度合を決定する画像合成度合決定部、１０７は対応座標関係蓄積部で蓄積されている座標関係を用いて、第２の撮像画像蓄積部で蓄積されている画像に対して視点を変換した画像を生成する視点変換画像生成部、１０８は画像合成度合決定部で決定された画像の合成度合に応じて、第１の撮像画像と、視点変換生成部で生成された第２の撮像画像を合成する画像合成部、１０９は画像合成部１０８で合成された画像を表示する画像表示部から構成される画像合成システムである。
【００１１】
次に、画像合成システムが動作するハードウエア構成例を、図２を用いて説明する。図２においては、カメラＡ〜カメラＥの５台のカメラによって、被写体が撮影されるシステムとなっている。各撮像装置は、ＣＣＤやＣＭＯＳセンサ等のイメージセンサと、イメージセンサからの出力をデジタル信号に変換するモジュールで構成されている。さらに、各撮像装置で生成された画像のデジタル信号がＰＣ等で構成される画像処理装置へ入力される。この画像処理装置では、ハードディスク等の記憶媒体でデータが蓄積され、さらに、ＣＰＵによって、視点変換、画像合成等の計算処理がなされる。また、画像処理されたデータを、ＶＲＡＭ等を用いて、外部のモニター等の表示装置で出力される構成となっている。
【００１２】
次に、図１の各モジュールの動作について説明する。第１の撮像画像蓄積部１０１では、第１の撮像装置で被写体を撮影し、静止画の画像情報として蓄積する。また、画像情報は、動画情報から各フレームでの静止画像の情報を蓄積してもよい。例えば、640×480ドットからなる画像情報を、各ピクセルのＲＧＢ情報として蓄積する。同様に、第２の撮像画像蓄積部１０３においても、同様の画像情報を蓄積している。図３において、２つの撮像装置で被写体の画像を、異なる角度から撮影している状況を示している。同じ被写体であっても、異なる角度から撮影することで複数の画像情報を取得することができる。例えば、図３において、カメラＡの画像が第１の撮像画像蓄積部１０１で蓄積され、カメラＢの画像が第２の撮像画像蓄積部１０２で蓄積されていることとなる。
【００１３】
遮蔽領域検出部１０２では、第１の撮像画像蓄積部１０１で蓄積されている画像から遮蔽領域を検出する。例えば、図３では被写体に対して遮蔽物が存在しなかった。しかしながら、図４に示すように、被写体とカメラＡの間に円筒の遮蔽物が存在した場合には、カメラＡで取得される画像においては、遮蔽物によって、被写体の画像を撮影することができなくなる。さらに、遮蔽物の位置によってカメラＡで取得している画像における遮蔽物の領域が異なる。遮蔽物が撮像装置に近いほど、画像データの中で遮蔽物の占める領域が大きくなる。逆に、遮蔽物が被写体に近いほど、画像データの中で遮蔽物が占める領域が小さくなる。
【００１４】
図５では、遮蔽物が存在する場所によって、第１の撮像装置で撮像される画像における遮蔽物の領域を示している。なお、遮蔽物であるか否かについては、遮蔽物が存在しなかった状況（図３の状況）での被写体の画像と、図４の状況で撮像された画像との差分画像を算出することで、遮蔽物の領域の大きさ、形状を算出することが可能になる。図５の例においては、遮蔽物の領域が全体の画像領域、または、被写体の画像領域に占める割合を用いて遮蔽物領域割合を算出し、その値が0から1.0までの値で示している。遮蔽物の領域が大きくなると、その撮像装置で取得されている画像によって、ユーザに提供される情報が少なくなる。そこで、本願発明においては、図４のように、第１の撮像装置で取得される画像が遮蔽物によって、被写体の画像情報を取得できないときに、第２の撮像装置で取得されている画像を用いて、被写体によって隠れている画像を生成するものである。第１の撮像装置で取得される画像では、遮蔽物によって被写体の画像を取得することができなくなるが、一方で、第２の撮像装置においては、被写体の画像を取得することができる。そこで、第２の撮像装置で撮像された画像を用いて、第１の撮像装置において遮蔽物によって取得できなくなった画像情報を、第２の撮像装置で取得した画像を用いて補完するものである。
【００１５】
対応画像関係蓄積部１０４では、複数個、設置された撮像装置において、ある撮像装置の画像が遮蔽物で十分に撮像できなくなった場合に、別のどの撮像装置の画像を用いて補完すればよいかに関する、撮像装置間の関係の情報を記憶している。例えば、図６に示すように、５個設置された撮像装置において、例えば、カメラ１の画像において遮蔽物が存在した場合には、カメラ２、カメラ３の画像を用いて補完できることを示している。同様に、カメラ２の画像であれば、カメラ１、カメラ３で補間することが可能である。一方、カメラ４はカメラ５で相互に補完関係が存在する。
【００１６】
対応座標関係蓄積部１０５では、対応画像関係蓄積部１０４で蓄積されている対応関係のある画像間において、その画像間での対応座標関係を蓄積している。図７に示すように、壁等の「あいうえお」という文字が書かれている平面に対して、同じ被写体であっても、撮像装置の位置によって異なる画像が取得される。カメラＢでは、被写体を正面の位置から撮影しているため、「あいうえお」の大きさが同じ大きさとして撮影される。一方で、カメラＡからは、「あ」から順に文字の大きさが小さく撮影される。これは、被写体に対して、撮像するカメラの位置が異なることから生じるものである。一方で、カメラＡで撮影された画像であれば、画像データの座標を変換することにより、カメラＢから撮影された画像のように視点を変換することが可能になる。
【００１７】
例えば、図８に示すように、被写体の平面で長方形であったものが、カメラＢの画像データでは、長方形として撮影される。一方で、カメラＡからは、図８に示すように台形の形で撮影される。そこで、カメラＡで撮影された台形を、カメラＢの長方形へ座標を変換する。すなわち、カメラＡの台形の内部の点のＲＧＢの色情報を、カメラＢの長方形の内部の点のＲＧＢの色情報に変換する。これにより、カメラＢで撮影することなく、カメラＡで撮影された画像情報に対して視点変換処理をすることで、カメラBの画像情報を代替することが可能になる。
【００１８】
次に、視点変換を行うための座標の変換方法について説明する。カメラＡの台形ＯＡＢＣが、カメラＢの長方形ＯＰＱＲに変換されるものとする。このとき、ＯＡをs: (1-s)に内分する点と、ＯＣをt: (1-t)に内分する点によるＤの位置ベクトルが、ＯＰをs: (1-s)に内分する点Ｇと、ＯＲをt: (1-t)に内分する点によるＳ(u,v)の位置ベクトルに変換されるとする。ここで、Ｇの位置ベクトルはsPで表現される。また、Ｈの位置ベクトルは、sQ+(1-s)Rで表現される。さらに、Ｓの位置ベクトルは、tG+(1-t)Hで表現される。よって、S(u,v)の座標は、O,P,Q,R,の座標と、s,tで表現できることとなり、Ｄの位置ベクトルに対応するＳの座標を算出することができる。すなわち、カメラＡのＯＡＢＣの４点の座標と、カメラＢのＯＰＱＲの４点の座標によって、対応点の座標が算出できることとなる。この対応座標の情報を図９に示すように、対応座標関係蓄積部１０５において、予め蓄積しておく。
【００１９】
なお、対応座標関係蓄積部１０５では、各画像中の座標の対応関係で表現されたものであったが、回転変換、アフィン変換、透過変換等の変数の値で表現してもよい。さらには、画像中の全てのドットの対応関係を蓄積しておくことによる変換式を用いてもよい。
【００２０】
画像合成度合決定部１０６では、遮蔽領域検出部１０２で検出された第１の画像の遮蔽領域の面積等の情報により画像の合成度合を決定する。具体的には、図１０に示すように、遮蔽物領域割合に対して、合成画像利用重みを決定する特性曲線を保有し、画像中の遮蔽物の割合が算出されると、合成画像利用重みが決定されるようになっている。図１０の特性曲線においては、遮蔽物領域の割合の大きさが増加すると、その画像を利用する重みが減少するような特性曲線となっている。すなわち、遮蔽物の領域が大きいときには、その画像を利用する割合を低下させ、他の画像を主に利用して合成画像を生成するものである。逆に、遮蔽物の領域が小さい場合には、その画像だけで十分に目的とする被写体が撮影されているとし、他の画像を利用することなく画像を生成するものである。例えば、遮蔽物領域割合が0.6の場合には、画像合成利用重みが0.5となっている。これは、合成した画像を生成するときに、遮蔽領域のある画像の割合を0.5とし、他の視点から撮影した画像の割合を0.5とすることを示している。
【００２１】
なお、本実施の形態では、画像合成度合決定部１０６では、図１０に示す特性曲線で表現したが、線形的な関数で表現してもよい。
【００２２】
視点変換画像生成部１０７では、対応座標関係蓄積部で蓄積されている座標関係を用いて、第２の撮像画像蓄積部で蓄積されている画像に対して視点を変換した画像を生成する。画像合成度合決定部１０６では、第１の撮像画像蓄積部で蓄積されている画像において遮蔽物の領域の度合に応じて、他の視点からの画像を利用する度合が決定された。そこで、第２の撮像画像蓄積部で蓄積されている画像に対して、対応座標関係蓄積部１０５で蓄積されている座標関係を用いて、視点を変換した画像を生成する。ここでは、第１の撮像画像蓄積部で蓄積されている視点での画像を生成する。
【００２３】
画像合成部１０８では、画像合成度合決定部で決定された画像の合成度合に応じて、第１の撮像画像と、視点変換生成部で生成された第２の撮像画像を合成する。画像合成方法としては、例えば、第１の撮像画像の各ドットのＲＧＢ情報と、視点変換された第２の画像情報の各ドットのＲＧＢ情報の重み付き平均によって、各ドットのＲＧＢ情報を求めることが可能である。例えば、合成画像が640×480ドットの画像を生成する場合に、ｉ×ｊにおけるＲＧＢ情報を８ビット×３色の情報とするとき、第１の画像のｉ×ｊのＲの８ビットの色情報と、第２の画像のｉ×ｊのＲの８ビットの色情報との重み付平均の計算を利用して算出する。同様にＧ、Ｂの情報も算出する。これにより、第１の画像情報と第２の画像情報を重ね合わせた色で表現された画像を生成することができる。
【００２４】
例えば、図１１に示すように、遮蔽物領域割合の値が大きくなるにつれて、イメージＡのＲＧＢ情報の利用度合が減少し、イメージＢのＲＧＢ情報の利用度合が高くなる画像を生成することが可能になる。すなわち、遮蔽物の領域が大きくなるにつれて、遮蔽物の色が薄くなり、別の撮像装置で撮影し、さらに視点変換した画像の色が濃くなることとなる。
【００２５】
画像表示部１０９では、画像合成部１０８で合成された画像を表示する。表示する機器は、テレビやＰＣ用のモニターに画像合成部１０８で合成された画像を生成するものである。
【００２６】
なお、本実施例では、図４に示すように、カメラＡの画像に遮蔽物が存在し、カメラＢの画像に遮蔽物が存在しない場合についての動作について説明した。しかしながら、遮蔽物の置かれる場所が被写体の近くづくと、カメラＢにおいても遮蔽物が画像中に存在することとなる。図１２では、カメラＢに遮蔽物が存在した場合の図である。このとき、カメラＢの画像の全てを用いてカメラＡの視点の画像を生成した場合には、合成画像において、座標変換された位置において遮蔽物が存在することとなる。そこで、カメラＢで撮影された画像の被写体が存在する画像のみに対して視点変換を行い、その画像を合成画像として利用することで、画像合成を行う。
【００２７】
具体的には、図１３に示すように、第２の撮像装置で撮影された画像であるカメラＢの画像から、遮蔽物の領域と被写体の領域の分別を行う。さらに、遮蔽物の存在する部分の画像を除去する。そして、遮蔽物の画像領域が除去された画像を用いて、視点変換を行い。合成画像を生成する。この遮蔽物を除去する処理を入れることで、遮蔽物を透過した形式での画像合成を実現することが可能になる。なお、遮蔽物の領域の抽出方法については、第１の撮像装置で撮影した画像から遮蔽物の領域を抽出した方法と同様に、遮蔽物がないときの画像との差分画像を用いることにより生成領域抽出が可能になる。
【００２８】
なお、図１３の例においては、遮蔽物の画像領域と被写体の画像領域が重なっていない場合である。カメラＢにおいても、被写体と遮蔽物が重なり、遮蔽物によって被写体の一部が遮蔽されている場合には、さらに、被写体を撮影した過去の画像を利用して、遮蔽物がなかったときの画像を用いて合成画像に利用することも可能である（クレーム化）。
【００２９】
上記のシステムの動作を図１４のフローチャートにまとめる。
【００３０】
＜ステップ１４０１＞
第１の撮像画像蓄積部１０１、第２の撮像画像蓄積部１０３において、各撮像装置で撮像されている画像を蓄積する。なお、画像データの蓄積は、１秒間隔等、あらかじめ設定された所定の時間間隔で画像を撮影、蓄積する。
【００３１】
＜ステップ１４０２＞
遮蔽領域検出部１０２において、過去に撮像されていたときの画像との差分を検出することで、遮蔽物領域を算出する。ここで、過去に蓄積されているときの画像とは、撮像装置を設置したときの画像等を用いてもよいし、所定時間前の画像を利用してもよい。
【００３２】
＜ステップ１４０３＞
遮蔽領域検出部１０２において、遮蔽物領域が所定の範囲より大きいか否かを判断する。所定の大きさより大きいときには、次のステップ１４０４へ進むが、所定の大きさより小さい場合には、ステップ１４０６へ進み、画像の加工を行わない。なお、遮蔽物の大きさは、画素の数や、面積等を利用することが可能である。また、図５に示すように、被写体に対する遮蔽物の領域の大きさで決定してもよい。
【００３３】
＜ステップ１４０４＞
合成画像度合決定部１０６において、遮蔽物の画像領域の大きさに応じて重ね合わせる重み係数を決定する。例えば、図１０に示す特性関数を用いて決定する。
【００３４】
＜ステップ１４０５＞
対応画像関係蓄積部１０４の情報を参照し、遮蔽物が検出された撮像装置の画像を補完できる画像を撮影している撮像装置があるか否かを判断する。対応画像関係蓄積部１０４では、図６のように撮像装置間の対応関係が蓄積されているため、例えば、カメラ４で遮蔽物が検出された場合には、カメラ５を用いて画像を補完する対応関係が蓄積されている。対応する撮像装置が存在しない場合には、ステップ１４０６へ進み、画像の加工を行わない。
【００３５】
＜ステップ１４０６＞
撮像された画像を別の撮像装置の画像と合成することなく、撮像された画像を出力する。
【００３６】
＜ステップ１４０７＞
合成するための選択された画像において、遮蔽物領域が存在するか否かを判断する。この判断は、ステップ１４０２で行った判断と同様の判断を行う。遮蔽物が存在した場合には、ステップ１４０８へ進む。遮蔽物が存在した場合には、ステップ１４０９へ進む。
【００３７】
＜ステップ１４０８＞
視点変換画像生成部１０７において、遮蔽物を除去した画像を生成する。例えば、図１３に示すように、遮蔽物領域の画像を除去した画像を生成する。
【００３８】
＜ステップ１４０９＞
対応座標関係蓄積部１０５の対応座標情報を参照し、視点変換画像生成部１０７において、対応する視点変換画像を生成する。例えば、図８に示したように、四角形の対応座標関係があった場合には、その内部点を、ベクトルを用いて表現し、対応座標を算出する。
【００３９】
＜ステップ１４１０＞
画像合成部１０８で、各ピクセル（画素）に対して、RGBの値を、ステップ１４０４で算出した重みを用いて算出する。
【００４０】
＜ステップ１４１１＞
画像合成部１０８で、合成画像を生成し、出力する。
【００４１】
上記の画像合成をセキュリティシステムへ応用した例について述べる。例えば、図１５に示すように、路上において、Ｒ１からＲ３の３つの撮像装置が動作していたとする。このとき、他人の自転車に対して不審な動作を行っている人物を撮像装置Ｒ２のみで監視することができる。しかしながら、撮像装置Ｒ２と不審者の間に駐車車両等が存在した場合には、Ｒ２の撮像装置だけでは、不審者の画像を取得することができない。
【００４２】
このとき、図１６に示すように、Ｒ１の撮像装置、または、Ｒ３の撮像装置によって、不審者の画像を取得できる場合には、Ｒ２で取得された画像とＲ１またはＲ３で取得した画像を重ね合わせて表示することで、駐車車両と不審者の画像を確認することができるようになる。
【００４３】
また、近年、複数の撮像装置を車両の周囲に設置して、車両の上からの視点での画像を生成することで、運転者が車両を駐車するときに自車の位置を容易に確認できるシステムが普及している。そこで、さらに、家屋の周囲に撮像装置を設置することで、家屋の周囲の状況を一見して確認でき、不審者等の侵入を容易に確認するシステムを構築することが可能になる。このようなシステムは、図１７に示すようなシステム構成で実現することができる。
【００４４】
図１７においては、複数の撮像装置から取得された画像を用いて、家屋の上空からの視点に変換し、その画像をテレビ等に表示することで実現することができる。ここで、トップビュー視点変換部１７０２においては、取得した各画像の視点を変換し、それらの画像を対応点で接続することで実現できる。そこで、このシステムに上記のシステムを融合し、図１８のシステム構成を実現することができる。
【００４５】
撮像装置を設置したときには、周囲の画像を接続し家屋の天空からの画像を生成することができるが、カーポートを設置したり、庭に植木を設置したり、車両を駐車したりするために、すでに設置されている撮像装置のみの画像では、撮像装置の死角が生じることが多い。そこで、これらの遮蔽物による死角を解消するために、別の撮像装置の画像を用い、さらに、その画像の視点変換を行うことにより、カーポート等の遮蔽物があった場合にも、遮蔽されていないような画像を生成することが可能になる。
【００４６】
例えば、図１９に示すように、家屋の周囲に設置された撮像装置を設置したときには、図１９の撮像装置Ｐで取得していた画像が、カーポートを増築したために、カーポートの下の画像を取得できなくなったとする。このときにでも、撮像装置Ｑを用いて、カーポートの死角になる部分の画像を取得し、視点を変換した画像を生成することで、カーポートの下に不審者がいた場合にも、その画像を取得することができるようになる。
【００４７】
図１９に示すように、監視カメラが設置された場合、図１９A（１）のように、各監視カメラの画像を一覧することが可能である。しかしながら、ユーザが各カメラの画像を確認しようとしても、どの画像が、家屋のどこに設置されているか、さらに、そのカメラの方向、視野についての知識が十分でなければ、一覧して確認するのは困難である。そこで、設置されている監視カメラの画像を合成し、家屋の屋上からの視点で一覧できるようにすることが可能である（図１９A（２））。しかしながら、家屋の屋上からの視点では、カーポート等で遮蔽されている部分については、画像を確認することができない。そこで、図１９A（３）に示すように、屋上からの視点で死角になる部分については、別のカメラで撮影された画像（ここではカメラQ）を用いて、あたかも、透過しているような画像を生成し、ユーザに提示することが可能になる。
【００４８】
また、図１９に示すようなセキュリティシステムの場合には、事前に遮蔽物が存在する可能性の高い場所を想定することが可能である。例えば、自宅において車両を駐車する場所は決まっている場合が多い。そこで、車両の駐車によって死角になる領域を事前に予測することが可能になる。そこで、図２０に示すように、地面にランドマークを設置し、そのランドマークが撮像装置で取得した画像中に存在するときには、その画像には遮蔽物が存在しないと処理することが可能である。そこで、車両等が駐車する可能性が高い場所に、ランドマークを設置し、そのランドマークが撮像できていない場合には、別の撮像装置で補間する処理を行なうようにする。これにより、駐車車両がある場合には、死角場所を別の撮像装置で撮影し画像を取得し、さらに、合成するようにすることが可能である。
【００４９】
なお、本実施の形態においては、撮像装置で取得した画像における遮蔽物の領域によって、画像の合成度合を決定した。しかしながら、合成の度合を動的に変化させた動画像をユーザに提示することも可能である。例えば、図２１に示すように、所定の時間間隔で、イメージＡとイメージＢの合成の度合を変化させた動画を提示することも可能である。
【００５０】
なお、本実施の形態においては、所定の合成度合を用いて、画像全体の合成を行った。さらに、遮蔽物のある画像においては、遮蔽物があることが確認できたらいい場合には、遮蔽物のエッジ部分のみについては、遮蔽物のある画像の合成度合を高くし、エッジ以外の部分については、合成度合を低くすることで、遮蔽物のエッジ部分のみを残した上で合成画像を生成することが可能になる（図２２参照）。なお、エッジ部分の抽出は、隣り合う画素（または領域）間でのRGBの色情報の差が所定の値より大きい境界をエッジ部分として判断することで、遮蔽物の輪郭等を抽出することが可能になる。
【００５１】
（実施の形態２）
実施の形態１では、第１の撮像画像蓄積部で蓄積されている画像に対して遮蔽物の領域があった場合に、別の撮像装置による別の視点からの画像の視点変換処理を実施することで合成する画像を生成した。しかしながら、別の撮像画像が１つでは不十分な場合がある。そこで、本実施の形態においては、別の２つの撮像装置の画像を利用して、合成画像を生成する実施の形態について説明する。本実施の形態のシステム構成の例を図２３に示す。図２３においては、図１のシステム構成の図に対して、さらに、第３の撮像画像蓄積部が追加されたものである。
【００５２】
図２４にハードウエアの概観の例を示す。図２４のハードウエアの概観においては、１つの被写体に対して、３つの撮像装置で撮像を行っている例である。図２５に示すように１つの被写体が３つの画像で撮像されている。
【００５３】
さらに、被写体と撮像装置の間に遮蔽物が存在すると、各撮像装置で撮像される画像において、遮蔽物によって、被写体が撮影できなくなる場合がある（図２６参照）。図２６の場合には、正面からの画像であるイメージBでは、被写体がほぼ隠蔽された状態になる。一方、イメージAでは被写体の葉の部分が隠蔽され、イメージCでは被写体の根の部分が隠蔽されている。そこで、イメージBの視点での合成画像を生成するのに、イメージAの一部分と、イメージCの一部分を利用して合成することが可能になる。図２７に示すように、イメージBの左半分に関しては、イメージAの画像と重ね合わせ、イメージBの右半分に関しては、イメージCの画像と重ね合わせることで、合成画像を生成する。
【００５４】
このように、実施の形態１では、他の視点の１つの画像に対して視点変換を実施することで、合成画像を生成していたが、本実施の形態では、他の視点の複数画像に対して視点変換を実施することで、合成画像を生成する。これにより、ある撮像装置と被写体の間に遮蔽物が存在する場合でも、他の撮像装置で補間できる可能性が高くなる。
【００５５】
特に、セキュリティに利用する監視カメラシステムにおいて、事前に、遮蔽される可能性が高い領域に関しては、あらかじめ、複数の視点からのカメラを設置しておくことにより、被写体が遮蔽される可能性を減少させることが可能になる。
【００５６】
本実施の形態のフローチャートを図２８、図２９に示す。なお、本フローチャートは、実施の形態１の図１４のフローチャートに対して、ステップ１４０５とステップステップ１４０７の間にステップ２８０１が挿入された点と、ステップ２８０２が追加された点が異なるため、その部分についてのみ説明する。
【００５７】
＜ステップ２８０１＞
対応画像関係蓄積部１０４において、複数の撮像装置の画像を用いて合成するときには、ステップ２８０２へ進む。それ以外の場合、すなわち、１つの画像で用いて合成するときには、ステップ１４０７へ進む。
【００５８】
＜ステップ２８０２＞
複数の画像を用いて合成する図２９のフローへ進む。
【００５９】
＜ステップ２９０１＞
まず、合成に利用する１つの画像を選択する。後の処理は、ステップ１４０７からステップ１４１１までの処理と同様であるため、説明を省略する。
【００６０】
なお、ここで、対応座標関係蓄積部１０５においては、実施の形態１においては、図９に示すように、２つの撮像装置で撮影された画像の座標の対応関係であったが、本実施の形態では、３つの撮像装置で撮影された画像の座標の対応関係が蓄積され、その対応関係に基づき、座標変換がなされる。
【００６１】
さらに、合成された画像は、領域によって、合成される画像が異なる。具体的には、図２７に示すように、イメージAとイメージBとの合成画像領域と、イメージBとイメージCとの合成画像領域が存在する。そのため、イメージAとイメージCに関しては、明るさ等の整合性をとっておく必要がある。特に、画像の境界部分に関しては、イメージA、B、CのRGB値の重み付き平均を利用して合成することで、画像の違和感を減少させることが可能になる。
【産業上の利用可能性】
【００６２】
本発明の画像合成装置によって、所定の撮像装置では遮蔽物によって死角になる領域の画像を、別の撮像装置の画像と合成して出力することで、遮蔽された領域も画像で確認することが可能になる。特に、セキュリティ分野における監視カメラシステムの有効である。
【符号の説明】
【００６３】
１０１    第１の撮像画像蓄積部
１０２    遮蔽領域検出部
１０３    第２の撮像画像蓄積部
１０４    対応画像関係蓄積部
１０５    対応座標関係蓄積部
１０６    画像合成度合決定部
１０７    視点変換画像生成部
１０８    画像合成部
１０９    画像表示部
１７０１    第２の撮像画像蓄積部
１７０２    トップビュー視点変換部
２３０１    第３の撮像画像蓄積部
【図１】
2011077981.tif 000003
【図２】
2011077981.tif 000004
【図３】
2011077981.tif 000005
【図４】
2011077981.tif 000006
【図５】
2011077981.tif 000007
【図６】
2011077981.tif 000008
【図７】
2011077981.tif 000009
【図８】
2011077981.tif 000010
【図９】
2011077981.tif 000011
【図１０】
2011077981.tif 000012
【図１１】
2011077981.tif 000013
【図１２】
2011077981.tif 000014
【図１３】
2011077981.tif 000015
【図１４】
2011077981.tif 000016
【図１５】
2011077981.tif 000017
【図１６】
2011077981.tif 000018
【図１７】
2011077981.tif 000019
【図１８】
2011077981.tif 000020
【図２０】
2011077981.tif 000021
【図２１】
2011077981.tif 000022
【図２２】
2011077981.tif 000023
【図２３】
2011077981.tif 000024
【図２４】
2011077981.tif 000025
【図２５】
2011077981.tif 000026
【図２６】
2011077981.tif 000027
【図２７】
2011077981.tif 000028
【図２８】
2011077981.tif 000029
【図２９】
2011077981.tif 000030
【図１９】
2011077981.tif 000031
【図１９Ａ】
2011077981.tif 000032