(57)【要約】  画像処理装置（１）は、物体（５０）が存在する領域を撮影する１つ以上の第１のカメラ（２１）から提供される１つ以上の第１の画像（３１）と前記物体（５０）に隠れて前記第１のカメラ（２１）の位置から見えない死角領域（６０）を含む領域を撮影する複数の第２のカメラ（２２ａ、２２ｂ）から提供される複数の第２の画像（３２ａ、３２ｂ）とを受信する受信部（１１）と、前記複数の第２の画像（３２ａ、３２ｂ）から、前記１つ以上の第１の画像（３１）において前記物体（５０）に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像（３１）と前記補完画像とを合成することによって合成表示画像を生成する画像処理部（１２）とを有する。
2019186860.tif 000002
【特許請求の範囲】
【請求項１】
物体が存在する領域を撮影する１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記物体に隠れて前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、
前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成する画像処理部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記画像処理部は、前記１つ以上の第１の画像の各々における前記マスク領域に前記補完画像を重畳することによって、又は、前記１つ以上の第１の画像から生成された合成画像に前記補完画像を重畳することによって前記合成表示画像を生成する画像重畳部を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理部は、
前記複数の第２の画像を射影変換することによって予め決められた位置から見た複数の第３の画像を生成する射影変換部と、
前記複数の第３の画像を合成することによって第４の画像を生成する変換画像合成部と、
前記第４の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
を有することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像処理部は、
前記複数の第２の画像を射影変換することによって予め決められた位置から見た複数の第３の画像を生成する射影変換部と、
前記複数の第３の画像から、前記複数の第３の画像の一部の領域を前記マスク領域に配置した場合に前記マスク領域の境界の画素のエネルギーが最小となる前記一部の領域を提供することができる第３の画像を選択し、選択された画像を第４の画像として出力する画像選択部と、
前記第４の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
を有することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
前記画像処理部は、
前記複数の第２の画像から、前記第１のカメラの光軸の方向に、より近い方向の光軸を持つ第２のカメラで撮影された第２の画像を選択し、選択された画像を第３の画像として出力する画像選択部と、
前記第３の画像を射影変換することによって予め決められた位置から見た第４の画像を生成する射影変換部と、
前記第４の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
を有することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項６】
前記複数の第２のカメラによって過去に撮影された前記複数の第２の画像である参照画像を予め記憶する記憶部をさらに有し、
前記画像処理部は、
前記複数の第２の画像の各々を、前記物体が占める前景画像部分と前記前景画像部分以外の背景画像部分とに分割する画像分割部と、
前記前景画像部分を前記参照画像の一部の画像部分で置き換えることによって前記複数の第２の画像から複数の第３の画像を生成する画像生成部と、
前記複数の第３の画像を射影変換することによって予め決められた位置から見た複数の第４の画像を生成する射影変換部と、
前記複数の第４の画像を合成することによって第５の画像を生成する変換画像合成部と、
前記第５の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
を有することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項７】
前記複数の第２のカメラによって過去に撮影された前記複数の第２の画像である参照画像を予め記憶する記憶部をさらに有し、
前記画像処理部は、
前記複数の第２の画像の各々を、前記物体が占める前景画像部分と前記前景画像部分以外の背景画像部分とに分割する画像分割部と、
前記前景画像部分を前記参照画像の一部の画像に置き換えることによって前記複数の第２の画像から複数の第３の画像を生成する画像生成部と、
前記複数の第３の画像を射影変換することによって予め決められた位置から見た複数の第４の画像を生成する射影変換部と、
前記複数の第４の画像から、前記複数の第４の画像の一部の領域を前記マスク領域に配置した場合に前記マスク領域の境界の画素のエネルギーが最小となる前記一部の領域を提供できる第４の画像を選択し、選択された画像を第５の画像として出力する画像選択部と、
前記第５の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
を有することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項８】
前記複数の第２のカメラによって過去に撮影された前記複数の第２の画像である参照画像を予め記憶する記憶部をさらに有し、
前記画像処理部は、
前記複数の第２の画像の各々を、前記物体が占める前景画像部分と前記前景画像部分以外の背景画像部分とに分割する画像分割部と、
前記前景画像部分を前記参照画像の一部の画像に置き換えることによって前記複数の第２の画像から複数の第３の画像を生成する画像生成部と、
前記複数の第３の画像から、前記第１のカメラの光軸の方向に、より近い方向の光軸を持つ第２のカメラで撮影された第３の画像を選択し、選択された画像を第４の画像として出力する画像選択部と、
前記第４の画像を射影変換することによって予め決められた位置から見た第５の画像を生成する射影変換部と、
前記第５の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
を有することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項９】
３次元仮想物体モデルの候補の画像データを予め記憶する記憶部をさらに有し、
前記画像処理部は、
前記複数の第２の画像の各々を、前記物体が占める前景画像部分と前記前景画像部分以外の背景画像部分とに分割する画像分割部と、
前記３次元仮想物体モデルの候補から前記物体に対応する３次元仮想物体モデルを選択し、前記前景画像部分を前記３次元仮想物体モデルに置き換えることによって前記複数の第２の画像から複数の第３の画像を生成する画像生成部と、
前記複数の第３の画像を射影変換することによって予め決められた位置から見た複数の第４の画像を生成する射影変換部と、
前記複数の第４の画像を合成することによって第５の画像を生成する変換画像合成部と、
前記第５の画像における、前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
を有することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項１０】
３次元仮想物体モデルの候補の画像データを予め記憶する記憶部をさらに有し、
前記画像処理部は、
前記複数の第２の画像の各々を、前記物体が占める前景画像部分と前記前景画像部分以外の背景画像部分とに分割する画像分割部と、
前記３次元仮想物体モデルの候補から前記物体に対応する３次元仮想物体モデルを選択し、前記前景画像部分を前記３次元仮想物体モデルに置き換えることによって前記複数の第２の画像から複数の第３の画像を生成する画像生成部と、
前記複数の第３の画像を射影変換することによって予め決められた位置から見た複数の第４の画像を生成する射影変換部と、
前記複数の第４の画像から、前記複数の第４の画像の一部の領域を前記マスク領域に配置した場合に前記マスク領域の境界の画素のエネルギーが最小となる前記一部の領域を提供できる第４の画像を選択し、選択された画像を第５の画像として出力する画像選択部と、
前記第５の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
を有することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項１１】
３次元仮想物体モデルの候補の画像データを予め記憶する記憶部をさらに有し、
前記画像処理部は、
前記複数の第２の画像の各々を、前記物体が占める前景画像部分と前記前景画像部分以外の背景画像部分とに分割する画像分割部と、
前記３次元仮想物体モデルの候補から前記物体に対応する３次元仮想物体モデルを選択し、前記前景画像部分を前記３次元仮想物体モデルに置き換えることによって前記複数の第２の画像から複数の第３の画像を生成する画像生成部と、
前記複数の第３の画像から、前記第１のカメラの光軸の方向に、より近い方向の光軸を持つ第２のカメラで撮影された第３の画像を選択し、選択された画像を第４の画像として出力する画像選択部と、
前記第４の画像を射影変換することによって予め決められた位置から見た第５の画像を生成する射影変換部と、
前記第５の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
を有することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項１２】
前記受信部は、前記物体を検出するセンサから出力される検出信号をさらに受信し、
前記画像処理部は、前記検出信号に基づいて、前記記憶部に記憶されている前記３次元仮想物体モデルの候補から、前記物体に対応する前記３次元仮想物体モデルを選択する
ことを特徴とする請求項９から１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記画像処理部は、選択された前記３次元仮想物体モデルにテクスチャマッピングを施す
ことを特徴とする請求項９から１２のいずれか１項に記載の画像処理装置。
【請求項１４】
物体が存在する領域を撮影する１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記物体に隠れて前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラから提供される複数の第２の画像とを受信するステップと、
前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成するステップと、
を有することを特徴とする画像処理方法。
【請求項１５】
物体が存在する領域を撮影する１つ以上の第１のカメラと、
前記物体によって前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラと、
前記１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、
前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成する画像処理部と、
前記合成表示画像に基づく画像を表示する表示装置と、
を有することを特徴とする監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、第１のカメラが撮影する第１の画像と複数の第２のカメラが撮影する複数の第２の画像とから合成表示画像を生成する画像処理装置、画像処理方法、及び監視システムに関する。
【背景技術】
【０００２】
車両の運転者の視点位置に配置された第１のカメラが撮影した第１の画像である後方画像と、車両の外部に配置された第２のカメラが撮影した第２の画像である死角画像とを合成することによって、物体に隠れて運転者からは見えない死角領域の画像を含む合成表示画像を生成し、この合成表示画像を表示する装置の提案がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４５５２５２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の装置では、第１のカメラの光軸及び第２のカメラの光軸のいずれもが車両の後方を向いている。しかしながら、一般に、監視システムなどにおいては、死角領域を形成する物体である遮蔽物から離れた位置に第２のカメラが設置される。この場合には、第１のカメラの光軸の方向と第２のカメラの光軸の方向とが大きく異なり、合成表示画像における死角領域の画像に大きな歪みが生じやすいという問題がある。【０００５】
本発明は、上記従来の課題を解決するためになされたものであり、第１のカメラが撮影する第１の画像と複数の第２のカメラが撮影する複数の第２の画像とから生成された合成表示画像における歪みを目立たなくすることができる画像処理装置、画像処理方法、及び監視システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る画像処理装置は、物体が存在する領域を撮影する１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記物体に隠れて前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成する画像処理部とを有することを特徴とする。【０００７】
本発明の他の態様に係る監視システムは、物体が存在する領域を撮影する１つ以上の第１のカメラと、前記物体によって前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラと、前記１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成する画像処理部と、前記合成表示画像に基づく画像を表示する表示装置とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、第１のカメラが撮影する第１の画像と複数の第２のカメラが撮影する複数の第２の画像とから生成された合成表示画像における歪みを目立たなくすることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１に係る画像処理装置及び監視システムを概略的に示す機能ブロック図である。
【図２】実施の形態１に係る画像処理装置及び監視システムの動作を示す説明図である。
【図３】実施の形態１に係る画像処理装置の動作例を示すフローチャートである。
【図４】実施の形態１に係る画像処理装置の他の動作例を示すフローチャートである。
【図５】実施の形態１に係る画像処理装置の他の動作例を示すフローチャートである。
【図６】本発明の実施の形態２に係る画像処理装置及び監視システムを概略的に示す機能ブロック図である。
【図７】実施の形態２に係る画像処理装置の動作例を示すフローチャートである。
【図８】本発明の実施の形態３に係る画像処理装置及び監視システムを概略的に示す機能ブロック図である。
【図９】実施の形態３に係る画像処理装置の動作例を示すフローチャートである。
【図１０】本発明の実施の形態４に係る画像処理装置及び監視システムを概略的に示す機能ブロック図である。
【図１１】実施の形態４に係る画像処理装置及び監視システムの動作を示す説明図である。
【図１２】実施の形態４に係る画像処理装置の動作例を示すフローチャートである。
【図１３】実施の形態４に係る画像処理装置の他の動作例を示すフローチャートである。
【図１４】実施の形態４に係る画像処理装置の他の動作例を示すフローチャートである。
【図１５】本発明の実施の形態５に係る画像処理装置及び監視システムを概略的に示す機能ブロック図である。
【図１６】実施の形態５に係る画像処理装置の動作例を示すフローチャートである。
【図１７】本発明の実施の形態６に係る画像処理装置及び監視システムを概略的に示す機能ブロック図である。
【図１８】実施の形態６に係る画像処理装置の動作例を示すフローチャートである。
【図１９】本発明の実施の形態７に係る画像処理装置及び監視システムを概略的に示す機能ブロック図である。
【図２０】実施の形態７に係る画像処理装置及び監視システムの動作を示す説明図である。
【図２１】実施の形態７に係る画像処理装置の動作例を示すフローチャートである。
【図２２】本発明の実施の形態８に係る画像処理装置及び監視システムを概略的に示す機能ブロック図である。
【図２３】実施の形態８に係る画像処理装置の動作例を示すフローチャートである。
【図２４】本発明の実施の形態９に係る画像処理装置及び監視システムを概略的に示す機能ブロック図である。
【図２５】実施の形態９に係る画像処理装置の動作例を示すフローチャートである。
【図２６】実施の形態１から９に係る画像処理装置のハードウェア構成の例を示す図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の実施の形態１から９に係る画像処理装置、画像処理方法、及び監視システムを、添付図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
【００１１】
実施の形態１から９に係る監視システムは、物体が存在する領域を撮影する１つ以上の第１のカメラと、物体に隠れて第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラと、画像処理装置と、液晶モニタなどのような表示装置とを有する。監視システムは、例えば、道路などの公共エリア、工場などの作業エリア、建造物の内部又は外部などを監視するシステムに適用可能である。
【００１２】
実施の形態１から９に係る画像処理装置は、１つ以上の第１のカメラから提供される１つ以上の第１の画像データ（以下「画像データ」を単に「画像」とも言う）と複数の第２のカメラから提供される複数の第２の画像とを受信する。第１の画像及び第２の画像は、静止画像及び動画像（すなわち、映像）のいずれであってもよい。画像処理装置は、複数の第２の画像から、１つ以上の第１の画像において物体に対応するマスク領域の画像である補完画像を生成し（補完画像を記憶部から取得する場合を含む）、１つ以上の第１の画像と補完画像とを合成することによって合成表示画像を生成する。表示装置は、合成表示画像に基づく画像を表示する。画像処理装置は、画像処理プログラムを実行することによって実施の形態に係る画像処理方法を実施するコンピュータであってもよい。
【００１３】
《１》実施の形態１．
《１−１》構成
図１は、実施の形態１に係る画像処理装置１を概略的に示す機能ブロック図である。図１に示されるように、監視システムは、１つ以上の第１のカメラ２１と、複数の第２のカメラ２２ａ及び２２ｂと、画像処理装置１と、表示装置１００とを有する。画像処理装置１は、受信部１１と、画像処理部１２と、画像出力部１３と、記憶部１４とを有する。画像処理部１２は、射影変換部１２１と、変換画像合成部１２２と、補完画像生成部１２３と、画像重畳部１２４とを有する。
【００１４】
受信部１１は、例えば、第１のカメラ２１並びに第２のカメラ２２ａ及び２２ｂと、有線又は無線で通信可能に接続される。受信部１１は、第１のカメラ２１並びに複数の第２のカメラ２２ａ及び２２ｂと、直接通信してもよいし又はネットワークを介して通信してもよい。
【００１５】
第１のカメラ２１は、例えば、広い撮影領域を撮影する広領域撮影用カメラである。第１のカメラ２１は、例えば、広い範囲の撮影画像であるパノラマ画像又は上から見下ろすように見える画像である俯瞰画像を撮影するための撮像装置である。第１のカメラ２１から出力される第１の画像３１は、静止画像又は動画像のいずれであってもよい。図１には、１つの第１のカメラ２１が示されているが、第１のカメラ２１は、複数配置されてもよい。複数の第１のカメラの隣り合うものは、互いに重なり合う共通撮影領域を有するように配置される。画像処理装置１に複数の第１のカメラ２１が接続されている場合には、複数の第１のカメラ２１が撮影する複数の第１の画像３１を合成することによって、合成広領域画像を作成することができる。合成広領域画像は、例えば、複数の画像を水平方向、垂直方向、又は水平及び垂直方向に繋ぎ合わせた合成パノラマ画像又は合成俯瞰画像である。共通撮影領域に物体（「遮蔽物」とも言う）が存在し、複数の第１の画像３１の各々に同じ物体が含まれる場合には、複数の第１のカメラ２１のいずれにも撮影されない死角領域が発生する。
【００１６】
第２のカメラ２２ａ及び２２ｂは、例えば、第１のカメラ２１よりも狭い撮影領域を撮影する狭領域撮影用カメラである。第２のカメラ２２ａ及び２２ｂは、第１のカメラ２１の位置からは物体の影になって見えない死角領域を含む領域を撮影し、第２の画像３２ａ及び３２ｂを出力する死角撮影用の撮像装置である。第２の画像３２ａ及び３２ｂは、静止画像又は動画像のいずれであってもよい。図１には、２つの第２のカメラ２２ａ及び２２ｂが示されているが、第２のカメラは、３つ以上配置されてもよい。また、第２のカメラ２２ａ及び２２ｂは、第１のカメラ２１の光軸と異なる方向の光軸を持つように配置されてもよい。例えば、第２のカメラ２２ａ及び２２ｂは、第１のカメラ２１と高さの異なる位置に配置されてもよい。
【００１７】
第１のカメラ２１並びに第２のカメラ２２ａ及び２２ｂは、予めカメラキャリブレーションが行われている。カメラキャリブレーションによって得られた外部パラメータ、内部パラメータ、レンズ歪補正マップなどのカメラパラメータ情報は、予め記憶部１４に記憶される。カメラキャリブレーションは、第１のカメラ２１並びに第２のカメラ２２ａ及び２２ｂの各々を設置した状態でも行われる。カメラキャリブレーションにおいては、予め決められたキャリブレーション用のマーカを用いてもよい。
【００１８】
画像処理部１２の射影変換部１２１は、複数の第２の画像３２ａ及び３２ｂを射影変換することによって予め決められた位置から見た複数の射影変換画像（第３の画像）１２１ａ，…を生成する。予め決められた位置は、例えば、第１のカメラ２１の位置、望ましくは、第１のカメラ２１の光軸上の位置である。
【００１９】
画像処理部１２の変換画像合成部１２２は、複数の射影変換画像１２１ａ，…を合成することによって合成射影変換画像（第４の画像）１２２ａを生成する。具体的には、画像処理部１２の変換画像合成部１２２は、複数の第２のカメラ２２ａ及び２２ｂが撮影した複数の第２の画像３２ａ及び３２ｂの共通領域の画像部分をブレンド処理（例えば、αブレンド処理又はマルチバンドブレンド処理など）することによって、第１の画像３１のマスク領域に対応する補完画像を生成する。なお、αブレンドに用いられるα値は、予め指定された値、又はキーボード若しくはマウスなどの入力装置でユーザが指定した値である。
【００２０】
画像処理部１２の補完画像生成部１２３は、合成射影変換画像１２２ａにおけるマスク領域（すなわち、物体に対応する設定領域）に対応する領域の画像を抽出することによって補完画像（第５の画像）１２３ａを生成する。
【００２１】
画像処理部１２の画像重畳部１２４は、第１の画像３１と補完画像１２３ａとを合成することによって合成表示画像１２４ａを生成する。具体的には、画像重畳部１２４は、１つの第１の画像３１におけるマスク領域に補完画像１２３ａを重畳することによって合成表示画像１２４ａを生成する。或いは、画像重畳部１２４は、複数の第１の画像３１，…の各々におけるマスク領域に補完画像１２３ａを重畳し、その後、複数の第１の画像３１，…を合成することによって合成表示画像１２４ａを生成する。或いは、画像重畳部１２４は、複数の第１の画像３１，…から生成された合成画像（例えば、合成パノラマ画像）のマスク領域に補完画像１２３ａを重畳することによって合成表示画像１２４ａを生成する。なお、重畳は、２つの画像の各々の透過度（例えば、α値）を考慮に入れた合成処理であるブレンド処理（例えば、αブレンド処理）であってもよい。
【００２２】
画像出力部１３は、画像処理部１２で生成された合成表示画像１２４ａをそのまま又は信号形式を変換して表示装置１００に出力する。表示装置１００は、死角領域の画像を含む表示画像をスクリーンに表示する。
【００２３】
《１−２》動作
図２は、実施の形態１に係る画像処理装置１及び監視システムの動作を示す説明図である。図３は、実施の形態１に係る画像処理装置１の動作例を示すフローチャートである。
【００２４】
先ず、ステップＳ１２０において、画像処理装置１の受信部１１は、物体５０が存在する領域を撮影する第１のカメラ２１から提供される第１の画像３１を受信する。また、受信部１１は、物体５０に隠れて第１のカメラ２１の位置から見えない死角領域６０を含む領域を撮影する第２のカメラ２２ａ及び２２ｂから提供される第２の画像３２ａ及び３２ｂを受信する。
【００２５】
次のステップＳ１２１において、画像処理部１２の射影変換部１２１は、第２の画像３２ａ及び３２ｂの各々を射影変換することによって予め決められた位置から見た２つの射影変換画像（第３の画像）１２１ａ，…を生成する。予め決められた位置は、例えば、第１のカメラ２１の位置、望ましくは、第１のカメラ２１の光軸上の位置である。
【００２６】
次のステップＳ１２２において、画像処理部１２の変換画像合成部１２２は、２つの射影変換画像１２１ａ，…を合成することによって合成射影変換画像（第４の画像）１２２ａを生成する。
【００２７】
次のステップＳ１２３において、画像処理部１２の補完画像生成部１２３は、合成射影変換画像１２２ａにおけるマスク領域５１に対応する領域の画像を抽出することによって補完画像（第５の画像）１２３ａを生成する。
【００２８】
次のステップＳ１２４において、画像処理部１２の画像重畳部１２４は、第１の画像３１におけるマスク領域５１に補完画像１２３ａを重畳することによって合成表示画像１２４ａを生成する。
【００２９】
画像出力部１３は、合成表示画像１２４ａを表示装置１００に出力する。図２に示されるように、表示装置１００は、スクリーンに、マスク領域５１内が補完画像１２３ａに基づく死角領域画像１３０ａに置き換えられた表示画像１３０を表示する。
【００３０】
図４は、実施の形態１に係る画像処理装置１の他の動作例を示すフローチャートである。図４において、図３に示される処理ステップと同じ又は対応する処理ステップには、図３に示される符号と同じ符号が付される。図４の動作例では、ステップＳ１２０ａにおいて、受信部１１が、複数の第１の画像３１，…を受信する点が図３の動作例と相違する。
【００３１】
図４の動作例では、ステップＳ１２３ａにおいて、補完画像生成部１２３は、複数の第１の画像３１，…のマスク領域５１，…に対応する複数の補完画像１２３ａ，…を生成する。
【００３２】
また、図４の動作例では、ステップＳ１２４ａにおいて、画像重畳部１２４は、複数の第１の画像３１，…のマスク領域５１，…に、対応する補完画像１２３ａ，…を重畳する。ステップＳ１２６において、画像重畳部１２４は、重畳処理後の複数の第１の画像３１，…を繋ぎ合わせて合成して、合成表示画像１２４ａを生成する。
【００３３】
図５は、実施の形態１に係る画像処理装置１の他の動作例を示すフローチャートである。図５において、図３又は図４に示される処理ステップと同じ又は対応する処理ステップには、図３又は図４に示される符号と同じ符号が付される。図５の動作例では、ステップＳ１２０ａにおいて、受信部１１が、複数の第１の画像３１，…を受信する点が図３の動作例と相違する。
【００３４】
図５の動作例では、ステップＳ１２３ｂにおいて、補完画像生成部１２３は、複数の第１の画像３１，…の合成画像のマスク領域に対応する補完画像１２３ａを生成する。ステップＳ１２６ａにおいて、画像重畳部１２４は、重畳処理後の複数の第１の画像３１，…を繋ぎ合わせて合成して、合成画像を生成する。
【００３５】
次のステップＳ１２４ｂにおいて、画像重畳部１２４は、合成画像のマスク領域に補完画像１２３ａを重畳することで合成表示画像１２４ａを生成する。
【００３６】
《１−３》効果
以上に説明したように、実施の形態１に係る画像処理装置１及び監視システムによれば、広領域画像である第１の画像３１内に物体５０に隠れて見えない死角領域６０が発生した場合であっても、表示装置１００の１つのスクリーンに、死角領域６０が補完画像１２３ａで置き換えられた死角領域画像１３０ａを含む表示画像１３０を表示することができる。したがって、死角領域画像１３０ａだけを別のスクリーンに表示する場合に比べ、監視者は、撮影領域の状況を容易且つ正確に把握することができる。
【００３７】
《２》実施の形態２．
図６は、実施の形態２に係る画像処理装置２及び監視システムを概略的に示す機能ブロック図である。図６において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。図６に示されるように、画像処理装置２は、受信部１１と、画像処理部２２と、画像出力部１３と、記憶部１４とを有する。画像処理部２２は、射影変換部２２１と、画像選択部２２２と、補完画像生成部２２３と、画像重畳部２２４とを有する。
【００３８】
実施の形態１では、第２の画像３２ａ及び３２ｂの合成射影変換画像１２２ａを用いて補完画像１２３ａを生成したが、実施の形態２では、第２の画像３２ａ及び３２ｂの一方を選択し、選択された第２の画像である選択画像２２２ａを用いて補完画像２２３ａを生成する。この点以外に関しては、実施の形態２は、実施の形態１と同じである。
【００３９】
図７は、実施の形態２に係る画像処理装置２の動作例を示すフローチャートである。先ず、ステップＳ２２０において、画像処理装置２の受信部１１は、第１の画像３１と第２の画像３２ａ及び３２ｂとを受信する。
【００４０】
次のステップＳ２２１において、画像処理部２２の射影変換部２２１は、第２の画像３２ａ及び３２ｂの各々を射影変換することによって予め決められた位置から見た２つの射影変換画像（第３の画像）２２１ａ，…を生成する。
【００４１】
次のステップＳ２２２において、画像処理部２２の画像選択部２２２は、複数の射影変換画像２２１ａ，…から、複数の射影変換画像２２１ａ，…の各々の一部の領域をマスク領域５１に配置した場合にマスク領域５１の境界の画素のエネルギーが最小となる前記一部の領域を提供することができる射影変換画像（第４の画像）２２２ａを選択する。マスク領域５１の境界の画素のエネルギーを用いる方法は、例えば、Ｓｅａｍ  Ｃａｒｖｉｎｇ法である。
【００４２】
次のステップＳ２２３において、画像処理部２２の補完画像生成部２２３は、選択された射影変換画像である選択画像２２２ａにおけるマスク領域５１に対応する領域の画像を抽出することによって補完画像２２３ａを生成する。
【００４３】
次のステップＳ２２４において、画像処理部２２の画像重畳部２２４は、第１の画像３１におけるマスク領域５１に補完画像２２３ａを重畳することによって合成表示画像２２４ａを生成する。
【００４４】
画像出力部１３は、画像処理部２２で生成された合成表示画像２２４ａをそのまま又は信号形式を変換して表示装置１００に出力する。表示装置１００は、死角領域の画像を含む表示画像をスクリーンに表示する。
【００４５】
以上に説明したように、実施の形態２に係る画像処理装置２及び監視システムによれば、死角領域画像を別のスクリーンに表示する場合に比べ、撮影領域の状況を容易且つ正確に把握することができる。
【００４６】
また、実施の形態２では、第２の画像３２ａ及び３２ｂを合成していないので、実施の形態１の場合に比べ、データ処理の負荷を軽減することができる。
【００４７】
《３》実施の形態３．
図８は、実施の形態３に係る画像処理装置３及び監視システムを概略的に示す機能ブロック図である。図８において、図１又は図６に示される構成要素と同一又は対応する構成要素には、図１又は図６に示される符号と同じ符号が付される。図８に示されるように、画像処理装置３は、受信部１１と、画像処理部３２と、画像出力部１３と、記憶部１４とを有する。画像処理部３２は、画像選択部３２１と、射影変換部３２２と、補完画像生成部３２３と、画像重畳部３２４とを有する。
【００４８】
実施の形態１では、第２の画像３２ａ及び３２ｂの合成射影変換画像１２２ａを用いて補完画像１２３ａを生成したが、実施の形態３では、第２の画像３２ａ及び３２ｂの一方を選択し、選択された第２の画像を射影変換して得られた選択画像３２１ａを用いて補完画像３２３ａを生成する。この点以外に関しては、実施の形態３は、実施の形態１と同じである。
【００４９】
図９は、実施の形態３に係る画像処理装置３の動作例を示すフローチャートである。先ず、ステップＳ３２０において、画像処理装置３の受信部１１は、第１の画像３１と第２の画像３２ａ及び３２ｂとを受信する。
【００５０】
次のステップＳ３２１において、画像処理部３２の画像選択部３２１は、第２の画像３２ａ及び３２ｂから、第１のカメラ２１の光軸４１の方向に、より近い方向の光軸４２ａ又は４２ｂを持つ第２のカメラ２２ａ又は２２ｂで撮影された第２の画像である選択画像（第３の画像）３２１ａを選択する。
【００５１】
次のステップＳ３２２において、画像処理部３２の射影変換部３２２は、選択画像３２１ａを射影変換することによって予め決められた位置から見た射影変換画像（第４の画像）３２２ａを生成する。
【００５２】
次のステップＳ３２３において、画像処理部３２の補完画像生成部３２３は、射影変換画像３２２ａにおけるマスク領域５１に対応する領域の画像を抽出することによって補完画像３２３ａを生成する。
【００５３】
次のステップＳ３２４において、画像処理部３２の画像重畳部３２４は、第１の画像３１におけるマスク領域５１に補完画像３２３ａを重畳することによって合成表示画像３２４ａを生成する。
【００５４】
画像出力部１３は、画像処理部３２で生成された合成表示画像３２４ａをそのまま又は信号形式を変換して表示装置１００に出力する。表示装置１００は、死角領域の画像を含む表示画像をスクリーンに表示する。
【００５５】
以上に説明したように、実施の形態３に係る画像処理装置３及び監視システムによれば、表示装置１００の１つのスクリーンに、死角領域６０が補完画像で置き換えられた合成表示画像を表示させることができる。したがって、死角領域の画像を別のスクリーンに表示する場合に比べ、撮影領域の状況を容易且つ正確に把握することができる。
【００５６】
また、実施の形態３では、第２の画像３２ａ及び３２ｂを合成していないので、データ処理の負荷を軽減することができる。
【００５７】
《４》実施の形態４．
図１０は、実施の形態４に係る画像処理装置４を概略的に示す機能ブロック図である。図１０において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。図１０に示されるように、監視システムは、１つ以上の第１のカメラ２１と、複数の第２のカメラ２２ａ及び２２ｂと、画像処理装置４と、表示装置１００とを有する。画像処理装置４は、受信部１１と、画像処理部４２と、画像出力部１３と、カメラパラメータ情報と参照画像情報を記憶する記憶部１４とを有する。参照画像情報が示す参照画像は、過去に第２のカメラ２２ａ及び２２ｂで撮影された第２の画像に基づく画像である。物体５０（後述の図１１に示される）が移動する場合、参照画像には物体５０が存在しないときの情報が含まれる。また、画像処理部４２は、画像分割部４２１と、画像生成部４２２と、射影変換部４２３と、変換画像合成部４２４と、補完画像生成部４２５と、画像重畳部４２６とを有する。
【００５８】
実施の形態４では、第２の画像３２ａ及び３２ｂの各々を物体５０を示す前景画像部分４２１ａと、前景画像部分４２１ａ以外の背景画像部分４２１ｂとに分割し、前景画像部分を予め記憶されている参照画像の一部で置き換える処理を行う点が、実施の形態１と相違する。
【００５９】
図１１は、実施の形態４に係る画像処理装置４及び監視システムの動作を示す説明図である。図１１において、図２に示される構成要素と同一又は対応する構成要素には、図２に示される符号と同じ符号が付される。図１１の例では、表示装置１００は、参照画像に基づいて作成された死角領域画像４３０ａを含む表示画像４３０を表示する。
【００６０】
図１２は、実施の形態４に係る画像処理装置４の動作例を示すフローチャートである。先ず、ステップＳ４２０において、画像処理装置４の受信部１１は、第１の画像３１と第２の画像３２ａ及び３２ｂとを受信する。
【００６１】
次のステップＳ４２１において、画像処理部４２の画像分割部４２１は、第２の画像３２ａ及び３２ｂの各々を、物体５０が占める前景画像部分４２１ａと前景画像部分４２１ａ以外の背景画像部分４２１ｂとに分割する。前景画像部分である物体５０の抽出は、例えば、グラフカットと呼ばれる画像の領域抽出のための画像セグメンテ−ション技術を用いて行われる。グラフカットを用いることによって、第２の画像の各々を背景画像部分４２１ｂと前景画像部分４２１ａとに分割することができる。なお、前景画像部分４２１ａの抽出には、ディープラーニングを用いたセマンティックセグメンテーションなどのような他の方法を用いてもよい。
【００６２】
次のステップＳ４２２において、画像処理部４２の画像生成部４２２は、前景画像部分４２１ａを参照画像の一部の画像部分で置き換えることによって第２の画像３２ａ及び３２ｂから複数の変更済み画像（第３の画像）４２２ａ，…を生成する。
【００６３】
次のステップＳ４２３において、画像処理部４２の射影変換部４２３は、複数の変更済み画像４２２ａ，…の各々を射影変換することによって予め決められた位置から見た複数の射影変換画像（第４の画像）４２３ａ，…を生成する。予め決められた位置は、例えば、第１のカメラ２１の位置、望ましくは、第１のカメラ２１の光軸上の位置である。
【００６４】
次のステップＳ４２４において、画像処理部４２の変換画像合成部４２４は、複数の射影変換画像４２３ａ，…を合成することによって合成射影変換画像（第５の画像）４２４ａを生成する。
【００６５】
次のステップＳ４２５において、画像処理部４２の補完画像生成部４２５は、合成射影変換画像４２４ａにおけるマスク領域に対応する領域の画像を抽出することによって補完画像４２５ａを生成する。
【００６６】
次のステップＳ４２６において、画像処理部４２の画像重畳部４２６は、第１の画像３１におけるマスク領域５１に補完画像４２５ａを重畳することによって合成表示画像４２６ａを生成する。重畳は、各画像の透過度を考慮したブレンド処理であってもよい。
【００６７】
画像出力部１３は、画像処理部４２で生成された合成表示画像４２６ａをそのまま又は信号形式を変換して表示装置１００に出力する。表示装置１００は、スクリーンに、マスク領域５１内が補完画像４２５ａに基づく死角領域画像（図１１における４３０ａ）に置き換えられた表示画像（図１１における４３０）を表示する。
【００６８】
図１３は、実施の形態４に係る画像処理装置４の他の動作例を示すフローチャートである。図１３において、図１２に示される処理ステップと同じ又は対応する処理ステップには、図１２に示される符号と同じ符号が付される。図１３の動作例では、ステップＳ４２０ａにおいて、受信部１１が、複数の第１の画像３１，…を受信する点が図１２の動作例と相違する。
【００６９】
図１３の動作例では、ステップＳ４２５ａにおいて、補完画像生成部４２５は、複数の第１の画像３１，…の各々のマスク領域５１について、補完画像４２３ａ，…を生成する。また、ステップＳ４２６ａにおいて、画像重畳部４２６は、複数の第１の画像３１のマスク領域５１，…に補完画像４２５ａ，…を重畳する。
【００７０】
図１３の動作例では、ステップＳ４２８において、画像重畳部４２６は、重畳処理後の複数の第１の画像３１，…を繋ぎ合わせて合成して、合成表示画像４２６ａを生成する。
【００７１】
図１４は、実施の形態４に係る画像処理装置４の他の動作例を示すフローチャートである。図１４において、図１２又は図１３に示される処理ステップと同じ又は対応する処理ステップには、図１２又は図１３に示される符号と同じ符号が付される。図１４の動作例では、ステップＳ４２０ａにおいて、受信部１１が、複数の第１の画像３１，…を受信する点が図１２の動作例と相違する。
【００７２】
図１４の動作例では、ステップＳ４２５ｂにおいて、補完画像生成部４２５は、複数の第１の画像３１，…の合成画像のマスク領域５１について、補完画像４２５ａを生成する。ステップＳ４２８ａにおいて、画像重畳部４２６は、重畳処理後の複数の第１の画像３１，…を繋ぎ合わせて合成して、合成画像を生成する。
【００７３】
図１４の動作例では、次のステップＳ４２６ｂにおいて、画像重畳部４２６は、合成画像のマスク領域に補完画像４２５ａを重畳することで合成表示画像４２６ａを生成する。
【００７４】
以上に説明したように、実施の形態４に係る画像処理装置４及び監視システムによれば、表示装置１００の１つのスクリーンに、死角領域画像４３０ａを含む表示画像４３０が表示される。したがって、死角領域画像４３０ａを別のスクリーンに表示する場合に比べ、撮影領域の状況を容易且つ正確に把握することができる。
【００７５】
また、実施の形態４では、予め記憶されている参照画像を用いて第２の画像を修正しているので、データ処理の負荷を増加させることなく、合成表示画像の品質を高めることができる。
【００７６】
《５》実施の形態５．
図１５は、実施の形態５に係る画像処理装置５及び監視システムを概略的に示す機能ブロック図である。図１５において、図１０に示される構成要素と同一又は対応する構成要素には、図１０に示される符号と同じ符号が付される。図１５に示されるように、画像処理装置５は、受信部１１と、画像処理部５２と、画像出力部１３と、記憶部１４とを有する。画像処理部５２は、画像分割部５２１と、画像生成部５２２と、射影変換部５２３と、画像選択部５２４と、補完画像生成部５２５と、画像重畳部５２６とを有する。
【００７７】
実施の形態４では、第２の画像３２ａ及び３２ｂの合成射影変換画像４２４ａを用いて補完画像４２５ａを生成したが、実施の形態５では、第２の画像３２ａ及び３２ｂの一方を選択し、選択された第２の画像である選択画像５２４ａを用いて補完画像５２５ａを生成する。この点以外に関しては、実施の形態５は、実施の形態４と同じである。
【００７８】
図１６は、実施の形態５に係る画像処理装置５の動作例を示すフローチャートである。先ず、ステップＳ５２０において、画像処理装置５の受信部１１は、第１の画像３１と第２の画像３２ａ及び３２ｂとを受信する。
【００７９】
次のステップＳ５２１において、画像処理部５２の画像分割部５２１は、第２の画像３２ａ及び３２ｂの各々を、物体５０が占める前景画像部分５２１ａと前景画像部分５２１ａ以外の背景画像部分５２１ｂとに分割する。
【００８０】
次のステップＳ５２２において、画像処理部５２の画像生成部５２２は、前景画像部分５２１ａを参照画像の一部の画像に置き換えることによって複数の変更済み画像（第３の画像）５２２ａ，…を生成する。
【００８１】
次のステップＳ５２３において、画像処理部５２の射影変換部５２３は、複数の変更済み画像５２２ａ，…の各々を射影変換することによって予め決められた位置から見た複数の射影変換画像（第４の画像）５２３ａ，…を生成する。
【００８２】
次のステップＳ５２４において、画像処理部５２の画像選択部５２４は、複数の射影変換画像５２３ａ，…から、複数の射影変換画像５２３ａ，…の一部の領域をマスク領域に配置した場合にマスク領域の境界の画素のエネルギーが最小となる一部の領域を提供できる選択画像（第５の画像）５２４ａを選択する。
【００８３】
次のステップＳ５２５において、画像処理部５２の補完画像生成部５２５は、選択画像５２４ａにおけるマスク領域５１に対応する領域の画像を抽出することによって補完画像５２５ａを生成する。
【００８４】
次のステップＳ５２６において、画像処理部５２の画像重畳部５２６は、第１の画像３１におけるマスク領域５１に補完画像５２５ａを重畳することによって合成表示画像５２６ａを生成する。
【００８５】
画像出力部１３は、画像処理部５２で生成された合成表示画像５２６ａをそのまま又は信号形式を変換して表示装置１００に出力する。表示装置１００は、死角領域の画像を含む表示画像をスクリーンに表示する。
【００８６】
以上に説明したように、実施の形態５に係る画像処理装置５及び監視システムによれば、表示装置１００の１つのスクリーンに、死角領域６０が補完画像で置き換えられた合成表示画像を表示させることができる。したがって、死角領域の画像を別のスクリーンに表示する場合に比べ、撮影領域の状況を容易且つ正確に把握することができる。
【００８７】
また、実施の形態５では、予め記憶されている参照画像を用いて第２の画像を修正しているので、データ処理の負荷を増加させることなく、合成表示画像の品質を高めることができる。
【００８８】
《６》実施の形態６．
図１７は、実施の形態６に係る画像処理装置６及び監視システムを概略的に示す機能ブロック図である。図１７において、図１０又は図１５に示される構成要素と同一又は対応する構成要素には、図１０又は図１５に示される符号と同じ符号が付される。図１７に示されるように、画像処理装置６は、受信部１１と、画像処理部６２と、画像出力部１３と、記憶部１４とを有する。画像処理部６２は、画像分割部６２１と、画像生成部６２２と、画像選択部６２３と、射影変換部６２４と、補完画像生成部６２５と、画像重畳部６２６とを有する。
【００８９】
実施の形態４では、第２の画像３２ａ及び３２ｂの合成射影変換画像４２４ａを用いて補完画像４２５ａを生成したが、実施の形態６では、第２の画像３２ａ及び３２ｂの一方を選択し、選択された選択画像６２３ａを用いて補完画像６２５ａを生成する。この点以外に関して、実施の形態６は、実施の形態４と同じである。
【００９０】
図１８は、実施の形態６に係る画像処理装置６の動作例を示すフローチャートである。先ず、ステップＳ６２０において、画像処理装置６の受信部１１は、第１の画像３１と第２の画像３２ａ及び３２ｂとを受信する。
【００９１】
次のステップＳ６２１において、画像処理部６２の画像分割部６２１は、第２の画像３２ａ及び３２ｂの各々を、物体５０が占める前景画像部分６２１ａと前景画像部分６２１ａ以外の背景画像部分６２１ｂとに分割する。
【００９２】
次のステップＳ６２２において、画像処理部６２の画像生成部６２２は、前景画像部分６２１ａを参照画像の一部の画像に置き換えることによって第２の画像３２ａ及び３２ｂから複数の変更済み画像（第３の画像）６２２ａ，…を生成する。
【００９３】
次のステップＳ６２３において、画像処理部６２の画像選択部６２３は、複数の変更済み画像６２２ａ，…から、第１のカメラ２１の光軸４１の方向に、より近い方向の光軸４２ａ又は４２ｂを持つ第２のカメラ２２ａ又は２２ｂで撮影された選択画像（第４の画像）６２３ａを選択する。
【００９４】
次のステップＳ６２４において、画像処理部６２の射影変換部６２４は、選択画像６２３ａを射影変換することによって予め決められた位置から見た射影変換画像（第５の画像）６２４ａを生成する。
【００９５】
次のステップＳ６２５において、画像処理部６２の補完画像生成部６２５は、射影変換画像（第５の画像）６２４ａにおけるマスク領域に対応する領域の画像を抽出することによって補完画像６２５ａを生成する。
【００９６】
次のステップＳ６２６において、画像処理部６２の画像重畳部６２６は、第１の画像３１におけるマスク領域５１に補完画像６２５ａを重畳することによって合成表示画像６２６ａを生成する。
【００９７】
画像出力部１３は、画像処理部１２で生成された合成表示画像６２６ａをそのまま又は信号形式を変換して表示装置１００に出力する。表示装置１００は、死角領域の画像を含む表示画像をスクリーンに表示する。
【００９８】
以上に説明したように、実施の形態６に係る画像処理装置６及び監視システムによれば、表示装置１００の１つのスクリーンに、死角領域６０が補完画像で置き換えられた合成表示画像を表示させることができる。したがって、死角領域の画像を別のスクリーンに表示する場合に比べ、撮影領域の状況を容易且つ正確に把握することができる。
【００９９】
また、実施の形態６では、予め記憶されている参照画像を用いて第２の画像を修正しているので、データ処理の負荷を増加させることなく、合成表示画像の品質を高めることができる。
【０１００】
《７》実施の形態７．
図１９は、実施の形態７に係る画像処理装置７を概略的に示す機能ブロック図である。図１９において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。図１９に示されるように、監視システムは、１つ以上の第１のカメラ２１と、複数の第２のカメラ２２ａ及び２２ｂと、画像処理装置７と、表示装置１００とを有する。画像処理装置７は、受信部１１と、画像処理部７２と、画像出力部１３と、カメラパラメータ情報と３次元（「３Ｄ」とも記す）仮想物体モデルの候補とを記憶する記憶部１４とを有する。３Ｄ仮想物体モデルは、予め実在する物体に似た形状の画像データである。物体とは、例えば、人物、車両、動物、設備機器などである。画像処理部７２は、画像分割部７２１と、画像生成部７２２と、射影変換部７２３と、変換画像合成部７２４と、補完画像生成部７２５と、画像重畳部７２６とを有する。
【０１０１】
実施の形態７では、第２の画像３２ａ及び３２ｂの各々を物体を示す前景画像部分７２１ａと、前景画像部分７２１ａ以外の背景画像部分７２１ｂとに分割し、前景画像部分を予め記憶されている３Ｄ仮想物体モデルで置き換える処理を行う点が、実施の形態１と相違する。他の点に関しては、実施の形態７は、実施の形態１と同じである。３Ｄ仮想物体モデルは、第２のカメラの前景画像の画像を３Ｄ仮想物体モデルにテクスチャマッピングしたものであってもよい。このようにすることで、物体の位置姿勢だけでなく、物体表面の状況まで把握することが可能になる。
【０１０２】
図２０は、実施の形態７に係る画像処理装置７及び監視システムの動作を示す説明図である。図２０において、図２又は図１１に示される構成要素と同一又は対応する構成要素には、図２又は図１１に示される符号と同じ符号が付される。図２０の例では、表示装置１００は、３Ｄ仮想物体モデルに基づいて作成された死角領域画像５３０ａを含む表示画像５３０を表示する。
【０１０３】
図２１は、実施の形態７に係る画像処理装置７の動作例を示すフローチャートである。先ず、ステップＳ７２０において、画像処理装置４の受信部１１は、第１の画像３１と第２の画像３２ａ及び３２ｂとを受信する。
【０１０４】
次のステップＳ７２１において、画像処理部７２の画像分割部７２１は、第２の画像３２ａ及び３２ｂの各々を、物体５０が占める前景画像部分７２１ａと前景画像部分７２１ａ以外の背景画像部分７２１ｂとに分割する。
【０１０５】
次のステップＳ７２２において、画像処理部７２の画像生成部７２２は、前景画像部分７２１ａを３Ｄ仮想物体モデルで置き換えることによって第２の画像３２ａ及び３２ｂから複数の変更済み画像（第３の画像）７２２ａ，…を生成する。３Ｄ仮想物体モデルは、適切なスケールと位置及び姿勢で配置される。
【０１０６】
次のステップＳ７２３において、画像処理部７２の射影変換部７２３は、複数の変更済み画像７２２ａ，…の各々を射影変換することによって予め決められた位置から見た複数の射影変換画像（第４の画像）７２３ａ，…を生成する。予め決められた位置は、例えば、第１のカメラ２１の位置、望ましくは、第１のカメラ２１の光軸上の位置である。
【０１０７】
次のステップＳ７２４において、画像処理部７２の変換画像合成部７２４は、複数の射影変換画像７２３ａ，…を合成することによって合成射影変換画像（第５の画像）７２４ａを生成する。
【０１０８】
次のステップＳ７２５において、画像処理部７２の補完画像生成部７２５は、合成射影変換画像７２４ａにおけるマスク領域に対応する領域の画像を抽出することによって補完画像７２５ａを生成する。
【０１０９】
次のステップＳ７２６において、画像処理部７２の画像重畳部７２４は、第１の画像３１におけるマスク領域５１に補完画像７２５ａを重畳することによって合成表示画像７２６ａを生成する。重畳は、各画像の透過度を考慮したブレンド処理であってもよい。
【０１１０】
画像出力部１３は、合成表示画像７２６ａを表示装置１００に出力する。表示装置１００は、スクリーンに、マスク領域５１内が補完画像７２５ａに基づく死角領域画像（図２０における５３０ａ）に置き換えられた表示画像（図２０における５３０）を表示する。
【０１１１】
以上に説明したように、実施の形態７に係る画像処理装置７及び監視システムによれば、表示装置１００の１つのスクリーンに、死角領域６０が補完画像で置き換えられた合成表示画像を表示させることができる。したがって、死角領域画像５３０ａを別のスクリーンに表示する場合に比べ、撮影領域の状況を容易且つ正確に把握することができる。
【０１１２】
また、実施の形態７では、予め記憶されている３Ｄ仮想物体モデルを用いて第２の画像を修正しているので、データ処理の負荷を増加させることなく、合成表示画像の品質を高めることができる。また、第２のカメラの撮影画像内に占める第２のカメラの前景画像の割合が大きい場合には、射影変換された前景画像の歪が目立つので、本実施の形態の方法が効果的である。
【０１１３】
《８》実施の形態８．
図２２は、実施の形態８に係る画像処理装置８及び監視システムを概略的に示す機能ブロック図である。図２２において、図１９に示される構成要素と同一又は対応する構成要素には、図１９に示される符号と同じ符号が付される。図２２に示されるように、画像処理装置８は、受信部１１と、画像処理部８２と、画像出力部１３と、記憶部１４とを有する。画像処理部８２は、画像分割部８２１と、画像生成部８２２と、射影変換部８２３と、画像選択部８２４と、補完画像生成部８２５と、画像重畳部８２６とを有する。
【０１１４】
実施の形態７では、第２の画像３２ａ及び３２ｂの合成射影変換画像７２４ａを用いて補完画像７２５ａを生成したが、実施の形態８では、第２の画像３２ａ及び３２ｂの一方を選択し、選択画像８２４ａを用いて補完画像８２５ａを生成する。この点以外に関しては、実施の形態８は、実施の形態７と同じである。
【０１１５】
図２３は、実施の形態８に係る画像処理装置８の動作例を示すフローチャートである。先ず、ステップＳ８２０において、画像処理装置８の受信部１１は、第１の画像３１と第２の画像３２ａ及び３２ｂとを受信する。
【０１１６】
次のステップＳ８２１において、画像処理部８２の画像分割部８２１は、第２の画像３２ａ及び３２ｂの各々を、物体５０が占める前景画像部分８２１ａと前景画像部分８２１ａ以外の背景画像部分８２１ｂとに分割する。
【０１１７】
次のステップＳ８２２において、画像処理部８２の画像生成部８２２は、前景画像部分８２１ａを３Ｄ仮想物体モデルの画像に置き換えることによって複数の変更済み画像（第３の画像）８２２ａ，…を生成する。
【０１１８】
次のステップＳ８２３において、画像処理部８２の射影変換部８２３は、複数の変更済み８２２ａ，…の各々を射影変換することによって予め決められた位置から見た複数の射影変換画像（第４の画像）８２３ａ，…を生成する。
【０１１９】
次のステップＳ８２４において、画像処理部８２の画像選択部８２４は、複数の射影変換画像８２３ａ，…から、複数の射影変換画像８２３ａ，…の一部の領域をマスク領域に配置した場合にマスク領域の境界の画素のエネルギーが最小となる一部の領域を提供できる選択画像（第５の画像）８２４ａを選択する。
【０１２０】
次のステップＳ８２５において、画像処理部８２の補完画像生成部８２５は、選択画像８２４ａにおけるマスク領域に対応する領域の画像を抽出することによって補完画像８２５ａを生成する。
【０１２１】
次のステップＳ８２６において、画像処理部８２の画像重畳部８２６は、第１の画像３１におけるマスク領域５１に補完画像８２５ａを重畳することによって合成表示画像８２６ａを生成する。
【０１２２】
画像出力部１３は、画像処理部１２で生成された合成表示画像８２６ａをそのまま又は信号形式を変換して表示装置１００に出力する。表示装置１００は、死角領域の画像を含む表示画像をスクリーンに表示する。
【０１２３】
以上に説明したように、実施の形態８に係る画像処理装置８及び監視システムによれば、表示装置１００の１つのスクリーンに、死角領域６０が補完画像で置き換えられた合成表示画像を表示させることができる。したがって、死角領域の画像を別のスクリーンに表示する場合に比べ、撮影領域の状況を容易且つ正確に把握することができる。
【０１２４】
また、実施の形態８では、予め記憶されている３Ｄ仮想物体モデルの画像を用いて第２の画像を修正しているので、データ処理の負荷を増加させることなく、合成表示画像の品質を高めることができる。
【０１２５】
《９》実施の形態９．
図２４は、実施の形態９に係る画像処理装置９及び監視システムを概略的に示す機能ブロック図である。図２４において、図１９又は図２２に示される構成要素と同一又は対応する構成要素には、図１９又は図２２に示される符号と同じ符号が付される。図２４に示されるように、画像処理装置９は、受信部１１と、画像処理部９２と、画像出力部１３と、記憶部１４とを有する。画像処理部９２は、画像分割部９２１と、画像生成部９２２と、画像選択部９２３と、射影変換部９２４と、補完画像生成部９２５と、画像重畳部９２６とを有する。
【０１２６】
実施の形態７では、第２の画像３２ａ及び３２ｂの合成射影変換画像７２４ａを用いて補完画像７２５ａを生成したが、実施の形態９では、第２の画像３２ａ及び３２ｂの一方を選択し、選択された第２の画像である選択画像９２３ａを用いて補完画像９２５ａを生成する。この点以外に関して、実施の形態９は、実施の形態７と同じである。
【０１２７】
図２４は、実施の形態９に係る画像処理装置９の動作例を示すフローチャートである。先ず、ステップＳ９２０において、画像処理装置９の受信部１１は、第１の画像３１と第２の画像３２ａ及び３２ｂとを受信する。
【０１２８】
次のステップＳ９２１において、画像処理部９２の画像分割部９２１は、第２の画像３２ａ及び３２ｂの各々を、物体５０が占める前景画像部分９２１ａと前景画像部分９２１ａ以外の背景画像部分９２１ｂとに分割する。
【０１２９】
次のステップＳ９２２において、画像処理部９２の画像生成部９２２は、前景画像部分９２１ａを３Ｄ仮想物体モデルの画像に置き換えることによって第２の画像３２ａ及び３２ｂから複数の変更済み画像（第３の画像）９２２ａ，…を生成する。
【０１３０】
次のステップＳ９２３において、画像処理部９２の画像選択部９２３は、複数の変更済み画像９２２ａ，…から、第１のカメラ２１の光軸４１の方向に、より近い方向の光軸４２ａ又は４２ｂを持つ第２のカメラ２２ａ又は２２ｂで撮影された選択画像（第４の画像）９２３ａを選択する。
【０１３１】
次のステップＳ９２４において、画像処理部９２の射影変換部９２４は、選択画像９２３ａを射影変換することによって予め決められた位置から見た射影変換画像（第５の画像）９２４ａを生成する。
【０１３２】
次のステップＳ９２５において、画像処理部９２の補完画像生成部９２５は、射影変換画像（第５の画像）９２４ａにおけるマスク領域に対応する領域の画像を抽出することによって補完画像９２５ａを生成する。
【０１３３】
次のステップＳ９２６において、画像処理部９２の画像重畳部９２６は、第１の画像３１におけるマスク領域５１に補完画像９２５ａを重畳することによって合成表示画像９２６ａを生成する。
【０１３４】
画像出力部１３は、画像処理部１２で生成された合成表示画像９２６ａをそのまま又は信号形式を変換して表示装置１００に出力する。表示装置１００は、死角領域画像を含む表示画像をスクリーンに表示する。
【０１３５】
以上に説明したように、実施の形態９に係る画像処理装置９及び監視システムによれば、表示装置１００の１つのスクリーンに、死角領域６０が補完画像で置き換えられた合成表示画像を表示させることができる。したがって、死角領域の画像を別のスクリーンに表示する場合に比べ、撮影領域の状況を容易且つ正確に把握することができる。
【０１３６】
また、実施の形態９では、予め記憶されている参照画像を用いて第２の画像を修正しているので、データ処理の負荷を増加させることなく、合成表示画像の品質を高めることができる。
【０１３７】
《１０》変形例．
図２６は、実施の形態１から９に係る監視システムのハードウェア構成の例を示す図である。図２６の例では、画像処理装置１と、画像処理装置１にネットワーク２００を介して接続される第１のカメラ２１並びに第２のカメラ２２ａ及び２２ｂと、物体の位置を検出するセンサ２３と、表示装置１００とを有する。
【０１３８】
画像処理装置１は、メインプロセッサ１１１、メインメモリ１１２、補助メモリ１１３、画像処理プロセッサ１１４、画像処理メモリ１１５、入力インタフェース１１８、ファイルインタフェース１１７、表示インタフェース１１９、及び画像入力インタフェース１１６を有する。画像処理プロセッサ１１４は、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などの並列演算装置である。補助メモリ１１３には、事前のキャリブレーション処理によって算出したカメラパラメータ情報（レンズ歪補正マップなどを含む）が保存されている。メインプロセッサ１１１は、ファイルインタフェース１１７を通じて、メインメモリ１１２に記憶されている情報を読み込む。３Ｄ仮想物体モデルの画像データ及びテクスチャのデータは、補助メモリ１１３に保存される。
【０１３９】
入力インタフェース１１８は、マウス入力及び、キーボード入力、タッチパネル入力などのデバイス入力を受け付け、入力結果をメインメモリ１１２に提供する。画像処理メモリ１１５には、メインメモリ１１２から転送された入力画像、及び画像処理プロセッサ１１４で作成された合成画像を記憶する。表示インタフェース１１９は、合成表示画像をＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ケーブルなどを用いて接続された表示装置１００に出力する。画像入力インタフェース１１６は、第１のカメラ２１，…及び第２のカメラ２２ａ、２２ｂ，…の画像入力を受け付け、入力画像をメインメモリ１１２に記憶させる。第１のカメラ２１，…及び第２のカメラ２２ａ、２２ｂ，…は、例えば、ネットワークカメラ、アナログカメラ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）カメラ、ＨＤ−ＳＤＩ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｓｅｒｉａｌ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）カメラなどであってもよい。センサ２３は、例えば、レーダー又はレーザスキャナなどである。
【０１４０】
画像処理プロセッサ１１４は、メインメモリ１１２に格納されている画像処理プログラムを実行することで、実施の形態１から９の画像処理装置１〜９の各々の画像処理部の機能を実現することができる。
【符号の説明】
【０１４１】
１〜９  画像処理装置、  １１  受信部、  １２、２２、３２、４２、５２、６２、７２、８２、９２  画像処理部、  １３  画像出力部、  １４  記憶部、  ２１  第１のカメラ、  ２２ａ、２２ｂ  第２のカメラ、  ３１  第１の画像、  ３２ａ、３２ｂ  第２の画像、  ４１、４２ａ、４２ｂ  光軸、  ５０  物体、  ５１  マスク領域、  ６０  死角領域、  １００  表示装置、  １２４ａ、２２４ａ、３２４ａ、４２６ａ、５２６ａ、６２６ａ、７２６ａ、８２６ａ、９２６ａ  合成表示画像、  １３０、４３０、５３０  表示画像、  １３０ａ、４３０ａ、５３０ａ  死角領域画像。
【図１】
2019186860.tif 000003
【図２】
2019186860.tif 000004
【図３】
2019186860.tif 000005
【図４】
2019186860.tif 000006
【図５】
2019186860.tif 000007
【図６】
2019186860.tif 000008
【図７】
2019186860.tif 000009
【図８】
2019186860.tif 000010
【図９】
2019186860.tif 000011
【図１０】
2019186860.tif 000012
【図１１】
2019186860.tif 000013
【図１２】
2019186860.tif 000014
【図１３】
2019186860.tif 000015
【図１４】
2019186860.tif 000016
【図１５】
2019186860.tif 000017
【図１６】
2019186860.tif 000018
【図１７】
2019186860.tif 000019
【図１８】
2019186860.tif 000020
【図１９】
2019186860.tif 000021
【図２０】
2019186860.tif 000022
【図２１】
2019186860.tif 000023
【図２２】
2019186860.tif 000024
【図２３】
2019186860.tif 000025
【図２４】
2019186860.tif 000026
【図２５】
2019186860.tif 000027
【図２６】
2019186860.tif 000028
【手続補正書】
【提出日】令和2年3月12日(2020.3.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
物体が存在する領域を撮影する１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記物体に隠れて前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、
前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成する画像処理部と、
を有し、
前記画像処理部は、
前記複数の第２の画像を射影変換することによって予め決められた位置から見た複数の第３の画像を生成する射影変換部と、
前記複数の第３の画像から、前記複数の第３の画像の一部の領域を前記マスク領域に配置した場合に前記マスク領域の境界の画素のエネルギーが最小となる前記一部の領域を提供することができる第３の画像を選択し、選択された画像を第４の画像として出力する画像選択部と、
前記第４の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
を有する
ことを特徴とする画像処理装置。
【請求項２】
物体が存在する領域を撮影する１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記物体に隠れて前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、
前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成する画像処理部と、
を有し、
前記画像処理部は、
前記複数の第２の画像から、前記第１のカメラの光軸の方向に、より近い方向の光軸を持つ第２のカメラで撮影された第２の画像を選択し、選択された画像を第３の画像として出力する画像選択部と、
前記第３の画像を射影変換することによって予め決められた位置から見た第４の画像を生成する射影変換部と、
前記第４の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
を有する
ことを特徴とする画像処理装置。
【請求項３】
物体が存在する領域を撮影する１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記物体に隠れて前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、
前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像と、を合成することによって合成表示画像を生成する画像処理部と、
前記複数の第２のカメラによって過去に撮影された前記複数の第２の画像である参照画像を予め記憶する記憶部と、
を有し、
前記画像処理部は、
前記複数の第２の画像の各々を、前記物体が占める前景画像部分と前記前景画像部分以外の背景画像部分とに分割する画像分割部と、
前記前景画像部分を前記参照画像の一部の画像部分で置き換えることによって前記複数の第２の画像から複数の第３の画像を生成する画像生成部と、
前記複数の第３の画像を射影変換することによって予め決められた位置から見た複数の第４の画像を生成する射影変換部と、
前記複数の第４の画像を合成することによって第５の画像を生成する変換画像合成部と、
前記第５の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
を有することを特徴とする画像処理装置。
【請求項４】
物体が存在する領域を撮影する１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記物体に隠れて前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、
前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像と、を合成することによって合成表示画像を生成する画像処理部と、
前記複数の第２のカメラによって過去に撮影された前記複数の第２の画像である参照画像を予め記憶する記憶部と、
を有し、
前記画像処理部は、
前記複数の第２の画像の各々を、前記物体が占める前景画像部分と前記前景画像部分以外の背景画像部分とに分割する画像分割部と、
前記前景画像部分を前記参照画像の一部の画像に置き換えることによって前記複数の第２の画像から複数の第３の画像を生成する画像生成部と、
前記複数の第３の画像を射影変換することによって予め決められた位置から見た複数の第４の画像を生成する射影変換部と、
前記複数の第４の画像から、前記複数の第４の画像の一部の領域を前記マスク領域に配置した場合に前記マスク領域の境界の画素のエネルギーが最小となる前記一部の領域を提供できる第４の画像を選択し、選択された画像を第５の画像として出力する画像選択部と、
前記第５の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
を有することを特徴とする画像処理装置。
【請求項５】
物体が存在する領域を撮影する１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記物体に隠れて前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、
前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像と、を合成することによって合成表示画像を生成する画像処理部と、
前記複数の第２のカメラによって過去に撮影された前記複数の第２の画像である参照画像を予め記憶する記憶部と、
を有し、
前記画像処理部は、
前記複数の第２の画像の各々を、前記物体が占める前景画像部分と前記前景画像部分以外の背景画像部分とに分割する画像分割部と、
前記前景画像部分を前記参照画像の一部の画像に置き換えることによって前記複数の第２の画像から複数の第３の画像を生成する画像生成部と、
前記複数の第３の画像から、前記第１のカメラの光軸の方向に、より近い方向の光軸を持つ第２のカメラで撮影された第３の画像を選択し、選択された画像を第４の画像として出力する画像選択部と、
前記第４の画像を射影変換することによって予め決められた位置から見た第５の画像を生成する射影変換部と、
前記第５の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
を有することを特徴とする画像処理装置。
【請求項６】
物体が存在する領域を撮影する１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記物体に隠れて前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、
前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成する画像処理部と、
３次元仮想物体モデルの候補の画像データを予め記憶する記憶部と、
を有し、
前記画像処理部は、
前記複数の第２の画像の各々を、前記物体が占める前景画像部分と前記前景画像部分以外の背景画像部分とに分割する画像分割部と、
前記３次元仮想物体モデルの候補から前記物体に対応する３次元仮想物体モデルを選択し、前記前景画像部分を前記３次元仮想物体モデルに置き換えることによって前記複数の第２の画像から複数の第３の画像を生成する画像生成部と、
前記複数の第３の画像を射影変換することによって予め決められた位置から見た複数の第４の画像を生成する射影変換部と、
前記複数の第４の画像を合成することによって第５の画像を生成する変換画像合成部と、
前記第５の画像における、前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
を有することを特徴とする画像処理装置。
【請求項７】
物体が存在する領域を撮影する１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記物体に隠れて前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、
前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成する画像処理部と、
３次元仮想物体モデルの候補の画像データを予め記憶する記憶部と、
を有し、
前記画像処理部は、
前記複数の第２の画像の各々を、前記物体が占める前景画像部分と前記前景画像部分以外の背景画像部分とに分割する画像分割部と、
前記３次元仮想物体モデルの候補から前記物体に対応する３次元仮想物体モデルを選択し、前記前景画像部分を前記３次元仮想物体モデルに置き換えることによって前記複数の第２の画像から複数の第３の画像を生成する画像生成部と、
前記複数の第３の画像を射影変換することによって予め決められた位置から見た複数の第４の画像を生成する射影変換部と、
前記複数の第４の画像から、前記複数の第４の画像の一部の領域を前記マスク領域に配置した場合に前記マスク領域の境界の画素のエネルギーが最小となる前記一部の領域を提供できる第４の画像を選択し、選択された画像を第５の画像として出力する画像選択部と、
前記第５の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
を有することを特徴とする画像処理装置。
【請求項８】
物体が存在する領域を撮影する１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記物体に隠れて前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、
前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成する画像処理部と、
３次元仮想物体モデルの候補の画像データを予め記憶する記憶部と、
を有し、
前記画像処理部は、
前記複数の第２の画像の各々を、前記物体が占める前景画像部分と前記前景画像部分以外の背景画像部分とに分割する画像分割部と、
前記３次元仮想物体モデルの候補から前記物体に対応する３次元仮想物体モデルを選択し、前記前景画像部分を前記３次元仮想物体モデルに置き換えることによって前記複数の第２の画像から複数の第３の画像を生成する画像生成部と、
前記複数の第３の画像から、前記第１のカメラの光軸の方向に、より近い方向の光軸を持つ第２のカメラで撮影された第３の画像を選択し、選択された画像を第４の画像として出力する画像選択部と、
前記第４の画像を射影変換することによって予め決められた位置から見た第５の画像を生成する射影変換部と、
前記第５の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
を有することを特徴とする画像処理装置。
【請求項９】
前記画像処理部は、前記１つ以上の第１の画像の各々における前記マスク領域に前記補完画像を重畳することによって、又は、前記１つ以上の第１の画像から生成された合成画像に前記補完画像を重畳することによって前記合成表示画像を生成する画像重畳部を有することを特徴とする請求項６から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記受信部は、前記物体を検出するセンサから出力される検出信号をさらに受信し、
前記画像処理部は、前記検出信号に基づいて、前記記憶部に記憶されている前記３次元仮想物体モデルの候補から、前記物体に対応する前記３次元仮想物体モデルを選択する
ことを特徴とする請求項６から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記画像処理部は、選択された前記３次元仮想物体モデルにテクスチャマッピングを施す
ことを特徴とする請求項６から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
物体が存在する領域を撮影する１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記物体に隠れて前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラから提供される複数の第２の画像とを受信するステップと、
前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成するステップと、
を有し、
前記合成表示画像を生成する前記ステップは、
前記複数の第２の画像を射影変換することによって予め決められた位置から見た複数の第３の画像を生成するステップと、
前記複数の第３の画像から、前記複数の第３の画像の一部の領域を前記マスク領域に配置した場合に前記マスク領域の境界の画素のエネルギーが最小となる前記一部の領域を提供することができる第３の画像を選択し、選択された画像を第４の画像として出力するステップと、
前記第４の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成するステップと、
を有する
ことを特徴とする画像処理方法。
【請求項１３】
物体が存在する領域を撮影する１つ以上の第１のカメラと、
前記物体によって前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラと、
前記１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、
前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成する画像処理部と、
前記合成表示画像に基づく画像を表示する表示装置と、
を有し、
前記画像処理部は、
前記複数の第２の画像を射影変換することによって予め決められた位置から見た複数の第３の画像を生成する射影変換部と、
前記複数の第３の画像から、前記複数の第３の画像の一部の領域を前記マスク領域に配置した場合に前記マスク領域の境界の画素のエネルギーが最小となる前記一部の領域を提供することができる第３の画像を選択し、選択された画像を第４の画像として出力する画像選択部と、
前記第４の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
を有することを特徴とする監視システム。
【請求項１４】
物体が存在する領域を撮影する１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記物体に隠れて前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラから提供される複数の第２の画像とを受信するステップと、
前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成するステップと、
を有し、
前記合成表示画像を生成する前記ステップは、
前記複数の第２の画像から、前記第１のカメラの光軸の方向に、より近い方向の光軸を持つ第２のカメラで撮影された第２の画像を選択し、選択された画像を第３の画像として出力するステップと、
前記第３の画像を射影変換することによって予め決められた位置から見た第４の画像を生成するステップと、
前記第４の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成するステップと、
を有する
ことを特徴とする画像処理方法。
【請求項１５】
物体が存在する領域を撮影する１つ以上の第１のカメラと、
前記物体によって前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラと、
前記１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、
前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成する画像処理部と、
前記合成表示画像に基づく画像を表示する表示装置と、
を有し、
前記画像処理部は、
前記複数の第２の画像から、前記第１のカメラの光軸の方向に、より近い方向の光軸を持つ第２のカメラで撮影された第２の画像を選択し、選択された画像を第３の画像として出力する画像選択部と、
前記第３の画像を射影変換することによって予め決められた位置から見た第４の画像を生成する射影変換部と、
前記第４の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
を有することを特徴とする監視システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本発明の一態様に係る画像処理装置は、物体が存在する領域を撮影する１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記物体に隠れて前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成する画像処理部と、を有し、前記画像処理部は、前記複数の第２の画像を射影変換することによって予め決められた位置から見た複数の第３の画像を生成する射影変換部と、前記複数の第３の画像から、前記複数の第３の画像の一部の領域を前記マスク領域に配置した場合に前記マスク領域の境界の画素のエネルギーが最小となる前記一部の領域を提供することができる第３の画像を選択し、選択された画像を第４の画像として出力する画像選択部と、前記第４の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、を有することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明の他の態様に係る監視システムは、物体が存在する領域を撮影する１つ以上の第１のカメラと、前記物体によって前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラと、前記１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成する画像処理部と、前記合成表示画像に基づく画像を表示する表示装置と、を有し、前記画像処理部は、前記複数の第２の画像を射影変換することによって予め決められた位置から見た複数の第３の画像を生成する射影変換部と、前記複数の第３の画像から、前記複数の第３の画像の一部の領域を前記マスク領域に配置した場合に前記マスク領域の境界の画素のエネルギーが最小となる前記一部の領域を提供することができる第３の画像を選択し、選択された画像を第４の画像として出力する画像選択部と、前記第４の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、を有することを特徴とする。
【国際調査報告】
2019186860.tif 000029
2019186860.tif 000030