(57)【要約】  車両に搭載された複数のカメラによって周囲を見下ろす方向に撮像された複数の画像を、座標変換して複数の俯瞰画像を作成し、前記複数の俯瞰画像を繋ぎ合せて前記車両の上部から見下ろしている合成画像を作成するもので、車両周辺の立体物の有無を判定し、立体物の検出結果に応じて、隣接する前記俯瞰画像間の重なり合う輝度色補正参照領域において輝度色の差異を小さくするように補正値を算出し、前記補正による前記輝度色情報の変化量が所定値未満の場合に前記補正値によって輝度色補正を行い、この輝度色画像補正された画像を繋ぎ合せて１つの画像に合成することによって、連続する滑らかなつなぎ合わせの美しい表示画像を得ることができるようにしたものである。
2019073589.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、前記車両の周囲を撮像する複数の周辺監視カメラ装置、前記周辺監視カメラ装置によって撮像された複数の画像を合成して合成画像を作成する画像処理装置、および前記合成画像を表示する画像表示装置を備えた画像合成装置において、前記画像処理装置が、隣接する前記画像の重なり合う輝度色補正参照領域における輝度色の差異を小さくするように補正値を算出する輝度色画像補正装置と、前記車両の周辺の立体物を検出する車両周辺立体物判定装置とを備え、前記画像処理装置が、前記車両周辺立体物判定装置の前記立体物の検出結果に応じて、前記補正値による画像処理の制御を行うことを特徴とする画像合成装置。
【請求項２】
前記車両周辺立体物判定装置は、少なくとも１つの能動型センサで構成されたセンサ装置による検出結果に基づき、自車両周辺の立体物の有無および位置を検知することを特徴とする請求項１に記載の画像合成装置。
【請求項３】
前記車両周辺立体物判定装置は、前記周辺監視カメラ装置が撮像した画像の画像認識処理に基づき、前記車両の周辺の立体物の有無および位置を検知することを特徴とする請求項１に記載の画像合成装置。
【請求項４】
前記車両の周辺の立体物を検知するセンサ装置を備え、前記車両周辺立体物判定装置が、前記センサ装置による検知結果と前記周辺監視カメラ装置の画像から前記立体物の位置を算出し、前記立体物の位置が、前記輝度色補正参照領域の内である場合には、前記立体物の位置に対応する画像上の領域を除外した領域を前記輝度色補正参照領域としたことを特徴とする請求項１に記載の画像合成装置。
【請求項５】
前記センサ装置が能動型センサであることを特徴とする請求項４に記載の画像合成装置。
【請求項６】
前記輝度色画像補正装置によって算出された前記補正値による輝度色の情報を記憶する輝度色情報記憶装置を備え、前記車両周辺立体物判定装置によって検出された前記立体物の位置が、前記輝度色補正参照領域の内である場合には、前記輝度色情報記憶装置に記憶されている最新に適用した補正値によって輝度色補正を行うようにしたことを特徴とする請求項１に記載の画像合成装置。
【請求項７】
前記輝度色画像補正装置で補正値を算出する際、前記車両周辺立体物判定装置で判定した立体物の位置が、前記補正値を算出するための隣接するカメラ画像の共通領域である場合に、立体物が存在しない領域で補正値を算出することを特徴とする請求項１に記載の画像合成装置。
【請求項８】
前記輝度色画像補正装置は、前記車両周辺立体物判定装置で判定した補正値を算出するための隣接するカメラ画像の共通領域である場合、その隣接する両方の画像の輝度色補正値を、障害物が無い場合の過去の補正値を引き継ぎ、輝度色補正を行うことを特徴とする請求項１に記載の画像合成装置。
【請求項９】
前記車両周辺立体物判定装置による判定を、前記輝度色画像補正装置における補正値による前記輝度色の変化量によって行うようにしたことを特徴とする請求項１に記載の画像合成装置。
【請求項１０】
前記輝度色画像補正装置によって算出された前記補正値による輝度色の情報を記憶する輝度色情報記憶装置を備え、前記補正値による前記輝度色の情報の変化量が所定値以上の場合には、前記輝度色情報記憶装置に記憶されている最新に適用した補正値によって輝度色補正を行うようにしたことを特徴とする請求項９に記載の画像合成装置。
【請求項１１】
車両の周囲を撮像する複数の周辺監視カメラ装置、前記周辺監視カメラ装置によって撮像された複数の画像を合成して合成画像を作成する画像処理装置、および前記合成画像を表示する画像表示装置を備えた画像合成装置において、前記画像処理装置が、前記周辺監視カメラ装置で撮像され、隣接する画像の共通領域の変化量を検出する変化量検出部と、隣接する画像の共通領域の変化量が閾値以下である場合、前記隣接する画像の両方の輝度色補正値にもとづき補正し、変化量が閾値以上である場合、過去の補正値で輝度色補正を行う輝度色画像補正装置と、前記輝度色画像補正装置で補正された画像を１つの画像に合成する画像合成部とを備えたことを特徴とする画像合成装置。
【請求項１２】
車両に搭載されて、車両の周囲の物体を撮像し、複数の画像を作成し、前記複数の画像合成画像を作成する画像合成方法において、隣接する前記画像の重なり合う輝度色補正参照領域において輝度色の差異を小さくするための補正値を算出し、車両周辺の立体物を検出し、前記立体物の検出結果にもとづき、前記補正値による画像処理の制御を行うことを特徴とする画像合成方法。
【請求項１３】
周辺の立体物を検知し、前記検知の結果と前記撮像された画像から前記立体物の位置を算出し、前記立体物の位置が、前記輝度色補正参照領域の内である場合には、前記立体物の位置に対応する画像上の領域を除外した領域を前記輝度色補正参照領域としたことを特徴とする請求項１２に記載の画像合成方法。
【請求項１４】
算出された前記補正値による輝度色情報を記憶し、前記補正値による前記輝度色情報の変化量が所定値以上の場合には、記憶されている最新に適用した補正値によって輝度色補正を行うようにしたことを特徴とする請求項１３に記載の画像合成方法。
【請求項１５】
前記車両周辺の立体物の検出を、前記輝度色の変化量によって行うようにしたことを特徴とする請求項１２に記載の画像合成方法。
【請求項１６】
周辺の立体物を検知し、前記検知の結果と前記撮像された画像から前記立体物の位置を算出し、前記立体物の位置が、前記画像の重なり合う領域の内である場合には、記憶されている最新に適用した補正値によって輝度色補正を行うようにしたことを特徴とする請求項１５に記載の画像合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数の車載カメラによって撮像した画像を繋ぎ合せて一連の画像に合成する画像合成装置及び画像合成方法に関するものである。
【背景技術】
【０００２】
複数のカメラを車両に搭載し、各カメラから見下ろす方向に撮像した画像を、カメラ位置が車両よりも高い位置にあるかのように座標変換して俯瞰画像を作成し、この複数の俯瞰画像を繋ぎ合せて、あたかも高いところから車両の全周を見渡しているかのような画像を合成するシステムが実用化されている。【０００３】
このような、複数のカメラで撮像した画像を1枚の画像に合成するシステムにおいては、一般的に同一機種のカメラが使用されるが、各カメラの製造バラツキや、自動露出補正、自動ゲインコントロール、自動ホワイトバランス等の制御をカメラ毎に行なうため、特に画像のつなぎ目で明るさ(輝度)や色合いが不連続になり、合成した画像に違和感を生じさせるという問題があった。【０００４】
そこで、例えば、特許文献１においては、隣り合ったカメラが共通で撮像している合成画像のつなぎ目付近の領域の平均的な明るさや色合いが一致するように、各カメラで撮像した画像の明るさや色バランスを補正している。前記補正により、ある程度、連続する滑らかな合成画像を得ることができるため、合成した画像の違和感をある程度、抑制することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３２９７０４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、当該特許文献１の従来技術では、補正値を算出するための参照する合成画像のつなぎ目付近の共通領域が固定されている。例えば、前記補正値は、前記共通領域の画素の平均値から求める。このため、共通領域に立体物が存在する場合、俯瞰映像に座標変換を行う際には、立体部分はカメラと立体物とを結んだ線上に伸びる様に投影され、隣り合ったカメラの共通撮像領域の投影後の画像は一致しない。従って、当該特許文献１の従来技術では、適切な補正がされない問題がある。【０００７】
この発明は、複数の画像を合成する際、各画像間の境界付近を、従来のものと比べて更に連続する滑らかな画像にすることを目的とする。
【課題を解決するための手段】
【０００８】
この発明の画像合成装置は、車両に搭載され、前記車両の周囲を撮像する複数の周辺監視カメラ装置、前記周辺監視カメラ装置によって撮像された複数の画像を合成して合成画像を作成する画像処理装置、および前記合成画像を表示する画像表示装置を備えた画像合成装置において、隣接する前記画像の重なり合う輝度色補正参照領域における輝度色の差異を小さくするように補正値を算出する輝度色画像補正装置と、前記車両の周辺の立体物を検出する車両周辺立体物判定装置とを備え、前記画像処理装置が、前記車両周辺立体物判定装置の前記立体物の検出結果に応じて、前記補正値による画像処理の制御を行うことを特徴とするものである。
【発明の効果】
【０００９】
この発明は、複数の画像を合成する際、各画像間の境界付近の画像、従来の画像表示装置と比べて更に自然に近い連続する滑らかな画像にすることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態１に係る画像合成装置のブロック図である。
【図２】本発明の実施の形態１の動作を説明するフローチャートである。
【図３】本発明の実施の形態２に係る画像合成装置のブロック図である。
【図４】本発明の実施の形態２の動作を説明するフローチャートである。
【図５】本発明の実施の形態３に係る画像合成装置のブロック図である。
【図６】本発明の実施の形態３の動作を説明するフローチャートである。
【図７】ブロック図の機能を実現するハードウエアを示す構成図である。
【発明を実施するための形態】
【００１１】
実施の形態１
図１に、この発明の実施の形態１の画像合成装置の構成を示す。
周辺監視カメラ装置１００によって撮像した画像を、この発明の画像処理装置２００によって変換して、上空の仮想視点から見下ろしている画像を合成して、画像表示装置３００において表示する。また、車両周辺の立体物による影響に対応するために、センサ装置４００を備えている。
【００１２】
周辺監視カメラ装置１００は、フロントカメラ１０１、リアカメラ１０２、右サイドカメラ１０３、左サイドカメラ１０４等の光学カメラが自車周辺を３６０°網羅し、なおかつ撮像範囲を一部重複するように複数台、車両に取り付けられている。それぞれのカメラは、見下ろす方向に向けて取り付けられ、それぞれの方向の画像を取得している。
【００１３】
この図１において、周辺監視カメラ装置１００と画像処理装置２００とを１本の信号線で接続するように示しているが、実際には、複数のカメラのそれぞれから並行に画像処理装置２００に画像情報が送られるように接続されている。そして、それぞれのカメラによって撮像した画像の両端には、他のカメラによって撮像した画像と重なり合う領域がある。この重なり合っている領域（輝度色補正参照領域）の画像の明るさと色合いを調整することによって画像のつながりを滑らかにすることが画像処理装置２００の役割である。なお、本実施の形態では、４台のカメラとしているが、自車周辺を俯瞰するための複数台のカメラであれば、何台でもよい。その場合でも、本実施の形態と同様の作用で本発明を実施することができる。
【００１４】
画像処理装置２００には、カメラ画像座標変換装置２０１、輝度色画像補正装置２０２、合成画像作成装置２０４、車両周辺立体物判定装置２０５、輝度色補正参照領域判定装置２０６を備えている。
【００１５】
カメラ画像座標変換装置２０１は、周辺監視カメラ装置１００から取り込まれた車両周辺の画像の座標変換処理を行い、上空の仮想視点から見下ろしたような俯瞰画像を生成する。この座標変換処理は、車両に取り付けられた各カメラの位置・姿勢を表す外部パラメータ、レンズ焦点距離などの内部パラメータ、レンズの歪収差係数等のキャリブレーション（校正）パラメータと、仮想視点の位置や表示範囲等のＶｉｅｗパラメータに基づいて計算される。
【００１６】
なお、車両に取り付けられた各カメラの位置・姿勢を表す外部パラメータ、レンズ焦点距離などの内部パラメータ、レンズの歪収差係数等のキャリブレーションパラメータと、仮想視点の位置や表示範囲等のＶｉｅｗパラメータに基づいて、予め座標変換テーブルを作成しておき、この座標変換テーブルに基づいて、取り込まれた画像の座標変換処理を行ってもよい。生成した俯瞰画像は、輝度色画像補正装置２０２に通知する。
【００１７】
輝度色画像補正装置２０２は、輝度色補正参照領域判定装置２０６から取り込まれた輝度色補正参照領域情報から、隣り合ったカメラの輝度色補正参照領域の平均的な輝度色が一致するように補正値を算出し、カメラ画像座標変換装置２０１から取り込まれた各カメラの俯瞰画像の合成する際のつなぎ目付近の領域における輝度色を補正する。
【００１８】
センサ装置４００は、超音波レーダ、ミリ波レーダ、ＬＩＤＡＲ等の能動型センサ４０１を車体の前方や側方や後方に１つもしくは複数取り付けるように構成されている。このセンサ装置４００は、超音波やミリ波、レーザー等を照射し、その反射波の受信情報を車両周辺立体物判定装置２０５に通知する。
【００１９】
車両周辺立体物判定装置２０５は、センサ装置４００から取り込まれたセンサ情報と、周辺監視カメラ装置１００から取り込まれた画像に対して、画像認識処理を行い、センサ装置４００の検知結果と画像認識の検知結果から自車周辺の立体物の有無の判定と、立体物が存在する場合の立体物の位置を算出する。
【００２０】
なお、画像認識処理は、ＨｏＧやディープラーニング（人工知能の根幹をなすもので、これまでのパターンと組み合わせて複雑な思考を人工知能が行うこと）等の機械学習により、立体物を検出しても良いし、オプティカルフロー（視覚表現（通常、時間的に連続するデジタル画像）の中で物体の動きをベクトルで表したものである。）やモーションステレオ（１台のカメラが移動するとき、微小な時間間隔で撮像された連続画像に移る被写体の「画面上の動き」と「撮像位置の変位量」に基づき、被写体までの距離を算出する方法）等のフローを用いて立体物を検出しても良い。車両周辺立体物判定装置２０５は、算出した自車周辺立体物情報を、輝度色補正参照領域判定装置２０６に通知する。輝度色補正参照領域とは、輝度色画像を補正する際の補正値を算出するための隣接するカメラ画像の共通領域である。
【００２１】
輝度色補正参照領域判定装置２０６は、車両周辺立体物判定装置２０５から取り込まれた自車周辺立体物情報に基づき、輝度色画像補正装置２０２において輝度色画像を補正する際の補正値を算出するための参照領域を決定する。隣接するカメラ画像の共通領域に立体物が無い場合は、予め設定している共通領域を輝度色補正参照領域とする。隣接するカメラ画像の共通領域（輝度色補正参照領域）の内に立体物が存在する場合は、立体物の位置に対応する俯瞰画像上の領域を除外した共通領域、すなわち立体物が存在しない領域を輝度色補正参照領域とする。
【００２２】
なお、立体物を俯瞰画像に座標変換すると、立体部分はカメラと立体物とを結んだ線上に伸びる様に投影される。したがって、立体部分を共通領域から除外する際に、立体物の高さ情報が無い場合は、カメラと立体物を結んだ線上で、立体物の位置より後方の領域は全て除外する。このようにすることで、能動型センサ４０１では、立体物の位置は判るが、高さが判らない場合にも、共通領域から立体物を確実に除外することができる。算出した輝度色補正参照領域は、輝度色画像補正装置２０２に通知される。
【００２３】
例えば、フロントカメラ１０１と左サイドカメラ１０４の合成画像のつなぎ目付近の領域の明るさや色合いを一致するように補正するには、フロントカメラ１０１による画像と左サイドカメラ１０４による画像の輝度色補正参照領域の全ての画素の輝度と色の平均値を算出する。算出したフロントカメラ１０１による画像と左サイドカメラ１０４による画像の輝度と色の平均値の差から、左サイドカメラ１０４（この実施の形態では、基準カメラをフロントカメラ１０１とし、基準カメラではないもう一方のカメラ）の平均値がフロントカメラ１０１の平均値になるように、左サイドカメラ１０４による画像を合成する際のつなぎ目付近の領域の全画素に対して、明るさや色合いの補正を行う。同様に、フロントカメラ１０１と右サイドカメラ１０３、リアカメラ１０２と左サイドカメラ１０４、リアカメラ１０２と右サイドカメラ１０３の合成画像のつなぎ目付近の領域に対して、明るさや色合いの補正を行う。
【００２４】
なお、つなぎ目付近の領域に対する補正により、合成時の隣接するカメラ間では、滑らかになっているが、補正したカメラ画像単独では、補正した領域と補正していない領域の境界部分で差が生じているため、この境界部分についてもなめらかになるように補正を行う。このようにすることで、各カメラの輝度色補正画像を生成することができる。生成した輝度色補正画像は、合成画像作成装置２０４に出力される。
【００２５】
合成画像作成装置２０４は、輝度色画像補正装置２０２から取り込まれたフロントカメラ１０１、リアカメラ１０２、右サイドカメラ１０３、左サイドカメラ１０４によるそれぞれの画像の輝度色補正画像を１枚の画像に合成するとともに、車両の上空からの仮想視点から俯瞰した画像を合成し、出力表示画像を生成する。生成した出力表示画像は、画像表示装置３００に出力する。
【００２６】
画像表示装置３００は、車載のカーナビ（カーナビゲーション・システム）やバックミラーモニター等であって、合成画像作成装置２０４から出力された出力表示画像を取り込み、表示するように構成されている。
【００２７】
次に、この実施の形態１の動作の流れを図２に示す。ここでは、車両のシフトレバーの操作に連動して画像処理装置２００が動作する場合について説明する。
まず、車両のシフトポジションを後退位置にする（ステップＳ１‐１）と、周辺監視カメラ画像とセンサ情報を取得する。周辺監視カメラ画像は、フロントカメラ１０１、リアカメラ１０２、右サイドカメラ１０３、左サイドカメラ１０４等の複数台の車外に取り付けられた光学カメラで構成されている周辺監視カメラ装置１００で取得し（ステップＳ１‐２）、カメラ画像座標変換装置２０１と車両周辺立体物判定装置２０５に通知する。センサ情報は、超音波レーダやミリ波レーダ、ＬＩＤＡＲ等の車体の前方や側方や後方に１つもしくは複数取り付けた能動型センサ４０１で構成されているセンサ装置４００で、超音波やミリ波、レーザー等を照射し、その反射波の受信情報を取得し（ステップＳ１‐３）、車両周辺立体物判定装置２０５に通知する。
【００２８】
周辺監視カメラ装置１００から取り込まれた車両周辺の画像からカメラ画像座標変換装置２０１は、座標変換処理を行い、上空の仮想視点から見下ろしたような俯瞰画像を生成する（ステップＳ１‐４）。生成した俯瞰画像は、輝度色画像補正装置２０２に通知する。
【００２９】
センサ装置４００から取り込まれたセンサ情報と、周辺監視カメラ装置１００から取り込まれた周辺監視カメラ画像から車両周辺立体物判定装置２０５は、センサ装置４００の検知結果と画像認識処理を行った画像認識の検知結果から自車周辺の立体物の有無の判定と、立体物が存在する場合の立体物の位置を算出する（ステップＳ１‐５）。算出した車両周辺立体物情報は、輝度色補正参照領域判定装置２０６に通知される。
【００３０】
車両周辺立体物判定装置２０５から取り込まれた車両周辺立体物情報から、輝度色補正参照領域判定装置２０６は、輝度色画像を補正する際の補正値を算出するための隣接するカメラ画像の共通領域に立体物が存在するか否かを判定する（ステップＳ１‐６）。立体物が存在しない場合は、予め設定している共通領域を輝度色補正参照領域とする（ステップＳ１‐７）。立体物が存在する場合は、立体物の位置に対応する俯瞰画像上の領域を除外した共通領域を輝度色補正参照領域とする（ステップＳ１‐８。算出した輝度色補正参照領域は、輝度色画像補正装置２０２に通知される。
【００３１】
輝度色画像補正装置２０２は、輝度色補正参照領域判定装置２０６から取り込まれた輝度色補正参照領域情報から、隣り合ったカメラの輝度色補正参照領域の平均的な輝度色が一致するように補正値を算出し（ステップＳ１‐９）、カメラ画像座標変換装置２０１から取り込まれた各カメラの俯瞰画像の合成する際のつなぎ目付近の領域に対して、輝度色を補正する（ステップＳ１‐１０）。生成した輝度色補正画像は、合成画像作成装置２０４に通知される。
【００３２】
輝度色画像補正装置２０２から取り込まれたフロントカメラ１０１、リアカメラ１０２、右サイドカメラ１０３、左サイドカメラ１０４の輝度色補正画像から、合成画像作成装置２０４は、１枚の画像に合成するとともに、さらに、自車両を上空の仮想視点から俯瞰した画像を合成し、出力表示画像を生成する（ステップＳ１‐１１）。生成した出力表示画像は、画像表示装置３００に通知する。
【００３３】
画像表示装置３００は、合成画像作成装置２０４から出力表示画像を取り込むと、車載のカーナビやバックミラーモニター等の表示装置に表示する（ステップＳ１‐１２）。
【００３４】
図２の出力画像表示処理（ステップＳ１‐１２）の後は、車両のシフトポジションが後退位置のままか否かを判定し（ステップＳ１‐１３）、車両のシフトポジションが後退位置のままなら、再び、ステップＳ１‐２に戻り、ステップＳ１‐２からの処理を車両のシフトポジションが後退位置以外となるまで繰り返す。車両のシフトポジションが後退位置以外となると、全処理を終了させる。なお、本実施の形態では、車両のシフトポジションが後退位置の場合を起動と終了のトリガとしたが、例えば、それ以外にもカーナビ等からトップビュー表示の通知を受け付けて開始し、トップビュー表示の終了通知を受け付けて終了するでも良いし、シフトポジションが前進位置にあり、かつ車速が所定値以下であれば、開始し、車速が所定値以上になると、終了するとしても良い。
【００３５】
この実施の形態１に示した構成及び動作を用いることにより、輝度色を補正する際の補正値を算出するための隣接するカメラ画像の共通領域から立体物を除外することで、従来の座標変換画像で立体物が伸びたように投影され、隣り合ったカメラの共通撮像領域の投影後の画像は一致しないことによる補正ずれが生じることなく、各画像間の境界付近が連続した滑らかなつなぎ合わせの合成画像を提供することができる。
【００３６】
実施の形態２
図３に、本発明における実施の形態２の構成図を示す。
この実施の形態２では、実施の形態１から輝度色補正参照領域判定装置２０６が無くなり、輝度色情報記憶装置２０３が加わっている。したがって、変更した部分以外は実施の形態１と同じである。
【００３７】
車両周辺立体物判定装置２０５は、センサ装置４００の検知結果と画像認識の検知結果から自車周辺の立体物の有無の判定と、立体物が存在する場合の立体物の位置を算出する。算出した自車周辺立体物情報は、輝度色画像補正装置２０２に通知する。
【００３８】
輝度色画像補正装置２０２は、車両周辺立体物判定装置２０５から取り込まれた自車周辺の立体物に関する情報に基づき、立体物が存在しない場合は、隣り合ったカメラの輝度色補正参照領域の輝度色の平均値を算出し、算出した輝度色の平均値が隣り合ったカメラ同士で一致するように補正値を算出する。算出した補正値を用いてカメラ画像座標変換装置２０１から取り込まれた各カメラの俯瞰画像を合成する際のつなぎ目付近の領域に対して、輝度色を補正する。輝度色画像補正装置２０２にて算出した補正値は、輝度色情報記憶装置２０３に出力される。車両の周辺に立体物が存在する場合には、最新に適用した補正値を輝度色情報記憶装置２０３から取り込み、取り込まれた補正値に基づいて、カメラ画像座標変換装置２０１から取り込まれた各カメラの俯瞰画像の合成する際のつなぎ目付近の領域に対して、輝度色を補正する。生成した輝度色補正画像は、合成画像作成装置２０４に通知される。
【００３９】
輝度色情報記憶装置２０３は、輝度色画像補正装置２０２から輝度色補正値を受け取ると、受け取った輝度色補正値を最新の輝度色補正値として記憶していた輝度色補正値に上書き保存する。また、輝度色情報記憶装置２０３は、補正値を算出するための隣接するカメラ画像の共通領域に立体物が存在する場合に、輝度色画像補正装置２０２に最新の輝度色補正値を通知する。
【００４０】
次に、図４に実施の形態２の動作の流れを示す。
まず、車両のシフトポジションを後退位置にする（ステップＳ２‐１）と、周辺監視カメラ画像とセンサ情報を取得する。周辺監視カメラ画像は、フロントカメラ１０１、リアカメラ１０２、右サイドカメラ１０３、左サイドカメラ１０４等の複数台の車外に取り付けられた光学カメラで構成されている周辺監視カメラ装置１００で取得し（ステップＳ２‐２）、カメラ画像座標変換装置２０１と車両周辺立体物判定装置２０５に通知する。センサ情報は、超音波レーダやミリ波レーダ、ＬＩＤＡＲ等の車体の前方や側方や後方に１つもしくは複数取り付けた能動型センサ４０１で構成されているセンサ装置４００で、超音波やミリ波、レーザー等を照射し、その反射波の受信情報を取得し（ステップＳ２‐３）、車両周辺立体物判定装置２０５に通知される。
【００４１】
周辺監視カメラ装置１００から取り込まれた車両周辺の画像からカメラ画像座標変換装置２０１は、座標変換処理を行い、上空の仮想視点から見下ろしたような俯瞰画像を生成する（ステップＳ２‐４）。生成された俯瞰画像は、輝度色画像補正装置２０２に通知される。
【００４２】
センサ装置４００から取り込まれたセンサ情報と、周辺監視カメラ装置１００から取り込まれた周辺監視カメラ画像に基づいて、車両周辺立体物判定装置２０５は、自車周辺の立体物の有無の判定と、立体物が存在する場合の立体物の位置を算出する（ステップＳ２‐５）。算出した自車周辺立体物情報は、輝度色画像補正装置２０２に出力される。
【００４３】
車両周辺立体物判定装置２０５からの自車周辺立体物情報に基づき、輝度色画像補正装置２０２は、輝度色画像を補正する際の補正値を算出するためカメラ画像の共通領域に立体物が存在するか否かを判定する（ステップＳ２‐６）。立体物が存在しない場合（Ｎｏの場合）は、隣り合ったカメラの輝度色補正参照領域の輝度色の平均値を算出し、算出した輝度色の平均値が隣り合ったカメラ同士で一致するように補正値を算出する（ステップＳ２‐７）。
【００４４】
カメラ画像座標変換装置２０１から取り込まれた各カメラの俯瞰画像の合成する際のつなぎ目付近の領域に対して、算出された補正値を用いて輝度色を補正し（ステップＳ２‐８）、算出された補正値は、輝度色情報記憶装置２０３に通知される（ステップＳ２‐９）。輝度色情報記憶装置２０３は、輝度色画像補正装置２０２から輝度色補正値の送信があると、受け取った輝度色補正値を最新の輝度色補正値として上書き保存する（ステップＳ２‐１０）。立体物が存在する場合（Ｙｅｓの場合）は、輝度色画像補正装置２０２は、間近に適用した補正値を輝度色情報記憶装置２０３から取り込み（ステップＳ２‐１１）、取り込まれた補正値に基づいて、カメラ画像座標変換装置２０１から取り込まれた各カメラの俯瞰画像の合成する際のつなぎ目付近の領域に対して、輝度色を補正する（ステップＳ２‐１２）。生成した輝度色補正画像は、合成画像作成装置２０４に通知される。
【００４５】
輝度色画像補正装置２０２から取り込まれたフロントカメラ１０１、リアカメラ１０２、右サイドカメラ１０３、左サイドカメラ１０４の輝度色補正画像から、合成画像作成装置２０４は、１枚の画像に合成するとともに、さらに、自車両を上空の仮想視点から俯瞰した画像を合成し、出力表示画像を生成する（ステップＳ２‐１３）。生成した出力表示画像は、画像表示装置３００に出力される。
【００４６】
画像表示装置３００は、合成画像作成装置２０４から出力表示画像を取り込むと、車載のカーナビやバックミラーモニター等の表示装置に表示する（ステップＳ２‐１４）。
【００４７】
図４の出力画像表示処理（ステップＳ２‐１４）の後は、車両のシフトポジションが後退位置のままか否かを判定し（ステップＳ２‐１５）、車両のシフトポジションが後退位置のままなら、再び、ステップＳ２‐２に戻り、ステップＳ２‐２からの処理を車両のシフトポジションが後退位置以外となるまで繰り返す。車両のシフトポジションが後退位置以外となると、全処理を終了させる。なお、この実施の形態２では、実施の形態１と同様に、車両のシフトポジションが後退位置の場合を起動と終了のトリガとしたが、それ以外にもカーナビ等からトップビュー表示の通知を受け付けて開始し、トップビュー表示の終了通知を受け付けて終了するでも良いし、シフトポジションが前進位置にあり、かつ車速が所定値以下であれば、開始し、車速が所定値以上になると、終了するとしても良い。
【００４８】
この実施の形態２に説明した構成及び動作を用いることにより、輝度色を補正する際の補正値を算出するための隣接するカメラ画像の共通領域に立体物が存在する場合に、補正値を更新するのではなく、障害物が無い場合の補正値を使用し、補正することで、従来の座標変換画像で立体物が伸びたように投影され、隣り合ったカメラの共通撮像領域の投影後の画像は一致しないことによる補正ずれが生じることなく、各画像間の境界付近が連続した滑らかなつなぎ合わせの合成画像を提供することができる。
【００４９】
実施の形態３
図５に、本発明における実施の形態３の構成図を示す。
この実施の形態３では、実施の形態２からセンサ装置４００、車両周辺立体物判定装置２０５が無くなっている。この実施の形態３においては、車両周辺に立体物が存在するか否かの判定を、センサ装置４００と車両周辺立体物判定装置２０５による直接的な判定から、参照領域の輝度色の平均値の変化の程度によって立体物が車両周辺に存在することを推定するようにしたものである。すなわち、車両周辺に立体物が存在するか否かを判定する機能を、輝度色画像補正装置２０２に持たせたもので、輝度色の平均値の変化の度合いによって立体物の存在を判定するようにしている。
【００５０】
したがって、この実施の形態３において変更した部分以外は、実施の形態２と同じである。
この実施の形態３では、周辺監視カメラ装置１００によって撮像した画像を、この発明の画像処理装置２００によって変換して、上空から見下ろしている画像を合成して、画像表示装置３００において表示するように構成されている。
【００５１】
周辺監視カメラ装置１００は、フロントカメラ１０１、リアカメラ１０２、右サイドカメラ１０３、左サイドカメラ１０４等の光学カメラが自車周辺を３６０°網羅し、なおかつ撮像範囲を一部重複するように複数台、車両に取り付けられている。それぞれのカメラは、見下ろす方向に向けて取り付けられ、それぞれの方向の画像を取得している。
この図５において、周辺監視カメラ装置１００と画像処理装置２００とを１本の信号線で接続するように示しているが、実際には、複数のカメラのそれぞれから並行に画像処理装置２００に画像情報が送られるように接続されている。そして、それぞれのカメラによって撮像した画像の両端には、他のカメラによって撮像した画像と重なり合う領域がある。この重なり合っている領域（輝度色補正参照領域）の画像の明るさと色合いを調整することによって画像のつながりを滑らかにすることが画像処理装置２００の役割である。
【００５２】
なお、本実施の形態３では、４台のカメラとしているが、自車周辺を俯瞰するための複数台のカメラであれば、何台でもよい。その場合でも、本実施の形態と同様の作用で本発明を実施することができる。
【００５３】
画像処理装置２００には、カメラ画像座標変換装置２０１、輝度色画像補正装置２０２、輝度色情報記憶装置２０３、合成画像作成装置２０４を備えている。
カメラ画像座標変換装置２０１は、周辺監視カメラ装置１００の複数のカメラのそれぞれの画像の座標変換を行い、上空から見下ろした状態の画像に変換する。
輝度色画像補正装置２０２は、隣り合ったカメラの輝度色補正参照領域の平均的な輝度色が一致するように補正値を算出し、カメラ画像座標変換装置２０１から取り込まれた各カメラの俯瞰画像の合成する際のつなぎ目付近の領域に対して、輝度色を補正する。
【００５４】
具体的には、例えば、フロントカメラ１０１と左サイドカメラ１０４の合成画像のつなぎ目付近の領域の明るさや色合いを一致するように補正するには、フロントカメラ１０１による画像と左サイドカメラ１０４による画像の輝度色補正参照領域の全ての画素の輝度と色の平均値を算出する。算出したフロントカメラ１０１による画像と左サイドカメラ１０４による画像の輝度と色の平均値の差から、左サイドカメラ１０４（この実施の形態では、基準カメラをフロントカメラ１０１とし、基準カメラではないもう一方のカメラ）の平均値がフロントカメラ１０１の平均値になるように、左サイドカメラ１０４による画像を合成する際のつなぎ目付近の領域の全画素に対して、明るさや色合いの補正を行う。同様に、フロントカメラ１０１と右サイドカメラ１０３、リアカメラ１０２と左サイドカメラ１０４、リアカメラ１０２と右サイドカメラ１０３の合成画像のつなぎ目付近の領域に対して、明るさや色合いの補正を行う。
【００５５】
なお、つなぎ目付近の領域に対する補正により、合成時の隣接するカメラ間では、滑らかになっているが、補正したカメラ画像単独では、補正した領域と補正していない領域の境界部分で差が生じているため、この境界部分についてもなめらかになるように補正を行う。このようにすることで、各カメラの輝度色補正画像を生成することができる。生成した輝度色補正画像は、合成画像作成装置２０４に出力される。
【００５６】
合成画像作成装置２０４は、輝度色画像補正装置２０２から取り込まれたフロントカメラ１０１、リアカメラ１０２、右サイドカメラ１０３、左サイドカメラ１０４によるそれぞれの画像の輝度色補正画像を１枚の画像に合成するとともに、車両の上空からの仮想視点から俯瞰した画像を合成し、出力表示画像を生成する。生成した出力表示画像は、画像表示装置３００に出力する。
【００５７】
また、輝度色画像補正装置２０２は、算出した補正値を用いてカメラ画像座標変換装置２０１から取り込まれた各カメラの俯瞰画像の合成する際のつなぎ目付近の領域に対して、輝度色を補正し、算出した補正値は、輝度色情報記憶装置２０３に出力する。
輝度色情報記憶装置２０３は、輝度色画像補正装置２０２から輝度色補正値の送信があると、受け取った輝度色補正値を最新の輝度色補正値として上書き保存する。また、輝度色画像補正装置２０２からの要請に応じて、上書き保存している最新の輝度色補正値を出力する。
画像表示装置３００は、車載のカーナビやバックミラーモニター等であって、合成画像作成装置２０４から出力された出力表示画像を取り込み、表示するように構成されている。
【００５８】
次に、この実施の形態３の動作の流れを図６に示す。ここでは、車両のシフトレバーの操作に連動して画像処理装置２００が動作する場合について説明する。
まず、車両のシフトレバーの位置（シフトポジションの位置）を後退位置にする（ステップＳ３‐１）と、周辺監視カメラ画像を取得する。周辺監視カメラ画像は、フロントカメラ１０１、リアカメラ１０２、右サイドカメラ１０３、左サイドカメラ１０４の複数台の車外に取り付けられた光学カメラで構成されている周辺監視カメラ装置１００によってそれぞれ画像を撮像して取得し（ステップＳ３‐２）、カメラ画像座標変換装置２０１に通知する。
【００５９】
周辺監視カメラ装置１００から取り込まれた車両周辺の画像からカメラ画像座標変換装置２０１は、座標変換処理を行い、上空の仮想視点から見下ろしたような俯瞰画像を生成する（ステップＳ３‐３）。生成した俯瞰画像は、輝度色画像補正装置２０２に通知する。
【００６０】
カメラ画像座標変換装置２０１から取り込まれたカメラ画像から、輝度色画像補正装置２０２は、隣り合ったカメラの輝度色補正参照領域の輝度色の平均値を算出する（ステップＳ３‐４）。輝度色情報記憶装置２０３から、補正値を適用した場合の最新の輝度色の平均値を取り込み（ステップＳ３‐５）、算出した輝度色補正参照領域の輝度色の平均値との変化が所定値以上かどうかを判定する（ステップＳ３‐６）。輝度色の平均値の変化が所定値未満の場合（Ｎｏの場合）は、輝度色の平均値が隣り合ったカメラ同士で一致するように補正値を算出する（ステップＳ３‐７）。
【００６１】
算出した補正値を用いてカメラ画像座標変換装置２０１から取り込まれた各カメラの俯瞰画像の合成する際のつなぎ目付近の領域の画素データに対して、輝度色を補正し（ステップＳ３‐８）、算出した補正値と輝度色の平均値は、輝度色情報記憶装置２０３に通知する（ステップＳ３‐９）。輝度色情報記憶装置２０３は、輝度色画像補正装置２０２から輝度色補正値と輝度色平均値の送信があると、受け取った輝度色補正値と輝度色平均値を最新の輝度色補正値と輝度色平均値として上書き保存する（ステップＳ３‐１０）。輝度色の平均値の変化が所定値以上の場合（Ｙｅｓの場合）は、最新に適用した補正値を輝度色情報記憶装置２０３から取り込み（ステップＳ３‐１１）、取り込まれた補正値に基づいて、カメラ画像座標変換装置２０１から取り込まれた各カメラの俯瞰画像の合成する際のつなぎ目付近の領域に対して、輝度色を補正する（ステップＳ３‐１２）。生成した輝度色補正画像は、合成画像作成装置２０４に通知する。
【００６２】
輝度色画像補正装置２０２から取り込まれたフロントカメラ１０１、リアカメラ１０２、右サイドカメラ１０３、左サイドカメラ１０４の輝度色補正画像から、合成画像作成装置２０４は、１枚の画像に合成するとともに、さらに、車両の上空からの仮想視点から俯瞰した画像を合成し、出力表示画像を生成する（ステップＳ３‐１３）。生成した出力表示画像は、画像表示装置３００に通知する。
【００６３】
画像表示装置３００は、合成画像作成装置２０４から出力表示画像を取り込むと、車載のカーナビやバックミラーモニター等の表示装置に表示する（ステップＳ３‐１４）。
【００６４】
図６に示した出力画像表示処理（ステップＳ３‐１４）の後は、車両のシフトレバーのポジションが後退位置のままか否かを判定し（ステップＳ３‐１５）、車両のシフトポジションが後退位置のままなら、再び、ステップＳ３‐２に戻り、ステップＳ３‐２からの処理を車両のシフトポジションが後退位置以外となるまで繰り返す。車両のシフトポジションが後退位置以外となると、全処理を終了させる。なお、本実施の形態では、車両のシフトポジションが後退位置の場合を起動と終了のトリガとしたが、それ以外にもナビ等からトップビュー表示の通知を受け付けて開始し、トップビュー表示の終了通知を受け付けて終了するでも良いし、シフトポジションが前進位置にあり、かつ車速が所定値以下であれば、画像処理の動作を開始し、車速が所定値以上になると、終了するようにしても良い。
【００６５】
この実施の形態３に説明した構成及び動作を用いることにより、輝度色を補正する際の補正値を算出するための隣接するカメラ画像の共通領域の変化量が大きい場合に、変化量が小さかった過去の補正値を引き継ぎ、輝度色補正を行うことで、変化量が大きくなる要因である立体物の影響を避け、道路などの変化量が小さい場合の補正値を継続して適用することが出来、座標変換画像で立体物が伸びたように投影されることが無く、また隣り合ったカメラの共通撮像領域の投影後の画像は一致しないことによる補正ずれが生じることが無く、各画像間の境界付近が連続した滑らかなつなぎ合わせの合成画像を提供することができる。
【００６６】
なお、図１、図３、及び図５に示した構成図のそれぞれの装置は、図７に示すハードウエアによって実現される。すなわち、プロセッサ５００と、プログラムおよびデータを蓄積するメモリ５０１と、入出力デバイス５０２とをデータバス５０３によって接続し、プロセッサ５００による制御によって、データの処理とデータの伝送が行われるものである。
【００６７】
また、この発明は、その発明の範囲内において、実施の形態に示した構成要素を自由に組み合わせたり、実施の形態の任意の構成要素を適宜、変更または省略したりすることが可能である。
【図１】
2019073589.tif 000003
【図２】
2019073589.tif 000004
【図３】
2019073589.tif 000005
【図４】
2019073589.tif 000006
【図５】
2019073589.tif 000007
【図６】
2019073589.tif 000008
【図７】
2019073589.tif 000009
【国際調査報告】
2019073589.tif 000010
2019073589.tif 000011
2019073589.tif 000012