(57)【要約】【課題】立体物（障害物）が見易くより自然な合成画像を生成すること。【解決手段】画像検出部１０６は、各カメラ１０１の画像から画像特徴量を抽出する。画像変換部１０５は、画像特徴量に応じてブレンド率を算出し複数のカメラ画像が重なる重畳エリアの画像を合成する。重畳エリアにおける各画像の画像特徴量の相関を判定し、相関が弱い場合には立体物が存在すると判断する。さらに各画像の画像特徴量が位置的に重なる部分がある場合には、立体物は重畳エリア内に存在すると判断する。その場合は、画像特徴量が大きい方の画像のブレンド率を大きく設定して画像合成する。【選択図】図１
2014090349.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラからの撮影画像を合成して俯瞰画像を生成する画像処理システムにおいて、
各カメラの画像から画像特徴量を抽出する画像検出部と、
複数のカメラ画像が重なる重畳エリアについて、抽出した画像特徴量に応じて前記重畳エリア全体または画素単位でブレンド率を算出して俯瞰画像を合成する画像変換部と、を備え、
該画像変換部は、前記重畳エリアにおける各画像の画像特徴量の相関を判定し、相関の強さに応じてブレンドの方法を切り替えて合成することを特徴とする画像処理システム。
【請求項２】
請求項１に記載の画像処理システムにおいて、
前記画像変換部は、前記重畳エリアにおける各画像の相関が弱いと判定した場合、前記各画像の画像特徴量が位置的に重なる部分があるか否かを判定し、重なる部分の有無に応じてブレンドの方法を切り替えて合成することを特徴とする画像処理システム。
【請求項３】
請求項２に記載の画像処理システムにおいて、
前記画像変換部は、前記各画像の画像特徴量が位置的に重なる部分があると判定した場合、前記画像特徴量が大きい方の画像のブレンド率を大きく設定することを特徴とする画像処理システム。
【請求項４】
請求項２に記載の画像処理システムにおいて、
前記画像変換部は、前記各画像の画像特徴量が位置的に重なる部分がないと判定した場合、前記画像特徴量が大きい方の画像を選択して合成することを特徴とする画像処理システム。
【請求項５】
請求項１に記載の画像処理システムにおいて、
前記画像変換部は、前記重畳エリアにおける各画像の相関が強いと判定した場合、前記各カメラから前記重畳エリアまでの距離に応じてブレンド率を設定することを特徴とする画像処理システム。
【請求項６】
請求項１に記載の画像処理システムにおいて、
前記画像検出部は、前記画像特徴量として各カメラ画像内の動きベクトルを検出し、
前記画像変換部は、前記重畳エリアにおける各画像の動きベクトル量に応じてブレンド率を設定することを特徴とする画像処理システム。
【請求項７】
複数のカメラからの撮影画像を合成して俯瞰画像を生成する画像処理システムにおいて、
各カメラの画像から画像特徴量を抽出する画像検出部と、
抽出した画像特徴量に応じてブレンド率を算出し複数のカメラ画像が重なる重畳エリアの俯瞰画像を合成する画像変換部と、
当該画像処理システムを適用する車両の走行状態を示す車両制御情報を取得する車両情報取得部と、を備え、
該画像変換部は、前記取得した車両制御情報から前記重畳エリア内の危険度を設定し、危険度に応じた表示方式を組み合わせて前記合成した俯瞰画像を出力することを特徴とする画像処理システム。
【請求項８】
請求項７に記載の画像処理システムにおいて、
前記車両制御情報として車両の進行方向、ハンドルの角度、車速のいずれかを含み、
前記画像変換部は、危険度を高く設定したエリアでは表示する画像のコントラストを向上させて合成することを特徴とする画像処理システム。
【請求項９】
請求項１に記載の画像処理システムにおいて、
前記画像検出部は、前記画像特徴量として各カメラ画像の輝度ヒストグラムと階調重心を算出し、
前記画像変換部は、算出した輝度ヒストグラムと階調重心に応じて、前記重畳エリアにおける各画像の階調重心が一致するように輝度を調整することを特徴とする画像処理システム。
【請求項１０】
請求項９に記載の画像処理システムにおいて、
前記画像変換部は、前記重畳エリアにおける輝度調整結果を用いて、前記重畳エリア以外のエリアの画像の輝度をグラデーションで繋ぐように調整することを特徴とする画像処理システム。
【請求項１１】
請求項１に記載の画像処理システムにおいて、
前記画像変換部は、前記重畳エリア内の周囲部分について、前記重畳エリアに隣接するエリアに向けて前記ブレンド率に勾配を付けて変化させ画像合成することを特徴とする画像処理システム。
【請求項１２】
請求項１に記載の画像処理システムにおいて、
前記画像変換部は、ユーザの年齢に応じて、前記重畳エリアに適用するブレンド率の算出式の勾配を変更して画像合成することを特徴とする画像処理システム。
【請求項１３】
請求項１に記載の画像処理システムにおいて、
前記画像変換部は、所定の期間毎に前記ブレンド率を算出し、当該所定の期間前後のブレンド率の変化を所定範囲以内に制限することを特徴とする画像処理システム。
【請求項１４】
複数のカメラからの撮影画像を合成して俯瞰画像を生成する画像処理方法において、
各カメラの画像から画像特徴量を抽出するステップと、
抽出した画像特徴量に応じてブレンド率を算出し複数のカメラ画像が重なる重畳エリアの俯瞰画像を合成するステップと、を備え、
前記俯瞰画像を合成するステップでは、前記重畳エリアにおける各画像の画像特徴量の相関を判定し、相関の強さに応じてブレンドの方法を切り替えて合成することを特徴とする画像処理方法。
【請求項１５】
複数のカメラからの撮影画像を合成して俯瞰画像を生成する画像処理方法において、
各カメラの画像から画像特徴量を抽出するステップと、
抽出した画像特徴量に応じてブレンド率を算出し複数のカメラ画像が重なる重畳エリアの俯瞰画像を合成するステップと、
当該画像処理システムを適用する車両の走行状態を示す車両制御情報を取得するステップと、を備え、
該俯瞰画像を合成するステップでは、前記取得した車両制御情報から前記重畳エリア内の危険度を設定し、危険度に応じた表示方式を組み合わせて前記合成した俯瞰画像を出力することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラからの撮影画像を合成する画像処理システム及び画像処理方法に関する。
【背景技術】
【０００２】
車両運転支援のため、車両の前方、後方、左右両側にそれぞれ設置された複数のカメラで車両の周囲を撮影し、これらの撮影画像に視点変換を施し、各画像を繋ぎ合せることで、車両周囲の俯瞰画像を作成する表示する画像処理システムが利用されている。その際、隣り合うカメラが撮影する領域は、その繋ぎ目において互いに重複しているが、従来は、表示に使用する撮影画像をある基準に従って選択することで、１つの俯瞰画像を作成していた。しかし、この手法では、繋ぎ目において不連続性が生じてしまい、さらに、繋ぎ目付近に歩行者や障害物が存在する場合には、認識し難い状況になってしまう問題がある。
【０００３】
この問題の対策として、特許文献１には、複数の画像が重なる領域では、画素を一定の規則に従って交互に配置する手法が開示されている。また特許文献２には、俯瞰表示画像の繋ぎ目部分に障害物が存在するかを判断して、俯瞰画像の繋ぎ目部分となる位置を変化させる手法が開示されている。また特許文献３には、２つのカメラによる被写界像が重なるエリアに立体物がある場合は、当該立体物の画像について、合成画像に一方のカメラによる画像のみが残るように、当該エリアにおける２つのカメラによる被写界像を合成する境界線を設定する手法が開示されている。また特許文献４には、特許文献３同様の境界線を設定する手法、及び２つのカメラによる被写界像が重なるエリアに障害物がある場合、一方のカメラによる障害物の画像の合成重み付けを１、他方のカメラによる障害物の画像の合成重み付けを０とし、それぞれのカメラによる画像のうち障害物以外の部分は重み付け０．５とし、これらを合成する手法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３５４４６８号公報
【特許文献２】特開２００７−４１７９１号公報
【特許文献３】ＷＯ２０１０／１１９７３４号公報
【特許文献４】特開２００９−２８９１８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の手法では、２つのカメラで撮影した画像の画素を交互に配置しているため、画像が不鮮明になることや立体物が二重像として表示されるという課題がある。また、特許文献２の手法では、繋ぎ目部分を移動させるが、繋ぎ目が撮影範囲の端部では、新たに作成した繋ぎ目の画像切り換わりが不連続な繋がりになってしまうという課題がある。特許文献３及び特許文献４における境界線を設定する手法でも、同様に、境界線部分における画像の切り替わりが不連続となってしまうという課題がある。また、特許文献４における重み付けの合成手法では、障害物の画像部分については、一方のカメラの画像の重み付けを０か１かの２値で選択する手法のみしか開示されていない。この手法では、障害物の画像と背景画像の分離処理を失敗すると、非常に不自然な合成画像が生成されることとなる。よって、障害物の画像と背景画像を非常に高い精度で分離する必要があり、処理量の要求やハードウェア能力の要求が高くなり、システムが高価になるという課題がある。
【０００６】
また、一般的に知られている画像のアルファチャネルを用いて２つの画像を透過させるアルファブレンド手法も考えられるが、単に２つの画像をそれぞれ５０％でアルファブレンドする場合には、コントラストが低下して、輝度や色が薄く見え難くなってしまう課題がある。
【０００７】
本発明の目的は、立体物（障害物）が見易くより自然な合成画像を生成することで、ユーザにとって使い勝手の良い画像処理システム及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の画像処理システムは、複数のカメラからの撮影画像を合成して俯瞰画像を生成する画像処理システムにおいて、各カメラの画像から画像特徴量を抽出する画像検出部と、抽出した画像特徴量に応じてブレンド率を算出し複数のカメラ画像が重なる重畳エリアの俯瞰画像を合成する画像変換部と、を備え、該画像変換部は、前記重畳エリアにおける各画像の画像特徴量の相関を判定し、相関の強さに応じてブレンドの方法を切り替えて合成することを特徴とする。
【０００９】
前記画像変換部は、前記重畳エリアにおける各画像の相関が弱いと判定した場合、前記各画像の画像特徴量が位置的に重なる部分があるか否かを判定し、重なる部分の有無に応じてブレンドの方法を切り替えて合成する。そして、前記各画像の画像特徴量が位置的に重なる部分があると判定した場合、前記画像特徴量が大きい方の画像のブレンド率を大きく設定する。
【発明の効果】
【００１０】
本発明によれば、立体物（障害物）が見易くより自然な合成画像を生成する、ユーザにとって使い勝手の良い画像処理システムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施例１にかかる画像処理システムの構成を示すブロック図である。
【図２】車両に設置した複数のカメラで同一の被写体を撮影した画像の例である。
【図３】撮影領域のエリア分割と重畳エリアの画像合成の例を示す図である。
【図４】重畳エリアにおける画像合成の動作シーケンスである。
【図５Ａ】図４のＳ４０６におけるブレンド率の算出方法を示す図である。
【図５Ｂ】図４のＳ４０６におけるブレンド率の算出方法を示す図である。
【図５Ｃ】図４のＳ４０６におけるブレンド率の算出方法を示す図である。
【図５Ｄ】図４のＳ４０６におけるブレンド率の算出方法を示す図である。
【図６】図４のＳ４０４におけるブレンド率の設定方法を示す図である。
【図７】図４のＳ４０４におけるブレンド率の設定方法の他の例を示す図である。
【図８】重畳エリアに立体物が存在しない場合の合成画像の例を示す図である。
【図９】重畳エリア内に立体物が存在する場合の合成画像の例を示す図である。
【図１０】重畳エリア外に立体物が存在する場合の合成画像の例を示す図である。
【図１１】重畳エリア内を歩行者が移動した場合の合成画像の例を示す図である。
【図１２】動きベクトル情報を用いてブレンド率を算出する方法を説明する図である。
【図１３】実施例２にかかる画像処理システムの構成を示すブロック図である。
【図１４】車両情報を利用して画像合成する場合のエリア分割を示す図である。
【図１５】図１４で分割した各エリアの危険度を分類した表である。
【図１６】車両情報を利用した重畳エリアにおける画像合成の動作シーケンスである。
【図１７】危険度を反映した俯瞰画像表示例である。
【図１８】実施例３として、カメラ画像をエリア分割して輝度調整を行うことを説明する図である。
【図１９】輝度ヒストグラムの階調重心を合わせる方法を示す図である。
【図２０】重畳エリアに挟まれたエリアの輝度調整を行う方法を示す図である。
【図２１】重畳エリア内の周囲部分での合成方法を示す図である。
【図２２】年齢による輝度コントラストの感覚の違いを説明する図である。
【図２３】ブレンド率の変化量制限を説明する図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について図面を用いて説明する。
【実施例１】
【００１３】
図１は、実施例１にかかる画像処理システムの構成を示すブロック図である。画像処理システムは、車両に搭載された複数（ｎ個）のカメラ１０１で車両周囲の画像を撮影し、
画像処理装置１００により各カメラの撮影画像を合成し、モニタ１０９により車両の周囲の俯瞰画像を表示する構成となっている。画像処理装置１００では、各カメラ１０１からの撮影画像データをそれぞれ対応する複数のデコード部１０２にてデコード処理し、バス１０３を介してメモリ部１０７に蓄積する。
【００１４】
画像変換部１０５は、メモリ部１０７に蓄積された各カメラ１０１からの撮影画像データの合成処理を行い、車両の周囲の俯瞰画像を生成する。すなわち、広角のカメラ画像に対して、レンズの歪補正処理や透視変換処理を行いカメラ毎の俯瞰画像を作成し、それらの俯瞰画像の切り出しや合成、アルファブレンド処理し、車両の周囲全体の俯瞰画像を生成する処理を行う。画像検出部１０６は、撮影画像データに対し、エッジ抽出、輪郭抽出、ガウシアン処理、ノイズ除去処理、閾値処理などを行い、道路に描かれた白線や障害物、歩行者などの有無、写っている面積の大きさの検出処理を行う。エンコード部１０８は、生成された俯瞰画像のエンコード処理を行い、ＣＰＵ１０４は上記各部の動作を制御する。
【００１５】
画像処理装置１００から出力された俯瞰画像データは、モニタ１０９にて表示される。モニタ１０９はその種類を限定するものではなく、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）、ＬＣＯＳ（Liquid Crystal On Silicon）、ＯＬＥＤ（Organic light-emitting diode）、ホログラフィック光学素子やプロジェクタ装置など任意である。また、車内に設置しても車外に設置しても良く、平面型のモニタのみでなくＨＵＤ（Head-Up Display）、ＨＭＤ（Head Mounted Display）などを利用しても良い。
【００１６】
このように画像処理装置１００では、複数のカメラで撮影した画像を利用して、障害物や歩行者を検出し、検出結果に従って、画像に写っている障害物や歩行者が見易いように各カメラ画像の俯瞰画像を合成し、車両の全周囲の俯瞰画像を生成するものである。
【００１７】
本実施例の画像処理システムは、画像処理装置１００と複数のカメラ１０１とモニタ１０９を含む構成としたが、カメラ１０１とモニタ１０９のいずれか、あるいは両方が外部装置としてシステム外に接続される構成でも良い。
【００１８】
また本実施例では、車両の周囲の俯瞰画像の生成に関して記載しているが、これ以外の用途として、複数の監視カメラからの撮影画像を合成して監視対象領域の俯瞰画像を作成する場合にも適用できる。
【００１９】
図２は、車両に設置した複数のカメラで同一の被写体を撮影した画像の例である。車両２００には、前方カメラ２０１、左サイドカメラ２０２、後方カメラ２０３、右サイドカメラ２０４が設置されており、車両２００の左斜め前方に歩行者２０５が歩いて来た状況を示している。この状況を、前方カメラ２０１で撮影した画像が２０６であり、左サイドカメラ２０２で撮影した画像が２０７である。本例では、それぞれのカメラは斜め下を向いており、画像２０６、２０７には、歩行者２０５の足の部分２０５ａ、２０５ｂが写っている。
【００２０】
撮影角度が異なるため、前方カメラ２０１で撮影した画像２０６には、前方カメラ２０１から出ている矢印の方向に伸びた足２０５ａが撮影されている。一方左サイドカメラ２０２で撮影した画像には、左サイドカメラ２０２から出ている矢印の方向に伸びた足２０５ｂが撮影されている。つまり、同じ被写体である歩行者２０５を撮影しているが、カメラの撮影位置の違いにより、異なる向きの足２０５ａ、２０５ｂが撮影される。これは、被写体である歩行者２０５が立体物であるために生じる現象である。被写体が立体物でなく道路上に描かれた平面状の絵柄の場合には、画像２０６と２０７には同じ絵柄で撮影され、位置を合わせれば重なることになる。つまり、異なる方向から同一の被写体を撮影しているとき、２つの画像内に異なる方向に伸びる物体が検出される場合には、立体物が存在していると判定できる。本実施例ではこの性質を利用して、複数のカメラ画像の重なる部分をより見易くなるようブレンド処理するようにした。
【００２１】
図３は、撮影領域のエリア分割と重畳エリアの画像合成の例を示す図である。車両２００の周囲を、８つのエリア３００〜３０７に分割している。カメラ２０１で撮影されるエリアは３００、３０１、３０２で、カメラ２０２で撮影されるエリアは３００、３０３、３０５である。他のエリアもカメラ２０３、２０４に対して同様に決められる。
【００２２】
まず、撮影画像に対し、画像端部に生じるレンズ歪の補正処理と、奥行きの距離に応じて拡大率を変化させる透視変換を行う。これにより、例えば図２の画像２０６から、図３の各エリア３００、３０１、３０２に渡る俯瞰画像を作成する。同様に図２の画像２０７から、図３の各エリア３００、３０３、３０５に渡る俯瞰画像を作成する。
【００２３】
この場合、エリア３００はカメラ２０１とカメラ２０２の画像が重なるエリアであり、以後、「重畳エリア」と呼ぶことにする。他のエリア３０２、３０５、３０７も２つのカメラ画像が重なる重畳エリアである。もし、地面に突起物（立体物）がなく平面である場合には、同じエリアの画像は同一であり重なることになる。つまり、重畳エリアとは、複数のカメラ画像から俯瞰画像を作成した際に、地面上の同じ位置が撮影されるエリアを意味する。
【００２４】
重畳エリアにおける画像を表示する場合、２つの画像からいずれかを選択して表示する方法と、両者をブレンド処理して合成し表示する方法が可能である。その際、重畳エリアに立体物が存在する場合に一方の画像のみを選択して表示すると、合成画像の繋ぎ目付近で画像が切れてしまい、写らない部分（画像消失）が発生してしまう恐れがある。そこで、図３に示すように、重畳エリア３００に立体物（歩行者）が存在する場合には、立体物である歩行者の足２０５ａ，２０５ｂをブレンド処理を行って表示するようにした。これにより、立体物の画像の一部が消失することを回避できる。
【００２５】
図４は、重畳エリアにおける画像合成の動作シーケンスである。例として、カメラ１（２０１）とカメラ２（２０２）の重畳エリア３００での画像を合成する場合を想定する。
【００２６】
Ｓ４０１では、画像検出部１０６により、カメラ１画像内の重畳エリアにおける撮影画像の特徴量を抽出し、そこに存在する物体を検出する。その際、エッジなどが多い部分やラプラシアンフィルタやＳｏｂｅｌフィルタなどによる輪郭抽出、二値化処理、色情報、ヒストグラム情報や各種パターン認識処理などにより画像特徴量を抽出する。そして、エッジや輪郭が抽出できた画素の位置やそのエッジの輝度の高さなどの画像特徴量Ｑ１を、メモリ部１０７に記憶する。特徴量としては、ＳＩＦＴ（Scale-Invariant Feature Transform）やＨＯＧ（Histograms of Oriented Gradients）などによる画像の特徴量を利用しても良い。また、ＨＯＧ特徴量と歩行者の形の特徴量を組合せて、抽出できた特徴情報が歩行者であるか物であるかを選別しても良い。そして、歩行者であるか物であるかによって、コントラスト強調処理や危険度表示などの仕方を切り換えれば、ユーザ（運転者）に対しより使い勝手の良い情報を提供できる。
Ｓ４０２では、同様に、カメラ２画像内の重畳エリアにおける撮影画像の特徴量から、そこに存在する物体を検出し、抽出した画像特徴量Ｑ２をメモリ部１０７に記憶する。
【００２７】
Ｓ４０３では、Ｓ４０１、Ｓ４０２で抽出した画素の位置や特徴量Ｑ１，Ｑ２の相関の強さを判定する。つまり、検出した物体の画素位置が一致またはある範囲内に集まっているか、特徴量の差分がある範囲内であるかを計算により判定する。これは、統計的な処理やクラスタリング処理を行うことで、空間的な距離関係や意味的な距離関係の相関を判定する。
【００２８】
Ｓ４０３において相関が強いと判定した場合（Ｙｅｓ）には、立体物は存在しないものと判断してＳ４０４に進む。Ｓ４０４では、カメラ１とカメラ２の画像をある固定のブレンド率により合成する。この場合、カメラ１またはカメラ２のいずれかの画像を選択して利用することも可能だが、もしも繋ぎ目付近に立体物があった場合には、その画像が消失してしまう恐れがある。よってブレンド方式とするのが好ましい。Ｓ４０４で合成した俯瞰画像は、Ｓ４１０でモニタ１０９に出力する。
【００２９】
Ｓ４０３において相関が弱いと判定した場合（Ｎｏ）には、重畳エリアに立体物が存在する可能性があるとしてＳ４０５に進む。Ｓ４０５では、カメラ１とカメラ２の画像特徴量Ｑ１、Ｑ２は位置的に重なる部分があるか否かを判定する。
【００３０】
Ｓ４０５において画像特徴量は位置的に重なる部分があると判定した場合（Ｙｅｓ）は、重畳エリアに立体物そのものが存在していることを意味しており（図９で後述）、Ｓ４０６に進む。Ｓ４０６では、それぞれのカメラから抽出できる特徴量の値Ｑ１，Ｑ２に応じてブレンド率を算出する。Ｓ４０７では、Ｓ４０６で算出したブレンド率で重畳エリアの画像の合成を行い、Ｓ４１０でモニタ１０９に俯瞰画像を出力する。
【００３１】
Ｓ４０５において画像特徴量は位置的に重なる部分がないと判定した場合（Ｎｏ）は、重畳エリア自体には立体物はなく、特徴が抽出できた（物体が検出できた）方のカメラ画像に、周囲に存在する立体物が写り込んでいることを意味しており（図１０で後述）、Ｓ４０８に進む。Ｓ４０８では、特徴が抽出できた（物体が検出できた）方のカメラ画像を選択する。Ｓ４０９では、Ｓ４０８で選択したカメラ画像から俯瞰画像を合成し、Ｓ４１０でモニタ１０９に出力する。この場合も、誤検出により繋ぎ目付近での画像の消失を回避するために、特徴が抽出できたカメラ画像のブレンド率を優先してブレンド処理を行い、俯瞰画像を合成しても良い。
【００３２】
上記した動作シーケンスでは、複数カメラで撮影された重畳エリアにおいて、異なる方向から撮影されたカメラ画像の画像特徴量を抽出しこれらの相関性を判定することで、道路に描かれた平面状の模様と立体物とを区別できる。また立体物が存在する場合は、特徴量の位置的な重なりを判定し、立体物が重畳エリア内に存在するのか、重畳エリア外に存在するのかを判別できる。そして、それぞれの状態に合わせて、俯瞰画像の合成時のブレンド率を変化させることで、良好な俯瞰画像が得られる。
【００３３】
図５Ａ、図５Ｂ、図５Ｃおよび図５Ｄは、図４のＳ４０６におけるブレンド率の算出方法を示す図である。カメラ１、カメラ２で撮影された重畳エリアの特徴量Ｑ１，Ｑ２にもとづいて、それぞれのカメラ画像を合成するブレンド率を算出する。横軸は、画像検出部１０６により検出されたそれぞれのカメラ画像の特徴量の割合をとり、縦軸はそれぞれのカメラ画像のブレンド率Ｐ１，Ｐ２を示している。カメラ画像の特徴量の割合は、以下のように求める。まず、カメラ１画像の特徴量Ｑ１に所定の演算を行なった結果をＦ（Ｑ１）とする。同様のカメラ２画像の特徴量Ｑ２に所定の演算を行なった結果をＦ（Ｑ２）とする。カメラ１画像の特徴量の割合は、Ｆ（Ｑ１）／（Ｆ（Ｑ１）＋Ｆ（Ｑ２））と算出する。同様に、カメラ２画像の特徴量の割合は、Ｆ（Ｑ２）／（Ｆ（Ｑ１）＋Ｆ（Ｑ２））と算出する。所定の演算Ｆについては、以降の図５Ａの説明において詳細に説明する。
【００３４】
図５Ａの場合、ブレンド率の算出式は特徴量の割合に対して勾配１のグラフとしている。よって、カメラ１画像のブレンド率Ｐ１およびカメラ２画像のブレンド率Ｐ２は、
Ｐ１＝Ｆ（Ｑ１）／（Ｆ（Ｑ１）＋Ｆ（Ｑ２））
Ｐ２＝Ｆ（Ｑ２）／（Ｆ（Ｑ１）＋Ｆ（Ｑ２））
で求める。
【００３５】
ここで、所定の演算Ｆについては、様々な演算が可能である。図５Ａの例では、立体物がある可能性の高い画像について、演算結果の値が大きくなる場合について説明する。例えば、重畳エリア内で所定の閾値以上の画像特徴量を有する画素数をカウントするという演算を行う。この場合は、カメラ１画像またはカメラ２画像のそれぞれの重畳エリア内における立体物の画像が占める大きさを、ブレンド率を可変する要素とすることができる。また、カメラ１画像またはカメラ２画像の重畳エリア内の画素の画像特徴量の総和、平均、加重平均、重心、中心値を算出するなどの演算も可能である。この場合は、重畳エリア内における立体物の画像が占める大きさのみならず、特徴量の値の大きさもブレンド率を可変する要素とすることができる。または、ブレンド率を画素毎に決定することもできる。この場合は、Ｆ（Ｑ１）として対象画素におけるＱ１そのものを用い、Ｆ（Ｑ２）として対象画素におけるＱ２そのものを用いてもよい。図５Ａの場合には、Ｆ（Ｑ１）とＦ（Ｑ２）を比較してその値の大きい方の画像のブレンド率が大きく設定されることになる。
【００３６】
図５Ｂの場合も、図５Ａと同様に、カメラ１画像の特徴量Ｑ１に所定の演算を行なった結果Ｆ（Ｑ１）と、カメラ２画像の特徴量Ｑ２に所定の演算を行なった結果Ｆ（Ｑ２）とを用いて、カメラ１画像のブレンド率Ｐ１、カメラ２画像のブレンド率Ｐ２を算出する例である。図５Ｂは図５Ａと同様に、ブレンド率特徴量の割合を連続的に変化させるものであるが、「特徴量の割合」が０．５に近い部分で、ブレンド率の変化の勾配を図５Ａよりも大きくしたものである。このようなブレンド率の算出方法により、「特徴量の割合」が変化する際にブレンド率が穏やかに切り替わりながらも、より特徴がある画像（立体物がある可能性の高い画像）のコントラストを強調することが可能となる。これにより、立体物がある可能性が比較的高い画像を、ユーザがより認識しやすくなるという効果がある。
【００３７】
また、図５Ｃの場合も図５Ａと同様に、カメラ１画像の特徴量Ｑ１に所定の演算を行なった結果Ｆ（Ｑ１）と、カメラ２画像の特徴量Ｑ２に所定の演算を行なった結果Ｆ（Ｑ２）とを用いて、カメラ１画像のブレンド率Ｐ１、カメラ２画像のブレンド率Ｐ２を算出する例である。図５Ｃもブレンド率特徴量の割合を連続的に変化させるものである。しかし図５Ｃでは、「特徴量の割合」が所定の大きさ以上になった場合は、そのカメラの画像のブレンド率を１とし、「特徴量の割合」が所定の大きさ以下になった場合は、そのカメラの画像のブレンド率を０とする。このようなブレンド率の算出方法により、「特徴量の割合」が変化する際にブレンド率が穏やかに切り替わりながらも、より特徴がある画像（立体物がある可能性の高い画像）のコントラストをさらに強調することが可能となる。立体物がある可能性が比較的高い画像を、ユーザがさらに認識しやすくなるという効果がある。
なお、図５Ｂおよび図５Ｃでは線形のグラフを利用したが、視覚特性に合わせたＬＯＧ曲線のグラフを利用すれば、より見易い表示とすることができる。
【００３８】
また図５Ｄは、「特徴量の割合」が変化する際に、ブレンド率が段階的に切り替わるように設定した場合である。この場合切り替え段階の数が多いほどブレンド率の切り替えがより穏やかとなる。図５Ｄの例では、図５Ａの直線を階段状に変更した折れ線に近いが、それぞれの切り替えにおけるブレンド率の変化量に差をつければ、図５Ｂに近い折れ線や、図５Ｃに近い折れ線の特性とすることも可能である。以上説明したように、「特徴量の割合」の変化に応じてブレンド率を段階的に切り替えるような、「特徴量の割合」の変化に対するブレンド率の変化が不連続であっても、本発明の一実施の態様となりうる。
【００３９】
なお、図５Ａ、図５Ｂ、図５Ｃ、図５Ｄのいずれにおいても、立体物がある可能性の高い画像について、演算結果の値が大きくなる場合を説明したが、立体物がある可能性の高い画像ほど、演算結果の値が小さくなるような演算Ｆであってもよい。その場合は、図５Ａ、図５Ｂ、図５Ｃ、図５Ｄのグラフを右肩上がりから、右肩下がりに適宜変更すればよいだけであり、この場合も本発明の一実施の態様となりうる。
【００４０】
このように、図５Ａ、図５Ｂ、図５Ｃ、図５Ｄの例では、特許文献４に開示される手法とは異なり、立体物の部分の画像についても、ブレンド率は１と０以外の多数の値をとることができる。これにより、立体物の部分は、立体物がある可能性の高さに応じてより自然に合成することが可能となる。
【００４１】
また、ブレンド率は、重畳エリア全体または画素単位で算出し、重畳エリア全体または画素単位での合成処理に用いている。よって、重畳エリア内において、特許文献３および特許文献４に開示される境界線のような不自然な画像の接合部分が生じることも防止でき、より自然な合成画像を生成することが可能となる。
【００４２】
図６は、図４のＳ４０４におけるブレンド率の設定方法を示す図である。これは、画像検出部１０６の誤検出で繋ぎ目付近の物体が消失してしまうのを防ぐ目的で、画素毎にある固定のブレンド率を設定して合成する手法である。よって、Ｓ４０９の処理にも適用できる。
【００４３】
図６において、左斜め前の重畳エリア３００を例に説明する。重畳エリア３００を扇状に分割し、各分割エリアａ１〜ａ７毎に、前方カメラ２０１の画像のブレンド率Ｐ１と、左サイドカメラ２０２の画像のブレンド率Ｐ２のブレンド率を固定で設定する。例えば、エリアａ１では前方カメラ２０１側に最も近いので、カメラ２０１の画像のブレンド率Ｐ１＝０．９、カメラ２０２の画像のブレンド率Ｐ２＝０．１とする。これに隣接するエリアａ２では、Ｐ１＝０．８、Ｐ２＝０．２とする。逆に、エリアａ７では左サイドカメラ２０２側に最も近いので、Ｐ１＝０．１、Ｐ２＝０．９とする。このように、カメラ２０１に近いほどカメラ２０１の画像を優先し、カメラ２０２に近いほどカメラ２０２の画像を優先してブレンド率を設定する。これにより、それぞれの分割エリアでは近いカメラからの画像が強調してブレンドされるので、より見易い画像が作成できる。さらに各分割エリアにおいて、各カメラ画像の特徴量に応じて、ブレンド率を調整しても良い。
【００４４】
図７は、図４のＳ４０４におけるブレンド率の設定方法の他の例を示す図である。重畳エリア３００内のある画素位置Ｃから、車両２００に設置されているカメラ２０１とカメラ２０２までの距離をｄ１，ｄ２とする。そして、距離ｄ１，ｄ２の比に応じて固定のブレンド率を設定する。すなわち、カメラ２０１に近い距離にある画素位置（つまりｄ１＜ｄ２）では、カメラ２０１の画像のブレンド率を高く設定する。例えば、カメラ２０１の画像のブレンド率Ｐ１とカメラ２０２の画像のブレンド率Ｐ２を、
Ｐ１＝ｄ２／（ｄ１＋ｄ２）
Ｐ２＝ｄ１／（ｄ１＋ｄ２）
で与える。
【００４５】
ただし、カメラに近すぎる位置ではピントずれや歪が大きくなっている可能性が高いので、距離が遠い方のカメラを優先するようブレンド率を修正するのが好ましい。すなわち、接近限界閾値をｄｔｈ（ただし、ｄ１最小値≦ｄｔｈ≦ｄ１最大値）としたとき、ｄ１＜ｄ２かつｄ１＜ｄｔｈとなる位置では、近いカメラ２０１画像のブレンド率Ｐ１を低くするように修正する。例えば、上記設定したブレンド率Ｐ１，Ｐ２を入れ替えて、
Ｐ１＝ｄ１／（ｄ１＋ｄ２）
Ｐ２＝ｄ２／（ｄ１＋ｄ２）
として与える。これにより、カメラから近過ぎる位置で発生するピントずれや歪は、軽減して表示される効果がある。
【００４６】
図８は、重畳エリアに立体物が存在しない場合の合成画像の例を示す図である。図４のＳ４０３の判定で、２つカメラ画像の画像特徴量の相関が強い場合である。カメラ１とカメラ２の重畳エリアにおいて、カメラ１の画像８０１には、カメラ１で撮影した道路や駐車場等に平面状に描かれている白線８０３が写っている。カメラ２の画像８０２には、カメラ２で撮影した道路や駐車場等に描かれている白線８０４が写っている。同一の重畳エリアを撮影しているため、そのエリアに立体物が存在しなければ同じ画像になっている。この場合、Ｓ４０４の処理を行い、２つのカメラからの画像８０１，８０２を固定のブレンド率で合成するか、一方の画像を選択して俯瞰画像を合成する。その結果、１つの白線８０６が写った合成画像８０５が生成される。
【００４７】
図９は、重畳エリア内に立体物が存在する場合の合成画像の例を示す図である。図４のＳ４０３の判定で、２つのカメラ画像の画像特徴量の相関が弱い場合である。カメラ１とカメラ２の重畳エリアにおいて、カメラ１の画像９０１には、カメラ１で撮影した歩行者の足９０３が写っている。カメラ２の画像９０２には、カメラ２で撮影した歩行者の足９０４が写っている。同一の重畳エリアを撮影しているが、立体物である歩行者がそのエリア内に存在するため、歩行者の足９０３，９０４は異なる方向に伸びている。
【００４８】
さらに図４のＳ４０５の判定では、両者の画像特徴量には位置的に重なる部分９０８が存在するので、立体物は重畳エリア内に存在する。この場合、Ｓ４０６の処理を行い、カメラ１の画像９０１とカメラ２の画像９０２のブレンド率を算出し、Ｓ４０７ではそのブレンド率で画像を合成する。その結果、歩行者の足９０６、９０７がそれぞれのブレンド率に従って合成された画像９０５が生成される。
【００４９】
図１０は、重畳エリア外に立体物が存在する場合の合成画像の例を示す図である。図４のＳ４０３の判定で、２つのカメラ画像の画像特徴量の相関が弱い場合である。カメラ１とカメラ２の重畳エリアにおいて、カメラ１の画像１００１には、カメラ１で撮影した歩行者の足１００３が写っている。カメラ２の画像１００２には、カメラ２で撮影した画像が写っているが、歩行者の足に相当するものは存在しない。これは、重畳エリア内には何も存在しないが、カメラ１の近くには歩行者（立体物）が存在して、それがカメラ１の画像１００１に物体１００３として写り出されたものである。一方、カメラ２の画像１００２の付近には何も存在しないため、何も写っていない。
【００５０】
さらに図４のＳ４０５の判定では、両者の画像特徴量には位置的に重なる部分が存在しないので、立体物は重畳エリア外に存在すると判断する。この場合、Ｓ４０８の処理を行い、物体１００３が写っているカメラ１の画像１００１を選択し、Ｓ４０９では、カメラ１の画像１００１を優先して画像を合成する。その結果、カメラ１で撮影された歩行者の足１００５の存在する合成画像１００４が生成される。
【００５１】
図１１は、重畳エリア内を歩行者が移動した場合の合成画像の例を示す図である。歩行者がカメラ１とカメラ２の重畳エリア１１００の場所を左側から右方向に歩いて行く場合、重畳エリア１１００における歩行者の合成画像を時系列に並べている。画像合成の際、図４のＳ４０６に従い画像特徴量に応じてブレンド率を設定している。
【００５２】
時刻ｔ１では、カメラ１で撮影された歩行者の足１１０１とカメラ２で撮影された歩行者の足１１０２を合成するが、それらのブレンド率を画像特徴量（例えば足の写っている面積）に応じて決定し、カメラ１側をＰ１＝０．８、カメラ２側をＰ２＝０．２で合成する。このようにブレンド率を設定することで、歩行者の足の面積が大きく写っている側、すなわちカメラ１で撮影された足１１０１がくっきり表示される。
時刻ｔ２では、カメラ１で撮影された足１１０３とカメラ２で撮影された足１１０４の画像特徴量（面積）は同程度となり、ブレンド率は共に等しくＰ１＝Ｐ２＝０．５で合成する。
【００５３】
時刻ｔ３では、カメラ１で撮影された足１１０５よりもカメラ２で撮影された足１１０６の画像特徴量の方がやや大きくなり、ブレンド率はカメラ１側をＰ１＝０．３、カメラ２側をＰ２＝０．７で合成する。
時刻ｔ４では、カメラ１で撮影された足１１０７よりもカメラ２で撮影された足１１０８の画像特徴量の方がはるかに大きくなり、ブレンド率はカメラ１側をＰ１＝０．１、カメラ２側をＰ２＝０．９で合成する。その結果、足の面積が大きく写っているカメラ２で撮影された足１１０８がくっきり表示される。
【００５４】
このように、２つのカメラで同一の物体が撮影されているとき、画像特徴量の相対的な比率に応じてブレンド率を設定することにより、面積がより大きく写っている方の画像のコントラストを大きくした画像を生成できる。
【００５５】
上記の例では、時刻ｔ２において、画像特徴量が同程度になるため、ブレンド率を等しくＰ１＝Ｐ２＝０．５としたが、この場合両方の輝度が薄くなってしまい視認しにくくなる可能性がある。そこで、ヒステリシスを考慮して、一時刻前にブレンド率が高かった画像を優先して表示する処理を行ってもよい。具体的には、図１１の例では、時刻ｔ２の一時刻前の時刻ｔ１では、Ｐ１の方がブレンド率が大きい。そこで、画像特徴量が同程度である時刻ｔ２の処理では、Ｐ１を優先して、検出した画像特徴量に対して、所定の割合または値を加える、または乗ずる処理を行う。これにより、例えば、ブレンド率をＰ１＝０．６、Ｐ２＝０．４などとして、カメラ１の映像を見易くさせても良い。なお、このとき、前の動きから次の時刻の動きを予測して、Ｐ１＝０．４、Ｐ２＝０．６としても良い。この手法のように、カメラ１とカメラ２で同程度の画像特徴量が検出される場合には、時系列的な特徴量の変化に応じて、２つの映像のブレンド率が等しくなる状況（Ｐ１＝Ｐ２＝０．５）を避けるようにブレンドすることで、両方の画像が薄くなり視認しにくくなる現象を低減できる。
【００５６】
図１２は、動きベクトル情報を用いてブレンド率を算出する方法を説明する図である。すなわち、図４のＳ４０１、Ｓ４０２において、画像特徴量の検出のためにオプティカルフローの動きベクトル情報を利用し、これから重畳エリアのブレンド率を算出し画像を合成する。画像特徴量として複数フレームの動きベクトルを利用し、動きベクトルの総和の比からブレンド率を算出する。
【００５７】
具体的には、カメラ１の画像１２０１内の動きベクトル１２０３の総和ΣＣａｍ１と、カメラ２の画像１２０２内の動きベクトル１２０４の総和ΣＣａｍ２を計算する。これから、カメラ１のブレンド率Ｐ１とカメラ２のブレンド率Ｐ２を、
Ｐ１＝ΣＣａｍ１／（ΣＣａｍ１＋ΣＣａｍ２）
Ｐ２＝ΣＣａｍ２／（ΣＣａｍ１＋ΣＣａｍ２）
として算出する。つまり、動きの大きい方のカメラ画像のブレンド率を大きく設定する。これらのブレンド率で動き物体１２０６，１２０７を含む合成画像１２０５を生成する。この手法によれば、重畳エリア内で動きが大きいものほどくっきりとコントラストを向上させた画像が生成可能となる。
【実施例２】
【００５８】
図１３は、実施例２にかかる画像処理システムの構成を示すブロック図である。実施例２では、実施例１（図１）の構成に対し車両情報取得部１３００を追加している。車両情報取得部１３００は、ＣＡＮ（Controller Area Network）やＦｌｅｘＲａｙなどを介して、当該画像処理システムを適用する車両から車両制御情報を取得する。車両制御情報は、車両の進行方向やハンドルの角度や車速、ヘッドライトやハザードランプ、ワイパーのＯｎ／Ｏｆｆ、方向指示器の向きなどの情報であり、画像処理システムはこれらの車両情報を利用し、危険度を考慮した画像処理を行う。
【００５９】
図１４は、車両情報を利用して画像合成する場合のエリア分割を示す図である。特に、重畳エリアにおいて画像合成する場合に、危険度に応じてエリア分割を行う。ここでは、重畳エリア３００，３０２，３０５，３０７を危険度別に４つに分割し、重畳エリア３００をＡ１〜Ａ４に、重畳エリア３０２をＢ１〜Ｂ４、重畳エリア３０３をＣ１〜Ｃ４、重畳エリア３０４をＤ１〜Ｄ４に分割している。
【００６０】
図１５は、図１４で分割した各エリアの危険度を分類した表である。車両情報（進行方向、ハンドルの向き、速度）をパラメータに、各分割エリアの危険度を（大）、（中）、（小）で示している。各分割エリアにおいては、危険度に応じて画像の合成と表示を変更する。
【００６１】
本実施例における危険度を分類では、二つの速度の閾値を用いる。第１の閾値Ｘは、第２の閾値Ｓよりも大きい。車両の速度が、第１の閾値Ｘ以上の場合には、駐車動作の速度としては危険な速さであると判断する。この場合には、車両周囲の全エリアを危険エリアとして表示することで、運転者により警告を促すことができる。車両の速度が第１の閾値Ｘよりも小さい場合には、図１５を用いて、各エリアの危険度の分類を行なう。
【００６２】
例えば、運転手が左にハンドルを切って前進しようとしている場合には、速度Ｖが第２の閾値Ｓよりも大きいときは（Ｖ＞Ｓ）、左前方のエリアＡ１〜Ａ４が危険度（大）である。右前方では、エリアＢ１、Ｂ３にいる歩行者は、左に向かって飛び出してくる可能性があるので危険度（中）、また後方のエリアＣ２、Ｄ１は、車両の構造上巻き込みや衝突があり得るので危険度（中）とする。それ以外のエリアＢ２、Ｂ４、Ｃ１、Ｄ２は距離が遠いので危険度（小）としている。このように、車両情報に合わせて危険度の分類を行う。これらは車の形状や小回りの範囲、初速度など車種によって異なり、それぞれの車両に応じて設定する。俯瞰画像を合成する際に、障害物を見易くする際に、各エリアの危険度情報を用いて合成することにより、運転者にとってより見易い表示方法が提供できる。
【００６３】
その他の車両情報の利用として、次のような設定が可能である。自車がハザードランプをＯｎにして停止している場合は、後方から近づいて来る車両を警戒して、エリアＣ２、Ｃ４、Ｄ１、Ｄ３などの危険度を高めるようにする。運転者が方向指示器を有効にした場合には、方向指示器の方向の進行方向のエリアとその後方エリアの危険度を高める。ヘッドライトがＯｎの際は、進行方向のエリアの危険度をより高める。ヘッドライトがＯｎの状態で、ライトが上向きか下向きかで表示の仕方を変化させても良い。例えば、ライトが上向きであれば、より暗いところを走行中であり視界も狭いため、前方危険度を高くするのみでなく、注意が散漫になりがちな左右のエリアの危険度を高めるようにする。ワイパーをＯｎにした際は、視界が悪くなっている可能性があるので、進行方向のエリアの危険度を高めるようにする。
【００６４】
図１６は、車両情報を利用した重畳エリアにおける画像合成の動作シーケンスである。俯瞰画像を作成する手順は、図４の動作シーケンスを基本とし、追加した工程について説明する。
【００６５】
Ｓ１６０１では、車両情報と図１５の危険度情報の読込みを行う。
Ｓ１６０２では車両の速度Ｖを閾値Ｘと比較する。車両の速度が第１の閾値Ｘよりも大きい場合には、Ｓ１６０３に進み、図１５から読み出した危険度情報について全エリアを危険エリア（大）として設定し直す。これにより、全てのエリアについて危険であることを表示する。
【００６６】
Ｓ１６０４では、図１５の危険度情報またはＳ１６０３で書き替えられた危険度情報に基づいて、表示エリア毎にその危険度に応じた表示方式を組み合わせ、合成した俯瞰画像を出力する。その際、立体物があるエリアほどブレンド率が大きくなっているので、重畳エリアにおける各カメラ画像のブレンド率を確認することで、立体物（障害物）が存在する可能性を判別できる。つまり、危険度が大きくかつブレンド率が大きい重畳エリアでは、より危険性が高いと判断できる。
【００６７】
図１７は、危険度を反映した俯瞰画像表示例である。図１６のＳ１６０４において、画像変換部１０５は、重畳エリア３００内で検出した立体物（障害物）１７００の特徴量に応じてブレンド率を変化させ、障害物のコントラストを向上させて表示する。さらに図１５の危険度情報またはＳ１６０３で書き替えられた危険度情報により、危険度が大きいとされたエリア１７０１〜１７０４については、エリア内を塗り潰したり縁を着色したりする処理を行う。エリアを塗り潰す際に、図４のＳ４０１やＳ４０２で抽出した画像特徴量の中の色情報を参照し、抽出された色情報とは異なる色相の色を用いることで、見た目のコントラストを向上させる。また、ブレンド率の小さいカメラ画像に色の付いたレイヤを重畳した後、ブレンド率の大きいカメラ画像を重畳すれば、障害物が写っている可能性のあるカメラ画像のコントラストをそれほど低下させずに合成できる。
【００６８】
さらに、危険性の高いエリア、つまりブレンド率が大きく危険度も大きい重畳エリアに関しては、画像変換部１０５は、物体のエッジ強調やコントラストを強調するような画像処理を施して、物体がより目立ちはっきり認識できるように表示する。Ｓ４０１、Ｓ４０２で抽出したエッジや輪郭などの画像特徴部分に関して、目立つ色で塗り潰す、または縁取るなどの処理を行うことで、危険性をより強調することができる。また、この危険度情報の別の利用の仕方として、図１５の危険度の低いエリアや危険度が設定されていないエリアに、文字による付加情報などを表示しても良い。
【実施例３】
【００６９】
前記実施例１，２に述べたように重畳エリアにおいてブレンド率を調整しても、各カメラの明るさが大きく異なると、輝度が高いカメラ画像が優先し見易く合成されてしまい、狙った効果が得られない場合がある。また、矩形の重畳エリアで画像のブレンド処理を行うと、ブレンド率によっては矩形の境界部分が切れ目として目立つ場合がある。さらに、運転者の年齢により輝度コントラストの感覚に違いが生じる。そこで実施例３では、複数のカメラの輝度を補正する手法や、重畳エリアの境界部の補正、コントラストの調整方法を示す。
【００７０】
図１８は、カメラ画像をエリア分割して輝度調整を行うことを説明する図である。その際、画像検出部１０６は、画像特徴量として輝度ヒストグラム算出や階調重心算出を行い、画像変換部１０５は、検出結果に応じて階調調整などの画質調整処理を実施する。
【００７１】
車両２００に設置されたカメラ２０１、２０２、２０３、２０４の俯瞰画像をそれぞれ３つの部分に分割し、カメラ２０１については部分画像Ｅ１〜Ｅ３、カメラ２０２については部分画像Ｆ１〜Ｆ３、カメラ２０３については部分画像Ｇ１〜Ｇ３、カメラ２０４については部分画像Ｈ１〜Ｈ３に分割する。このうち、重畳エリア１８００にはカメラ２０１の部分画像Ｅ１とカメラ２０２の部分画像Ｆ１が対応する。同様に、重畳エリア１８０１にはカメラ２０１の部分画像Ｅ３とカメラ２０４の部分画像Ｈ１が対応し、重畳エリア１８０２にはカメラ２０２の部分画像Ｆ３とカメラ２０３の部分画像Ｇ１が対応し、重畳エリア１８０３にはカメラ２０３の部分画像Ｇ３とカメラ２０４の部分画像Ｈ３が対応する。また、重畳エリア１８００における部分画像Ｅ１と部分画像Ｆ１の輝度ヒストグラムを、それぞれ１８１１、１８１２で示す。
【００７２】
ここで同一エリアを異なるカメラで撮影するとき、輝度差が生じることがある。例えば、車両２００の右側方向（カメラ２０４側）に太陽があるとき、反対側のカメラ２０２では車両の影が撮影されて、部分画像Ｆ２は他の画像よりも暗くなってしまう。また、カメラ２０２の画像Ｆ１〜Ｆ３は、カメラのホワイトバランス調整、画像Ｆ２の輝度などの影響を受け、画像Ｆ１、Ｆ３は、同じエリアを撮影している他のカメラ画像Ｅ１、Ｇ１よりも暗くなってしまう。
【００７３】
この場合、重畳エリア１８００である画像Ｅ１とＦ１のそれぞれの輝度ヒストグラム１８１１，１８１２を算出して、その階調重心を合わせることで、ある程度見た目の明るさを合わせることができる。輝度ヒストグラムの階調重心の合わせ方は、図１９にて説明する。このように、複数カメラ画像の明るさ調整を行うのであるが、このやり方は様々に存在する。
【００７４】
例えば、まず４箇所の重畳エリア１８００〜１８０３について、対応する２つの画像の輝度ヒストグラムを算出し、その階調重心を合わせるよう輝度調整を行う。その後、重畳エリアで挟まれた中間画像Ｅ２、Ｆ２、Ｇ２、Ｈ２について、各重畳エリアでの調整結果をグラデーションで繋ぐように輝度調整を行う。例えば、中間画像Ｆ２において、エリア１８００に近い位置ではエリア１８００の調整結果に近い値とし、エリア１８０２に近い位置ではエリア１８０２の調整結果に近い値とする。これにより、滑らかな輝度階調を実現する。
【００７５】
あるいは、フロント側画像Ｅ２とリア側画像Ｇ２についてそれらの輝度ヒストグラムの階調重心を合わせるよう輝度調整し、その調整結果に合うように各重畳エリアの画像の輝度調整をしても良い。そして中間画像Ｆ２、Ｈ２については、各重畳エリアの調整結果をグラデーションで繋ぐように輝度調整を行う。
【００７６】
これらの調整手順は、各画像の輝度ヒストグラムに応じて切り替えても良い。例えば、画像Ｅ２と画像Ｆ２の輝度差が所定の閾値よりも大きい場合には、初めにＥ２とＦ２の輝度調整をしてから、他の画像の調整を行うようにする。このように、状況に応じて調整順序を切り替えることにより、単純に隣接する画像を順次調整した結果、隣接画像間の輝度差が拡大し再度調整が必要になることを回避できる。
【００７７】
本例では、各カメラの俯瞰画像を３つに分割しているが、分割せずに、各カメラの画像全体のヒストグラム分布を算出して利用しても良い。例えば、カメラ２０１の画像Ｅ１〜Ｅ３全体の輝度ヒストグラムと、カメラ２０２の画像Ｆ１〜Ｆ３全体の輝度ヒストグラムを算出して、その階調重心を合わせることで、画像Ｅ１〜Ｅ３、Ｆ１〜Ｆ３の輝度調整を行っても良い。
【００７８】
本例では、輝度ヒストグラムの分布によりその画像の明るさを推定しているが、画像の平均輝度や最大、最小輝度などを利用しても良い。画像の平均輝度を利用する場合は、細かい制御には向いていないが処理負荷を軽減できる。また、輝度調整に関して述べたが、ＹＣｂＣr信号のＹ、Ｃｂ、Ｃｒ値のそれぞれの平均や重心を合わせること、ＲＧＢ信号のそれぞれの階調分布を調整すること、ＨＳＶ色空間においてそれぞれの要素の階調分布を調整して合わせることでも良い。輝度だけでなく色情報も利用することで、複数カメラの色ズレも補正できる。
【００７９】
図１９は、輝度ヒストグラムの階調重心を合わせる方法を示す図である。例えば図１８の重畳エリア１８００において、カメラ２０２の画像Ｆ１の階調重心をカメラ２０１の画像Ｅ１の階調重心に合わせることで、重畳エリア１８００の輝度調整を行うものである。他の重畳エリアについても同様である。
【００８０】
図１９の左側には、画像Ｅ１の輝度ヒストグラム１８１１と画像Ｆ１の輝度ヒストグラム１８１２を示し、それぞれの階調重心を▲印で表している。両者の階調重心は輝度差ｈだけずれている。右側のグラフ１９００は、入力輝度に対する出力輝度の変換式を示し、折れ線状の実線とする。破線は傾き１の直線で、入力と出力が等しい場合である。この変換式を用いて、画像Ｆ１の階調重心の調整を行う。
【００８１】
画像Ｆ１のヒストグラム１８１２の階調重心を画像Ｅ１のヒストグラム１８１１の階調重心に合わせるには、ヒストグラム１８１２の階調重心を左方向に補正量ｈだけずらせばよい。この操作は入出力グラフ上では、ヒストグラム１８１２の階調重心の入力輝度に対し、出力輝度を補正量ｈだけ減少させる変換を行う。一点のみの輝度を減少させると不自然な画像になるため、本例ではその周辺を含んで連続的に輝度を減少させる調整をしている。これにより、画像Ｆ１のヒストグラム１８１２の階調重心付近の輝度を持つ画素群が、ｈだけ輝度が小さい画素群に変換され、画像Ｅ１のヒストグラム１８１１の階調重心と一致させることができる。すなわち、画像Ｆ１の見た目の明るさを画像Ｅ１の明るさに近づけることができる。
【００８２】
図２０は、重畳エリアに挟まれたエリアの輝度調整を行う方法を示す図である。ここでは、カメラ２０２の俯瞰画像Ｆ１〜Ｆ３を例に説明する。
【００８３】
まず、重畳エリア１８００については、図１９に述べたように、画像Ｅ１と画像Ｆ１の輝度ヒストグラムを算出し、両者の階調重心の差ｈ１を入出力グラフ２００１を用いて補正する。これにより、輝度調整された画像Ｆ１’を得る。同様に重畳エリア１８０２についても、画像Ｆ３と画像Ｇ１の輝度ヒストグラムを算出し、両者の階調重心の差ｈ３を入出力グラフ２００３を用いて補正する。これにより、輝度調整された画像Ｆ３’を得る。この例では、画像Ｆ１と画像Ｆ３の補正方向が逆方向の場合を示しており、両者の入出力グラフ２００１、２００３の変換式も上下方向に逆になっている。
【００８４】
次に、２つの重畳エリア１８００、１８０２の調整後の画像Ｆ１’、Ｆ３’に挟まれた画像Ｆ２の輝度調整を行う。画像Ｆ２のフロント側からリア側に向けた方向に座標軸ｚをとる。フロント端のｚ＝０の位置では、入出力グラフ２００１に基づいて輝度調整を行い、リア端のｚ＝Ｚｍａｘの位置では、入出力グラフ２００３に基づいて輝度調整を行う。途中の位置ｚでは、入出力グラフ２００１と２００３を位置ｚに応じて混合した入出力グラフ２００２に基づいて、ｚ＝０〜Ｚｍａｘの間を滑らかなグラデーションになるように輝度調整する。
【００８５】
具体的には、画像Ｆ１の階調重心をＸ１、補正量をｈ１とし、画像Ｆ３の階調重心をＸ３、補正量をｈ３とすると、位置ｚでの階調重心Ｘｚと出力補正量ｈｚは、
Ｘｚ＝Ｘ１＋（Ｘ３−Ｘ１）×ｚ/Ｚｍａｘ
ｈｚ＝ｈ１＋（ｈ３−ｈ１）×ｚ/Ｚｍａｘ
で与えることで、画像Ｆ２の輝度調整を実施する。
【００８６】
これにより、カメラ２０２の俯瞰画像Ｆ１〜Ｆ３について、自然な階調で違和感ない輝度調整が可能となる。重畳エリアに挟まれた他の中間画像Ｅ２、Ｇ２、Ｈ２においても同様な処理を実施する。これにより、重畳エリアでの輝度補正に加え、その間のエリアについて連続的に補正して、４つのカメラの全ての画像の輝度補正を行う。
【００８７】
図２１は、重畳エリア内の周囲部分での合成方法を示す図である。矩形の重畳エリアで画像のブレンド処理を行うと、ブレンド率によっては矩形の境界部分が切れ目として目立つ場合がある。そのため、重畳エリアの中央部は前記したブレンド率で合成処理を行うが、重畳エリア内の周囲部分については重畳エリアに隣接するエリアの画像と滑らかに接続するよう、勾配を付けて合成を行う。例として、図１８の重畳エリア１８００内における２つの周囲部分２１０１、２１０２を取り上げて説明する。
【００８８】
重畳エリア１８００内の上側の周囲部分２１０１は、図１８におけるフロントのカメラ２０１からの距離が近く、また部分画像Ｅ２との繋がりが強い。よって、その合成割合は、所定のブレンド率から勾配を付けて減らしていき、合成割合が０となる境界位置ではカメラ２０１の部分画像Ｅ１と繋げるようにする。
【００８９】
一方重畳エリア１８００内の左側の周囲部分２１０２は、サイドのカメラ２０２からの距離が近く、また部分画像Ｆ２との繋がりが強い。よって、その合成割合は、所定のブレンド率から勾配を付けて減らしていき、合成割合が０となる境界位置ではカメラ２０２の部分画像Ｆ１と繋げるようにする。
【００９０】
このように合成することで、重畳エリア１８００は隣接する画像Ｅ２や画像Ｆ２との繋ぎ目に切れ目がなく、自然に見えるようになる。なお、図１８のように重畳エリア１８００で画像Ｅ１とＦ１が重なる場合だけでなく、一部が重なる場合もその周囲を滑らかに合成することができる。
【００９１】
図２２は、年齢による輝度コントラストの感覚の違いを説明する図である。図形２２００を見た際に、２０歳代の人はコントラスト２２０１のように、“Ｃ”の文字と周囲とのコントラストを大きく感じるが、７０歳代の人はコントラスト２２０２のように、“Ｃ”の文字と周囲とのコントラストをあまり感じない、という実験結果が人間工学の分野で報告されている（アクセシブルデザイン技術の標準化(産総研)：非特許文献）。この結果を考慮して、重畳エリアのブレンド率をユーザ（運転者）の年齢を反映させて決定する。なお、運転者の年齢情報は、メモリ部１０７に保持しておく。そして、高齢者ほど、重畳エリアの各画像特徴量が少しでも大きい方を優先して合成率を上げるような処理を行う。
【００９２】
例えば、運転者が若い場合には、図５Ａの勾配の算出式でブレンド率を決定する。一方高齢者の場合には、図５Ｂのように勾配を大きくした算出式を用いてブレンド率を決定する。これより、ある程度物体検出の割合が増えてきたらその画像のブレンド率を急に増大させるような処理を行い、コントラストを上げるようにする。また、年齢に応じて、画像変換部１０５にてコントラスト強調処理の強度を切り替える処理を行っても良い。
【００９３】
本実施例におけるブレンド処理に関しては、画素位置毎に画像特徴量Ｑ１、Ｑ２を算出し、画素位置毎にブレンド率Ｐ１，Ｐ２を算出しても良い。また、重畳エリア全体でＱ１、Ｑ２を算出し、これに基づいて算出したＰ１，Ｐ２を一様なブレンド率として利用して合成しても良い。また合成結果に関して、さらにコントラストを強調して表現するような処理を施した後に合成をしても良いし、合成後にコントラスト強調処理を施しても良い。また、サイドカメラ２０２、２０４として、車両のサイドミラーをデジタル化したデジタルミラーを利用して俯瞰画像を生成しても良い。
【００９４】
以上説明した各実施例におけるブレンド処理おいて、さらに、ブレンド率の時間変化を制限することについて述べる。
図２３は、ブレンド率の変化量制限を説明する図である。縦軸は２つのカメラ画像のうちの一方のブレンド率（Ｐ１またはＰ２）、横軸は時間である。横軸の時間は１目盛りを１フレーム期間として、フレーム期間数で表現している。
【００９５】
まず、１フレーム毎に各実施例で説明したブレンド率の算出結果の例を説明する。図２３の点線は、２フレーム目まで０．８だったブレンド率が、ブレンド率の算出により、３フレーム目に０．５に変化し、５フレーム目に再び０．８に戻り、６フレーム目に再び０．５に変化するという例を示している。このように、フレーム毎に各実施例で説明したブレンド率の算出方法をそのまま適用すると、例えば、２フレーム目と３フレーム目のブレンド率の変化は非常に急激になる。また、５フレーム目と６フレーム目の変化も急激であり、ノイズによってもこのような状況が生じえる。その結果、合成映像のちらつきがユーザに対し不快感を与える可能性がある。
【００９６】
これを改善するために、ブレンド率の算出処理の直前の結果から、次の算出処理の結果との差分（変化量）を所定の範囲に制限する。これを適用した場合の例を図２３の実線で示し、図中のｄは変化の制限量である。この例では、制限量ｄを直前のブレンド率の１０％と設定している。すなわち、１フレーム期間のブレンド率の変化は直前のブレンド率の１０％以内に制限される。例えば、各実施例で説明した算出方法で通常算出されるブレンド率が、直前に算出されたブレンド率の９０％より小さくなる場合は、直前に算出されたブレンド率の９０％を新たなブレンド率の算出結果とする。同様に、通常算出されるブレンド率が、直前に算出されたブレンド率の１１０％より大きくなる場合は、直前に算出されたブレンド率の１１０％を新たなブレンド率の算出結果とする。これにより、図２３の２フレーム目から９フレーム目までの変化の過程を見れば明らかなように、穏やかで自然なブレンド率の変化を実現することができる。
【００９７】
この方法を用いることにより、ブレンド率の急激な変化を低減して、ユーザが感じる合成映像のちらつき感を低減または防止することが可能となる。なお、図２３の例では、ブレンド率を１フレーム毎に算出することとしたが、１フィールドごとでもよく、所定数フレームについて１回という頻度でも構わない。
【符号の説明】
【００９８】
１００：画像処理装置、
１０１：ｎ個のカメラ、
１０２：デコード部、
１０３：バス、
１０４：ＣＰＵ、
１０５：画像変換部、
１０６：画像検出部、
１０７：メモリ部、
１０８：エンコード部、
１０９：モニタ、
２００：車両、
２０１：前方カメラ、
２０２：左サイドカメラ、
２０３：後方カメラ、
２０４：右サイドカメラ、
２０５：歩行者、
３００，３０２，３０５，３０７：重畳エリア、
１３００：車両情報取得部。
【図１】
2014090349.tif 000003
【図２】
2014090349.tif 000004
【図３】
2014090349.tif 000005
【図４】
2014090349.tif 000006
【図５Ａ】
2014090349.tif 000007
【図５Ｂ】
2014090349.tif 000008
【図５Ｃ】
2014090349.tif 000009
【図５Ｄ】
2014090349.tif 000010
【図６】
2014090349.tif 000011
【図７】
2014090349.tif 000012
【図８】
2014090349.tif 000013
【図９】
2014090349.tif 000014
【図１０】
2014090349.tif 000015
【図１１】
2014090349.tif 000016
【図１２】
2014090349.tif 000017
【図１３】
2014090349.tif 000018
【図１４】
2014090349.tif 000019
【図１５】
2014090349.tif 000020
【図１６】
2014090349.tif 000021
【図１７】
2014090349.tif 000022
【図１８】
2014090349.tif 000023
【図１９】
2014090349.tif 000024
【図２０】
2014090349.tif 000025
【図２１】
2014090349.tif 000026
【図２２】
2014090349.tif 000027
【図２３】
2014090349.tif 000028