(57)【要約】  結合画像上で視認性が低い被写体の存在を認識可能な画像処理装置、警報装置、および画像処理方法を提供する。画像処理装置（１３）は、第１の領域を含む移動体（１７）の周辺領域を撮像した第１の画像と、第１の領域に隣接する第２の領域を含む移動体（１７）の周辺領域を撮像した第２の画像と、を取得する画像取得部（１８）と、第１および第２の画像に対して輪郭検出を行う輪郭検出部（１９）と、第１および第２の画像を用いて生成する結合画像において、第１の画像上で検出された第１の輪郭が第２の画像との境界まで延びる場合、第１の輪郭の延長線上に第２の輪郭が第２の画像上で検出されるか否かを判別する判別部（２０）と、を備える。
2015098107.tif 000002
【特許請求の範囲】
【請求項１】
第１の領域を含む移動体の周辺領域を撮像した第１の画像と、前記第１の領域に隣接する第２の領域を含む前記移動体の周辺領域を撮像した第２の画像と、を取得する画像取得部と、
前記第１および第２の画像に対して輪郭検出を行う輪郭検出部と、
前記第１および第２の画像を用いて生成する結合画像において、前記第１の画像上で検出された第１の輪郭が前記第２の画像との境界まで延びる場合、前記第１の輪郭の延長線上に第２の輪郭が前記第２の画像上で検出されるか否かを判別する判別部と、を備えることを特徴とする、画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記判別部により前記第２の輪郭が前記第２の画像上で検出されないと判別された場合、前記第２の画像のコントラストを増大する調整を行う調整部を更に備えることを特徴とする、画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記調整は、前記第２の画像の明るさ補正、色補正、輪郭補正、撮像の際の露出制御、および撮像の際の利得制御のうち少なくとも１つにより行われることを特徴とする、画像処理装置。
【請求項４】
請求項２又は３に記載の画像処理装置であって、
前記画像取得部は、前記第１の画像を撮像する第１の撮像部に設定された第１の利得を示す情報を取得し、前記第２の画像を撮像する第２の撮像部に設定された第２の利得を示す情報を取得し、
前記調整部は、前記第１の利得と前記第２の利得との差が閾値以上である場合、運転者に対して警告すること、および、前記第１の利得に合わせるように変更した前記第２の利得を前記第２の撮像部に設定することの少なくとも一方を行うことを特徴とする、画像処理装置。
【請求項５】
請求項１乃至４の何れか一項に記載の画像処理装置であって、
前記判別部により前記第２の輪郭が前記第２の画像上で検出されないと判別された場合、前記第１の輪郭の延長線上に相当する前記第２の画像上の位置に重畳線を描画する描画部を更に備えることを特徴とする、画像処理装置。
【請求項６】
請求項１乃至４の何れか一項に記載の画像処理装置であって、
前記判別部により前記第２の輪郭が前記第２の画像上で検出されないと判別された場合、前記第１の輪郭の延長線上に相当する前記第２の画像上の位置を境界線として定め、該境界線により区画される前記第２の画像上の少なくとも一方の領域に、該領域の色とは異なる色を重畳する描画部を更に備えることを特徴とする、画像処理装置。
【請求項７】
請求項１乃至６の何れか一項に記載の画像処理装置と、
前記判別部により前記第２の輪郭が前記第２の画像上で検出されないと判別された場合、障害物が存在することを示す警報を発する警報発生部と、を備えることを特徴とする、警報装置。
【請求項８】
第１の領域を含む移動体の周辺領域を撮像した第１の画像と、前記第１の領域に隣接する第２の領域を含む前記移動体の周辺領域を撮像した第２の画像と、を取得するステップと、
前記第１および第２の画像に対して輪郭検出を行うステップと、
前記第１および第２の画像を用いて生成する結合画像において、前記第１の画像上で検出された第１の輪郭が前記第２の画像との境界まで延びる場合、前記第１の輪郭の延長線上に第２の輪郭が前記第２の画像上で検出されるか否かを判別するステップと、を含むことを特徴とする、画像処理方法。
【発明の詳細な説明】
【関連出願へのクロスリファレンス】
【０００１】
本出願は、日本国特許出願２０１３−２６６０２５号（２０１３年１２月２４日出願）の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取込む。
【技術分野】
【０００２】
本発明は、画像上の被写体の認識性を向上する画像処理装置、警報装置、および画像処理方法に関する。
【背景技術】
【０００３】
従来、自動車などの移動体に複数の車載カメラを設置して移動体周辺を撮像し、生成した複数の撮像画像を用いて移動体周辺を俯瞰する結合画像を表示するアラウンドビューモニタシステムが知られている。このようなシステムにおいて、各撮像画像間のつなぎ目に視覚的な連続性を持たせる技術が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１６６１９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像の視認性確保のため、例えばガンマ補正、ホワイトバランス、および露出制御などにより、各カメラにおいて画像の色および明るさをそれぞれ調整することが一般的である。このため、例えば夜間や屋内において、移動体周囲の一部領域を照射する移動体の照明又は周囲の光源などの影響により、あるカメラで明るく撮像される障害物などの被写体が、他のカメラで暗く撮像されることがあった。このように、移動体周囲の多様な光源によって、結合画像上で視認性の低い被写体の存在を認識できない場合があった。【０００６】
かかる事情に鑑みてなされた本発明の目的は、結合画像上で視認性が低い被写体の存在を認識可能な画像処理装置、警報装置、および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明に係る画像処理装置は、
第１の領域を含む移動体の周辺領域を撮像した第１の画像と、前記第１の領域に隣接する第２の領域を含む前記移動体の周辺領域を撮像した第２の画像と、を取得する画像取得部と、
前記第１および第２の画像に対して輪郭検出を行う輪郭検出部と、
前記第１および第２の画像を用いて生成する結合画像において、前記第１の画像上で検出された第１の輪郭が前記第２の画像との境界まで延びる場合、前記第１の輪郭の延長線上に第２の輪郭が前記第２の画像上で検出されるか否かを判別する判別部と、を備える
ことを特徴とする。【０００８】
また、本発明に係る画像処理装置は、
前記判別部により前記第２の輪郭が前記第２の画像上で検出されないと判別された場合、前記第２の画像のコントラストを増大する調整を行う調整部を更に備える
ことが好ましい。【０００９】
また、本発明に係る画像処理装置において、
前記調整は、前記第２の画像の明るさ補正、色補正、輪郭補正、撮像の際の露出制御、および撮像の際の利得制御のうち少なくとも１つにより行われる
ことが好ましい。【００１０】
また、本発明に係る画像処理装置において、
前記画像取得部は、前記第１の画像を撮像する第１の撮像部に設定された第１の利得を示す情報を取得し、前記第２の画像を撮像する第２の撮像部に設定された第２の利得を示す情報を取得し、
前記調整部は、前記第１の利得と前記第２の利得との差が閾値以上である場合、運転者に対して警告すること、および、前記第１の利得に合わせるように変更した前記第２の利得を前記第２の撮像部に設定することの少なくとも一方を行う
ことが好ましい。【００１１】
また、本発明に係る画像処理装置は、
前記判別部により前記第２の輪郭が前記第２の画像上で検出されないと判別された場合、前記第１の輪郭の延長線上に相当する前記第２の画像上の位置に重畳線を描画する描画部を更に備える
ことが好ましい。【００１２】
また、本発明に係る画像処理装置は、
前記判別部により前記第２の輪郭が前記第２の画像上で検出されないと判別された場合、前記第１の輪郭の延長線上に相当する前記第２の画像上の位置を境界線として定め、該境界線により区画される前記第２の画像上の少なくとも一方の領域に、該領域の色とは異なる色を重畳する描画部を更に備える
ことが好ましい。【００１３】
また、本発明に係る警報装置は、
第１の領域を含む移動体の周辺領域を撮像した第１の画像と、前記第１の領域に隣接する第２の領域を含む前記移動体の周辺領域を撮像した第２の画像と、を取得する画像取得部と、前記第１および第２の画像に対して輪郭検出を行う輪郭検出部と、前記第１および第２の画像を用いて生成する結合画像において、前記第１の画像上で検出された第１の輪郭が前記第２の画像との境界まで延びる場合、前記第１の輪郭の延長線上に第２の輪郭が前記第２の画像上で検出されるか否かを判別する判別部と、を備える画像処理装置と、
前記判別部により前記第２の輪郭が前記第２の画像上で検出されないと判別された場合、障害物が存在することを示す警報を発する警報発生部と、を備える
ことを特徴とする。【００１４】
また、本発明に係る警報装置は、
前記判別部により前記第２の輪郭が前記第２の画像上で検出されないと判別された場合、前記第２の画像のコントラストを増大する調整を行う調整部を更に備える
ことが好ましい。【００１５】
また、本発明に係る警報装置において、
前記調整は、前記第２の画像の明るさ補正、色補正、輪郭補正、撮像の際の露出制御、および撮像の際の利得制御のうち少なくとも１つにより行われる
ことが好ましい。【００１６】
また、本発明に係る警報装置において、
前記画像取得部は、前記第１の画像を撮像する第１の撮像部に設定された第１の利得を示す情報を取得し、前記第２の画像を撮像する第２の撮像部に設定された第２の利得を示す情報を取得し、
前記調整部は、前記第１の利得と前記第２の利得との差が閾値以上である場合、運転者に対して警告すること、および、前記第１の利得に合わせるように変更した前記第２の利得を前記第２の撮像部に設定することの少なくとも一方を行う
ことが好ましい。【００１７】
また、本発明に係る警報装置は、
前記判別部により前記第２の輪郭が前記第２の画像上で検出されないと判別された場合、前記第１の輪郭の延長線上に相当する前記第２の画像上の位置に重畳線を描画する描画部を更に備える
ことが好ましい。【００１８】
また、本発明に係る警報装置は、
前記判別部により前記第２の輪郭が前記第２の画像上で検出されないと判別された場合、前記第１の輪郭の延長線上に相当する前記第２の画像上の位置を境界線として定め、該境界線により区画される前記第２の画像上の少なくとも一方の領域に、該領域の色とは異なる色を重畳する描画部を更に備える
ことが好ましい。【００１９】
また、本発明に係る画像処理方法は、
第１の領域を含む移動体の周辺領域を撮像した第１の画像と、前記第１の領域に隣接する第２の領域を含む前記移動体の周辺領域を撮像した第２の画像と、を取得するステップと、
前記第１および第２の画像に対して輪郭検出を行うステップと、
前記第１および第２の画像を用いて生成する結合画像において、前記第１の画像上で検出された第１の輪郭が前記第２の画像との境界まで延びる場合、前記第１の輪郭の延長線上に第２の輪郭が前記第２の画像上で検出されるか否かを判別するステップと、を含む
ことを特徴とする。
【発明の効果】
【００２０】
本発明に係る画像処理装置、警報装置、および画像処理方法によれば、視認性を改善して撮像できるので、結合画像上で視認性の低い被写体の存在を認識可能である。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施形態に係るカメラシステムの概略構成を示す機能ブロック図である。
【図２】図１の撮像装置の撮像範囲を示す概略図である。
【図３】図１の画像処理装置の動作を説明するフローチャートである。
【図４】移動体周辺の状況を示す図である。
【図５】図４における撮像画像の例を示す図である。
【図６】図５の撮像画像の輝度を示す図である。
【図７】図１のカメラシステムによる移動体周辺の俯瞰画像の例を示す図である。
【図８】本発明の第２の実施形態に係るカメラシステムの概略構成を示す機能ブロック図である。
【図９】図８の画像処理装置の動作を説明するフローチャートである。
【図１０】図８のカメラシステムによる移動体周辺の俯瞰画像の例を示す図である。
【図１１】図８のカメラシステムによる移動体周辺の俯瞰画像の例を示す図である。
【図１２】本発明の第３の実施形態に係るカメラシステムの概略構成を示す機能ブロック図である。
【図１３】図１２の画像処理装置の動作を説明するフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の実施形態について、図面を参照して説明する。
【００２３】
（第１の実施形態）
はじめに、本発明の第１の実施形態に係る画像処理装置を含むカメラシステムについて説明する。図１は、本発明の第１の実施形態に係るカメラシステムの概略構成を示す機能ブロック図である。
【００２４】
図１に示すように、カメラシステム１００は、撮像装置１０と、画像結合装置１１と、表示装置１２と、画像処理装置１３と、を備える。撮像装置１０、画像結合装置１１、表示装置１２、および画像処理装置１３は、例えば車載ネットワーク２００により互いに通信可能である。撮像装置１０は、複数の撮像部、本実施形態においては、例えば、フロントカメラ１４、リアカメラ１５、サイドカメラ（左サイドカメラ１６Ｌ，右サイドカメラ１６Ｒ）を有する。
【００２５】
フロントカメラ１４は、例えば魚眼レンズなどの画角の広いレンズを備え、広角撮影可能である。フロントカメラ１４は、移動体１７の前方領域ＦＡ（図２参照）を含む周辺領域を撮像可能となるように、移動体１７に配置される。また、フロントカメラ１４は、前方領域ＦＡ中央の測光領域ＦＰにおいて測光し、露出制御および利得（ゲイン）制御を行う。また、フロントカメラ１４は、周期的に、例えば３０ｆｐｓで被写体像を撮像し、撮像画像を生成する。また、フロントカメラ１４は、撮像画像にホワイトバランスおよびガンマ補正などの一般的な画像処理を施す。フロントカメラ１４の動作は、撮像に関する設定に基づいて制御される。撮像に関する設定には、例えば、露出制御における光学系の絞り値およびシャッタ速度の設定、並びに利得制御、ガンマ補正、およびホワイトバランスにおいて画像信号に乗じる利得の設定などが含まれる。また、フロントカメラ１４は、撮像画像に対して画像変換処理を施し、移動体１７の前方領域ＦＡにおける俯瞰画像に変換する。即ち、画像変換によって、広角撮影により生成し、一般的に画像周辺部が歪んだ撮像画像が、前方領域ＦＡを移動体１７の上方から鉛直下向きに見た俯瞰画像に変換される。
【００２６】
リアカメラ１５、左サイドカメラ１６Ｌ、および右サイドカメラ１６Ｒは（図１参照）、フロントカメラ１４と同様に構成される。
【００２７】
例えば、リアカメラ１５は、移動体１７の後方領域ＲｅＡ（図２参照）を含む周辺領域を撮像可能となるように、移動体１７に配置される。また、リアカメラ１５は、後方領域ＲｅＡ中央の測光領域ＲｅＰにおいて測光して露出制御および利得制御を行い、撮像画像を生成する。また、リアカメラ１５は、撮像画像に対して一般的な画像処理を施し、また画像変換により撮像画像を後方領域ＲｅＡにおける俯瞰画像に変換する。
【００２８】
また、例えば左サイドカメラ１６Ｌは、移動体１７の左側方領域ＬＡを含む周辺領域を撮像可能となるように、移動体１７の左側のドアミラーにおいて鉛直下向きに配置される。また、左サイドカメラ１６Ｌは、左側方領域ＬＡ中央の測光領域ＬＰにおいて測光して露出制御および利得制御を行い、撮像画像を生成する。また、左サイドカメラ１６Ｌは、撮像画像に対して一般的な画像処理を施し、また画像変換により撮像画像を左側方領域ＬＡにおける俯瞰画像に変換する。
【００２９】
また、例えば右サイドカメラ１６Ｒは、移動体１７の右側方領域ＲＡを含む周辺領域を撮像可能となるように、移動体１７の右側のドアミラーにおいて鉛直下向きに配置される。また、右サイドカメラ１６Ｒは、右側方領域ＲＡ中央の測光領域ＲＰにおいて測光して露出制御および利得制御を行い、撮像画像を生成する。また、右サイドカメラ１６Ｒは、撮像画像に対して一般的な画像処理を施し、また画像変換により撮像画像を右側方領域ＲＡにおける俯瞰画像に変換する。
【００３０】
上述の領域ＦＡ，ＲｅＡ，ＬＡ，ＲＡは、互いに環状に隣接する。例えば、前方領域ＦＡは、左側方領域ＬＡおよび右側方領域ＲＡに隣接する。
【００３１】
画像結合装置１１は（図１参照）、フロントカメラ１４、リアカメラ１５、およびサイドカメラ１６Ｌ，１６Ｒがそれぞれ生成する複数の俯瞰画像、又は後述する画像処理装置１３が生成する複数の俯瞰画像を結合して、結合画像を生成する。結合画像は、例えば移動体１７の全周囲の俯瞰画像である。結合画像において、前方領域ＦＡにはフロントカメラ１４の画像、後方領域ＲｅＡにはリアカメラ１５の画像、左側方領域ＬＡには左サイドカメラ１６Ｌの画像、および右側方領域ＲＡには右サイドカメラ１６Ｒの画像が用いられる（図２参照）。
【００３２】
表示装置１２は、例えばＬＣＤであり、リアルタイムの動画像を表示可能である。表示装置１２は、画像結合装置１１が生成する結合画像を取得して表示する。表示装置１２は、例えばタッチパネルで構成され、ユーザ操作を受け付けるインターフェースとして機能してもよい。
【００３３】
画像処理装置１３は、画像取得部１８と、輪郭検出部１９と、判別部２０と、調整部２１と、を有する。
【００３４】
画像取得部１８は、フロントカメラ１４、リアカメラ１５、およびサイドカメラ１６Ｌ，１６Ｒが生成する各画像を画像信号としてそれぞれ取得する。画像信号には、輝度信号および色信号が含まれる。本実施形態において、画像取得部１８は、フロントカメラ１４、リアカメラ１５、およびサイドカメラ１６Ｌ，１６Ｒが生成する俯瞰画像を取得するが、画像変換処理を施す前の撮像画像を取得してもよい。
【００３５】
輪郭検出部１９は、フロントカメラ１４、リアカメラ１５、およびサイドカメラ１６Ｌ，１６Ｒから取得した複数の画像に対して、輪郭検出の処理を行う。即ち、輪郭検出によって、画像上の被写体の輪郭（輪郭線）が検出される。本実施形態の輪郭検出処理において、連続する複数の画素における画像信号強度の差（コントラスト）が所定値ｔｈ以上である箇所が輪郭として検出される。所定値ｔｈは、運転者による画像上の輪郭の視認容易性の基準を示すコントラストの値であって、例えば実験又はシミュレーションにより決定可能である。所定値ｔｈ以上のコントラストを有する輪郭は、運転者による視認が容易である。一方、所定値ｔｈ未満のコントラストを有する輪郭は、運転者による視認が容易でない。輪郭検出部１９は、所定値ｔｈ未満の任意のしきい値を基準として輪郭を検出してもよい。
【００３６】
判別部２０は、フロントカメラ１４、リアカメラ１５、およびサイドカメラ１６Ｌ，１６Ｒから取得した複数の画像のうち１つの画像（第１の画像）上で検出され、所定値ｔｈ以上のコントラストを有する第１の輪郭が、結合画像において第１の画像に隣接する他の画像（第２の画像）との境界まで延びているか否かを判別する。また、判別部２０は、第１の輪郭が境界まで延びている場合、第１の輪郭の延長線に相当し所定値ｔｈ以上のコントラストを有する第２の輪郭が、第２の画像上で検出されるか否かを判別する。判別部２０の具体的な動作については後述する。
【００３７】
調整部２１は、所定値ｔｈ以上のコントラストを有する第２の輪郭が検出されない場合、第２の画像のコントラストを増大する調整を行う。コントラストを増大する調整は、例えば画像の明るさ補正、色補正、輪郭補正、ガンマ補正、撮像の際の露出制御、および撮像の際の利得制御などにより行い得る。詳細には、調整部２１は、取得した第２の画像に対して明るさ補正、色補正、および輪郭補正などの画像処理を施し、画像結合装置１１に出力する。或いは、調整部２１は、次のフレーム以降に第２の画像を撮像する際に撮像部（１４，１５，１６Ｌ，１６Ｒ）が行う露出制御、利得制御および画像処理の動作を制御する。好適には、調整部２１は、第１の輪郭の延長線上に相当する第２の画像上の位置におけるコントラストが所定値ｔｈ以上となるまで、第２の画像のコントラストを増大する上述の処理を繰返し実行する。例えば、調整部２１が第２の画像に対して施す画像処理、および輪郭検出部１９が当該画像処理を施した第２の画像に対して施す輪郭検出処理が、判別部２０が所定値ｔｈ以上のコントラストを有する第２の輪郭を検出するまで繰返し実行される。
【００３８】
次に、第１の実施形態に係る画像処理装置１３が実行する動作について、図３のフローチャートを用いて説明する。
【００３９】
はじめに、画像取得部１８は、フロントカメラ１４、リアカメラ１５、およびサイドカメラ１６Ｌ，１６Ｒから画像（俯瞰画像）をそれぞれ取得する（ステップＳ１００）。
【００４０】
次に、輪郭検出部１９は、ステップＳ１００で取得した各画像について輪郭検出を行う（ステップＳ１０１）。
【００４１】
次に、判別部２０は、ステップＳ１０１で輪郭検出を行った複数の画像のうち、第１の画像上で検出された第１の輪郭が、隣接する第２の画像との境界まで延びているか否かを判別する（ステップＳ１０２）。第１の輪郭が境界まで延びていない場合（ステップＳ１０２−Ｎｏ）、処理を終了する。
【００４２】
一方、ステップＳ１０２において第１の輪郭が境界まで延びている場合（ステップＳ１０２−Ｙｅｓ）、判別部２０は、第１の輪郭の延長線に相当し所定値ｔｈ以上のコントラストを有する第２の輪郭が第２の画像上で検出されたか否かを判別する（ステップＳ１０３）。第２の輪郭が検出されている場合（ステップＳ１０３−Ｎｏ）、処理を終了する。
【００４３】
一方、ステップＳ１０３において第２の輪郭が検出されていない場合（ステップＳ１０３−Ｙｅｓ）、調整部２１は、第２の画像のコントラストを増大する調整を行う（ステップＳ１０４）。
【００４４】
上述のステップＳ１０２乃至ステップＳ１０４は、第１および第２の画像として採用し得る全ての画像の組合せについて行われる。詳細には、フロントカメラ１４の画像、リアカメラ１５の画像、左サイドカメラ１６Ｌの画像、又は右サイドカメラ１６Ｒの画像を第１の画像と定めたそれぞれの場合につき、第１の画像に隣接する２つの画像のそれぞれを第２の画像と定めて上述の処理が実行される。
【００４５】
このように、第１の実施形態の画像処理装置１３は、第１の輪郭の延長線に相当し所定値ｔｈ以上のコントラストを有する第２の輪郭が第２の画像上で検出されるか否かを判別する。このため、以下に示すように、結合画像上の被写体の存在を認識可能となる。
【００４６】
以下、第１の実施形態の画像処理装置１３の具体的な動作について説明する。図４に示すように、路面上の移動体１７の周辺領域において移動体１７よりも左側が日陰であり、移動体１７と離間して移動体１７の前後方向と平行に延設される側溝（被写体）が存在する場合に関し、フロントカメラ１４および左サイドカメラ１６Ｌについて例示的に説明する。側溝と路面との境界Ａは、移動体１７の左側方領域ＬＡ（第１の領域）および左側方領域ＬＡに隣接する前方領域ＦＡ（第２の領域）にわたって連続する。
【００４７】
カメラの通常の露出制御において、カメラの測光領域内の被写体からカメラに入射される光強度が小さい場合に画像の明るさを増加させ、光強度が大きい場合に画像の明るさを低減させるように露出を制御することが一般的である。例えば、図５に示すように、左サイドカメラ１６Ｌは、日陰の領域において測光するため、画像全体が適切な明るさに調整される。一方、フロントカメラ１４は、日向の領域において測光するため、画像上において移動体１７よりも左側の日陰の領域全体が暗くなる。
【００４８】
ここで、フロントカメラ１４および左サイドカメラ１６Ｌの各画像の輝度は、側溝と路面との境界Ａを境に異なり得る。図６は、両画像の結合境界（図５の線分Ｂ−Ｃ参照）に沿った方向における両画像の輝度を示す。図６に示すように、左サイドカメラ１６Ｌの画像は、側溝と路面との境界Ａにおけるコントラストが大きく（例えば、所定値ｔｈ以上）、画像上の側溝の視認性が高い。一方、フロントカメラ１４の画像は、境界Ａにおけるコントラストが小さく（例えば、所定値ｔｈ未満）、画像上の側溝の視認性が低い。
【００４９】
本実施形態の画像処理装置１３は、左側方領域ＬＡ（第１の領域）を撮像する左サイドカメラ１６Ｌの画像（第１の画像）上で、路面と側溝との境界Ａを第１の輪郭として検出する。一方、前方領域ＦＡ（第２の領域）を撮像するフロントカメラ１４の画像（第２の画像）上で、第１の輪郭の延長線上に、即ち側溝と路面との境界Ａ上に所定値ｔｈ以上のコントラストを有する第２の輪郭は検出されない。この場合、第１の画像上において第１の輪郭が第２の画像との結合境界（図５の線分Ｂ−Ｃ参照）まで延びているため、側溝と路面との境界Ａが第１の領域から第２の領域に延びて存在する蓋然性が高いと考えられる。このため、画像処理装置１３は、第２の領域において側溝が存在すると判定可能である。
【００５０】
また、本実施形態の画像処理装置１３は、所定値ｔｈ以上のコントラストを有する第２の輪郭が検出されない場合、第２の画像のコントラストが増大されるため、表示装置１２に表示される結合画像上で被写体の視認性を向上可能である。例えば、図４に示すように移動体１７の周辺に側溝および日陰の領域が存在する場合、フロントカメラ１４（およびリアカメラ１５）の画像上の側溝と路面との境界Ａにおけるコントラストが増大するため、画像上の前方領域ＦＡ（および後方領域ＲｅＡ）における側溝の視認性が向上する（図７参照）。
【００５１】
（第１の実施形態の変形例）
上述の第１の実施形態において、フロントカメラ１４、リアカメラ１５、およびサイドカメラ１６Ｌ，１６Ｒは、撮像に関する設定を示す情報を、例えば車載ネットワーク２００を介してそれぞれ出力可能であってもよい。また、画像処理装置１３は、フロントカメラ１４、リアカメラ１５、およびサイドカメラ１６Ｌ，１６Ｒからそれぞれ取得した情報に基づいて、運転者に対して警告すること、および、フロントカメラ１４、リアカメラ１５、およびサイドカメラ１６Ｌ，１６Ｒの撮像に関する設定を変更することの少なくとも一方を行ってもよい。以下、具体的に説明する。
【００５２】
フロントカメラ１４、リアカメラ１５、およびサイドカメラ１６Ｌ，１６Ｒは、撮像に関する設定を示す情報として、例えば利得制御において画像信号に乗じる利得を示す情報を出力する。
【００５３】
画像取得部１８は、フロントカメラ１４、リアカメラ１５、およびサイドカメラ１６Ｌ，１６Ｒが出力した利得を示す情報をそれぞれ取得する。
【００５４】
調整部２１は、第１の画像を撮像する撮像部（１４，１５，１６Ｌ，１６Ｒ）に設定された第１の利得と、第２の画像を撮像する撮像部（１４，１５，１６Ｌ，１６Ｒ）に設定された第２の利得とを比較する。好適には、調整部２１は、第２の画像との境界まで延びている第１の輪郭が検出された第１の画像を撮像する撮像部（１４，１５，１６Ｌ，１６Ｒ）に設定された第１の利得と、第２の画像を撮像する撮像部（１４，１５，１６Ｌ，１６Ｒ）に設定された第２の利得とを比較する。
【００５５】
続いて、調整部２１は、第１の利得と第２の利得との差が所定の閾値以上である場合、運転者に対して警告を行う。警告は、例えば表示装置１２を介して表示により行うがこれに限られず、音声又は振動等の任意の手段により行ってもよい。警告を表示により行う場合、表示装置１２に表示される結合画像上の対象領域を通常とは異なる態様で表示させてもよい。対象領域は、例えば、結合画像上で第１の画像および第２の画像が用いられている領域の少なくとも一部の領域、又は、結合画像上の第１の画像と第２の画像との境界線を示す領域などであってもよい。また、通常とは異なる態様による表示は、例えば明滅表示やマークの重畳表示等の強調表示であってもよい。警告を音声により行う場合、移動体１７から見た対象領域の方向を示す音声により警告を行ってもよい。両情報に係る利得の差が大きい場合、一方の撮像部（１４，１５，１６Ｌ，１６Ｒ）による画像上で障害物を認識できない蓋然性が高いため、警告により運転者に対して注意喚起を行うことができる。
【００５６】
続いて、調整部２１は、第１の利得と第２の利得との差が所定の閾値以上である場合、第１の利得に合わせるように、第２の利得を変更する。このようにして、例えば、変更された第２の利得の値は、第１の利得の値に略一致する。好適には、調整部２１は、所定値ｔｈ以上のコントラストを有する第２の輪郭が検出されず、かつ第１の利得と第２の利得との差が所定の閾値以上である場合、第１の利得に合わせるように、第２の利得を変更する。
【００５７】
そして、調整部２１は、変更された第２の利得を、第２の画像を撮像する撮像部（１４，１５，１６Ｌ，１６Ｒ）に設定する。このようにして、第２の画像を撮像する撮像部（１４，１５，１６Ｌ，１６Ｒ）の利得の設定は、第１の画像を撮像する撮像部（１４，１５，１６Ｌ，１６Ｒ）の利得の設定と略一致する。
【００５８】
第１の画像を撮像する撮像部（１４，１５，１６Ｌ，１６Ｒ）の利得と、第２の画像を撮像する撮像部（１４，１５，１６Ｌ，１６Ｒ）の利得との差が所定の閾値以上であるなど、両撮像部（１４，１５，１６Ｌ，１６Ｒ）の撮像に関する設定が大きく異なる場合、一方の撮像部（１４，１５，１６Ｌ，１６Ｒ）による画像上で障害物などの被写体を認識できない蓋然性が高い。かかる場合、第１の実施形態の変形例によれば、警告により運転者に対して注意喚起を行うことができる。また、第１の画像を撮像する撮像部（１４，１５，１６Ｌ，１６Ｒ）の撮像に関する設定に合わせるように第２の画像を撮像する撮像部（１４，１５，１６Ｌ，１６Ｒ）の撮像に関する設定を変更するので、第１の画像および第２の画像において共通に撮像された障害物などの被写体の視認性が向上する。
【００５９】
上記の変形例において、調整部２１が撮像に関する設定として利得の設定を調整する例について説明したが、例えば調整部２１が露出制御における光学系の絞り値およびシャッタ速度の設定を調整する構成であってもよい。
【００６０】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態に係るカメラシステム１０１の構成は第１の実施形態と同様であるが、画像処理装置の構成が異なる。
【００６１】
図８に示すように、本実施形態の画像処理装置１３０は、画像取得部１８と、輪郭検出部１９と、判別部２０と、描画部２２０と、を有する。画像取得部１８、輪郭検出部１９、および判別部２０は、第１の実施形態と同様である。
【００６２】
描画部２２０は、所定値ｔｈ以上のコントラストを有する第２の輪郭が第２の画像上で検出されない場合、第２の画像において被写体の視認性を向上する表示を描画する。例えば、描画部２２０は、第１の輪郭の延長線上に相当する第２の画像上の位置に重畳線を描画する。或いは、描画部２２０は、第１の輪郭の延長線上に相当する第２の画像上の位置を境界として、第２の画像上で移動体１７から遠い領域に、該領域の色とは異なる色を重畳して描画する。
【００６３】
次に、第２の実施形態に係る画像処理装置１３０が実行する動作について、図９のフローチャートを用いて説明する。
【００６４】
ステップＳ２００乃至ステップＳ２０３では、第１の実施形態におけるステップＳ１０００乃至ステップＳ１０３（図３参照）と同様の処理が行われる。
【００６５】
ステップＳ２０３（図９参照）において第２の輪郭が検出されていない場合（ステップＳ２０３−Ｙｅｓ）、描画部２２０は、第２の画像において被写体の視認性を向上する表示を描画する（ステップＳ２０４）。
【００６６】
ステップＳ２０２乃至ステップＳ２０４は、第１および第２の画像として採用し得る全ての画像の組合せについて行われる。
【００６７】
このように、第２の実施形態の画像処理装置１３０は、第２の画像において被写体の視認性を向上する表示を描画するため、以下に示すように、表示装置１２に表示される結合画像上で被写体の視認性を向上可能である。
【００６８】
例えば、図４に示すように、移動体１７の周辺領域において、側溝と路面との境界Ａが、左側方領域ＬＡ（第１の領域）および左側方領域ＬＡに隣接する前方領域ＦＡ（第２の領域）にわたって連続する場合に関し、フロントカメラ１４、リアカメラ１５、および左サイドカメラ１６Ｌについて例示的に説明する。
【００６９】
画像処理装置１３０は、図１０に示すように、左サイドカメラ１６Ｌの画像（第１の画像）上で検出される第１の輪郭の延長線上に相当するフロントカメラ１４（およびリアカメラ１５）の画像（第２の画像）上の位置に、重畳線Ｄを描画する。或いは、画像処理装置１３０は、図１１に示すように、第１の輪郭の延長線上に相当する第２の画像上の位置を境界線として定め、第２の画像上で移動体１７から遠い領域Ｅに、該領域の色とは異なる色を重畳して描画する。このようにして、結合画像上で被写体（側溝と路面との境界Ａ）の視認性が向上される。
【００７０】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。図１２に示すように、第３の実施形態に係るカメラシステム１０２は、フロントカメラ１４と、リアカメラ１５と、左サイドカメラ１６Ｌと、右サイドカメラ１６Ｒと、画像結合装置１１と、表示装置１２と、警報装置２３１と、を備える。フロントカメラ１４、リアカメラ１５、左サイドカメラ１６Ｌ、右サイドカメラ１６Ｒ、画像結合装置１１、および表示装置１２は、第１の実施形態と同様である。
【００７１】
警報装置２３１は、画像取得部１８、輪郭検出部１９、および判別部２０を有する画像処理装置１３１と、警報発生部２４１と、を備える。画像取得部１８、輪郭検出部１９、および判別部２０は、第１の実施形態と同様である。
【００７２】
警報発生部２４１は、所定値ｔｈ以上のコントラストを有する第２の輪郭が第２の画像上で検出されない場合、結合画像上において視認性の低い被写体（障害物）の存在を示す警報を発する。警報は、例えば音により行う。好適には、警報は、移動体１７の周辺における第２の領域内に被写体が存在すること示す。
【００７３】
次に、第３の実施形態に係る警報装置２３１が実行する動作について、図１３のフローチャートを用いて説明する。
【００７４】
ステップＳ３００乃至ステップＳ３０３では、第１の実施形態におけるステップＳ１０００乃至ステップＳ１０３（図３参照）と同様の処理が行われる。
【００７５】
ステップＳ３０３（図１３参照）において第２の輪郭が検出されていない場合（ステップＳ２０３−Ｙｅｓ）、警報発生部２４１は、画像上において視認性の低い被写体の存在を示す警報を発する（ステップＳ３０４）。
【００７６】
ステップＳ２０２乃至ステップＳ２０４は、第１および第２の画像として採用し得る全ての画像の組合せについて行われる。
【００７７】
このように、第３の実施形態の警報装置２３１は、画像上において視認性の低い被写体（障害物）の存在を示す警報を発する。例えば、図４に示すように移動体１７の周辺に側溝が存在する場合、警報装置２３１は、移動体１７の周辺における障害物の存在を示す警報を発する。好適には、警報装置２３１は、第２の領域、即ち移動体１７の前方領域ＦＡおよび後方領域ＲｅＡにおいて障害物が存在することを示す警報を発する。このため、移動体１７の運転者は、表示装置１２に表示される結合画像上で視認性の低い被写体の存在を認識可能である。
【００７８】
本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
【００７９】
例えば、上述の実施形態において、撮像装置１０は、フロントカメラ１４、リアカメラ１５、左サイドカメラ１６Ｌ、および右サイドカメラ１６Ｒを備えるが、更に多くのカメラを備えてもよい。例えば、移動体１７の全周囲を撮像可能な遠景カメラを更に備える構成であってもよい。
【００８０】
また、上述の実施形態のカメラシステム１００，１０１，１０２の各機能および各構成要素は、分割および再配置可能である。例えば、画像処理装置１３，１３０，１３１を、フロントカメラ１４などに備えるように構成してもよい。また、例えばナビゲーションシステムを更に備え、画像処理装置１３，１３０，１３１をナビゲーションシステムに備えるように構成してもよい。
【００８１】
また、上述の第２の実施形態において、画像処理装置１３０が色を重畳して描画する領域は、境界線から移動体１７に近い領域であってもよい。即ち、画像処理装置１３０は、第２の画像上において境界線により区画される第２の画像上の少なくとも一方の領域に、該領域の色とは異なる色を重畳して描画してもよい。
【００８２】
また、上述の実施形態は、互いに組み合わせて実施可能である。例えば、画像処理装置１３，１３０，１３１は、調整部２１および描画部２２０を同時に有する構成であってもよい。また、警報装置２３１が備える画像処理装置１３１が、調整部２１および描画部２２０を有する構成であってもよい。
【００８３】
また、上述の実施形態に係るカメラシステム１００，１０１，１０２の構成要素の一部は、移動体１７の外部に設けられてもよい。例えば、画像処理装置１３，１３０，１３１および画像結合装置１１等は、携帯電話又は外部サーバ等の通信機器として実現され、カメラシステム１００，１０１，１０２の他の構成要素と有線又は無線により接続されてもよい。
【符号の説明】
【００８４】
１０    撮像装置
１１    画像結合装置
１２    表示装置
１３，１３０，１３１    画像処理装置
１４    フロントカメラ
１５    リアカメラ
１６Ｌ    左サイドカメラ
１６Ｒ    右サイドカメラ
１７    移動体
１８    画像取得部
１９    輪郭検出部
２０    判別部
２１    調整部
１００，１０１，１０２    カメラシステム
２００    車載ネットワーク
２２０    描画部
２３１    警報装置
２４１    警報発生部
【図１】
2015098107.tif 000003
【図２】
2015098107.tif 000004
【図３】
2015098107.tif 000005
【図４】
2015098107.tif 000006
【図５】
2015098107.tif 000007
【図６】
2015098107.tif 000008
【図７】
2015098107.tif 000009
【図８】
2015098107.tif 000010
【図９】
2015098107.tif 000011
【図１０】
2015098107.tif 000012
【図１１】
2015098107.tif 000013
【図１２】
2015098107.tif 000014
【図１３】
2015098107.tif 000015
【国際調査報告】
2015098107.tif 000016
2015098107.tif 000017
2015098107.tif 000018
2015098107.tif 000019