(57)【要約】      （修正有）【課題】ユーザの注目する領域の画像内容の認識性を向上することができる周辺監視装置を提供する。【解決手段】周辺監視装置は、車両に設けられて当該車両の周辺を撮像する撮像部から出力された撮像画像データを取得する画像取得部４０と、車両の車室内に設けられた表示装置に撮像画像データに基づく画像を出力する出力部４６と、画像における修正対象位置を指定する指定情報を取得する情報取得部４２と、指定情報で指定された修正対象位置に対応する領域の撮像画像データの輝度を修正する制御部４４と、を備える。【選択図】図５
2017220876.tif 000002
【特許請求の範囲】
【請求項１】
車両に設けられて当該車両の周辺を撮像する撮像部から出力された撮像画像データを取得する画像取得部と、
前記車両の車室内に設けられた表示装置に前記撮像画像データに基づく画像を出力する出力部と、
前記画像における修正対象位置を指定する指定情報を取得する情報取得部と、
前記指定情報で指定された前記修正対象位置に対応する領域の前記撮像画像データの輝度を修正する制御部と、
を備える周辺監視装置。
【請求項２】
前記制御部は、前記画像のうち前記修正対象位置を含む所定広さの領域の前記撮像画像データの平均輝度値を取得し、当該平均輝度値に基づき、前記撮像画像データの輝度の修正態様を決定する請求項１に記載の周辺監視装置。
【請求項３】
前記制御部は、前記画像のうち前記修正対象位置を含む所定広さの領域の前記撮像画像データの平均輝度値を取得し、当該平均輝度値と予め定めた閾値との比較結果に基づき、前記撮像画像データの輝度修正の明修正または暗修正を決定する請求項１に記載の周辺監視装置。
【請求項４】
前記情報取得部は、前記修正対象位置を指定する第１指定情報と、前記第１指定情報で指定された前記修正対象位置の前記撮像画像データの修正態様を指定する第２指定情報を取得する請求項１から請求項３のいずれか１項に記載の周辺監視装置。
【請求項５】
前記制御部は、前記車両の周囲の明るさに応じて前記撮像画像データの輝度の修正割合を決定する請求項１から請求項４のいずれか１項に記載の周辺監視装置。
【請求項６】
前記撮像画像データの修正内容と修正を行ったときの前記車両の位置を関係付けた関係情報を保持する記憶部を備え、
前記制御部は、前記車両の現在位置が前記関係情報に含まれる位置と対応する場合、前記修正内容を前記現在位置において前記表示装置に表示されている画像の前記撮像画像データに反映させる請求項１から請求項５のいずれか１項に記載の周辺監視装置。
【請求項７】
前記制御部は、前記修正対象位置に基づいて前記撮像画像データの輝度の明修正を行う場合、前記修正対象位置が投下光により照明されたように輝度修正を行う請求項１から請求項６のいずれか１項に記載の周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、周辺監視装置に関する。
【背景技術】
【０００２】
従来、車載カメラで撮像した車両の周辺映像を車室内に配置された表示装置に表示する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許５２５７６９５号明細書
【特許文献２】特許５１９６２６５号明細書
【特許文献３】特許５１８７１７９号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、車載カメラで撮影した周辺画像は、撮影時の環境により画像内容が認識し難い場合がある。例えば、昼間に撮影した画像の場合、日陰の部分はその周囲の明るい部分との明暗差が大きく、暗い部分（陰の部分）の画像内容が認識し難いことがある。逆に、撮影画像が明るすぎる場合（撮影方向に光源や太陽が存在する場合）、画像全体が白くなり、画像内容が認識し難いことがある。また、夜間に撮影した画像の場合、ヘッドライトや街灯の光が当たっていない部分（例えば、車両側方部分）の画像内容は認識し難いことがある。
【０００５】
そこで、本発明の課題の一つは、ユーザの注目する領域の画像内容の認識性を向上することができる周辺監視装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明の実施形態にかかる周辺監視装置は、例えば、車両に設けられて当該車両の周辺を撮像する撮像部から出力された撮像画像データを取得する画像取得部と、上記車両の車室内に設けられた表示装置に上記撮像画像データに基づく画像を出力する出力部と、上記画像における修正対象位置を指定する指定情報を取得する情報取得部と、上記指定情報で指定された上記修正対象位置に対応する領域の上記撮像画像データの輝度を修正する制御部と、を備える。この構成によれば、例えば、修正対象位置の部分の輝度を修正する。例えば、指定された修正対象位置に対応する撮像画像データの輝度が低い場合には、修正対象位置の輝度を高める修正を行う。逆に指定された修正対象位置に対応する撮像画像データの輝度が高い場合には、修正対象位置の輝度を低くする修正を行う。この場合、画像全体のうち指定した修正対象位置の輝度を修正するので、画像全体の見栄えを大きく変えることなく、注目位置の画像内容の認識性を向上できる。
【０００７】
また、上記周辺監視装置において、例えば、上記制御部は、上記画像のうち上記修正対象位置を含む所定広さの領域の上記撮像画像データの平均輝度値を取得し、当該平均輝度値に基づき、上記撮像画像データの輝度の修正態様を決定してもよい。この構成によれば、例えば、指定した修正対象位置を含む所定広さの領域の平均輝度に基づき輝度修正の態様を決めるので、修正対象位置の画像をより見やすく修正することができる。
【０００８】
また、上記周辺監視装置において、例えば、上記制御部は、上記画像のうち上記修正対象位置を含む所定の広さの上記撮像画像データの平均輝度値を取得し、当該平均輝度値と予め定めた閾値との比較結果に基づき、上記撮像画像データの輝度修正の明修正または暗修正を決定してもよい。この構成によれば、例えば、指定した修正対象位置の輝度修正をより適切に行い、視認性をより向上することができる。
【０００９】
また、上記周辺監視装置において、例えば、上記情報取得部は、上記修正対象位置を指定する第１指定情報と、上記第１指定情報で指定された上記修正対象位置の上記撮像画像データの修正態様を指定する第２指定情報を取得するようにしてもよい。この構成によれば、例えば、第１指定情報で修正対象位置を指定し、第２指定情報で修正態様、例えば、輝度の修正程度（修正量）や修正範囲の広さを指定することができる。その結果、ユーザの要求に従う画像修正を行うことができる。
【００１０】
また、上記周辺監視装置において、例えば、上記制御部は、上記車両の周囲の明るさに応じて上記撮像画像データの輝度の修正割合を決定してもよい。この構成によれば、例えば、表示装置の周囲が暗い場合、輝度修正割合を大きくしてより修正対象位置の画像を認識させ易くする。逆に、表示装置の周囲が明るい場合、輝度修正割合を小さくして、過度の輝度変化により画像が白くなり認識性が低下することを抑制する。
【００１１】
また、上記周辺監視装置において、例えば、上記撮像画像データの修正内容と修正を行ったときの上記車両の位置を関係付けた関係情報を保持する記憶部を備え、上記制御部は、上記車両の現在位置が上記関係情報に含まれる位置と対応する場合、上記修正内容を上記現在位置において上記表示装置に表示されている画像の上記撮像画像データに反映させるようにしてもよい。この構成によれば、例えば、過去に訪れたことのある場所の場合、過去の輝度修正を予め反映した画像を提供することができる。
【００１２】
また、上記周辺監視装置において、例えば、上記制御部は、上記修正対象位置に基づいて上記撮像画像データの輝度の明修正を行う場合、上記修正対象位置が投下光により照明されたように輝度修正を行うようにしてもよい。この構成によれば、例えば、修正対象位置が街灯や太陽で照らされているように見える修正画像が提供できるので、現実に見える風景に近い輝度修正画像が提供できる。
【図面の簡単な説明】
【００１３】
【図１】図１は、実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。
【図２】図２は、実施形態にかかる周辺監視装置を搭載する車両の一例が示された平面図である。
【図３】図３は、実施形態にかかる周辺監視装置を搭載する車両のダッシュボードの一例であり、車両後方からの視野での図である。
【図４】図４は、実施形態にかかる周辺監視装置を含む画像制御システムの一例が示されたブロック図である。
【図５】図５は、実施形態にかかる周辺監視装置のＥＣＵ内に実現される輝度修正を実現するための制御部の構成の一例を示すブロック図である。
【図６】図６は、実施形態にかかる周辺監視装置の表示装置に表示される修正前画像の一例を説明する図である。
【図７】図７は、実施形態にかかる周辺監視装置の表示装置に表示される修正前画像に対して修正対象位置を指定する様子を説明する図である。
【図８】図８は、実施形態にかかる周辺監視装置の表示装置に表示される修正後画像の一例を説明する図である。
【図９】図９は、実施形態にかかる周辺監視装置の輝度修正を行う場合の修正領域の輝度分布の一例を説明する図である。
【図１０】図１０は、実施形態にかかる周辺監視装置において、平均輝度を取得する領域の一例を説明する図である。
【図１１】図１１は、実施形態にかかる周辺監視装置において、修正対象位置を含む領域の平均輝度が大きい場合の入力輝度と出力輝度の関係の一例を示す図である。
【図１２】図１２は、実施形態にかかる周辺監視装置において、修正対象位置を含む領域の平均輝度が小さい場合の入力輝度と出力輝度の関係の一例を示す図である。
【図１３】図１３は、実施形態にかかる周辺監視装置において、修正対象位置を含む領域の平均輝度が、さらに小さい場合の入力輝度と出力輝度の関係の一例を示す図である。
【図１４】図１４は、実施形態にかかる周辺監視装置において、第２指定情報に基づき、修正対象位置に対応する領域の修正輝度が段階的に高くなる例を説明する図である。
【図１５】図１５は、実施形態にかかる周辺監視装置において、第２指定情報に基づき、輝度修正する領域が段階的に広くなる例を説明する図である。
【図１６】図１６は、実施形態にかかる周辺監視装置において、複数の撮像部で撮像した撮像画像データに基づく俯瞰画像を表示する場合に、修正対象位置の指定と実際に輝度修正される領域の一例を説明する図である。
【図１７】図１７は、実施形態にかかる周辺監視装置において、複数の撮像部で撮像した撮像画像データに基づく俯瞰画像を表示する場合に、修正対象位置の指定と実際に輝度修正される領域の他の例を説明する図である。
【図１８】図１８は、実施形態にかかる周辺監視装置において、複数の撮像部で撮像した撮像画像データに基づく俯瞰画像と特定の撮像部で撮像した撮像画像データに基づく画像の２画面表示を行う場合を説明する図である。
【図１９】図１９は、実施形態にかかる周辺監視装置において、修正対象位置を含む領域の輝度修正を行う場合の処理手順の前半部分を説明するフローチャートである。
【図２０】図２０は、実施形態にかかる周辺監視装置において、修正対象位置を含む領域の輝度修正を行う場合の処理手順の後半部分を説明するフローチャートである。
【図２１】図２１は、実施形態にかかる周辺監視装置において、撮像画像データの輝度の明修正を行う場合に、投下光により照明されたように輝度修正を行う場合の一例を説明する模式図である。
【発明を実施するための形態】
【００１４】
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
【００１５】
本実施形態において、周辺監視装置（周辺監視システム）を搭載する車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
【００１６】
図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールであり、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４や、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。
【００１７】
また、車室２ａ内には、表示出力部としての表示装置８や、音声出力部としての音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid  crystal  display）や、ＯＥＬＤ（organic  electroluminescent  display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
【００１８】
また、車室２ａ内には、表示装置８とは別の表示装置１２が設けられている。図３に例示されるように、表示装置１２は、例えば、ダッシュボード２４の計器盤部２５に設けられ、計器盤部２５の略中央で、速度表示部２５ａと回転数表示部２５ｂとの間に位置されている。表示装置１２の画面１２ａの大きさは、表示装置８の画面８ａ（図３）の大きさよりも小さい。この表示装置１２には、主として車両１の駐車支援に関する情報を示す画像が表示されうる。表示装置１２で表示される情報量は、表示装置８で表示される情報量より少なくてもよい。表示装置１２は、例えば、ＬＣＤや、ＯＥＬＤ等である。なお、表示装置８に、表示装置１２で表示される情報が表示されてもよい。
【００１９】
また、図１、図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。図４に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（electronic  control  unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer  by  wire）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。
【００２０】
また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ〜１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（charge  coupled  device）やＣＩＳ（CMOS  image  sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜２２０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１５は、車両１が移動可能な路面や車両１が駐車可能な領域、その周辺の物体（障害物、人間、自転車、車両等）を含む車両１の周辺の外部の環境を逐次撮影し、撮像画像データとして出力する。
【００２１】
撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側の突出部としてのドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパ等に設けられている。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに位置され、左側のドアミラー２ｇに設けられている。ＥＣＵ１４は、複数の撮像部１５で得られた撮像画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりすることができる。また、ＥＣＵ１４は、撮像部１５で得られた広角画像のデータに演算処理や画像処理を実行し、特定の領域を切り出した画像を生成したり、特定の領域のみを示す画像データを生成したりする。また、ＥＣＵ１４は、撮像画像データを撮像部１５が撮像した視点とは異なる仮想視点から撮像したような仮想画像データに変換することができる。例えば、車両１を上空から俯瞰したような俯瞰画像を示す仮想画像データに変換することができる。また、ＥＣＵ１４は、撮像部１５が取得した撮像画像データの視線方向とは異なる視線方向の視線画像データに変換することができる。例えば、視線を車両１の正面に向けたときの視線画像データや視線を側方に向けたときの視線画像データに変換することができる。ＥＣＵ１４は、取得した画像データを表示装置８に表示することで、例えば、車両１の右側方や左側方の安全確認や車両１を俯瞰してその周囲の安全確認を実行できるような周辺監視情報を提供する。
【００２２】
なお、ＥＣＵ１４は、撮像部１５から提供される撮像画像データから車両１の周辺の路面に示された区画線等を識別し、区画線等に示された駐車区画を検出（抽出）して、駐車支援を実行することもできる。
【００２３】
図１、図２に例示されるように、車体２には、複数の測距部１６，１７として、例えば四つの測距部１６ａ〜１６ｄと、八つの測距部１７ａ〜１７ｈとが設けられている。測距部１６，１７は、例えば、超音波を発射してその反射波を捉えるソナーである。ソナーは、ソナーセンサ、あるいは超音波探知器、超音波ソナーとも称されうる。測距部１６は、本実施形態において、例えば車両１を駐車する際に、車両１と並ぶ第一の障害物（隣接車両）や駐車するためのスペースの奥側に存在する第二の障害物（例えば、縁石や段差、壁、フェンス等）を検出し、その障害物までの距離を測定することができる。また、測距部１７は、例えば車両１に対して障害物（物体）が所定距離を超えて接近した場合、その接近する障害物（物体）を検出し、その障害物までの距離を測定することができる。特に、車両１の後方両側に配置された測距部１７ａ，１７ｄは、車両１が後退しながら縦列駐車のスペースに進入する場合の車両１の後方コーナ部と第一の障害物（隣接車両）との距離や、進入後さらに後方コーナ部と第二の障害物（壁等）との距離を測定するセンサ（クリアランスソナー）として機能する。ＥＣＵ１４は、測距部１６，１７の検出結果により、車両１の周囲に位置された障害物等の物体の有無や当該物体までの距離を測定することができる。すなわち、測距部１６，１７は、車両１に周囲に存在する物体（静止物体や移動物体）を検出する物体検出部の一例である。静止物体としては、駐車車両、壁、縁石、街路樹等であり、移動物体としては、走行車両、自転車、歩行者、動物等である。なお、測距部１７は、例えば、比較的近距離の物体の検出に用いられ、測距部１６は、例えば、測距部１７よりも遠い比較的長距離の物体の検出に用いられうる。また、測距部１７は、例えば、車両１の前方および後方の物体の検出に用いられ、測距部１６は、車両１の側方の物体の検出に用いられうる。測距部１７は、物体（障害物）が所定の距離まで接近したことを検出する接近センサとして機能しうる。
【００２４】
ＥＣＵ１４は、測距部１６や測距部１７で取得した情報に基づき、車両１の周囲に存在する物体の外形形状を示す画像の生成も可能である。つまり、ＥＣＵ１４が撮像画像データから種々の画像データを生成（変換）する際に、測距部１６や測距部１７で取得した情報を用いて、変換後の画像データを補間して、車両１の周囲の状況をより明確（詳細）に示すデータを生成することができる。例えば、より立体感を有する画像を形成することができる。また、測距部１６，１７で取得した情報（超音波による撮像画像データ）に基づき、形状認識を行い、静止物体や移動物体の種類を識別してユーザに提供するようにしてもよい。例えば、接近するものが何であるかをユーザに通知して、より注意を喚起するようにすることができる。なお、測距部１６，１７としてレーザスキャナを用いてもよい。この場合、より詳細にデータを取得可能で、物体の外形形状の精度向上に寄与することができる。例えば、視点変換や視線変換を行う場合、本来の物体の形状が歪んだり、一部欠落したりする場合がある。このような場合、レーザスキャナで取得した詳細なデータを用いることにより、歪みを軽減したり、欠落を補間したりして物体の三次元形状をより正確に再現することができる。
【００２５】
また、図４に例示されるように、周辺監視システム１００（周辺監視装置）では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３、測距部１６，１７等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller  area  network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距部１６、測距部１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。なお、本実施形態の周辺監視システム１００の場合、モニタ装置１１（表示装置８）とナビゲーション装置３０とが一体化されている。ＥＣＵ１４は、車内ネットワーク２３を介して、ナビ制御部３２がＧＰＳ受信部３４（Global  Positioning  System受信部）を介して取得した車両１の位置情報や地図情報記憶部３６の地図情報を受け取ることができる。
【００２６】
ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central  processing  unit）や、ＲＯＭ１４ｂ（read  only  memory）、ＲＡＭ１４ｃ（random  access  memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid  state  drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、例えば、表示装置８，１２で表示される画像に関連した画像処理や表示する画像の輝度修正処理、車両１の移動目標位置（駐車目標位置、目標位置）の決定、車両１の誘導経路（誘導経路、駐車経路、駐車誘導経路）の演算、物体との干渉の有無の判断、車両１の自動制御、自動制御の解除等の、各種の演算処理および制御を実行することができる。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、表示装置８で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital  signal  processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard  disk  drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。
【００２７】
ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（anti-lock  brake  system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic  stability  control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake  by  wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。
【００２８】
舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。
【００２９】
アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。
【００３０】
シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。
【００３１】
車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果をブレーキシステム１８を介して取得する。
【００３２】
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。
【００３３】
周辺監視システム１００を実現するＥＣＵ１４は、一例として、撮像部１５が撮像した撮像画像データに基づく画像を、例えば表示装置８の画面８ａに表示するが、この画像のうちユーザが指定する部分をより認識し易く表示する処理を行う。具体的には、ユーザが指定した修正対象位置に対応する撮像画像データの輝度を増減修正する。例えば、撮像部１５が撮像した撮像画像データに基づく画像に建物や物体の存在により「日陰」の領域がある場合、その領域は、日陰以外の日が当たった領域（明るい領域）に比べて画像内容が認識し難くなる。このとき、ユーザが認識したい注目点が日陰領域に含まれていない場合は特に問題ない。しかし、注目点が日陰領域に含まれる場合、例えば、駐車を行う場合の移動経路が含まれる場合、ＥＣＵ１４は、ユーザが指定した修正対象位置（例えば日陰の部分）に対応する撮像画像データの輝度を高める。日陰の部分は、輝度が高まることにより修正前より画像内容が認識し易くなる。また、輝度を高めた修正画面は、ユーザが実際に目視する場合より視認性が高められる。
【００３４】
ＥＣＵ１４に含まれるＣＰＵ１４ａは、上述したような修正対象位置の輝度修正を行った修正画像の提供を実現するために、図５に示されるように、画像取得部４０、情報取得部４２、制御部４４、出力部４６等を含む。また、情報取得部４２は、第１情報取得部４２ａと第２情報取得部４２ｂを含む。制御部４４は、輝度修正部５０、平均輝度取得部５２、周囲情報取得部５４、関係情報管理部５６を含む。画像取得部４０、情報取得部４２、制御部４４、出力部４６、第１情報取得部４２ａ、第２情報取得部４２ｂ、輝度修正部５０、平均輝度取得部５２、周囲情報取得部５４、関係情報管理部５６は、ＲＯＭ１４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現可能である。
【００３５】
画像取得部４０は、車両１に設けられて当該車両１の周辺を撮像する撮像部１５から出力された撮像画像データを表示制御部１４ｄを介して取得する。なお、輝度修正の要求がない場合、表示制御部１４ｄは、撮像部１５で撮像した撮像画像データをそのままの状態で表示装置８や表示装置１２に出力してもよい。また、ＣＰＵ１４ａは、操作入力部１０や操作部１４ｇ等の入力装置を用いてユーザに希望する表示内容を選択させるようにしてもよい。つまり、表示制御部１４ｄは、操作入力部１０や操作部１４ｇの操作により選択された画像を選択的に表示することができる。例えば撮像部１５ａで撮像した車両１の後方画像を表示させたり、撮像部１５ｄで撮像した左側方画像を表示させたりすることができる。
【００３６】
情報取得部４２は、操作入力部１０や操作部１４ｇの操作入力による信号を取得する。前述したように、表示装置８は、例えばタッチパネルで構成されて操作入力部１０として機能する。操作入力部１０は、表示装置８の画面８ａに表示される画像に対応した位置を手指等で触れたり押したり、ピンチすることで、操作入力を実行することができる。例えば、情報取得部４２の第１情報取得部４２ａは、画面８ａが１回タッチされたことを示す信号を取得し、ユーザが希望する修正位置の情報、すなわち、輝度の修正対象位置を指定する第１指定情報を取得する。また、第２情報取得部４２ｂは、第１指定情報で指定された修正対象位置と同じ位置が複数回タッチされたり、所定時間（所定期間）タッチし続けられたり、ピンチされたりしたことを示す信号を取得可能である。この場合、第２情報取得部４２ｂは、その信号を輝度の調整程度（調整量）を増減させる情報、すなわち、第１指定情報で指定された修正対象位置の撮像画像データの修正態様（輝度態様）を指定する第２指定情報として取得する。同様に、第２情報取得部４２ｂは、第１指定情報で示された修正対象位置と同じ位置を基準にピンチアウトされたことを示す信号を取得可能である。この場合、第２情報取得部４２ｂは、その信号を輝度の修正対象領域を広げることを要求する情報と見なす。また、第２情報取得部４２ｂは、第１指定情報で示された修正対象位置と同じ位置を基準にピンチインされたことを示す信号を取得可能である。この場合、第２情報取得部４２ｂは、その信号を輝度の修正対象領域を狭くすることを要求する情報と見なす。このように、第２情報取得部４２ｂは、第１指定情報で指定された修正対象位置の撮像画像データの修正態様（輝度調整量や修正範囲）を指定する第２指定情報を取得する。操作部１４ｇは、例えば、押しボタンやトグルスイッチ、ロータリスイッチ等であり、ユーザによる操作入力を実行することができる。例えば、操作部１４ｇの操作量にしたがって、第１指定情報で示された修正対象位置に対して輝度調整量や修正範囲を決定してもよい。つまり、第２情報取得部４２ｂは、表示制御部１４ｄの操作による信号を取得してもよい。
【００３７】
なお、別の実施形態として操作入力部１０や操作部１４ｇの入力操作は、操舵部４（ステアリングホイール）やダッシュボード２４、センターコンソール等に設けられたスライドパッド等の他のデバイスを用いて行うようにしてもよい。この場合、輝度修正のための入力を画面８ａに触れずに（非接触で）行うことができる。例えば、手指等を画面８ａに延ばさずに（運転姿勢を崩さず）、手元で入力操作を行うことができる。このように、スライドパッド等を用いて非接触で入力操作を行う場合、画面８ａには、操作に対応したカーソルが表示されるようにしてもよい。また、車内カメラによって、ユーザのジェスチャを検出するシステムを備える場合、第１情報取得部４２ａと第２情報取得部４２ｂの少なくとも一方は、ユーザのジェスチャで操作入力部１０や操作部１４ｇの入力操作による情報と同等の情報を取得するようにしてもよい。この場合もユーザのジェスチャに対応するカーソルが画面８ａに表示されるようにしてもよい。
【００３８】
制御部４４の輝度修正部５０は、情報取得部４２で取得した修正対象位置や修正態様にしたがって撮像部１５が取得した撮像画像データの輝度を修正する。輝度修正部５０は、修正対象位置を中心として所定の広さの領域の輝度修正を一括的に増加または減少してもよいし、修正対象位置を中心に、当該中心から離れるに連れて増加または減少の程度を少なくするようにしてもよい。
【００３９】
平均輝度取得部５２は、第１指定情報で指定された修正対象位置を中心として所定の広さの領域について、撮像部１５が取得した撮像画像データの平均輝度を取得する。輝度修正部５０は、取得された平均輝度に基づき輝度修正値を決定する。平均輝度値に基づいて修正を行うことにより、例えば、部分的に輝度値が著しく異なる部分が含まれるような場合、例えば、修正対象位置に含まれる日陰の中に黒い物体が存在する場合には、その黒い物体を基準に輝度修正が行われることが防止できる。逆に、修正対象位置に含まれる日陰の中に反射体が存在する場合には、その反射体による高輝度部分を基準に輝度修正が行われることを防止できる。平均輝度の取得領域の広さは、予め定めておいてもよいし、ユーザが修正対象位置を指定する際に第２指定情報として取得領域の広さを指定してもよい。
【００４０】
周囲情報取得部５４は、車両１の周囲の明るさに関する情報を取得する。輝度修正部５０は、車両１の周囲の明るさに応じて、修正対象位置に対応する領域の撮像画像データの輝度を修正する。例えば、車両１の周囲が暗い場合（車室２ａが暗く画面８ａの周囲が暗い場合）に撮像画像データの輝度修正を行う場合は、周囲が明るい場合に比べて輝度修正程度を高くする。例えば、夜間の場合は、修正画像の輝度がより明るくなるように修正を行い修正領域の視認性を高くする。逆に、車両１の周囲が明るい場合（車室２ａが明るく画面８ａの周囲が明るい場合）に撮像画像データの輝度修正を行う場合は、周囲が暗い場合に比べて輝度修正程度を低くする。例えば、昼間の場合は、修正画像の輝度が高くなり過ぎ、逆に修正領域の視認性が低下することを防止する。周囲情報取得部５４は、車両１に設けられた照度センサにより周囲の明るさを取得してもよいし、ＥＣＵ１４の備える時計によって日時を取得して推定される明るさを取得してもよい。また、ナビゲーション装置３０から得られる車両１の位置と現在の日時等に基づいて推定される明るさを取得してもよい。また、外部から通信を介して送られてくる外部情報（例えば、天候等）により車両１の周囲の推定される明るさを取得してもよい。
【００４１】
関係情報管理部５６は、過去に実行した撮像画像データの修正内容と修正を行ったときの車両１の位置を関係付けた関係情報を管理する。例えば、過去に輝度修正を要求した場所に車両１が再び訪れたときには、同様に輝度修正を行った方がよい場合がある。その場合は、輝度修正部５０は、関係情報管理部５６の管理する情報に基づき、ユーザの要求がない場合でも自動的に輝度修正を実行する。なお、このような過去情報に基づく輝度修正を自動で行うか否かは、ユーザにより選択可能としてもよい。例えば、輝度修正部５０は、「オート修正」機能が有効とされた場合に過去情報を参照するようにしてもよい。関係情報管理部５６は、関係情報として、「位置と修正内容」、「位置と時間と修正内容」、「位置と時間と季節と修正内容」等のように関連条件を適宜設定可能としてもよい。詳細な条件設定を行うことで、より適切な輝度修正を自動で行うことができる。関係情報管理部５６は、関係情報を例えばＳＳＤ１４ｆ等の記憶部に輝度修正が行われる毎に記憶する。輝度修正部５０は、自動輝度修正の条件（車両１の位置や時間）が一致した場合に、ＳＳＤ１４ｆから関係情報を読出し、現在表示されている画像に輝度修正を反映させる。
【００４２】
出力部４６は、輝度修正部５０で修正された修正画像を順次表示制御部１４ｄに出力し、表示装置８等に表示させる。また、出力部４６は、ＣＰＵ１４ａで輝度修正以外の画像処理が行われた場合も同様に処理画像を順次表示制御部１４ｄに出力して表示装置８等に表示させる。例えば、出力部４６は、撮像部１５ａ〜１５ｄで撮像した撮像画像データに基づいてＣＰＵ１４ａで作成した俯瞰画像、駐車支援や経路誘導のために誘導経路等を重畳した画像、各種案内情報や警告情報を重畳した画像等を出力可能である。
【００４３】
本実施形態の場合、ＲＯＭ１４ｂは、例えば、撮像部１５ａ〜１５ｄで撮像した撮像画像データの輝度修正を行う場合に、輝度修正部５０が参照する修正データを保持している。例えば、ＲＯＭ１４ｂは、第２情報取得部４２ｂで輝度の修正程度（修正量）を指定する第２指定情報が取得された場合に、第２指定情報と修正輝度との関係を示す修正データを保持する。すなわち、ＲＯＭ１４ｂは、画面８ａのタッチ回数が１回の場合、「輝度＋１０」、２回の場合「輝度＋２０」、３回の場合「輝度＋３０」等の関係データを保持する。また、別の例では、ＲＯＭ１４ｂは、平均輝度取得部５２が取得した平均輝度によって定まる、入力輝度と出力輝度との関係を示す修正データ（例えば関係テーブル）を保持してもよい。関係テーブルは、例えば、修正対象位置に対応する領域の各画素の入力輝度に対して出力輝度が一義に決定するものとすることができる。また、別の例では、ＲＯＭ１４ｂは、平均輝度取得部５２が取得した平均輝度によって、輝度を高める「明修正」を行うか、輝度を下げる「暗修正」を行うか、輝度の明暗反転を行う「反転修正」を行うかを判定する閾値を保持してもよい。また、ＲＯＭ１４ｂは、「明修正」を行う場合、「暗修正」を行う場合、「反転修正」を行う場合に、参照する入力輝度と出力輝度との関係を示す関係テーブルを保持してもよい。ＲＯＭ１４ｂは、「明修正」、「暗修正」について、それぞれ１つの関係テーブルを保持してもよいし、それぞれ複数の関係テーブルを保持して平均輝度の大きさに応じて選択されるようにしてもよい。また、ＲＯＭ１４ｂは、輝度修正のための関係テーブルに変えて輝度修正のための関係式を保持してもよい。輝度修正部５０は、複数の関係式の中から平均輝度の大きさにしたがう関係式を選択し、入力輝度に対して出力輝度を算出するようにしてもよい。なお、これらの修正データは、ＳＳＤ１４ｆに保持されてもよい。
【００４４】
上述のように構成される周辺監視システム１００による撮像画像データの輝度修正の具体例を図６〜図１８を用いて詳細に説明する。
【００４５】
図６は、一例として、車両１の左側のドアミラー２ｇに設けられた撮像部１５ｂで撮像された、車両左側方の撮像画像データに基づく画像６０が表示装置８の画面８ａに表示されている状態を示す模式図である。画像６０は、自車６２の左後方に光源（例えば太陽）が存在して、自車６２の前方に存在する他車６４や自車６２の周辺に建物等による影６６が形成されているとともに、自車６２に光の当たっていない暗部６８が形成されている状態が示されている。また、影６６や暗部６８以外の部分は、光源（例えば太陽）の光により十分に明るいものとする。なお、図６の場合、魚眼レンズを備えた撮像部１５ｂで撮像した撮像画像データに基づく画像を示しているので全体が湾曲しているが、ＣＰＵ１４ａで湾曲を修正した補正画像を表示するようにしてもよい。
【００４６】
図６で示されるように、影６６や暗部６８の部分は、それ以外の部分に比べて暗く画像内容の視認性が低下してしまう場合がある。そこで、本実施形態の周辺監視システム１００では、ユーザが注目したい部分、例えば影６６に含まれる他車６４の部分をより明確に確認したい場合、図７に示すように、表示装置８の画面８ａに表示されている画像６０の対象箇所、つまり修正対象位置をタッチする。図７の場合、便宜上タッチした位置をマーク７０で示している。なお、画面８ａに非接触で修正対象位置を指定する場合、例えば、スライドパッド等の他のデバイスを用いて指定する場合は、画面８ａにマーク７０等のようなカーソルが表示され、スライドパッド等による指定位置と画面８ａ上の位置との対応が容易に理解できるようにすることが望ましい。
【００４７】
輝度修正部５０は、第１情報取得部４２ａが第１指定情報として修正対象位置を取得すると、修正対象位置を基準として所定広さの領域の輝度を例えば高めるように撮像画像データの輝度修正を実行する。その結果、出力部４６は、図８に示すように、輝度修正領域７２を含むような修正画像を表示装置８に出力する。このとき、輝度修正部５０は、周囲情報取得部５４が取得する自車６２（車両１）の周辺の明るさ情報に基づいて、輝度修正の態様を決定する。例えば、周囲情報取得部５４は、照度センサの検出結果やＣＰＵ１４ａに備えられた時計から得られる時間情報等から自車６２の周辺の明るさ情報を取得する。輝度修正部５０は、周囲情報取得部５４が自車６２の周辺が明るいと判定している場合は、例えば、図９に示すように、輝度修正の上限値が＋２０の修正データをＲＯＭ１４ｂから読出し参照する。輝度修正部５０は、第１情報取得部４２ａが取得した修正対象位置を中心に円形の修正領域を設定し、中央部、すなわちユーザが注目位置とした部分を最も高輝度である例えば「＋２０」で修正を行い、周辺に向かうのに連れて輝度修正程度が低くなるように修正する。このような修正データに基づいて輝度修正を行うことにより、ユーザが最も注目している部分、つまり手指で指した部分を最も明るくして、認識度を向上するような修正画像とすることができる。また、周辺に向かうにつれて輝度修正程度を低くすることで、輝度修正領域７２の周辺に対して輝度遷移がスムーズな修正画像が提供可能となり、周囲の領域との比較においても違和感のない見やすい画像を提供できる。なお、輝度修正領域７２の全体を一律「＋２０」で輝度修正してもよい。
【００４８】
また、図８に示すように、輝度修正部５０は、画像６０の中で修正対象位置に対応した輝度修正領域７２のみの処理を行い、輝度修正領域７２以外は撮像部１５で撮像している実際の状況が表示される。その結果、車両１の周辺状況の実際の状況を把握させつつ、修正対象位置の状況を詳細に把握させることができるので、認識度の向上に寄与できる。なお、輝度修正部５０は、画像６０の中で修正対象位置に対応した輝度修正領域７２のみの処理を行うので、ＣＰＵ１４ａの処理負荷を軽減することにも寄与できる。
【００４９】
周囲情報取得部５４が自車６２の周辺が暗いと判定した場合（表示装置８の周囲が暗いと判定した場合）は、例えば、周囲が明るい場合の修正データ（輝度修正の上限値が＋２０）より高い輝度修正を行う修正データ（例えば修正輝度の上限値が＋４０）をＲＯＭ１４ｂから読出し参照する。このように、自車６２の周囲が暗い場合、輝度修正の程度をさらに高めることにより、修正対象位置の認識度をより向上することができる。
【００５０】
ところで、図６に示すように、撮像部１５で撮像された撮像画像データは、影６６が存在する部分と存在しない部分とが混在する。そして、ユーザが注目する領域は、暗い部分だけとは限らず、例えば、注目したい部分の画像６０が明るすぎて、その内容を認識し難い場合もある。その場合、上述したように修正対象位置の輝度を高くする「明修正」ではなく、輝度を低くする「暗修正」が好ましい場合がある。
【００５１】
図１０は、修正対象位置に関して、「明修正」を行うか「暗修正」を行うかの判定を行うために、第１情報取得部４２ａが取得した第１指定情報（修正対象位置）に基づき、平均輝度取得部５２が平均輝度を取得（算出）する場合を説明する図であり、輝度平均算出領域７４を示す図である。輝度平均算出領域７４は、修正対象位置を基準として所定広さの領域であり、例えば輝度修正領域７２と同じ広さでもよいし、輝度修正領域７２と異なる広さであってもよい。平均輝度取得部５２は、輝度平均算出領域７４に含まれる各画素の輝度の平均値を算出する。なお、輝度平均算出領域７４は、図１０に示すような正方形に限らず、長方形、円形、楕円形等でもよい。
【００５２】
前述したようにＲＯＭ１４ｂは、輝度修正を行う場合に、輝度を高める「明修正」を行うか、輝度を下げる「暗修正」を行うか、輝度の明暗反転を行う「反転修正」を行うかを判定する閾値を保持している。図１１は、入力輝度に対してそのままの値を出力輝度とする無変換特性Ａに対して、出力輝度を下げる「暗修正特性Ａ１」を示す入出力輝度変換テーブルである。図１２は、無変換特性Ａに対して、出力輝度を上げる「明修正特性Ａ２」を示す入出力輝度変換テーブルである。また、図１３は、無変換特性Ａに対して、入出力輝度を反転させる「反転修正特性Ａ３」を示す入出力輝度変換テーブルである。
【００５３】
例えば、輝度修正部５０が、平均輝度取得部５２の取得した平均輝度がＲＯＭ１４ｂの保持する第１閾値に対して、第１閾値≦平均輝度の場合、つまり、輝度修正部５０は、輝度平均算出領域７４を明るいと判定する場合である。この場合、輝度修正部５０は、ＲＯＭ１４ｂから図１１に示すような出力輝度を下げる「暗修正特性Ａ１」の入出力輝度変換テーブルを読出すとともに、それを参照して輝度修正を行う。つまり、輝度修正部５０は、図６の画像６０で明るい部分（露出オーバーのように明るすぎる部分）が修正対象位置として指定されたと判定し、修正対象位置に対応する輝度修正領域７２をより見やすくするために暗くする「暗修正」（例えばγ補正）を行う。その結果、明る過ぎる領域の中に存在して認識し難かった物体等が認識し易くなる。
【００５４】
一方、輝度修正部５０が、平均輝度取得部５２の取得した平均輝度がＲＯＭ１４ｂの保持する第１閾値および第２閾値に対して、第２閾値≦平均輝度＜第１閾値の場合、つまり、輝度修正部５０は、輝度平均算出領域７４を暗いと判定する場合である。この場合、輝度修正部５０は、ＲＯＭ１４ｂから図１２に示すような出力輝度を上げる「明修正特性Ａ２」の入出力輝度変換テーブルを読出すとともに、それを参照して輝度修正を行う。つまり、輝度修正部５０は、図６の画像６０で暗い部分（露出アンダーのように暗い部分）が修正対象位置として指定されたと判定し、修正対象位置に対応する輝度修正領域７２をより見やすくするために明るくする「明修正」（例えばγ補正）を行う。その結果、暗い領域の中に存在して認識し難かった物体等が認識し易くなる。
【００５５】
また、輝度修正部５０が、平均輝度取得部５２の取得した平均輝度がＲＯＭ１４ｂの保持する第２閾値に対して、第２閾値＞平均輝度（第１閾値＞＞平均輝度）の場合、つまり、輝度修正部５０は、輝度平均算出領域７４を非常に暗いと判定する場合である。この場合、輝度修正部５０は、ＲＯＭ１４ｂから図１３に示すような入出力輝度を反転する「反転修正特性Ａ３」の入出力輝度変換テーブルを読出すとともに、それを参照して輝度修正を行う。つまり、輝度修正部５０は、図６の画像６０で非常に暗い部分が修正対象位置として指定されたと判定し、修正対象位置に対応する輝度修正領域７２をより見やすくするために明暗を反転する補正（例えばγ補正）を行う。その結果、非常に暗い領域の中に存在して非常に認識し難かった物体等が認識し易くなる。なお、図１１〜図１３の入出力輝度変換テーブルは一例であり、明修正や暗修正の特性は適宜変更することができる。
【００５６】
図１４は、第２情報取得部４２ｂが取得する第２指定情報に基づく修正態様Ｍの一例を示す図であり、画面８ａのタッチの回数に応じて、輝度修正程度を順次変更する例である。なお、図１４は、一例として「明補正」を行う場合を示している。本実施形態の周辺監視システム１００の場合、ユーザは、画面８ａで修正対象位置を指定した場所と同じ位置を複数回タッチすることにより、徐々に修正輝度を高めることができる。例えば、ユーザが画面８ａを１回タッチした場合、つまり、第１情報取得部４２ａが、第１指定情報として修正対象位置を取得した場合、輝度修正部５０は、平均輝度取得部５２の取得結果に基づき入出力輝度変換テーブルを読出す。輝度修正部５０は、例えば図１２に示すような「明修正特性Ａ２」の入出力輝度変換テーブルを読出すとともに、修正対象位置に対応する所定の広さの輝度修正領域７６を「輝度修正＋１０」の第１修正状態７６ａ（標準修正状態）とする。
【００５７】
第２情報取得部４２ｂが、修正対象位置を指定した場所と同じ位置が再度（合計２回）タッチされたことを示す信号を取得した場合、輝度修正部５０は、「明修正特性Ａ２」の出力値を２倍して、輝度修正領域７６を「輝度修正＋２０」の第２修正状態７６ｂとする。同様に、第２情報取得部４２ｂは、同じ位置が合計３回タッチされたことを示す信号を取得した場合、輝度修正部５０は、「明修正特性Ａ２」の出力値を３倍して、輝度修正領域７６を「輝度修正＋３０」の第３修正状態７６ｃとする。さらに、第２情報取得部４２ｂが、同じ位置が合計４回タッチされたことを示す信号を取得した場合、輝度修正部５０は、例えば図１３に示すような「反転修正特性Ａ３」の入出力輝度変換テーブルを読出すとともに、修正対象位置に対応する所定の広さの輝度修正領域７６を「反転修正」して第４修正状態７６ｄとする。このように、画面８ａにおける操作回数に応じて、輝度修正の程度を変化させることで、ユーザがより見やすいと感じる輝度修正を行うことができる。なお、画面８ａの操作回数が４回になった場合は、第３修正状態７６ｃに戻し、さらに５回の場合は、第２修正状態７６ｂに戻すようにしてもよい。つまり、第１修正状態７６ａ〜第４修正状態７６ｄを循環的に表示するようにしてもよい。この場合、ユーザは、輝度修正の程度の再修正が容易に行うことができる。なお、輝度修正段階は上述の４段階に限らず、修正段階数は適宜変更可能である。
【００５８】
図１５は、第２情報取得部４２ｂが取得する第２指定情報に基づく修正態様Ｎの一例を示す図であり、画面８ａのピンチ（２本の指を広げたり狭くする動作）の回数やピンチ幅に応じて、輝度修正領域７６の広さを順次変更する例である。本実施形態の周辺監視システム１００の場合、ユーザは、画面８ａで修正対象位置を指定した場所と同じ位置でピンチアウト（閉じた２本の指を広げる動作）により、徐々に輝度修正の対象領域を広げることができる。まず、ユーザが画面８ａを１回タッチした場合、つまり、第１情報取得部４２ａが、第１指定情報として修正対象位置を取得した場合、輝度修正部５０は、標準的な広さ、例えば輝度平均算出領域７４と同等の広さの輝度修正領域７６（第１修正領域）を設定し、輝度修正を実行する。
【００５９】
続いて、第２情報取得部４２ｂが、修正対象位置を指定した場所で１回目のピンチアウトが行われたことを示す信号を取得した場合、輝度修正部５０は、輝度修正領域７６を１．５倍に広げた第２修正領域７８ａを設定して、第２修正領域７８ａに対して輝度修正を実行する。同様に、第２情報取得部４２ｂが、同じ位置で２回目のピンチアウトが行われたことを示す信号を取得した場合、輝度修正部５０は、輝度修正領域７６を２倍に広げた第３修正領域７８ｂを設定して、第３修正領域７８ｂに対して輝度修正を実行する。このように、画面８ａにおける操作回数に応じて輝度修正領域７６の広さを変化させることで、ユーザがより見やすいと感じる輝度修正を行うことができる。なお、ピンチアウトが所定回数以上行われた場合は、輝度修正領域７６を画面８ａ全体としてもよい。また、ピンチイン（広げた２本に指を狭くする動作）を行うことにより一度広げた輝度修正の領域を狭くすることができる。また、ピンチアウトおよびピンチインは指の拡狭の程度に応じて、１度の操作で輝度修正の領域の広さを確定するようにしてもよい。
【００６０】
上述した例の場合、表示装置８の画面８ａには、複数の撮像部１５ａ〜１５ｄのいずれかで撮像した撮像画像データに基づく画像を表示し、修正対象位置を指定することで撮像画像データの輝度を修正する場合を示した。他の実施形態では、複数の撮像部１５で撮像した画像を合成した合成画像に対して、修正対象位置を指定して輝度を修正してもよい。例えば、ＣＰＵ１４ａは、撮像部１５ａ〜１５ｄで撮像した撮像画像データに基づき、図１６、図１７に示すような自車６２を上空から見た俯瞰画像を形成して、上述したように修正対象位置を指定することで俯瞰画像の輝度を修正してもよい。この場合、平均輝度取得部５２は、平均輝度を俯瞰画像上で指定された修正対象位置に対応する領域で行われる。また、輝度修正部５０は、俯瞰画像に基づいて取得された平均輝度に基づき、ＲＯＭ１４ｂ等から輝度修正のための修正データを取得する。このとき、第１情報取得部４２ａは、俯瞰画像上でのタッチ操作で修正対象位置に関する第１指定情報を取得する。同様に、第２情報取得部４２ｂは、俯瞰画像上でのタッチ回数やピンチにより、輝度修正の程度や輝度修正を行う領域の広さ等を指定する第２指定情報を取得する。
【００６１】
また、図８等で説明した例の場合、輝度修正領域７２は、修正対象位置を基準に所定の広さとしたが、これに限定されない。例えば、図１６に示すように、画像６０として俯瞰画像を表示する場合、各撮像部１５の撮像範囲を示す仕切線８０ａ〜８０ｄを表示するとともに、２本の仕切線８０ａと仕切線８０ｂで囲まれた領域を輝度修正領域８２ａとしてもよい。同様に、仕切線８０ｂと仕切線８０ｃで囲まれた領域を輝度修正領域８２ｂとし、仕切線８０ｃと仕切線８０ｄで囲まれた領域を輝度修正領域８２ｃとし、仕切線８０ｄと仕切線８０ａで囲まれた領域を輝度修正領域８２ｄとしてもよい。この場合、例えば、輝度修正領域８２ａのいずれの場所を修正対象位置として指定しても、輝度修正領域８２ａ全体について輝度修正を行う。輝度修正領域８２ｂ〜８２ｄについても同様である。この場合、撮像部１５の撮像領域と輝度修正領域との関連性をユーザに把握させ易くすることができる。つまり、特定の撮像部１５による映像をより見やすくすることができる。なお、この場合に、仕切線８０ａ〜８０ｄを表示しなくてもよい。
【００６２】
また、別の実施例では、図１７に示すように、仕切線８０ａ〜８０ｄを自車６２の前後方向および幅方向に設定してもよい。この場合、仕切線８０ａと仕切線８０ｂで囲まれた自車６２の左前方の領域を輝度修正領域８４ａとする。同様に、仕切線８０ｂと仕切線８０ｃで囲まれた自車６２の左後方の領域を輝度修正領域８４ｂとし、仕切線８０ｃと仕切線８０ｄで囲まれた自車６２の右後方の領域を輝度修正領域８４ｃとし、仕切線８０ｄと仕切線８０ａで囲まれた自車６２の右前方の領域を輝度修正領域８４ｄとする。この場合も、例えば、輝度修正領域８４ａのいずれの場所を修正対象位置として指定しても、輝度修正領域８４ａ全体について輝度修正を行う。輝度修正領域８４ｂ〜８４ｄについても同様である。この場合、自車６２を中心として、左前、左後、右後、右前の４分割した領域で輝度修正が可能になるので、輝度修正領域が分かり易く、自車６２の周囲の状況をユーザにより把握させ易くなる。
【００６３】
なお、図１６、図１７の場合、輝度修正の領域を４分割にする例を示したが、これに限らず、例えば、前後や左右の２分割でもよいし、例えば、３分割や５分割、６分割等でもよく、ユーザによって適宜設定できるようにしてもよい。また、画像６０を俯瞰画像とする場合でも、図８のように修正対象位置の周辺だけを輝度修正領域７２とするか、図１６、図１７のように広範囲を輝度修正の領域とするかは、ユーザによって適宜設定できるようにしてもよい。
【００６４】
図１８は、表示装置８の画面８ａに表示する画像６０の変形例である。図１８に示す例の場合、２画面表示として、一方に、複数の撮像部１５ａ〜１５ｄで撮像した撮像画像データを合成した自車６２の俯瞰画像６０Ａを表示して、他方に、複数の撮像部１５ａ〜１５ｄのいずれかで撮像した撮像画像データに基づく単独画像６０Ｂ（図１８の場合、撮像部１５ａによる後方画像）を表示している。このような複数画面を表示している場合、図１８に示すように、画像６０上のいずれかの位置をタッチすることにより、その部分の輝度修正を上述した実施形態と同様に実行することができる。例えば、図１８のように、俯瞰画像６０Ａの自車６２後部をタッチした場合（マーク７０の表示位置）、その部分の輝度修正が実行され、単独画像６０Ｂ側の対応部分は、輝度修正が実行されないようにすることができる。逆に、単独画像６０Ｂの一部（自車６２後方）をタッチした場合、その部分の輝度修正が実行され、俯瞰画像６０Ａ側の対応部分は、輝度修正が実行されないようにすることができる。このように、２画面のうち一方で輝度修正を行うことで、自車６２の周囲の実際の状況と、注目したい輝度修正を行った位置との比較が画像６０上で可能となり、自車６２の周囲状況をユーザにより容易に把握させることができる。なお、俯瞰画像６０Ａと単独画像６０Ｂのいずれか一方で修正対象位置が指定された場合に、両方の画像に輝度修正を反映させるようにしてもよい。
【００６５】
なお、画像６０の一方に俯瞰画像６０Ａを表示した場合、俯瞰画像６０Ａ上で指定した修正対象位置を含む画像が、単独画像６０Ｂで表示されているとは限らない。この場合、俯瞰画像６０Ａ上で指定した修正対象位置に対応する画像を単独画像６０Ｂとして自動的に表示するようにしてもよい。
【００６６】
図１９、図２０は、上述したような輝度修正を実行する場合のＣＰＵ１４ａにおける処理手順の一例を説明するフローチャートであり、図１９が前半部分で、図２０が後半部分である。
【００６７】
なお、図１９、図２０において、周辺監視システム１００が起動している場合、例えば、車両１のイグニッションスイッチがアクセサリ以上の場合、各撮像部１５ａ〜１５ｄは、車両１の周囲を常時撮像して撮像画像データを取得しているものとする。つまり、画像取得部４０は、撮像画像データを取得し、ＣＰＵ１４ａは、表示装置８の画面８ａに撮像画像データに基づく画像を表示可能な状態にしているものとする。
【００６８】
輝度修正部５０は、第１情報取得部４２ａが第１指定情報を取得したか否か監視し（Ｓ１００）、第１指定情報が取得されていない場合（Ｓ１００のＮｏ）、このフローを一旦終了する。一方、輝度修正部５０は、第１指定情報が取得された場合（Ｓ１００のＹｅｓ）、第１指定情報に基づき修正対象位置を特定する（Ｓ１０２）。続いて、平均輝度取得部５２は、修正対象位置に基づき輝度平均算出領域７４を設定し、平均輝度を取得（算出）する（Ｓ１０４）。輝度修正部５０は、取得された平均輝度とＲＯＭ１４ｂに保持された第１閾値との比較を行い（Ｓ１０６）、第１閾値≦平均輝度の場合（Ｓ１０６のＹｅｓ）、つまり、輝度平均算出領域７４が明るいと判定される場合、暗修正を行う（Ｓ１０８）。すなわち、輝度修正部５０は、ＲＯＭ１４ｂから図１１に示すような出力輝度を下げる「暗修正特性Ａ１」の入出力輝度変換テーブルを読出す。
【００６９】
Ｓ１０６において、第１閾値≦平均輝度でない場合（Ｓ１０６のＮｏ）、輝度修正部５０は、さらに平均輝度とＲＯＭ１４ｂに保持された第２閾値との比較を行う（Ｓ１１０）。そして、第２閾値≦平均輝度＜第１閾値の場合（Ｓ１１０のＹｅｓ）、つまり、輝度平均算出領域７４が暗いと判定される場合、明修正を行う（Ｓ１１２）。すなわち、輝度修正部５０は、ＲＯＭ１４ｂから図１２に示すような出力輝度を上げる「明修正特性Ａ２」の入出力輝度変換テーブルを読出す。
【００７０】
Ｓ１１０において、第２閾値≦平均輝度＜第１閾値でない場合（Ｓ１１０のＮｏ）つまり、第２閾値＞平均輝度の場合、輝度修正部５０は、輝度平均算出領域７４が非常に暗いと判定される場合、明暗反転修正を行う（Ｓ１１４）。すなわち、輝度修正部５０は、ＲＯＭ１４ｂから図１３に示すような入出力輝度を反転する「反転修正特性Ａ３」の入出力輝度変換テーブルを読出す。
【００７１】
輝度修正部５０は、参照する入出力輝度変換テーブルを読出した場合、周囲情報取得部５４が取得した車両１の周囲の明るさを参照し、明るさが所定位置以上の場合（Ｓ１１６のＹｅｓ）、例えば現在が昼間で車室２ａが明るく表示装置８の周囲が明るい場合、輝度修正程度を「小」とする（Ｓ１１８）。例えば、選択した入出力輝度変換テーブルに係数０．７をかける。つまり、表示装置８の画面８ａの周囲が明るいため暗めの修正が行われるようにする。一方、Ｓ１１６において、明るさが所定位置未満の場合（Ｓ１１６のＮｏ）、例えば現在が夜間で車室２ａが暗く表示装置８の周囲が暗い場合、輝度修正程度を「大」とする（Ｓ１２０）。例えば、選択した入出力輝度変換テーブルに係数１．３をかける。つまり、表示装置８の画面８ａの周囲が暗いため明るめの修正が行われるようにする。周囲の明るさに基づく輝度修正の程度が決定されると、輝度修正部５０は、入出力輝度変換テーブルおよびそのときの係数を考慮して、撮像画像データの各画素について輝度修正を行い、修正画像を出力部４６を介して出力して表示装置８に表示させる（Ｓ１２２）。
【００７２】
続いて、輝度修正部５０は、第２情報取得部４２ｂが第２指定情報を取得したか否か監視する（Ｓ１２４）。第２指定情報が取得された場合で（Ｓ１２４のＹｅｓ）、その第２指定情報が輝度の再修正を示す情報の場合（Ｓ１２６のＹｅｓ）、つまり、第１指定情報で示された修正対象位置と同じ位置が複数回タッチされたことを示す信号が取得された場合、そのタッチ回数にしたがい、輝度の再修正を行う（Ｓ１２８）。例えば、図１４に示すような段階的な輝度調整を行う。一方、Ｓ１２６において、第２指定情報が輝度の再修正を示す情報ではない場合（Ｓ１２６のＮｏ）、すなわち、第１指定情報で示された修正対象位置と同じ位置を基準にピンチされたことを示す信号が取得される場合、そのピンチに基づき輝度の修正領域の広さ変更を行う（Ｓ１３０）。例えば、図１５に示すような段階的に領域の広さ変更を行う。そして、輝度修正部５０は、第２指定情報に基づき再設定した修正輝度や修正領域を考慮して、撮像画像データの各画素について再度輝度修正を行い、再修正画像を出力部４６を介して出力して表示装置８に表示させる（Ｓ１３２）。
【００７３】
輝度修正部５０は、修正画像が表示装置８に表示された後、その修正画像の表示終了条件が成立したか否か監視する（Ｓ１３４）。終了条件が成立した場合（Ｓ１３４のＹｅｓ）、例えば、車両１が所定距離以上移動した場合、表示装置８に表示される修正対象位置が画面８ａから外れるため、表示装置８の表示は通常画面、例えば、車両１の進行方向を撮像した撮像部１５の撮像画像データに基づく画像に復帰させて（Ｓ１３６）、一連の処理を一旦終了する。
【００７４】
復帰条件は、上述した移動距離が所定距離を超えた場合や、車両１の速度が所定速度以上になった場合、輝度修正画面を表示してから所定期間以上経過した場合等である。車両１の移動距離や速度は、例えば、車輪速センサ２２からの信号に基づいて取得することができる。また、車両１の移動距離や速度は、例えば、ナビゲーション装置３０から得られるＧＰＳ情報に基づいて取得することができる。経過時間は、ＥＣＵ１４等が備える時計やカウンタ等から取得することができる。
【００７５】
Ｓ１３４において、終了条件が成立していない場合（Ｓ１３４のＮｏ）、Ｓ１２４に戻り、第２指定情報の取得を待つ。また、Ｓ１２４において、第２指定情報が所定期間取得できない場合（Ｓ１２４のＮｏ）、Ｓ１３４に移行して、以降の処理を実行する。なお、関係情報管理部５６は、Ｓ１２２やＳ１３２で出力した修正画像は、車両１の位置と修正対象位置、修正態様等を関連付けて関連情報を作成し、ＳＳＤ１４ｆ等に記憶する。輝度修正部５０は、車両１が同じ場所を訪れたときに、関連情報を読み出し、表示装置８に表示している画面６０に反映させることができる。
【００７６】
図２１は、上述した例とは異なる態様の輝度修正を行う変形例を説明するための模式図である。変形例の場合、輝度修正部５０は、例えば、修正対象位置に基づいて撮像画像データの輝度の明修正を行う場合、修正対象位置が投下光により照明されたように輝度修正を行う。上述した実施形態の場合、輝度の明修正を行う場合、画像６０の平面上で修正対象位置を決定し、そこに光源を置いたことにより明るくなったような輝度修正画像が表示された。そのため、指定する修正対象位置によっては、輝度修正領域７２に空などの明るい部分が含まれてしまう場合があった。その結果、輝度を上げる必要のない部分まで明修正が行われて、輝度修正領域７２が不自然になってしまう場合があった。
【００７７】
そこで、修正対象位置の三次元路面座標を算出するとともに、その上空に仮想光源（仮想ライト）を設置して、そこから、自車６２の周辺を照らすように輝度修正を行う。具体的には、図２１に示すように、第１情報取得部４２ａは、画面８ａ上でタッチされた修正対象位置に対して、路面Ｇ上の三次元座標点Ｐを算出する。この場合、例えば、周知のカメラ逆投影変換等を利用して算出することができる。そして、輝度修正部５０は、路面Ｇ上の三次元座標点Ｐに対して、所定の高さ、例えば鉛直方向２ｍの高さに仮想位置Ｑを設定する。続いて、仮想位置Ｑに仮想光源を設置し、仮想光源の投下光（拡散光）による光の広がりを計算して、撮像画像データの輝度修正を行う。その結果、撮像部１５（例えばリアの撮像部１５ａ）で撮像された撮像画像データは、修正対象位置があたかも街灯等によって照射されたような輝度状態となり、例えば、夜間照明等で見慣れた画像と類似する画像を輝度修正画像として提供できる。この場合、常に路面が投下光により照らされているようになるため、修正対象位置に空などの元々明るい領域が含まれる場合でも、そこの輝度が高められることが防止できる。なお、他の実施例では、ナビゲーション装置３０から得られる車両１の位置情報やその場所の地図情報に基づき、地平線の位置を得ることができる。したがって、輝度修正部５０が「明修正」を行う場合、地平線より上の領域、つまり、空と推定される部分の輝度修正を行わないようにしてもよい。
【００７８】
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７９】
１…車両、８…表示装置、８ａ…画面、１０…操作入力部、１２…表示装置、１５…撮像部、４０…画像取得部、４２…情報取得部、４２ａ…第１情報取得部、４２ｂ…第２情報取得部、４４…制御部、４６…出力部、５０…輝度修正部、５２…平均輝度取得部、５４…周囲情報取得部、５６…関係情報管理部、６０…画像、７２…輝度修正領域、７４…輝度平均算出領域、７６…輝度修正領域、１００…周辺監視システム。
【図１】
2017220876.tif 000003
【図２】
2017220876.tif 000004
【図３】
2017220876.tif 000005
【図４】
2017220876.tif 000006
【図５】
2017220876.tif 000007
【図６】
2017220876.tif 000008
【図７】
2017220876.tif 000009
【図８】
2017220876.tif 000010
【図９】
2017220876.tif 000011
【図１０】
2017220876.tif 000012
【図１１】
2017220876.tif 000013
【図１２】
2017220876.tif 000014
【図１３】
2017220876.tif 000015
【図１４】
2017220876.tif 000016
【図１５】
2017220876.tif 000017
【図１６】
2017220876.tif 000018
【図１７】
2017220876.tif 000019
【図１８】
2017220876.tif 000020
【図１９】
2017220876.tif 000021
【図２０】
2017220876.tif 000022
【図２１】
2017220876.tif 000023