(57)【要約】      （修正有）【課題】車両の画像がより見易い表示画像を表示可能な装置を提供する。【解決手段】周辺監視装置は、車両に設けられた撮像部１５から取得した撮像画像に含まれる車両画像の領域である車両画像領域と車両の周辺の画像である周辺画像の領域である周辺画像領域との境界を検出して、車両画像領域の車両画像から重畳用車両画像を予め生成する車両画像生成部４０と、新たに取得した撮像画像の車両画像領域に重畳用車両画像を重畳させて表示画像を生成して出力する出力部４４と、を備える。【選択図】図４
2017224998.tif 000002
【特許請求の範囲】
【請求項１】
車両に設けられた撮像部から取得した撮像画像に含まれる車両画像の領域である車両画像領域と前記車両の周辺の画像である周辺画像の領域である周辺画像領域との境界を検出して、前記車両画像領域の前記車両画像から重畳用車両画像を予め生成する車両画像生成部と、
新たに取得した撮像画像の前記車両画像領域に前記重畳用車両画像を重畳させて表示画像を生成して出力する出力部と、
を備える周辺監視装置。
【請求項２】
前記車両画像生成部は、同じ撮像部から取得した複数の前記撮像画像から前記重畳用車両画像を生成する
請求項１に記載の周辺監視装置。
【請求項３】
前記車両画像生成部は、前記複数の撮像画像内の同じ画素位置の同じ色の画素値のうち、最も多い画素値を当該画素位置の画素値として採用して、前記重畳用車両画像を生成する
請求項２に記載の周辺監視装置。
【請求項４】
前記車両画像生成部は、前記車両画像領域のコントラスト比と、前記車両画像領域において彩度が予め定められた計数用閾値以上となる画素数の比率である彩度比率とに基づいて、前記重畳用車両画像を生成するための前記撮像画像を前記複数の撮像画像から選択する
請求項２または３に記載の周辺監視装置。
【請求項５】
前記車両画像生成部は、境界に基づいて、前記撮像部の異常を判定する
請求項１から４のいずれか１項に記載の周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周辺監視装置に関する。
【背景技術】
【０００２】
自動車等の移動体に搭載され、自車の車両の一部の画像である車両画像及び車両の周辺の画像である周辺画像を含む表示画像を表示させる周辺監視装置が知られている。このような周辺監視装置では、加工した車両画像を含む表示画像を表示させる場合がある。例えば、周辺監視装置は、彩度等を変更した車両画像、及び、固定値で塗りつぶした車両画像等を含む表示画像を表示させている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１５１０８６号公報
【特許文献２】特開２０１４−１１６７５６号公報
【特許文献３】特開２００２−１２７８５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、表示画像内の車両画像はまだ十分に見易いとは言えず、車両の画像がより見易い表示画像を表示可能な装置が望まれている。
【課題を解決するための手段】
【０００５】
上述した課題を解決するために、本発明の周辺監視装置は、車両に設けられた撮像部から取得した撮像画像に含まれる車両画像の領域である車両画像領域と前記車両の周辺の画像である周辺画像の領域である周辺画像領域との境界を検出して、前記車両画像領域の前記車両画像から重畳用車両画像を予め生成する車両画像生成部と、新たに取得した撮像画像の前記車両画像領域に前記重畳用車両画像を重畳させて表示画像を生成して出力する出力部と、を備える。
【０００６】
これにより、周辺監視装置は、撮像画像から重畳用車両画像を生成するので、重畳用車両画像を生成して、新たに取得した撮像画像に重畳させた表示画像を表示させることができる。これにより、周辺監視装置は、現実の車両に沿って予め生成した重畳用車両画像によって、表示画像の車両の画像を見易くすることができる。
【０００７】
上述の周辺監視装置において、前記車両画像生成部は、同じ撮像部から取得した複数の前記撮像画像から前記重畳用車両画像を生成してもよい。これにより、周辺監視装置は、重畳用車両画像の違和感を低減して、重畳用車両画像がより見易い表示画像を提供できる。
【０００８】
上述の周辺監視装置において、前記車両画像生成部は、前記複数の撮像画像内の同じ画素位置の同じ色の画素値のうち、最も多い画素値を当該画素位置の画素値として採用して、前記重畳用車両画像を生成してもよい。これにより、周辺監視装置は、車両の周辺の構造物の映り込み等による重畳用車両画像へのノイズの影響を抑制して、適切な重畳用車両画像を生成することができる。
【０００９】
上述の周辺監視装置において、前記車両画像生成部は、前記車両画像領域のコントラスト比と、前記車両画像領域において彩度が予め定められた計数用閾値以上となる画素数の比率である彩度比率とに基づいて、前記重畳用車両画像を生成するための前記撮像画像を前記複数の撮像画像から選択してもよい。これにより、周辺監視装置は、不明瞭な撮像画像を用いることなく、明瞭な撮像画像によって重畳用車両画像を生成することができる。
【００１０】
上述の周辺監視装置において、前記車両画像生成部は、境界に基づいて、前記撮像部の異常を判定してもよい。これにより、周辺監視装置は、演算処理の増加を抑制しつつ、境界によって撮像部の異常を判定できる。
【図面の簡単な説明】
【００１１】
【図１】図１は、第１実施形態の車両の車室の一部が透視された状態が示された例示的な斜視図である。
【図２】図２は、車両の例示的な平面図である。
【図３】図３は、車両の構成を説明するブロック図である。
【図４】図４は、ＥＣＵの機能を示すブロック図である。
【図５】図５は、ＥＣＵが実行する第１実施形態の周辺監視処理のフローチャートである。
【図６】図６は、車両画像生成部が取得する撮像画像の一例である。
【図７】図７は、撮像画像内の境界の検出を説明する図である。
【図８】図８は、重畳用車両画像を生成するための画素値の記憶について説明する図である。
【図９】図９は、重畳用車両画像の画素値を設定するためのヒストグラムの図である。
【図１０】図１０は、重畳用車両画像の画素値の設定におけるノイズ除去を説明する図である。
【図１１】図１１は、重畳用車両画像の一例である。
【図１２】図１２は、重畳用車両画像が重畳された表示画像の一例である。
【図１３】図１３は、一部が暗い撮像画像の一例である。
【図１４】図１４は、図１３の撮像画像に重畳用車両画像が重畳された表示画像の一例である。
【図１５】図１５は、全体的に暗い撮像画像の一例である。
【図１６】図１６は、図１５の撮像画像に重畳用車両画像が重畳された表示画像の一例である。
【図１７】図１７は、ＥＣＵが実行する第２実施形態の周辺監視処理のフローチャートである。
【図１８】図１８は、ＥＣＵが実行する第３実施形態の周辺監視処理のフローチャートである。
【図１９】図１９は、ＥＣＵが実行する第４実施形態の周辺監視処理のフローチャートである。
【図２０】図２０は、第４実施形態の周辺監視処理においてＥＣＵが実行する境界確からしさ判定処理のフローチャートである。
【図２１】図２１は、境界の類似度の判定の一例を説明する図である。
【図２２】図２２は、新たな境界履歴の設定方法を説明する図である。
【発明を実施するための形態】
【００１２】
以下の例示的な実施形態や変形例には、同様の構成要素が含まれている。よって、以下では、同様の構成要素には共通の符号が付されるとともに、重複する説明が部分的に省略される。実施形態や変形例に含まれる部分は、他の実施形態や変形例の対応する部分と置き換えて構成されることができる。また、実施形態や変形例に含まれる部分の構成や位置等は、特に言及しない限りは、他の実施形態や変形例と同様である。
【００１３】
＜第１実施形態＞
図１は、第１実施形態の車両１の車室２ａの一部が透視された状態が示された例示的な斜視図である。車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。
【００１４】
図１に示すように、車両１は、車体２と、操舵部４と、加速操作部５と、制動操作部６と、変速操作部７と、モニタ装置１１とを備える。
【００１５】
車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４、加速操作部５、制動操作部６、変速操作部７、表示装置８、音声出力装置９、操作入力部１０等が設けられている。
【００１６】
操舵部４は、例えば、ダッシュボードから突出したステアリングホイールである。加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、及び、変速操作部７は、これらには限定されない。
【００１７】
モニタ装置１１は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に設けられている。モニタ装置１１は、例えば、ナビゲーションシステムまたはオーディオシステム等の機能を有してもよい。モニタ装置１１は、表示装置８、音声出力装置９、及び、操作入力部１０を有する。モニタ装置１１は、スイッチ、ダイヤル、ジョイスティック、及び、押しボタン等の不図示の操作入力部を有してもよい。
【００１８】
表示装置８は、画像情報に基づいて画像を表示する。表示装置８は、例えば、ＬＣＤ（Liquid  Crystal  Display）、または、ＯＥＬＤ（Organic  Electroluminescent  Display）等である。
【００１９】
音声出力装置９は、音声データに基づいて音声を出力する。音声出力装置９は、例えば、スピーカである。音声出力装置９は、モニタ装置１１以外の異なる車室２ａ内の位置に設けられていてもよい。
【００２０】
操作入力部１０は、乗員の入力を受け付ける。操作入力部１０は、例えば、タッチパネルである。操作入力部１０は、表示装置８の表示画面に設けられている。操作入力部１０は、表示装置８が表示する画像を透過可能に構成されている。これにより、操作入力部１０は、表示装置８の表示画面に表示される画像を乗員に視認させることができる。操作入力部１０は、表示装置８の表示画面に表示される画像に対応した位置を乗員が触れることによって入力した指示を受け付ける。
【００２１】
図２は、車両１の例示的な平面図である。図１及び図２に示すように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。四つの車輪３の全てまたは一部は、転舵可能である。
【００２２】
車両１は、複数の撮像部１５を備える。撮像部１５は、例えば、ＣＣＤ（Charge  Coupled  Device）、または、ＣＩＳ（CMOS  Image  Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで生成される複数のフレーム画像を含む動画、または、静止画のデータを撮像画像のデータとして出力できる。例えば、撮像部１５は、車両１の周辺を撮像した動画または静止画の撮像画像のデータを出力する。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向の１４０°〜１９０°の範囲を撮影することができる。撮像部１５の光軸は、斜め下方に向けて設定されている。従って、撮像部１５は、車両１が移動可能な路面、及び、車両１が駐車可能な領域を含む車両１の周辺の外部の環境を撮像した撮像画像データを出力する。
【００２３】
本実施形態では、４個の撮像部１５ａ、１５ｂ、１５ｃ、１５ｄが車両１に設けられている。車両１は、５個以上の撮像部１５を有してもよい。撮像部１５ａは、例えば、車両１の前方の左側の端部２ｃに位置され、フロントバンパーの左側の上部に設けられている。撮像部１５ａは、車両１の前端の左側の一部、及び、車両１の前方の左側の周辺の環境を撮影する。撮像部１５ｂは、例えば、車両１の前方の右側の端部２ｄに位置され、フロントバンパーの右側の上部に設けられている。撮像部１５ｂは、車両１の前端の右側の一部、及び、車両１の前方の右側の周辺の環境を撮影する。撮像部１５ｃは、例えば、車両１の後方の左側の端部２ｅに位置され、リアバンパーの左側の上部に設けられている。撮像部１５ｃは、車両１の後端の左側の一部、及び、車両１の後方の左側の周辺の環境を撮影する。撮像部１５ｄは、例えば、車両１の後方の右側の端部２ｆに位置され、リアバンパーの右側の上部に設けられている。撮像部１５ｄは、車両１の後端の右側の一部、及び、車両１の後方の右側の周辺の環境を撮影する。
【００２４】
図３は、車両１の構成を説明するブロック図である。図３に示すように、車両１は、ＥＣＵ（Electronic  Control  Unit）２４を更に備える。モニタ装置１１、撮像部１５、及び、ＥＣＵ２４は、周辺監視システムとして機能する。
【００２５】
ＥＣＵ２４は、周辺監視装置の一例である。ＥＣＵ２４は、例えば、コンピュータである。ＥＣＵ２４は、撮像部１５から撮像画像データを受信する。ＥＣＵ２４は、出力させる画像または音声に関するデータをモニタ装置１１へ送信する。ＥＣＵ２４は、ＣＰＵ（Central  Processing  Unit）２４ａと、ＲＯＭ（Read  Only  Memory）２４ｂと、ＲＡＭ（Random  Access  Memory）２４ｃと、表示制御部２４ｄと、音声制御部２４ｅと、ＳＳＤ（Solid  State  Drive）２４ｆとを備える。ＣＰＵ２４ａ、ＲＯＭ２４ｂ及びＲＡＭ２４ｃは、同一パッケージ内に集積されていてもよい。
【００２６】
ＣＰＵ２４ａは、ＲＯＭ２４ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムにしたがって各種の演算処理および制御を実行する。ＣＰＵ２４ａは、例えば、表示装置８に表示させる周辺監視用の画像等の画像処理を実行する。
【００２７】
ＲＯＭ２４ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ２４ｃは、ＣＰＵ２４ａでの演算で用いられる各種のデータを一時的に記憶する。表示制御部２４ｄは、ＥＣＵ２４での演算処理のうち、主として、撮像部１５で得られた画像の画像処理、表示装置８に表示させる表示用の画像のデータ変換等を実行する。音声制御部２４ｅは、ＥＣＵ２４での演算処理のうち、主として、音声出力装置９に出力させる音声の処理を実行する。ＳＳＤ２４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ２４の電源がオフされた場合にあってもデータを維持する。
【００２８】
本実施形態では、ＥＣＵ２４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、車両１の制御全般を司る。例えば、ＥＣＵ２４は、撮像部１５から取得した撮像画像に基づいて、予め生成した車両１の一部の画像である重畳用車両画像を車両１の周辺の画像である周辺画像を含む撮像画像に重畳させた表示画像を生成して、表示装置８に表示させる。これにより、ＥＣＵ２４は、周辺監視装置としての機能を実現している。
【００２９】
図４は、ＥＣＵ２４の機能を示すブロック図である。図４に示すように、ＥＣＵ２４は、制御部３０と、記憶部３２とを有する。制御部３０は、ＣＰＵ２４ａ、表示制御部２４ｄ、及び、音声制御部２４ｅの機能として実現される。記憶部３２は、ＲＯＭ２４ｂ、ＲＡＭ２４ｃ、及び、ＳＳＤ２４ｆの機能として実現される。
【００３０】
制御部３０は、車両画像生成部４０と、受付部４２と、出力部４４とを備える。例えば、ＣＰＵ２４ａが、ＲＯＭ２４ｂまたはＳＳＤ２４ｆ内に格納された周辺監視処理用のプログラムを読み込むことにより、制御部３０は、車両画像生成部４０、受付部４２、及び、出力部４４の機能を有する。車両画像生成部４０、受付部４２、及び、出力部４４の一部または全部を回路等のハードウェアによって構成してもよい。
【００３１】
車両画像生成部４０は、自車である車両１の少なくとも一部を含む画像である車両画像及び周辺の画像である周辺画像を含む撮像画像を撮像部１５から取得する。撮像画像は、例えば、動画に含まれる複数のフレーム画像の１つであってもよく、静止画であってもよい。車両画像生成部４０は、車両画像の領域である車両画像領域と周辺画像の領域である周辺画像領域との境界を検出する。車両画像生成部４０は、新たに取得する撮像画像に重畳させる重畳用車両画像を、検出した境界を用いて車両画像領域の車両画像から予め生成する。
【００３２】
例えば、車両画像生成部４０は、同じ撮像部１５から取得した複数の撮像画像から重畳用車両画像を生成してもよい。この場合、車両画像生成部４０は、複数の撮像画像内の同じ画素位置の同じ色の画素値のうち、最も多い画素値を当該画素位置の画素値として採用して、重畳用車両画像を生成してもよい。
【００３３】
車両画像生成部４０は、複数の撮像画像から重畳用車両画像を生成するための撮像画像を選択してもよい。例えば、車両画像生成部４０は、撮像画像の車両画像領域のコントラスト比と彩度比率とに基づいて、重畳用車両画像を生成するための撮像画像を複数の撮像画像から選択してもよい。
【００３４】
車両画像生成部４０は、重畳用車両画像を出力部４４に出力する。尚、車両画像生成部４０は、重畳用車両画像を記憶部３２に格納してもよい。
【００３５】
受付部４２は、運転者を含む乗員が操作入力部１０によって入力した操作指示を受け付ける。受付部４２は、出力部４４を介して、操作指示を受け付けるための受付画面を表示装置８に表示させる。
【００３６】
出力部４４は、撮像部１５から新たに取得した撮像画像の車両画像領域に、重畳用車両画像を重畳させて表示画像を生成する。出力部４４は、生成した表示画像を表示装置８に出力して表示させる。出力部４４は、音声を音声出力装置９に出力させる。
【００３７】
図５は、ＥＣＵ２４が実行する第１実施形態の周辺監視処理のフローチャートである。ＣＰＵ２４ａは、周辺監視処理用のプログラムを読み込むことによって、周辺監視処理を開始する。図５に示すように、周辺監視処理では、車両画像生成部４０が、車両１の画像及び周辺の画像を含む撮像画像６０を撮像部１５のそれぞれから取得する（Ｓ１０２）。
【００３８】
図６は、車両画像生成部４０が取得する撮像画像６０の一例である。例えば、車両画像生成部４０は、図６に示すような撮像画像６０を撮像部１５ａから取得する。撮像画像６０において、右下の白塗りの部分が、車両１の左前端部の車両画像６４であり、車両画像６４の領域が車両画像領域６６である。撮像画像６０において、車両画像６４以外の画像を車両１の周辺の画像である周辺画像６８とし、周辺画像６８の領域を周辺画像領域７０とする。車両画像６４は、フロントバンパーの画像及びライトの画像等を含む。
【００３９】
車両画像生成部４０は、取得した撮像画像６０に含まれる車両画像領域６６と周辺画像領域７０との境界６２を検出する（Ｓ１０４）。
【００４０】
図７は、撮像画像６０内の境界６２の検出を説明する図である。例えば、車両画像生成部４０は、背景差分によって、図７に太線で示す境界６２を検出する。車両画像生成部４０は、例えば動画像の複数のフレーム画像から生成した背景画像と撮像画像６０との背景差分である二値画像を生成して、当該二値画像からノイズを除去する。車両画像生成部４０は、ノイズを除去した二値画像において、輝度変化が少ない領域を車両画像領域６６とし、背景差分の輝度変化が多い領域を周辺画像領域７０とする。これは、車両１の移動に伴って、周辺画像領域７０の周辺画像６８は変化するが、車両画像６４はほとんど変化しないことを利用している。車両画像生成部４０は、エッジ検出により、境界６２を検出してもよい。
【００４１】
車両画像生成部４０は、境界６２を検出できなかった場合（Ｓ１０６：Ｎｏ）、境界６２が検出できなかった撮像画像６０を重畳用車両画像の生成に用いることなく、後述するステップＳ１２０を実行する。
【００４２】
車両画像生成部４０は、境界６２を検出できた場合（Ｓ１０６：Ｙｅｓ）、撮像画像６０が明瞭か否かを判定する（Ｓ１０８）。例えば、車両画像生成部４０は、車両画像領域６６のコントラスト比と、車両画像領域６６の全体の画素数に対する彩度が予め定められた計数用閾値以上となる車両画像領域６６の画素数の比率である彩度比率とによって、撮像画像６０が明瞭か否かを判定する。ここで、各値を次のように定義する。
Ｌｍａｘ：車両画像領域６６の最大輝度
Ｌｍｉｎ：車両画像領域６６の最小輝度
車両画像領域６６のコントラスト比ＣＬ
＝（Ｌｍａｘ＋Ｌｍｉｎ）／（Ｌｍａｘ−Ｌｍｉｎ）
ＲＧＢｍａｘ（ｉ）：車両画像領域６６内の画素ｉにおけるＲＧＢの３つの値のうちの最大値
ＲＧＢｍｉｎ（ｉ）：車両画像領域６６内の画素ｉにおけるＲＧＢの３つの値のうちの最小値
車両画像領域６６の画素ｉにおける彩度ＳＴ（ｉ）
＝１００×（ＲＧＢｍａｘ（ｉ）−ＲＧＢｍｉｎ（ｉ））／ＲＧＢｍａｘ（ｉ）
Ｎ：車両画像領域６６内の画素数
彩度比率ＳＴｒａｔｅ
＝（彩度ＳＴ（１〜Ｎ）が計数用閾値以上の画素数）／Ｎ
この場合において、コントラスト比ＣＬが予め定められたコントラスト用閾値以上であり、かつ、彩度比率ＳＴｒａｔｅが予め定められた彩度用閾値以上であれば、車両画像生成部４０は、撮像画像６０が明瞭であると判定する。
【００４３】
車両画像生成部４０は、撮像画像６０が明瞭でないと判定すると（Ｓ１１０：Ｎｏ）、明瞭でないと判定した撮像画像６０を重畳用車両画像の生成に用いることなく、後述するステップＳ１２０を実行する。
【００４４】
車両画像生成部４０は、撮像画像６０が明瞭であると判定すると（Ｓ１１０：Ｙｅｓ）、車両画像領域６６の各画素の画像値を記憶部３２に格納して蓄積する（Ｓ１１２）。
【００４５】
図８は、重畳用車両画像を生成するための画素値ＩＣの記憶について説明する図である。例えば、車両画像生成部４０は、図８に示すリングバッファ７２Ｒ、７２Ｇ、７２Ｂを記憶部３２に形成して、車両画像領域６６の座標（ｘ、ｙ）の画素ＰＸの赤色、緑色及び青色の画素値であるＲ値ＩＲ（ｔｎ、ｘ、ｙ）、Ｇ値ＩＧ（ｔｎ、ｘ、ｙ）、Ｂ値ＩＢ（ｔｎ、ｘ、ｙ）をＮ回分格納する。尚、ｎ＝１、２、・・である。以下の説明において、画素値の色を区別する必要がない場合、画素値ＩＣと表記する。画素値は、シアン色のＣ値、マゼンダ色のＭ値、及び、黄色のＹ値等であってもよい。Ｎ回の一例は、１００回である。車両画像生成部４０は各画素ＰＸの色毎にリングバッファ７２Ｒ、７２Ｇ、７２Ｂを記憶部３２に形成する。リングバッファ７２Ｒ、７２Ｇ、７２Ｂは、既にＮ回分の画素値ＩＣを蓄積している状態で、時刻ｔ１に撮像された撮像画像６０の新たな画素値ＩＣ（ｔ１、ｘ、ｙ）を格納する場合、Ｎ＋１回前の画素値ＩＣ（ｔＮ＋１、ｘ、ｙ）を破棄する。車両画像生成部４０は、車両画像領域６６の全ての画素ＰＸに対応付けてリングバッファ７２Ｒ、７２Ｇ、７２Ｂを記憶部３２に形成する。
【００４６】
車両画像生成部４０は、重畳用車両画像を生成するために、画素値ＩＣの蓄積が十分か否かを判定する（Ｓ１１４）。車両画像生成部４０は、例えば、Ｎ回分の画素値ＩＣが蓄積されているか否かで、画素値ＩＣが十分に蓄積されているか否かを判定する。車両画像生成部４０は、画素値ＩＣの蓄積の判定を蓄積判定用のフラグ等によって実行してもよい。これにより、車両画像生成部４０は、一度、画素値ＩＣが蓄積されていると判定した場合、蓄積判定用フラグによって判定することにより、判定処理を簡略化できる。車両画像生成部４０は、画素値ＩＣが記憶部３２にＮ回未満しか蓄積されていない場合、画素値ＩＣが十分に蓄積されていないと判定して（Ｓ１１４：Ｎｏ）、ステップＳ１２０を実行する。
【００４７】
車両画像生成部４０は、画素値ＩＣが記憶部３２にＮ回分蓄積されている場合、画素値ＩＣが十分に蓄積されていると判定して（Ｓ１１４：Ｙｅｓ）、車両画像領域６６の各画素ＰＸの画素値ＩＣを設定する（Ｓ１１６）。
【００４８】
図９は、重畳用車両画像の画素値を設定するためのヒストグラムの図である。図１０は、重畳用車両画像の画素値の設定におけるノイズ除去を説明する図である。例えば、車両画像生成部４０は、図９に示す蓄積した画素値ＩＣのヒストグラムによって、各画素ＰＸの画素値ＩＣを設定してもよい。図９は、撮像画像６０内の一の画素位置の画素ＰＸ（例えば、座標（ｘ、ｙ）の画素ＰＸ）の赤色の画素値ＩＣのヒストグラムを示す。図９の横軸は、例えば２５６段階の各画素値ＩＣを示し、縦軸は各画素値ＩＣとなった撮像画像６０の数（以下、画像数という）を示す。従って、ヒストグラムに示す全ての画素値ＩＣの画素数の総和は、画素値ＩＣの蓄積数（即ち、サンプリングした撮像画像６０の枚数）であるＮとなる。車両画像生成部４０は、ピークＰＫとなる最も画像数の多い画素値ＩＣＰを、当該画素ＰＸの画素値ＩＣとして設定する。車両画像生成部４０は、車両画像領域６６の各画素ＰＸにピークＰＫの画素値ＩＣＰを設定する。
【００４９】
ここで、図１０に示すように、車両１が通過する道路の近傍に設置された電柱９０が、図１０の斜線ハッチング領域９２で示すように、車両１（例えば、車両１のフロントバンパー）に映り込んでいる場合を想定する。この場合、斜線ハッチング領域９２の画素ＰＸａの赤色の画素値ＩＣは、電柱９０が映り込んでいる間、電柱９０が映り込んでいない場合と異なる。電柱９０がＱ枚の撮像画像６０に映り込んでいる場合、図９に示すように、ピークＰＫの画素値ＩＣと異なる画素値ＩＣに小さいピークＰＫｓが、ノイズとしてヒストグラムにできる。ピークＰＫｓ及び近傍の画素値ＩＣの総和は、ほぼＱとなる。車両画像生成部４０は、最も画像数の多いピークＰＫの画素値ＩＣを当該画素ＰＸａの画素値ＩＣとして採用するので、映り込みによる小さいピークＰＫｓによるノイズを除去して、映り込みの影響を抑制できる。
【００５０】
車両画像生成部４０は、車両画像領域６６の全ての画素ＰＸに対して画素値ＩＣを設定して重畳用車両画像を生成し、記憶部３２に格納する（Ｓ１１８）。
【００５１】
図１１は、重畳用車両画像７４の一例である。例えば、車両画像生成部４０は、図１１に示すように、車両画像領域６６の全ての画素ＰＸに対して画素値Ｉ（ｘ、ｙ）（Ｒ、Ｇ、Ｂ）を設定する。車両画像生成部４０は、画素値Ｉ（ｘ、ｙ）（Ｒ、Ｇ、Ｂ）を結合して、重畳用車両画像７４を生成する。
【００５２】
車両画像生成部４０は、新たな撮像画像６０を取得して、出力部４４へ出力する（Ｓ１２０）。出力部４４は、記憶部３２に重畳用車両画像７４が存在するか否かを判定する（Ｓ１２２）。出力部４４は、重畳用車両画像７４が存在すると判定すると（Ｓ１２２：Ｙｅｓ）、新たに取得した撮像画像６０に重畳用車両画像７４を重畳させて、表示装置８に表示させる表示画像を生成する（Ｓ１２４）。出力部４４は、重畳用車両画像７４を重畳させて、表示画像７６を表示装置８に表示させて（Ｓ１２６）、ステップＳ１０２以降を繰り返す。
【００５３】
図１２は、重畳用車両画像７４が重畳された表示画像７６の一例である。出力部４４は、図１１に示す重畳用車両画像７４を、新たに取得した撮像画像６０の車両画像領域６６に重畳させて、図１２に示すように撮像画像６０の周辺画像領域７０の周辺画像６８と、重畳用車両画像７４とを含む表示画像７６を生成する。これにより、例えば、図１０に示すように新たに取得した撮像画像６０が車両１に電柱９０等が映り込んでいる場合であっても、出力部４４は、車両１が見易い表示画像７６を表示させることができる。
【００５４】
図１３は、一部が暗い撮像画像６０の一例である。図１４は、図１３の撮像画像６０に重畳用車両画像７４が重畳された表示画像７６の一例である。図１３に示すように新たに取得した撮像画像６０が、暗い影領域９４を含む場合でも、出力部４４は、図１１に示す重畳用車両画像７４を、撮像画像６０の車両画像領域６６に重畳させることにより、図１４に示すように車両１が見易い表示画像７６を表示させることができる。
【００５５】
図１５は、全体的に暗い撮像画像６０の一例である。図１６は、図１５の撮像画像６０に重畳用車両画像７４が重畳された表示画像７６の一例である。図１５に示すように新たに取得した撮像画像６０が、夜間に撮像されて、全体的に暗い場合でも、出力部４４は、図１１に示す重畳用車両画像７４を、撮像画像６０の車両画像領域６６に重畳させることにより、図１６に示すように車両１が見易い表示画像７６を表示させることができる。
【００５６】
出力部４４は、重畳用車両画像７４が存在しないと判定すると（Ｓ１２２：Ｎｏ）、新たに取得した撮像画像６０を表示画像７６として表示装置８に表示させて（Ｓ１２６）、ステップＳ１０２以降を繰り返す。
【００５７】
上述したように、第１実施形態のＥＣＵ２４は、車両１に設けられた撮像部１５から取得した撮像画像６０に含まれる車両画像領域６６と周辺画像領域７０との境界６２を検出して、撮像画像６０から重畳用車両画像７４を生成している。このように、ＥＣＵ２４は、撮像画像６０から重畳用車両画像７４を生成するので、車両１の車種及び色等に関わらず、また、撮像部１５の搭載位置に関わらず、現実の車両１に沿った重畳用車両画像７４を初期設定等することなく生成できる。ＥＣＵ２４は、新たに取得した撮像画像６０に重畳用車両画像７４を重畳させた表示画像７６を表示させている。これにより、ＥＣＵ２４は、新たに取得した撮像画像６０の車両画像６４が見難い場合であっても、予め生成した重畳用車両画像７４を撮像画像６０に重畳させることによって、表示画像７６内の車両１を見易くすることができる。
【００５８】
ＥＣＵ２４は、同じ撮像部１５から取得した複数の撮像画像６０から重畳用車両画像７４を生成するので、不適切な車両画像６４の撮像画像６０を含む場合でも、不適切な車両画像６４の影響を低減して、重畳用車両画像７４がより見易い表示画像７６を提供できる。
【００５９】
ＥＣＵ２４は、複数の撮像画像６０の同じ画素ＰＸの画素値ＩＣのうち、最も画像数の多いピークＰＫの画素値ＩＣを重畳用車両画像７４の画素値Ｉ（ｘ、Ｙ）（Ｒ、Ｇ、Ｂ）として採用している。これにより、ＥＣＵ２４は、車両１の周辺の電柱９０等の映り込み等による重畳用車両画像７４へのノイズの影響を抑制して、最適な重畳用車両画像７４を生成することができる。また、ＥＣＵ２４は、固定の色で一色に塗りつぶされた車両１の画像に比べて、重畳用車両画像７４の違和感を低減することができる。
【００６０】
ＥＣＵ２４は、車両画像領域６６と周辺画像領域７０とのコントラスト比及び彩度比率に基づいて、明瞭と判定した撮像画像６０によって、重畳用車両画像７４を生成している。従って、ＥＣＵ２４は、夜間等に撮像された不明瞭な撮像画像６０を用いることなく、昼間等に撮像された明瞭な撮像画像６０によって重畳用車両画像７４を生成することができる。これにより、出力部４４は、夜間であっても、明瞭な重畳用車両画像７４を表示画像７６に採用できる。
【００６１】
＜第２実施形態＞
図１７は、ＥＣＵ２４が実行する第２実施形態の周辺監視処理のフローチャートである。第１実施形態と同じ処理については、同じステップ番号を付与して説明を省略する。
【００６２】
図１７に示すように、第２実施形態の周辺監視処理では、ＥＣＵ２４の車両画像生成部４０は、撮像画像６０を取得した後（Ｓ１０２）、車両１の周辺の明暗を判定するための明暗判定値を取得する（Ｓ１３０）。例えば、車両画像生成部４０は、照度センサのセンサ値を明暗判定値として取得してもよい。また、車両画像生成部４０は、車両１に設けられたライトがオンかオフかを示すスイッチ情報を明暗判定値として取得してもよい。車両画像生成部４０は、車両１に設けられた時計から現在時刻を明暗判定値として取得してもよい。
【００６３】
車両画像生成部４０は、明暗判定値に基づいて、車両１の周辺が明るくないと判定すると（Ｓ１３２：Ｎｏ）、取得した撮像画像６０を重畳用車両画像７４の生成に用いることなく破棄して、ステップＳ１２０を実行する。
【００６４】
車両画像生成部４０は、明暗判定値に基づいて、車両１の周辺が明るいと判定すると（Ｓ１３２：Ｙｅｓ）、取得した撮像画像６０の境界６２を検出して（Ｓ１０４）、ステップＳ１０６以降を実行する。
【００６５】
上述したように第２実施形態のＥＣＵ２４は、明暗判定値に基づいて、周辺が明るい状態で撮像された撮像画像６０によって、重畳用車両画像７４を生成している。従って、ＥＣＵ２４は、明るい重畳用車両画像７４を生成することができる。
【００６６】
＜第３実施形態＞
図１８は、ＥＣＵ２４が実行する第３実施形態の周辺監視処理のフローチャートである。上述の実施形態と同じ処理については、同じステップ番号を付与して説明を省略する。
【００６７】
図１８に示すように、第３実施形態の周辺監視処理では、ＥＣＵ２４の車両画像生成部４０は、撮像画像６０を取得した後（Ｓ１０２）、受付部４２は、重畳用車両画像７４を生成する画像生成指示を乗員から取得したか否かを判定する（Ｓ１４０）。例えば、受付部４２は、重畳用車両画像７４を生成する画像生成指示または画像生成が不要である不要指示を受け付ける受付画面を、出力部４４を介して表示装置８に表示させる。受付部４２は、受付画面を表示させた状態で、タッチパネル等の操作入力部１０から乗員の画像生成指示または不要指示を受け付ける。受付部４２は、不要指示を受け付けた場合（Ｓ１４０：Ｎｏ）、その旨を出力部４４へ出力する。これにより、出力部４４は、ステップＳ１２０以降を実行する。
【００６８】
受付部４２は、画像生成指示を受け付けると（Ｓ１４０：Ｙｅｓ）、その旨を車両画像生成部４０へ出力する。これにより、車両画像生成部４０は、境界６２を検出して（Ｓ１０４）、境界６２が検出できた場合（Ｓ１０６：Ｙｅｓ）、受付部４２は、境界６２によって囲まれた車両画像領域６６の画像を重畳用車両画像７４として使用するか否かの選択を受け付ける使用選択画面を、出力部４４を介して表示装置８に表示させる（Ｓ１４２）。
【００６９】
受付部４２は、受付部４２を介して、車両画像領域６６の画像を重畳用車両画像７４として使用しないことを示す不使用指示を受け付けると（Ｓ１４４：Ｎｏ）、その旨を車両画像生成部４０へ出力する。これにより、車両画像生成部４０は、ステップＳ１２０を実行する。
【００７０】
受付部４２は、受付部４２を介して、車両画像領域６６の画像を重畳用車両画像７４として使用することを示す使用指示を受け付けると（Ｓ１４４：Ｙｅｓ）、その旨を車両画像生成部４０へ出力する。これにより、車両画像生成部４０は、乗員に示した１枚の撮像画像６０の車両画像領域６６の車両画像６４を重畳用車両画像７４として生成して設定する（Ｓ１１８）。
【００７１】
第３実施形態のＥＣＵ２４は、乗員の画像生成指示に基づいて、車両画像領域６６の車両画像６４を重畳用車両画像７４として生成する。これにより、ＥＣＵ２４は、乗員の希望に沿った重畳用車両画像７４を生成することができる。更に、ＥＣＵ２４は、１枚の撮像画像６０の車両画像６４を重畳用車両画像７４として使用するので、車両画像領域６６の各画素ＰＸの画素値ＩＣを蓄積して重畳用車両画像７４を生成する場合に比べて、演算量を低減できる。
【００７２】
＜第４実施形態＞
図１９は、ＥＣＵ２４が実行する第４実施形態の周辺監視処理のフローチャートである。上述の実施形態と同じ処理については、同じステップ番号を付与して説明を省略する。本実施形態の周辺監視処理では、ＥＣＵ２４が、境界６２に基づいて、撮像部１５の異常を判定する。
【００７３】
図１９に示すように、第４実施形態の周辺監視処理では、ＥＣＵ２４の車両画像生成部４０は、境界６２を検出できたと判定すると（Ｓ１０６：Ｙｅｓ）、後述する境界確からしさ判定処理を実行する（Ｓ１５０）。境界確からしさ判定処理は、検出した境界６２が確かであるか否かを判定する処理である。車両画像生成部４０は、境界確からしさ判定処理に基づいて、境界６２が確かであると判定すると（Ｓ１５２：Ｙｅｓ）、後述する連続性数ｐを“０”にリセットして（Ｓ１５３）、ステップＳ１０８の処理を実行する。
【００７４】
車両画像生成部４０は、境界６２が確かではないと判定すると（Ｓ１５２：Ｎｏ）、境界６２が連続して明確でないと判定した回数である連続性数ｐを１インクリメントする（Ｓ１５４）。車両画像生成部４０は、連続性用閾値Ｔｈｐと、連続性数ｐとを比較して、撮像部１５の異常の一例である位置ずれを判定する（Ｓ１５６）。連続性用閾値Ｔｈｐは、撮像部１５の位置ずれを判定するために予め定められた値である。従って、連続性数ｐが、連続性用閾値Ｔｈｐ以上となることは、撮像部１５が位置ずれを起こしている可能性が高いことを意味する。車両画像生成部４０は、連続性数ｐが連続性用閾値Ｔｈｐ未満であれば、撮像部１５が位置ずれしていないと判定して（Ｓ１５６：Ｎｏ）、ステップＳ１２０を実行する。車両画像生成部４０は、連続性数ｐが連続性用閾値Ｔｈｐ以上であれば、撮像部１５が位置ずれしていると判定して（Ｓ１５６：Ｙｅｓ）、判定結果を出力部４４へ出力する。出力部４４は、位置ずれている旨の判定結果を取得すると、表示装置８を介して位置ずれを報知する（Ｓ１５８）。この後、車両画像生成部４０は、ステップＳ１２０を実行する。換言すれば、車両画像生成部４０は、境界６２が明確でない場合、今回取得した撮像画像６０を重畳用車両画像７４の生成に使用することなく破棄する。
【００７５】
次に、境界確からしさ判定処理について説明する。図２０は、第４実施形態の周辺監視処理においてＥＣＵ２４が実行する境界確からしさ判定処理のフローチャートである。
【００７６】
図２０に示すように、車両画像生成部４０は、前に検出した境界６２の平均値の履歴である境界履歴６２Ａが記憶部３２にあるか否かを判定する（Ｓ１６２）。車両画像生成部４０は、境界履歴６２Ａが記憶部３２にないと判定すると（Ｓ１６２：Ｎｏ）、今回検出した境界６２を境界履歴６２Ａとして記憶部３２に格納して（Ｓ１６４）、境界確からしさ判定処理を終了する。
【００７７】
車両画像生成部４０は、境界履歴６２Ａが記憶部３２にあると判定すると（Ｓ１６２：Ｙｅｓ）、境界履歴６２Ａを記憶部３２から取得する（Ｓ１６６）。車両画像生成部４０は、境界履歴６２Ａと今回の境界６２との類似度を判定する（Ｓ１６８）。
【００７８】
図２１は、境界６２の類似度の判定の一例を説明する図である。図２１において、実線は今回の撮像画像６０の境界６２を示し、点線は境界履歴６２Ａを示す。図２１に示すように、車両画像生成部４０は、今回の境界６２上の位置ＰＳ１ｍ（ｍ＝１、２・・）と、当該位置ＰＳ１ｍから最も近い境界履歴６２Ａ上の位置ＰＳ２ｍとの距離である境界距離ＢＬｍを算出する。車両画像生成部４０は、今回の境界６２上の複数の位置ＰＳ１ｍのそれぞれに対して境界距離ＢＬｍを算出する。車両画像生成部４０は、複数の境界距離ＢＬｍの平均値である境界平均距離を算出する。車両画像生成部４０は、予め定められた類似用閾値と、境界平均距離とを比較して、当該比較結果に基づいて境界６２の類似度を判定する。例えば、車両画像生成部４０は、境界平均距離が類似用閾値未満であれば、今回の境界６２の類似度が高いと判定する。一方、車両画像生成部４０は、境界平均距離が類似用閾値以上であれば、今回の境界６２の類似度が低いと判定する。
【００７９】
車両画像生成部４０は、類似度が高くないと判定すると（Ｓ１７０：Ｎｏ）、境界確からしさ判定処理を終了する。車両画像生成部４０は、類似度が高いと判定すると（Ｓ１７０：Ｙｅｓ）、境界履歴６２Ａと今回の境界６２とに基づいて、新たな境界履歴６２Ａを設定する。
【００８０】
図２２は、新たな境界履歴６２Ａの設定方法を説明する図である。図２２に示すように、車両画像生成部４０は、今回の境界６２上の位置ＰＳ１ｍと、当該位置ＰＳ１ｍから最も近い境界履歴６２Ａ上の位置ＰＳ２ｍとの中間位置ＰＳ３ｍを新たな境界履歴６２Ａ上の位置として算出する。例えば、車両画像生成部４０は、今回の境界６２上の位置ＰＳ１ｍの座標（例えば、ｘｙ座標）と、当該位置ＰＳ１ｍから最も近い境界履歴６２Ａ上の位置ＰＳ２ｍの座標との相加平均を中間位置ＰＳ３ｍの座標として算出する。車両画像生成部４０は、今回の境界６２上の複数の位置に対して算出した複数の中間位置ＰＳ３ｍを連結して、太線で示す新たな境界履歴６２Ｂ設定する。車両画像生成部４０は、新たな境界履歴６２Ａを記憶部３２に格納して更新することにより（Ｓ１７２）、境界確からしさ判定処理を終了する。
【００８１】
第４実施形態のＥＣＵ２４は、重畳用車両画像７４を生成するために演算した境界６２に基づいて、撮像部１５の異常の一例である位置ずれを判定できる。これにより、ＥＣＵ２４は、演算処理の増加を抑制しつつ、撮像部１５が位置ずれしたことを検出して運転者に報知することができる。更に、ＥＣＵ２４は、位置がずれた撮像部１５が撮像した撮像画像６０を、重畳用車両画像７４の生成に使用しないので、重畳用車両画像７４が劣化することを抑制できる。
【００８２】
上述の実施形態の各構成の機能、個数、配置、及び、接続関係等は適宜変更してよい。また、各実施形態を組み合わせてもよい。各実施形態のフローチャートのステップの順序は適宜変更してよい。
【００８３】
車両画像生成部４０は、ヒストグラムのピークＰＫの画素値ＩＣを、重畳用車両画像７４の画素値Ｉ（ｘ、ｙ）（Ｒ、Ｇ、Ｂ）として採用する例を挙げたが、これに限定されない。例えば、車両画像生成部４０は、一の画素ＰＸの時刻の異なる複数の画素値ＩＣの平均を重畳用車両画像７４の当該画素ＰＸの画素値Ｉ（ｘ、ｙ）（Ｒ、Ｇ、Ｂ）として採用してもよい。
【００８４】
車両画像生成部４０は、生成した重畳用車両画像７４と、新たに取得した撮像画像６０の車両画像６４との差分が大きい場合、重畳用車両画像７４を新たに生成してもよい。または、車両画像生成部４０は、当該差分が大きい場合、乗員の生成指示に基づいて、新たな重畳用車両画像７４を生成してもよい。これにより、例えば乗員が車体２の色等を変更した場合、または、乗員が車体２にコーナーポールまたはステッカ等の付属品を設けた場合において、車両画像６４が変化しても、車両画像生成部４０は、新たに重畳用車両画像７４を生成するので、現状の車両１に沿った重畳用車両画像７４を表示画像７６に重畳させることができる。
【００８５】
第４実施形態において、ＥＣＵ２４は、位置ずれと判定した撮像部１５が撮像した撮像画像６０を重畳用車両画像７４の生成に使用しない例を挙げたが、これに限らない。例えば、ＥＣＵ２４は、撮像部１５が位置ずれしていると判定すると、当該撮像部１５の撮像画像６０に基づいて生成した重畳用車両画像７４を破棄して、位置ずれした撮像部１５から撮像画像６０を用いて新たな重畳用車両画像７４を生成してもよい。
【００８６】
第１実施形態において、ステップＳ１０８、Ｓ１１０は省略してもよい。
【００８７】
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８８】
１…車両
８…表示装置
１５…撮像部
２４…ＥＣＵ（周辺監視装置）
３０…制御部
３２…記憶部
４０…車両画像生成部
４４…出力部
６０…撮像画像
６２…境界
６４…車両画像
６６…車両画像領域
６８…周辺画像
７０…周辺画像領域
７４…重畳用車両画像
７６…表示画像
９４…影領域
【図１】
2017224998.tif 000003
【図２】
2017224998.tif 000004
【図３】
2017224998.tif 000005
【図４】
2017224998.tif 000006
【図５】
2017224998.tif 000007
【図６】
2017224998.tif 000008
【図７】
2017224998.tif 000009
【図８】
2017224998.tif 000010
【図９】
2017224998.tif 000011
【図１０】
2017224998.tif 000012
【図１１】
2017224998.tif 000013
【図１２】
2017224998.tif 000014
【図１３】
2017224998.tif 000015
【図１４】
2017224998.tif 000016
【図１５】
2017224998.tif 000017
【図１６】
2017224998.tif 000018
【図１７】
2017224998.tif 000019
【図１８】
2017224998.tif 000020
【図１９】
2017224998.tif 000021
【図２０】
2017224998.tif 000022
【図２１】
2017224998.tif 000023
【図２２】
2017224998.tif 000024