(57)【要約】【課題】第１撮像部に異常が発生して、当該第１撮像部によって第１領域を撮像して撮像画像が得られない場合でも、第１領域を車両の上方から見た画像を含む俯瞰画像を表示部に表示させる周辺監視装置を提供する。【解決手段】実施形態の周辺監視装置は、一例として、車両の周囲のうち第１領域を第１撮像部によって第１方向から撮像して得られる第１画像と、第１領域を第２撮像部によって第１方向とは異なる第２方向から撮像して得られる第２画像と、の視差に基づいて、車両の周囲の立体物に係る情報を取得する取得部と、第１撮像部の異常を検出する検出部と、検出部により第１撮像部の異常が検出されていない場合、第１画像または第２画像を表示部に表示させ、検出部により第１撮像部の異常を検出した場合、第２画像を表示部に表示させる生成部と、を備える。【選択図】図５
2018191061.tif 000002
【特許請求の範囲】
【請求項１】
車両の周囲のうち第１領域を第１撮像部によって第１方向から撮像して得られる第１画像と、前記第１領域を第２撮像部によって前記第１方向とは異なる第２方向から撮像して得られる第２画像と、の視差に基づいて、前記車両の周囲の立体物に係る情報を取得する取得部と、
前記第１撮像部の異常を検出する検出部と、
前記検出部により前記第１撮像部の異常が検出されていない場合、前記第１画像または前記第２画像を表示部に表示させ、前記検出部により前記第１撮像部の異常を検出した場合、前記第２画像を表示部に表示させる生成部と、
を備える周辺監視装置。
【請求項２】
前記生成部は、
前記検出部により前記第１撮像部の異常が検出されていない場合、前記車両の周囲のうち前記第１領域とは異なる第２領域を第３撮像部によって撮像して得られる第３画像と、前記第１画像または前記第２画像とに基づいて、前記車両の周囲を当該車両の上方から見た俯瞰画像を生成し、当該生成した俯瞰画像を前記表示部に表示させ、
前記検出部により前記第１撮像部の異常を検出した場合、前記第２画像と前記第３画像とに基づいて、前記俯瞰画像を生成し、当該生成した俯瞰画像を前記表示部に表示させる請求項１に記載の周辺監視装置。
【請求項３】
前記生成部は、前記検出部により前記第１撮像部の異常が検出されない場合、前記第１画像および前記第２画像のうち、前記車両の周囲以外の死角の画像の領域が少ない画像に基づいて、前記俯瞰画像を生成する請求項２に記載の周辺監視装置。
【請求項４】
前記第１撮像部および前記第２撮像部は、前記車両の車幅方向への画角が、前記車両の上下方向への画角より大きく、かつ前記車両の上下方向に並設される請求項１から３のいずれか一に記載の周辺監視装置。
【請求項５】
前記生成部は、前記検出部により前記第１撮像部の異常を検出した場合、前記第１撮像部の異常を示す異常情報を前記表示部に表示させる請求項１から４のいずれか一に記載の周辺監視装置。
【請求項６】
前記検出部は、前記第１画像および前記第２画像のうち前記第１画像のみに含まれる物体が存在する場合、および前記車両が移動しているにも関わらず、前記第１画像内において移動しない物体が存在する場合に、前記第１撮像部の汚れを、当該第１撮像部の異常として検出する請求項１から５のいずれか一に記載の周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、周辺監視装置に関する。
【背景技術】
【０００２】
車両に搭載される撮像部によって、車両の周囲を撮像して得られる画像を表示する周辺監視装置がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１５／１６２８０１号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、周辺監視装置では、車両に搭載される撮像部に異常が発生した場合、車両の周囲の画像を表示できず、当該画像によって車両の周囲を確認できない場合がある。
【課題を解決するための手段】
【０００５】
実施形態の周辺監視装置は、一例として、車両の周囲のうち第１領域を第１撮像部によって第１方向から撮像して得られる第１画像と、第１領域を第２撮像部によって第１方向とは異なる第２方向から撮像して得られる第２画像と、の視差に基づいて、車両の周囲の立体物に係る情報を取得する取得部と、第１撮像部の異常を検出する検出部と、検出部により第１撮像部の異常が検出されない場合、第１画像または第２画像を表示部に表示させ、検出部により第１撮像部の異常を検出した場合、第２画像を表示部に表示させる生成部と、を備える。よって、一例として、車両に搭載される撮像部に異常が発生した場合でも、車両の周囲の画像によって車両の周囲を確認できる。
【０００６】
また、周辺監視装置は、一例として、生成部が、検出部により第１撮像部の異常が検出されない場合、車両の周囲のうち第１領域とは異なる第２領域を第３撮像部によって撮像して得られる第３画像と、第１画像または第２画像とに基づいて、車両の周囲を当該車両の上方から見た俯瞰画像を生成し、当該生成した俯瞰画像を表示部に表示させ、検出部により第１撮像部の異常を検出した場合、第２画像と第３画像とに基づいて、俯瞰画像を生成し、当該生成した俯瞰画像を表示部に表示させる。よって、一例として、第１撮像部に異常が発生して、当該第１撮像部によって第１領域を撮像して撮像画像が得られない場合でも、第１領域を車両の上方から見た画像を含む俯瞰画像を表示部に表示させることができる。
【０００７】
また、周辺監視装置は、一例として、生成部は、検出部により第１撮像部の異常が検出されない場合、第１画像および第２画像のうち、車両の周囲以外の死角の画像の領域が少ない画像に基づいて、俯瞰画像を生成する。よって、一例として、車両の周囲のより広い範囲の情報を含む俯瞰画像を表示させることができる。
【０００８】
また、周辺監視装置は、一例として、第１撮像部および第２撮像部は、車両の車幅方向への画角が、車両の上下方向への画角より大きく、かつ車両の上下方向に並設される。よって、一例として、車両の周囲のより広い範囲の情報を含む俯瞰画像を表示させることができる。
【０００９】
また、周辺監視装置は、一例として、生成部は、検出部により第１撮像部の異常を検出した場合、第１撮像部の異常を示す異常情報を表示部に表示させる。よって、一例として、車両の俯瞰画像の表示を継続しつつ、第１撮像部に異常が発生したことを車両の乗員に通知できる。
【００１０】
また、周辺監視装置は、一例として、検出部は、第１画像および第２画像のうち第１画像のみに含まれる物体が存在する場合、および車両が移動しているにも関わらず、第１画像内において移動しない物体が存在する場合に、第１撮像部の汚れを、当該第１撮像部の異常として検出する。よって、一例として、第１撮像部の異常を検出するための新たな機器を設けることなく、第１撮像部の異常を検出することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。
【図２】図２は、本実施形態にかかる車両の一例の平面図である。
【図３】図３は、本実施形態にかかる車両の前側の構成の一例を示す斜視図である。
【図４】図４は、本実施形態にかかる車両の機能構成の一例を示すブロック図である。
【図５】図５は、本実施形態にかかる車両が有するＥＣＵの機能構成の一例を示すブロック図である。
【図６】図６は、本実施形態にかかる車両における俯瞰画像の表示処理の流れの一例を示すフローチャートである。
【図７】図７は、本実施形態にかかる車両の上カメラにより前方領域を撮像して得られる撮像画像の一例を示す図である。
【図８】図８は、本実施形態にかかる車両の下カメラにより前方領域を撮像して得られる撮像画像の一例を示す図である。
【図９】図９は、本実施形態にかかる車両の表示装置に表示される俯瞰画像を含む画面の一例を示す図である。
【図１０】図１０は、本実施形態にかかる車両における俯瞰画像の生成処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。
【００１３】
本実施形態にかかる周辺監視装置（周辺監視システム）を搭載する車両は、内燃機関（エンジン）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両は、種々の変速装置、内燃機関や電動機の駆動に必要な種々の装置（システム、部品等）を搭載可能である。また、車両における車輪の駆動に関わる装置の方式、個数、レイアウト等は、種々に設定可能である。
【００１４】
図１は、本実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。図１に示すように、車両１は、車体２と、操舵部４と、加速操作部５と、制動操作部６と、変速操作部７と、モニタ装置１１と、を備える。車体２は、乗員が乗車する車室２ａを有する。車室２ａ内には、乗員としての運転手の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールである。加速操作部５は、例えば、運転手の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転手の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。
【００１５】
モニタ装置１１は、例えば、ダッシュボードの車幅方向（すなわち、左右方向）の中央部に設けられる。モニタ装置１１は、例えば、ナビゲーションシステムまたはオーディオシステム等の機能を有していても良い。モニタ装置１１は、表示装置８、音声出力装置９、および操作入力部１０を有する。また、モニタ装置１１は、スイッチ、ダイヤル、ジョイスティック、および押しボタン等の各種の操作入力部を有しても良い。
【００１６】
表示装置８は、ＬＣＤ（Liquid  Crystal  Display）やＯＥＬＤ（Organic  Electroluminescent  Display）等で構成され、画像データに基づいて各種画像を表示可能である。音声出力装置９は、スピーカ等で構成され、音声データに基づいて各種音声を出力する。音声出力装置９は、車室２ａ内において、モニタ装置１１以外の異なる位置に設けられていても良い。
【００１７】
操作入力部１０は、タッチパネル等で構成され、乗員による各種情報の入力を可能とする。また、操作入力部１０は、表示装置８の表示画面に設けられ、表示装置８に表示される画像を透過可能である。これにより、操作入力部１０は、表示装置８の表示画面に表示される画像を乗員に視認させることを可能とする。操作入力部１０は、表示装置８の表示画面上における乗員のタッチ操作を検出することによって、乗員による各種情報の入力を受け付ける。
【００１８】
図２は、本実施形態にかかる車両の一例の平面図である。図３は、本実施形態にかかる車両の前側の構成の一例を示す斜視図である。図１および図２に示すように、車両１は、四輪自動車等であり、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有する。４つの車輪３の全てまたは一部が、転舵可能である。
【００１９】
車両１は、複数の撮像部１５として、例えば、５つの撮像部１５ａ〜１５ｅが設けられている。撮像部１５は、ＣＣＤ（Charge  Coupled  Device）またはＣＩＳ（CMOS  Image  Sensor）等の撮像素子を有するデジタルカメラである。撮像部１５は、所定のフレームレートで車両１の周囲を撮像可能である。そして、撮像部１５は、車両１の周囲を撮像して得られた撮像画像の画像データを出力する。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には、例えば、１４０°〜２２０°の範囲を撮像可能である。また、撮像部１５の光軸は、斜め下方に向けて設定されている場合もある。
【００２０】
具体的には、撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リアハッチのドア２ｈのリアウィンドウの下方の壁部に設けられている。そして、撮像部１５ａは、車両１の周囲のうち、当該車両１の後方の領域を撮像可能である。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。そして、撮像部１５ｂは、車両１の周囲のうち、当該車両の側方の領域を撮像可能である。撮像部１５ｃ，１５ｄは、例えば、車体２の前側、すなわち、車両１の前後方向の前方側の端部２ｃに位置され、フロントバンパやフロントグリル等に設けられている。そして、撮像部１５ｃ，１５ｄは、車両１の周囲のうち、当該車両１の前方の領域を撮像可能である。撮像部１５ｅは、例えば、車体２の左側、すなわち、車幅方向の左側の端部２ｄに位置され、左側のドアミラー２ｇに設けられている。そして、撮像部１５ｅは、車両１の周囲のうち、当該車両１の側方の領域を撮像可能である。よって、撮像部１５ａ〜１５ｅは、車両１の周囲のうち、互いに異なる領域を撮像可能に設けられている。
【００２１】
ここで、図３を用いて、撮像部１５ｃ，１５ｄについて詳細に説明する。撮像部１５ｃ，１５ｄは、図３に示すように、車両１の周囲のうち当該車両１の前方の領域ＦＲ（以下、前方領域ＦＲと言う）を撮像可能に設けられる。また、撮像部１５ｃ，１５ｄは、車両１の車幅方向への画角が、車両１の上下方向の画角より大きく、かつ車両１の上下方向に並設されるものとする。これにより、撮像部１５ｃ，１５ｄは、車両１の前方領域ＦＲを異なる方向から撮像する。具体的には、撮像部１５ｃは、端部２ｃにおいて、撮像部１５ｄよりも上方に設けられている。すなわち、撮像部１５ｃおよび撮像部１５ｄは、前方領域ＦＲに存在する立体物を異なる方向から撮像して、車両１から立体物までの距離（奥行き方向の情報）を取得可能とするステレオカメラを構成する。さらに、撮像部１５ｃ，１５ｄは、その光軸が、水平方向に対して、予め設定された角度（例えば、５°）、斜め下方に向けて設定されている。
【００２２】
図４は、本実施形態にかかる車両の機能構成の一例を示すブロック図である。図４に示すように、車両１は、操舵システム１３と、ブレーキシステム１８、舵角センサ１９と、アクセルセンサ２０と、シフトセンサ２１と、車輪速センサ２２と、車内ネットワーク２３と、ＥＣＵ（Electronic  Control  Unit）１４と、を備える。モニタ装置１１、操舵システム１３、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、およびＥＣＵ１４が、電気通信回線である車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、ＣＡＮ（Controller  Area  Network）等により構成される。
【００２３】
操舵システム１３は、電動パワーステアリングシステムやＳＢＷ（Steer  By  Wire）システム等である。操舵システム１３は、アクチュエータ１３ａおよびトルクセンサ１３ｂを有する。そして、操舵システム１３は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１３ａを動作させて、操舵部４に対して、トルクを付加して操舵力を補うことによって、車輪３を転舵する。トルクセンサ１３ｂは、運転者が操舵部４に与えるトルクを検出し、その検出結果をＥＣＵ１４に送信する。
【００２４】
ブレーキシステム１８は、車両１のブレーキのロックを制御するＡＢＳ（Anti-lock  Brake  System）、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic  Stability  Control）、ブレーキ力を増強させてブレーキをアシストする電動ブレーキシステム、およびＢＢＷ（Brake  By  Wire）を含む。ブレーキシステム１８は、アクチュエータ１８ａおよびブレーキセンサ１８ｂを有する。ブレーキシステム１８は、ＥＣＵ１４等によって電気的に制御され、アクチュエータ１８ａを介して、車輪３に制動力を付与する。ブレーキシステム１８は、左右の車輪３の回転差等から、ブレーキのロック、車輪３の空回り、および横滑りの兆候等を検出して、ブレーキのロック、車輪３の空回り、および横滑りを抑制する制御を実行する。ブレーキセンサ１８ｂは、制動操作部６の可動部としてのブレーキペダルの位置を検出する変位センサであり、ブレーキペダルの位置の検出結果をＥＣＵ１４に送信する。
【００２５】
舵角センサ１９は、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。本実施形態では、舵角センサ１９は、ホール素子等で構成され、操舵部４の回転部分の回転角度を操舵量として検出し、その検出結果をＥＣＵ１４に送信する。アクセルセンサ２０は、加速操作部５の可動部としてのアクセルペダルの位置を検出する変位センサであり、その検出結果をＥＣＵ１４に送信する。
【００２６】
シフトセンサ２１は、変速操作部７の可動部（バー、アーム、ボタン等）の位置を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。車輪速センサ２２は、ホール素子等を有し、車輪３の回転量や単位時間当たりの車輪３の回転数を検出するセンサであり、その検出結果をＥＣＵ１４に送信する。
【００２７】
ＥＣＵ１４は、撮像部１５ｃ，１５ｄそれぞれにより前方領域ＦＲを撮像して得られる撮像画像の視差に基づいて、車両１の周囲の立体物に係る情報（例えば、車両１から、前方領域ＦＲに存在する立体物までの距離）を取得する。また、ＥＣＵ１４は、撮像部１５ｃ，１５ｄにより前方領域ＦＲを撮像して得られる撮像画像を表示装置８に表示させる。また、ＥＣＵ１４は、複数の撮像部１５によって車両１の周囲を撮像して得られる撮像画像に基づいて、車両１の周囲を当該車両１の上方から見た画像（以下、俯瞰画像と言う）を生成し、当該俯瞰画像を表示装置８に表示させる。ＥＣＵ１４は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、車両１の制御全般を司る。具体的には、ＥＣＵ１４は、ＣＰＵ（Central  Processing  Unit）１４ａ、ＲＯＭ（Read  Only  Memory）１４ｂ、ＲＡＭ（Random  Access  Memory）１４ｃ、表示制御部１４ｄ、音声制御部１４ｅ、およびＳＳＤ（Solid  State  Drive）１４ｆを備える。ＣＰＵ１４ａ、ＲＯＭ１４ｂ、およびＲＡＭ１４ｃは、同一の回路基板内に設けられていても良い。
【００２８】
ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムに従って各種の演算処理を実行する。例えば、ＣＰＵ１４ａは、表示装置８に表示させる画像データに対する画像処理、車両１の周囲に存在する障害物までの距離の算出等を実行する。
【００２９】
ＲＯＭ１４ｂは、各種プログラムおよび当該プログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種データを一時的に記憶する。表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５から取得してＣＰＵ１４ａへ出力する撮像画像に対する画像処理、ＣＰＵ１４ａから取得した画像を表示装置８に表示させる表示用の画像への変換等を実行する。音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、ＣＰＵ１４ａから取得して音声出力装置９に出力させる音声の処理を実行する。ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもＣＰＵ１４ａから取得したデータを記憶し続ける。
【００３０】
図５は、本実施形態にかかる車両が有するＥＣＵの機能構成の一例を示すブロック図である。図５に示すように、ＥＣＵ１４は、立体物情報取得部５０１と、画像生成部５０２と、異常検出部５０３と、を備える。例えば、回路基板に搭載されたＣＰＵ１４ａ等のプロセッサが、ＲＯＭ１４ｂまたはＳＳＤ１４ｆ等の記憶媒体内に格納された周辺監視用のプログラムを実行することにより、ＥＣＵ１４は、立体物情報取得部５０１、画像生成部５０２、および異常検出部５０３の機能を実現する。立体物情報取得部５０１、画像生成部５０２、および異常検出部５０３の一部または全部を回路等のハードウェアによって構成しても良い。
【００３１】
立体物情報取得部５０１は、撮像部１５ｃ，１５ｄそれぞれにより前方領域ＦＲを撮像して得られる複数の撮像画像の視差に基づいて、前方領域ＦＲに存在する立体物に係る情報（例えば、車両１から、前方領域ＦＲに存在する立体物までの距離）を取得する。本実施形態では、立体物情報取得部５０１は、前方領域ＦＲに存在する立体物に係る情報を取得しているが、車両１の周囲に存在する立体物に係る情報を取得するものであれば良く、例えば、車両１の周囲のうち前方領域ＦＲ以外の他の領域（例えば、車両１の後方の領域）についても、異なる方向から当該他の領域を撮像可能な複数の撮像部を有する場合には、当該複数の撮像部によって他の領域を撮像して得られる複数の撮像画像の視差に基づいて、当該他の領域に存在する立体物に係る情報を取得することも可能である。
【００３２】
異常検出部５０３は、撮像部１５ｃの異常（例えば、撮像部１５ｃの故障や汚れ）を検出する。画像生成部５０２は、異常検出部５０３により撮像部１５ｃの異常が検出されない場合、撮像部１５ｃまたは撮像部１５ｄにより前方領域ＦＲを撮像して得られる撮像画像を、表示制御部１４ｄを介して、表示装置８に表示させる。一方、画像生成部５０２は、異常検出部５０３により撮像部１５ｃの異常が検出された場合、撮像部１５ｄにより前方領域ＦＲを撮像して得られる撮像画像を、表示制御部１４ｄを介して、表示装置８に表示させる。これにより、撮像部１５ｃに異常が発生した場合でも、撮像部１５ｄにより前方領域ＦＲを撮像して得られる撮像画像を表示装置８に表示し続けることができるので、撮像部１５ｃに異常が発生した場合でも、前方領域ＦＲを確認できる。
【００３３】
画像生成部５０２は、異常検出部５０３により撮像部１５ｃの異常が検出されない場合、撮像部１５ｃまたは撮像部１５ｄにより前方領域ＦＲを撮像して得られる撮像画像と、撮像部１５ａ，１５ｂ，１５ｅにより前方領域ＦＲ以外の他の領域を撮像して得られる撮像画像と、に基づいて、俯瞰画像を生成する。そして、画像生成部５０２は、表示制御部１４ｄを介して、表示装置８に、当該生成した俯瞰画像を表示させる。一方、画像生成部５０２は、異常検出部５０３によって撮像部１５ｃの異常が検出された場合、撮像部１５ｄにより前方領域ＦＲを撮像して得られる撮像画像と、撮像部１５ａ，１５ｂ，１５ｅにより他の領域を撮像して得られる撮像画像とに基づいて、俯瞰画像を生成し、当該俯瞰画像を表示装置８に表示させる。これにより、撮像部１５ｃに異常が発生して、当該撮像部１５ｃによって前方領域ＦＲを撮像して撮像画像が得られない場合でも、前方領域ＦＲを車両１の上方から見た画像を含む俯瞰画像を表示装置８に表示させることができる。
【００３４】
次に、図６を用いて、本実施形態にかかる車両１における俯瞰画像の表示処理の流れについて説明する。図６は、本実施形態にかかる車両における俯瞰画像の表示処理の流れの一例を示すフローチャートである。
【００３５】
画像生成部５０２は、操作入力部１０を介して、乗員によって、俯瞰画像の表示を指示する信号が入力されると、予め設定された周期で、撮像部１５ｃまたは撮像部１５ｄにより前方領域ＦＲを撮像して得られる撮像画像を取得する。そして、画像生成部５０２は、撮像部１５ｃまたは撮像部１５ｄから撮像画像を取得する度に、撮像部１５ｃまたは撮像部１５ｄから最後に取得した撮像画像と、撮像部１５ａ，１５ｂ，１５ｅにより他の領域を撮像して得られる撮像画像と、に基づいて、俯瞰画像を生成する（ステップＳ６０１）。そして、画像生成部５０２は、撮像部１５により車両１の周囲を撮像して得られる撮像画像、および生成した俯瞰画像を表示装置８に表示させる。本実施形態では、画像生成部５０２は、異常検出部５０３により撮像部１５ｃ，１５ｄの異常が検出されない場合、撮像部１５ｃ，１５ｄにより前方領域ＦＲを撮像して得られる撮像画像のうち、車両１の周囲以外の死角の画像が少ない画像に基づいて俯瞰画像を生成し、当該俯瞰画像を表示装置８に表示するものとする。これにより、車両１の周囲のより広い範囲の情報を含む俯瞰画像を表示させることができる。
【００３６】
図７は、本実施形態にかかる車両の上カメラにより前方領域を撮像して得られる撮像画像の一例を示す図である。図８は、本実施形態にかかる車両の下カメラにより前方領域を撮像して得られる撮像画像の一例を示す図である。図７および図８に示すように、上カメラとしての撮像部１５ｃにより前方領域ＦＲを撮像して得られる撮像画像７０１は、下カメラとしての撮像部１５ｄにより前方領域ＦＲを撮像して得られる撮像画像８０１と比較して、撮像画像７０１内において、車両１の周囲以外の死角の画像（例えば、車両１のフロントバンパ）の領域が小さい。そのため、本実施形態では、画像生成部５０２は、上カメラとしての撮像部１５ｃにより前方領域ＦＲを撮像して得られる撮像画像に基づいて、俯瞰画像を生成する。これにより、車両１の周囲のうち死角に対応する領域が少ない俯瞰画像を表示することができる。
【００３７】
図９は、本実施形態にかかる車両の表示装置に表示される俯瞰画像を含む画面の一例を示す図である。例えば、図９に示すように、画像生成部５０２は、車両１の周囲（３６０°）を当該車両１の上方から見た俯瞰画像Ｇ１と、撮像部１５ａ，１５ｂ，１５ｃ，１５ｅのうち、いずれかの撮像部１５（例えば、撮像部１５ｃ）により車両１の周囲を撮像して得られた撮像画像Ｇ２と、を含む画面を、表示装置８に表示させる。
【００３８】
図６に戻り、異常検出部５０３は、画像生成部５０２による表示装置８に対する俯瞰画像の表示が開始されると、撮像部１５ｃの異常を検出する（ステップＳ６０２）。本実施形態では、異常検出部５０３は、撮像部１５ｃから出力される同期信号、撮像部１５ｃから出力される撮像画像、撮像部１５ｄから出力される撮像画像等に基づいて、撮像部１５ｃの異常を検出する。
【００３９】
具体的には、異常検出部５０３は、撮像部１５ｃからの同期信号の出力が、予め設定された期間（例えば、数秒）、途切れた場合に、撮像部１５ｃが故障したことを検出する。また、異常検出部５０３は、車両１が移動しているにも関わらず、撮像部１５ｃから出力される撮像画像が変化しない場合、撮像部１５ｃが故障したことを検出する。また、異常検出部５０３は、撮像部１５ｃから出力される撮像画像と、撮像部１５ｄから出力される画像とのうち、撮像部１５ｃから出力される撮像画像のみに含まれる物体が存在する場合に、撮像部１５ｃの異常を検出する。
【００４０】
また、異常検出部５０３は、撮像部１５ｃから出力される撮像画像の一部に立体物の画像が含まれていない場合、撮像部１５ｃに泥等の汚れが付着したことを検出する。また、異常検出部５０３は、車両１が移動しているにも関わらず、撮像部１５ｃから出力される撮像画像内において移動しない物体の画像が存在する場合（言い換えると、撮像部１５ｃから出力される撮像画像内において動かない特徴点が存在する場合）、撮像部１５ｃに汚れが付着したことを、撮像部１５ｃの異常として検出する。これにより、撮像部１５ｃの異常を検出するための新たな機器を設けることなく、撮像部１５ｃの異常を検出することができる。
【００４１】
次に、画像生成部５０２は、操作入力部１０を介して、車両１の乗員によって、俯瞰画像の表示終了が指示されたか否かを判断する（ステップＳ６０３）。俯瞰画像の表示終了が指示されていない場合（ステップＳ６０３：Ｎｏ）、画像生成部５０２は、ステップＳ６０１に戻り、俯瞰画像の生成および当該俯瞰画像の表示装置８への表示を継続する。俯瞰画像の表示終了が指示された場合（ステップＳ６０３：Ｙｅｓ）、画像生成部５０２は、俯瞰画像の表示を終了する。
【００４２】
次に、図１０を用いて、本実施形態にかかる車両１における俯瞰画像の生成処理の流れの一例について説明する。図１０は、本実施形態にかかる車両における俯瞰画像の生成処理の流れの一例を示すフローチャートである。
【００４３】
画像生成部５０２は、ステレオカメラを構成する一方の撮像部１５ｃに異常が発生したか否かを判断する（ステップＳ１００１）。一方の撮像部１５ｃの異常が検出されていないと判断した場合（ステップＳ１００１：Ｎｏ）、画像生成部５０２は、一方の撮像部１５ｃにより前方領域ＦＲを撮像して得られる撮像画像を、俯瞰画像の生成に用いる撮像画像として選択する（ステップＳ１００２）。そして、画像生成部５０２は、撮像部１５ｃにより前方領域ＦＲを撮像して得られる撮像画像と、撮像部１５ａ，１５ｂ，１５ｅにより他の領域を撮像して得られる撮像画像と、に基づいて、俯瞰画像を生成する（ステップＳ１００３）。さらに、画像生成部５０２は、撮像部１５ａ，１５ｂ，１５ｃ，１５ｅにより車両１の周囲を撮像して得られる撮像画像と、生成した俯瞰画像と、を表示装置８に表示させる。
【００４４】
一方の撮像部１５ｃに異常が検出されたと判断した場合（ステップＳ１００１：Ｙｅｓ）、画像生成部５０２は、ステレオカメラを構成する他方の撮像部１５ｄにより前方領域ＦＲを撮像して得られる撮像画像を、俯瞰画像の生成に用いる撮像画像として選択する（ステップＳ１００４）。そして、画像生成部５０２は、撮像部１５ｄにより前方領域ＦＲを撮像して得られる撮像画像と、撮像部１５ａ，１５ｂ，１５ｅにより他の領域を撮像して得られる撮像画像と、に基づいて、俯瞰画像を生成する（ステップＳ１００３）。さらに、画像生成部５０２は、撮像部１５ａ，１５ｂ，１５ｄ，１５ｅにより車両１の周囲を撮像して得られる撮像画像と、生成した俯瞰画像と、を表示装置８に表示させる。
【００４５】
また、画像生成部５０２は、撮像部１５ｃの異常が検出された場合、撮像部１５ｃの異常を、車両１の乗員に通知する。例えば、画像生成部５０２は、撮像部１５ｃの異常が検出された場合、撮像部１５ｃの異常を示す情報（例えば、撮像部１５ｃの異常を表すテキストの故障メッセージ）を表示装置８に表示させる。また、画像生成部５０２は、撮像部１５ｃの異常が検出された場合、俯瞰画像のうち、異常が検出された撮像部１５ｃにより撮像する領域（前方領域ＦＲ）に対応する画像を、モノクロで表示するなどして、前方領域ＦＲ以外の他の領域に対応する画像とは異なる表示態様で表示する。これにより、車両１の俯瞰画像の表示を継続しつつ、撮像部１５ｃに異常が発生したことを車両１の乗員に通知する。
【００４６】
このように、本実施形態にかかる車両１によれば、撮像部１５ｃに異常が発生した場合でも、撮像部１５ｄにより前方領域ＦＲを撮像して得られる撮像画像を表示装置８に表示し続けることができるので、撮像部１５ｃに異常が発生した場合でも、前方領域ＦＲを確認できる。
【符号の説明】
【００４７】
１…車両、８…表示装置、１４…ＥＣＵ、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｃ…ＲＡＭ、１４ｄ…表示制御部、１４ｆ…ＳＳＤ、１５…撮像部、５０１…立体物情報取得部、５０２…画像生成部、５０３…異常検出部。
【図１】
2018191061.tif 000003
【図２】
2018191061.tif 000004
【図３】
2018191061.tif 000005
【図４】
2018191061.tif 000006
【図５】
2018191061.tif 000007
【図６】
2018191061.tif 000008
【図７】
2018191061.tif 000009
【図８】
2018191061.tif 000010
【図９】
2018191061.tif 000011
【図１０】
2018191061.tif 000012