(57)【要約】      （修正有）【課題】より簡易な構成で車両の外部に存在する三次元情報を検出することができる三次元情報検出装置を提供する。【解決手段】三次元情報検出装置は、車両の車高を調整する車高調整機構２８を制御する制御部２９と、車両の外部を撮像可能に設けられた撮像部１６と、車高調整機構によって車両が第１車高に調整された際に撮像部の撮像により得られた第１撮像画像と、車高調整機構によって車両が第１車高とは異なる第２車高に調整された際に撮像部の撮像により得られた第２撮像画像との視差を求め、当該求めた視差に基づいて、車両の外部に存在する三次元情報を検出する周辺監視ＥＣＵ１４と、を備える。【選択図】図３
2017220110.tif 000002
【特許請求の範囲】
【請求項１】
車両の車高を調整する車高調整機構を制御する制御部と、
前記車両の外部を撮像可能に設けられた撮像部と、
前記車高調整機構によって前記車両が第１車高に調整された際に前記撮像部の撮像により得られた第１撮像画像と、前記車高調整機構によって前記車両が前記第１車高とは異なる第２車高に調整された際に前記撮像部の撮像により得られた第２撮像画像との視差を求め、当該求めた視差に基づいて、前記車両の外部に存在する三次元情報を検出する検出部と、
を備えた三次元情報検出装置。
【請求項２】
前記第２車高は、前記第１車高との差分が所定値以上の車高である請求項１に記載の三次元情報検出装置。
【請求項３】
前記車両の俯瞰画像と、前記検出部により検出された立体物を識別可能とする立体物情報とを含む画面を表示する表示部をさらに備えた請求項１または２に記載の三次元情報検出装置。
【請求項４】
前記制御部は、前記車両から乗員が降車する場合、前記車両を前記第１車高から当該第１車高より低い前記第２車高に調整し、または／かつ前記車両から乗員が乗車する場合、前記車両を前記第２車高から前記第１車高に調整する請求項１から３のいずれか一に記載の三次元情報検出装置。
【請求項５】
前記車高調整機構は、エアサスペンションである請求項４に記載の三次元情報検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、三次元情報検出装置に関する。
【背景技術】
【０００２】
車両に搭載されたステレオカメラ，単眼カメラ，ソナー，レーダを用いて、車両の周囲に存在する障害物や路面の窪み等の三次元情報を検出する技術がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５１７２３１４号
【特許文献２】特開２００１−１８７５５３号公報
【特許文献３】特開２００４−３２８３９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ステレオカメラ，ソナー，レーダを用いて三次元情報を検出する技術は、ステレオカメラ，ソナー，レーダが高価なため、車両に搭載することが難しい場合がある。また、単眼カメラを用いて三次元情報を検出する技術は、車両が移動している必要があり、車両が停車している状態においては、三次元情報を検出することができない。さらに、単眼カメラを用いて三次元情報を検出する技術は、予め記憶したテンプレートを用いて、当該単眼カメラの撮像により得られた撮像画像と、当該テンプレートとをパターンマッチングさせることにより、三次元情報を検出する。しかしながら、検出対象の三次元情報は、人，車，縁石，自転車など多々あり、パターンマッチング以外の方法で三次元情報を検出する技術が求められている。
【課題を解決するための手段】
【０００５】
実施形態の三次元情報検出装置は、一例として、車両の車高を調整する車高調整機構を制御する制御部と、車両の外部を撮像可能に設けられた撮像部と、車高調整機構によって車両が第１車高に調整された際に撮像部の撮像により得られた第１撮像画像と、車高調整機構によって車両が第１車高とは異なる第２車高に調整された際に撮像部の撮像により得られた第２撮像画像との視差を求め、当該求めた視差に基づいて、車両の外部に存在する三次元情報を検出する検出部と、を備える。よって、一例としては、より簡易な構成で車両の外部に存在する三次元情報を検出することができる。
【０００６】
また、三次元情報検出装置は、一例として、第２車高が、第１車高との差分が所定値以上の車高である。よって、一例として、三次元情報を検出可能な車高において撮像された撮像画像を用いて、車両の外部の三次元情報の検出が行われるので、車両の外部の三次元情報の検出精度を向上させることができる。
【０００７】
また、三次元情報検出装置は、一例として、車両の俯瞰画像と、検出部により検出された三次元情報を識別可能とする識別情報とを含む画像を表示する表示部をさらに備える。よって、一例として、これにより、車両の乗員は、車両の外部に存在する三次元情報を容易に認識することができる。
【０００８】
また、三次元情報検出装置は、一例として、制御部が、車両から乗員が降車する場合、車両を第１車高から当該第１車高より低い第２車高に調整し、または／かつ車両から乗員が乗車する場合、車両を第２車高から第１車高に調整する。よって、一例として、車両の外部の三次元情報を検出するために、車両の車高を意図的に調整することなく、車両の外部の三次元情報を検出することができる。
【０００９】
また、三次元情報検出装置は、一例として、車高調整機構が、エアサスペンションである。よって、一例として、スプリングを有する車高調整機構と比較して、車両の車高を容易に調整可能となる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本実施形態にかかる車両の車室の一部が透視された状態の一例が示された斜視図である。
【図２】図２は、本実施形態にかかる車両の一例が示された平面図（俯瞰図）である。
【図３】図３は、本実施形態にかかる車両の周辺監視システムの一例が示されたブロック図である。
【図４】図４は、本実施形態にかかる周辺監視ＥＣＵの機能構成を示すブロック図である。
【図５】図５は、本実施形態にかかる車両による記憶部に対する撮像画像の保存処理の流れの一例を示すシーケンス図である。
【図６】図６は、本実施形態にかかる車両による立体物の検出処理の流れの一例を示すフローチャートである。
【図７】図７は、本実施形態にかかる車両による立体物の検出処理の流れの一例を示すフローチャートである。
【図８】図８は、本実施形態にかかる車両による立体物の検出結果の表示装置に対する表示例を示す図である。
【図９】図９は、本実施形態にかかる車両による立体物の検出結果の表示装置に対する表示例を示す図である。
【発明を実施するための形態】
【００１１】
以下、添付の図面を用いて、本実施形態にかかる三次元情報検出装置を適用した車両について説明する。
【００１２】
実施形態では、車両１は、例えば、内燃機関（エンジン）を駆動源とする自動車（内燃機関自動車）であっても良いし、電動機（モータ）を駆動源とする自動車（電気自動車、燃料電池自動車等）であっても良いし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であっても良い。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
【００１３】
図１に示されるように、車体２は、乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４、加速操作部５、制動操作部６、変速操作部７等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）から突出したステアリングホイールである。加速操作部５は、運転者の足下に位置されたアクセルペダルである。制動操作部６は、運転者の足下に位置されたブレーキペダルである。変速操作部７は、センターコンソールから突出したシフトレバーである。
【００１４】
また、車室２ａ内には、表示装置８、音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid  crystal  display）、ＯＥＬＤ（organic  electroluminescent  display）等である。音声出力装置９は、一例として、スピーカである。また、本実施形態では、一例として、表示装置８は、透明な操作入力部１０（例えば、タッチパネル等）で覆われている。乗員等は、操作入力部１０を介して表示装置８の表示画面に表示される映像（画像）を視認することができる。また、乗員等は、表示装置８の表示画面に表示される映像（画像）に対応した位置を、手指等で触れたり押したり動かしたりして操作することで、操作入力（指示入力）を実行することができる。また、本実施形態では、一例として、表示装置８、音声出力装置９、操作入力部１０等は、ダッシュボードの車幅方向（左右方向）の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチ、ダイヤル、ジョイスティック、押しボタン等の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に他の音声出力装置を設けて、モニタ装置１１の音声出力装置９に加え、当該他の音声出力装置から、音声を出力することができる。また、本実施形態では、一例として、モニタ装置１１は、ナビゲーションシステムやオーディオシステムと兼用されているが、周辺監視装置用のモニタ装置を、これらシステムとは別に設けても良い。また、音声出力装置９の他に、ブザー２４（図３参照）等の音声出力部から、警報音等が出力されるように構成することができる。
【００１５】
また、図１，２に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。さらに、本実施形態では、これら四つの車輪３は、いずれも操舵されうるように（言い換えると、転舵可能に）構成されている。具体的には、図３に示されるように、車両１は、前輪３Ｆを操舵する前輪操舵システム１２と、後輪３Ｒを操舵する後輪操舵システム１３とを有している。これら前輪操舵システム１２および後輪操舵システム１３は、周辺監視ＥＣＵ１４（electronic  control  unit）等によって電気的に制御されて、それぞれのアクチュエータ１２ａ，１３ａを動作させる。前輪操舵システム１２および後輪操舵システム１３は、例えば、電動パワーステアリングシステム、ＳＢＷ（steer  by  wire）システム等である。前輪操舵システム１２および後輪操舵システム１３は、アクチュエータ１２ａ，１３ａによって操舵部４にトルク（アシストトルク）を付加して操舵力を補ったり、対応する車輪３（前輪３Ｆまたは後輪３Ｒ）を操舵（自動操舵）したりする。アクチュエータ１２ａ，１３ａは、一つの車輪３を操舵しても良いし、複数の車輪３を操舵しても良い。また、本実施形態では、一例として、二つの前輪３Ｆは、互いに同相（同位相、同転舵方向、同回動方向）で略平行に転舵される。二つの後輪３Ｒは、互いに同相で略平行に転舵される。
【００１６】
また、車両１は、図３に示すように、車両１の車高を調整する車高調整機構２８および当該車高調整機構２８による車両１の車高の調整を制御する車高調整ＥＣＵ２９を有する。本実施形態では、車高調整機構２８は、前輪３Ｆと車両１の車体との間に設置された前輪エアサスペンション２８ａ、および後輪３Ｒと車両１の車体との間に設置された後輪エアサスペンション２８ｂを有する。前輪エアサスペンション２８ａおよび後輪エアサスペンション２８ｂは、空気ばねとして機能する。本実施形態では、前輪エアサスペンション２８ａおよび後輪エアサスペンション２８ｂは、空気が排出可能に設けられた空気室を有する。そして、前輪エアサスペンション２８ａおよび後輪エアサスペンション２８ｂは、空気室に対して、空気を給排する。その結果、前輪エアサスペンション２８ａおよび後輪エアサスペンション２８ｂは、前輪３Ｆと車両１の車体との間の距離、および後輪３Ｒと車両１の車体との間の距離を変更することで、車両１の車高を調整する。これにより、車高調整機構２８は、スプリングによって車両１の車高を調整する車高調整機構と比較して、車両１の車高を容易に調整可能となる。また、本実施形態では、車両１は、前輪エアサスペンション２８ａと車両１の車体フレームとの間、および後輪エアサスペンション２８ｂと車両１の車体フレームとの間に、車両１の車高を検出する車高センサ３０を有する。本実施形態では、前輪エアサスペンション２８ａと車両１の車体フレームとの間、および後輪エアサスペンション２８ｂと車両１の車体フレームとの間の両方に、車高センサ３０を設けているが、前輪エアサスペンション２８ａと車両１の車体フレームとの間、および後輪エアサスペンション２８ｂと車両１の車体フレームとの間のうち少なくとも一方に車高センサ３０が設けられていれば良い。
【００１７】
車高調整ＥＣＵ２９は、車高調整機構２８による車両１の車高の調整を制御する車高調整制御部として機能する。本実施形態では、車高調整ＥＣＵ２９は、一例として、ＣＰＵ（central  processing  unit）、ＲＯＭ（read  only  memory）、ＲＡＭ（random  access  memory）等を有する。ＣＰＵは、車高調整機構２８を制御するための各種演算処理を実行する。ＲＯＭは、車高調整機構２８を制御するための各種プログラム等の各種情報を記憶する。具体的には、ＲＯＭは、車両１の運行状況を安定させる車高（以下、標準車高と言う）、標準車高より高い車高（以下、Ｈｉｇｈ車高と言う）、標準車高より低い車高（以下、Ｌｏｗ車高と言う）、および車両１の運転手が任意に設定した車高（以下、設定車高と言う）を示す車高データを記憶する。ＲＡＭは、ＲＯＭに記憶された各種プログラムに基づいてＣＰＵが各種演算処理を実行するために必要な演算データを一時的に記憶する。
【００１８】
車高調整ＥＣＵ２９には、車高調整機構２８、車高センサ３０、車高スイッチ３１、スマートユニット３２、バックドアカーテシスイッチ３３等が、入出力インタフェースを介して電気的に接続されている。車高センサ３０は、車両１の車高の検出結果を示す検出信号を車高調整ＥＣＵ２９に出力する。車高調整ＥＣＵ２９は、車高センサ３０から入力される検出信号に基づいて、車両１の車高を取得する。そして、車高調整ＥＣＵ２９は、取得した車両１の車高を、周辺監視ＥＣＵ１４に通知する。また、車高調整ＥＣＵ２９は、車高スイッチ３１、スマートユニット３２、およびバックドアカーテンスイッチ３３からの信号に基づいて、ＲＯＭに記憶される車高データが示す車高の中から、標準車高、Ｈｉｇｈ車高、Ｌｏｗ車高、設定車高等の車高を選択する。そして、車高調整ＥＣＵ２９は、選択した車高になるように、前輪エアサスペンション２８ａおよび後輪エアサスペンション２８ｂにおける空気室に対する給排動作を制御する。これにより、車高調整ＥＣＵ２９は、車両１の車高を、選択された車高に調整する。
【００１９】
車高スイッチ３１は、車両１の運転席に設けられ、走行路面や車速等の車両１の走行状態等に応じて、標準車高、Ｈｉｇｈ車高、Ｌｏｗ車高、または設定車高を選択可能なスイッチである。車高スイッチ３１は、その操作により選択された車高を示す選択信号を、車高調整ＥＣＵ２９に出力する。車高調整ＥＣＵ２９は、ＲＯＭに記憶される車高データが示す車高のうち、車高スイッチ３１から入力された選択信号が示す車高と一致する車高になるように、車高調整機構２８を制御して、車両１の車高を調整する。
【００２０】
スマートユニット３２は、予め設定された車高を示す選択信号、および車高の調整の開始または停止を示す操作信号を車高調整ＥＣＵ２９に出力する。また、スマートユニット３２は、ドアロックの施錠または解錠を示すドアロック信号を、ドアロックの施錠および解錠を制御する開閉体制御装置へ出力する。これにより、スマートユニット３２は、ドアロックの施錠および解錠を制御する。本実施形態では、車両１は、キー操作を行うことなく各種操作が可能なスマートエントリシステムを搭載している。スマートエントリシステムは、外部の携帯機器にＩＤ情報を記憶させ、外部の携帯機器に記憶されたＩＤ情報とスマートユニット３２に予め登録されたＩＤ情報とが一致した場合に、キー操作を行うことなく、スマートユニット３２に対して、車高の選択やドアロックの施錠または開錠を指示することが可能である。
【００２１】
バックドアカーテシスイッチ３３は、車両１が有するバックドアの開閉に応じて作動し、当該バックドアが開かれているか否かを示す開閉信号を車高調整ＥＣＵ２９に対して出力する。そして、車高調整ＥＣＵ２９は、バックドアカーテシスイッチ３３から入力された開閉信号が、バックドアが開かれていることを示す場合、車高調整機構２８を制御して、車両１の車高を設定車高に調整する。一方、車高調整ＥＣＵ２９は、バックドアカーテシスイッチ３３から入力された開閉信号が、バックドアが閉じていることを示す場合、車高調整機構２８を制御して、車両１の車高を標準車高に調整する。
【００２２】
また、本実施形態では、一例として、図２に示されるように、車両１（車体２）には、複数（本実施形態では、一例として四つ）の撮像部１６（１６ａ〜１６ｄ）が設けられている。撮像部１６は、例えば、ＣＣＤ（charge  coupled  device）やＣＩＳ（CMOS  image  sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１６は、所定のフレームレートで撮像画像（動画データ、フレームデータ）を出力することができる。撮像部１６は、それぞれ、広角レンズを有し、水平方向には１４０°〜２２０°の範囲（視野角）を撮影することができる。また、撮像部１６の光軸は下方（斜め下方）に向けて設定されている。よって、撮像部１６は、車両１が移動可能な路面を含む車体２の周辺の外部の環境を撮影する。ここで、水平方向とは、重力方向（鉛直方向）に対して垂直な水平面に含まれている方向である。
【００２３】
本実施形態では、一例として、撮像部１６ａは、車体２の前側（車両前後方向の前方側）の端部２ｃ（平面視での端部）に位置され、フロントバンパー等に設けられている。撮像部１６ｂは、車体２の左側（車幅方向の左側）の端部２ｄに位置され、左側のドアミラー２ｇ（突出部）に設けられている。撮像部１６ｃは、車体２の後側（車両前後方向の後方側）の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１６ｄは、車体２の右側（車幅方向の右側）の端部２ｆに位置され、右側のドアミラー２ｇ（突出部）に設けられている。本実施形態は、カメラの車載方法を制限するものではなく、車両に対してフロント方向の画像データ、左右サイド方向の画像データ、リア方向の画像データを取得できるように設置されればよい。
【００２４】
周辺監視ＥＣＵ１４は、複数の撮像部１６で得られた撮像画像に基づいて演算処理や画像処理を実行する。これにより、周辺監視ＥＣＵ１４は、運転者にとって適切な視野範囲の画像を生成したり、当該画像に対して車両１の進行方向の案内線等を重畳表示したり、車両１（車体２）を上方から見た仮想的な鳥瞰図画像（俯瞰画像）を生成したり、車両１の外部に存在する障害物や路面の窪み等の立体物（三次元情報）を検出したりする。即ち、撮像部１６は、運転者に見せるための車両１周囲の画像を撮像することに加えて、立体物の検出にも用いられる。
【００２５】
また、本実施形態では、一例として、図３に示されるように、周辺監視システム１００は、周辺監視ＥＣＵ１４、モニタ装置１１、前輪操舵システム１２、後輪操舵システム１３等の他、ブレーキシステム１８、舵角センサ１９（角度センサ）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６、車高調整ＥＵＣ２９等が、車内ネットワーク２３（電気通信回線）を介して電気的に接続されている。車内ネットワーク２３は、一例としては、ＣＡＮ（controller  area  network）として構成されている。周辺監視ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、前輪操舵システム１２、後輪操舵システム１３、ブレーキシステム１８等を制御することができる。また、周辺監視ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１２ｂ、タイヤ角センサ１３ｂ（後輪３Ｒ用）、アクチュエータ１８ａ、ブレーキセンサ１８ｂ、舵角センサ１９（前輪３Ｆ用）、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６等の検出結果、および操作入力部１０等の指示信号を受け取ることができる。
【００２６】
周辺監視ＥＣＵ１４は、一例として、ＣＰＵ（central  processing  unit）１４ａ、ＲＯＭ（read  only  memory）１４ｂ、ＲＡＭ（random  access  memory）１４ｃ、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ（solid  state  drive、フラッシュメモリ）１４ｆ等を有している。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理、車両１の移動経路の演算、車両１の外部に存在する立体物の検出等の各種の演算処理を実行する。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。
【００２７】
ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、周辺監視ＥＣＵ１４での演算処理のうち、主として、撮像部１６で得られた撮像画像を用いた画像処理や、表示装置８で表示される画像データの画像処理（一例としては合成等）等を実行する。また、音声制御部１４ｅは、周辺監視ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、周辺監視ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、周辺監視ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital  signal  processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であっても良い。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard  disk  drive）が設けられても良いし、ＳＳＤ１４ｆやＨＤＤは、周辺監視ＥＣＵ１４とは別に設けられても良い。
【００２８】
図４は、本実施形態にかかる周辺監視ＥＣＵの機能構成を示すブロック図である。図４に示すように、周辺監視ＥＣＵ１４は、記憶部４００と、視差算出部４０１と、立体物検出部４０２と、を主に備えている。図４に示す、視差算出部４０１と、立体物検出部４０２は、周辺監視ＥＣＵ１４が有するＣＰＵ１４ａが、ＲＯＭ１４ｂに記憶されたプログラムを実行することで実現される。これらの構成は、ハードウェアで実現するように構成しても良い。
【００２９】
本実施形態では、周辺監視ＥＣＵ１４は、車高調整機構２８によって車両１が第１車高に調整された際に撮像部１６の撮像により得られた撮像画像と、車高調整機構２８によって車両１が当該第１車高とは異なる第２車高に調整された際に撮像部１６の撮像により得られた撮像画像との視差を求め、当該視差に基づいて、車両１の外部に存在する立体物（三次元情報）を検出する。これにより、ステレオカメラ，ソナー，レーダ等を用いて立体物の検出方法やパターンマッチングを用いた立体物の検出方法を用いることなく、車両１の外部に存在する立体物を検出することができるので、より簡易な構成で車両１の外部に存在する立体物を検出することができる。
【００３０】
記憶部４００は、ＲＡＭ１４ｃやＳＳＤ１４ｆ等の記憶媒体に確保される。記憶部４００は、撮像部１６の撮像により得られた撮像画像を記憶する。本実施形態では、記憶部４００は、車体２に設けられた４つの撮像部１６（１６ａ〜１６ｄ）それぞれから得られた撮像画像を、当該撮像部１６毎に記憶する。視差算出部４０１は、記憶部４００に記憶された撮像画像のうち、同一の撮像部１６の撮像により得られた複数の撮像画像の視差を算出するものとする。
【００３１】
本実施形態では、視差算出部４０１が、車両１が停車している間に撮像部１６の撮像により得られた撮像画像の視差を求める例について説明するが、これに限定するものではなく、車両１が走行している間に撮像部１６の撮像により得られた撮像画像の視差を求めることも可能である。
【００３２】
立体物検出部４０２は、視差算出部４０１により求められた視差に基づいて、車両１の外部に存在する立体物を検出する。本実施形態では、立体物検出部４０２は、視差算出部４０１により求められた視差に基づいて、車両１と、検出した立体物との間の距離を算出する。
【００３３】
例えば、車高調整ＥＣＵ２９は、車両１が停車して運転手等の乗員が降車する場合、運転手が車両１から降車し易くするために、車高調整機構２８を制御して、車両１の車高を、標準車高またはＨｉｇｈ車高から、Ｌｏｗ車高に調整する。そこで、視差算出部４０１は、車両１が停車して運転手が降車する場合に、車高センサ３０により標準車高またはＨｉｇｈ車高が検出された際に撮像部１６の撮像により得られた撮像画像と、車高センサ３０によりＬｏｗ車高が検出された際に撮像部１６の撮像により得られた撮像画像との視差を求める。次に、立体物検出部４０２は、当該視差に基づいて、車両１の外部に存在する立体物を検出する。そして、立体物検出部４０２は、車両１の乗員がドアを開ける前に、立体物の検出結果を表示装置８に表示する。これにより、車両１から乗員が降車する際に車両１の外部に立体物が存在する場合に、乗員によって開かれたドアが立体物に当ることを防止できる。また、車両１に運転手等の乗員が乗車する際の車高の調整時に撮像された撮像画像を用いて、車両１の外部の立体物を検出することで、車両１の外部の立体物を検出するために、車両１の車高を意図的に調整することなく、車両１の外部の立体物を検出することができる。本実施形態では、立体物検出部４０２は、車両１の外部の立体物（三次元形状）を三次元情報の一例として検出しているが、車両１から立体物までの距離等を三次元情報の一例として検出しても良い。
【００３４】
また、車高調整ＥＣＵ２９は、停車している車両１に運転手等の乗員が乗車する場合、車高調整機構２８を制御して、車両１の車高を、Ｌｏｗ車高から、Ｈｉｇｈ車高または標準車高に調整する。そこで、視差算出部４０１は、停車している車両１に運転手が乗車する場合に、車高センサ３０によりＬｏｗ車高が検出された際に撮像部１６の撮像により得られた撮像画像と、車高センサ３０により標準車高またはＨｉｇｈ車高が検出された際に撮像部１６の撮像により得られた撮像画像との視差を求める。次に、立体物検出部４０２は、当該視差に基づいて、車両１の外部に存在する立体物を検出する。そして、立体物検出部４０２は、車両１が走り始める前に、立体物の検出結果を表示装置８に表示する。これにより、車両１が走り始める際に車両１の外部に立体物が存在する場合に、車両１が立体物に接触することを防止できる。また、車両１に運転手等の乗員が降車する際の車高の調整時に撮像された撮像画像を用いて、車両１の外部の立体物を検出することで、車両１の外部の立体物を検出するために、車両１の車高を意図的に調整することなく、車両１の外部の立体物を検出することができる。
【００３５】
次に、本実施形態にかかる周辺監視ＥＣＵ１４による記憶部４００に対する撮像画像の保存処理について説明する。
【００３６】
まず、車両１の運転手による、車両１の車高の調整の指示によらずに、撮像画像を保存する処理について説明する。周辺監視ＥＣＵ１４は、車両１が停車している間、車高調整ＥＣＵ２９から通知される車両１の車高（すなわち、車高センサ３０により検出された車高）と、当該車高が検出された際に撮像部１６の撮像により得られた撮像画像とを対応付けて記憶部４００に保存する。
【００３７】
その後、視差算出部４０１は、車両１が停止している間に車高センサ３０により検出された車高間の差分が所定値以上となった場合に、記憶部４００に記憶された撮像画像のうち、所定値以上の差分を有する車高と対応付けて記憶された２つの撮像画像を読み出す。ここで、所定値は、予め設定された値であり、２つの撮像画像の視差に基づいて、立体物を検出可能な車高の差分である。これにより、立体物を検出可能な車高において撮像された撮像画像を用いて、車両１の外部の立体物の検出が行われるので、車両１の外部の立体物の検出精度を向上させることができる。そして、視差算出部４０１は、読み出した２つの撮像画像の視差を算出する。
【００３８】
次に、図５を用いて、車両１の運転手による、車両１の車高の調整の指示に応じて、撮像画像を保存する処理について説明する。図５は、本実施形態にかかる車両による記憶部に対する撮像画像の保存処理の流れの一例を示すシーケンス図である。
【００３９】
車高調整ＥＣＵ２９は、車高スイッチ３１から選択信号が入力されて、車両１の車高を調整する場合に、車両１の車高の調整に先立って、車両１の車高を調整することを示す制御開始情報を周辺監視ＥＣＵ１４に送信する（ステップＳ５０１）。周辺監視ＥＣＵ１４は、車高調整ＥＣＵ２９から制御開始情報を受信した際に撮像部１６の撮像により得られた撮像画像を記憶部４００に保存する（ステップＳ５０２）。次いで、周辺監視ＥＣＵ１４は、撮像画像の保存が完了したことを示す完了通知を、車高調整ＥＣＵ２９に送信する（ステップＳ５０３）。
【００４０】
車高調整ＥＣＵ２９は、周辺監視ＥＣＵ１４から完了通知を受信すると、車高調整機構２８を制御して、車両１の車高を、車高スイッチ３１から入力された選択信号が示す車高に調整する（ステップＳ５０４）。車両１の車高の調整が完了すると、車高調整ＥＣＵ２９は、車両１の車高の調整が完了したことを示す制御完了情報を、周辺監視ＥＣＵ１４に送信する（ステップＳ５０５）。
【００４１】
周辺監視ＥＣＵ１４は、車高調整ＥＣＵ２９から制御完了情報を受信した際に撮像部１６の撮像により得られた撮像画像を記憶部４００に保存する（ステップＳ５０６）。その後、視差算出部４０１は、記憶部４００に記憶された２つの撮像画像を読み出す。そして、視差算出部４０１は、読み出した２つの撮像画像の視差を算出する。その後、立体物検出部４０２は、算出された視差に基づいて、車両１の外部に存在する立体物を検出する。
【００４２】
次に、図６を用いて、停車している車両１に運転手が乗車する際に、車両１の外部に存在する立体物を検出する処理の流れの一例について説明する。図６は、本実施形態にかかる車両による立体物の検出処理の流れの一例を示すフローチャートである。
【００４３】
以下の説明では、撮像部１６ｄの撮像により得られた複数の撮像画像を用いて、車両１の外部に存在する立体物を検出する例について説明するが、他の撮像部１６（撮像部１６ａ，１６ｂ，１６ｃ）の撮像により得られた複数の撮像画像を用いる場合も、同様にして、車両１の外部に存在する立体物を検出する。また、本実施形態では、複数の撮像部１６それぞれの撮像により得られた撮像画像を用いて、車両１の前方、左右、および後方に存在する立体物を検出する例について説明するが、車両１が撮像部１６（例えば、撮像部１６ｄ）を１つしか有しない場合には、当該撮像部１６の撮像により得られた撮像画像のみを用いて、車両１の外部に存在する立体物を検出する。
【００４４】
車両１の運転手が乗車しておらず、当該車両１のエンジンが停止している間、車高調整ＥＣＵ２９は、スマートユニット３２から、ドアロックの解錠を示すドアロック信号が開閉体制御装置へ出力され、ドアロックが解錠されるのを待つ。そして、ドアロックが解錠され（ステップＳ６０１）、かつ車両１のエンジンを稼働させるイグニッションがオンされると（ステップＳ６０２）、車高調整ＥＣＵ２９は、車高スイッチ３１から選択信号（例えば、Ｈｉｇｈ車高または標準車高を示す選択信号）が入力されるのを待つ。車高調整ＥＣＵ２９は、車高スイッチ３１から選択信号を受信すると（ステップＳ６０３）、車両１の車高の調整に先立って、制御開始情報を周辺監視ＥＣＵ１４に送信する。なお、撮像部１６の起動に時間がかかる場合には、ドアロックの解除時に撮像部１６の電源をオンしても良い。
【００４５】
周辺監視ＥＣＵ１４は、制御開始情報を受信した際に（すなわち、車両１の車高が調整される前に、例えば、車両１の車高がＬｏｗ車高に調整されている場合に）撮像部１６ｄの撮像により得られた撮像画像を記憶部４００に保存する（ステップＳ６０４）。次いで、周辺監視ＥＣＵ１４は、完了通知を、車高調整ＥＣＵ２９に送信する。
【００４６】
車高調整ＥＣＵ２９は、周辺監視ＥＣＵ１４から完了通知を受信すると、車高調整機構２８を制御して、車両１の車高を、車高スイッチ３１から受信した選択信号が示す車高（例えば、Ｈｉｇｈ車高）に調整する（ステップＳ６０５）。その後、車高調整ＥＣＵ２９は、制御完了情報を周辺監視ＥＣＵ１４に送信する。
【００４７】
周辺監視ＥＣＵ１４は、車高調整ＥＣＵ２９から制御完了情報を受信した際に（すなわち、車両１の車高を調整した後に、例えば、車両１の車高をＨｉｇｈ車高に調整した後に）撮像部１６の撮像により得られた撮像画像を記憶部４００に保存する（ステップＳ６０６）。次いで、視差算出部４０１は、記憶部４００に記憶された２つの撮像画像の視差を算出する。さらに、立体物検出部４０２は、視差算出部４０１により算出された視差に基づいて、車両１の外部に存在する立体物を検出する（ステップＳ６０７）。車両１の外部に存在する立体物を検出した場合、立体物検出部４０２は、視差算出部４０１により算出された視差に基づいて、車両１から立体物までの距離も検出する。
【００４８】
次に、立体物検出部４０２は、車両１の外部に存在する立体物の検出結果を表示装置８に表示する（ステップＳ６０８）。その後、立体物検出部４０２は、車両１が走行を開始し、車両１の車速が所定速度（例えば、５ｋｍ／ｈ）以上となると、表示装置８に対する立体物の検出結果の表示を終了させる（ステップＳ６０９）。
【００４９】
次に、図７を用いて、車両１が停車して運転手が降車する際に、車両１の外部に存在する立体物を検出する処理の流れの一例について説明する。図７は、本実施形態にかかる車両による立体物の検出処理の流れの一例を示すフローチャートである。
【００５０】
車両１のエンジンが稼働している状態において当該車両１が停車し（ステップＳ７０１）かつ車両１のエンジンを稼働させるイグニッションがオフされると、車高調整ＥＣＵ２９は、車高スイッチ３１から選択信号（例えば、Ｌｏｗ車高を示す選択信号）が入力されるのを待つ。本実施形態にかかる車両１は、エンジンを稼働させるイグニッションがオフされても、撮像部１６、周辺監視ＥＣＵ１４、モニタ装置１１、車高調整機構２８、車高調整ＥＣＵ２９、車高センサ３０等、車両１の外部に存在する立体物の検出に関わる構成への電源の供給は確保されているものとする。車高調整ＥＣＵ２９は、車高スイッチ３１から選択信号を受信すると（ステップＳ７０２）、車両１の車高の調整に先立って、制御開始情報を周辺監視ＥＣＵ１４に送信する。
【００５１】
周辺監視ＥＣＵ１４は、制御開始情報を受信した際に（すなわち、車両１の車高が調整される前に、例えば、車両１の車高がＨｉｇｈ車高または標準車高に調整されている場合に）撮像部１６ｄの撮像により得られた撮像画像を記憶部４００に保存する（ステップＳ７０３）。次いで、周辺監視ＥＣＵ１４は、完了通知を、車高調整ＥＣＵ２９に送信する。
【００５２】
車高調整ＥＣＵ２９は、周辺監視ＥＣＵ１４から完了通知を受信すると、車高調整機構２８を制御して、車両１の車高を、車高スイッチ３１から受信した選択信号が示す車高（例えば、Ｌｏｗ車高）に調整する（ステップＳ７０４）。その後、車高調整ＥＣＵ２９は、制御完了情報を周辺監視ＥＣＵ１４に送信する。
【００５３】
周辺監視ＥＣＵ１４は、車高調整ＥＣＵ２９から制御完了情報を受信した際に（すなわち、車両１の車高を調整した後に、例えば、車両１の車高をＬｏｗ車高に調整した後に）撮像部１６ｄの撮像により得られた撮像画像を記憶部４００に保存する（ステップＳ７０５）。次いで、視差算出部４０１は、記憶部４００に記憶された２つの撮像画像の視差を算出する。さらに、立体物検出部４０２は、視差算出部４０１に算出された視差に基づいて、車両１の外部に存在する立体物を検出する（ステップＳ７０６）。車両１の外部に存在する立体物を検出した場合、立体物検出部４０２は、視差算出部４０１により算出された視差に基づいて、車両１から立体物までの距離も検出する。
【００５４】
その後、立体物検出部４０２は、車両１から運転手が降車する前に、車両１の外部に存在する立体物の検出結果を表示装置８に表示する（ステップＳ７０７）。そして、立体物検出部４０２は、スマートユニット３２からドアロックの施錠を示すドアロック信号が開閉体制御装置へ出力され、ドアロックが施錠されるのを待つ。ドアロックが施錠され、運転手が車両１から降車すると、立体物検出部４０２は、表示装置８に対する立体物の検出結果の表示を終了させる（ステップＳ７０８）。
【００５５】
図６および図７に示す、車両１の外部に存在する立体物の検出処理では、周辺監視ＥＣＵ１４は、車高スイッチ３１から入力される選択信号に応じて、車両１の車高が調整された場合に、車両１の外部に存在する立体物を検出する例について説明したが、これに限定するものではない。例えば、周辺監視ＥＣＵ１４は、車高スイッチ３１からの選択信号の入力によらずに、車高調整機構２８によって自動的に車両１の車高が調整された場合も、同様にして、車両１の外部に存在する立体物を検出することが可能である。
【００５６】
図８および図９は、本実施形態にかかる車両による立体物の検出結果の表示装置に対する表示例を示す図である。本実施形態では、立体物検出部４０２は、複数の撮像部１６の撮像により得られた撮像画像を、車両１を上空から俯瞰したような俯瞰画像Ｇに変換する。そして、図８に示すように、立体物検出部４０２は、図８に示すように、俯瞰画像Ｇと、検出した立体物の位置を識別可能とする立体物情報Ａ（三次元情報。例えば、検出した立体物の位置を識別可能とする線）とを含む重畳画像Ｇ１を、表示制御部１４ｄを制御して、表示装置８に表示させる。これにより、車両１の乗員は、車両１の外部に存在する立体物を容易に認識することができる。
【００５７】
若しくは、図９に示すように、立体物検出部４０２は、撮像部１６（例えば、車体２の後側の端部２ｅに位置する撮像部１６ｃ）の撮像により得られた撮像画像ｇが含む立体物の画像оｇと、検出した立体物を識別可能とする立体物情報Ｂ（例えば、矩形の枠画像）とを含む重畳画像ｇ１を、表示装置８に表示させても良い。これにより、車両１の乗員は、車両１の外部に存在する立体物を容易に認識することができる。その際、立体物検出部４０２は、車両１と立体物との間の距離に応じて、検出した立体物の画像оｇに重畳する立体物情報Ｂの色を異ならせても良い。例えば、立体物検出部４０２は、車両１との間の距離が所定距離以下の立体物の画像оｇに重畳する立体物情報Ｂの色を赤色とする。一方、立体物検出部４０２は、車両１との間の距離が所定距離より長い立体物の画像оｇに重畳する立体物情報Ｂの色を黄色とする。
【００５８】
本実施形態では、立体物検出部４０２は、車両１と立体物との間の距離に応じて、立体物の画像оｇに重畳する立体物情報Ｂの色を異ならせているが、車両１と立体物との間の距離に応じて立体物情報Ｂの表示態様を異ならせるものであれば、これに限定するものではない。例えば、立体物検出部４０２は、車両１との間の距離が所定距離以下の立体物の画像оｇに重畳する立体物情報Ｂをハイライト表示とする。一方、立体物検出部４０２は、車両１との間の距離が所定距離より長い立体物の画像оｇに重畳する立体物情報Ｂをハイライト表示させない。若しくは、立体物検出部４０２は、車両１との間の距離が所定距離以下の立体物の画像оｇに重畳する立体物情報Ｂを点滅表示させる。一方、立体物検出部４０２は、車両１との間の距離が所定距離より長い立体物の画像оｇに重畳する立体物情報Ｂを点滅表示させない。
【００５９】
このように、本実施形態にかかる車両１によれば、より簡易な構成で車両１の外部に存在する立体物を検出することができる。
【００６０】
本実施形態では、エアサスペンションにより車両１の車高が調整された場合に撮像部１６の撮像により得られた撮像画像を用いて、車両１の外部の立体物を検出する例について説明したが、エアサスペンション以外の他の車高調整機構により車両１の車高が調整された場合も、同様にして、撮像部１６の撮像により得られた撮像画像を用いて、車両１の外部の立体物を検出可能である。例えば、周辺監視ＥＣＵ１４は、車高調整機構２８が、スプリングによって車高を調整する場合、車両１に乗員が乗車して当該乗員の重さにより車高がＬｏｗ車高である際に撮像部１６の撮像により得られた撮像画像と、車両１から乗員が降車して車高が標準車高またはＨｉｇｈ車高となった際に撮像部１６の撮像により得られた撮像画像とを用いて、車両１の外部の立体物を検出することも可能である。なお、この場合も、車両１には、車高を測定する車高センサ３０が設けられている。
【００６１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６２】
１  車両
８  表示装置
１１  モニタ装置
１４  周辺監視ＥＣＵ
１４ａ  ＣＰＵ
１４ｂ  ＲＯＭ
１４ｃ  ＲＡＭ
１４ｄ  表示制御部
１４ｆ  ＳＳＤ
１６  撮像部
２８  車高調整機構
２８ａ  前輪エアサスペンション
２８ｂ  後輪エアサスペンション
２９  車高調整ＥＣＵ
３０  車高センサ
３１  車高スイッチ
３２  スマートユニット
３３  バックドアカーテシスイッチ
４００  記憶部
４０１  視差算出部
４０２  立体物検出部
【図１】
2017220110.tif 000003
【図２】
2017220110.tif 000004
【図３】
2017220110.tif 000005
【図４】
2017220110.tif 000006
【図５】
2017220110.tif 000007
【図６】
2017220110.tif 000008
【図７】
2017220110.tif 000009
【図８】
2017220110.tif 000010
【図９】
2017220110.tif 000011