(57)【要約】【課題】車両の周辺の確認時間を短縮する。【解決手段】実施形態の表示制御装置は、車両の周辺を撮像する複数の撮像部から複数の撮像画像データを取得する取得部と、車両の周囲を表す面のうち、対向する少なくとも２つの面から外側を撮像した撮像領域と、車両が存在している領域と、を含めた画像データを、取得部が取得した撮像画像データから生成する生成部と、時間の経過と共に、生成部により生成された画像データの表示を切り替えていく場合に、撮像領域及び車両が存在している領域が、２つの面を結んだ方向と垂直方向に移動していくよう表示する表示処理部と、を備える。【選択図】図４
2018186387.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺を撮像する複数の撮像部から複数の撮像画像データを取得する取得部と、
前記車両の周囲を表す面のうち、対向する少なくとも２つの面から外側を撮像した撮像領域と、前記車両が存在している領域と、を含めた画像データを、前記取得部が取得した前記撮像画像データから生成する生成部と、
時間の経過と共に、前記生成部により生成された前記画像データの表示を切り替えていく場合に、前記撮像領域及び前記車両が存在している領域が、前記２つの面を結んだ方向と垂直方向に移動していくよう表示する表示処理部と、
を備える表示制御装置。
【請求項２】
前記車両が存在する位置を基準とした３次元仮想空間内の仮想投影面に、前記撮像領域として前記複数の撮像画像データを投影させると共に、前記仮想投影面に、前記車両が存在している領域を設定する３次元処理部をさらに備え、
前記生成部は、視点を固定した上で、前記２つの面を結んだ方向と垂直方向に注視点を移動させる毎に、前記仮想投影面から、前記撮像領域と前記車両が存在している領域と、を含めた前記画像データを生成し、
前記表示処理部は、前記生成部により生成された前記画像データを表示していくことで、前記撮像領域及び前記車両が存在している領域が、前記２つの面を結んだ方向と垂直方向に移動するよう表示する、
請求項１に記載の表示制御装置。
【請求項３】
前記車両が存在する位置を基準とした３次元仮想空間内の仮想投影面に、前記撮像領域として前記複数の撮像画像データを投影させると共に、前記仮想投影面に、前記車両が存在している領域を設定する３次元処理部をさらに備え、
前記生成部は、前記２つの面を結んだ方向と垂直方向に、視点及び注視点を移動させる毎に、前記仮想投影面から、前記撮像領域と前記車両が存在している領域と、を含めた前記画像データを生成し、
前記表示処理部は、前記生成部により生成された前記画像データを表示していくことで、前記撮像領域及び前記車両が存在している領域が、前記２つの面を結んだ方向と垂直方向に移動するよう表示する、
請求項１に記載の表示制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、表示制御装置に関する。
【背景技術】
【０００２】
従来から、車両の周辺に設けられた複数の撮像部によって、車両の周辺を撮像し、撮像された複数の撮像画像データを合成し、合成された画像データを表示することで、車両の周囲を運転者に認識させる技術がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−６６７６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、車両の周辺全てを表示部に表示すると、車両の周囲について細かい状況まで把握するのが難しい。そこで、車両の周囲を周回するようにアニメーション表示する技術が提案されている。
【０００５】
しかしながら、車両の周囲を周回するように表示を行う場合、運転者が車両の周囲を確認するためには一周するまで見ている必要があり、時間を要するという問題がある。
【０００６】
本発明の一実施形態は、上記に鑑みてなされたものであって、車両の周囲を確認するまでの時間を短縮可能な表示制御装置を提供する。
【課題を解決するための手段】
【０００７】
実施形態の表示制御装置は、一例として、車両の周辺を撮像する複数の撮像部から複数の撮像画像データを取得する取得部と、車両の周囲を表す面のうち、対向する少なくとも２つの面から外側を撮像した撮像領域と、車両が存在している領域と、を含めた画像データを、取得部が取得した撮像画像データから生成する生成部と、時間の経過と共に、生成部により生成された画像データの表示を切り替えていく場合に、撮像領域及び車両が存在している領域が、２つの面を結んだ方向と垂直方向に移動していくよう表示する表示処理部と、を備える。よって、車両の周辺を全て表示するまでの時間が短縮できるので、運転手による迅速な車両の周辺の確認を実現できる。
【０００８】
実施形態の表示制御装置は、一例として、車両が存在する位置を基準とした３次元仮想空間内の仮想投影面に、撮像領域として複数の撮像画像データを投影させると共に、仮想投影面に、車両が存在している領域を設定する３次元処理部をさらに備え、生成部は、視点を固定した上で、２つの面を結んだ方向と垂直方向に注視点を移動させる毎に、仮想投影面から、撮像領域と車両が存在している領域と、を含めた画像データを生成し、表示処理部は、生成部により生成された画像データを表示していくことで、撮像領域及び車両が存在している領域が、２つの面を結んだ方向と垂直方向に移動するよう表示する。よって、車両の周辺を全て表示するまでの時間が短縮できるので、運転手による迅速な車両の周辺の確認を実現できる。
【０００９】
実施形態の表示制御装置は、一例として、車両が存在する位置を基準とした３次元仮想空間内の仮想投影面に、撮像領域として複数の撮像画像データを投影させると共に、仮想投影面に、車両が存在している領域を設定する３次元処理部をさらに備え、生成部は、２つの面を結んだ方向と垂直方向に、視点及び注視点を移動させる毎に、仮想投影面から、撮像領域と車両が存在している領域と、を含めた画像データを生成し、表示処理部は、生成部により生成された画像データを表示していくことで、撮像領域及び車両が存在している領域が、２つの面を結んだ方向と垂直方向に移動するよう表示する。よって、車両の周辺を全て表示するまでの時間が短縮できるので、運転手による迅速な車両の周辺の確認を実現できる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施形態にかかる表示制御装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。
【図２】図２は、実施形態にかかる表示制御装置を搭載する車両の一例が示された平面図（鳥瞰図）である。
【図３】図３は、実施形態にかかる表示制御装置を有する表示制御システムの構成の一例を示すブロック図である。
【図４】図４は、実施形態にかかる表示制御装置としてのＥＣＵの機能的構成を示すブロック図である。
【図５】図５は、実施形態にかかる表示制御システムにおける撮像画像データの仮想投影面への投影を示す例示的かつ模式的な説明図である。
【図６】図６は、実施形態にかかる表示制御システムにおける車両と仮想投影面とを示す模式的かつ例示的な側面図である。
【図７】図７は、実施形態にかかる、視点を固定した上での、注視点の移動を例示した図である。
【図８】図８は、実施形態にかかる、視点を固定した上での、注視点の移動を例示した図である。
【図９】図９は、実施形態にかかる表示処理部により表示される視点画像データの変化を例示した図である。
【図１０】図１０は、実施形態にかかる表示制御システムにおける表示処理の手順を示すフローチャートである。
【図１１】図１１は、変形例における、視点及び注視点の移動を例示した図である。
【発明を実施するための形態】
【００１１】
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。
【００１２】
本実施形態において、表示制御装置（表示制御システム）を搭載する車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。駆動方式としては、四つある車輪３すべてに駆動力を伝え、四輪すべてを駆動輪として用いる四輪駆動車両とすることができる。車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。また、駆動方式も四輪駆動方式に限定されず、例えば、前輪駆動方式や後輪駆動方式でもよい。
【００１３】
図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールであり、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。
【００１４】
また、車室２ａ内には、表示装置８や、音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid  crystal  display）や、ＯＥＬＤ（organic  electroluminescent  display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。
【００１５】
また、図１、図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。図３に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、トルクセンサ１３ｂを有する。操舵システム１３は、ＥＣＵ１４（electronic  control  unit）等によって電気的に制御されて、アクチュエータを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer  by  wire）システム等である。操舵システム１３は、アクチュエータによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータによって車輪３を転舵したりする。この場合、アクチュエータは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。
【００１６】
また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ〜１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（charge  coupled  device）やＣＩＳ（CMOS  image  sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜２２０°の範囲を撮像することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１５は、車両１が移動可能な路面やその周辺の物体（障害物、岩、窪み、水たまり、轍等）を含む車両１の周辺の外部環境を逐次撮像し、撮像画像データとして出力する。
【００１７】
撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リアハッチのドア２ｈのリアウインドウの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパやフロントグリル等に設けられている。撮像部１５ｄは、例えば、車体２の左側の端部２ｄに位置され、左側のドアミラー２ｇに設けられている。
【００１８】
また、図３に例示されるように、表示制御システム１００（表示制御装置）では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller  area  network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。
【００１９】
ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central  processing  unit）や、ＲＯＭ１４ｂ（read  only  memory）、ＲＡＭ１４ｃ（random  access  memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid  state  drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理を実行する。例えば、ＣＰＵ１４ａは、撮像部１５が撮像した撮像画像データに演算処理や画像処理を実行して、車両１の予測進路上に、注意すべき特定領域が存在するか否かを検出したり、注意すべき特定領域の存在を例えば、車両１の進行推定方向を示す進路指標（予測進路線）の表示態様を変化させることでユーザ（運転者や搭乗者）に報知したりする。
【００２０】
ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた撮像画像データを用いた画像処理や、表示装置８で表示される画像データの画像処理（一例としては画像合成）等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合であってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されることができる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital  signal  processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard  disk  drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、周辺監視用のＥＣＵ１４とは別に設けられてもよい。
【００２１】
ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（anti-lock  brake  system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic  stability  control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake  by  wire）等である。ブレーキシステム１８は、アクチュエータを介して、車輪３ひいては車両１に制動力を与える。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。
【００２２】
舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。
【００２３】
アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。
【００２４】
シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。
【００２５】
車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成されうる。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果をブレーキシステム１８を介して取得する。
【００２６】
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。
【００２７】
ＥＣＵ１４に含まれるＣＰＵ１４ａは、上述したように撮像画像データに基づいた車両１周辺の環境を表示する。この機能を実現するために、ＥＣＵ１４は、図４に示すような種々のモジュールを含んでいる。ＥＣＵ１４は、例えば、取得部４０１と、画像合成部４０２と、３次元処理部４０３と、視点画像生成部４０４と、表示処理部４０５と、を含んでいる。これらのモジュールは、ＲＯＭ１４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現可能である。
【００２８】
また、ＳＳＤ１４ｆには、例えば、車両１の形状を平面的に表した車両形状データを記憶している。車両形状データは、車輪３を含んだ車両１の輪郭と共に、車両１の内装の形状も保持している。
【００２９】
取得部４０１は、車両１の周囲を表示するために必要な情報を取得する。例えば、取得部４０１は、車両１の周辺を撮像する複数の撮像部１５から、複数の撮像画像データを取得する。
【００３０】
また、取得部４０１は、操作入力部１０を介して、運転者が行った操作を表した操作データを取得する。操作データとしては、例えば、表示装置８に表示された画面の表示開始操作や、表示装置８に表示された画面についての視点の変更操作等が考えられる。
【００３１】
画像合成部４０２は、取得部４０１で取得された複数の撮像画像のデータ、すなわち、複数の撮像部１５で撮影された複数の撮像画像のデータを、それらの境界部分を合成することで繋ぎ、一つの撮像画像のデータを生成する。
【００３２】
３次元処理部４０３は、仮想投影部４１１と、領域設定部４１２と、を備え、車両１が存在する位置を基準とした３次元仮想空間内の仮想投影面に、画像合成部４０２により合成された撮像画像データを投影させると共に、仮想投影面に、車両１が存在している領域を設定する。これにより、取得部４０１が取得した複数の撮像画像データが仮想投影面に投影されたことになる。
【００３３】
仮想投影部４１１は、車両１が存在する位置を基準として定められた、車両１の周囲を取り囲む仮想投影面に、撮像画像データを投影した、仮想投影画像のデータを生成する。図５は、表示制御システム１００における撮像画像Ｉｃの仮想投影面Ｓｐへの投影を示す例示的かつ模式的な説明図である。図５の例では、仮想投影面Ｓｐは、地面Ｇｒに沿った底面Ｓｐｇと、底面Ｓｐｇすなわち地面Ｇｒから立ち上がった側面Ｓｐｓと、を有している。地面Ｇｒは、車両１の上下方向Ｚと直交する水平面であり、車輪３の接地面でもある。底面Ｓｐｇは、略円形の平坦面であり、車両１を基準とする水平面である。側面Ｓｐｓは、底面Ｓｐｇと接した曲面である。図５に示されるように、側面Ｓｐｓの、車両１の中心Ｇｃを通り車両１の垂直な仮想断面の形状は、例えば、楕円状あるいは放物線状である。側面Ｓｐｓは、例えば、車両１の中心Ｇｃを通り車両１の上下方向（Ｚ方向）に沿う中心線ＣＬ周りの回転面として構成され、車両１の周囲を取り囲んでいる。仮想投影部４１１は、撮像画像Ｉｃを、仮想投影面Ｓｐに投影した仮想投影画像Ｉｐを算出する。撮像画像Ｉｃを地面Ｇｒに投影すると、撮像部１５から遠ざかるにつれて像が長くなり、出力画像中で実際の長さよりも長く映る場合がある。図５からわかるように、地面Ｇｒ（底面Ｓｐｇ）から立ち上がった側面Ｓｐｓへ投影された仮想投影画像Ｉｐは、地面Ｇｒに投影された場合に比べて、像が短くなり、出力画像中で実際の長さよりも長く映るのが抑制される。なお、本実施形態においては、撮像部１５では、車両１が存在している領域５０１を撮像することはできない。
【００３４】
そこで、領域設定部４１２が、領域５０１を、車両１が存在する領域として設定し、当該領域５０１に対して、２次元の車両形状データを重畳する。
【００３５】
視点画像生成部４０４は、仮想投影面Ｓｐに投影された仮想投影画像Ｉｐ及び車両形状データを、所定の仮想視点から見た、視点画像データを生成する。図６は、表示制御システム１００における車両１と仮想投影面Ｓｐ（Ｓｐ０）とを示す模式的かつ例示的な側面図である。図６に示されるように、視点画像生成部４０４は、仮想投影面Ｓｐに投影された仮想投影画像Ｉｐ（図６には不図示）及び車両形状データ６０１を、所定の視点Ｅｐから斜め下方を見た視点画像データ（図６には不図示）に変換する。視点Ｅｐは、車両１の天井近傍且つ車両１の中心に設定される。なお、図６に示される車体２は、説明のために表したものであって、視点画像データには含まれない。
【００３６】
このように、本実施形態の視点画像生成部４０４は、視点及び注視点を設定することで、仮想投影面Ｓｐに投影された仮想投影画像Ｉｐ及び車両形状データ６０１から、車両１の周囲を表す面のうち、対向する少なくとも２つの側面（左側面及び右側面）から外側を撮像した撮像領域と、車両１が存在している領域５０１の一部と、を含めた視点画像データを生成する。
【００３７】
車両１の周囲を表す面は、例えば、車両１の外面である、車両１の外装表面や、車両１のボディの表面が考えられる。本実施形態においては、車両１の外装表面である、左側面と右側面の各々から外側を撮影した例について説明する。しかしながら、本実施形態は、対向する少なくとも２つの面を、左側面と右側面に制限するものではなく、例えば、前面と後面であってもよい。つまり、従来、前面、後面、右側面、又は左側面の各々から外側を表示していたため、車両１の周囲を確認するのに時間を要していた。これに対して、本実施形態においては、対向する少なくとも２つの面から外側を一度に表示することで、確認できる範囲が広くなったため、確認に要する時間を短縮できる。
【００３８】
次に視点画像データの生成に用いられる、視点Ｅｐ及び注視点について説明する。図７及び図８は、視点を固定した上での、注視点の移動を例示した図である。図７に示される例は、車体２の側面方向における、注視点の移動を例示した図であり、図８に示される例は、車体２の上面方向からの、注視点の移動を例示した図である。
【００３９】
図７及び図８に示されるように、本実施形態の視点画像生成部４０４は、視点Ｅｐを固定した上で、車両１の後ろ方向７１１に注視点を移動させる毎に、仮想投影面Ｓｐに投影された仮想投影画像Ｉｐ及び車両形状データ６０１から、撮像領域と、車両１が存在している領域５０１の一部と、を含めた視点画像データを生成する。
【００４０】
図７に示される例では、注視点は、後ろ方向７１１、換言すれば、座標７０１から座標７０２を介して座標７０３まで移動していく。そして、視点画像生成部４０４は、注視点を後ろ方向７１１に移動させる毎に、視点画像データを生成する。
【００４１】
つまり、本実施形態においては、少なくとも、車両１の左側面及び右側面から外側を撮像した撮像領域を一度に表示するため、当該左側面と右側面とを結ぶ方向と垂直となる、後ろ方向７１１及び前方向７１２に表示を切り替えていくことで、車両１の周辺全てが表示できる。
【００４２】
その後、注視点は、前方向７１２、換言すれば、座標７０３から座標７０２を介して座標７０１まで移動していく。そして、視点画像生成部４０４は、注視点を前方向７１２に移動させる毎に、視点画像データを生成する。
【００４３】
従来、運転者に車両の周囲の状況を認識させるために、撮像部１５が周回していくように、車両の周囲を表示する技術は存在していた。しかしながら、例えば、車両の前方向から右回りに、車両の周囲の表示をしていく場合、車両の前方向、車両の右方向、車両の後方向、車両の左方向の順に表示されることになる。この場合、運転者が車両の周囲の状況を一通り把握するまで時間を要していた。当該例では、車両の周囲の状況が右方向から表示されていくため、車両の左側の状況を認識するまで時間を要した。
【００４４】
これに対して、本実施形態の視点画像生成部４０４は、撮像部が車両１の周囲を周回するように複数の視点画像データを生成するのではなく、表示される領域を、振り子のように移動させる、換言すれば、注視点を直線方向に移動させるように複数の視点画像データを生成することとした。これにより、車両１の周囲の状況を全て表示するまでの時間を短縮できる。
【００４５】
図４に戻り、本実施形態の表示処理部４０５は、時間の経過と共に、視点画像生成部４０４により生成された視点画像データの表示を切り替えていく。表示処理部４０５が、表示を切り替えることで、撮像領域及び車両１が存在している領域が、後ろ方向又は前方向（車両１の接地面と平行であり、且つ、右側面及び左側面を結んだ方向と垂直方向）に移動していくよう表示する。
【００４６】
図９は、表示処理部４０５により表示される視点画像データの変化を例示した図である。図９に示される視点画像データ９０１〜９０６は、視点画像生成部４０４によって生成されたものであって、固定された視点Ｅｐと注視点の移動とに基づいて、表示される領域が変化した画像群とする。
【００４７】
視点画像データ９０１では、領域９１１は、撮像部１５ｃで撮像された撮像画像データから合成され、領域９１２は、撮像部１５ｄで撮像された撮像画像データから合成され、領域９１３は、撮像部１５ｂで撮像された撮像画像データから合成されている。領域９１４は、領域設定部４１２により、２次元の車両形状データが重畳されている。領域９１４においては、車両形状データの車輪９３１、９３２に表されたトレッドパターンによって、現在の車両１の進行方向を認識することができる。
【００４８】
また、領域９１２、９１３に対して、透過した車両１の形状を重畳表示しても良い。図９に示す例では、透過した車輪３の形状データ９２１、９２２、９２３、９２４を重畳表示することとした。これにより、運転者は、車輪３と周囲の位置関係を認識することができる。
【００４９】
図９に示される例では、領域９１３より領域９１２を広くしている。これにより、運転者は、運転席と反対側の状況を確認できる。なお、領域９１３、及び領域９１２のうちどちらを広く設定するかは、実施態様に応じて定められる。
【００５０】
視点画像データ９０２は、視点画像データ９０１から、車両１の後方に移動させた注視点に基づいて、視点画像生成部４０４により生成された画像データとする。
【００５１】
同様に、視点画像データ９０３〜９０６は、前に表示されていた視点画像データから、車両の後方に移動させた注視点に基づいて、視点画像生成部４０４により生成された画像データとする。視点画像データ９０１〜視点画像データ９０６は、表示装置８に表示される際に、必ず車両１の車輪の一部が含まれるような縮小・拡大率で生成された画像データとする。これにより、運転者が視点画像データを参照した際に、視点画像データに写っている車輪から、車両１の進行方向、及び表示されている位置を特定できる。
【００５２】
視点画像データ９０６では、領域９１５は、撮像部１５ａで撮像された撮像画像データから合成されている。領域９１２、９１３は、視点画像データ９０１と同様に、撮像部１５ｄ、１５ｂで撮像された撮像画像データから合成されている。
【００５３】
視点画像データ９０１〜視点画像データ９０６までの表示が、図７の後ろ方向７１１に従った表示に相当する。本実施形態においては、視点画像データ９０１〜視点画像データ９０６までの表示で、車両１の周囲の状況が全て表示されるため、運転者は車両の周囲の状況をすぐに把握できる。
【００５４】
その後、前方向（後ろ方向７１１と反対方向）７１２に従った表示として、視点画像データ９０６、視点画像データ９０５、視点画像データ９０４、視点画像データ９０３、視点画像データ９０２、視点画像データ９０１の順に表示される。なお、当該表示については、説明を省略する。
【００５５】
次に、本実施形態の表示制御システム１００（ＥＣＵ１４）における表示処理について説明する。図１０は、本実施形態の表示制御システム１００における上述した処理の手順を示すフローチャートである。
【００５６】
まず、ＥＣＵ１４の取得部４０１は、操作入力部１０から、表示操作を受け付けた旨の情報を取得する（Ｓ１００１）。当該情報を取得したことで、表示するための処理が開始される。
【００５７】
次に、取得部４０１は、四つの撮像部１５ａ〜１５ｄから、車両１の周囲を撮像した撮像画像データを取得する（Ｓ１００２）。
【００５８】
そして、画像合成部４０２が、Ｓ１００２で取得した複数の撮像画像データを合成し、一つの撮像画像データを生成する（Ｓ１００３）。
【００５９】
３次元処理部４０３は、合成した撮像画像データを３次元上の仮想投影面に投影すると共に、当該３次元の仮想投影面に、車両１が存在している領域を設定する（Ｓ１００４）。本実施形態では、当該設定として、２次元の車両形状データを重畳する。
【００６０】
そして、視点画像生成部４０４は、視点Ｅｐを固定した上で、車両１の後ろ方向（又は前方向）に注視点を移動させる毎に、仮想投影面から、車両１から外側を撮像した撮像領域と、車両が存在している領域と、を含めた視点画像データを生成する（Ｓ１００５）。
【００６１】
表示処理部４０５は、視点画像生成部４０４により生成された視点画像データを表示する（Ｓ１００６）。
【００６２】
そして、表示処理部４０５は、視点画像データの表示を終了するか否かを判定する（Ｓ１００７）。表示を終了するか否かは、例えば、運転者から表示の停止操作を受け付けたか否か、又は、図７の後ろ方向７１１及び前方向７１２に従った注視点の移動が終了したか否かに基づいて判定する。
【００６３】
表示処理部４０５が表示を終了しないと判定した場合（Ｓ１００７：Ｎｏ）、Ｓ１００５から開始され、視点画像生成部４０４は、表示された視点画像データから、車両１の後ろ方向（又は前方向）に注視点を移動させた視点画像データを生成していくことになる。
【００６４】
一方、表示処理部４０５が表示を終了すると判定した場合（Ｓ１００７：Ｙｅｓ）、視点画像データの表示を終了する。この後、表示処理部４０５は、車両１の周囲を示した俯瞰画像データ等の表示を行っても良い。
【００６５】
（変形例）
上述した実施形態においては、視点Ｅｐを固定する例について説明した。しかしながら、視点Ｅｐを固定する手法に制限するものではなく、注視点の移動と共に、視点を移動させても良い。そこで、変形例では、注視点及び視点を移動させる例について説明する。なお、表示制御システムの構成は、実施形態と同様として、説明を省略する。
【００６６】
図１１は、変形例における、視点及び注視点の移動を例示した図である。図１１に示される例は、車体２の側面方向における、注視点及び視点の移動を例示した図である。図１１に示される例では、上述した実施形態と同様に、後ろ方向１１１１に注視点を移動させた後、前方向１１１２に注視点を移動させるが、その際に視点を移動させる点で、上述した実施形態とは異なる。
【００６７】
図１１に示されるように、本変形例においては、注視点１１０１から注視点１１０２まで移動する間は、視点Ｅｐ１は固定されている。そして注視点１１０２から注視点１１０３まで移動する間に、視点Ｅｐ１、Ｅｐ２、Ｅｐ３、Ｅｐ４、Ｅｐ５、Ｅｐ６の順に移動する。その後、視点Ｅｐ６が固定された状態で、注視点１１０３から注視点１１０４まで移動する。
【００６８】
このように、視点画像生成部４０４は、車両１の前方向又は後ろ方向（車両１の接地面と平行の方向であって、車両１の右側面と左側面とを結んだ方向と垂直方向）に、視点及び注視点を移動させる毎に、３次元処理部４０３が生成した仮想投影面から、撮像領域と車両が存在している領域と、を含んだ視点画像データを生成する。
【００６９】
そして、表示処理部４０５は、視点画像生成部４０４に生成された視点画像データを表示していくことで、撮像領域及び車両１が存在している領域が、車両１の前方向又は後ろ方向に移動するよう表示することになる。
【００７０】
本変形例では、上述した処理を行うことで実施形態と同様の効果を得ることができる。
【００７１】
上述した実施形態及び変形例においては、車両１の右側面及び左側面から外側が表された撮像領域と車両形状データ（車両１の存在する領域）とを表示すると共に、当該撮像領域及び車両形状データを、車両１の前方向又は後ろ方向に移動するように表示する例について説明した。しかしながら、実施形態及び変形例は、このような表示手法に制限するものではない。例えば、車両１の前面及び後面から外側が表された撮像領域と車両形状データとを表示すると共に、当該撮像領域及び車両形状データを、車両１の右方向又は左方向に移動するように表示しても良い。
【００７２】
このように、車両１の周囲を表す面のうち、対向する少なくとも２つの面から外側を撮影した撮像領域を、当該２つの面を結んだ方向と垂直方向に移動するよう表示するのであれば良い。当該処理を行うことで、運転者が車両の周辺を確認する時間を短縮できる。
【００７３】
上述した実施形態及び変形例においては視点画像データにおいて、車両が存在する領域に、車両形状データを重畳する例について説明したが、車両形状データを重畳する手法に制限するものではない。例えば、なにも表示しなくても良いし、他の画像データを表示しても良い。
【００７４】
上述した実施形態及び変形例においては、表示制御システムが上述した構成で、視点画像データを表示することで、運転者は、車両の周辺を全て表示するまでの時間が短縮できるので、迅速な車両の周辺の確認を実現できる。
【００７５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７６】
１…車両、１４…ＥＣＵ、１００…表示制御システム、４０１…取得部、４０２…画像合成部、４０３…３次元処理部、４０４…視点画像生成部、４０５…表示処理部、４１１…仮想投影部、４１２…領域設定部。
【図１】
2018186387.tif 000003
【図２】
2018186387.tif 000004
【図３】
2018186387.tif 000005
【図４】
2018186387.tif 000006
【図５】
2018186387.tif 000007
【図６】
2018186387.tif 000008
【図７】
2018186387.tif 000009
【図８】
2018186387.tif 000010
【図９】
2018186387.tif 000011
【図１０】
2018186387.tif 000012
【図１１】
2018186387.tif 000013