(57)【要約】【課題】ＡＲ表示の領域外の世界を好適にカバーすること。【解決手段】車両に搭載される表示装置（１００）であって、画像を含む光である画像光を、フロントウインドシールドにおける投射領域に向けて投射する画像生成装置（１１０）と、前記車両の周辺に存在する物標の少なくとも位置を取得する物標情報取得装置と、前記画像生成装置を制御する制御装置（１５０）とを、備え、前記制御装置は、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にあるか否かを判定し、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にある場合、前記物標の位置に重畳するように見える画像光を前記画像生成装置に投射させ、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内に無い場合、前記投射領域内において前記物標の存在を知らせる画像光を前記画像生成装置に投射させる、表示装置。【選択図】図３
2020024561.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載される表示装置であって、
画像を含む光である画像光を、フロントウインドシールドにおける投射領域に向けて投射する画像生成装置と、
前記車両の周辺に存在する物標の少なくとも位置を取得する物標情報取得装置と、
前記画像生成装置を制御する制御装置とを、備え、
前記制御装置は、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にあるか否かを判定し、
前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にある場合、前記物標の位置に重畳するように見える画像光を前記画像生成装置に投射させ、
前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内に無い場合、前記投射領域内において前記物標の存在を知らせる画像光を前記画像生成装置に投射させる、
表示装置。
【請求項２】
前記制御装置は、前記車両と前記物標との相対位置変化に基づいて、前記物標が所定時間以内または所定走行距離以内に前記空間領域に進入するか否かを判定し、前記物標が所定時間以内または所定走行距離以内に前記空間領域に進入すると判定した場合に、前記投射領域内において前記物標の存在を知らせる画像光を前記画像生成装置に投射させる、
請求項１記載の表示装置。
【請求項３】
前記制御装置は、前記車両と前記物標との相対位置変化に基づいて、前記物標が前記投射領域において最初に現れる位置を推定し、前記推定した位置に、前記物標の存在を知らせる画像光が投射されるように、前記画像生成装置を制御する、
請求項１または２記載の表示装置。
【請求項４】
前記制御装置は、前記車両と前記物標との相対位置変化に基づいて計算される前記物標が前記空間領域に進入するまでの時間に基づいて、前記物標の存在を知らせる画像光の表示態様を変更するように前記画像生成装置を制御する、
請求項１から３のうちいずれか１項記載の表示装置。
【請求項５】
前記制御装置は、前記物標の存在を知らせる画像光を、前記物標の位置に重畳するように見える画像光に比して環境色に近い色の光とするように前記画像生成装置を制御する、
請求項１から４のうちいずれか１項記載の表示装置。
【請求項６】
前記画像生成装置は、
画像を含む光を投射する投光装置と、
前記光の経路上に設けられ、所定の位置から前記光が虚像として形成される位置までの距離を調節可能な光学機構と、
前記光学機構を通過した光を反射体に向けて反射する凹面鏡と、
前記光学機構における前記距離を調節する第１アクチュエータと、
前記凹面鏡の反射角度を調節する第２アクチュエータと、
を備える請求項１から５のうちいずれか１項記載の表示装置。
【請求項７】
車両に搭載され、画像を含む光である画像光を、フロントウインドシールドにおける投射領域に向けて投射する画像生成装置と、周辺に存在する物標の少なくとも位置を取得する物標情報取得装置とを備える表示装置の制御装置が、
前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にあるか否かを判定し、
前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にある場合、前記物標の位置に重畳するように見える画像光を前記画像生成装置に投射させ、
前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内に無い場合、前記投射領域内において前記物標の存在を知らせる画像光を前記画像生成装置に投射させる、
表示制御方法。
【請求項８】
車両に搭載され、画像を含む光である画像光を、フロントウインドシールドにおける投射領域に向けて投射する画像生成装置と、周辺に存在する物標の少なくとも位置を取得する物標情報取得装置とを備える表示装置の制御装置に、
前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にあるか否かを判定させ、
前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にある場合、前記物標の位置に重畳するように見える画像光を前記画像生成装置に投射させることを行わせ、
前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内に無い場合、前記投射領域内において前記物標の存在を知らせる画像光を前記画像生成装置に投射させることを行わせる、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、表示制御方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、フロントウインドシールドに運転者向けの基本的な情報に関する画像を表示するヘッドアップディスプレイ装置（以下、ＨＵＤ（Head Up Display）装置と称する）が知られている（例えば、特許文献１参照）。このＨＵＤ装置を用いて、障害物や注意喚起、進行方向を示す各種マークを車両前方の風景と重ねて表示させることで、運転者は、運転時の視線の方向を前方に維持しながら、表示される各種情報を把握することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−９１１１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＨＵＤ装置は、光の反射を利用するものであるため、投光装置の置き場所が完全に自由でなければ、反射体上のどこにでも画像を表示できるというものではない。従来の技術では、反射体における限られた領域に表示可能であることと、現実世界の広がりとをどのように繋げば良いのかについて、十分に検討がなされていなかった。
【０００５】
本発明は、このような事情を考慮してなされたものであり、ＡＲ（Augmented Reality）表示の領域外の世界を好適にカバーすることができる表示装置、表示制御方法、およびプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【０００６】
この発明に係る表示装置は、以下の構成を採用した。
（１）：この発明の一態様に係る表示装置は、車両に搭載される表示装置であって、画像を含む光である画像光を、フロントウインドシールドにおける投射領域に向けて投射する画像生成装置と、前記車両の周辺に存在する物標の少なくとも位置を取得する物標情報取得装置と、前記画像生成装置を制御する制御装置とを、備え、前記制御装置は、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にあるか否かを判定し、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にある場合、前記物標の位置に重畳するように見える画像光を前記画像生成装置に投射させ、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内に無い場合、前記投射領域内において前記物標の存在を知らせる画像光を前記画像生成装置に投射させるものである。
【０００７】
（２）：上記（１）の態様において、前記制御装置は、前記車両と前記物標との相対位置変化に基づいて、前記物標が所定時間以内または所定走行距離以内に前記空間領域に進入するか否かを判定し、前記物標が所定時間以内または所定走行距離以内に前記空間領域に進入すると判定した場合に、前記投射領域内において前記物標の存在を知らせる画像光を前記画像生成装置に投射させるものである。
【０００８】
（３）：上記（１）または（２）の態様において、前記制御装置は、前記車両と前記物標との相対位置変化に基づいて、前記物標が前記投射領域において最初に現れる位置を推定し、前記推定した位置に、前記物標の存在を知らせる画像光が投射されるように、前記画像生成装置を制御するものである。
【０００９】
（４）：上記（１）から（３）のうちいずれかの態様において、前記制御装置は、前記車両と前記物標との相対位置変化に基づいて計算される前記物標が前記空間領域に進入するまでの時間に基づいて、前記物標の存在を知らせる画像光の表示態様を変更するように前記画像生成装置を制御するものである。
【００１０】
（５）：上記（１）から（４）のうちいずれかの態様において、前記制御装置は、前記物標の存在を知らせる画像光を、前記物標の位置に重畳するように見える画像光に比して環境色に近い色の光とするように前記画像生成装置を制御するものである。
【００１１】
（６）：上記（１）から（５）のうちいずれかの態様において、前記画像生成装置は、画像を含む光を投射する投光装置と、前記光の経路上に設けられ、所定の位置から前記光が虚像として形成される位置までの距離を調節可能な光学機構と、前記光学機構を通過した光を反射体に向けて反射する凹面鏡と、前記光学機構における前記距離を調節する第１アクチュエータと、前記凹面鏡の反射角度を調節する第２アクチュエータと、を備えるものである。
【００１２】
（７）：本発明の他の態様に係る表示制御方法は、車両に搭載され、画像を含む光である画像光を、フロントウインドシールドにおける投射領域に向けて投射する画像生成装置と、周辺に存在する物標の少なくとも位置を取得する物標情報取得装置とを備える表示装置の制御装置が、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にあるか否かを判定し、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域にある場合、前記物標の位置に重畳するように見える画像光を前記画像生成装置に投射させ、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内に無い場合、前記投射領域内において前記物標の存在を知らせる画像光を前記画像生成装置に投射させる、表示制御方法である。
【００１３】
（８）：本発明の他の態様に係るプログラムは、車両に搭載され、画像を含む光である画像光を、フロントウインドシールドにおける投射領域に向けて投射する画像生成装置と、周辺に存在する物標の少なくとも位置を取得する物標情報取得装置とを備える表示装置の制御装置に、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にあるか否かを判定させ、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にある場合、前記物標の位置に重畳するように見える画像光を前記画像生成装置に投射させることを行わせ、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内に無い合、前記投射領域内において前記物標の存在を知らせる画像光を前記画像生成装置に投射させることを行わせる、プログラムである。
【発明の効果】
【００１４】
（１）〜（８）によれば、ＡＲ表示の領域外の世界を好適にカバーすることができる。
【００１５】
（２）によれば、不要な表示がなされるのを抑制し、乗員が煩わしさを覚えないようにすることができる。
【００１６】
（３）によれば、物標の存在を直感的に乗員に伝えることができる。
【００１７】
（４）によれば、物標の接近具合を直感的に乗員に伝えることができる。
【図面の簡単な説明】
【００１８】
【図１】実施形態に係る表示装置１００が搭載された車両Ｍの車室内の構成を例示した図である。
【図２】実施形態の操作スイッチ１３０について説明するための図である。
【図３】表示装置１００の部分構成図である。
【図４】表示制御装置１５０を中心とした表示装置１００の構成例を示す図である。
【図５】領域判定部１５４の判定手法について説明するための図である。
【図６】ＡＲ画像の一例を示す図である。
【図７】存在通知画像の一例を示す図である。
【図８】固定物標に対する存在通知画像を例示した図である。
【図９】固定物標に対するＡＲ画像を例示した図である。
【図１０】存在通知画像の変化の一例を示す図である。
【図１１】表示制御装置１５０により実行される処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、図面を参照し、本発明の表示装置、表示制御方法、およびプログラムの実施形態について説明する。
【００２０】
以下、図面を参照し、本発明の表示装置、表示制御方法、およびプログラムの実施形態について説明する。実施形態の表示装置は、例えば、車両（以下、車両Ｍと称する）に搭載され、風景に重畳させて画像を視認させる装置である。表示装置は、ＨＵＤ装置と称することができる。一例として、表示装置は、車両Ｍのフロントウインドシールドに画像を含む光を投光することで、観者に虚像を視認させる装置である。観者は、例えば運転者であるが、運転者以外の乗員であってもよい。
【００２１】
以下の説明において、適宜、ＸＹＺ座標系を用いて位置関係等を説明する。
【００２２】
［全体構成］
図１は、実施形態に係る表示装置１００が搭載された車両Ｍの車室内の構成を例示した図である。車両Ｍには、例えば、車両Ｍの操舵を制御するステアリングホイール１０と、車外と車室内とを区分するフロントウインドシールド２０と、インストルメントパネル３０とが設けられる。フロントウインドシールド２０は、光透過性を有する部材である。表示装置１００は、例えば、運転席４０の前方のフロントウインドシールド２０の一部に設けられる表示可能領域（投射領域）Ａ１に画像を含む光を投射する（投光する）ことで、運転席に着座した運転者に虚像ＶＩを視認させる。
【００２３】
表示装置１００は、例えば、運転者の運転を支援するための情報を画像化した像（以下、運転支援画像）を、虚像ＶＩとして運転者に視認させる。運転者の運転を支援するための情報には、例えば、車両Ｍの速度、駆動力配分比率、エンジン回転数、運転支援機能の動作状態、シフト位置、標識認識結果、交差点位置等の情報が含まれる。運転支援機能には、例えば、予め設定された目的地まで車両Ｍを誘導するための方向指示機能、ＡＣＣ（Adaptive Cruise Control）、ＬＫＡＳ（Lane Keep Assist System）、ＣＭＢＳ（Collision Mitigation Brake System）、およびトラフィックジャムアシスト機能等が含まれる。また、運転支援機能には、例えば、車両Ｍに搭載された電話の着信や発信、通話を管理する電話機能が含まれてもよい。
【００２４】
また、表示装置１００は、車両Ｍの周辺に存在する物標の位置を示す画像（ＡＲ画像、または存在通知画像）を、虚像ＶＩとして運転者に視認させる。物標とは、他車両、自転車、歩行者、障害物などの物標、或いは交差点などの固定物標、その他の実体（エンティティ）である。
【００２５】
また、車両Ｍには、表示装置１００の他に、第１表示部５０−１や第２表示部５０−２が設けられてよい。第１表示部５０−１は、例えば、インストルメントパネル３０における運転席４０の正面付近に設けられ、運転者がステアリングホイール１０の間隙から、或いはステアリングホイール１０越しに視認可能な表示装置である。また、第２表示部５０−２は、例えば、インストルメントパネル３０の中央部に取り付けられる。第２表示部５０−２は、例えば、車両Ｍに搭載されるナビゲーション装置（不図示）により実行されるナビゲーション処理に対応する画像、またはテレビ電話における相手の映像等を表示する。また、第２表示部５０−２は、テレビ番組を表示したり、ＤＶＤを再生したり、ダウンロードされた映画等のコンテンツを表示してもよい。
【００２６】
また、車両Ｍには、表示装置１００による表示のオン／オフの切り替え指示や、虚像ＶＩの位置を調節する指示を受け付ける操作スイッチ１３０が設けられる。操作スイッチ１３０は、例えば、運転席４０に着座した運転者が大きく体勢を変えることなく操作可能な位置に取り付けられている。操作スイッチ１３０は、例えば、第１表示部５０−１の前方に設けられていてもよく、ステアリングホイール１０のボス部に設けられていてもよく、ステアリングホイール１０とインストルメントパネル３０とを連結するスポークに設けられていてもよい。
【００２７】
図２は、実施形態の操作スイッチ１３０について説明するための図である。操作スイッチ１３０は、例えば、メインスイッチ１３２と、調節スイッチ１３４および１３６とを含む。メインスイッチ１３２は、表示装置１００のオン／オフを切り替えるスイッチである。
【００２８】
調節スイッチ１３４は、例えば、運転者の視線位置Ｐ１から表示可能領域Ａ１を透過した空間にあるように視認される虚像ＶＩの位置を、鉛直方向Ｚに関して上側（以下、上方向と称する）に移動させる指示を受け付けるためのスイッチである。運転者は、調節スイッチ１３４を押し続けることで、表示可能領域Ａ１内で虚像ＶＩの視認位置を上方向に継続して移動させることができる。
【００２９】
調節スイッチ１３６は、前述した虚像ＶＩの位置を鉛直方向Ｚに関して下側（以下、下方向と称する）に移動させる指示を受け付けるためのスイッチである。運転者は、調節スイッチ１３６を押し続けることで、表示可能領域Ａ１内で虚像ＶＩの視認位置を下方向に継続して移動させることができる。
【００３０】
また、調節スイッチ１３４は、虚像ＶＩの位置を上方向に移動させるのに代えて（または加えて）、視認される虚像ＶＩの輝度を上げるためのスイッチであってもよい。また、調節スイッチ１３６は、虚像ＶＩの位置を下方向に移動するのに代えて（または加えて）、視認される虚像ＶＩの輝度を下げるためのスイッチであってもよい。調節スイッチ１３４、１３６が受け付ける指示の内容は、何らかの操作に基づいて切り替えられてもよい。何らかの操作とは、例えば、メインスイッチ１３２の長押し操作である。また、操作スイッチ１３０は、図２に示す各スイッチに加えて、例えば、表示内容を選択するスイッチや、専ら表示される虚像の輝度を調節するスイッチを含んでよい。
【００３１】
図３は、表示装置１００の部分構成図である。表示装置１００は、例えば、表示器（画像生成装置の一例）１１０と、表示制御装置（制御装置の一例）１５０とを備える。表示器１１０は、例えば、筐体１１５内に、投光装置１２０と、光学機構１２２と、平面鏡１２４と、凹面鏡１２６と、透光カバー１２８とを収納する。これらの他、表示装置１００は、各種センサやアクチュエータを備えるが、これらについては後述する。また、表示器には、光学機構１２２がない構成であってもよい。
【００３２】
投光装置１２０は、例えば、光源１２０Ａと、表示素子１２０Ｂとを備える。光源１２０Ａは、例えば、冷陰極管であり、運転者に視認させる虚像ＶＩに対応する可視光を出力する。表示素子１２０Ｂは、光源１２０Ａからの可視光の透過を制御する。表示素子１２０Ｂは、例えば、薄膜トランジスタ（ＴＦＴ）型の液晶表示装置（ＬＣＤ）である。また、表示素子１２０Ｂは、複数の画素のそれぞれを制御して、光源１２０Ａからの可視光の色要素ごとの透過程度を制御することで、虚像ＶＩに画像要素を含ませ、虚像ＶＩの形態（見え方）を決定付ける。以下では、表示素子１２０Ｂを透過し画像が含まれた可視光を画像光ＩＬという。なお、表示素子１２０Ｂは、有機ＥＬ（Electro-Luminescence）ディスプレイであってもよく、この場合、光源１２０Ａは省略されてよい。
【００３３】
光学機構１２２は、例えば、一以上のレンズを含む。各レンズの位置は、例えば光軸方向に調節可能となっている。光学機構１２２は、例えば、投光装置１２０が出力する画像光ＩＬの経路上に設けられ、投光装置１２０から入射した画像光ＩＬを通過させて、フロントウインドシールド２０に向けて出射する。光学機構１２２は、例えば、レンズの位置を変更することで、運転者の視線位置Ｐ１から、画像光ＩＬが虚像として形成される形成位置Ｐ２までの距離（以下、虚像視認距離Ｄと称する）を調節することができる。運転者の視線位置Ｐ１は、凹面鏡１２６およびフロントウインドシールド２０によって反射され画像光ＩＬが集光される位置であり、この位置に運転者の目が存在することが想定される位置である。虚像視認距離Ｄは、厳密には上下方向の傾きを持つ線分の距離であるが、以下の説明において「虚像視認距離Ｄが７［ｍ］」などと表現する場合、その距離は水平方向の距離を意味してもよい。
【００３４】
また、以下の説明において、俯角θを、運転者の視線位置Ｐ１を通る水平面と、運転者の視線位置Ｐ１から形成位置Ｐ２までの線分とがなす角度と定義する。虚像ＶＩが下方に形成されているほど、すなわち、運転者が虚像ＶＩを見る視線方向が下向きであるほど、俯角θは大きくなる。俯角θは、凹面鏡１２６の反射角度φと、表示素子１２０Ｂにおける元画像の表示位置とに基づいて決定される。反射角度φは、平面鏡１２４により反射された画像光ＩＬが凹面鏡１２６に入射する入射方向と、凹面鏡１２６が画像光ＩＬを出射する出射方向とのなす角である。
【００３５】
平面鏡１２４は、光源１２０Ａにより出射され表示素子１２０Ｂを通過した可視光（すなわち、画像光ＩＬ）を凹面鏡１２６の方向に反射させる。
【００３６】
凹面鏡１２６は、平面鏡１２４から入射した画像光ＩＬを反射し、フロントウインドシールド２０に向かって出射する。凹面鏡１２６は、車両Ｍの幅方向の軸であるＹ軸回りに回転（回動）可能に支持される。
【００３７】
透光カバー１２８は、凹面鏡１２６からの画像光ＩＬを透過させてフロントウインドシールド２０に到達させると共に、筐体１１５内に埃や塵、水滴などの異物が入り込むことを抑制する。透光カバー１２８は、筐体１１５の上側部材に形成された開口部に設けられる。また、インストルメントパネル３０にも開口部あるいは光透過性部材が設けられ、画像光ＩＬは、透光カバー１２８とインストルメントパネル３０の開口部或いは光透過性部材を透過してフロントウインドシールド２０に到達する。
【００３８】
フロントウインドシールド２０に入射した画像光ＩＬは、フロントウインドシールド２０によって反射され、運転者の視線位置Ｐ１に集光する。このとき、運転者の視線位置Ｐ１に運転者の眼が位置していた場合、運転者は、画像光ＩＬによって写し出される画像が車両Ｍの前方に表示されているように感じる。
【００３９】
表示制御装置１５０は、運転者に視認させる虚像ＶＩの表示を制御する。図４は、表示制御装置１５０を中心とした表示装置１００の構成例を示す図である。図４の例では、表示制御装置１５０に加えて、投光装置１２０と、操作スイッチ１３０と、レンズ位置センサ１６２と、凹面鏡角度センサ１６４と、光学系コントローラ１７０と、ディスプレイコントローラ１７２と、レンズアクチュエータ（第１アクチュエータの一例）１８０と、凹面鏡アクチュエータ（第２アクチュエータの一例）１８２と、車両制御装置２００と、物標情報２１０とを示している。先に表示制御装置１５０以外の各構成について説明する。
【００４０】
レンズ位置センサ１６２は、光学機構１２２に含まれる一以上のレンズの位置を検出する。凹面鏡角度センサ１６４は、凹面鏡１２６のＹ軸回りの回転角度を検出する。
【００４１】
光学系コントローラ１７０は、表示制御装置１５０により出力された制御信号に基づいて、レンズアクチュエータ１８０を駆動して、虚像視認距離Ｄを調節する。虚像視認距離Ｄは、例えば、数［ｍ］から十数［ｍ］（或いは数十［ｍ］）の範囲内で調節可能となっている。また、光学系コントローラ１７０は、表示制御装置１５０により出力された制御信号に基づいて凹面鏡アクチュエータ１８２を駆動して、凹面鏡の反射角度φを調節する。
【００４２】
ディスプレイコントローラ１７２は、表示制御装置１５０から供給される信号に基づく画像を含む光を、投光装置１２０に投射させる。
【００４３】
レンズアクチュエータ１８０は、光学系コントローラ１７０からの駆動信号を取得し、取得した駆動信号に基づいて、モータ等を駆動させて光学機構１２２に含まれる一以上のレンズの位置を移動する。これにより、虚像視認距離Ｄが調節される。
【００４４】
凹面鏡アクチュエータ１８２は、光学系コントローラ１７０からの駆動信号を取得し、取得した駆動信号に基づいて、モータ等を駆動させて凹面鏡アクチュエータ１８２をＹ軸回りに回転させて、凹面鏡１２６の反射角度φを調節する。これにより、俯角θが調節される。
【００４５】
車両制御装置２００は、エンジンやモータなどの走行駆動装置を制御するエンジンＥＣＵ（Electronic Control Unit）、ステアリング装置(操舵装置）を制御するステアリングＥＣＵなどである。一例として、車両制御装置２００は、車両Ｍの速度やエンジン回転数、方向指示器の作動状態、ステアリング操舵角、ヨー角速度などの情報を表示制御装置１５０に出力する。
【００４６】
物標情報取得装置２１０は、例えば、車両Ｍの前方を撮像するカメラおよび撮像画像を解析する画像解析装置、レーダ装置、ＬＩＤＡＲ（Light Detection and Ranging）、これらの装置の出力に基づいて物標の種類を特定する物体認識装置、或いは物標の情報を受けて運転支援制御を行う運転支援装置などのうち一部または全部を含む。また、物標情報取得装置２１０は、地図情報とＧＰＳ（Global Positioning System）等の測位装置を利用して固定物標の情報を取得してもよい。更に、物標情報取得装置２１０は、ナビゲーション装置を含み、車両Ｍが右左折、分岐、合流等すべき地点の情報を、固定物標の情報として取得してもよい。以下の説明において、物標情報取得装置２１０は、物標の種類を特定し、種類を示す情報と、物標の位置および相対速度ベクトルとを表示制御装置１５０に出力するものとする。
【００４７】
以下、表示制御装置１５０について説明する。表示制御装置１５０は、例えば、距離制御部１５１と、俯角制御部１５２と、運転支援画像生成部１５３と、領域判定部１５４と、ＡＲ画像生成部１５５と、進入判定部１５６と、存在通知画像生成部１５７と、を備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。表示制御装置１５０の構成要素の区分は、あくまで便宜的なものであり、ソフトウェアやハードウェアが図示するように明確に分かれていることを意味するものではない。
【００４８】
距離制御部１５１は、虚像視認距離Ｄを調節するための制御信号を光学系コントローラ１７０に出力する。例えば、距離制御部１５１は、車両Ｍの速度が大きくなるほど虚像視認距離Ｄを大きくし、車両Ｍの速度が小さくなるほど虚像視認距離Ｄを小さくする。これは、速度が大きいほど運転者は遠方を視認する傾向があることに合わせたものである。
【００４９】
俯角制御部１５２は、凹面鏡１２６の反射角度φを調節するための制御信号を光学系コントローラ１７０に出力する。例えば、俯角制御部１５２は、操作スイッチ１３０に対する操作に基づいて、反射角度φを調節する。また、俯角制御部１５２は、虚像視認距離Ｄが大きくなるほど、反射角度φを小さくし、俯角θを小さくする。
【００５０】
運転支援画像生成部１５３は、表示装置１００が虚像ＶＩとして提供する画像（以下、これを単に画像と称する）のうち、物標に関連しない、比較的定常的に表示される運転支援画像を生成し、ディスプレイコントローラ１７２を介して投光装置１２０に画像光を投射させる。運転支援画像は、例えば、車両Ｍの速度、駆動力配分比率、エンジン回転数、運転支援機能の動作状態、シフト位置などを表示する画像である。
【００５１】
領域判定部１５４は、物標情報取得装置２１０から入力される物標が、車両の乗員（本実施形態の例では運転者）から見て、表示可能領域Ａ１を通過した先の空間領域内にあるか否かを判定する。図５は、領域判定部１５４の判定手法について説明するための図である。領域判定部１５４は、物標が、空間領域を路面に射影した路面領域ＲＡ１上にある場合、物標が空間領域内にあると判定する。空間領域は、俯角θによって変動するため、領域判定部１５４は、俯角θに応じた路面領域ＲＡ１のマップを記憶部から読み出し、読み出したマップに基づいて路面領域ＲＡ１を特定する。そして、領域判定部１５４は、路面領域ＲＡ１内に、物標情報取得装置２１０から入力される物標の位置が収まる場合に、物標が空間領域内にあると判定する。
【００５２】
ＡＲ画像生成部１５５は、物標が上記の空間領域内にあると判定された場合、物標に重畳するように見える画像光を投光装置１２０に投射させることで、物標に重畳するように見える画像（ＡＲ画像）を生成する。
【００５３】
図６は、ＡＲ画像の一例を示す図である。図示する例では、車両Ｍの前方において道路を横断する歩行者Ｐが空間領域内にあると判定され、その結果、歩行者Ｐを囲むようなＡＲ画像ＩＭ＿ＡＲ１が生成されている。なお、「生成する」とは便宜的な表現であり、単に記憶装置から画像データを読み出してディスプレイコントローラ１７２に出力し、表示器１１０に表示させる動作を指してもよい。図６の例では、運転支援画像ＩＭ＿ＡＤがＡＲ画像ＩＭ＿ＡＲ１と共に表示されている。
【００５４】
進入判定部１５６は、領域判定部１５４により空間領域内に無いと判定された物標について、物標情報取得装置２１０から入力された物標の位置および相対速度ベクトルに基づいて、所定時間以内に（或いは車両Ｍの走行距離に関して所定距離以内に）空間領域内に進入するか否かを判定する。進入判定部１５６は、例えば、領域判定部１５４が使用するマップを援用し、物標が現在の相対速度ベクトルを一定に維持すると仮定し、所定時間後の位置が路面領域ＲＡ１内であるか否かを判定し、所定時間後の位置が路面領域ＲＡ１内である場合に、「所定時間以内に空間領域内に進入する」と判定する。なお、相対速度ベクトルを一定と仮定するのに代えて、加速度またはジャークを一定と仮定して上記判定を行ってもよい。
【００５５】
存在通知画像生成部１５７は、進入判定部１５６により所定時間以内に空間領域内に進入すると判定された物標について、物標の存在を知らせる画像光を投光装置１２０に投射させることで、まだ表示可能領域Ａ１の先の空間には無い物標の存在を通知する存在通知画像を生成する。
【００５６】
図７は、存在通知画像の一例を示す図である。図示する例では、車両Ｍの前方において道路を横断する歩行者Ｐが所定時間以内に空間領域内に進入すると判定され、歩行者Ｐの接近を通知する存在通知画像ＩＭ＿ＷＮ１が生成されている。ここで、存在通知画像生成部１５７は、物標の相対速度ベクトルを考慮し、物標が表示可能領域Ａ１のどこに最初に現れるかを計算し、最初に現れる箇所（運転者から見た物標が表示可能領域Ａ１に進入する箇所）の付近に存在通知画像ＩＭ＿ＷＮ１を表示してよい。図中、ＶＰは歩行者Ｐの車両Ｍに対する相対速度ベクトルを路面上に射影したものである。存在通知画像生成部１５７は、相対速度ベクトルを路面上に射影したＶＰを延伸させた線が空間領域を路面に射影した路面領域ＲＡ１と交わる点を求め、この点を路面空間からフロントウインドシールドの平面に射影（変換）することで、表示箇所を計算する。そして、計算した表示箇所に存在通知画像ＩＭ＿ＷＮ１が表示されるように画像を生成する。これによって、表示装置１００は、物標の接近および接近方向を直感的に運転者に伝えることができる。
【００５７】
存在通知画像は、ＡＲ画像に比して緊急性の低いものであるため、ＡＲ画像に比して環境色に近い（アンビエントな）画像にすると好適である。存在通知画像生成部１５７は、例えば、車載カメラ（不図示）の撮像画像を解析し、環境色に近い色成分を抽出し、抽出した色成分で存在通知画像を生成してよい。
【００５８】
表示の対象である物標は、歩行者などの「保護対象物」ないし「障害物」に該当するものに限らず、左折地点などの固定物標であってもよい。左折地点などの情報は、例えば、ナビゲーション装置（不図示）などから取得される。図８および図９は、固定物標に対する存在通知画像とＡＲ画像をそれぞれ例示した図である。
【００５９】
図８に示す例では、車両Ｍの前方において、ナビゲーション装置が生成した経路によれば左折すべき地点が存在する。但し、左折する先の道路は、表示可能領域Ａ１よりも前方に存在しており、直接的に左折先の道路を指し示すのは困難である。この場合、存在通知画像生成部１５７は、例えば、ナビゲーション装置が提供するナビ画像と同様の存在通知画像ＩＭ＿ＷＮ２を生成する。
【００６０】
図９に示す例は、図８の場面から時間が経過した場面を示している。この時点において、左折先の道路は表示可能領域Ａ１の側方まで到達している。この場合、存在通知画像生成部１５７は、例えば、路面上に矢印を重畳させて示し、左折すべきである旨の情報を付したＡＲ画像ＩＭ＿ＡＲ２を生成する。これによって、固定物標の接近および接近方向を直感的に運転者に伝えることができる。
【００６１】
なお、進入判定部１５６の処理を省略し、表示装置１００は、全ての物標、あるいは進入判定部１５６とは異なる手法で絞り込まれた物標について、存在通知画像を表示してもよい。
【００６２】
存在通知画像生成部１５７は、物標が所定時間以内に空間領域内に進入する場合において、進入するまでの時間に応じて、存在通知画像ＩＭ＿ＷＮの表示態様を変更してもよい。進入するまでの時間は、相対速度ベクトルと、物標と路面領域ＲＡ１との距離とに基づいて計算される。図１０は、存在通知画像の変化の一例を示す図である。図示するように、存在通知画像生成部１５７は、進入するまでの時間が短くなるのに応じて、存在通知画像ＩＭ＿ＷＮを、誘目性の高い画像に変更してもよい。より誘目性の高い画像とは、例えば、表示領域または表示要素（図形や文字）のサイズがより大きい、色彩が原色に近い、或いは意味表現が緊急性を感じさせる画像である。これによって、表示装置１００は、物標の接近を更に直感的に運転者に伝えることができる。
【００６３】
図１１は、表示制御装置１５０により実行される処理の流れの一例を示すフローチャートである。表示制御装置１５０は、物標情報取得装置２１０から物標に関する情報が取得されたか否かを判定する（ステップＳ１００）。物標に関する情報が取得されていない場合、運転支援画像生成部１５３が、運転支援画像を生成して表示する（ステップＳ１０２）。
【００６４】
物標に関する情報が取得された場合、領域判定部１５４は、物標が運転者から見て、表示可能領域Ａ１を通過した先の空間領域内にあるか否かを判定する（ステップＳ１０４）。空間領域内にあると判定された場合、ＡＲ画像生成部１５５が、当該物標に関するＡＲ画像を生成して表示する（ステップＳ１０６）。このとき、運転支援画像も併せて表示されてよいし、表示されなくてもよい。
【００６５】
空間領域内にないと判定された場合、進入判定部１５６は、物標が所定時間以内に空間領域内に進入するか否かを判定する（ステップＳ１０８）。物標が所定時間以内に空間領域内に進入すると判定された場合、存在通知画像生成部１５７は、存在通知画像を生成して表示する（ステップＳ１１０）。このとき、運転支援画像も併せて表示されてよいし、表示されなくてもよい。物標が所定時間以内に空間領域内に進入しないと判定された場合、運転支援画像生成部１５３が、運転支援画像を生成して表示する（ステップＳ１０２）。
【００６６】
以上説明した実施形態の表示装置１００によれば、物標が、車両の乗員（運転者）から見て表示可能領域Ａ１を通過した先の空間領域内にあるか否かを判定し、空間領域内にある場合、ＡＲ画像を表示し、空間領域内に無い場合、存在通知画像を表示することで、ＡＲ表示の領域外の世界を好適にカバーすることができる。
【００６７】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【００６８】
１０…ステアリングホイール、２０…フロントウインドシールド、３０…インストルメントパネル、４０…運転席、５０−１…第１表示部、５０−２…第２表示部、６２…第２地図情報、１００…表示装置、１１０…表示器、１１５…筐体、１２０…投光装置、１２０Ａ…光源、１２０Ｂ…表示素子、１２２…光学機構、１２４…平面鏡、１２６…凹面鏡、１２８…透光カバー、１３０…操作スイッチ、１３２…メインスイッチ、１３４…調節スイッチ、１３６…調節スイッチ、１５０…表示制御装置、１５１…距離制御部、１５２…俯角制御部、１５３…運転支援画像生成部、１５４…領域判定部、１５５…ＡＲ画像生成部、１５６…進入判定部、１５７…存在通知画像生成部、１６２…レンズ位置センサ、１６４…凹面鏡角度センサ、１７０…光学系コントローラ、１７２…ディスプレイコントローラ、１８０…レンズアクチュエータ、１８２…凹面鏡アクチュエータ、２００…車両制御装置、２１０…物標情報取得装置、Ａ１…表示可能領域、ＩＬ…画像光、ＶＩ…虚像
【図１】
2020024561.tif 000003
【図２】
2020024561.tif 000004
【図３】
2020024561.tif 000005
【図４】
2020024561.tif 000006
【図５】
2020024561.tif 000007
【図６】
2020024561.tif 000008
【図７】
2020024561.tif 000009
【図８】
2020024561.tif 000010
【図９】
2020024561.tif 000011
【図１０】
2020024561.tif 000012
【図１１】
2020024561.tif 000013