(57)【要約】【課題】  実景に融和させつつ、車両の運転者に情報を効果的に認識させる。【解決手段】  プロセッサ１６は、画像２００の座標と、画像２００の報知必要度と、を取得し、報知必要度に基づき、画像２００の基準サイズを設定し、画像２００の座標から車両１までの距離が短くなるにつれて、基準サイズを基準にして画像２００のサイズを徐々に大きく設定し、画像表示部１１が、設定された座標、サイズで運転者４に視認されるように画像２００を表示する。 【選択図】  図１
2020032866.tif 000002
【特許請求の範囲】
【請求項１】
車両（１）の運転者から見て前景（３００）に重なる領域に画像（２００）を表示する車両用仮想現実提供装置（１０）において、
画像表示部（１１，１２）と、
１つ又はそれ以上の周辺インタフェース（１４）と、
１つ又はそれ以上のプロセッサ（２０）と、
メモリ（２２）と、
前記メモリ（２２）に格納され、前記１つ又はそれ以上のプロセッサ（２０）によって実行されるように構成される１つ又はそれ以上のコンピュータ・プログラムと、を備え、
前記１つ又はそれ以上のコンピュータ・プログラムは、
前記１つ又はそれ以上の周辺インタフェース（１４）から、前記画像（２００）の座標、又は前記画像（２００）の前記座標を設定する元となる車両（１）の前方情報と、前記画像（２００）の報知必要度、又は前記画像（２００）の前記報知必要度を推定する元となる必要度情報と、を取得し、
前記報知必要度に基づき、前記画像（２００）のサイズを決定し、
前記画像表示部（１１，１２）が、前記相対位置、前記サイズで運転者に視認されるように前記画像（２００）を表示する、
命令を含む、車両用仮想現実提供装置。
【請求項２】
前記１つ又はそれ以上のコンピュータ・プログラムは、
追加して表示される前記画像の前記報知必要度が、既に表示されていた前記画像の前記報知必要度より低いか判定する、命令をさらに含み、
前記報知必要度に基づき、前記画像（２００）のサイズを決定する命令は、
追加して表示される前記画像の前記報知必要度の方が低くなければ、既に表示されていた前記画像のサイズを、前記報知必要度に基づき決定される前記画像（２００）のサイズより小さく設定すること、を含む請求項１に記載の車両用仮想現実提供装置。
【請求項３】
前記１つ又はそれ以上のコンピュータ・プログラムは、
追加して表示される前記画像の前記報知必要度が、既に表示されていた前記画像の前記報知必要度より低いか判定する、命令をさらに含み、
前記報知必要度に基づき、前記画像（２００）のサイズを決定する命令は、
追加して表示される前記画像の前記報知必要度の方が低ければ、追加して表示される前記画像のサイズを、前記報知必要度に基づき決定される前記画像（２００）のサイズより小さく設定すること、を含む請求項１に記載の車両用仮想現実提供装置。
【請求項４】
車両（１）の運転者から見て前景（３００）に重なる領域に画像（２００）を表示する車両用仮想現実提供装置（１０）において、
画像表示部（１１，１２）と、
１つ又はそれ以上の周辺インタフェース（１４）と、
１つ又はそれ以上のプロセッサ（２０）と、
メモリ（２２）と、
前記メモリ（２２）に格納され、前記１つ又はそれ以上のプロセッサ（２０）によって実行されるように構成される１つ又はそれ以上のコンピュータ・プログラムと、を備え、
前記１つ又はそれ以上のコンピュータ・プログラムは、
前記１つ又はそれ以上の周辺インタフェース（１４）から、前記画像（２００）の座標、又は前記画像（２００）の前記座標を設定する元となる車両（１）の前方情報と、前記画像（２００）の報知必要度、又は前記画像（２００）の前記報知必要度を推定する元となる必要度情報と、を取得し、
前記報知必要度に基づき、前記画像（２００）の基準サイズを設定し、
前記座標から車両までの距離が短くなるにつれて、前記基準サイズを基準にして前記画像（２００）のサイズを徐々に大きく設定し、
前記画像表示部（１１，１２）が、設定された前記座標、前記サイズで運転者に視認されるように前記画像（２００）を表示する、
命令を含む、車両用仮想現実提供装置。
【請求項５】
前記報知必要度に基づき、前記画像（２００）の基準サイズを設定する命令は、
前記座標が前記車両から遠方に設定された前記画像（２００）の前記報知必要度が、前記座標が前記車両から近傍に設定された前記画像（２００）の前記報知必要度より高いか判定し、
前記座標が前記車両から遠方に設定された前記画像（２００）の前記報知必要度の方が高ければ、前記座標が前記車両から遠方に設定された前記画像（２００）の前記基準サイズを、前記報知必要度に基づき決定される前記画像（２００）の前記基準サイズより大きく設定すること、を含む請求項４に記載の車両用仮想現実提供装置。
【請求項６】
前記報知必要度に基づき、前記画像（２００）の前記基準サイズを決定する命令は、
追加して表示される前記画像の前記報知必要度が、既に表示されていた前記画像の前記報知必要度より低いか判定し、
追加して表示される前記画像の前記報知必要度の方が低くなければ、既に表示されていた前記画像の前記基準サイズを、前記報知必要度に基づき決定される前記画像（２００）の前記基準サイズより小さく設定すること、を含む請求項４に記載の車両用仮想現実提供装置。
【請求項７】
前記報知必要度に基づき、前記画像（２００）の前記基準サイズを決定する命令は、
追加して表示される前記画像の前記報知必要度が、既に表示されていた前記画像の前記報知必要度より低いか判定し、
追加して表示される前記画像の前記報知必要度の方が低ければ、追加して表示される前記画像の前記基準サイズを、前記報知必要度に基づき決定される前記画像（２００）の前記基準サイズより小さく設定すること、を含む請求項４に記載の車両用仮想現実提供装置。
【請求項８】
画像表示部（１１，１２）と、１つ又はそれ以上の周辺インタフェース（１４）と、を有し、車両（１）の運転者から見て前景（３００）に重なる領域に画像（２００）を表示する車両用仮想現実提供装置（１０）において、
前記１つ又はそれ以上の周辺インタフェース（１４）から、前記画像（２００）の座標、又は前記画像（２００）の前記座標を設定する元となる車両（１）の前方情報と、前記画像（２００）の報知必要度、又は前記画像（２００）の前記報知必要度を推定する元となる必要度情報と、を取得することと、
前記報知必要度に基づき、前記画像（２００）のサイズを決定することと、
前記画像表示部（１１，１２）が、前記座標、前記サイズで運転者に視認されるように前記画像（２００）を表示することと、
を含む、方法。
【請求項９】
画像表示部（１１，１２）と、１つ又はそれ以上の周辺インタフェース（１４）と、を有し、車両（１）の運転者から見て前景（３００）に重なる領域に画像（２００）を表示する車両用仮想現実提供装置（１０）において、
前記１つ又はそれ以上の周辺インタフェース（１４）から、前記画像（２００）の座標、又は前記画像（２００）の前記座標を設定する元となる車両（１）の前方情報と、前記画像（２００）の報知必要度、又は前記画像（２００）の前記報知必要度を推定する元となる必要度情報と、を取得することと、
前記報知必要度に基づき、前記画像（２００）の基準サイズを設定することと、
前記座標から車両（１）までの距離が短くなるにつれて、前記基準サイズを基準にして前記画像（２００）のサイズを徐々に大きく設定することと、
前記画像表示部（１１，１２）が、設定された前記座標、前記サイズで運転者に視認されるように前記画像（２００）を表示することと、
を含む、方法。
【請求項１０】
請求項８又は請求項９に記載の方法を実行するための命令を含む、コンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、車両で使用され、車両の前景に画像を重畳して視認させる車両用仮想現実提供装置、方法、及びコンピュータ・プログラムに関する。
【背景技術】
【０００２】
特許文献１には、車両の運転席にいる視認者（運転者）から見て、車両の前方の道路標識（実オブジェクト）に重なる（道路標識を囲む）位置に画像を表示するヘッドアップディスプレイ装置（車両用仮想現実提供装置）が開示されている。特に、特許文献１には、特許文献１の図９に示されるように、車両と実オブジェクトの距離に応じて、画像のサイズと位置を変化させることが開示されている。具体的には、車両の進行に伴って実オブジェクトが接近するに従い、画像のサイズを大きくし、かつ実オブジェクトとの相対位置が概ね一定に保たれているように画像の位置を変化させることで、実景に画像を融和させる仮想現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）を生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−０１１６６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の車両用仮想現実提供装置では、車両（車両用仮想現実提供装置）から実オブジェクトまでの距離に応じて画像のサイズが変化しているため、遠方に仮想的に配置された画像が小さく表示され、認識しづらく、また、運転者により優先的に認識して欲しい画像であっても、前述したように、画像の座標が遠方であれば認識しづらいといった問題があった。
【課題を解決するための手段】
【０００５】
本明細書に開示される特定の実施形態の要約を以下に示す。これらの態様が、これらの特定の実施形態の概要を読者に提供するためだけに提示され、この開示の範囲を限定するものではないことを理解されたい。実際に、本開示は、以下に記載されない種々の態様を包含し得る。
【０００６】
本開示の概要は、実景に融和させつつ、車両の運転者に情報を効果的に認識させる画像を表示することに関する。より具体的には、画像の座標に車両（車両用仮想現実提供装置）が接近するに従い、実景の接近に追従するように画像の位置を変化させることで実景に融和させやすくしつつ、画像サイズを調整することで視覚的注意の向きやすさを意図的に調整することで効果的に情報を車両の運転者に認識させる。
【０００７】
したがって、本明細書に記載される車両用仮想現実提供装置は、前景との相対位置が変化しないように画像の位置を連続的に変化させつつ、報知必要度に応じたサイズで画像を表示する。いくつかの実施形態では、前景との相対位置が変化しないように画像の位置を変化させつつ、報知必要度に応じて設定された基準サイズを基準にして、画像が設定された相対位置から車両までの距離が短くなるにつれて、画像のサイズを徐々に大きく視認されるように表示してもよい。
【図面の簡単な説明】
【０００８】
【図１】車両用仮想現実提供装置のいくつかの実施形態を示す図である。
【図２】いくつかの実施形態に係る、車両用仮想現実提供装置のブロック図である。
【図３Ａ】いくつかの実施形態に係る、車両用仮想現実提供装置の画像の表示例を示す図である。
【図３Ｂ】図３Ａに示す状況から車両がさらに進行した際の画像の表示例を示す図である。
【図３Ｃ】図３Ｂに示す状況から車両がさらに進行した際の画像の表示例を示す図である。
【図４Ａ】いくつかの実施形態に係る、車両用仮想現実提供装置の画像の表示例を示す図である。
【図４Ｂ】図４Ａに示す状況から車両がさらに進行した際の画像の表示例を示す図である。
【図４Ｃ】図４Ｂに示す状況から車両がさらに進行した際の画像の表示例を示す図である。
【図５Ａ】いくつかの実施形態に係る、車両用仮想現実提供装置の画像の表示例を示す図である。
【図５Ｂ】図５Ａに示す状況から車両がさらに進行した際の画像の表示例を示す図である。
【図５Ｃ】図５Ｂに示す状況から車両がさらに進行した際の画像の表示例を示す図である。
【図６Ａ】いくつかの実施形態に係る、車両用仮想現実提供装置の画像の表示例を示す図である。
【図６Ｂ】図６Ａに示す状況から車両がさらに進行した際の画像の表示例を示す図である。
【図６Ｃ】図６Ｂに示す状況から車両がさらに進行した際の画像の表示例を示す図である。
【発明を実施するための形態】
【０００９】
以下に、本発明に係る実施形態について図面を参照して説明する。なお、本発明は以下の実施形態（図面の内容も含む。）によって限定されるものではない。下記の実施形態に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。
【００１０】
以下、図１及び図２では、例示的な車両用仮想現実提供装置の説明を提供する。図３Ａ〜図３Ｃ、図４Ａ〜図４Ｃ、図５Ａ〜図５Ｃ、及び図６Ａ〜図６Ｃでは、表示例を提供する。
【００１１】
図１を参照する。車両用仮想現実提供装置１０における画像２００を表示する画像表示部１１は、自車両１のダッシュボード５内に設けられたヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ−Ｕｐ  Ｄｉｓｐｌａｙ）装置である。ＨＵＤ装置は、表示光１１ａをフロントウインドシールド２（被投影部材の一例である）に向けて出射し、仮想的な表示領域１００内に画像２００を表示することで、フロントウインドシールド２を介して視認される現実空間である前景３００に重ねて画像２００を視認させる。
【００１２】
また、車両用仮想現実提供装置１０における画像２００を表示する画像表示部１２は、ヘッドマウントディスプレイ（以下、ＨＭＤ）装置であってもよい。運転者４は、ＨＭＤ装置を頭部に装着して自車両１の座席に着座することで、表示される画像２００を、自車両１のフロントウインドシールド２を介した前景３００に重畳して視認する。車両用仮想現実提供装置１０が所定の画像２００を表示する表示領域１００は、自車両１の座標系を基準とした特定の位置に固定され、運転者４がその方向を向くと、その特定の位置に固定された表示領域１００内に表示された画像２００を視認することができる。
【００１３】
画像表示部１１，１２は、自車両１のフロントウインドシールド２を介して視認される現実空間である前景３００に存在する、障害物（歩行者３１０、自転車、自動二輪車、他車両）、路面３２０、図示しない道路標識、建物、などの実オブジェクトの近傍（画像と実景との位置関係の一例）、前記実オブジェクトに重なる位置（画像と実景との位置関係の一例）、又は前記実オブジェクトを基準に設定された位置（画像と実景との位置関係の一例）に画像２００を視認させることで、視覚的な拡張現実（ＡＲ、Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）を形成することもできる。
【００１４】
図２は、いくつかの実施形態に係る、車両用仮想現実提供装置１０のブロック図である。車両用仮想現実提供装置１０は、画像表示部１１（１２）、周辺インタフェース１４、１つ又はそれ以上のプロセッサ１６、記憶部１８、及び画像処理回路２０を備える。図２に記載される様々な機能ブロックは、ハードウェア、ソフトウェア、又はこれら両方の組み合わせで構成されてもよい。図２は、実施態様の一実施例に過ぎず、図示された構成要素は、より数の少ない構成要素に組み合わされてもよく、又は追加の構成要素があってもよい。例えば、画像処理回路２０（例えば、グラフィック処理ユニット）が、１つ又はそれ以上のプロセッサ１６に含まれてもよい。
【００１５】
図示するように、プロセッサ１６及び画像処理回路２０は、記憶部１８と動作可能に連結される。より具体的には、プロセッサ１６及び画像処理回路２０は、記憶部１８に記憶されているプログラムを実行することで、例えば画像データを生成又は／及び送信するなど、車両用仮想現実提供装置１０の操作を行うことができる。プロセッサ１６又は／及び画像処理回路２０は、少なくとも１つの汎用マイクロプロセッサ（例えば、中央処理装置（ＣＰＵ））、少なくとも１つの特定用途向け集積回路（ＡＳＩＣ）、少なくとも１つのフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はそれらの任意の組み合わせを含むことができる。記憶部１８は、ハードディスクのような任意のタイプの磁気媒体、ＣＤ及びＤＶＤのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリは、ＤＲＡＭ及びＳＲＡＭを含み、不揮発性メモリは、ＲＯＭ及びＮＶＲＯＭを含んでもよい。
【００１６】
図示するように、プロセッサ１６は、周辺インタフェース１４と動作可能に連結されている。例えば、周辺インタフェース１４は、車両用仮想現実提供装置１０を、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワークなどのパーソナルエリアネットワーク（ＰＡＮ）、８０２．１１ｘ Ｗｉ−Ｆｉ（登録商標）ネットワークなどのローカルエリアネットワーク（ＬＡＮ）、４Ｇ又はＬＴＥ（登録商標）セルラーネットワークなどの広域ネットワーク（ＷＡＮ）に接続する無線通信インタフェースを含むことができる。また、周辺インタフェース１４は、例えば、ＵＳＢポート、シリアルポート、パラレルポート、ＯＢＤＩＩ、及び／又は他の任意の適切な有線通信ポートなどの有線通信インタフェースを含むことができる。
【００１７】
図示するように、プロセッサ１６は、周辺インタフェース１４と相互動作可能に連結されることで、車両用仮想現実提供装置１０（周辺インタフェース１４）に接続される種々の他の電子機器等と情報を授受可能となる。周辺インタフェース１４には、例えば、自車両１に設けられた車両ＥＣＵ４０１、道路情報データベース４０３、自車位置検出部４０５、車外センサ４０７、アイポイント検出部４０９、携帯情報端末４１１、及び車外通信接続機器４２０などが動作可能に連結される。画像表示部１１，１２は、プロセッサ１６及び画像処理回路２０に動作可能に連結される。したがって、画像表示部１１，１２によって表示される画像は、プロセッサ１６又は／及び画像処理回路２０から受信された画像データに基づいてもよい。プロセッサ１６及び画像処理回路２０は、周辺インタフェース１４から得られる情報に基づき、画像表示部１１，１２が表示する画像を制御する。なお、周辺インタフェース１４は、車両用仮想現実提供装置１０に接続される他の電子機器等から受信する情報を加工（変換、演算、解析）する機能を含んでいてもよい。
【００１８】
自車両１は、自車両１の状態（例えば、走行距離、車速、エンジン回転数、各種警告状態）などを検出する車両ＥＣＵ４０１を含んでいる。車両ＥＣＵ４０１は、自車両１の各部を制御するものであり、例えば、自車両１の現在の車速を示す車速情報をプロセッサ１６へ送信することができる。なお、車両ＥＣＵ４０１は、車両用仮想現実提供装置１０が表示する画像２００を指示する指示信号を周辺インタフェース１４に送信してもよく、この際、画像２００の座標、画像２００の報知必要度、又は／及び報知必要度を決定する元となる必要度情報を、指示信号に付加して送信してもよい。
【００１９】
自車両１は、ナビゲーションシステム等からなる道路情報データベース４０３（道路形状取得部の一例）を含んでいてもよい。道路情報データベース４０３は、後述する自車位置検出部４０５から取得される自車両１の位置に基づき、前方情報の一例である自車両１が走行する道路情報（車線，白線，停止線，横断歩道，道路の幅員，車線数，交差点，カーブ，分岐路，交通規制等の有無、位置（自車両１までの距離を含む）、形状、種類などを含む）を読み出し、プロセッサ１６に送信することができる。
【００２０】
自車両１は、ＧＮＳＳ（全地球航法衛星システム）等からなる自車位置検出部４０５を含んでいてもよい。道路情報データベース４０３、後述する携帯情報端末４１１、又は／及び車外通信接続機器４２０は、自車位置検出部４０５から自車両１の位置情報を連続的又は断続的に取得することで、自車両１の周辺の情報を選択・生成して、プロセッサ１６に送信することができる。
【００２１】
自車両１は、自車両１の周辺（本実施形態では特に前景３００）に存在する実オブジェクトを検出する１つ又はそれ以上の車外センサ４０７を含んでいてもよい。車外センサ４０７が検知する実オブジェクトは、例えば、歩行者、自転車、自動二輪車、他車両（先行車等）、区画線、路側物、又は／及び建物などを含んでいてもよい。外界センサとしては、例えば、ミリ波レーダ、超音波レーダ、レーザレーダ等のレーダセンサ、カメラと画像処理装置からなるカメラセンサがあり、レーダセンサ、カメラセンサの両方の組み合わせで構成されてもよく、どちらか一方だけで構成されてもよい。これらレーダセンサやカメラセンサによる物体検知については従来の周知の手法を適用する。これらのセンサによる物体検知によって、三次元空間内での実オブジェクトの有無、実オブジェクトが存在する場合には、その実オブジェクトの位置（自車両１からの相対的な距離、自車両１の進行方向を前後方向とした場合の左右方向の位置、上下方向の位置等）、大きさ（横方向（左右方向）、高さ方向（上下方向）等の大きさ）、又は／及び種類等を検出してもよい。１つ又はそれ以上の車外センサ４０７は、各センサの検知周期毎に、自車両１の前方の実オブジェクトを検知して、前方情報の一例である実オブジェクト情報（実オブジェクトの有無、実オブジェクトが存在する場合には実オブジェクト毎の位置、大きさ、又は／及び種類等の情報）をプロセッサ１６に送信することができる。なお、これら実オブジェクト情報は、他の機器（例えば、車両ＥＣＵ４０１）を経由してプロセッサ１６に送信されてもよい。また、夜間等の周辺が暗いときでも実オブジェクトが検知できるように、センサとしてカメラを利用する場合には赤外線カメラや近赤外線カメラが望ましい。また、センサとしてカメラを利用する場合、視差で距離等も取得できるステレオカメラが望ましい。
【００２２】
自車両１は、運転者４の目の位置を検出する赤外線カメラ等からなるアイポイント検出部４０９を含んでいてもよい。プロセッサ１６は、赤外線カメラが撮像した画像（目の位置を推定可能な情報の一例）を取得し、この撮像画像を解析することで運転者４の目の位置を特定することができる。なお、プロセッサ１６は、赤外線カメラの撮像画像から特定された運転者４の目の位置の情報を周辺インタフェース１４から取得するものであってもよい。なお、自車両１の運転者４の目の位置、又は運転者４の目の位置を推定可能な情報を取得する方法は、これらに限定されるものではなく、既知のアイポイント検出（推定）技術を用いて取得されてもよい。プロセッサ１６は、運転者４の目の位置に基づき、画像２００の位置を少なくとも調整することで、前景３００の所望の位置に重畳した画像２００を視認させてもよい。
【００２３】
携帯情報端末４１１は、スマートフォン、ノートパソコン、スマートウォッチ、又は運転者４（又は自車両１の他の乗員）が携帯可能なその他の情報機器である。周辺インタフェース１４は、予め携帯情報端末４１１とペアリングしておくことで、携帯情報端末４１１と通信を行うことが可能であり、携帯情報端末４１１（又は携帯情報端末を通じたサーバ）に記録されたデータを取得する。携帯情報端末４１１は、例えば、上述の道路情報データベース４０３及び自車位置検出部４０５と同様の機能を有し、前記道路情報（前方情報の一例）を取得し、プロセッサ１６に送信してもよい。また、携帯情報端末４１１は、自車両１の近傍の商業施設に関連するコマーシャル情報（前方情報の一例）を取得し、プロセッサ１６に送信してもよい。なお、携帯情報端末４１１は、携帯情報端末４１１の所持者（例えば、運転者４）のスケジュール情報、携帯情報端末４１１での着信情報、メールの受信情報などをプロセッサ１６に送信し、プロセッサ１６及び画像処理回路２０は、これらに関する画像データを生成又は／及び送信してもよい。
【００２４】
車外通信接続機器４２０は、自車両１と情報のやりとりする通信機器であり、例えば、自車両１と車車間通信（Ｖ２Ｖ：Vehicle To Vehicle）により接続される他車両、歩車間通信（Ｖ２Ｐ：Vehicle To Pedestrian）により接続される歩行者（歩行者が携帯する携帯情報端末）、路車間通信（Ｖ２Ｉ：Vehicle To roadside Infrastructure）により接続されるネットワーク通信機器であり、広義には、自車両１との通信（Ｖ２Ｘ：Vehicle To Everything）により接続される全てのものを含む。車外通信接続機器４２０は、例えば、上述の自車位置検出部４０５と同様の機能を有し、自車両１の位置情を取得し、プロセッサ１６に送信してもよく、さらに上述の道路情報データベース４０３の機能も有し、前記道路情報（前方情報の一例）を取得し、プロセッサ１６に送信してもよい。なお、車外通信接続機器４２０から取得される情報は、上述のものに限定されない。
【００２５】
記憶部１８に記憶されたソフトウェア構成要素は、前方情報検出モジュール５０２、報知必要度検出モジュール５０４、報知必要度推定モジュール５０６、画像位置決定モジュール５０８、画像サイズ決定モジュール５１０、アイポイント検出モジュール５１２、及びグラフィックモジュール５１４を含む。
【００２６】
前方情報検出モジュール５０２は、後述する画像２００の座標を決定する元となる、自車両１の前方情報を検出する。前方情報検出モジュール５０２は、例えば、車外センサ４０７又は車外通信接続機器４２０から、自車両１の前景３００に存在する実オブジェクト（図３Ａ〜図３Ｃ、図５Ａ〜図５Ｃ、図６Ａ〜図６Ｃの歩行者）の位置（前方情報の一例）を取得してもよい。また、前方情報検出モジュール５０２は、例えば、道路情報データベース４０３、携帯情報端末４１１又は車外通信接続機器４２０から、自車両１が走行する道路情報（前方情報の一例）を取得してもよい。前方情報検出モジュール５０２は、実オブジェクト３１０の大きさ（横方向、高さ方向の大きさ）、又は／及び種類等を検出してもよい。
【００２７】
報知必要度検出モジュール５０４は、前方情報検出モジュール５０２が検出した前方情報とともに、その前方情報を運転者４に報知する必要度（報知必要度）を検出する。報知必要度検出モジュール５０４は、周辺インタフェース１４に接続される種々の他の電子機器から報知必要度を検出してもよい。また、図２で周辺インタフェース１４に接続された電子機器が車両ＥＣＵ４０１に情報を送信し、報知必要度検出モジュール５０４は、受信した情報に基づき車両ＥＣＵ４０１が決定した報知必要度を検出してもよい。『報知必要度』は、例えば、起こり得る自体の重大さの程度から導き出される危険度、反応行動を起こすまでに要求される反応時間の長短から導き出される緊急度、自車両１や運転者４（又は自車両１の他の乗員）の状況から導き出される有効度、又はこれらの組み合わせなどで決定され得る。
【００２８】
報知必要度推定モジュール５０６は、画像２００の報知必要度を推定する元となる必要度情報を検出し、これから報知必要度を推定する。画像２００の報知必要度を推定する元となる必要度情報は、例えば、実オブジェクトや交通規制（道路情報の一例）の位置、種類などで推定されてもよく、周辺インタフェース１４に接続される種々の他の電子機器から入力される他の情報に基づいて、又は他の情報を加味して推定されてもよい。なお、車両用仮想現実提供装置１０は、本質的には、前記報知必要度に基づき画像２００のサイズを調整する機能を有していればいいので、前記報知必要度を推定する機能を有していなくてもよく、前記報知必要度を推定する機能の一部又は全部は、プロセッサ１６とは別に設けられてもよい。
【００２９】
画像位置決定モジュール５０８は、前方情報検出モジュール５０２により検出された前記前方情報に基づき、画像２００の座標（運転者４が自車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）を少なくとも含む）を決定する。特定の実オブジェクト３１０に関連する画像２００を表示する場合、画像位置決定モジュール５０８は、特定の実オブジェクト３１０と所定の位置関係になるように画像２００の座標を決定する。例えば、画像２００の中心が実オブジェクト３１０の中心と重なって視認されるように、画像２００の左右方向、及び上下方向の位置を決定する。また、特定の実オブジェクト３１０に関連しない画像２００を表示する場合、画像位置決定モジュール５０８は、自車両１の前方の実オブジェクト３１０と所定の位置関係になるように、画像２００の座標を決定する。例えば、自車両１が走行する車線３２０の左側の区画線３１１や右側の区画線３１２（図４Ａ〜図４Ｃ参照）を基準に、画像２００の座標を決定してもよい。なお、『所定の位置関係』は、実オブジェクト３１０、又は自車両１の状況などにより調整され得る。
【００３０】
画像サイズ決定モジュール５１０は、画像２００の報知必要度に応じてサイズを調整する。画像サイズ決定モジュール５１０は、画像２００が提示する情報の種類に応じて予め定められた基準サイズを元に、報知必要度が高くなるに従って画像サイズを大きくしてもよい。報知必要度に応じてサイズが変化する画像２００が複数表示されていた場合、画像サイズ決定モジュール５１０は、追加して表示される画像２００の報知必要度と、既に表示されていた画像２００の報知必要度との比較結果に応じて、報知必要度に基づき決定される画像のサイズを補正してもよい。具体的には、追加して表示される画像２００の報知必要度の方が低くなければ、既に表示されていた画像２００のサイズを、報知必要度に基づき決定された画像２００のサイズより小さく設定してもよい。これにより、既に表示されていた画像２００と追加して表示される画像２００とのサイズとの差を、この処理が実行されない場合の両者のサイズの差より大きくすることができ、追加して表示される報知必要度が比較的高い画像２００に視覚的注意を自然に向けさせることができる。また、追加して表示される画像２００の報知必要度の方が低ければ、追加して表示される画像２００のサイズを、報知必要度に基づき決定される画像２００のサイズより小さく設定してもよい。これにより、既に表示されていた画像２００と追加して表示される画像２００とのサイズとの差を、この処理が実行されない場合の両者のサイズの差より大きくすることができ、画像２００が新たに追加された場合であっても新たに表示された画像２００に過度に視覚的注意が向いてしまうことを抑制することができる。
【００３１】
アイポイント検出モジュール５１２は、自車両１の運転者４の眼の位置を検出する。アイポイント検出モジュール５１２は、複数段階で設けられた高さ領域のどこに運転者４の眼の高さがあるかの判定、運転者４の眼の高さ（Ｙ軸方向の位置）の検出、運転者４の眼の高さ（Ｙ軸方向の位置）及び奥行方向の位置（Ｚ軸方向の位置）の検出、運転者４の眼の位置（Ｘ，Ｙ，Ｚ軸方向の位置）の検出、に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。アイポイント検出モジュール５１２は、例えば、アイポイント検出部４０９から運転者４の眼の位置を取得する、又は、アイポイント検出部４０９から運転者４の目の高さを含む目の位置を推定可能な情報を受信し、運転者４の目の高さを含む目の位置を推定する。目の位置を推定可能な情報は、例えば、自車両１の運転席の位置、運転者４の顔の位置、座高の高さ、運転者４による図示しない操作部での入力値などであってもよい。
【００３２】
グラフィックモジュール５１４は、表示される画像２００の、視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）、サイズ、表示位置、表示距離（運転者４から画像２００までの距離）を変更するための様々な既知のソフトウェア構成要素を含む。グラフィックモジュール５１４は、画像位置決定モジュール５０８が設定した座標（運転者４が自車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）を少なくとも含む）、画像サイズ決定モジュール５１０が設定した画像サイズで運転者４に視認されるように画像２００を表示する。グラフィックモジュール５１４は、自車両１の進行に伴い運転者４から見える前景３００が接近すると、その前景３００に対する画像２００の相対位置が変化していないように、前景３００に追従して画像２００の位置を連続的に調整し、報知必要度に変化がなければ、画像サイズを変化させない。したがって、画像２００が表示される位置の変化により自車両１に画像２００が接近しているように認識させつつ、画像サイズは変化しないので、視覚的注意が過度に画像２００に向きにくくすることができる。
【００３３】
図３Ａ、図３Ｂ、図３Ｃは、自車両１の進行に伴う、車両用仮想現実提供装置１０が表示する画像２００の変化を示す図である。車両用仮想現実提供装置１０は、運転者４から見て、自車両１の前景３００に存在する特定の実オブジェクト３１０に重畳する位置に画像２００を表示させ、自車両１の進行に伴って運転者４から見た実オブジェクト３１０の位置が変化すると、特定の実オブジェクト３１０に追従する位置に画像２００を移動させ、報知必要度に変化がなければ、画像サイズを変化させていない。
【００３４】
また、図４Ａ、図４Ｂ、図４Ｃは、自車両１の進行に伴う、車両用仮想現実提供装置１０が表示する他の例の画像２００の変化を示す図である。車両用仮想現実提供装置１０は、運転者４から見て、自車両１の前景３００に存在する実オブジェクト３１０（右側の区画線３１２）の上側に浮遊するように視認される位置に画像２００を表示させ、自車両１の進行による運転者４から見た前景３００の接近に追従する位置に画像２００を移動させ、報知必要度に変化がなければ、画像サイズを変化させていない。このように、画像サイズを、画像２００が関連付けられた奥行方向の位置が近くなっても（自車両１からの距離が短くなっても）、報知必要度に変化がなければ、変化させないことで、過度に画像２００に視覚的注意が向いてしまうことを抑制することができる。
【００３５】
（第２実施形態）
以上に説明した車両用仮想現実提供装置１０では、報知必要度に変化がなければ、画像サイズを変化させていなかったが、第２の実施形態の車両用仮想現実提供装置１０では、自車両１の進行に伴い自車両１が画像２００に設定した座標に近付くに従い、画像サイズを徐々に大きくする点で異なる。
【００３６】
第２実施形態の画像位置決定モジュール５０８は、前方情報検出モジュール５０２により検出された前記前方情報に基づき、画像２００の前景３００に対する奥行方向の座標（運転者４が車両１の運転席から表示領域１００の方向を見た際の奥行き方向（Ｚ軸方向）の位置）も決定する。特定の実オブジェクト３１０に関連する画像２００を表示する場合、画像位置決定モジュール５０８は、特定の実オブジェクト３１０と所定の位置関係になるように、実オブジェクト３１０の近傍に画像２００の座標（上下方向、左右方向、奥行方向）を決定する。例えば、画像２００の中心が実オブジェクト３１０の中心と重なって視認されるように、画像２００の左右方向、及び上下方向の位置を決定し、画像２００の奥行方向の位置を実オブジェクト３１０と同じ位置に決定する。
【００３７】
第２実施形態の画像サイズ決定モジュール５１０は、画像２００の報知必要度に応じて基準サイズを調整し、第２実施形態の画像位置決定モジュール５０８が設定した画像２００の奥行方向（Ｚ軸方向）の位置と自車両１（車両用仮想現実提供装置１０）との間の距離が短くなるに連れて、基準サイズを元に画像サイズを徐々に大きく設定してもよい。画像サイズ決定モジュール５１０は、画像２００が提示する情報の種類に応じて予め定められた基準サイズを元に、報知必要度が高くなるに従って基準サイズを大きくしていき、この基準サイズを元に、画像２００が関連付けられた奥行方向の位置が接近するに従って（自車両１からの距離が短くなるに従って）、画像サイズを徐々に大きく設定してもよい。
【００３８】
図５Ａ、図５Ｂ、図５Ｃは、自車両１の進行に伴う、第２の実施形態の車両用仮想現実提供装置１０が表示する画像２００の変化を示す図である。車両用仮想現実提供装置１０は、運転者４から見て、自車両１の前景３００に存在する特定の実オブジェクト３１０に重畳する位置に画像２００を表示させ、自車両１の進行に伴って運転者４から見た実オブジェクト３１０の位置が変化すると、特定の実オブジェクト３１０に追従する位置に画像２００を移動させ、設定された画像２００の奥行方向（Ｚ軸方向）の位置（例えば、実オブジェクト３１０の奥行方向の位置）の自車両１への接近に伴い、報知必要度に基づいて決定された基準サイズを元に、画像サイズを徐々に大きくする。
【００３９】
図６Ａ、図６Ｂ、図６Ｃは、自車両１の進行に伴う、第２の実施形態の車両用仮想現実提供装置１０が表示する画像２００の変化を示し、画像２００の報知必要度が、図５Ａ〜図５Ｃで示す画像２００の報知必要度より低い場合を示す図である。この場合、画像２００の基準サイズが小さく設定されるため、設定された画像２００の奥行方向（Ｚ軸方向）の位置（例えば、実オブジェクト３１０の奥行方向の位置）と自車両１との距離が同じ（図５Ａと図６Ａとの比較、図５Ｂと図６Ｂと比較、及び図５Ｃと図６Ｃと比較）であっても、画像サイズが小さくなる。
【００４０】
また、第２実施形態の画像サイズ決定モジュール５１０は、報知必要度に応じて基準サイズが変化する画像２００が複数表示されていた場合、画像サイズ決定モジュール５１０は、追加して表示される画像２００の報知必要度と、既に表示されていた画像２００の報知必要度との比較結果に応じて、報知必要度に基づき決定される画像の基準サイズを補正してもよい。具体的には、追加して表示される画像２００の報知必要度の方が低くなければ、既に表示されていた画像２００のサイズを、報知必要度に基づき決定された画像２００のサイズより小さく設定してもよい。これにより、対応づけられた奥行方向の位置が遠方である可能性が高い新たに追加される画像２００に視覚的注意を自然に向けさせることができる。また、追加して表示される画像２００の報知必要度の方が低ければ、追加して表示される画像２００の基準サイズを、報知必要度に基づき決定される画像２００の基準サイズより小さく設定してもよい。これにより、対応づけられた奥行方向の位置が遠方である可能性が高い新たに追加される画像２００と対応づけられた奥行方向の位置が近傍である可能性が高い既に表示されていた画像２００のサイズとの差を、この処理が実行されない場合の両者のサイズの差より大きくすることができ、画像２００が追加された場合であっても新たに表示された画像２００に過度に視覚的注意が向いてしまうことを抑制することができる。
【００４１】
また、第２実施形態の画像サイズ決定モジュール５１０は、相対位置が自車両１から遠方に設定された画像２００の報知必要度が、相対位置が自車両１から近傍に設定された画像２００の報知必要度より高いか判定し、相対位置が自車両１から遠方に設定された画像２００の報知必要度の方が高ければ、相対位置が車両から遠方に設定された画像（２００）の基準サイズを、報知必要度に基づき決定される通常の画像２００の基準サイズより大きく設定してもよい。これにより、関連づけられた奥行方向（Ｚ軸方向）の位置が遠方であり、通常、画像サイズが小さく表示される画像２００であっても、通常表示される画像サイズよりも大きく表示することができるため、視覚的注意を早めに向けさせることができ、事前に自車両１の運行に反映させることもできる。
【００４２】
上述のモジュールのそれぞれは、１つ以上の上述の機能を実行する実行可能な命令及び本出願に記載の方法（例えば、コンピュータにより実行されるプログラム）に対応する。
【００４３】
上述の情報処理プロセスの動作は、汎用プロセッサ又は特定用途向けチップなどの情報処理装置の１つ以上の機能モジュールを実行させることにより実施することができる。これらのモジュール、これらのモジュールの組み合わせ、又は／及びそれらの機能を代替えし得る一般的なハードウェアとの組み合わせは全て、本発明の保護の範囲内に含まれる。
【００４４】
車両用仮想現実提供装置１０の機能ブロックは、任意選択的に、説明される様々な実施例の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実行される。図２で説明する機能ブロックが、説明される実施例の原理を実施するために、任意選択的に、組み合わされ、又は１つの機能ブロックを２以上のサブブロックに分離されてもいいことは、当業者に理解されるだろう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割を、任意選択的に支持する。
［変形例］
【００４５】
図１では、表示領域１００を、自車両１の進行方向（Ｚ軸方向）に対して垂直に設けられているが、これに限定されない。表示領域１００は、例えば、自車両１の車幅方向（Ｘ軸方向）を中心に回転し、自車両１の進行方向（Ｚ軸方向）に対して垂直にならないように設けられてもよい。また、表示領域１００は、１箇所ではなく、例えば、自車両１の進行方向（Ｚ軸方向）の離れた位置に２箇所以上設けられてもよい。また、表示領域１００は、面積領域ではなく、３次元の体積領域であってもよい。すなわち、画像２００は、３次元空間に奥行き方向に移動可能であってもよい。換言すると、画像２００は、表示距離が変化可能であってもよい。
【００４６】
上述実施形態では、グラフィックモジュール５１４は、画像２００が表示される位置及び画像サイズを連続的に変化させることで、画像２００が自車両１に接近しているように視認させていたが、さらに画像２００のプロパティデータ（俯角／仰角）を徐々に変化させてもよい。また、さらに、プロパティデータ（方位角）を徐々に変化させてもよい。
【符号の説明】
【００４７】
１…自車両、２…フロントウインドシールド、４…運転者、５…ダッシュボード、１０…車両用仮想現実提供装置、１１…画像表示部、１１ａ…表示光、１２…画像表示部、１４…周辺インタフェース、１６…プロセッサ、１８…記憶部、２０…画像処理回路、１００…表示領域、２００…画像、３００…前景、３１０…実オブジェクト、３１１…区画線、３１２…区画線、４０１…車両ＥＣＵ、４０３…道路情報データベース、４０５…自車位置検出部、４０７…車外センサ、４０９…アイポイント検出部、４１１…携帯情報端末、４２０…車外通信接続機器、５０２…前方情報検出モジュール、５０４…報知必要度検出モジュール、５０６…報知必要度推定モジュール、５０８…画像位置決定モジュール、５１０…画像サイズ決定モジュール、５１２…アイポイント検出モジュール、５１４…グラフィックモジュール
【図１】
2020032866.tif 000003
【図２】
2020032866.tif 000004
【図３Ａ】
2020032866.tif 000005
【図３Ｂ】
2020032866.tif 000006
【図３Ｃ】
2020032866.tif 000007
【図４Ａ】
2020032866.tif 000008
【図４Ｂ】
2020032866.tif 000009
【図４Ｃ】
2020032866.tif 000010
【図５Ａ】
2020032866.tif 000011
【図５Ｂ】
2020032866.tif 000012
【図５Ｃ】
2020032866.tif 000013
【図６Ａ】
2020032866.tif 000014
【図６Ｂ】
2020032866.tif 000015
【図６Ｃ】
2020032866.tif 000016