(57)【要約】【課題】  車両の運転者に灯具ユニットが照射する光に関する情報を効果的に認識させる。【解決手段】  プロセッサ１６は、周辺インタフェース１４から、自車両１の前方に存在する実オブジェクト３１０に対して自車両１が照射する光パターン２００の状態と、光パターン２００の位置を取得し、光パターン２００の状態に関する情報を含む報知画像１２０の表示位置を、報知画像１２０が光パターン２００の位置の近傍で運転者４に視認されるように決定し、画像表示部１１が、決定された表示位置に報知画像１２０を表示する。 【選択図】  図３Ｃ
2020046892.tif 000002
【特許請求の範囲】
【請求項１】
車両（１）の前景（３００）に重なる領域に画像を表示する車両用表示装置において、
画像表示部（１１，１２）と、
１つ又はそれ以上の周辺インタフェース（１４）と、
１つ又はそれ以上のプロセッサ（１６）と、
メモリ（１８）と、
前記メモリ（１８）に格納され、前記１つ又はそれ以上のプロセッサ（１６）によって実行されるように構成される１つ又はそれ以上のコンピュータ・プログラムと、を備え、
前記１つ又はそれ以上のコンピュータ・プログラムは、
前記１つ又はそれ以上の周辺インタフェース（１４）から、前記車両（１）の前方に存在する実オブジェクト（３１０）に対して前記車両（１）が照射する光パターン（２００）の状態と、前記光パターン（２００）の位置を取得し、
前記光パターン（２００）の状態に関する情報を含む報知画像（１２０）の表示位置を、前記報知画像（１２０）が前記光パターン（２００）の位置の近傍で運転者に視認されるように決定し、
前記画像表示部（１１，１２）が、前記表示位置に前記報知画像（１２０）を表示する、
命令を含む、車両用表示装置。
【請求項２】
前記報知画像（１２０）は、前記光パターン（２００）の状態を示す第１画像（１２１）と、前記実オブジェクト（３１０）の、前記光パターン（２００）との位置関係を表すように前記第１画像（１２１）の近傍に表示される第２画像（１２２）と、を含む、
請求項１に記載の車両用表示装置。
【請求項３】
前記報知画像（１２０）は、前記車両（１）の運転席から前方を向いた際の前記光パターン（２００）と前記実オブジェクトとの左右方向の位置関係を示すように、前記第１画像（１２１）と前記第２画像（１２２）とが前記車両（１）の運転席から前方を向いた際の左右方向に並べて配置される、
請求項２に記載の車両用表示装置。
【請求項４】
前記第１画像（１２１）は、上方から見た前記光パターン（２００）を模したような画像であり、前記第２画像（１２２）は、上方から見た前記実オブジェクト（３１０）を模したような画像である、
請求項３に記載の車両用表示装置。
【請求項５】
前記報知画像（１２０）の前記表示位置は、前記車両（１）の運転席から前方を向いた際の前記実オブジェクト（３１０）の左右方向にずれた位置であり、かつ、前記光パターン（２００）の上下方向にずれた位置である、
請求項１に記載の車両用表示装置。
【請求項６】
前記報知画像（１２０）は、前記光パターン（２００）の方向を指示する第３画像（１２３）を含む、
請求項１に記載の車両用表示装置。
【請求項７】
前記画像表示部（１１，１２）が、前記表示位置に前記報知画像（１２０）を表示する命令が、
前記光パターン（２００）が表示される前に実行される、
請求項１に記載の車両用表示装置。
【請求項８】
前記光パターン（２００）の位置は、前記車両（１）の運転席から前方を向いた際の奥行方向の位置も含み、
前記画像表示部（１１，１２）は、前記車両（１）の運転席から前方を向いた際の前記報知画像（１２０）の奥行方向の位置を調整可能であり、
前記１つ又はそれ以上のコンピュータ・プログラムは、
前記光パターン（２００）の前記奥行方向の位置に近付くように、前記報知画像（１２０）の前記奥行方向の位置を調整する命令をさらに含む、
請求項１に記載の車両用表示装置。
【請求項９】
画像表示部（１１，１２）と、１つ又はそれ以上の周辺インタフェース（１４）と、を有する車両用表示装置において、
前記画像表示部（１１，１２）が、車両（１）の前景（３００）に重なる所定の表示領域（１００）に画像（２００）を表示することと、
前記１つ又はそれ以上の周辺インタフェース（１４）から、前記車両（１）の前方に存在する実オブジェクト（３１０）に対して前記車両（１）が投影する光パターン（２００）の内容と、前記光パターン（２００）の位置を取得することと、
前記光パターン（２００）の内容に関する情報を含む報知画像（１２０）の表示位置を、前記報知画像（１２０）が前記光パターン（２００）の位置の近傍で運転者に視認されるように決定することと、
前記画像表示部（１１，１２）が、前記表示位置に前記報知画像（１２０）を表示することと、
を含む、方法。
【請求項１０】
請求項９に記載の方法を実行するための命令を含む、コンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、車両で使用され、車両の前景に画像を重畳して視認させる車両用表示装置、方法、及びコンピュータ・プログラムに関する。
【背景技術】
【０００２】
特許文献１には、車両の灯具ユニットにより照明される領域を、車両の前方に存在する人物（歩行者）を避けるように設定する車両用の前照灯制御システムが開示されている。
【０００３】
また、特許文献２では、歩行者に道路の横断を促す模様、又は横断禁止を知らせる模様を、車両に設けられた模様照射手段（例えば、車両の灯具ユニット）によって、歩行者の近傍の路面に投影する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１９９２６３号公報
【特許文献２】特開２０１５−１４３０９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１、２の車両の灯具ユニットで、車両の前方の歩行者に対して、歩行者を避ける、歩行者に向ける、又は歩行者に自車両（又は運転者）の意思を提示することが可能であるが、歩行者に対して灯具ユニットがどのような光を照射しているか車両の運転者が認識しづらいといった問題があった。
【課題を解決するための手段】
【０００６】
本明細書に開示される特定の実施形態の要約を以下に示す。これらの態様が、これらの特定の実施形態の概要を読者に提供するためだけに提示され、この開示の範囲を限定するものではないことを理解されたい。実際に、本開示は、以下に記載されない種々の態様を包含し得る。
【０００７】
本開示の概要は、車両の運転者に灯具ユニットが照射する光に関する情報を効果的に認識させることに関する。より具体的には、灯具ユニットが照射する光パターンの状態を認識させやすくすることで、この光パターンに合った車両の運行を促すことも可能とする。
【０００８】
したがって、本明細書に記載される車両用表示装置は、車両が照射する光パターンの状態と位置とを取得し、実景に存在する実オブジェクト対して照射された光パターンの近傍に車両の運転者が視認可能な位置に、光パターンの状態を表す報知画像を表示する。いくつかの実施形態では、この報知画像は、実オブジェクトと光パターンとの位置関係を表す画像を含んでもよく、さらに、車両の運転席から前方を向いた際の光パターンと実オブジェクトとの左右方向の位置関係を示すように、光パターンを表す第１画像と実オブジェクトを表す第２画像とが車両の運転席から前方を向いた際の左右方向に並んで表示してもよい。
【図面の簡単な説明】
【０００９】
【図１】いくつかの実施形態に係る、車両用表示装置の実施例を示す図である。
【図２】いくつかの実施形態に係る、車両用表示装置のブロック図である。
【図３Ａ】いくつかの実施形態に係る、車両用表示装置によって表示される画像の表示例を示す図である。
【図３Ｂ】図３Ａに示す状況から時間がさらに経過した際の画像の表示例を示す図である。
【図３Ｃ】図３Ｂに示す状況から時間がさらに経過した際の画像の表示例を示す図である。
【図４Ａ】いくつかの実施形態に係る、車両用表示装置によって表示される報知画像の表示例を示す図である。
【図４Ｂ】いくつかの実施形態に係る、車両用表示装置によって表示される報知画像の表示例を示す図である。
【図５】いくつかの実施形態に係る、報知画像を表示する際のプロセスを示すフロー図である。
【発明を実施するための形態】
【００１０】
以下に、本発明に係る実施形態について図面を参照して説明する。なお、本発明は以下の実施形態（図面の内容も含む。）によって限定されるものではない。下記の実施形態に変更（構成要素の削除も含む）を加えることができる。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。
【００１１】
以下、図１及び図２では、例示的な車両用表示装置の説明を提供する。図３Ａ〜図３Ｃ、図４Ａ、及び図４Ｂでは、表示例を提供する。図５は、画像を移動するプロセスを示すフロー図である。
【００１２】
図１を参照する。第１の実施形態の車両用表示装置１０における画像を表示する画像表示部１１は、自車両１のダッシュボード５内に設けられたヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ−Ｕｐ  Ｄｉｓｐｌａｙ）装置である。ＨＵＤ装置は、表示光１１ａをフロントウインドシールド２（被投影部材の一例である）に向けて出射し、仮想的な表示領域１００内に画像を表示することで、フロントウインドシールド２を介して視認される現実空間である前景３００に重ねて画像を視認させる。
【００１３】
また、第２の実施形態の車両用表示装置１０における画像を表示する画像表示部１２は、ヘッドマウントディスプレイ（以下、ＨＭＤ）装置である。運転者４は、ＨＭＤ装置を頭部に装着して自車両１の座席に着座することで、表示される画像を、自車両１のフロントウインドシールド２を介した前景３００に重畳して視認する。車両用表示装置１０が所定の画像を表示する表示領域１００は、自車両１の座標系を基準とした特定の位置に固定され、運転者４がその方向を向くと、その特定の位置に固定された表示領域１００内に画像を視認することができる。
【００１４】
画像表示部１１，１２は、自車両１のフロントウインドシールド２を介して視認される現実空間である前景３００に存在する歩行者３１０、路面３２０、図示しない道路標識、建物、障害物（自転車、自動二輪車、他車両）などの実オブジェクトの近傍、又は実オブジェクトに重なる位置に画像を視認させることで、視覚的な拡張現実（ＡＲ、Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）を形成することもできる。
【００１５】
図２は、いくつかの実施形態に係る、車両用表示装置１０のブロック図である。車両用表示装置１０は、画像表示部１１（１２）、周辺インタフェース１４、１つ又はそれ以上のプロセッサ１６、記憶部１８、及び画像処理回路２０を備える。図２に記載される様々な機能ブロックは、ハードウェア、ソフトウェア、又はこれら両方の組み合わせで構成されてもよい。図２は、実施態様の一実施例に過ぎず、図示された構成要素は、より数の少ない構成要素に組み合わされてもよく、又は追加の構成要素があってもよい。例えば、画像処理回路２０（例えば、グラフィック処理ユニット）が、１つ又はそれ以上のプロセッサ１６に含まれてもよい。
【００１６】
図示するように、プロセッサ１６及び画像処理回路２０は、記憶部１８と動作可能に連結される。より具体的には、プロセッサ１６及び画像処理回路２０は、記憶部１８に記憶されているプログラムを実行することで、例えば画像データを生成又は／及び送信するなど、車両用表示装置１０の操作を行うことができる。プロセッサ１６又は／及び画像処理回路２０は、少なくとも１つの汎用マイクロプロセッサ（例えば、中央処理装置（ＣＰＵ））、少なくとも１つの特定用途向け集積回路（ＡＳＩＣ）、少なくとも１つのフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はそれらの任意の組み合わせを含むことができる。記憶部１８は、ハードディスクのような任意のタイプの磁気媒体、ＣＤ及びＤＶＤのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリは、ＤＲＡＭ及びＳＲＡＭを含み、不揮発性メモリは、ＲＯＭ及びＮＶＲＯＭを含んでもよい。
【００１７】
図示するように、プロセッサ１６は、周辺インタフェース１４と動作可能に連結されている。例えば、周辺インタフェース１４は、車両用表示装置１０を、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワークなどのパーソナルエリアネットワーク（ＰＡＮ）、８０２．１１ｘ Ｗｉ−Ｆｉ（登録商標）ネットワークなどのローカルエリアネットワーク（ＬＡＮ）、４Ｇ又はＬＴＥ（登録商標）セルラーネットワークなどの広域ネットワーク（ＷＡＮ）に接続する無線通信インタフェースを含むことができる。また、周辺インタフェース１４は、例えば、ＵＳＢポート、シリアルポート、パラレルポート、ＯＢＤＩＩ、及び／又は他の任意の適切な有線通信ポートなどの有線通信インタフェースを含むことができる。
【００１８】
図示するように、プロセッサ１６は、周辺インタフェース１４と相互動作可能に連結されることで、車両用表示装置１０（周辺インタフェース１４）に接続される種々の他の電子機器等と情報を授受可能となる。周辺インタフェース１４には、例えば、自車両１に設けられた車両ＥＣＵ４０１、道路情報データベース４０３、自車位置検出部４０５、車外センサ４０７、アイポイント検出部４０９、及び車外通信接続機器４２０などが動作可能に連結される。画像表示部１１，１２は、プロセッサ１６及び画像処理回路２０に動作可能に連結される。したがって、画像表示部１１，１２によって表示される画像は、プロセッサ１６又は／及び画像処理回路２０から受信された画像データに基づいてもよい。プロセッサ１６及び画像処理回路２０は、周辺インタフェース１４から得られる情報に基づき、画像表示部１１，１２が表示する画像を制御する。なお、周辺インタフェース１４は、車両用表示装置１０に接続される他の電子機器等から受信する情報を加工（変換、演算、解析）する機能を含んでいてもよい。
【００１９】
自車両１は、自車両１の運転状態（走行中、停車中、加速中、減速中、高速走行中）、及びその他の取得可能な情報（例えば、例えば、走行距離、速度、エンジン回転数、アクセル開度、操舵角、各種警告状態）などを検出する車両ＥＣＵ４０１を含んでいる。車両ＥＣＵ４０１は、自車両１の各部を制御するものであり、例えば、自車両１の現在の速度（運転状態を推定可能な情報の一例）をプロセッサ１６へ送信することができる。なお、車両ＥＣＵ４０１は、車両用表示装置１０が表示する画像を指示する指示信号を周辺インタフェース１４に送信してもよく、この際、画像の座標、画像の報知必要度、又は／及び報知必要度を決定する元となる必要度情報を、指示信号に付加して送信してもよい。
【００２０】
また、車両ＥＣＵ４０１は、自車両１の前方を照らす灯具ユニット（図示しない）の制御ユニット（図示しない）を動作可能に連結される。前記灯具ユニットは、例えば、複数の画素を有するＤＭＤ（Digital Micro−Mirror Device）を有し、単に自車両１の前方を照らすだけではなく、特定の実オブジェクトを避ける光パターン、特定の実オブジェクトに向ける光パターン、又は特定の実オブジェクトの路面３２０に投影画像（光パターンの一例）で光を照射することが可能である。車両ＥＣＵ４０１は、前記制御ユニットから前記灯具ユニットが照射する光パターンの状態と、光パターンの位置とを取得し、周辺インタフェース１４に送信してもよい。光パターンの状態とは、特定の実オブジェクトを避ける光パターンであるのか、特定のオブジェクトに向ける光パターンであるのか、又は特定の実オブジェクトの近傍（例えば、路面３２０）へ表示する投影画像の内容など灯具ユニットの通常の前方照射と異なる状態を含んでもよい。また、光パターンの位置とは、灯具ユニットが光の照射を避ける座標、照射を向ける座標、又は投影画像を表示する座標を含んでもよい。また、座標とは、自車両１の所定の位置を基準とした３次元の車両基準座標系であってもよい。
【００２１】
自車両１は、ナビゲーションシステム等からなる道路情報データベース４０３（道路環境取得部の一例）を含んでいてもよい。道路情報データベース４０３は、後述する自車位置検出部４０５から取得される自車両１の位置に基づき、実オブジェクト情報の一例である自車両１が走行する道路情報（車線，白線，停止線，横断歩道，道路の幅員，車線数，交差点，カーブ，分岐路，交通規制等の有無、位置（自車両１までの距離を含む）、形状、種類（例えば、高速道路、街中の道路）などを含む）を読み出し、プロセッサ１６に送信することができる。
【００２２】
自車両１は、ＧＮＳＳ（全地球航法衛星システム）等からなる自車位置検出部４０５を含んでいてもよい。道路情報データベース４０３、又は／及び後述する車外通信接続機器４２０は、自車位置検出部４０５から自車両１の位置情報を連続的又は断続的に取得することで、自車両１の周辺の情報を選択・生成して、プロセッサ１６に送信することができる。
【００２３】
自車両１は、自車両１の周辺（本実施形態では特に前景３００）に存在する実オブジェクトを検出する１つ又はそれ以上の車外センサ４０７を含んでもよい。車外センサ４０７が検知する実オブジェクトは、例えば、歩行者３１０、路面３２０、区画線３２１，３２２，３２３（図３Ａ〜図３Ｃ参照）、図示しない自転車、自動二輪車、他車両（先行車等）、路側物、又は／及び建物などを含んでいてもよい。外界センサとしては、例えば、ミリ波レーダ、超音波レーダ、レーザレーダ等のレーダセンサ、カメラと画像処理装置からなるカメラセンサがあり、レーダセンサ、カメラセンサの両方の組み合わせで構成されてもよく、どちらか一方だけで構成されてもよい。これらレーダセンサやカメラセンサによる物体検知については従来の周知の手法を適用する。これらのセンサによる物体検知によって、三次元空間内での実オブジェクトの有無、実オブジェクトが存在する場合には、その実オブジェクトの位置（自車両１からの相対的な距離、自車両１の進行方向を前後方向とした場合の左右方向の位置、上下方向の位置等）、大きさ（横方向（左右方向）、高さ方向（上下方向）等の大きさ）、又は／及び種類等を検出してもよい。１つ又はそれ以上の車外センサ４０７は、各センサの検知周期毎に、自車両１の前方の実オブジェクトを検知して、実オブジェクト情報の一例である実オブジェクト情報（実オブジェクトの有無、実オブジェクトが存在する場合には実オブジェクト毎の位置、大きさ、又は／及び種類等の情報）をプロセッサ１６に送信することができる。なお、これら実オブジェクト情報は、他の機器（例えば、車両ＥＣＵ４０１）を経由してプロセッサ１６に送信されてもよい。また、夜間等の周辺が暗いときでも実オブジェクトが検知できるように、センサとしてカメラを利用する場合には赤外線カメラや近赤外線カメラが望ましい。また、センサとしてカメラを利用する場合、視差で距離等も取得できるステレオカメラが望ましい。
【００２４】
自車両１は、運転者４の目の位置を検出する赤外線カメラ等からなるアイポイント検出部４０９を含んでいてもよい。プロセッサ１６は、赤外線カメラが撮像した画像（目の位置を推定可能な情報の一例）を取得し、この撮像画像を解析することで運転者４の目の位置を特定することができる。なお、プロセッサ１６は、赤外線カメラの撮像画像から特定された運転者４の目の位置の情報を周辺インタフェース１４から取得するものであってもよい。なお、自車両１の運転者４の目の位置、又は運転者４の目の位置を推定可能な情報を取得する方法は、これらに限定されるものではなく、既知のアイポイント検出（推定）技術を用いて取得されてもよい。プロセッサ１６は、運転者４の目の位置に基づき、報知画像１２０の位置を少なくとも調整することで、前景３００の所望の位置に重畳した画像を視認させてもよい。
【００２５】
車外通信接続機器４２０は、自車両１と情報のやりとりする通信機器であり、例えば、自車両１と車車間通信（Ｖ２Ｖ：Vehicle To Vehicle）により接続される他車両、歩車間通信（Ｖ２Ｐ：Vehicle To Pedestrian）により接続される歩行者（歩行者が携帯する携帯情報端末）、路車間通信（Ｖ２Ｉ：Vehicle To roadside Infrastructure）により接続されるネットワーク通信機器であり、広義には、自車両１との通信（Ｖ２Ｘ：Vehicle To Everything）により接続される全てのものを含む。車外通信接続機器４２０は、例えば、上記の自車位置検出部４０５と同様の機能を有し、自車両１の位置情報を取得し、プロセッサ１６に送信してもよく、さらに上記の道路情報データベース４０３の機能も有し、前記道路情報（実オブジェクト情報の一例）を取得し、プロセッサ１６に送信してもよい。なお、車外通信接続機器４２０から取得される情報は、上記のものに限定されない。
【００２６】
記憶部１８に記憶されたソフトウェア構成要素は、光パターン検出モジュール５０２、実オブジェクト検出モジュール５０４、実オブジェクト位置推定モジュール５０６、画像位置決定モジュール５０８、運転状態判定モジュール５１０、アイポイント検出モジュール５１２、及びグラフィックモジュール５１４を含む。
【００２７】
光パターン検出モジュール５０２は、後述する報知画像１２０の内容、及び表示位置を決定する元となる、自車両１の灯具ユニットが照射する光パターンの状態と、光パターンの位置を取得する。光パターン検出モジュール５０２は、例えば、車両ＥＣＵ４０１から、自車両１の前景３００（路面３２０）に投影された報知画像１２０（図３Ａ〜図３Ｃ、図４Ａ、図４Ｂ）の位置を取得してもよい。また、光パターン検出モジュール５０２は、車両ＥＣＵ４０１から取得した光パターンの位置と、車外センサ４０７で取得した前景３００に照射された光パターンの位置と、の組み合わせにより光パターンの位置を推定してもよい。
【００２８】
実オブジェクト検出モジュール５０４は、後述する報知画像１２０の座標を決定する元となる、前景３００に存在する実オブジェクトの位置を検出する。実オブジェクト検出モジュール５０４は、例えば、車外センサ４０７又は車外通信接続機器４２０から、自車両１の前景３００に存在する実オブジェクト（図３Ａ〜図３Ｃ、図４Ａ、図４Ｂの歩行者３１０）の位置（実オブジェクト情報の一例）を取得してもよい。実オブジェクト検出モジュール５０４は、実オブジェクト３１０の大きさ（横方向、高さ方向の大きさ）、又は／及び種類等を検出してもよい。
【００２９】
実オブジェクト位置推定モジュール５０６は、後述する報知画像１２０の座標を決定する元となる、前景３００に存在する実オブジェクトの位置を推定する。実オブジェクト位置推定モジュール５０６は、光パターン検出モジュール５０２が取得した光パターン（図３Ａ〜図３Ｃ、図４Ａ、図４Ｂの符号２００）の状態、及び位置から、実オブジェクトの位置を推定してもよい。例えば、実オブジェクト位置推定モジュール５０６は、光パターンが特定の実オブジェクトを避ける、又は向ける状態である場合、光パターンの位置に実オブジェクトが存在すると推定してもよく、光パターンが歩行者３１０の近傍の路面３２０に投影されるものであれば、光パターンの左側又は右側に実オブジェクトが存在すると推定してもよい。なお、光パターンの位置が車線の左側であるか、右側であるかにより、光パターンの左右どちらに実オブジェクトが存在するか推定してもよく、例えば、光パターンの位置が車線の左側にあれば、光パターンの左側に実オブジェクトが存在すると推定してもよい。
【００３０】
画像位置決定モジュール５０８は、光パターン検出モジュール５０２により検出された光パターンの位置に基づき、報知画像１２０の座標（運転者４が自車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）を少なくとも含む）を決定する。画像位置決定モジュール５０８は、灯具ユニットにより照射された光パターン２００と所定の位置関係になるように報知画像１２０の座標を決定する。例えば、報知画像１２０が光パターン２００の上側（Ｙ軸正方向）に視認されるように、報知画像１２０の左右方向、及び上下方向の位置を決定する。また、画像位置決定モジュール５０８は、実オブジェクト検出モジュール５０４により検出された前記実オブジェクト情報、又は実オブジェクト位置推定モジュール５０６により推定された実オブジェクトの位置に基づき、報知画像１２０の座標を決定してもよい。すなわち、画像位置決定モジュール５０８は、特定の実オブジェクト３１０と所定の位置関係になるように報知画像１２０の座標を決定してもよい。例えば、報知画像１２０の右側（Ｘ軸負方向）に視認されるように、報知画像１２０の左右方向、及び上下方向の位置を決定してもよい。また、画像位置決定モジュール５０８は、自車両１が走行する路面３２０の左側の区画線３２１、中央の区画線３２２、又は右側の区画線３２３（図３Ａ〜図３Ｃ、図４Ａ、図４Ｂを参照）を基準に、報知画像１２０の座標を決定してもよい。なお、『所定の位置関係』は、実オブジェクト３１０、又は自車両１の状況などにより調整され得る。
【００３１】
運転状態判定モジュール５１０は、車両ＥＣＵ４０１、又は図示しない自車両１に設けられたセンサから、自車両１の運転状態を取得する、又は自車両１の運転状態を推定可能な情報を取得し、自車両１の運転状態が所定の条件を満たすかを判定する。運転状態判定モジュール５１０が判定する自車両１の運転状態の条件とは、例えば、自車両１の停車、減速などである。また、これを判定するための自車両１の運転状態とは、例えば、自車両１の停車、又は減速を推定可能な情報である。自車両１の運転状態を推定可能な情報とは、例えば、自車両１の走行距離、速度、エンジン回転数、又はアクセル開度などである。なお、運転状態判定モジュール５１０が判定する自車両１の運転状態の条件、運転状態判定モジュール５１０が取得する自車両１の運転状態、又は自車両１の運転状態を推定可能な情報は、上記のものに限定されない。
【００３２】
アイポイント検出モジュール５１２は、自車両１の運転者４の眼の位置を検出する。アイポイント検出モジュール５１２は、複数段階で設けられた高さ領域のどこに運転者４の眼の高さがあるかの判定、運転者４の眼の高さ（Ｙ軸方向の位置）の検出、運転者４の眼の高さ（Ｙ軸方向の位置）及び奥行方向の位置（Ｚ軸方向の位置）の検出、運転者４の眼の位置（Ｘ，Ｙ，Ｚ軸方向の位置）の検出、に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。アイポイント検出モジュール５１２は、例えば、アイポイント検出部４０９から運転者４の眼の位置を取得する、又は、アイポイント検出部４０９から運転者４の目の高さを含む目の位置を推定可能な情報を受信し、運転者４の目の高さを含む目の位置を推定する。目の位置を推定可能な情報は、例えば、自車両１の運転席の位置、運転者４の顔の位置、座高の高さ、運転者４による図示しない操作部での入力値などであってもよい。
【００３３】
グラフィックモジュール５１４は、表示される報知画像１２０の、視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）、サイズ、表示位置、表示距離（運転者４が自車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）における運転者４から報知画像１２０までの距離）を変更するための様々な既知のソフトウェア構成要素を含む。グラフィックモジュール５１４は、画像位置決定モジュール５０８が設定した座標（運転者４が自車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）を少なくとも含む）で運転者４に視認されるように報知画像１２０の表示位置を表示する。グラフィックモジュール５１４は、自車両１の進行に伴い運転者４から見える前景３００が接近すると、その前景３００に対する報知画像１２０の相対位置が変化していないように、前景３００に追従して報知画像１２０の表示位置を連続的に調整してもよい。なお、グラフィックモジュール５１４は、光パターン検出モジュール５０２で検出する光パターンの奥行方向（Ｚ軸方向）の位置、又は実オブジェクト検出モジュール５０４で検出される灯具ユニットの光パターンが向けられた特定の実オブジェクト３１０と自車両１までの距離に応じて、報知画像１２０のサイズを調整してもよい。具体的には、グラフィックモジュール５１４は、光パターン又は実オブジェクト３１０の位置が自車両１に接近するに従い、段階的又は連続的に報知画像１２０のサイズを大きくしてもよい。また、逆に、グラフィックモジュール５１４は、光パターン又は実オブジェクト３１０の位置が自車両１に接近するに従い、段階的又は連続的に報知画像１２０のサイズを小さくしてもよい。また、グラフィックモジュール５１４は、運転状態判定モジュール５１０が取得又は推定できる運転状態に応じて、画像（報知画像１２０）を表示するタイミングを調整してもよい。
【００３４】
また、記憶部１８は、図示しない報知必要度検出モジュールを含んでいてもよい。報知必要度検出モジュールは、実オブジェクト検出モジュール５０４が検出した実オブジェクト情報とともに、その実オブジェクト情報を運転者４に報知する必要度（報知必要度）を検出する。報知必要度検出モジュールは、周辺インタフェース１４に接続される種々の他の電子機器から報知必要度を検出してもよい。また、図２で周辺インタフェース１４に接続された電子機器が車両ＥＣＵ４０１に情報を送信し、報知必要度検出モジュールは、受信した情報に基づき車両ＥＣＵ４０１が決定した報知必要度を検出してもよい。『報知必要度』は、例えば、起こり得る自体の重大さの程度から導き出される危険度、反応行動を起こすまでに要求される反応時間の長短から導き出される緊急度、自車両１や運転者４（又は自車両１の他の乗員）の状況から導き出される有効度、又はこれらの組み合わせなどで決定され得る。
【００３５】
また、記憶部１８は、図示しない報知必要度推定モジュールを含んでいてもよい。報知必要度推定モジュールは、報知画像１２０の報知必要度を推定する元となる必要度情報を検出し、これから報知必要度を推定する。報知画像１２０の報知必要度を推定する元となる必要度情報は、例えば、実オブジェクト３１０又は灯具ユニットの光パターンの位置、又は種類などで推定されてもよく、周辺インタフェース１４に接続される種々の他の電子機器から入力される他の情報に基づいて、又は他の情報を加味して推定されてもよい。
【００３６】
上記のモジュールのそれぞれは、１つ以上の上記の機能を実行する実行可能な命令及び本出願に記載の方法（例えば、コンピュータにより実行されるプログラム）に対応する。
【００３７】
上記のモジュールの一部又は全部は、所定の間隔で周辺インタフェース１４を介して、車両ＥＣＵ４０１、道路情報データベース４０３、自車位置検出部４０５、車外センサ４０７、アイポイント検出部４０９、車外通信接続機器４２０に各種情報を送信するように要求を送る。これに応じて、周辺インタフェース１４は、車両ＥＣＵ４０１、道路情報データベース４０３、自車位置検出部４０５、車外センサ４０７、アイポイント検出部４０９、車外通信接続機器４２０から各種情報を取得してプロセッサ１６に送出する。他のいくつかの実施形態において、上記のモジュールの一部又は全部は、定期的、又は所定のイベント（例えば、自車両１の走行開始を検出したこと、所定の光パターン２００の照射が予定されたことを検出したこと）毎に情報の送出を要求してもよい。
【００３８】
図３Ａ、図３Ｂ、図３Ｃは、自車両１の進行に伴う、車両用表示装置１０が表示する画像の変化を示す図である。車両用表示装置１０は、運転者４から見て、自車両１の前景３００に存在する特定の実オブジェクト３１０への注意を促すような注意画像１１０を表示する。図３Ａの例では、注意画像１１０は、「横断者あり、停止して下さい」というテキストを含む。なお、注意画像１１０は、テキストに限定されず、図形、イラスト、静止画、又は動画などを含んでもよい。注意画像１１０は、図３Ａに示すように、運転者４に自車両１の運転状態が特定の条件を満たすように促す内容であってもよい。図３Ａで示した状態の後、車両用表示装置１０は、報知画像１２０を表示する。図３Ｂの報知画像１２０は、光パターン２００の内容を表す第１画像１２１、実オブジェクト３１０を表す第２画像１２２、光パターン２００の方向を指示する吹き出し形状の第３画像１２３を含む。図３Ｂで示した状態の後、自車両１の灯具ユニットは、実オブジェクト３１０の近傍の路面３２０に、特定の光パターン２００を照射する。図３Ｃでは、報知画像１２０は、自車両１の運転席から前方を向いた際の実オブジェクト３１０の右方向（Ｘ軸負方向）にずれた位置であり、かつ、光パターン２００の上方向（Ｙ軸正方向）にずれた位置で、運転者４に視認される。図３Ｃに示すように、光パターン２００は、路面３２０の左端の区画線３２１から右端の区画線３２３まで、路面３２０の中央の区画線３２２と交差する横断歩道形状であってもよい。この場合、図３Ｂ、図３Ｃで示すように、第１画像１２１は、上方（Ｙ軸正方向）から見た光パターン２００（横断歩道形状）を模した画像であってもよく、又は／及び第２画像１２２は、上方（Ｙ軸正方向）から見た実オブジェクト３１０を模したような画像であってもよい。
【００３９】
図４Ａ及び図４Ｂは、光パターン２００の変形例、及び報知画像１２０の変形例を示す図である。図４Ａに示すように、光パターン２００は、歩行者（特定の実オブジェクト３１０）から見て「ＳＴＯＰ」と視認されるテキストを含む標識を模した画像であり、自車両１からの通知情報を含んでいてもよい。この場合も、第１画像１２１は、上方（Ｙ軸正方向）から見た光パターン２００（横断歩道形状）を模した画像であってもよい。また、図４Ｂに示すように、光パターン２００は、歩行者（特定の実オブジェクト３１０）から見て「ＧＯ」と視認されるテキストと、歩行者に進行して欲しい方向を示す矢印画像と、からなる誘導画像１２４を含んでもよい。
【００４０】
図５は、いくつかの実施形態に係る、報知画像を表示する際のプロセスを示すフロー図である。車両用表示装置１０は、例えば、自車両１が灯具ユニットを点灯させたことを検出した場合、この処理を開始し、灯具ユニットが消灯するまで処理を繰り返し実行してもよい。
【００４１】
車両用表示装置１０は、自車両１に設けられた車両ＥＣＵ４０１（又は灯具ユニット）から、灯具ユニットが照射する特定の光パターン２００に関する情報（状態、及び位置）を取得し（ステップＳ０１）、光パターン２００の対象となる実オブジェクト（例えば、歩行者）３１０に運転者４の注意を向けさせる注意画像１１０を表示し（ステップＳ０２）、車両ＥＣＵ４０１から自車両１の運転状態が所定の条件を満たしたかを判定する（ステップＳ０３）。自車両１の運転状態が所定の条件を満たさない場合（ステップＳ０３でＮＯ）、ステップＳ０７に移行し、車両用表示装置１０が報知画像１２０を表示することなく、灯具ユニットは特定の光パターン２００を含む光を照射する。
【００４２】
自車両１の運転状態が所定の条件を満たした場合（ステップＳ０３でＹＥＳ）、車両用表示装置１０は、実オブジェクト検出モジュール５０４が実オブジェクト３１０の位置を取得する、又は実オブジェクト位置推定モジュール５０６が実オブジェクト３１０の位置を推定可能な情報を取得し（ステップＳ０４）、ステップＳ０１で取得した光パターン２００の状態から報知画像１２０の内容を決定し、ステップＳ０４で取得した実オブジェクト３１０の位置に基づいて報知画像１２０の位置を決定し（ステップＳ０５）、報知画像１２０を表示し（ステップＳ０６）、その後、灯具ユニットは特定の光パターン２００を含む光を照射する（ステップＳ０７）。
【００４３】
以上に説明したように、本実施形態では、１つ又はそれ以上の周辺インタフェース１４から、自車両１の前方に存在する実オブジェクト３１０に対して自車両１が照射する光パターン２００の状態と、光パターン２００の位置を取得し、光パターン２００の状態に関する情報を含む報知画像１２０の表示位置を、報知画像１２０が光パターン２００の位置の近傍で運転者に視認されるように決定し、画像表示部１１（１２）が、決定された表示位置に報知画像１２０を表示する。
【００４４】
また、いくつかの実施形態において、報知画像１２０は、光パターン２００の状態を示す第１画像１２１と、実オブジェクト３１０の、光パターン２００との位置関係を表すように第１画像１２１の近傍に表示される第２画像１２２と、を含んでもよい。
【００４５】
また、いくつかの実施形態において、報知画像１２０は、自車両１の運転席から前方を向いた際の、光パターン２００と実オブジェクトとの左右方向の位置関係を示すように、第１画像１２１と第２画像１２２とが自車両１の運転席から前方を向いた際の左右方向に並べて配置されてもよい。
【００４６】
また、いくつかの実施形態において、第１画像１２１は、上方から見た光パターン２００を模したような画像であり、第２画像１２２は、上方から見た実オブジェクト３１０を模したような画像であってもよい。
【００４７】
また、いくつかの実施形態において、報知画像１２０の表示位置は、自車両１の運転席から前方を向いた際の実オブジェクト３１０の左右方向にずれた位置であり、かつ、光パターン２００の上下方向にずれた位置であってもよい。
【００４８】
また、いくつかの実施形態において、報知画像１２０は、光パターン２００の方向を指示する第３画像１２３を含んでいてもよい。第３画像１２３は、光パターン２００の方向を指示する吹き出し形状、引出線形状などであってもよい。
【００４９】
また、いくつかの実施形態において、報知画像１２０が、光パターン２００が表示される前に表示されてもよい。
［変形例］
【００５０】
図１では、表示領域１００を、自車両１の進行方向（Ｚ軸方向）に対して垂直に設けられているが、これに限定されない。いくつかの実施形態において、表示領域１００は、例えば、自車両１の車幅方向（Ｘ軸方向）を中心に回転し、自車両１の進行方向（Ｚ軸方向）に対して垂直にならないように設けられてもよい。また、表示領域１００は、１箇所ではなく、例えば、自車両１の進行方向（Ｚ軸方向）の離れた位置に２箇所以上設けられてもよい。また、表示領域１００は、面積領域ではなく、３次元の体積領域であってもよい。すなわち、画像１１０，１２０は、３次元空間に奥行き方向に移動可能であってもよい。換言すると、画像１１０，１２０は、表示距離が変化可能であってもよい。
【００５１】
また、いくつかの実施形態において、光パターン２００の位置は、自車両１の運転席から前方を向いた際の奥行方向の位置も含み、光パターン２００の奥行方向の位置に近付くように、報知画像１２０の奥行方向の位置を調整してもよい。換言すると、自車両１の運転席から運転者４が前方を向いた際の奥行方向（Ｚ軸方向）の報知画像１２０の位置が、光パターン２００の奥行方向の位置と一致、又は近傍になるように調整されてもよい。
【００５２】
また、上記実施形態において、グラフィックモジュール５１４は、座標データ及び他のプロパティデータ（サイズ）を連続的に変化させることで、報知画像１２０が自車両１に接近しているように視認させていたが、いくつかの実施形態におけるグラフィックモジュール５１４は、自車両１の進行に伴い、さらにプロパティデータ（俯角／仰角）を徐々に変化させてもよい。また、さらに、プロパティデータ（方位角）を徐々に変化させてもよい。
【符号の説明】
【００５３】
１・・・自車両、２・・・フロントウインドシールド、４・・・運転者、５・・・ダッシュボード、１０・・・車両用表示装置、１１・・・画像表示部、１２・・・画像表示部、１４・・・周辺インタフェース、１６・・・プロセッサ、１８・・・記憶部、２０・・・画像処理回路、１００・・・表示領域、１１０・・・注意画像、１２０・・・報知画像、１２１・・・第１画像、１２２・・・第２画像、１２３・・・第３画像、１２４・・・誘導画像、２００・・・光パターン、３００・・・前景、３１０・・・歩行者（実オブジェクト）、３２０・・・路面（実オブジェクト）、３２１・・・区画線、３２２・・・区画線、３２３・・・区画線、４０１・・・車両ＥＣＵ、４０３・・・道路情報データベース、４０５・・・自車位置検出部、４０７・・・車外センサ、４０９・・・アイポイント検出部、４２０・・・車外通信接続機器、５０２・・・光パターン検出モジュール、５０４・・・実オブジェクト検出モジュール、５０６・・・実オブジェクト位置推定モジュール、５０８・・・画像位置決定モジュール、５１０・・・運転状態判定モジュール、５１２・・・アイポイント検出モジュール、５１４・・・グラフィックモジュール
【図１】
2020046892.tif 000003
【図２】
2020046892.tif 000004
【図３Ａ】
2020046892.tif 000005
【図３Ｂ】
2020046892.tif 000006
【図３Ｃ】
2020046892.tif 000007
【図４Ａ】
2020046892.tif 000008
【図４Ｂ】
2020046892.tif 000009
【図５】
2020046892.tif 000010