(57)【要約】      （修正有）【課題】画像の見逃しを防止しつつも、画像の見やすさ低下を抑制する。【解決手段】画像表示部が、自車両の運転者から見て前景に重なる領域に、自車両の前後方向に沿うように視認される１つ又は複数の画像要素からなる画像を表示し、運転者が、画像の先端領域２４０を所定の時間より長く視認していないこと、画像の後端領域２２０を注視していること、及び先端領域２４０よりも上側の領域を注視していること、の少なくとも１つからなる第１条件が満たされた場合、自車両が走行する路面３３０に沿った角度から起きて視認されるように、先端領域２４０の角度を変更する。【選択図】図５
2020199883.tif 000002
【特許請求の範囲】
【請求項１】
自車両の運転者から見て前景に重なる領域に、前記自車両の前後方向に沿うように視認される１つ又は複数の画像要素からなる画像（２００）を表示する画像表示部（２０）を制御する表示制御装置（３０）において、
外部から情報を取得可能な１つ又は複数のＩ／Ｏインタフェース（３１）と、
１つ又は複数のプロセッサ（３３）と、
メモリ（３７）と、
前記メモリ（３７）に格納され、前記１つ又は複数のプロセッサ（３３）によって実行されるように構成される１つ又は複数のコンピュータ・プログラムと、を備え、
前記１つ又は複数のプロセッサ（３３）は、
前記運転者が、前記画像（２００）の先端領域（２４０）を所定の時間より長く視認していないこと、前記画像（２００）の後端領域（２２０）を注視していること、及び前記先端領域（２４０）よりも上側の領域を注視していること、の少なくとも１つからなる第１条件が満たされた場合、
前記自車両が走行する路面（３３０）に沿った角度から起きて視認されるように、前記先端領域（２４０）の角度を変更する、命令を実行する、
表示制御装置。
【請求項２】
前記１つ又は複数のプロセッサ（３３）は、
前記運転者が、前記画像（２００）の前記後端領域（２２０）を所定の時間より長く視認していないこと、及び前記画像（２００）の前記先端領域（２４０）を注視していること、の少なくとも１つからなる第２条件が満たされた場合、
前記路面（３３０）に沿った角度から起きて視認されるように、前記後端領域（２２０）の角度を変更する、命令を実行する、
請求項１に記載の表示制御装置。
【請求項３】
前記画像（２００）は、複数の画像要素からなり、
前記１つ又は複数のプロセッサ（３３）は、
前記第１条件が満たされた場合、
前記路面（３３０）に沿った角度から起きて視認されるように、前記複数の画像要素のうち全てではない、最先端の前記画像要素と、前記最先端の画像要素に連なる１つ又は複数の画像要素と、の角度を変更する、命令を実行する、
請求項１に記載の表示制御装置。
【請求項４】
前記画像（２００）は、１つの画像要素からなり、
前記１つ又は複数のプロセッサ（３３）は、
前記第１条件が満たされた場合、
前記路面（３３０）に沿った角度から起きて視認されるように、前記画像（２００）のうち前記先端領域（２４０）を屈曲させて、前記先端領域（２４０）の角度を変更する、命令を実行する、
請求項１に記載の表示制御装置。
【請求項５】
前記先端領域（２４０）の角度を変更した後、
前記１つ又は複数のプロセッサ（３３）は、
前記画像（２００）が示す情報に対して前記運転者が的確な行動をとったと推定できる場合、
変更された前記先端領域（２４０）の角度を戻す、命令をさらに実行する、
請求項１に記載の表示制御装置。
【請求項６】
前記１つ又は複数のプロセッサ（３３）は、
変更された前記先端領域（２４０）の角度を戻す速度を、前記路面（３３０）に沿った角度から起きて視認されるように、前記先端領域（２４０）の角度を変更する速度より速くする、
請求項５に記載の表示制御装置。
【請求項７】
自車両の運転者から見て前景に重なる領域に、前記自車両の前後方向に沿うように視認される１つ又は複数の画像要素からなる画像（２００）を表示するヘッドアップディスプレイ装置（２０）において、
外部から情報を取得可能な１つ又は複数のＩ／Ｏインタフェース（３１）と、
１つ又は複数のプロセッサ（３３）と、
メモリ（３７）と、
前記メモリ（３７）に格納され、前記１つ又は複数のプロセッサ（３３）によって実行されるように構成される１つ又は複数のコンピュータ・プログラムと、を備え、
前記１つ又は複数のプロセッサ（３３）は、
前記運転者が、前記画像（２００）の先端領域（２４０）を所定の時間より長く視認していないこと、前記画像（２００）の後端領域（２２０）を注視していること、及び前記先端領域（２４０）よりも上側の領域を注視していること、の少なくとも１つからなる第１条件が満たされた場合、
前記自車両が走行する路面（３３０）に沿った角度から起きて視認されるように、前記先端領域（２４０）の角度を変更する、命令を実行する、
ヘッドアップディスプレイ装置。
【請求項８】
前記１つ又は複数のプロセッサ（３３）は、
前記運転者が、前記画像（２００）の前記後端領域（２２０）を所定の時間より長く視認していないこと、及び前記画像（２００）の前記先端領域（２４０）を注視していること、の少なくとも１つからなる第２条件が満たされた場合、
前記路面（３３０）に沿った角度から起きて視認されるように、前記後端領域（２２０）の角度を変更する、命令を実行する、
請求項７に記載のヘッドアップディスプレイ装置。
【請求項９】
前記画像（２００）は、複数の画像要素からなり、
前記１つ又は複数のプロセッサ（３３）は、
前記第１条件が満たされた場合、
前記路面（３３０）に沿った角度から起きて視認されるように、前記複数の画像要素のうち全てではない、最先端の前記画像要素と、前記最先端の画像要素に連なる１つ又は複数の画像要素と、の角度を変更する、命令を実行する、
請求項７に記載のヘッドアップディスプレイ装置。
【請求項１０】
前記画像（２００）は、１つの画像要素からなり、
前記１つ又は複数のプロセッサ（３３）は、
前記第１条件が満たされた場合、
前記路面（３３０）に沿った角度から起きて視認されるように、前記画像（２００）のうち前記先端領域（２４０）を屈曲させて、前記先端領域（２４０）の角度を変更する、命令を実行する、
請求項７に記載のヘッドアップディスプレイ装置。
【請求項１１】
前記先端領域（２４０）の角度を変更した後、
前記１つ又は複数のプロセッサ（３３）は、
前記画像（２００）が示す情報に対して前記運転者が的確な行動をとったと推定できる場合、
変更された前記先端領域（２４０）の角度を戻す、命令をさらに実行する、
請求項７に記載のヘッドアップディスプレイ装置。
【請求項１２】
前記１つ又は複数のプロセッサ（３３）は、
変更された前記先端領域（２４０）の角度を戻す速度を、前記路面（３３０）に沿った角度から起きて視認されるように、前記先端領域（２４０）の角度を変更する速度より速くする、
請求項１１に記載のヘッドアップディスプレイ装置。
【請求項１３】
自車両の運転者から見て前景に重なる領域に、前記自車両の前後方向に沿うように視認される１つ又は複数の画像要素からなる画像（２００）を表示する画像表示部（２０）を制御する方法であって、
前記運転者の視線方向を取得することと、
少なくとも前記画像表示部（２０）が表示している前記画像（２００）の位置と、前記視線方向と、に基づき、前記運転者が、前記画像（２００）の先端領域（２４０）を所定の時間より長く視認していないこと、前記画像（２００）の後端領域（２２０）を注視していること、及び前記先端領域（２４０）よりも上側の領域を注視していること、の少なくとも１つからなる第１条件が満たされたか否かを判定することと、
前記第１条件が満たされた場合、
前記自車両が走行する路面（３３０）に沿った角度から起きて視認されるように、前記先端領域（２４０）の角度を変更することと、を含む、
方法。
【請求項１４】
少なくとも前記画像表示部（２０）が表示している前記画像（２００）の位置と、前記視線方向と、に基づき、前記運転者が、前記画像（２００）の前記後端領域（２２０）を所定の時間より長く視認していないこと、及び前記画像（２００）の前記先端領域（２４０）を注視していること、の少なくとも１つからなる第２条件が満たされたか否かを判定することと、
前記第２条件が満たされた場合、
前記路面（３３０）に沿った角度から起きて視認されるように、前記後端領域（２２０）の角度を変更することと、をさらに含む、
請求項１３に記載の方法。
【請求項１５】
前記画像（２００）は、複数の画像要素からなり、
前記第１条件が満たされた場合、
前記路面（３３０）に沿った角度から起きて視認されるように、前記複数の画像要素のうち全てではない、最先端の前記画像要素と、前記最先端の画像要素に連なる１つ又は複数の画像要素と、の角度を変更する、
請求項１３に記載の方法。
【請求項１６】
前記画像（２００）は、１つの画像要素からなり、
前記第１条件が満たされた場合、
前記路面（３３０）に沿った角度から起きて視認されるように、前記画像（２００）のうち前記先端領域（２４０）を屈曲させて、前記先端領域（２４０）の角度を変更する、
請求項１３に記載の方法。
【請求項１７】
前記先端領域（２４０）の角度を変更した後、
前記自車両の状態、及び／又は前記運転者の状態を取得することと、
前記自車両の状態、及び／又は前記運転者の状態から前記画像（２００）が示す情報に対して前記運転者が的確な行動をとったか推定することと、
前記画像（２００）が示す情報に対して前記運転者が的確な行動をとったか推定された場合、
変更された前記先端領域（２４０）の角度を戻すことと、をさらに含む、
請求項１３に記載の方法。
【請求項１８】
変更された前記先端領域（２４０）の角度を戻す速度を、前記路面（３３０）に沿った角度から起きて視認されるように、前記先端領域（２４０）の角度を変更する速度より速くする、
請求項１７に記載の方法。
【請求項１９】
請求項１３乃至１８のいずれかに記載の方法を実行するための命令を含む、コンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、車両で使用され、車両の前景に画像を重畳して視認させる表示制御装置、ヘッドアップディスプレイ装置、方法、及びコンピュータ・プログラムに関する。
【背景技術】
【０００２】
特許文献１には、運転者（視認者）が見ていない情報画像の輝度を上げたり線を太くしたりする（視認性を上げる）ことで、見ていない情報画像に運転者の注意を向けさせる画像表示装置が記載されている。
【０００３】
特許文献２には、自車両の前景（実景）にあたかも実際に存在するかのような仮想オブジェクトを遠近感のある画像で表現し、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）を生成し、前景に仮想オブジェクト（画像）を溶け込ませることで、仮想オブジェクト（画像）が示す情報と実景とのつながりを向上させ、視認者（自車両の運転者）の視覚的負荷を軽減しつつ、情報を認識させるヘッドアップディスプレイ装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１３８３５０号公報
【特許文献２】特開２０１６−２１２３３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、実景に溶け込ませるように仮想オブジェクト（画像）を表示した場合、特許文献１のように表示されている画像の視認性を上げる、より詳しくは、画像全体の視認性を上げることで、実景に対する仮想オブジェクト（画像）の馴染み具合が低下してしまう。また、これにより、仮想オブジェクト（画像）が持つ空間的情報の把握のしやすさが低下してしまうことも想定される。
【０００６】
本明細書に開示される特定の実施形態の要約を以下に示す。これらの態様が、これらの特定の実施形態の概要を読者に提供するためだけに提示され、この開示の範囲を限定するものではないことを理解されたい。実際に、本開示は、以下に記載されない種々の態様を包含し得る。
【０００７】
本開示の概要は、画像の見逃しを防止しつつも、画像の見やすさ低下を抑制する、より具体的には、仮想オブジェクト（画像）が持つ空間的情報の把握のしやすさ低下を抑制することにも関する。
【０００８】
したがって、本明細書に記載される表示制御装置は、運転者が、画像の先端領域を所定の時間より長く視認していないこと、画像の後端領域を注視していること、及び先端領域よりも上側の領域を注視していること、の少なくとも１つからなる第１条件が満たされた場合、自車両が走行する路面に沿った角度から起きて視認されるように、先端領域の角度を変更する。
【図面の簡単な説明】
【０００９】
【図１】いくつかの実施形態に係る、車両用表示システムの適用例を示す図である。
【図２】いくつかの実施形態に係る、車両用表示システムのブロック図である。
【図３Ａ】運転者の視線方向と、特定角度領域との差分角度を説明する図であり、自車両の上から見た図である。
【図３Ｂ】運転者の視線方向と、特定角度領域との差分角度を説明する図であり、自車両の左から見た図である。
【図４】いくつかの実施形態に係る、画像表示部が表示するパースペクティブ画像であり、一部の角度を変更する前の表示例を示す図である。
【図５】いくつかの実施形態に係る、画像表示部が表示するパースペクティブ画像であり、一部の角度を変更した後の表示例を示す図である。
【図６Ａ】図５に示すパースペクティブ画像の領域毎の路面との角度を示すグラフであり、横軸はパースペクティブ画像の領域を示し、縦軸が路面に対して仮想的に設定されたパースペクティブ画像の角度［ｄｅｇｒｅｅ］を示す。
【図６Ｂ】いくつかの実施形態に係る、パースペクティブ画像の領域毎の路面との角度を示すグラフの別例であり、横軸はパースペクティブ画像の領域を示し、縦軸が路面に対して仮想的に設定されたパースペクティブ画像の角度［ｄｅｇｒｅｅ］を示す。画像の視認性を上昇させる処理のフロー図である。
【図７】いくつかの実施形態に係る、画像表示部が表示するパースペクティブ画像の別例であり、一部の角度を変更する前の表示例を示す図である。
【図８】いくつかの実施形態に係る、画像表示部が表示するパースペクティブ画像の別例であり、一部の角度を変更した後の表示例を示す図である。
【図９】いくつかの実施形態に係る、画像表示部が表示するパースペクティブ画像の別例であり、一部の角度を変更した後の表示例を示す図である。
【図１０Ａ】図９に示すパースペクティブ画像の領域毎の路面との角度を示すグラフであり、横軸はパースペクティブ画像の領域を示し、縦軸が路面に対して仮想的に設定されたパースペクティブ画像の角度［ｄｅｇｒｅｅ］を示す。
【図１０Ｂ】いくつかの実施形態に係る、パースペクティブ画像の領域毎の路面との角度を示すグラフの別例であり、横軸はパースペクティブ画像の領域を示し、縦軸が路面に対して仮想的に設定されたパースペクティブ画像の角度［ｄｅｇｒｅｅ］を示す。
【図１１】パースペクティブ画像の一部の角度を変更してから元の角度に戻るまでのタイミングチャートであり、横軸は時間を示し、縦軸が路面に対して仮想的に設定されたパースペクティブ画像の一部の角度［ｄｅｇｒｅｅ］を示す。
【図１２Ａ】いくつかの実施形態に係る、車両用表示システムが表示するパースペクティブ画像の例を示す図である。
【図１２Ｂ】いくつかの実施形態に係る、車両用表示システムが表示するパースペクティブ画像の例を示す図である。
【図１２Ｃ】いくつかの実施形態に係る、車両用表示システムが表示するパースペクティブ画像の例を示す図である。
【図１３】いくつかの実施形態に係る、パースペクティブ画像の一部の角度を変更する処理のフロー図である。
【発明を実施するための形態】
【００１０】
以下、図１及び図２では、例示的な車両用表示システムの構成の説明を提供する。図３Ａ、図３Ｂでは、注視判定の一例の説明を提供する。図４ないし図１２Ｃでは、表示例の説明を提供する。図１３では、例示的な表示制御の処理の流れを説明する。なお、本発明は以下の実施形態（図面の内容も含む）によって限定されるものではない。下記の実施形態に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。
【００１１】
図１を参照する。車両用表示システム１０は、画像表示部２０と、画像表示部２０を制御する表示制御装置３０と、で構成される。なお、本実施形態の説明では、自車両１の運転席に着座する運転者４が自車両１の前方を向いた際の左右方向をＸ軸（左方向がＸ軸正方向）、上下方向をＹ軸（上方向がＹ軸正方向）、前後方向をＺ軸（前方向がＺ軸正方向）とする。
【００１２】
車両用表示システム１０における画像表示部２０は、自車両１のダッシュボード５内に設けられたヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ−Ｕｐ  Ｄｉｓｐｌａｙ）装置である。ＨＵＤ装置は、表示光２０ａを自車両１のフロントウインドシールド２（被投影部材の一例である）に向けて出射し、フロントウインドシールド２（被投影部材の一例である）よりも前方側（Ｚ軸正方向）の表示領域１００で画像を視認させる。これにより、運転者４は、フロントウインドシールド２を介して視認される現実空間である前景３００と奥行き方向（前後方向）に重なった画像を視認できる。
【００１３】
表示領域１００は、ＨＵＤ装置の内部で生成された画像が、虚像として結像する（画像として視認される）平面、曲面、又は一部曲面の領域であり、結像面とも呼ばれる。表示領域１００自体は、実際に運転者４に視認されない、又は視認されにくい程度に視認性が低い。表示領域１００には、自車両１の左右方向（Ｘ軸方向）を軸とした水平方向（ＸＺ平面）とのなす角度（図１のチルト角θｔ）が設定される。なお、本実施形態では、表示領域１００を面領域（２次元面、又は曲がった２次元面）として説明するが、画像表示部２０が公知の技術を用いた３Ｄ表示器であれば、表示領域１００は、３次元領域になり得る。
【００１４】
チルト角θｔは、例えば、９０［ｄｅｇｒｅｅ］であり、水平面（例えば、自車両１が走行する走行レーンの路面３３０。）に対して垂直となるように設けられる（図１の表示領域１１０。）が、水平面（自車両１が走行する走行レーンの路面３３０。）に沿うように、運転者４から見た表示領域１００の上側の部分（Ｙ軸正方向の部分）が下側の部分（Ｙ軸負方向の部分）よりも運転者４から離れた位置になる角度に設定されてもよい（図１の表示領域１２０。）。チルト角θｔは、これらに限定されず、０〜９０［ｄｅｇｒｅｅ］に設定されることが好ましい。また、チルト角θｔは、例えば、後述するリレー光学系２４を図示しないアクチュエータなどで回転させることで、運転者４が任意に変更可能であってもよい。なお、チルト角θｔは、９１〜１８０［ｄｅｇｒｅｅ］に設定されてもよい、すなわち、運転者４から見た表示領域１００の上側の部分（Ｙ軸正方向の部分）が下側の部分（Ｙ軸負方向の部分）よりも運転者４に近くなる角度に設定されてもよい。
【００１５】
画像表示部２０は、画像を表示する表示面を有する表示器２２と、リレー光学系２４と、を含む。表示器２２は、ＬＣＤなどのバックライトからの光を透過する透過型ディスプレイであってもよく、スクリーンに画像を投影するプロジェクション型ディスプレイであってもよい。これらの場合、表示面は、透過型ディスプレイにおけるディスプレイ表面であり、プロジェクション型ディスプレイのスクリーンである。
【００１６】
リレー光学系２４は、表示器２２とフロントウインドシールド２との間の表示器２２からの画像の光の光路上に配置され、表示器２２からの画像の光を画像表示部２０の外側のフロントウインドシールド２に投影する１つ又は複数の光学部材で構成される。リレー光学系２４は、１つの凹面鏡（反射光学部材の一例）を含むが、これに加え、例えば、１つ又は複数の、レンズなどの屈折光学部材、ホログラムなどの回折光学部材、反射光学部材、又はこれらの組み合わせを含んでいてもよい。
【００１７】
また、画像表示部２０は、ヘッドマウントディスプレイ（以下、ＨＭＤ）装置であってもよい。運転者４は、ＨＭＤ装置を頭部に装着して自車両１の座席に着座することで、表示される画像を、自車両１のフロントウインドシールド２を介した前景３００に重畳して視認する。車両用表示システム１０が所定の画像を表示する表示領域１００は、自車両１の座標系を基準とした特定の位置に固定（調整可能に配置）され、運転者４がその方向を向くと、その特定の位置に固定された表示領域１００内に表示された画像を視認することができる。
【００１８】
画像表示部２０は、表示制御装置３０の制御に基づいて、自車両１のフロントウインドシールド２を介して視認される現実空間（実景）である前景３００に存在する、後述する障害物（歩行者、自転車、自動二輪車、他車両など）、後述する走行レーンの路面３３０、道路標識、及び地物（建物、橋など）などの実オブジェクト３１０の近傍（画像と実オブジェクトとの特定の位置関係の一例）、実オブジェクト３１０に重なる位置（画像と実オブジェクトとの特定の位置関係の一例）、又は実オブジェクト３１０を基準に設定された位置（画像と実オブジェクトとの特定の位置関係の一例）に画像を表示することで、視覚的な拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）を視認者（典型的には、自車両１の運転席に着座する運転者４）に知覚させることもできる。
【００１９】
図２は、いくつかの実施形態に係る、車両用表示システム１０のブロック図である。表示制御装置３０は、１つ又は複数のＩ／Ｏインタフェース３１、１つ又は複数のプロセッサ３３、１つ又は複数の画像処理回路３５、及び１つ又は複数のメモリ３７を備える。図２に記載される様々な機能ブロックは、ハードウェア、ソフトウェア、又はこれら両方の組み合わせで構成されてもよい。図２は、１つの実施形態に過ぎず、図示された構成要素は、より数の少ない構成要素に組み合わされてもよく、又は追加の構成要素があってもよい。例えば、画像処理回路３５（例えば、グラフィック処理ユニット）が、１つ又は複数のプロセッサ３３に含まれてもよい。
【００２０】
図示するように、プロセッサ３３及び画像処理回路３５は、メモリ３７と動作可能に連結される。より具体的には、プロセッサ３３及び画像処理回路３５は、メモリ３７に記憶されているプログラムを実行することで、例えば画像データを生成、及び／又は送信するなど、車両用表示システム１０（画像表示部２０）の操作を行うことができる。プロセッサ３３及び／又は画像処理回路３５は、少なくとも１つの汎用マイクロプロセッサ（例えば、中央処理装置（ＣＰＵ））、少なくとも１つの特定用途向け集積回路（ＡＳＩＣ）、少なくとも１つのフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はそれらの任意の組み合わせを含むことができる。メモリ３７は、ハードディスクのような任意のタイプの磁気媒体、ＣＤ及びＤＶＤのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリは、ＤＲＡＭ及びＳＲＡＭを含み、不揮発性メモリは、ＲＯＭ及びＮＶＲＯＭを含んでもよい。
【００２１】
図示するように、プロセッサ３３及び画像処理回路３５は、メモリ３７と動作可能に連結される。より具体的には、プロセッサ３３及び画像処理回路３５は、メモリ３７に記憶されているプログラムを実行することで、例えば画像データを生成、及び／又は送信するなど、車両用表示システム１０の操作を行うことができる。プロセッサ３３及び／又は画像処理回路３５は、少なくとも１つの汎用マイクロプロセッサ（例えば、中央処理装置（ＣＰＵ））、少なくとも１つの特定用途向け集積回路（ＡＳＩＣ）、少なくとも１つのフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はそれらの任意の組み合わせを含むことができる。メモリ３７は、ハードディスクのような任意のタイプの磁気媒体、ＣＤ及びＤＶＤのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリは、ＤＲＡＭ及びＳＲＡＭを含み、不揮発性メモリは、ＲＯＭ及びＮＶＲＯＭを含んでもよい。
【００２２】
図示するように、プロセッサ３３は、Ｉ／Ｏインタフェース３１と動作可能に連結されている。Ｉ／Ｏインタフェース３１は、例えば、車両に設けられた後述の車両ＥＣＵ４０１、又は他の電子機器（後述する符号４０３〜４１５）と、ＣＡＮ（Controller Area Network）の規格に応じて通信（ＣＡＮ通信とも称する）を行う。なお、Ｉ／Ｏインタフェース３１が採用する通信規格は、ＣＡＮに限定されず、例えば、ＣＡＮＦＤ（ＣＡＮ with Flexible Data Rate）、ＬＩＮ（Local Interconnect Network）、Ｅｔｈｅｒｎｅｔ（登録商標）、ＭＯＳＴ（Media Oriented Systems Transport：ＭＯＳＴは登録商標）、ＵＡＲＴ、もしくはＵＳＢなどの有線通信インタフェース、又は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワークなどのパーソナルエリアネットワーク（ＰＡＮ）、８０２．１１ｘ Ｗｉ−Ｆｉ（登録商標）ネットワークなどのローカルエリアネットワーク（ＬＡＮ）等の数十メートル内の近距離無線通信インタフェースである車内通信（内部通信）インタフェースを含む。また、Ｉ／Ｏインタフェース３１は、無線ワイドエリアネットワーク（ＷＷＡＮ０、ＩＥＥＥ８０２．１６−２００４（ＷｉＭＡＸ：Worldwide Interoperability for Microwave Access））、ＩＥＥＥ８０２．１６ｅベース（Ｍｏｂｉｌｅ  ＷｉＭＡＸ）、４Ｇ、４Ｇ−ＬＴＥ、ＬＴＥ  Ａｄｖａｎｃｅｄ、５Ｇなどのセルラー通信規格により広域通信網（例えば、インターネット通信網）などの車外通信（外部通信）インタフェースを含んでいてもよい。
【００２３】
図示するように、プロセッサ３３は、Ｉ／Ｏインタフェース３１と相互動作可能に連結されることで、車両用表示システム１０（Ｉ／Ｏインタフェース３１）に接続される種々の他の電子機器等と情報を授受可能となる。Ｉ／Ｏインタフェース３１には、例えば、車両ＥＣＵ４０１、道路情報データベース４０３、自車位置検出部４０５、車外センサ４０７、視線方向検出部４０９、目位置検出部４１１、携帯情報端末４１３、及び外部通信機器４１５などが動作可能に連結される。
【００２４】
表示器２２は、プロセッサ３３及び画像処理回路３５に動作可能に連結される。したがって、画像表示部２０によって表示される画像は、プロセッサ３３及び／又は画像処理回路３５から受信された画像データに基づいてもよい。プロセッサ３３及び画像処理回路３５は、Ｉ／Ｏインタフェース３１から取得される情報に基づき、画像表示部２０が表示する画像を制御する。なお、Ｉ／Ｏインタフェース３１は、車両用表示システム１０に接続される他の電子機器等から受信する情報を加工（変換、演算、解析）する機能を含んでいてもよい。
【００２５】
車両ＥＣＵ４０１は、自車両１に設けられたセンサやスイッチから、自車両１の状態（例えば、走行距離、車速、アクセルペダル開度、ブレーキペダル開度、エンジンスロットル開度、インジェクター燃料噴射量、エンジン回転数、モータ回転数、ステアリング操舵角、シフトポジション、ドライブモード、各種警告状態、姿勢（ロール角、及び／又はピッチング角を含む）、車両の振動（振動の大きさ、頻度、及び／又は周波数を含む））などを取得し、自車両１の前記状態を収集、及び管理（制御も含んでもよい。）するものであり、機能の一部として、自車両１の前記状態の数値（例えば、自車両１の車速。）を示す信号を、表示制御装置３０のプロセッサ３３へ出力することができる。なお、車両ＥＣＵ４０１は、単にセンサ等で検出した数値（例えば、ステアリング操舵角が右方向に１０［ｄｅｇｒｅｅ］。）をプロセッサ３３へ送信することに加え、又は代わりに、センサで検出した数値を含む自車両１の１つ又は複数の状態に基づく判定結果（例えば、自車両１が右方向に進路を変えようとしていること。）、若しくは／及び解析結果（例えば、運転者４が案内経路の通りに、分岐路で右折する意思があること。）を、プロセッサ３３へ送信してもよい。例えば、車両ＥＣＵ４０１は、自車両１が車両ＥＣＵ４０１のメモリ（不図示）に予め記憶された所定の条件を満たすような判定結果を示す信号を表示制御装置３０へ出力してもよい。
【００２６】
また、車両ＥＣＵ４０１は、車両用表示システム１０が表示する画像を指示する指示信号を表示制御装置３０へ出力してもよく、この際、画像の座標、サイズ、種類、表示態様、画像の報知必要度、及び／又は報知必要度を判定する元となる必要度関連情報を、前記指示信号に付加して送信してもよい。
【００２７】
道路情報データベース４０３は、自車両１に設けられた図示しないナビゲーション装置、又は自車両１と車外通信インタフェース（Ｉ／Ｏインタフェース３１）を介して接続される外部サーバ、に含まれ、後述する自車位置検出部４０５から取得される自車両１の位置に基づき、自車両１の周辺の情報（自車両１の周辺の実オブジェクト関連情報）である自車両１が走行する道路情報（車線，白線，停止線，横断歩道，道路の幅員，車線数，交差点，カーブ，分岐路，交通規制など）、地物情報（建物、橋、河川など）の、有無、位置（自車両１までの距離を含む）、方向、形状、種類、詳細情報などを読み出し、プロセッサ３３に送信してもよい。また、道路情報データベース４０３は、出発地から目的地までの適切な経路（ナビゲーション情報）を算出し、当該ナビゲーション情報を示す信号をプロセッサ３３へ出力してもよい。
【００２８】
自車位置検出部４０５は、自車両１に設けられたＧＮＳＳ（全地球航法衛星システム）等であり、現在の自車両１の位置、方位を検出し、検出結果を示す信号を、プロセッサ３３を介して、又は直接、道路情報データベース４０３、後述する携帯情報端末４１３、及び／もしくは外部通信機器４１５へ出力する。道路情報データベース４０３、後述する携帯情報端末４１３、及び／又は外部通信機器４１５は、自車位置検出部４０５から自車両１の位置情報を連続的、断続的、又は所定のイベント毎に取得することで、自車両１の周辺の情報を選択・生成して、プロセッサ３３へ出力してもよい。
【００２９】
車外センサ４０７は、自車両１の周辺（前方、側方、及び後方）に存在する実オブジェクト３１０を検出する。車外センサ４０７が検知する実オブジェクト３１０は、例えば、障害物（歩行者、自転車、自動二輪車、他車両など）、後述する走行レーンの路面３３０、区画線、路側物、及び／又は地物（建物など）などを含んでいてもよい。車外センサとしては、例えば、ミリ波レーダ、超音波レーダ、レーザレーダ等のレーダセンサ、カメラと画像処理装置からなるカメラセンサがあり、レーダセンサ、カメラセンサの両方の組み合わせで構成されてもよく、どちらか一方だけで構成されてもよい。これらレーダセンサやカメラセンサによる物体検知については従来の周知の手法を適用する。これらのセンサによる物体検知によって、三次元空間内での実オブジェクトの有無、実オブジェクトが存在する場合には、その実オブジェクトの位置（自車両１からの相対的な距離、自車両１の進行方向を前後方向とした場合の左右方向の位置、上下方向の位置等）、大きさ（横方向（左右方向）、高さ方向（上下方向）等の大きさ）、移動方向（横方向（左右方向）、奥行き方向（前後方向））、移動速度（横方向（左右方向）、奥行き方向（前後方向））、及び／又は種類等を検出してもよい。１つ又は複数の車外センサ４０７は、各センサの検知周期毎に、自車両１の前方の実オブジェクトを検知して、実オブジェクト情報の一例である実オブジェクト情報（実オブジェクトの有無、実オブジェクトが存在する場合には実オブジェクト毎の位置、大きさ、及び／又は種類等の情報）をプロセッサ３３に出力することができる。なお、これら実オブジェクト情報は、他の機器（例えば、車両ＥＣＵ４０１）を経由してプロセッサ３３に送信されてもよい。また、夜間等の周辺が暗いときでも実オブジェクトが検知できるように、センサとしてカメラを利用する場合には赤外線カメラや近赤外線カメラが望ましい。また、センサとしてカメラを利用する場合、視差で距離等も取得できるステレオカメラが望ましい。
【００３０】
視線方向検出部４０９は、例えば、赤外線カメラ、又は可視光カメラで運転者４の顔を撮像し、当該撮像画像を解析することで、運転者４の視線方向ＧＺを特定し、解析結果（視線方向ＧＺがしばらく停滞する注視位置）を示す信号をプロセッサ３３へ出力することができる。なお、プロセッサ３３は、視線方向検出部４０９から撮像画像（視線方向を推定可能な情報）を取得し、前記撮像画像を解析することで、運転者４の視線方向ＧＺを特定してもよい。また、自車両１の運転者４の視線方向、又は運転者４の視線方向を推定可能な情報を取得する方法は、これらに限定されるものではなく、ＥＯＧ（Ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａｍ）法、角膜反射法、強膜反射法、プルキンエ像検出法、サーチコイル法、赤外線眼底カメラ法などの他の既知の視線方向検出（推定）技術を用いて取得されてもよい。
【００３１】
視線方向検出部４０９は、自車両１の運転席に着座する運転者４の顔を撮像する赤外線カメラ、又は可視光カメラを含み、撮像した画像を、プロセッサ３３に出力してもよい。プロセッサ３３は、視線方向検出部４０９から撮像画像（視線方向を推定可能な情報の一例）を取得し、この撮像画像を解析することで運転者４の視線方向ＧＺ（及び／又は前記注視位置）を特定することができる。なお、視線方向検出部４０９は、カメラからの撮像画像を解析し、解析結果である運転者４の視線方向ＧＺ（及び／又は前記注視位置）を示す信号をプロセッサ３３に出力してもよい。なお、自車両１の運転者４の視線方向ＧＺを推定可能な情報を取得する方法は、これらに限定されるものではなく、ＥＯＧ（Ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａｍ）法、角膜反射法、強膜反射法、プルキンエ像検出法、サーチコイル法、赤外線眼底カメラ法などの他の既知の視線方向検出（推定）技術を用いて取得されてもよい。プロセッサ３３は、注視方向（さらには、どこを注視しているかを示す注視位置）により、画像表示部２０が表示している画像の一部の路面３３０（ＺＸ水平面）に対する角度を調整する。これについては、後述する。
【００３２】
目位置検出部４１１は、自車両１の運転席に着座する運転者４の目の位置を検出する赤外線カメラなどのカメラを含み、撮像した画像を、プロセッサ３３に出力してもよい。プロセッサ３３は、目位置検出部４１１から撮像画像（目の位置を推定可能な情報の一例）を取得し、この撮像画像を解析することで運転者４の目の位置を特定することができる。なお、目位置検出部４１１は、カメラの撮像画像を解析し、解析結果である運転者４の目の位置を示す信号をプロセッサ３３に出力してもよい。なお、自車両１の運転者４の目の位置、又は運転者４の目の位置を推定可能な情報を取得する方法は、これらに限定されるものではなく、既知の目位置検出（推定）技術を用いて取得されてもよい。プロセッサ３３は、運転者４の目の位置に基づき、画像の位置を少なくとも調整することで、前景３００の所望の位置（実オブジェクトとの特定の位置関係になる位置）に重畳した画像を、目位置を検出した視認者（運転者４）に視認させてもよい。
【００３３】
携帯情報端末４１３は、スマートフォン、ノートパソコン、スマートウォッチ、又は運転者４（又は自車両１の他の乗員）が携帯可能なその他の情報機器である。Ｉ／Ｏインタフェース３１は、携帯情報端末４１３とペアリングすることで、携帯情報端末４１３と通信を行うことが可能であり、携帯情報端末４１３（又は携帯情報端末を通じたサーバ）に記録されたデータを取得する。携帯情報端末４１３は、例えば、上述の道路情報データベース４０３及び自車位置検出部４０５と同様の機能を有し、前記道路情報（実オブジェクト関連情報の一例）を取得し、プロセッサ３３に送信してもよい。また、携帯情報端末４１３は、自車両１の近傍の商業施設に関連するコマーシャル情報（実オブジェクト関連情報の一例）を取得し、プロセッサ３３に送信してもよい。なお、携帯情報端末４１３は、携帯情報端末４１３の所持者（例えば、運転者４）のスケジュール情報、携帯情報端末４１３での着信情報、メールの受信情報などをプロセッサ３３に送信し、プロセッサ３３及び画像処理回路３５は、これらに関する画像データを生成及び／又は送信してもよい。
【００３４】
外部通信機器４１５は、自車両１と情報のやりとりをする通信機器であり、例えば、自車両１と車車間通信（Ｖ２Ｖ：Ｖｅｈｉｃｌｅ  Ｔｏ  Ｖｅｈｉｃｌｅ）により接続される他車両、歩車間通信（Ｖ２Ｐ：Ｖｅｈｉｃｌｅ  Ｔｏ  Ｐｅｄｅｓｔｒｉａｎ）により接続される歩行者（歩行者が携帯する携帯情報端末）、路車間通信（Ｖ２Ｉ：Ｖｅｈｉｃｌｅ  Ｔｏ  ｒｏａｄｓｉｄｅ  Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）により接続されるネットワーク通信機器であり、広義には、自車両１との通信（Ｖ２Ｘ：Ｖｅｈｉｃｌｅ  Ｔｏ  Ｅｖｅｒｙｔｈｉｎｇ）により接続される全てのものを含む。外部通信機器４１５は、例えば、歩行者、自転車、自動二輪車、他車両（先行車等）、路面（図４の符号３３０）、区画線（図４の符号３３１，３３２）、路側物、及び／又は地物（建物など）の位置を取得し、プロセッサ３３へ出力してもよい。また、外部通信機器４１５は、上述の自車位置検出部４０５と同様の機能を有し、自車両１の位置情報を取得し、プロセッサ３３に送信してもよく、さらに上述の道路情報データベース４０３の機能も有し、前記道路情報（実オブジェクト関連情報の一例）を取得し、プロセッサ３３に送信してもよい。なお、外部通信機器４１５から取得される情報は、上述のものに限定されない。
【００３５】
メモリ３７に記憶されたソフトウェア構成要素は、実オブジェクト情報検出モジュール５０２、実オブジェクト位置特定モジュール５０４、報知必要度判定モジュール５０６、目位置検出モジュール５０８、画像種類設定モジュール５１０、画像配置設定モジュール５１２、画像サイズ設定モジュール５１４、視線方向判定モジュール５１６、グラフィックモジュール５１８、及び行動判定モジュール５２０を含む。
【００３６】
実オブジェクト情報検出モジュール５０２は、自車両１の前方に存在する実オブジェクト３１０の少なくとも位置を含む情報（実オブジェクト情報とも呼ぶ）を取得する。実オブジェクト情報検出モジュール５０２は、例えば、車外センサ４０７から、自車両１の前景３００に存在する実オブジェクト３１０の位置（自車両１の運転席にいる運転者４から自車両１の進行方向（前方）を視認した際の高さ方向（上下方向）、横方向（左右方向）の位置であり、これらに、奥行き方向（前方向）の位置が追加されてもよい。）、及び実オブジェクト３１０のサイズ（高さ方向、横方向のサイズ。）、自車両１に対する相対速度（相対的な移動方向も含む。）、を含む情報（実オブジェクト情報の一例）を取得してもよい。また、実オブジェクト情報検出モジュール５０２は、外部通信機器４１５を介して実オブジェクト（例えば、他車両）の位置、相対速度、種類、他車両の方向指示器の点灯状態、舵角操作の状態、及び／又は運転支援システムによる進行予定経路、進行スケジュール、を示す情報（実オブジェクト関連情報の一例）を取得してもよい。
【００３７】
また、実オブジェクト情報検出モジュール５０２は、車外センサ４０７から、自車両１の走行レーンの路面３３０（図４参照）の左側の区画線３３１（図４参照）の位置と、右側の区画線３３２（図４参照）の位置とを取得し、それら左右の区画線３３１，３３２の間の領域（走行レーンの路面３３０）を認識してもよい。
【００３８】
また、実オブジェクト情報検出モジュール５０２は、後述するパースペクティブ画像２００の内容（以下では、適宜「画像の種類」ともいう）を決定する元となる、自車両１の前景３００に存在する実オブジェクトに関する情報（実オブジェクト関連情報）を検出してもよい。実オブジェクト関連情報は、例えば、実オブジェクトが、歩行者である、又は他車両であるなどの実オブジェクトの種類を示す種類情報、実オブジェクトの移動方向を示す移動方向情報、実オブジェクトまでの距離や到達時間を示す距離時間情報、又は駐車場（実オブジェクト）の料金などの実オブジェクトの個別詳細情報、である（但し、これらに限定されない）。例えば、実オブジェクト情報検出モジュール５０２は、道路情報データベース４０３又は携帯情報端末４１３から種類情報、距離時間情報、及び／もしくは個別詳細情報を取得し、車外センサ４０７から種類情報、移動方向情報、及び／もしくは距離時間情報を取得し、並びに／又は外部通信機器４１５から種類情報、移動方向情報、距離時間情報、及び／もしくは個別詳細情報を検出してもよい。
【００３９】
実オブジェクト位置特定モジュール５０４は、Ｉ／Ｏインタフェース３１を介して、車外センサ４０７、若しくは外部通信機器４１５から実オブジェクト３１０の現在の位置を示す観測位置を取得し、又はこれら２以上の観測位置をフュージョンした実オブジェクトの観測位置を取得し、取得した観測位置に基づいて実オブジェクト３１０の位置（特定位置とも呼ぶ）を設定する。後述する画像配置設定モジュール５１２は、この実オブジェクト位置特定モジュール５０４が設定した実オブジェクト３１０の特定位置を基準に画像の位置を決定する。
【００４０】
実オブジェクト位置特定モジュール５０４は、直前に取得した実オブジェクト３１０の観測位置に基づいて実オブジェクト３１０の位置を特定してもよいが、これに限定されず、少なくとも直前に取得した実オブジェクト３１０の観測位置を含む過去に取得した１つ又は複数の実オブジェクト３１０の観測位置を元に予測される所定の時刻における実オブジェクトの予測位置に基づいて実オブジェクト３１０の位置を特定（推定）してもよい。すなわち、実オブジェクト位置特定モジュール５０４と後述する画像配置設定モジュール５１２を実行することで、プロセッサ３３は、直前に取得した実オブジェクト３１０の観測位置に基づいてパースペクティブ画像２００の位置を特定し得るし、少なくとも直前に取得した実オブジェクト３１０の観測位置を含む過去に取得した１つ又は複数の実オブジェクト３１０の観測位置を元に予測されるパースペクティブ画像２００の表示更新タイミングにおける実オブジェクト３１０の予測位置に基づいてパースペクティブ画像２００の位置を設定し得る。なお、実オブジェクト位置特定モジュール５０４による予測位置の算出方法に特段の制約はなく、実オブジェクト位置特定モジュール５０４が処理対象とする表示更新タイミングよりも過去に取得された観測位置に基づいて予測を行う限り、如何なる手法を用いてもよい。実オブジェクト位置特定モジュール５０４は、例えば、最小二乗法や、カルマンフィルタ、α−βフィルタ、又はパーティクルフィルタなどの予測アルゴリズムを用いて、過去の１つ又は複数の観測位置を用いて、次回の値を予測するようにしてもよい。なお、車両用表示システム１０は、実オブジェクトの観測位置、及び／又は予測位置を取得できればよく、実オブジェクトの予測位置を設定する（算出する）機能を有していなくてもよく、実オブジェクトの予測位置を設定する（算出する）機能の一部又は全部は、車両用表示システム１０の表示制御装置３０とは別（例えば、車両ＥＣＵ４０１）に設けられてもよい。
【００４１】
報知必要度判定モジュール５０６は、車両用表示システム１０が表示する各パースペクティブ画像２００が運転者４に報知するべき内容であるかを判定する。報知必要度判定モジュール５０６は、Ｉ／Ｏインタフェース３１に接続される種々の他の電子機器から情報を取得し、報知必要度を算出してもよい。また、図２でＩ／Ｏインタフェース３１に接続された電子機器が車両ＥＣＵ４０１に情報を送信し、受信した情報に基づき車両ＥＣＵ４０１が決定した報知必要度を、報知必要度判定モジュール５０６が検出（取得）してもよい。『報知必要度』は、例えば、起こり得る自体の重大さの程度から導き出される危険度、反応行動を起こすまでに要求される反応時間の長短から導き出される緊急度、自車両１や運転者４（又は自車両１の他の乗員）の状況から導き出される有効度、又はこれらの組み合わせなどで決定され得る（報知必要度の指標はこれらに限定されない）。報知必要度判定モジュール５０６は、画像２００の報知必要度を推定する元となる必要度関連情報を検出し、これから報知必要度を推定してもよい。画像の報知必要度を推定する元となる必要度関連情報は、例えば、実オブジェクトや交通規制（道路情報の一例）の位置、種類などで推定されてもよく、Ｉ／Ｏインタフェース３１に接続される種々の他の電子機器から入力される他の情報に基づいて、又は他の情報を加味して推定されてもよい。すなわち、報知必要度判定モジュール５０６は、運転者４に報知すべきかを判定し、後述する画像を表示しないことも選択し得る。なお、車両用表示システム１０は、報知必要度を取得できればよく、報知必要度を推定する（算出する）機能を有していなくてもよく、報知必要度を推定する機能の一部又は全部は、車両用表示システム１０の表示制御装置３０とは別（例えば、車両ＥＣＵ４０１）に設けられてもよい。
【００４２】
目位置検出モジュール５０８は、自車両１の運転者４の眼の位置を検出する。目位置検出モジュール５０８は、複数段階で設けられた高さ領域のどこに運転者４の眼の高さがあるかの判定、運転者４の眼の高さ（Ｙ軸方向の位置）の検出、運転者４の眼の高さ（Ｙ軸方向の位置）及び奥行方向の位置（Ｚ軸方向の位置）の検出、及び／又は運転者４の眼の位置（Ｘ，Ｙ，Ｚ軸方向の位置）の検出、に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。目位置検出モジュール５０８は、例えば、目位置検出部４１１から運転者４の眼の位置を取得する、又は、目位置検出部４１１から運転者４の目の高さを含む目の位置を推定可能な情報を受信し、運転者４の目の高さを含む目の位置を推定する。目の位置を推定可能な情報は、例えば、自車両１の運転席の位置、運転者４の顔の位置、座高の高さ、運転者４による図示しない操作部での入力値などであってもよい。
【００４３】
画像種類設定モジュール５１０は、例えば、実オブジェクト情報検出モジュール５０２により検出された実オブジェクトの種類、位置、実オブジェクト情報検出モジュール５０２で検出された実オブジェクト関連情報の種類、数、及び／又は報知必要度判定モジュール５０６で検出された（推定された）報知必要度の大きさに基づいて、実オブジェクトに対して表示する画像の種類を決定することができる。また、画像種類設定モジュール５１０は、後述する視線方向判定モジュール５１６による判定結果により、表示する画像の種類を増減させてもよい。具体的には、実オブジェクト３１０が運転者４によって視認されにくい状態である場合、実オブジェクトの近傍に運転者４によって視認される画像の種類を多くしてもよい。
【００４４】
画像配置設定モジュール５１２は、パースペクティブ画像２００が、実オブジェクト３１０（路面３３０）と特定の位置関係になって視認されるように、実オブジェクト位置特定モジュール５０４が特定した実オブジェクト３１０の位置（観測位置又は予測位置）に基づき、パースペクティブ画像２００の座標（運転者４が自車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）を少なくとも含む）を決定する。これに加え、画像配置設定モジュール５１２は、実オブジェクト位置特定モジュール５０４が設定した実オブジェクト３１０の決定位置に基づき、運転者４が自車両１の運転席から表示領域１００の方向を見た際の前後方向（Ｚ軸方向）を決定してもよい。なお、画像配置設定モジュール５１２は、目位置検出部４１１が検出した運転者４の眼の位置に基づいて、パースペクティブ画像２００の位置を調整する。具体的には、画像配置設定モジュール５１２は、パースペクティブ画像２００が区画線３３１，３３２の間の領域（路面３３０）に視認されるように、パースペクティブ画像２００の左右方向、及び上下方向の位置を決定する。
【００４５】
また、画像配置設定モジュール５１２は、パースペクティブ画像２００の角度（Ｘ方向を軸としたピッチング角、Ｙ方向を軸としたヨーレート角、Ｚ方向を軸としたローリング角）を設定し得る。なお、パースペクティブ画像２００の角度は、予め設定された角度であり、自車両１の前後左右方向（ＸＹ面）と平行となるように設定され得る。
【００４６】
画像サイズ設定モジュール５１４は、対応付ける実オブジェクト３１０の位置、形状、及び／又はサイズに合わせて、パースペクティブ画像２００のサイズを変更してもよい。例えば、画像サイズ設定モジュール５１４は、対応付ける実オブジェクト３１０の位置が遠方であれば、パースペクティブ画像２００のサイズを小さくし得る。また、画像サイズ設定モジュール５１４は、対応付ける実オブジェクト３１０のサイズが大きければ、パースペクティブ画像２００のサイズを大きくし得る。
【００４７】
また、画像サイズ設定モジュール５１４は、報知必要度判定モジュール５０６で検出された（推定された）報知必要度の大きさに基づいて、パースペクティブ画像２００のサイズを決定し得る。
【００４８】
画像サイズ設定モジュール５１４は、過去の所定の回数の実オブジェクト３１０のサイズに基づいて、今回の表示更新周期で表示するパースペクティブ画像２００を表示するサイズを予測算出する機能を有してもよい。第１の手法として、画像サイズ設定モジュール５１４は、カメラ（車外センサ４０７の一例）による過去の２つの撮像画像間で、例えば、Ｌｕｃａｓ−Ｋａｎａｄｅ法を使用して、実オブジェクト３１０の画素を追跡することで、今回の表示更新周期における実オブジェクト３１０のサイズを予測し、予測した実オブジェクト３１０のサイズに合わせてパースペクティブ画像２００のサイズを決定してもよい。第２手法として、過去の２つの撮像画像間での実オブジェクト３１０のサイズの変化に基づき、実オブジェクト３１０のサイズの変化率を求めて、実オブジェクト３１０のサイズの変化率に応じてパースペクティブ画像２００のサイズを決定してもよい。なお、時系列で変化する視点からの実オブジェクト３１０のサイズ変化を推定する方法は、上記に限られず、例えば、Ｈｏｒｎ−Ｓｃｈｕｎｃｋ法、Ｂｕｘｔｏｎ−Ｂｕｘｔｏｎ、Ｂｌａｃｋ−Ｊｅｐｓｏｎ法などのオプティカルフロー推定アルゴリズムを含む公知の手法を用いてもよい。
【００４９】
視線方向判定モジュール５１６は、自車両１の運転者４が、特定の領域を見ていること、及び／又は特定の領域を見ていないこと、の判定に関する様々な動作を実行するための様々なソフトウェア構成要素を含む。具体的には、視線方向判定モジュール５１６は、自車両１の運転者４が後述するパースペクティブ画像２００の先端領域２４０（図４参照）を見ているか否かの判定（特定の領域を見ていることの判定の一例。）、後述するパースペクティブ画像２００の先端領域２４０から視線方向が所定の視線閾値より離れているか否かの判定（特定の領域を見ていないことの判定の一例。）、自車両１の運転者４が後述するパースペクティブ画像２００の先端領域２４０もしくは後端領域２２０（図４参照）のどちら側を見ているかの判定（特定の領域を見ていることの判定の一例。）、及び／又は自車両１の運転者４が後述するパースペクティブ画像２００の先端領域２４０より遠方側を見ているか否かの判定（特定の領域を見ていることの判定の一例。）、に関する様々な動作を実行するための様々なソフトウェア構成要素を含む。
【００５０】
運転者４が特定の方向（特定角度領域Ｅとも言う。）を見ているか（注視しているか）を判定する方法の例を説明する。視線方向判定モジュール５１６は、視線方向検出部４０９が検出した視線方向ＧＺに基づき、特定角度領域Ｅを見ているか否かを判定する。視線方向判定モジュール５１６は、視線方向ＧＺと、特定角度領域Ｅ（例えば、後述するパースペクティブ画像２００が表示されている方向）との差分角度Δθを算出し、差分角度Δθが所定の差分角度閾値未満であるかを判定する。この差分角度Δθが前記差分角度閾値未満ではない場合、特定の方向を注視していないと判定し、注視判定カウンタを初期値（例えば０）にクリアする。この注視判定カウンタは、視線方向が特定の方向に向いていると判定された期間を計測するためのカウンタであり、プロセッサ３３の動作中にメモリ３７に記憶されている。
【００５１】
一方、差分角度Δθが前記差分角度閾値未満である場合、視線方向判定モジュール５１６は、前記注視判定カウンタをインクリメントする。つまり、視線方向判定モジュール５１６は、運転者４が注視行動を開始したと推定し、前記注視判定カウンタのインクリメントを開始する。視線方向判定モジュール５１６は、前記注視判定カウンタの値が、所定の注視判定閾値を超えたか否かを判定し、その結果、前記注視判定カウンタが前記注視判定閾値を超えた場合は、注視判定、すなわち、運転者４が特定角度領域Ｅ（例えば、後述するパースペクティブ画像２００が表示されている方向）を注視していると判定する。
【００５２】
図３Ａ及び図３Ｂは、運転者４の視線方向ＧＺと、パースペクティブ画像２００が表示されている特定角度領域Ｅとの差分角度Δθを説明する図である。図３Ａでは、運転者４の左右方向の視線方向ＧＺｘと、運転者４から見た上下左右方向（ＸＹ平面）に沿った表示領域１１０に表示されたパースペクティブ画像２００の特定角度領域Ｅｘとの差分角度をΔθｘと表記する。図３Ｂでは、運転者４の上下方向の視線方向ＧＺｙと、運転者４から見た上下左右方向（ＸＹ平面）に沿った表示領域１１０に表示されたパースペクティブ画像２００の特定角度領域Ｅｙとの差分角度をΔθｙと表記する。
【００５３】
視線方向判定モジュール５１６は、画像配置設定モジュール５１２から入力した画像２００の位置情報と、画像サイズ設定モジュール５１４から入力した画像２００のサイズ情報と、及び目位置検出モジュール５０８から入力した運転者４の目位置情報と、から、運転者４の現在の目の位置からパースペクティブ画像２００に向けた特定角度領域Ｅ（Ｅｘ、Ｅｙ）を設定する。次に、視線方向判定モジュール５１６は、設定した特定角度領域Ｅ（Ｅｘ、Ｅｙ）と、視線方向検出部４０９から入力する視線方向ＧＺ（ＧＺｘ、ＧＺｙ）とから、差分角度Δθ（Δθｘ、Δθｙ）をそれぞれ算出し、差分角度Δθｘ、Δθｙが、それぞれ比較するために設けられた前記差分角度閾値未満であるか判定し、差分角度Δθｘ、Δθｙ双方が、前記差分角度閾値未満である場合、特定角度領域Ｅに視線が向いていると判定する。なお、差分角度Δθｘの比較対象である差分角度閾値、及び／又は差分角度Δθｙの比較対象である差分角度閾値は、ゼロであってもよく、すなわち、視線方向ＧＺが特定角度領域Ｅ内にあることで、特定角度領域Ｅを注視していると判定しなくてもよい。視線方向判定モジュール５１６は、特定角度領域Ｅを運転者４が注視しているか否かの判定結果を、プロセッサ３３に送信する。なお、注視判定方法は、これらの手段に限定されない。また、表示制御装置３０（プロセッサ３３）は、自車両１の運転者４が見ている領域（注視している領域）を取得できればよく、視線方向ＧＺから見ている領域（注視している領域）を判定する（算出する）機能を有していなくてもよく、これらの機能の一部又は全部は、車両用表示システム１０の表示制御装置３０（プロセッサ３３）とは別（例えば、車両ＥＣＵ４０１）に設けられてもよい。さらに言えば、表示制御装置３０（プロセッサ３３）は、自車両１の運転者４が、特定の領域を見ていること、所定の時間より長い間、特定の領域を見ていないこと、などの判定結果を取得できればよく、運転者４の注視方向から上記判定をする機能を有していなくてもよく、自車両１の運転者４が、特定の領域を見ていること、又は特定の領域を見ていないこと、などを判定する機能を有していなくてもよく、これらの機能の一部又は全部は、車両用表示システム１０の表示制御装置３０（プロセッサ３３）とは別（例えば、車両ＥＣＵ４０１）に設けられてもよい。
【００５４】
また、視線方向判定モジュール５１６は、運転者４がパースペクティブ画像２００以外の何を視認しているかを検出してもよい。例えば、視線方向判定モジュール５１６は、実オブジェクト情報検出モジュール５０２が検出した自車両１の前景３００に存在する実オブジェクト３１０の位置と、視線方向検出部４０９から取得した運転者４の視線方向ＧＺと、を比較することで、注視している実オブジェクト３１０を特定し、視認された実オブジェクト３１０を特定する情報を、プロセッサ３３に送信してもよい。
【００５５】
グラフィックモジュール５１８は、レンダリングなどの画像処理をして画像データを生成し、表示器２２を駆動するための様々な既知のソフトウェア構成要素を含む。また、グラフィックモジュール５１８は、表示される画像の、種類、配置（位置座標、角度）、サイズ、表示距離（３Ｄの場合。）、視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）、を変更するための様々な既知のソフトウェア構成要素を含んでいてもよい。グラフィックモジュール５１８は、画像種類設定モジュール５１０が設定した種類、画像配置設定モジュール５１２が設定した位置座標（運転者４が自車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）の位置座標を少なくとも含む位置座標。）画像配置設定モジュール５１２が設定した角度（Ｘ方向を軸としたピッチング角、Ｙ方向を軸としたヨーレート角、Ｚ方向を軸としたローリング角）、及び画像サイズ設定モジュール５１４が設定したサイズで運転者４に視認されるように画像データを生成し、画像表示部２０に表示する。
【００５６】
グラフィックモジュール５１８は、自車両１の前後方向に沿うように視認される１つ又は複数の画像要素から構成されるパースペクティブ画像２００を表示する。パースペクティブ画像２００は、前景３００の実オブジェクト３１０（ａｎａｌｏｇ）と所定の位置関係になるように配置され、この場合、（Ｋｏｎｔａｋｔａｎａｌｏｇ）画像とも呼ばれる。本実施形態の説明では、パースペクティブ画像２００を、（Ｋｏｎｔａｋｔａｎａｌｏｇ）画像として説明するが、パースペクティブ画像２００は、遠近法を用いて描画されていればよく、必ずしも前景３００の実オブジェクト３１０と所定の位置関係になるように配置されない、すなわち、実オブジェクト３１０によらず、表示位置が固定（又は調整可能な半固定）される非（Ｋｏｎｔａｋｔａｎａｌｏｇ）画像であってもよい。
【００５７】
図４は、パースペクティブ画像２００が表示される例を示す図である。図４のパースペクティブ画像２００は、案内経路を示す６つ（複数）の矢印状の画像（経路画像とも呼ぶ。）からなり、自車両１の前景３００における路面３３０に重なる位置に、案内経路のうち自車両１に近い方から符号２０１、２０２、２０３、２０４、２０５、２０６の順に配置される。案内経路は、直進した後に交差点で右折を示しており、すなわち、交差点までの案内経路を示すパースペクティブ画像２０１、２０２、２０３は、運転者４から見て自車両１の走行レーンの路面３３０に重なり、前方の交差点に向かうように直進方向（Ｚ軸正方向）を指示し、交差点から先の案内経路を示すパースペクティブ画像２０４、２０５、２０６は、運転者４から見て右折方向の分岐路の路面３３０に重なるように右方向（Ｘ軸負方向）を指示する。パースペクティブ画像２０１〜２０６は、路面３３０に沿うように視認されるように配置されており、すなわち、画像配置設定モジュール５１２は、パースペクティブ画像２０１〜２０６が示す仮想オブジェクトを、路面３３０とのなす角度が０［ｄｅｇｒｅｅ］になる（換言すると、路面３３０と平行になる）ように配置（角度）を設定する。
【００５８】
本実施形態のグラフィックモジュール５１８は、視線方向判定モジュール５１６による判定結果により、パースペクティブ画像２００の一部の路面３３０に対する角度を変更する。図５は、図４のパースペクティブ画像２００の一部（先端領域２４０（２０４、２０５、２０６））の路面３３０に対する角度を変更した後の表示例を示す。視線方向判定モジュール５１６により運転者４がパースペクティブ画像２００の先端領域２４０（特定角度領域Ｅの一例）をしばらく見ていないと判定されると、グラフィックモジュール５１８は、パースペクティブ画像２００の先端領域２４０（２０４、２０５、２０６）を運転者４に向かって起き上がらせる（換言すると、路面３３０を基準としたＸ方向を軸とした先端領域２４０（２０４、２０５、２０６）のピッチング角を０［ｄｅｇｒｅｅ］から９０［ｄｅｇｒｅｅ］に変更する）。
【００５９】
また、いくつかの実施形態において、視線方向判定モジュール５１６により運転者４がパースペクティブ画像２００の後端領域２２０（特定角度領域Ｅの一例）を注視していると判定される場合、グラフィックモジュール５１８は、パースペクティブ画像２００の先端領域２４０（２０４、２０５、２０６）を運転者４に向かって起き上がらせてもよい（換言すると、路面３３０を基準としたＸ方向を軸とした先端領域２４０のピッチング角を０［ｄｅｇｒｅｅ］から９０［ｄｅｇｒｅｅ］に変更してもよい）。
【００６０】
また、いくつかの実施形態において、視線方向判定モジュール５１６により運転者４がパースペクティブ画像２００の先端領域２４０よりも上側（Ｙ軸正方向）の領域（特定角度領域Ｅの一例）を注視していると判定される場合、グラフィックモジュール５１８は、パースペクティブ画像２００の先端領域２４０（２０４、２０５、２０６）を運転者４に向かって起き上がらせてもよい（換言すると、路面３３０を基準としたＸ方向を軸とした先端領域２４０のピッチング角を０［ｄｅｇｒｅｅ］から９０［ｄｅｇｒｅｅ］に変更してもよい）。
【００６１】
図６Ａは、図５のパースペクティブ画像の各領域に設定される配置（角度）を示す図であり、横軸がパースペクティブ画像の各領域２０１〜２０６を示し、縦軸が路面３３０に対して仮想的に設定されたピッチング角度［ｄｅｇｒｅｅ］を示す。後端領域２２０のパースペクティブ画像２０１，２０２，２０３には、０［ｄｅｇｒｅｅ］が設定され、先端領域２４０のパースペクティブ画像２０４，２０５，２０６には、９０［ｄｅｇｒｅｅ］が設定される。
【００６２】
図６Ｂは、パースペクティブ画像２００の各領域に設定される配置（角度）の別例を示す図である。グラフィックモジュール５１８は、パースペクティブ画像２００の先端領域２４０（２０４、２０５、２０６）を運転者４に向かって起き上がらせる際、パースペクティブ画像２００の先端に向かうにつれて徐々に起き上がるように角度を設定してもよい（換言すると、路面３３０を基準としたＸ方向を軸とした先端領域２４０のピッチング角を０［ｄｅｇｒｅｅ］先端に向かうにつれて徐々に９０［ｄｅｇｒｅｅ］に近づけるように変更してもよい。）。具体的には、後端領域２２０のパースペクティブ画像２０１，２０２，２０３には、０［ｄｅｇｒｅｅ］が設定され、先端領域２４０のパースペクティブ画像２０４は３０［ｄｅｇｒｅｅ］、パースペクティブ画像２０５は６０［ｄｅｇｒｅｅ］、パースペクティブ画像２０６は９０［ｄｅｇｒｅｅ］、すなわち、最先端の画像要素（符号２０６）と、最先端の画像要素に連なる複数の画像要素（符号２０５、２０４）と、の角度を異ならせてもよく、最先端に向かうに連れて角度の変更具合を大きく設定してもよい。
【００６３】
なお、いくつかの実施形態では、パースペクティブ画像２００は、１つの画像要素で構成され得る。図７は、１つの画像要素で構成されたパースペクティブ画像２００が注視判定に応じて変形する前の表示例を示す。また、図８は、図７のパースペクティブ画像２００が注視判定に応じて変形した後の表示例を示す。図８の例では、急に起き上がるようにパースペクティブ画像２００の先端領域２４０の角度が設定されているが、これに限定されない。したがって、グラフィックモジュール５１８は、パースペクティブ画像２００の先端領域２４０を運転者４に向かって起き上がらせる際、パースペクティブ画像２００の最先端に向かうにつれて徐々に起き上がるように角度を設定してもよい（換言すると、路面３３０を基準としたＸ方向を軸とした先端領域２４０のピッチング角を０［ｄｅｇｒｅｅ］から最先端に向かうにつれて徐々に９０［ｄｅｇｒｅｅ］に近づけるように変更してもよい。）。
【００６４】
また、いくつかの実施形態では、グラフィックモジュール５１８は、視線方向判定モジュール５１６による判定結果により、パースペクティブ画像２００の後端領域２２０の路面３３０に対する角度を変更し得る。図９は、図４のパースペクティブ画像２００の一部（後端領域２２０（２０１、２０２、２０３））の路面３３０に対する角度（ローリング角）を変更した後の表示例を示す。視線方向判定モジュール５１６により運転者４がパースペクティブ画像２００の後端領域２２０（特定角度領域Ｅの一例）をしばらく見ていないと判定される場合、又は視線方向判定モジュール５１６により運転者４がパースペクティブ画像２００の先端領域２４０（特定角度領域Ｅの一例）を注視していると判定される場合、グラフィックモジュール５１８は、パースペクティブ画像２００の後端領域２２０（２０１、２０２、２０３）を、路面３３０を基準としたＺ方向を軸とした後端領域２２０のロール角を０［ｄｅｇｒｅｅ］から９０［ｄｅｇｒｅｅ］に変更してもよい。なお、運転者４から見て奥行き方向（Ｚ方向）に並んでいる（延在している）ように視認させるパースペクティブ画像２００が表現する仮想オブジェクトの路面３３０に対する角度を大きくして起き上がらせるように視認させる際、起き上がらせたパースペクティブ画像２００の位置を自車両１の走行レーンの中央より左側又は右側にずらして配置してもよい。
【００６５】
図１０Ａは、図９のパースペクティブ画像の各領域に設定される配置（角度）を示す図であり、横軸がパースペクティブ画像の各領域２０１〜２０６を示し、縦軸が路面３３０に対して仮想的に設定されたローリング角度［ｄｅｇｒｅｅ］を示す。後端領域２２０のパースペクティブ画像２０１，２０２，２０３には、９０［ｄｅｇｒｅｅ］が設定され、先端領域２４０のパースペクティブ画像２０４，２０５，２０６には、０［ｄｅｇｒｅｅ］が設定される。
【００６６】
図１０Ｂは、パースペクティブ画像２００の各領域に設定される配置（角度）の別例を示す図である。画像配置設定モジュール５１２は、パースペクティブ画像２００の後端領域２２０（２０１、２０２、２０３）を路面３３０から起き上がらせる際、パースペクティブ画像２００の最後端に向かうにつれて徐々に起き上がるようにローリング角度を設定してもよい（換言すると、路面３３０を基準としたＺ方向を軸とした後端２３０のローリング角を０［ｄｅｇｒｅｅ］から最後端に向かうにつれて徐々に９０［ｄｅｇｒｅｅ］に近づけるように変更してもよい）。具体的には、先端領域２４０のパースペクティブ画像２０４，２０５，２０６には、０［ｄｅｇｒｅｅ］が設定され、後端領域２２０のパースペクティブ画像２０３は３０［ｄｅｇｒｅｅ］、パースペクティブ画像２０２は６０［ｄｅｇｒｅｅ］、最後端のパースペクティブ画像２０１は９０［ｄｅｇｒｅｅ］が設定される。
【００６７】
図１１は、パースペクティブ画像２００の一部の角度を変更してから元の角度に戻るまでのタイミングチャートであり、横軸は時間を示し、縦軸が路面３３０に対して仮想的に設定されたパースペクティブ画像２００の一部のローリング角度［ｄｅｇｒｅｅ］を示す。視線方向判定モジュール５１６の判定結果に基づき、特定の条件が満たされた時間ｔ１１において、グラフィックモジュール５１８は、路面３３０に対して仮想的に設定されるパースペクティブ画像２００の一部（後端領域２２０、又は先端領域２４０）の角度を大きくし、路面３３０から起き上がらせ、所定の時間（例えば、１０秒）が経過した時間ｔ１２から徐々に（例えば、３０秒かけて）、変更したパースペクティブ画像２００の一部（後端領域２２０、又は先端領域２４０）の角度を元に戻す（時間ｔ１３）。注視されていないパースペクティブ画像２００の一部を路面３３０に沿った角度から起こすことにより、運転者４の視覚的注意を迅速にパースペクティブ画像２００に向けさせることができる。
【００６８】
また、上記実施形態によれば、角度が変化したパースペクティブ画像２００の一部に連なっているパースペクティブ画像２００の他部は、路面３３０に沿った角度で表示され続けるため、画像（パースペクティブ画像２００の他部）が、前景３００に溶け込みやすくなり、その結果、仮想現実における画像の違和感が軽減され、視覚的注意を過度に向きにくくし得る。
【００６９】
さらに、上記実施形態によれば、注視されていないパースペクティブ画像２００の一部を路面３３０に沿った角度に戻すのにかける時間（図１１のｔ１２〜ｔ１３であり、変更保持時間とも呼ぶ。）を、注視されていないパースペクティブ画像２００の一部を路面３３０に沿った角度から起こすのにかける時間よりも長くする、すなわち、路面３３０に沿った角度にゆっくり戻すことで、運転者４の視覚的注意が過度に取られることなく、パースペクティブ画像２００を前景３００に溶け込みやすい元の状態に戻すことができる。
【００７０】
パースペクティブ画像２００の具体的な種類に制限はなく、自車両１の前後方向に沿うように視認される１つ又は複数の画像要素からなる、上記の案内経路を示す画像の他にも、例えば、区画線３３１、３３２に沿って表示されるレーンガイド画像（図１２Ａの符号２００）、区画線３３１、３３２を逸脱しそうになった際に区画線に沿って表示される車線逸脱警告（ＬＤＷ、Lane Departure Warning）に関する画像（図１２Ａの符号２００と同様、又は類似。）、自車両１と同じ走行レーンの前方を走行する他車両３５０に追従走行する際に設定される車間距離を路面３３０に重ねて表示する定車間距離制御（ＡＣＣ、Adaptive Cruise Control）に関する画像（図１２Ｂの符号２００）、又は隣接する走行レーンを走行する他車両３７０が自車両１の走行レーンに侵入してくると予測される場合に他車両３７０の予測侵入経路を示す画像（図１２Ｃの符号２００）などであってもよい。
【００７１】
再び図２を参照する。行動判定モジュール５２０は、パースペクティブ画像２００が示す情報に対して運転者４が的確な行動をとったか否かを検出する。いくつかのパースペクティブ画像２００には、それぞれ運転者４の的確な行動が対応づけてメモリ３７に記憶されている。特に、パースペクティブ画像２００の一部の路面３３０に対する角度を変更した後、行動判定モジュール５２０は、パースペクティブ画像２００に対応付けられた的確な行動が検出されたか否かを判定する。例えば、
パースペクティブ画像２００が案内経路情報を含む場合、案内経路が示す方向と同じ方向を運転者４が注視したこと、又は案内経路が示す方向と同じ方向に向かおうとする操舵がなされたこと、などを条件として、パースペクティブ画像２００に対応付けられた的確な行動が検出されたと判定してもよい。また、パースペクティブ画像２００が前記車線逸脱警告に関する画像である場合、車線逸脱を回避するような操舵がなされたこと、などを条件として、パースペクティブ画像２００に対応付けられた的確な行動が検出されたと判定してもよい。行動判定モジュール５２０は、行動を判定するために収集する情報は、車両ＥＣＵ４０１から入力する自車両１の状態（例えば、走行距離、車速、アクセルペダル開度、エンジンスロットル開度、インジェクター燃料噴射量、エンジン回転数、モータ回転数、ステアリング操舵角、シフトポジション、ドライブモード、各種警告状態）、視線方向検出部４０９から入力する運転者４の状態（例えば、視線方向）などであるが、これらに限定されない。グラフィックモジュール５１８は、パースペクティブ画像２００の一部の路面３３０に対する角度を変更した後、行動判定モジュール５２０で的確な行動がなされたと判定された場合、前記変更保持時間が経過しなくても、パースペクティブ画像２００の角度を変更していた一部を路面３３０に沿った角度に戻してもよい。この場合、前記変更保持時間が経過後にパースペクティブ画像２００の角度を戻す速さよりも、行動判定モジュール５２０で的確な行動がなされたと判定されたことを条件として角度を戻す速さの方を速くしてもよい。これにより、運転者４により的確な動作がなされた場合に、パースペクティブ画像２００の一部を路面３３０に沿った角度に戻すことで、再びパースペクティブ画像２００の全体が前景３００に溶け込みやすくなり、その結果、仮想現実における画像の違和感が軽減され、視覚的注意を過度に向きにくくし得る。
【００７２】
図１３は、いくつかの実施形態に係る、パースペクティブ画像２００の一部（先端領域２４０又は後端領域２２０）の角度を変更する処理のフロー図である。
まず、１つ又は複数のプロセッサ３３は、視線方向検出部４０９から自車両１の運転者４の視線方向ＧＺを取得し（ステップＳ１１）、メモリ３７から現在表示されている画像の位置を取得する（ステップＳ１２）。
【００７３】
次に、プロセッサ３３は、ステップＳ１１で取得した視線方向ＧＺ（又は視線方向ＧＺから推定した注視方向）と、ステップＳ１２で取得した画像の位置と、を比較して、先端領域２４０の角度を変更する条件が満たされたか否かを判定する（ステップＳ１３）。具体的には、プロセッサ３３は、視線方向判定モジュール５１６を実行し、自車両１の運転者４が、先端領域２４０をしばらく視認していないこと、後端領域２２０を注視していること、又は先端領域２４０よりも上側（Ｙ軸正方向）を注視していること、が判定された場合（ステップＳ１３でＹｅｓ）、先端領域２４０の角度を路面３３０に沿った角度から起きて視認されるように変更し（ステップＳ１４）、ステップＳ１７に移行する。
【００７４】
一方、先端領域２４０の角度を変更する条件が満たされなかった場合（ステップＳ１３でＮｏ）、プロセッサ３３は、ステップＳ１１で取得した視線方向ＧＺ（又は視線方向ＧＺから推定した注視方向）と、ステップＳ１２で取得した画像の位置と、を比較して、後端領域２２０の角度を変更する条件が満たされたか否かを判定する（ステップＳ１５）。具体的には、プロセッサ３３は、視線方向判定モジュール５１６を実行し、自車両１の運転者４が、後端領域２２０をしばらく視認していないこと、又は先端領域２４０を注視していること、が判定された場合（ステップＳ１５でＹｅｓ）、後端領域２２０の角度を路面３３０に沿った角度から起きて視認されるように変更し（ステップＳ１６）、ステップＳ１７に移行する。なお、後端領域２２０の角度を変更する条件が満たされなかった場合（ステップＳ１５でＮｏ）、処理を終了し、再びステップＳ１１から処理を開始する。
【００７５】
ステップＳ１７では、プロセッサ３３は、先端領域２４０又は後端領域２２０の角度を元に戻す条件が満たされか否かを判定する。具体的には、プロセッサ３３は、ステップＳ１４での先端領域２４０の角度を変更してからの経過時間、又はステップＳ１６での後端領域２２０の角度を変更してからの経過時間、をタイマー（図示しない）で測定し、所定の時間が経過した場合（ステップＳ１７でＹｅｓ）、先端領域２４０又は後端領域２２０の角度を、路面３３０に沿った角度に戻し（ステップＳ１８）、処理を終了し、再びステップＳ１１から処理を開始する。また、プロセッサ３３は、行動判定モジュール５２０を実行し、パースペクティブ画像２００が示す情報に対して運転者４が的確な行動をとったことを検出した場合（ステップＳ１７でＹｅｓ）、先端領域２４０又は後端領域２２０の角度を、路面３３０に沿った角度に戻し（ステップＳ１８）、処理を終了し、再びステップＳ１１から処理を開始してもよい。
【００７６】
上述の処理プロセスの動作は、汎用プロセッサ又は特定用途向けチップなどの情報処理装置の１つ以上の機能モジュールを実行させることにより実施することができる。これらのモジュール、これらのモジュールの組み合わせ、及び／又はそれらの機能を代替えし得る一般的なハードウェアとの組み合わせは全て、本発明の保護の範囲内に含まれる。
【００７７】
車両用表示システム１０の機能ブロックは、任意選択的に、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実行される。図２で説明する機能ブロックが、説明される実施形態の原理を実施するために、任意選択的に、組み合わされ、又は１つの機能ブロックを２以上のサブブロックに分離されてもいいことは、当業者に理解されるだろう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割を、任意選択的に支持する。
【符号の説明】
【００７８】
１      ：自車両
２      ：フロントウインドシールド
４      ：運転者
５      ：ダッシュボード
１０    ：車両用表示システム
２０    ：画像表示部
２０ａ  ：表示光
２２    ：表示器
２４    ：リレー光学系
３０    ：表示制御装置
３１    ：Ｉ／Ｏインタフェース
３３    ：プロセッサ
３５    ：画像処理回路
３７    ：メモリ
１００  ：表示領域
２００  ：パースペクティブ画像
２２０  ：後端領域
２４０  ：先端領域
３００  ：前景
３１０  ：実オブジェクト
３３０  ：路面
３３１  ：区画線
３３２  ：区画線
３５０  ：他車両
３７０  ：他車両
４０１  ：車両ＥＣＵ
４０３  ：道路情報データベース
４０５  ：自車位置検出部
４０７  ：車外センサ
４０９  ：視線方向検出部
４１１  ：目位置検出部
４１３  ：携帯情報端末
４１５  ：外部通信機器
５０２  ：実オブジェクト情報検出モジュール
５０４  ：実オブジェクト位置特定モジュール
５０６  ：報知必要度判定モジュール
５０８  ：目位置検出モジュール
５１０  ：画像種類設定モジュール
５１２  ：画像配置設定モジュール
５１４  ：画像サイズ設定モジュール
５１６  ：視線方向判定モジュール
５１８  ：グラフィックモジュール
５２０  ：行動判定モジュール
Ｅ      ：特定角度領域
【図１】
2020199883.tif 000003
【図２】
2020199883.tif 000004
【図３Ａ】
2020199883.tif 000005
【図３Ｂ】
2020199883.tif 000006
【図４】
2020199883.tif 000007
【図５】
2020199883.tif 000008
【図６Ａ】
2020199883.tif 000009
【図６Ｂ】
2020199883.tif 000010
【図７】
2020199883.tif 000011
【図８】
2020199883.tif 000012
【図９】
2020199883.tif 000013
【図１０Ａ】
2020199883.tif 000014
【図１０Ｂ】
2020199883.tif 000015
【図１１】
2020199883.tif 000016
【図１２Ａ】
2020199883.tif 000017
【図１２Ｂ】
2020199883.tif 000018
【図１２Ｃ】
2020199883.tif 000019
【図１３】
2020199883.tif 000020