(57)【要約】【課題】  画像の視認性の低下を抑制する。【解決手段】  プロセッサは、自車両が走行する路面に沿って視認され、自車両を誘導する経路画像２２０が表示される位置を推測可能な情報を取得し、先行実オブジェクト３３０の位置と経路画像２２０の位置とから、先行実オブジェクト３３０と経路画像２２０とが重なると判定される場合、経路画像２２０と、先行実オブジェクト３３０と重なり、かつ経路画像２２０に隣接する位置に少なくとも配置される背景画像２３０と、を表示させる。 【選択図】  図４
2020117105.tif 000002
【特許請求の範囲】
【請求項１】
自車両の運転者から見られる前景に画像を重ねて表示する画像表示部（１１）を制御する表示制御装置（１３）において、
１つ又はそれ以上のＩ／Ｏインタフェース（１４）と、
１つ又はそれ以上のプロセッサ（１６）と、
メモリ（１８）と、
前記メモリ（１８）に格納され、前記１つ又はそれ以上のプロセッサ（１６）によって実行されるように構成される１つ又はそれ以上のコンピュータ・プログラムと、を備え、
前記１つ又はそれ以上のプロセッサ（１６）は、
前記１つ又はそれ以上のＩ／Ｏインタフェース（１４）から、
前記自車両の前方における先行実オブジェクト（３３０）の位置と、
前記自車両が走行する路面に沿って視認され、前記自車両を誘導する経路画像（２１０）が表示される位置を推測可能な情報と、を取得し、
前記先行実オブジェクト（３３０）の位置と前記経路画像（２１０）の位置とから、前記先行実オブジェクト（３３０）と前記経路画像（２１０）とが重なると判定される場合、
前記経路画像（２１０）と、
前記先行実オブジェクト（３３０）と重なり、かつ前記経路画像（２１０）に隣接する位置に少なくとも配置される背景画像（２２０）と、を表示させる、命令を実行する、
表示制御装置。
【請求項２】
前記１つ又はそれ以上のプロセッサ（１６）は、
前記１つ又はそれ以上のＩ／Ｏインタフェース（１４）から、
前記先行実オブジェクト（３３０）の種類を推定可能な情報を取得し、
前記先行実オブジェクト（３３０）の種類に応じて、前記背景画像（２２０）の形状を変化させる、命令をさらに実行する、
請求項１に記載の表示制御装置。
【請求項３】
前記背景画像（２２０）は、車両の形状を模した画像である、
請求項１に記載の表示制御装置。
【請求項４】
前記１つ又はそれ以上のプロセッサ（１６）は、
前記１つ又はそれ以上のＩ／Ｏインタフェース（１４）から、
前記先行実オブジェクト（３３０）の減速を推定可能な情報を取得し、
前記先行実オブジェクト（３３０）の減速に応じて、前記経路画像（２１０）の表示態様を変更する、命令をさらに実行する、
請求項１に記載の表示制御装置。
【請求項５】
前記１つ又はそれ以上のプロセッサ（１６）は、
前記１つ又はそれ以上のＩ／Ｏインタフェース（１４）から、
前記先行実オブジェクト（３３０）までの距離を推定可能な情報を取得し、
前記先行実オブジェクト（３３０）までの前記距離が所定の閾値未満になることを少なくとも含む条件が満たされる 場合に、前記経路画像（２１０）の表示態様を変更する、命令をさらに実行する、
請求項１に記載の表示制御装置。
【請求項６】
前記１つ又はそれ以上のプロセッサ（１６）は、
前記１つ又はそれ以上のＩ／Ｏインタフェース（１４）から、
前記先行実オブジェクト（３３０）までの距離を推定可能な情報を取得し、
前記先行実オブジェクト（３３０）までの前記距離が所定の閾値未満になることを少なくとも含む条件が満たされる 場合に、前記経路画像（２１０）のうち前記先行実オブジェクト（３３０）又は前記背景画像（２２０）と重なる領域よりも下側に視認される領域の表示態様を変更する、命令をさらに実行する、
請求項１に記載の表示制御装置。
【請求項７】
自車両の運転者から見られる前景に画像を重ねて表示する画像表示部（１１）を制御する表示制御装置（１３）において、
前記自車両の前方における先行実オブジェクト（３３０）の位置と、
前記自車両が走行する路面に沿って視認され、前記自車両を誘導する経路画像（２１０）が表示される位置を推測可能な情報と、を取得することと、
前記先行実オブジェクト（３３０）の位置と前記経路画像（２１０）の位置とから、前記先行実オブジェクト（３３０）と前記経路画像（２１０）とが重なると判定される場合、
前記経路画像（２１０）と、
前記先行実オブジェクト（３３０）と重なり、かつ前記経路画像（２１０）に隣接する位置に少なくとも配置される背景画像（２２０）と、を表示させることと、
を含む方法。
【請求項８】
前記先行実オブジェクト（３３０）の種類を推定可能な情報を取得することと、
前記先行実オブジェクト（３３０）の種類に応じて、前記背景画像（２２０）の形状を変化させることと、を含む、
請求項７に記載の方法。
【請求項９】
前記背景画像（２２０）は、車両の形状を模した画像である、
請求項７に記載の方法。
【請求項１０】
前記先行実オブジェクト（３３０）の減速を推定可能な情報を取得することと、
前記先行実オブジェクト（３３０）の減速に応じて、前記経路画像（２１０）の表示態様を変更することと、を含む、
請求項７に記載の方法。
【請求項１１】
前記先行実オブジェクト（３３０）までの距離を推定可能な情報を取得することと、
前記先行実オブジェクト（３３０）までの前記距離が所定の閾値未満になることを少なくとも含む条件が満たされる 場合に、前記経路画像（２１０）の表示態様を変更することと、を含む、
請求項７に記載の方法。
【請求項１２】
前記先行実オブジェクト（３３０）までの距離を推定可能な情報を取得することと、
前記先行実オブジェクト（３３０）までの前記距離が所定の閾値未満になることを少なくとも含む条件が満たされる 場合に、前記経路画像（２１０）のうち前記先行実オブジェクト（３３０）又は前記背景画像（２２０）と重なる領域よりも下側に視認される領域の表示態様を変更することと、を含む、
請求項７に記載の方法。
【請求項１３】
請求項７乃至１２に記載の方法を実行するための命令を含む、コンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、車両で使用され、車両の前景に画像を重畳して視認させる表示制御装置、方法、及びコンピュータ・プログラムに関する。
【背景技術】
【０００２】
特許文献１には、ナビゲーション装置で算出された案内経路を示す画像と、自車両の前方に存在する物体と、を重ねて表示させる際、案内経路を示す画像を、物体と重なる部分と重ならない部分とで異なる形態とすることで、案内経路を示す画像を読み取りやすくする表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１７／０５６２１０号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の表示装置のように、自車両の前方に存在する物体に直接画像が重ねて表示されることに視認者が違和感を覚え、画像の視認性が低下するおそれがある。
【０００５】
また、仮想現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）の技術を採用し、視認者（車両の運転者）が見る実風景（割り込み候補車両など）の状態に追従した画像を表示する場合、上記違和感により仮想現実の感じ方が低下することも想定される。このため、画像の視認性の低下を抑制するための表示についての改善の余地があった。
【課題を解決するための手段】
【０００６】
本明細書に開示される特定の実施形態の要約を以下に示す。これらの態様が、これらの特定の実施形態の概要を読者に提供するためだけに提示され、この開示の範囲を限定するものではないことを理解されたい。実際に、本開示は、以下に記載されない種々の態様を包含し得る。
【０００７】
本開示の概要は、画像の視認性の低下を抑制することに関する。より具体的には、実オブジェクトに画像が直接重なって表示されることによる違和感を軽減することにも関する。
【０００８】
したがって、本明細書に記載される表示制御装置は、自車両の前方における先行実オブジェクト３３０の位置と、自車両が走行する路面に沿って視認され、自車両を誘導する経路画像２２０が表示される位置を推測可能な情報と、を取得し、先行実オブジェクト３３０の位置と経路画像２２０の位置とから、先行実オブジェクト３３０と経路画像２２０とが重なると判定される場合、経路画像２２０と、先行実オブジェクト３３０と重なり、かつ経路画像２２０に隣接する位置に少なくとも配置される背景画像２３０と、を表示させる。
【図面の簡単な説明】
【０００９】
【図１】いくつかの実施形態に係る、車両用表示システムの車両への適用例を示す図である。
【図２】いくつかの実施形態に係る、車両用表示システムのブロック図である。
【図３】いくつかの実施形態に係る、経路画像と背景画像とを説明する図である。
【図４】いくつかの実施形態に係る、経路画像と背景画像とを説明する図であり、自車両の運転者が前方を向いた際に視認する前景と、車両用表示システムが表示する経路画像及び背景画像と、を示す図である。
【図５】いくつかの実施形態に係る、背景画像の変形例を説明する図である。
【図６】いくつかの実施形態に係る、経路画像及び背景画像の表示処理のフロー図である。
【図７Ａ】いくつかの実施形態に係る、経路画像の表示態様の変化を説明する図である。
【図７Ｂ】いくつかの実施形態に係る、経路画像の表示態様の変化を説明する図である。
【発明を実施するための形態】
【００１０】
以下、図１及び図２では、例示的な車両用表示システムの構成の説明を提供する。図３、図４、図５、図７Ａ、及び図７Ｂでは、車両用表示システムが表示する画像についての説明を提供する。また、図６では、表示処理のフローを提供する。なお、本発明は以下の実施形態（図面の内容も含む）によって限定されるものではない。下記の実施形態に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。
【００１１】
図１を参照する。車両用表示システム１０における画像表示部１１は、自車両１のダッシュボード５内に設けられたヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ−Ｕｐ  Ｄｉｓｐｌａｙ）装置である。ＨＵＤ装置は、表示光１１ａをフロントウインドシールド２（被投影部材の一例である）に向けて出射し、仮想的な表示領域１００内に画像２００を表示することで、フロントウインドシールド２を介して視認される現実空間である前景３００に画像２００を重ねて視認させる。なお、本実施形態の説明では、自車両１の運転席に着座する運転者４が自車両１の前方を向いた際の左右方向をＸ軸（左方向がＸ軸正方向）、上下方向をＹ軸（上方向がＹ軸正方向）、前後方向をＺ軸（前方向がＺ軸正方向）とする。
【００１２】
また、画像表示部１１は、ヘッドマウントディスプレイ（以下、ＨＭＤ）装置であってもよい。運転者４は、ＨＭＤ装置を頭部に装着して自車両１の座席に着座することで、表示される画像２００を、自車両１のフロントウインドシールド２を介した前景３００に重畳して視認する。車両用表示システム１０が所定の画像２００を表示する表示領域１００は、自車両１の座標系を基準とした特定の位置に固定され、運転者４がその方向を向くと、その特定の位置に固定された表示領域１００内に表示された画像２００を視認することができる。
【００１３】
画像表示部１１は、表示制御装置１３の制御に基づいて、自車両１のフロントウインドシールド２を介して視認される現実空間（実景）である前景３００に存在する、障害物（歩行者、自転車、自動二輪車、他車両など）、路面、道路標識、及び地物（建物、橋など）などの実オブジェクト３１０の近傍（画像と実オブジェクトとの特定の位置関係の一例）、実オブジェクト３１０に重なる位置（画像と実オブジェクトとの特定の位置関係の一例）、又は実オブジェクト３１０を基準に設定された位置（画像と実オブジェクトとの特定の位置関係の一例）に画像２００を表示することで、視覚的な拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）を形成することもできる。画像表示部１１は、実オブジェクト３１０の位置に応じて表示位置を変化させるＡＲ画像２１０（後で詳述する）と、実オブジェクト３１０の位置に応じて表示位置を変化させない不図示の非ＡＲ画像と、を表示することができる。
【００１４】
図２は、いくつかの実施形態に係る、車両用表示システム１０のブロック図である。車両用表示システム１０は、画像表示部１１と、画像表示部１１を制御する表示制御装置１３と、で構成される。表示制御装置１３は、１つ又はそれ以上のＩ／Ｏインタフェース１４、１つ又はそれ以上のプロセッサ１６、１つ又はそれ以上のメモリ１８、及び１つ又はそれ以上の画像処理回路２０を備える。図２に記載される様々な機能ブロックは、ハードウェア、ソフトウェア、又はこれら両方の組み合わせで構成されてもよい。図２は、実施態様の一実施形態に過ぎず、図示された構成要素は、より数の少ない構成要素に組み合わされてもよく、又は追加の構成要素があってもよい。例えば、画像処理回路２０（例えば、グラフィック処理ユニット）が、１つ又はそれ以上のプロセッサ１６に含まれてもよい。
【００１５】
図示するように、プロセッサ１６及び画像処理回路２０は、メモリ１８と動作可能に連結される。より具体的には、プロセッサ１６及び画像処理回路２０は、メモリ１８に記憶されているプログラムを実行することで、例えば画像データを生成又は／及び送信するなど、車両用表示システム１０の操作を行うことができる。プロセッサ１６又は／及び画像処理回路２０は、少なくとも１つの汎用マイクロプロセッサ（例えば、中央処理装置（ＣＰＵ））、少なくとも１つの特定用途向け集積回路（ＡＳＩＣ）、少なくとも１つのフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はそれらの任意の組み合わせを含むことができる。メモリ１８は、ハードディスクのような任意のタイプの磁気媒体、ＣＤ及びＤＶＤのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリは、ＤＲＡＭ及びＳＲＡＭを含み、不揮発性メモリは、ＲＯＭ及びＮＶＲＯＭを含んでもよい。
【００１６】
図示するように、プロセッサ１６は、Ｉ／Ｏインタフェース１４と動作可能に連結されている。例えば、Ｉ／Ｏインタフェース１４は、車両用表示システム１０を、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワークなどのパーソナルエリアネットワーク（ＰＡＮ）、８０２．１１ｘ Ｗｉ−Ｆｉ（登録商標）ネットワークなどのローカルエリアネットワーク（ＬＡＮ）、４Ｇ又はＬＴＥ（登録商標）セルラーネットワークなどの広域ネットワーク（ＷＡＮ）に接続する無線通信インタフェースを含むことができる。また、Ｉ／Ｏインタフェース１４は、例えば、ＵＳＢポート、シリアルポート、パラレルポート、ＯＢＤＩＩ、及び／又は他の任意の適切な有線通信ポートなどの有線通信インタフェースを含むことができる。
【００１７】
図示するように、プロセッサ１６は、Ｉ／Ｏインタフェース１４と相互動作可能に連結されることで、車両用表示システム１０（Ｉ／Ｏインタフェース１４）に接続される種々の他の電子機器等と情報を授受可能となる。Ｉ／Ｏインタフェース１４には、例えば、自車両１に設けられた車両ＥＣＵ４０１、道路情報データベース４０３、自車位置検出部４０５、車外センサ４０７、視線方向検出部４０９、目位置検出部４１１、携帯情報端末４１３、及び車外通信接続機器４２０などが動作可能に連結される。画像表示部１１は、プロセッサ１６及び画像処理回路２０に動作可能に連結される。したがって、画像表示部１１によって表示される画像は、プロセッサ１６又は／及び画像処理回路２０から受信された画像データに基づいてもよい。プロセッサ１６及び画像処理回路２０は、Ｉ／Ｏインタフェース１４から得られる情報に基づき、画像表示部１１が表示する画像を制御する。なお、Ｉ／Ｏインタフェース１４は、車両用表示システム１０に接続される他の電子機器等から受信する情報を加工（変換、演算、解析）する機能を含んでいてもよい。
【００１８】
自車両１は、自車両１の状態（例えば、走行距離、車速、アクセルペダル開度、エンジンスロットル開度、インジェクター燃料噴射量、エンジン回転数、モータ回転数、ステアリング操舵角、シフトポジション、ドライブモード、各種警告状態）などを検出する車両ＥＣＵ４０１を含んでいる。車両ＥＣＵ４０１は、自車両１の各部を制御するものであり、例えば、自車両１の現在の車速を示す車速情報をプロセッサ１６へ送信することができる。なお、車両ＥＣＵ４０１は、単にセンサで検出したデータをプロセッサ１６へ送信することに加え、又は代わりに、センサで検出したデータの判定結果、若しくは／及び解析結果をプロセッサ１６へ送信することができる。例えば、自車両１が低速走行しているか、又は停止しているかを示す情報をプロセッサ１６へ送信してもよい。
【００１９】
また、車両ＥＣＵ４０１は、車両用表示システム１０が表示する画像２００を指示する指示信号をＩ／Ｏインタフェース１４に送信してもよく、この際、画像２００の座標、画像２００の報知必要度、又は／及び報知必要度を判定する元となる必要度関連情報を、指示信号に付加して送信してもよい。
【００２０】
自車両１は、ナビゲーションシステム等からなる道路情報データベース４０３を含んでいてもよい。道路情報データベース４０３は、後述する自車位置検出部４０５から取得される自車両１の位置に基づき、実オブジェクト関連情報の一例である自車両１が走行する道路情報（車線，白線，停止線，横断歩道，道路の幅員，車線数，交差点，カーブ，分岐路，交通規制など）、地物情報（建物、橋、河川など）の、有無、位置（自車両１までの距離を含む）、方向、形状、種類、詳細情報などを読み出し、プロセッサ１６に送信してもよい。また、道路情報データベース４０３は、出発地から目的地までの適切な経路を算出し、ナビゲーション情報としてプロセッサ１６に送信してもよい。
【００２１】
自車両１は、ＧＮＳＳ（全地球航法衛星システム）等からなる自車位置検出部４０５を含んでいてもよい。道路情報データベース４０３、後述する携帯情報端末４１３、又は／及び車外通信接続機器４２０は、自車位置検出部４０５から自車両１の位置情報を連続的、断続的、又は所定のイベント毎に取得することで、自車両１の周辺の情報を選択又は／及び生成して、プロセッサ１６に送信することができる。
【００２２】
自車両１は、自車両１の周辺（前方、側方、及び後方）に存在する実オブジェクトを検出する１つ又はそれ以上の車外センサ４０７を含んでいてもよい。車外センサ４０７が検知する実オブジェクトは、例えば、歩行者、自転車、自動二輪車、他車両（先行車等）、路面、区画線、路側物、又は／及び地物（建物など）などを含んでいてもよい。車外センサとしては、例えば、ミリ波レーダ、超音波レーダ、レーザレーダ等のレーダセンサ、カメラと画像処理装置からなるカメラセンサがあり、レーダセンサ、カメラセンサの両方の組み合わせで構成されてもよく、どちらか一方だけで構成されてもよい。これらレーダセンサやカメラセンサによる物体検知については従来の周知の手法を適用する。これらのセンサによる物体検知によって、三次元空間内での実オブジェクトの有無、実オブジェクトが存在する場合には、その実オブジェクトの位置（自車両１からの相対的な距離、自車両１の進行方向を前後方向とした場合の左右方向の位置、上下方向の位置等）、大きさ（横方向（左右方向）、高さ方向（上下方向）等の大きさ）、移動方向（横方向（左右方向）、奥行き方向（前後方向））、移動速度（横方向（左右方向）、奥行き方向（前後方向））、又は／及び種類等を検出してもよい。１つ又はそれ以上の車外センサ４０７は、各センサの検知周期毎に、自車両１の前方の実オブジェクトを検知して、実オブジェクト関連情報の一例である実オブジェクト関連情報（実オブジェクトの有無、実オブジェクトが存在する場合には実オブジェクト毎の位置、大きさ、又は／及び種類等の情報）をプロセッサ１６に送信することができる。なお、これら実オブジェクト関連情報は、他の機器（例えば、車両ＥＣＵ４０１）を経由してプロセッサ１６に送信されてもよい。また、夜間等の周辺が暗いときでも実オブジェクトが検知できるように、センサとしてカメラを利用する場合には赤外線カメラや近赤外線カメラが望ましい。また、センサとしてカメラを利用する場合、視差で距離等も取得できるステレオカメラが望ましい。
【００２３】
自車両１は、運転者４の注視方向（以下では「視線方向」ともいう）を検出する、運転者４の顔を撮像する赤外線カメラ等からなる視線方向検出部４０９を含んでいてもよい。プロセッサ１６は、赤外線カメラが撮像した画像（視線方向を推定可能な情報の一例）を取得し、この撮像画像を解析することで運転者４の視線方向を特定することができる。なお、プロセッサ１６は、赤外線カメラの撮像画像から視線方向検出部４０９（又は他の解析部）が特定した運転者４の視線方向をＩ／Ｏインタフェース１４から取得するものであってもよい。また、自車両１の運転者４の視線方向、又は運転者４の視線方向を推定可能な情報を取得する方法は、これらに限定されるものではなく、ＥＯＧ（Ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａｍ）法、角膜反射法、強膜反射法、プルキンエ像検出法、サーチコイル法、赤外線眼底カメラ法などの他の既知の視線方向検出（推定）技術を用いて取得されてもよい。
【００２４】
自車両１は、運転者４の目の位置を検出する赤外線カメラ等からなる目位置検出部４１１を含んでいてもよい。プロセッサ１６は、赤外線カメラが撮像した画像（目の位置を推定可能な情報の一例）を取得し、この撮像画像を解析することで運転者４の目の位置を特定することができる。なお、プロセッサ１６は、赤外線カメラの撮像画像から特定された運転者４の目の位置の情報をＩ／Ｏインタフェース１４から取得するものであってもよい。なお、自車両１の運転者４の目の位置、又は運転者４の目の位置を推定可能な情報を取得する方法は、これらに限定されるものではなく、既知の目位置検出（推定）技術を用いて取得されてもよい。プロセッサ１６は、運転者４の目の位置に基づき、画像２００の位置を少なくとも調整することで、前景３００の所望の位置に重畳した画像２００を、目位置を検出した視認者（運転者４）に視認させてもよい。
【００２５】
携帯情報端末４１３は、スマートフォン、ノートパソコン、スマートウォッチ、又は運転者４（又は自車両１の他の乗員）が携帯可能なその他の情報機器である。Ｉ／Ｏインタフェース１４は、携帯情報端末４１３と通信を行うことが可能であり、携帯情報端末４１３（又は携帯情報端末を通じたサーバ）に記録されたデータを取得する。携帯情報端末４１３は、例えば、上述の道路情報データベース４０３及び自車位置検出部４０５と同様の機能を有し、前記道路情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。また、携帯情報端末４１３は、自車両１の近傍の商業施設に関連するコマーシャル情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。なお、携帯情報端末４１３は、携帯情報端末４１３の所持者（例えば、運転者４）のスケジュール情報、携帯情報端末４１３での着信情報、メールの受信情報などをプロセッサ１６に送信し、プロセッサ１６及び画像処理回路２０は、これらに関する画像データを生成又は／及び送信してもよい。
【００２６】
車外通信接続機器４２０は、自車両１と情報のやりとりをする通信機器であり、例えば、自車両１と車車間通信（Ｖ２Ｖ：Ｖｅｈｉｃｌｅ  Ｔｏ  Ｖｅｈｉｃｌｅ）により接続される他車両、歩車間通信（Ｖ２Ｐ：Ｖｅｈｉｃｌｅ  Ｔｏ  Ｐｅｄｅｓｔｒｉａｎ）により接続される歩行者（歩行者が携帯する携帯情報端末）、路車間通信（Ｖ２Ｉ：Ｖｅｈｉｃｌｅ  Ｔｏ  ｒｏａｄｓｉｄｅ  Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）により接続されるネットワーク通信機器であり、広義には、自車両１との通信（Ｖ２Ｘ：Ｖｅｈｉｃｌｅ  Ｔｏ  Ｅｖｅｒｙｔｈｉｎｇ）により接続される全てのものを含む。車外通信接続機器４２０は、例えば、歩行者、自転車、自動二輪車、他車両（先行車等）、路面、区画線、路側物、又は／及び地物（建物など）の位置を取得し、プロセッサ１６に送信してもよい。また、車外通信接続機器４２０は、上述の自車位置検出部４０５と同様の機能を有し、自車両１の位置情報を取得し、プロセッサ１６に送信してもよく、さらに上述の道路情報データベース４０３の機能も有し、前記道路情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。なお、車外通信接続機器４２０から取得される情報は、上述のものに限定されない。
【００２７】
メモリ１８に記憶されたソフトウェア構成要素は、実オブジェクト関連情報検出モジュール５０２、画像位置推定モジュール５０４、重なり判定モジュール５０６、距離判定モジュール５０８、減速判定モジュール５１０、報知必要度判定モジュール５１２、画像位置決定モジュール５１４、画像サイズ決定モジュール５１６、及びグラフィックモジュール５１８を含む。
【００２８】
実オブジェクト関連情報検出モジュール５０２は、後述する重なり判定モジュール５０６が実オブジェクト３１０（後述の先行実オブジェクト３３０）と経路画像２２０との重なり判定を行う元となる、自車両１の前方に存在する先行実オブジェクト３３０の少なくとも位置を含む情報（実オブジェクト関連情報とも呼ぶ）を取得する。実オブジェクト関連情報検出モジュール５０２は、例えば、車外センサ４０７から、自車両１の前景３００に存在する実オブジェクト３１０の位置（自車両１の運転席にいる運転者４から自車両１の進行方向（前方）を視認した際の高さ方向（上下方向）、横方向（左右方向）の位置であり、これらに、奥行き方向（前方向）の位置が追加されてもよい）、及び実オブジェクト３１０のサイズ（高さ方向、横方向のサイズ）、を取得してもよい。また、実オブジェクト関連情報検出モジュール５０２は、車外通信接続機器４２０を介して実オブジェクト（他車両）から、種類、実オブジェクト（他車両）の方向指示器、舵角、又は／及び運転支援システムによる進行予定経路、進行スケジュール、を示す情報を取得してもよい。
【００２９】
また、実オブジェクト関連情報検出モジュール５０２は、車外センサ４０７から、自車両１の走行レーン３２０の左側の区画線３２１（図３参照）の位置と、右側の区画線３２２（図３参照）の位置とを取得し、それら区画線３２１，３２２の間の領域（走行レーン３２０）を認識してもよい。
【００３０】
画像位置推定モジュール５０４は、後述する経路画像２２０が表示される位置を推定するものである。経路画像２２０は、自車両１の走行レーン３２０の形状に沿って表示されるＡＲ画像２１０であり、実オブジェクト関連情報検出モジュール５０２が認識する走行レーン３２０に応じて、位置、大きさ、形状などを変化してもよい。画像表示部１１が表示する画像の画像データを車両ＥＣＵ４０１が生成する場合、画像位置推定モジュール５０４は、車両ＥＣＵ４０１から取得する画像データから経路画像２２０の位置を検出することが可能である。なお、経路画像２２０は、道路情報データベース４０３が算出する経路（ナビゲーション情報）を元に生成されるとすると、画像位置推定モジュール５０４は、道路情報データベース４０３が算出する経路（ナビゲーション情報）に基づいて、経路画像２２０が表示される位置を推定してもよい。
【００３１】
重なり判定モジュール５０６は、実オブジェクト関連情報検出モジュール５０２が取得した先行実オブジェクト３３０の位置と、画像位置推定モジュール５０４が推定した経路画像２２０が表示される位置と、に基づいて、先行実オブジェクト３３０と経路画像２２０とが重なるか否かを判定する。
【００３２】
なお、いくつかの実施形態では、重なり判定モジュール５０６は、実オブジェクト関連情報検出モジュール５０２が取得した先行実オブジェクト３３０の位置と、画像位置推定モジュール５０４が推定した経路画像２２０が表示される位置と、に基づいて、先行実オブジェクト３３０と経路画像２２０とが重なる領域を検出してもよい。
【００３３】
距離判定モジュール５０８は、先行実オブジェクト３３０と自車両１との間の距離の度合いを判定する。例えば、距離判定モジュール５０８は、実オブジェクト関連情報検出モジュール５０２が実行されることで取得可能な先行実オブジェクト３３０と自車両１との間の距離が、メモリ１８に記憶された１つの距離閾値よりも長いか否かを判定してもよい。なお、メモリ１８は、２つ以上の距離閾値を記憶し、距離判定モジュール５０８は、先行実オブジェクト３３０と自車両１との間の距離の度合いを３段階以上で判定してもよい。また、これらの距離閾値は、可変であってもよい。例えば、距離判定モジュール５０８は、先行実オブジェクト３３０と自車両１との相対速度に応じて変化させてもよく、この場合、相対速度が速い程、距離閾値が長くなるように設定してもよい。
【００３４】
減速判定モジュール５１０は、先行実オブジェクト３３０の減速を判定する。例えば、減速判定モジュール５１０は、実オブジェクト関連情報検出モジュール５０２が実行されることで取得可能な先行実オブジェクト３３０と自車両１との間の距離の時間変化に基づき、先行実オブジェクト３３０と自車両１との相対速度を算出し、これに基づいて、先行実オブジェクト３３０の減速を検出してもよい。なお、自車両１の速度に応じても相対速度が変化するため、先行実オブジェクト３３０と自車両１との相対速度と自車両１の速度に基づいて、先行実オブジェクト３３０の減速を判定してもよい。なお、減速判定モジュール５１０は、先行実オブジェクト３３０の減速の度合いを段階的又は連続的に判定してもよい。また、減速判定モジュール５１０は、車外センサ４０７（カメラ）から先行実オブジェクト３３０のブレーキランプの点灯状態を取得し、これに基づいて減速の判定をおこなってもよい。なお、減速判定モジュール５１０は、車外通信接続機器４２０により先行実オブジェクト３３０から直接又は間接的にブレーキ状態などの情報を取得することで減速を判定してもよい。
【００３５】
報知必要度判定モジュール５１２は、車両用表示システム１０が表示する各画像２００が運転者４に報知するべき内容であるかを判定する。報知必要度判定モジュール５１２は、Ｉ／Ｏインタフェース１４に接続される種々の他の電子機器から情報を取得し、報知必要度を算出してもよい。また、図２でＩ／Ｏインタフェース１４に接続された電子機器が車両ＥＣＵ４０１に情報を送信し、受信した情報に基づき車両ＥＣＵ４０１が決定した報知必要度を、報知必要度判定モジュール５１２が検出（取得）してもよい。『報知必要度』は、例えば、起こり得る自体の重大さの程度から導き出される危険度、反応行動を起こすまでに要求される反応時間の長短から導き出される緊急度、自車両１や運転者４（又は自車両１の他の乗員）の状況から導き出される有効度、又はこれらの組み合わせなどで決定され得る（報知必要度の指標はこれらに限定されない）。すなわち、報知必要度判定モジュール５１２は、運転者４に報知すべきかを判定し、経路画像２２０、後述する背景画像２３０、又はこれら双方を表示しないことも選択し得る。
【００３６】
なお、車両用表示システム１０は、報知必要度を推定する（算出する）機能を有していなくてもよく、報知必要度を推定する機能の一部又は全部は、車両用表示システム１０の表示制御装置１３とは別に設けられてもよい。
【００３７】
画像位置決定モジュール５１４は、画像２００が、実オブジェクト３１０と特定の位置関係になって視認されるように、実オブジェクト関連情報検出モジュール５０２により検出された実オブジェクトの位置に基づき、画像２００の座標（運転者４が自車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）を少なくとも含む）を決定する。これに加え、画像位置決定モジュール５１４は、目位置検出部４１１が検出した運転者４の眼の位置に基づいて、画像２００の位置を調整してもよい。例えば、画像位置決定モジュール５１４は、画像２００の中心が実オブジェクトの中心と重なって視認されるように、画像２００の左右方向、及び上下方向の位置を決定する。なお、『特定の位置関係』は、実オブジェクト又は自車両１の状況、実オブジェクトの種類、表示される画像の種類などにより調整され得る。具体的には、画像位置決定モジュール５１４は、自車両１が走行する走行レーン３２０の位置や形状に合わせて経路画像２２０の位置を調整し、経路画像２２０と重なる位置に存在する先行実オブジェクト３３０の位置に合わせて背景画像２３０の位置を調整する。
【００３８】
画像サイズ決定モジュール５１６は、対応付ける実オブジェクト３１０の位置、又は／及びサイズに合わせて、ＡＲ画像２１０（経路画像２２０、背景画像２３０）のサイズを変更してもよい。例えば、画像サイズ決定モジュール５１６は、対応付ける実オブジェクト３１０の位置が遠方であれば、ＡＲ画像２１０のサイズを小さくし得る。また、画像サイズ決定モジュール５１６は、対応付ける実オブジェクト３１０のサイズが大きければ、ＡＲ画像２１０のサイズを大きくし得る。
【００３９】
また、画像サイズ決定モジュール５１６は、実オブジェクト関連情報検出モジュール５０２により検出された画像２００を対応付けて表示する実オブジェクトの種類、数、又は／及び、報知必要度判定モジュール５１２で検出された（推定された）報知必要度の大きさに基づいて、画像２００のサイズを決定し得る。
【００４０】
グラフィックモジュール５１８は、表示される画像２００の、視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）、サイズ、表示位置、距離（運転者４から画像２００までの距離）を変更するための様々な既知のソフトウェア構成要素を含む。グラフィックモジュール５１８は、画像位置決定モジュール５１４が設定した座標（運転者４が自車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）を少なくとも含む）、画像サイズ決定モジュール５１６が設定した画像サイズで運転者４に視認されるように画像２００を表示する。
【００４１】
図３、図４を用いて、画像表示部１１が表示する経路画像２２０及び背景画像２３０について説明する。図３は、前景３００に存在する先行実オブジェクト３３０と背景画像２３０との位置関係をわかりやすくするために、自車両１の運転者４が視認するものとは異なり、背景画像２３０の塗色をなくしたものである。画像位置決定モジュール５１４及び画像サイズ決定モジュール５１６は、先行実オブジェクト３３０（経路画像２２０と重なる実オブジェクト３１０）と重なる位置に、先行実オブジェクト３３０より大きいサイズとなるように背景画像２３０を設定する。なお、図３，４における背景画像２３０は、車両の形状を模したイラストであり、実オブジェクト関連情報検出モジュール５０２が検出した先行実オブジェクト３３０の種類に応じて、メモリ１８から読み出されてもよい。
【００４２】
図４は、図３における背景画像２３０に塗色を加えたものである。図４での塗色は、単色であるが、これに限定されない。グラフィックモジュール５１８は、実オブジェクト関連情報検出モジュール５０２が検出した先行実オブジェクト３３０の色に応じて、背景画像２３０の塗色を変えてもよく、例えば、先行実オブジェクト３３０の同系色に背景画像２３０の塗色を調整してもよい。
【００４３】
経路画像２２０は、自車両１を案内する経路に沿って配置される１つ又はそれ以上の画像であり、図４では、塗色が加えられた１つの矢印形状である。経路画像２２０は、背景画像２３０の表側に重ねて描画される。経路画像２２０の塗色は、半透過、又は不透過である。言い換えると、経路画像２２０の塗色が半透過である場合、経路画像２２０と背景画像２３０とが重なる領域は、経路画像２２０と背景画像２３０の混色となり、他方、経路画像２２０の塗色が不透過である場合、経路画像２２０と背景画像２３０とが重なる領域は、経路画像２２０の塗色となる。なお、背景画像２３０は、図３，図４に示す車両の形状を模したものに限定されない。
【００４４】
図５は、背景画像２３０の変形例を示す図である。背景画像２３０は、図５（ａ）に示すように、先行実オブジェクト３３０を覆うような先行実オブジェクト３３０よりも大きなサイズの塗色を有する四角形などの図形であってもよい。
【００４５】
また、背景画像２３０は、背景画像２３０は、図５（ｂ）に示すように、自車両１に設けられたカメラ（車外センサ４０７の一例）の撮像画像から先行実オブジェクト３３０の部分を切り抜いた静止画像であってもよい。
【００４６】
図４、図５（ａ）、及び図５（ｂ）における背景画像２３０の位置やサイズは、運転者４から見て、先行実オブジェクト３３０と重なり、先行実オブジェクト３３０と概ね同じ又は先行実オブジェクト３３０より大きくなるように、プロセッサ１６が画像位置決定モジュール５１４、画像サイズ決定モジュール５１６を実行することで調整される。
【００４７】
また、背景画像２３０は、図５（ｃ）に示すように、先行実オブジェクト３３０と重なる経路画像２２０の一部分の周辺のみに、経路画像２２０の外縁に沿うような塗色を有する太線形状であってもよく、図５（ｄ）に示すように、先行実オブジェクト３３０と重なる経路画像２２０の一部分を含む経路画像２２０の周辺に、経路画像２２０の外縁に沿うような塗色を有する太線形状であってもよい。
【００４８】
図６は、いくつかの実施形態に係る、経路画像と背景画像の表示処理のフロー図である。まず、プロセッサ１６は、実オブジェクト関連情報検出モジュール５０２を実行して、実オブジェクトの位置を取得し（ステップＳ１１）、画像位置推定モジュール５０４を実行して、経路画像２２０が表示される位置を取得する（ステップＳ１２）。
【００４９】
ステップＳ１３において、プロセッサ１６は、重なり判定モジュール５０６を実行して、ステップＳ１１で取得した実オブジェクト３１０の位置と、ステップＳ１２で取得した経路画像２２０の位置とに基づいて、実オブジェクト３１０と経路画像２２０とが重なるか判定する。重ならない場合、プロセッサ１６は、経路画像２２０を描画し、Ｓ１６へ移行し、自車両１の走行レーン３２０に重なる所定の位置に経路画像２２０を表示する。実オブジェクト３１０（先行実オブジェクト３３０）と経路画像２２０とが重なる場合、ステップＳ１４へ移行する。
【００５０】
ステップＳ１４において、プロセッサ１６は、距離判定モジュール５０８を実行して、先行実オブジェクト３３０と自車両１との間の距離の度合いを判定する。先行実オブジェクト３３０までの距離が距離閾値未満ではない場合、プロセッサ１６は、案内経路に沿って走行レーン３２０に重ねて配置される緑色の経路画像２２０と、先行実オブジェクト３３０と重なり、かつ経路画像２２０に隣接する位置に少なくとも配置される背景画像２３０と、を描画した画像データを生成し、Ｓ１６へ移行して表示し、実オブジェクト３１０と経路画像２２０とが重なる場合、ステップＳ１４へ移行する。
【００５１】
ステップＳ１５において、プロセッサ１６は、減速判定モジュール５１０を実行して、先行実オブジェクト３３０の減速を判定する。先行実オブジェクト３３０が減速していない（又は先行実オブジェクト３３０の減速の度合いが小さい）場合、プロセッサ１６は、案内経路に沿うように走行レーン３２０に重ねて配置される黄色の経路画像２２０と、先行実オブジェクト３３０と重なり、かつ経路画像２２０に隣接する位置に少なくとも配置される背景画像２３０と、を描画した画像データを生成し、Ｓ１６へ移行して表示する。また、先行実オブジェクト３３０が減速している（又は先行実オブジェクト３３０の減速の度合いが大きい）場合、プロセッサ１６は、案内経路に沿うように走行レーン３２０に重ねて配置される赤色の経路画像２２０と、先行実オブジェクト３３０と重なり、かつ経路画像２２０に隣接する位置に少なくとも配置される背景画像２３０と、を描画した画像データを生成し、Ｓ１６へ移行して表示する。
【００５２】
上述の処理プロセスの動作は、汎用プロセッサ又は特定用途向けチップなどの情報処理装置の１つ以上の機能モジュールを実行させることにより実施することができる。これらのモジュール、これらのモジュールの組み合わせ、又は／及びそれらの機能を代替えし得る公知のハードウェアとの組み合わせは全て、本発明の保護の範囲内に含まれる。
【００５３】
車両用表示システム１０の機能ブロックは、任意選択的に、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実行される。図２で説明する機能ブロックが、説明される実施形態の原理を実施するために、任意選択的に、組み合わされ、又は１つの機能ブロックを２以上のサブブロックに分離されてもいいことは、当業者に理解されるだろう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割を、任意選択的に支持する。
【００５４】
以上に説明したように、本実施形態の表示制御装置は、自車両の運転者から見られる前景重ねて画像を表示する画像表示部１１を制御する表示制御装置１３において、１つ又はそれ以上のＩ／Ｏインタフェース１４と、１つ又はそれ以上のプロセッサ１６と、メモリ１８と、メモリ１８に格納され、１つ又はそれ以上のプロセッサ１６によって実行されるように構成される１つ又はそれ以上のコンピュータ・プログラムと、を備え、１つ又はそれ以上のプロセッサ１６は、１つ又はそれ以上のＩ／Ｏインタフェース１４から、自車両の前方における先行実オブジェクト３３０の位置と、自車両が走行する路面に沿って視認され、自車両を誘導する経路画像２２０が表示される位置を推測可能な情報と、を取得し、先行実オブジェクト３３０の位置と経路画像２２０の位置とから、先行実オブジェクト３３０と経路画像２２０とが重なると判定される場合、経路画像２２０と、先行実オブジェクト３３０と重なり、かつ経路画像２２０に隣接する位置に少なくとも配置される背景画像２３０と、を表示させる。これによれば、経路画像２２０の外側に隣接する位置に画像表示部１１が表示する画像（背景画像２３０）が表示される。すなわち、経路画像２２０の外側に隣接する位置に、前景３００に存在する実オブジェクト３１０（先行実オブジェクト３３０）が直接視認されなくなる。すなわち、経路画像２２０と隣接する領域では、先行実オブジェクト３３０が直接視認しづらくなるため、実オブジェクトと画像が重なって視認されることにより運転者４が覚える違和感を軽減することができる。
【００５５】
また、いくつかの実施形態では、１つ又はそれ以上のプロセッサ１６は、１つ又はそれ以上のＩ／Ｏインタフェース１４から、先行実オブジェクト３３０の種類を推定可能な情報を取得し、先行実オブジェクト３３０の種類に応じて、背景画像２３０の形状を変化させてもよい。これにより、背景画像２３０の形状により、先行実オブジェクト３３０の種類を識別しやすくすることができる。
【００５６】
なお、いくつかの実施形態では、背景画像２３０は、車両の形状を模した画像であってもよい。
【００５７】
また、いくつかの実施形態では、１つ又はそれ以上のプロセッサ１６は、１つ又はそれ以上のＩ／Ｏインタフェース１４から、先行実オブジェクト３３０の減速を推定可能な情報を取得し、先行実オブジェクト３３０の減速に応じて、経路画像２２０の一部又は全部の表示態様を変更してもよい。これによれば、先行実オブジェクト３３０の減速により自車両１と衝突する可能性が高くなった状態を、経路画像２２０の表示態様の変化で報知することができる。
【００５８】
また、いくつかの実施形態では、１つ又はそれ以上のプロセッサ１６は、１つ又はそれ以上のＩ／Ｏインタフェース１４から、先行実オブジェクト３３０までの距離を推定可能な情報を取得し、先行実オブジェクト３３０までの距離が所定の閾値未満になることを少なくとも含む条件が満たされる 場合に、経路画像２２０の一部又は全部の表示態様を変更してもよい。これによれば、先行実オブジェクト３３０の接近により自車両１と衝突する可能性が高くなった状態を、経路画像２２０の表示態様の変化で報知することができる。
【００５９】
また、いくつかの実施形態では、１つ又はそれ以上のプロセッサ１６は、１つ又はそれ以上のＩ／Ｏインタフェース１４から、先行実オブジェクト３３０までの距離を推定可能な情報を取得し、先行実オブジェクト３３０までの距離が所定の閾値未満になることを少なくとも含む条件が満たされる 場合に、図７Ａ，図７Ｂに示すように、経路画像２２０のうち先行実オブジェクト３３０又は背景画像２３０と重なる領域よりも下側に視認される領域２２０ａの表示態様を変更してもよい。これによれば、先行実オブジェクト３３０の接近により自車両１と衝突する可能性が高くなった際、経路画像２２０の表示態様の変化で報知しつつ、運転者の視覚的注意を先行実オブジェクトと自車両との間に向けさせることができ、先行実オブジェクト３３０の接近状態を迅速に認識させることもできる。
【００６０】
また、先行実オブジェクト３３０と自車両１との衝突する可能性が高くなった場合、経路画像２２０の表示態様の変化による注意換気に加え、自車両１又は車両用表示システム１０に設けられた図示しないスピーカーによる音声出力を行ってもよい。
【００６１】
また、表示領域１００は、図１に示すように、運転者４から見て、上下左右からなる平面（ＸＹ平面）に概ね沿うような配置に限定されない。例えば、表示領域１００は、運転者４から見た左右方向（Ｘ軸方向）を軸として回転させ、走行レーン３２０（ＺＸ平面）に概ね沿うように配置されてもよい。なお、表示領域１００は、平面ではなく、曲面になり得る。また、画像表示部１１に立体表示器を採用し、３次元領域である表示領域１００に画像２００を表示するものであってもよい。
【符号の説明】
【００６２】
１…自車両、２…フロントウインドシールド、４…運転者、５…ダッシュボード、１０…車両用表示システム、１１…画像表示部、１１ａ…表示光、１３…表示制御装置、１４…Ｉ／Ｏインタフェース、１６…プロセッサ、１８…メモリ、２０…画像処理回路、１００…表示領域、２００…画像、２１０…ＡＲ画像、２２０…経路画像、２２０ａ…領域、２３０…背景画像、３００…前景、３１０…実オブジェクト、３２０…走行レーン、３２１…区画線、３２２…区画線、３３０…先行実オブジェクト、４０１…車両ＥＣＵ、４０３…道路情報データベース、４０５…自車位置検出部、４０７…車外センサ、４０９…視線方向検出部、４１１…目位置検出部、４１３…携帯情報端末、４２０…車外通信接続機器、５０２…実オブジェクト関連情報検出モジュール、５０４…画像位置推定モジュール、５０６…判定モジュール、５０８…距離判定モジュール、５１０…減速判定モジュール、５１２…報知必要度判定モジュール、５１４…画像位置決定モジュール、５１６…画像サイズ決定モジュール、５１８…グラフィックモジュール
【図１】
2020117105.tif 000003
【図２】
2020117105.tif 000004
【図３】
2020117105.tif 000005
【図４】
2020117105.tif 000006
【図５】
2020117105.tif 000007
【図６】
2020117105.tif 000008
【図７Ａ】
2020117105.tif 000009
【図７Ｂ】
2020117105.tif 000010