(57)【要約】      （修正有）【課題】画像の視認性の低下を抑制する。【解決手段】プロセッサは、走行レーンの位置と、自車両の運転者の目の位置と、画像２００の位置とから、画像表示部が画像を表示する表示領域１００のうち運転者から見て走行レーンと重ならない走行レーン非重畳領域１０１に画像２００が表示されていると判定される場合、走行レーン非重畳領域１０１に配置されている画像２００の面積が減少するように、画像２００の表示態様を変化させる。【選択図】図６Ａ
2020121607.tif 000002
【特許請求の範囲】
【請求項１】
自車両の運転者から見られる前景と重なる表示領域（１００）内に画像（２００）を表示する画像表示部（１１）を制御する表示制御装置（１３）において、
１つ又はそれ以上のＩ／Ｏインタフェース（１４）と、
１つ又はそれ以上のプロセッサ（１６）と、
メモリ（１８）と、
前記メモリ（１８）に格納され、前記１つ又はそれ以上のプロセッサ（１６）によって実行されるように構成される１つ又はそれ以上のコンピュータ・プログラムと、を備え、
前記１つ又はそれ以上のプロセッサ（１６）は、
前記１つ又はそれ以上のＩ／Ｏインタフェース（１４）から、
前記自車両の走行レーン（３１０）の位置と、
前記自車両の前記運転者の目の位置と、
表示されている前記画像（２００）の位置と、を取得し、
前記走行レーン（３１０）の位置と前記目の位置と前記画像（２００）の位置とから、前記表示領域（１００）のうち前記運転者から見て前記走行レーン（３１０）と重ならない走行レーン非重畳領域（１０１）に前記画像（２００）が表示されていると判定される場合、
前記走行レーン非重畳領域（１０１）に配置されている前記画像（２００）の面積が減少するように、前記画像（２００）の表示態様を変化させる、命令を実行する、
表示制御装置。
【請求項２】
前記走行レーン非重畳領域（１０１）に配置されている前記画像（２００）の面積が減少するように、前記画像（２００）の表示態様を変化させる命令は、
前記走行レーン非重畳領域（１０１）に配置されている前記画像（２００）を、前記表示領域（１００）のうち前記走行レーン非重畳領域（１０１）ではない走行レーン重畳領域（１０２）の方へ移動させる、ことを含む、
請求項１に記載の表示制御装置。
【請求項３】
前記走行レーン非重畳領域（１０１）に配置されている前記画像（２００）を、前記走行レーン重畳領域（１０２）の方へ移動させる際、前記走行レーン重畳領域（１０２）に表示されていた前記画像の配置を変化させることで、前記走行レーン非重畳領域（１０１）に配置されていた前記画像（２００）を配置するスペースを生成する命令をさらに実行する
請求項２に記載の表示制御装置。
【請求項４】
前記走行レーン非重畳領域（１０１）に配置されている前記画像（２００）の面積が減少するように、前記画像（２００）の表示態様を変化させる命令は、
前記走行レーン非重畳領域（１０１）に配置されている前記画像（２００）を縮小させる、ことを含む、
請求項１乃至３のいずれかに記載の表示制御装置。
【請求項５】
自車両の運転者から見られる前景と重なる表示領域（１００）内に画像（２００）を表示する画像表示部（１１）を制御する方法において、
前記自車両の走行レーン（３１０）の位置と、
前記自車両の前記運転者の目の位置と、
表示されている前記画像（２００）の位置と、を取得することと、
前記走行レーン（３１０）の位置と前記目の位置と前記画像（２００）の位置とから、前記表示領域（１００）のうち前記運転者から見て前記走行レーン（３１０）と重ならない走行レーン非重畳領域（１０１）に前記画像（２００）が表示されていると判定される場合、
前記走行レーン非重畳領域（１０１）に配置されている前記画像（２００）の面積が減少するように、前記画像（２００）の表示態様を変化させることと、を含む、
方法。
【請求項６】
前記走行レーン非重畳領域（１０１）に配置されている前記画像（２００）の面積が減少するように、前記画像（２００）の表示態様を変化させることは、
前記走行レーン非重畳領域（１０１）に配置されている前記画像（２００）を、前記表示領域（１００）のうち前記走行レーン非重畳領域（１０１）ではない走行レーン重畳領域（１０２）の方へ移動させる、ことを含む、
請求項５に記載の方法。
【請求項７】
前記走行レーン非重畳領域（１０１）に配置されている前記画像（２００）を、前記走行レーン重畳領域（１０２）の方へ移動させる際、前記走行レーン重畳領域（１０２）に表示されていた前記画像の配置を変化させることで、前記走行レーン非重畳領域（１０１）に配置されていた前記画像（２００）を配置するスペースを生成すること、を含む、
請求項６に記載の方法。
【請求項８】
前記走行レーン非重畳領域（１０１）に配置されている前記画像（２００）の面積が減少するように、前記画像（２００）の表示態様を変化させることは、
前記走行レーン非重畳領域（１０１）に配置されている前記画像（２００）を縮小させる、ことを含む、
請求項５乃至７いずれかに記載の方法。
【請求項９】
請求項５乃至８に記載の方法を実行するための命令を含む、コンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、車両で使用され、車両の前景に画像を重畳して視認させる表示制御装置、方法、及びコンピュータ・プログラムに関する。
【背景技術】
【０００２】
特許文献１には、車速や交通規制情報や案内経路などを示す画像を、自車両の前景に重ねて表示するヘッドアップディスプレイ装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２１３７６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両が直進している際、表示される画像は、自車両の走行レーンに重なって視認されるが、車両がカーブなどに差し掛かる際、表示される画像の一部が、走行レーンの左側の区画線よりも左側、又は走行レーンの右側の区画線よりも右側に視認される。走行レーンに重なって視認されていた画像が走行レーンから外れた位置に重なって視認される場合、画像が通常表示される領域（走行レーンと重なる領域）からはみ出てしまったように感じ、視認者に違和感を与え、画像の視認性が低下することが想定される。
【課題を解決するための手段】
【０００５】
本明細書に開示される特定の実施形態の要約を以下に示す。これらの態様が、これらの特定の実施形態の概要を読者に提供するためだけに提示され、この開示の範囲を限定するものではないことを理解されたい。実際に、本開示は、以下に記載されない種々の態様を包含し得る。
【０００６】
本開示の概要は、画像の視認性の低下を抑制することに関する。より具体的には、画像のうち走行レーンに重ならない領域を少なくすることにも関する。
【０００７】
したがって、本明細書に記載される表示制御装置は、走行レーン３１０の位置と自車両の運転者の目の位置と画像２００の位置とから、表示領域１００のうち運転者から見て走行レーン３１０と重ならない走行レーン非重畳領域１０１に画像２００が表示されていると判定される場合、走行レーン非重畳領域１０１に配置されている画像２００の面積が減少するように、画像２００の表示態様を変化させる。
【図面の簡単な説明】
【０００８】
【図１】いくつかの実施形態に係る、車両用表示システムの車両への適用例を示す図である。
【図２】いくつかの実施形態に係る、車両用表示システムのブロック図である。
【図３】画像表示部の表示領域と実景における走行レーンとの配置の例を説明する図である。
【図４】いくつかの実施形態に係る、画像の表示処理のフロー図である。
【図５】図３に示した表示領域と走行レーンの位置関係である場合において、図４のステップＳ１５の処理（表示態様の変化）が実行される前の画像の配置を例示する図である。
【図６Ａ】いくつかの実施形態に係る、図４のステップＳ１５の処理（表示態様の変化）が実行された後の画像の配置を例示する図である。
【図６Ｂ】いくつかの実施形態に係る、図４のステップＳ１５の処理（表示態様の変化）が実行された後の画像の配置を例示する図である。
【図６Ｃ】いくつかの実施形態に係る、図４のステップＳ１５の処理（表示態様の変化）が実行された後の画像の配置を例示する図である。
【発明を実施するための形態】
【０００９】
以下、図１及び図２では、例示的な車両用表示システムの構成の説明を提供する。図６Ａ、図６Ｂ、及び図６Ｃでは、車両用表示システムが表示する画像についての説明を提供する。また、図４では、表示処理のフローを提供する。図３，図５は、所定のシチュエーションを説明するための図である。なお、本発明は以下の実施形態（図面の内容も含む）によって限定されるものではない。下記の実施形態に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。
【００１０】
図１を参照する。車両用表示システム１０における画像表示部１１は、自車両１のダッシュボード５内に設けられたヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ−Ｕｐ  Ｄｉｓｐｌａｙ）装置である。ＨＵＤ装置は、表示光１１ａをフロントウインドシールド２（被投影部材の一例である）に向けて出射し、仮想的な表示領域１００内に画像２００を表示することで、フロントウインドシールド２を介して視認される現実空間である前景３００に画像２００を重ねて視認させる。なお、本実施形態の説明では、自車両１の運転席に着座する運転者４が自車両１の前方を向いた際の左右方向をＸ軸（左方向がＸ軸正方向）、上下方向をＹ軸（上方向がＹ軸正方向）、前後方向をＺ軸（前方向がＺ軸正方向）とする。
【００１１】
また、画像表示部１１は、ヘッドマウントディスプレイ（以下、ＨＭＤ）装置であってもよい。運転者４は、ＨＭＤ装置を頭部に装着して自車両１の座席に着座することで、表示される画像２００を、自車両１のフロントウインドシールド２を介した前景３００に重畳して視認する。車両用表示システム１０が所定の画像２００を表示する表示領域１００は、自車両１の座標系を基準とした特定の位置に固定（調整可能に配置）され、運転者４がその方向を向くと、その特定の位置に固定された表示領域１００内に表示された画像２００を視認することができる。
【００１２】
画像表示部１１は、表示制御装置１３の制御に基づいて、自車両１のフロントウインドシールド２を介して視認される現実空間（実景）である前景３００に存在する、障害物（歩行者、自転車、自動二輪車、他車両など）、路面（走行レーン３１０）、道路標識、及び地物（建物、橋など）などの実オブジェクトの近傍（画像と実オブジェクトとの特定の位置関係の一例）、実オブジェクトに重なる位置（画像と実オブジェクトとの特定の位置関係の一例）、又は実オブジェクトを基準に設定された位置（画像と実オブジェクトとの特定の位置関係の一例）に画像２００を表示することで、視覚的な拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）を形成することもできる。画像表示部１１は、実オブジェクトの位置に応じて表示位置を変化させるＡＲ画像（不図示）、又は／及び実オブジェクトの位置に応じて表示位置を変化させない非ＡＲ画像（不図示）、を含む画像２００を表示示することができる。
【００１３】
図２は、いくつかの実施形態に係る、車両用表示システム１０のブロック図である。車両用表示システム１０は、画像表示部１１と、画像表示部１１を制御する表示制御装置１３と、で構成される。表示制御装置１３は、１つ又はそれ以上のＩ／Ｏインタフェース１４、１つ又はそれ以上のプロセッサ１６、１つ又はそれ以上のメモリ１８、及び１つ又はそれ以上の画像処理回路２０を備える。図２に記載される様々な機能ブロックは、ハードウェア、ソフトウェア、又はこれら両方の組み合わせで構成されてもよい。図２は、実施態様の一実施形態に過ぎず、図示された構成要素は、より数の少ない構成要素に組み合わされてもよく、又は追加の構成要素があってもよい。例えば、画像処理回路２０（例えば、グラフィック処理ユニット）が、１つ又はそれ以上のプロセッサ１６に含まれてもよい。
【００１４】
図示するように、プロセッサ１６及び画像処理回路２０は、メモリ１８と動作可能に連結される。より具体的には、プロセッサ１６及び画像処理回路２０は、メモリ１８に記憶されているプログラムを実行することで、例えば画像データを生成又は／及び送信するなど、車両用表示システム１０の操作を行うことができる。プロセッサ１６又は／及び画像処理回路２０は、少なくとも１つの汎用マイクロプロセッサ（例えば、中央処理装置（ＣＰＵ））、少なくとも１つの特定用途向け集積回路（ＡＳＩＣ）、少なくとも１つのフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はそれらの任意の組み合わせを含むことができる。メモリ１８は、ハードディスクのような任意のタイプの磁気媒体、ＣＤ及びＤＶＤのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリは、ＤＲＡＭ及びＳＲＡＭを含み、不揮発性メモリは、ＲＯＭ及びＮＶＲＯＭを含んでもよい。
【００１５】
図示するように、プロセッサ１６は、Ｉ／Ｏインタフェース１４と動作可能に連結されている。例えば、Ｉ／Ｏインタフェース１４は、車両用表示システム１０を、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワークなどのパーソナルエリアネットワーク（ＰＡＮ）、８０２．１１ｘ Ｗｉ−Ｆｉ（登録商標）ネットワークなどのローカルエリアネットワーク（ＬＡＮ）、４Ｇ又はＬＴＥ（登録商標）セルラーネットワークなどの広域ネットワーク（ＷＡＮ）に接続する無線通信インタフェースを含むことができる。また、Ｉ／Ｏインタフェース１４は、例えば、ＵＳＢポート、シリアルポート、パラレルポート、ＯＢＤＩＩ、及び／又は他の任意の適切な有線通信ポートなどの有線通信インタフェースを含むことができる。
【００１６】
図示するように、プロセッサ１６は、Ｉ／Ｏインタフェース１４と相互動作可能に連結されることで、車両用表示システム１０（Ｉ／Ｏインタフェース１４）に接続される種々の他の電子機器等と情報を授受可能となる。Ｉ／Ｏインタフェース１４には、例えば、自車両１に設けられた車両ＥＣＵ４０１、道路情報データベース４０３、自車位置検出部４０５、車外センサ４０７、視線方向検出部４０９、目位置検出部４１１、携帯情報端末４１３、及び車外通信接続機器４２０などが動作可能に連結される。画像表示部１１は、プロセッサ１６及び画像処理回路２０に動作可能に連結される。したがって、画像表示部１１によって表示される画像は、プロセッサ１６又は／及び画像処理回路２０から受信された画像データに基づいてもよい。プロセッサ１６及び画像処理回路２０は、Ｉ／Ｏインタフェース１４から得られる情報に基づき、画像表示部１１が表示する画像を制御する。なお、Ｉ／Ｏインタフェース１４は、車両用表示システム１０に接続される他の電子機器等から受信する情報を加工（変換、演算、解析）する機能を含んでいてもよい。
【００１７】
自車両１は、自車両１の状態（例えば、走行距離、車速、アクセルペダル開度、エンジンスロットル開度、インジェクター燃料噴射量、エンジン回転数、モータ回転数、ステアリング操舵角、シフトポジション、ドライブモード、各種警告状態）などを検出する車両ＥＣＵ４０１を含んでいる。車両ＥＣＵ４０１は、自車両１の各部を制御するものであり、例えば、自車両１の現在の車速を示す車速情報をプロセッサ１６へ送信することができる。なお、車両ＥＣＵ４０１は、単にセンサで検出したデータをプロセッサ１６へ送信することに加え、又は代わりに、センサで検出したデータの判定結果、若しくは／及び解析結果をプロセッサ１６へ送信することができる。例えば、自車両１が低速走行しているか、又は停止しているかを示す情報をプロセッサ１６へ送信してもよい。
【００１８】
また、車両ＥＣＵ４０１は、車両用表示システム１０が表示する画像２００を指示する指示信号をＩ／Ｏインタフェース１４に送信してもよく、この際、画像２００の座標、サイズ、種類、表示態様、画像２００の報知必要度、又は／及び報知必要度を判定する元となる必要度関連情報を、指示信号に付加して送信してもよい。
【００１９】
自車両１は、ナビゲーションシステム等からなる道路情報データベース４０３を含んでいてもよい。道路情報データベース４０３は、後述する自車位置検出部４０５から取得される自車両１の位置に基づき、実オブジェクト関連情報の一例である自車両１が走行する道路情報（車線，白線，停止線，横断歩道，道路の幅員，車線数，交差点，カーブ，分岐路，交通規制など）、地物情報（建物、橋、河川など）の、有無、位置（自車両１までの距離を含む）、方向、形状、種類、詳細情報などを読み出し、プロセッサ１６に送信してもよい。また、道路情報データベース４０３は、出発地から目的地までの適切な経路を算出し、ナビゲーション情報としてプロセッサ１６に送信してもよい。
【００２０】
自車両１は、ＧＮＳＳ（全地球航法衛星システム）等からなる自車位置検出部４０５を含んでいてもよい。道路情報データベース４０３、後述する携帯情報端末４１３、又は／及び車外通信接続機器４２０は、自車位置検出部４０５から自車両１の位置情報を連続的、断続的、又は所定のイベント毎に取得することで、自車両１の周辺の情報を選択又は／及び生成して、プロセッサ１６に送信することができる。
【００２１】
自車両１は、自車両１の周辺（前方、側方、及び後方）に存在する実オブジェクトを検出する１つ又はそれ以上の車外センサ４０７を含んでいてもよい。車外センサ４０７が検知する実オブジェクトは、例えば、歩行者、自転車、自動二輪車、他車両（先行車等）、路面、区画線、路側物、又は／及び地物（建物など）などを含んでいてもよい。車外センサとしては、例えば、ミリ波レーダ、超音波レーダ、レーザレーダ等のレーダセンサ、カメラと画像処理装置からなるカメラセンサがあり、レーダセンサ、カメラセンサの両方の組み合わせで構成されてもよく、どちらか一方だけで構成されてもよい。これらレーダセンサやカメラセンサによる物体検知については従来の周知の手法を適用する。これらのセンサによる物体検知によって、三次元空間内での実オブジェクトの有無、実オブジェクトが存在する場合には、その実オブジェクトの位置（自車両１からの相対的な距離、自車両１の進行方向を前後方向とした場合の左右方向の位置、上下方向の位置等）、サイズ（横方向（左右方向）、高さ方向（上下方向）等の大きさ）、移動方向（横方向（左右方向）、奥行き方向（前後方向））、移動速度（横方向（左右方向）、奥行き方向（前後方向））、又は／及び種類等を検出してもよい。１つ又はそれ以上の車外センサ４０７は、各センサの検知周期毎に、自車両１の前方の実オブジェクトを検知して、実オブジェクト関連情報の一例である実オブジェクト関連情報（実オブジェクトの有無、実オブジェクトが存在する場合には実オブジェクト毎の位置、大きさ、又は／及び種類等の情報）をプロセッサ１６に送信することができる。なお、これら実オブジェクト関連情報は、他の機器（例えば、車両ＥＣＵ４０１）を経由してプロセッサ１６に送信されてもよい。また、夜間等の周辺が暗いときでも実オブジェクトが検知できるように、センサとしてカメラを利用する場合には赤外線カメラや近赤外線カメラが望ましい。また、センサとしてカメラを利用する場合、視差で距離等も取得できるステレオカメラが望ましい。
【００２２】
自車両１は、運転者４の注視方向（以下では「視線方向」ともいう）を検出する、運転者４の顔を撮像する赤外線カメラ等からなる視線方向検出部４０９を含んでいてもよい。プロセッサ１６は、赤外線カメラが撮像した画像（視線方向を推定可能な情報の一例）を取得し、この撮像画像を解析することで運転者４の視線方向を特定することができる。なお、プロセッサ１６は、赤外線カメラの撮像画像から視線方向検出部４０９（又は他の解析部）が特定した運転者４の視線方向をＩ／Ｏインタフェース１４から取得するものであってもよい。また、自車両１の運転者４の視線方向、又は運転者４の視線方向を推定可能な情報を取得する方法は、これらに限定されるものではなく、ＥＯＧ（Ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａｍ）法、角膜反射法、強膜反射法、プルキンエ像検出法、サーチコイル法、赤外線目底カメラ法などの他の既知の視線方向検出（推定）技術を用いて取得されてもよい。
【００２３】
自車両１は、運転者４の目の位置を検出する赤外線カメラ等からなる目位置検出部４１１を含んでいてもよい。プロセッサ１６は、赤外線カメラが撮像した画像（目の位置を推定可能な情報の一例）を取得し、この撮像画像を解析することで運転者４の目の位置を特定することができる。なお、プロセッサ１６は、赤外線カメラの撮像画像から特定された運転者４の目の位置の情報をＩ／Ｏインタフェース１４から取得するものであってもよい。なお、自車両１の運転者４の目の位置、又は運転者４の目の位置を推定可能な情報を取得する方法は、これらに限定されるものではなく、既知の目位置検出（推定）技術を用いて取得されてもよい。プロセッサ１６は、運転者４の目の位置に基づき、画像２００の位置を少なくとも調整することで、前景３００の所望の位置に重畳した画像２００を、目位置を検出した視認者（運転者４）に視認させてもよい。
【００２４】
携帯情報端末４１３は、スマートフォン、ノートパソコン、スマートウォッチ、又は運転者４（又は自車両１の他の乗員）が携帯可能なその他の情報機器である。Ｉ／Ｏインタフェース１４は、携帯情報端末４１３と通信を行うことが可能であり、携帯情報端末４１３（又は携帯情報端末を通じたサーバ）に記録されたデータを取得する。携帯情報端末４１３は、例えば、上述の道路情報データベース４０３及び自車位置検出部４０５と同様の機能を有し、前記道路情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。また、携帯情報端末４１３は、自車両１の近傍の商業施設に関連するコマーシャル情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。なお、携帯情報端末４１３は、携帯情報端末４１３の所持者（例えば、運転者４）のスケジュール情報、携帯情報端末４１３での着信情報、メールの受信情報などをプロセッサ１６に送信し、プロセッサ１６及び画像処理回路２０は、これらに関する画像データを生成又は／及び送信してもよい。
【００２５】
車外通信接続機器４２０は、自車両１と情報のやりとりをする通信機器であり、例えば、自車両１と車車間通信（Ｖ２Ｖ：Ｖｅｈｉｃｌｅ  Ｔｏ  Ｖｅｈｉｃｌｅ）により接続される他車両、歩車間通信（Ｖ２Ｐ：Ｖｅｈｉｃｌｅ  Ｔｏ  Ｐｅｄｅｓｔｒｉａｎ）により接続される歩行者（歩行者が携帯する携帯情報端末）、路車間通信（Ｖ２Ｉ：Ｖｅｈｉｃｌｅ  Ｔｏ  ｒｏａｄｓｉｄｅ  Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）により接続されるネットワーク通信機器であり、広義には、自車両１との通信（Ｖ２Ｘ：Ｖｅｈｉｃｌｅ  Ｔｏ  Ｅｖｅｒｙｔｈｉｎｇ）により接続される全てのものを含む。車外通信接続機器４２０は、例えば、歩行者、自転車、自動二輪車、他車両（先行車等）、路面、区画線、路側物、又は／及び地物（建物など）の位置を取得し、プロセッサ１６に送信してもよい。また、車外通信接続機器４２０は、上述の自車位置検出部４０５と同様の機能を有し、自車両１の位置情報を取得し、プロセッサ１６に送信してもよく、さらに上述の道路情報データベース４０３の機能も有し、前記道路情報（実オブジェクト関連情報の一例）を取得し、プロセッサ１６に送信してもよい。なお、車外通信接続機器４２０から取得される情報は、上述のものに限定されない。
【００２６】
メモリ１８に記憶されたソフトウェア構成要素は、実オブジェクト関連情報検出モジュール５０２、画像位置推定モジュール５０４、目位置検出モジュール５０６、走行レーン非重畳判定モジュール５０８、報知必要度判定モジュール５１０、画像位置決定モジュール５１２、画像サイズ決定モジュール５１４、及びグラフィックモジュール５１６を含む。
【００２７】
実オブジェクト関連情報検出モジュール５０２は、自車両１の実オブジェクト（走行レーン３１０）の位置（領域）を少なくとも含む情報（実オブジェクト関連情報とも呼ぶ）をＩ／Ｏインタフェース１４を介して取得する。実オブジェクト関連情報検出モジュール５０２は、車外センサ４０７から、自車両１の前景３００に存在する実オブジェクトの位置（自車両１の運転席にいる運転者４から自車両１の進行方向（前方）を視認した際の高さ方向（上下方向）、横方向（左右方向）の位置であり、これらに、奥行き方向（前方向）の位置が追加されてもよい）、及び実オブジェクトのサイズ（高さ方向、横方向のサイズ）、を取得してもよい。また、実オブジェクト関連情報検出モジュール５０２は、車外通信接続機器４２０を介して実オブジェクト（他車両）から、種類、実オブジェクト（他車両）の方向指示器、舵角、又は／及び運転支援システムによる進行予定経路、進行スケジュール、を示す情報を取得してもよい。
【００２８】
また、実オブジェクト関連情報検出モジュール５０２は、車外センサ４０７から、自車両１の走行レーン３１０の左側の区画線３１１（図３参照）の位置と、右側の区画線３１２（図３参照）の位置とを取得し、それら区画線３１１，３１２の間の領域（走行レーン３１０の位置）を算出してもよい。
【００２９】
画像位置推定モジュール５０４は、画像２００が表示される位置（領域）を推定する。画像位置推定モジュール５０４は、後述する画像位置決定モジュール５１２が決定する画像２００の位置、及び後述する画像サイズ決定モジュール５１４が決定する画像２００のサイズに基づき、表示領域１００内の１つ又はそれ以上の画像２００の位置（領域）を推定してもよい。
【００３０】
目位置検出モジュール５０６は、自車両１の運転者４の目の位置を検出する。目位置検出モジュール５０６は、複数段階で設けられた上下方向の領域（又は／及び左右方向の領域）のどこに運転者４の目の位置があるかの判定、運転者４の目の上下方向（Ｙ軸方向）の位置、又は／及び左右方向（Ｘ軸方向）の位置の検出、運転者４の目の位置（Ｘ，Ｙ，Ｚ軸方向の位置）の検出、に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。目位置検出モジュール５０６は、例えば、目位置検出部４１１から運転者４の目の位置を取得する、又は、目位置検出部４１１から運転者４の目の位置を推定可能な情報を受信し、運転者４の目の位置を推定する。目の位置を推定可能な情報は、例えば、自車両１の運転席の位置、運転者４の顔の位置、座高の高さ、運転者４による図示しない操作部での入力値などであってもよい。
【００３１】
走行レーン非重畳判定モジュール５０８は、運転者４（自車両１の運転席に着座する視認者）から見て、画像２００が走行レーン３１０に非重畳であるか（重畳していないか）を検出又は推定する。走行レーン非重畳判定モジュール５０８は、表示領域１００の左側又は右側のどちらが走行レーン３１０に非重畳となるかの検出又は推定、表示領域１００のうち走行レーン３１０と非重畳となる領域（後述する走行レーン非重畳領域１０１）の検出又は推定、走行レーン非重畳領域１０１に配置される画像２００の検出又は推定、走行レーン非重畳領域１０１に配置される画像２００の面積（画素数）の検出、表示領域１００のうち走行レーン３１０と重畳する領域（後述する走行レーン重畳領域１０２）の検出又は推定、走行レーン重畳領域１０２に配置される画像２００の検出又は推定、に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。図３は、自車両１の運転席から運転者４が前方を向いた際の画像表示部１１が画像２００を表示可能な表示領域１００（実際には表示領域自体は視認されない）と走行レーン３１０との位置関係を説明する図である。図３の走行レーン３１０は、右カーブであり、表示領域１００の左上の領域が走行レーン３１０の左側の区画線３１１を境界に走行レーン３１０の外側と重なる領域（走行レーン非重畳領域１０１）と判定でき、その他の領域を走行レーン３１０と重なる領域（走行レーン重畳領域１０２）と判定できる。走行レーン非重畳判定モジュール５０８は、例えば、実オブジェクト関連情報検出モジュール５０２が取得した走行レーン３１０の位置と、画像位置推定モジュール５０４が推定した画像２００の位置と、目位置検出モジュール５０６に基づいて、視認者から見て、走行レーン非重畳領域１０１に配置される画像２００を検出してもよい。
【００３２】
図２の報知必要度判定モジュール５１０は、車両用表示システム１０が表示する各画像２００が運転者４に報知するべき内容であるかを判定する。報知必要度判定モジュール５１０は、Ｉ／Ｏインタフェース１４に接続される種々の他の電子機器から情報を取得し、報知必要度を算出してもよい。また、図２でＩ／Ｏインタフェース１４に接続された電子機器が車両ＥＣＵ４０１に情報を送信し、受信した情報に基づき車両ＥＣＵ４０１が決定した報知必要度を、報知必要度判定モジュール５１０が検出（取得）してもよい。『報知必要度』は、例えば、起こり得る自体の重大さの程度から導き出される危険度、反応行動を起こすまでに要求される反応時間の長短から導き出される緊急度、自車両１や運転者４（又は自車両１の他の乗員）の状況から導き出される有効度、又はこれらの組み合わせなどで決定され得る（報知必要度の指標はこれらに限定されない）。すなわち、報知必要度判定モジュール５１０は、運転者４に報知すべきかを判定し、画像２００の一部又は全部を表示しないことも選択し得る。なお、車両用表示システム１０は、報知必要度を推定する（算出する）機能を有していなくてもよく、報知必要度を推定する機能の一部又は全部は、車両用表示システム１０の表示制御装置１３とは別に設けられてもよい。
【００３３】
画像位置決定モジュール５１２は、表示領域１００内での画像２００の位置、又は／及び表示領域１００の位置を決定する。画像位置決定モジュール５１２は、画像２００が前記ＡＲ画像であれば、実オブジェクトと特定の位置関係になって視認されるように、実オブジェクト関連情報検出モジュール５０２により検出された実オブジェクトの位置に基づき、画像２００の座標（運転者４が自車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）を少なくとも含む）を決定する。例えば、画像位置決定モジュール５１２は、画像２００の中心が実オブジェクトの中心と重なって視認されるように、画像２００の左右方向、及び上下方向の位置を決定する。なお、『特定の位置関係』は、実オブジェクト又は自車両１の状況、実オブジェクトの種類、表示される画像の種類などにより調整され得る。また、画像位置決定モジュール５１２は、表示更新周期毎に、実オブジェクトの位置を予測し、その予測位置に基づいて、画像２００の座標を決定してもよい。この場合、画像位置決定モジュール５１２は、実オブジェクト関連情報検出モジュール５０２が少なくとも直前に取得した実オブジェクトの位置（観測位置）を含む過去に取得した１つ又はそれ以上の実オブジェクトの観測位置を元に予測される画像２００（前記ＡＲ画像）の表示更新周期における実オブジェクトの予測位置に基づいて画像２００（前記ＡＲ画像）の位置を設定してもよい。画像位置決定モジュール５１２による実オブジェクトの予測位置の算出方法に特段の制約はなく、画像位置決定モジュール５１２が処理対象とする表示更新周期よりも過去に取得された観測位置に基づいて予測を行う限り、如何なる手法を用いてもよい。画像位置決定モジュール５１２は、例えば、最小二乗法や、カルマンフィルタ、α−βフィルタ、又はパーティクルフィルタなどの予測アルゴリズムを用いて、過去の１つ又はそれ以上の観測位置を用いて、次回の値を予測するようにしてもよい。
【００３４】
また、画像２００が前記非ＡＲ画像であれば、画像位置決定モジュール５１２は、種別毎に予め定められた表示領域１００内の所定の位置に各画像２００の位置を設定してもよい。
【００３５】
また、画像位置決定モジュール５１２は、走行レーン非重畳判定モジュール５０８が、運転者４（自車両１の運転席に着座する視認者）から見て、画像２００が走行レーン３１０に非重畳であるか（重畳していないか）を検出又は推定した場合、走行レーン非重畳領域１０１に配置されていると推定される画像２００の面積が減少するように、走行レーン非重畳領域１０１に配置されていると検出又は推定された画像２００を走行レーン重畳領域１０２の方へ移動させる。また、画像位置決定モジュール５１２は、走行レーン非重畳領域１０１に配置されていると推定される画像２００を走行レーン重畳領域１０２の方へ移動させる際、走行レーン重畳領域１０２に画像２００が移動してくるスペースを空けるため、走行レーン重畳領域１０２に表示されていた一部又は全部の画像２００の配置を変えてもよい。また、画像位置決定モジュール５１２は、走行レーン非重畳領域１０１に配置されていると推定される画像２００を走行レーン重畳領域１０２の方へ移動させる際、表示領域１００に表示される複数の画像２００の配置を適切な配置に調整するため、走行レーン重畳領域１０２に表示されていた一部又は全部の画像２００の配置を変えてもよい。
【００３６】
画像サイズ決定モジュール５１４は、画像２００のサイズを決定する。画像サイズ決定モジュール５１４は、画像２００が前記ＡＲ画像であれば、対応付ける実オブジェクトの位置、又は／及びサイズに合わせて、画像２００のサイズを変更してもよい。例えば、画像サイズ決定モジュール５１４は、対応付ける実オブジェクトの位置が遠方であれば、ＡＲ画像のサイズを小さくし得る。また、画像サイズ決定モジュール５１４は、対応付ける実オブジェクトのサイズが大きければ、ＡＲ画像のサイズを大きくし得る。画像サイズ決定モジュール５１４は、過去の所定の回数の実オブジェクトのサイズに基づいて、今回の表示更新周期で表示する画像（ＡＲ画像）２００を表示するサイズを予測算出する機能を有してもよい。第１の手法として、画像サイズ決定モジュール５１４は、カメラ（車外センサ４０７の一例）による過去の２つの撮像画像間で、例えば、Ｌｕｃａｓ−Ｋａｎａｄｅ法を使用して、実オブジェクトの画素を追跡することで、今回の表示更新周期における実オブジェクトのサイズを予測し、予測した実オブジェクトのサイズに合わせてＡＲ画像のサイズを決定してもよい。第２手法として、過去の２つの撮像画像間での実オブジェクトのサイズの変化に基づき、実オブジェクトのサイズの変化率を求めて、実オブジェクトのサイズの変化率に応じてＡＲ画像のサイズを決定してもよい。なお、時系列で変化する視点からの実オブジェクトのサイズ変化を推定する方法は、上記に限られず、例えば、Ｈｏｒｎ−Ｓｃｈｕｎｃｋ法、Ｂｕｘｔｏｎ−Ｂｕｘｔｏｎ、Ｂｌａｃｋ−Ｊｅｐｓｏｎ法などのオプティカルフロー推定アルゴリズムを含む公知の手法を用いてもよい。
【００３７】
また、画像２００が前記非ＡＲ画像であれば、画像サイズ決定モジュール５１４は、種別毎に予め定められたサイズに各画像２００のサイズを設定してもよい。
【００３８】
また、画像サイズ決定モジュール５１４は、実オブジェクト関連情報検出モジュール５０２により検出された画像２００を対応付けて表示する実オブジェクトの種類、数、又は／及び、報知必要度判定モジュール５１０で検出された（推定された）報知必要度の大きさに基づいて、画像２００のサイズを決定し得る。
【００３９】
また、画像サイズ決定モジュール５１４は、走行レーン非重畳判定モジュール５０８が、運転者４（自車両１の運転席に着座する視認者）から見て、画像２００が走行レーン３１０に非重畳であるか（重畳していないか）を検出又は推定した場合、走行レーン非重畳領域１０１に配置されていると推定される画像２００の面積が減少するように、走行レーン非重畳領域１０１に配置されていると検出又は推定された画像２００のサイズを小さくする。また、画像サイズ決定モジュール５１４は、画像位置決定モジュール５１２が走行レーン非重畳領域１０１に配置されていると検出又は推定される画像２００を走行レーン重畳領域１０２の方へ移動させる際、走行レーン重畳領域１０２に画像２００が移動してくるスペースを空けるため、走行レーン重畳領域１０２に表示されていた一部又は全部の画像２００のサイズを小さくしてもよい。また、画像サイズ決定モジュール５１４は、画像位置決定モジュール５１２が走行レーン非重畳領域１０１に配置されていると推定される画像２００を走行レーン重畳領域１０２の方へ移動させる際、表示領域１００に表示される複数の画像２００の配置のバランスをメモリ１８に記憶された、より適切なバランスにするため、走行レーン重畳領域１０２に表示されていた一部又は全部の画像２００のサイズを変えてもよい。
【００４０】
グラフィックモジュール５１６は、表示される画像２００の視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）を変更するための構成要素を含めた画像表示部１１に画像２００をレンダリングして表示するための様々な基地のソフトウェア構成要素を含む。
【００４１】
また、グラフィックモジュール５１６は、走行レーン非重畳判定モジュール５０８が、運転者４（自車両１の運転席に着座する視認者）から見て、画像２００が走行レーン３１０に非重畳であるか（重畳していないか）を検出又は推定した場合、走行レーン非重畳領域１０１に配置されていると検出又は推定される画像２００（又は／及び走行レーン重畳領域１０２に配置されていると検出又は推定される画像２００）の、報知必要度判定モジュール５１０により判定された報知必要度がメモリ１８に記憶された所定の報知必要度より低ければ、その画像２００を非表示にしてもよい。
【００４２】
プロセッサ１６及び画像処理回路２０は、画像位置決定モジュール５１２が設定した座標（運転者４が自車両１の運転席から表示領域１００の方向を見た際の左右方向（Ｘ軸方向）、及び上下方向（Ｙ軸方向）を少なくとも含む）、画像サイズ決定モジュール５１４が設定したサイズ、グラフィックモジュール５１６が設定したプロパティ、に基づいて運転者４に視認されるように画像表示部１１に画像２００を表示する。
【００４３】
図４は、いくつかの実施形態に係る、画像の表示処理のフロー図である。まず、プロセッサ１６は、実オブジェクト関連情報検出モジュール５０２を実行して、走行レーン３１０の位置（領域）を取得し（ステップＳ１１）、画像位置推定モジュール５０４を実行して、画像２００が表示される位置を取得し（ステップＳ１２）、目位置検出モジュール５０６を実行して、視認者（運転者４）の目の位置を取得する（ステップＳ１３）。
【００４４】
ステップＳ１４において、プロセッサ１６は、走行レーン非重畳判定モジュール５０８を実行して、ステップＳ１１で取得した走行レーン３１０の位置と、ステップＳ１２で取得した画像２００の位置と、ステップＳ１３で取得した視認者の目の位置とに基づいて、視認者から見て、走行レーンに重ならない領域に画像が表示されているか判定する。走行レーン３１０に重ならない走行レーン非重畳領域１０１に画像２００が表示されていない場合、処理を終了し、再びステップＳ１１からのルーチンを開始する。また、 走行レーン３１０に重ならない走行レーン非重畳領域１０１に画像が表示されている場合、ステップＳ１５へ移行する。
【００４５】
ステップＳ１５において、プロセッサ１６は、走行レーン非重畳領域１０１に表示されていると検出又は推定される画像２００の面積が減少するように、画像２００を移動、画像２００を縮小、 画像２００を非表示、又はこれらの組み合わせを実行し、再びステップＳ１１からのルーチンを開始する。
【００４６】
上述の処理プロセスの動作は、汎用プロセッサ又は特定用途向けチップなどの情報処理装置の１つ以上の機能モジュールを実行させることにより実施することができる。これらのモジュール、これらのモジュールの組み合わせ、又は／及びそれらの機能を代替えし得る公知のハードウェアとの組み合わせは全て、本発明の保護の範囲内に含まれる。
【００４７】
車両用表示システム１０の機能ブロックは、任意選択的に、説明される様々な実施形態の原理を実行するために、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実行される。図２で説明する機能ブロックが、説明される実施形態の原理を実施するために、任意選択的に、組み合わされ、又は１つの機能ブロックを２以上のサブブロックに分離されてもいいことは、当業者に理解されるだろう。したがって、本明細書における説明は、本明細書で説明されている機能ブロックのあらゆる可能な組み合わせ若しくは分割を、任意選択的に支持する。
【００４８】
図５、及び図６Ａ乃至図６Ｃを用いて、画像の表示態様の変化について説明する。図５は、図３に示した表示領域と走行レーンの位置関係である場合において、図４のステップＳ１５の処理（表示態様の変化）が実行される前の画像２００の配置を例示する図であり、図６Ａ、図６Ｂ、図６Ｃは、図３に示した表示領域と走行レーンの位置関係である場合において、図４のステップＳ１５の処理（表示態様の変化）が実行された後の画像２００の配置を例示する図である。図５において、走行レーン非重畳領域１０１には、第１画像２１０の全部と、第２画像２２０の一部と、が配置され、走行レーン重畳領域１０２には、第２画像２２０の大部分と、第３画像２３０の全部と、が配置されている。
【００４９】
図６Ａを参照する。プロセッサ１６は、図４のステップＳ１５を実行し、走行レーン非重畳領域１０１に配置される第１画像２１０の全部が、走行レーン重畳領域１０２に配置されるように第１画像２１０を移動させてもよい。なお、プロセッサ１６は、第１画像２１０の一部が、走行レーン重畳領域１０２に配置されるように第１画像２１０移動させてもよい。また、この際、走行レーン非重畳領域１０１に配置されている面積が一部である、又は面積がメモリ１８に記憶された所定の面積閾値より低い場合などは、第２画像２２０のように、図４のステップＳ１５が実行されなくてもよい。
【００５０】
次に図６Ｂを参照する。プロセッサ１６は、図４のステップＳ１５を実行し、走行レーン非重畳領域１０１に配置される第１画像２１０の全部が、走行レーン重畳領域１０２に配置されるように第１画像２１０のサイズを縮小しつつ、移動してもよい。また、この際、プロセッサ１６は、第１画像２１０が、走行レーン重畳領域１０２に配置されるスペースを生成するように、走行レーン重畳領域１０２に配置されていた第２画像２２０又は／及び第３画像２３０を縮小してもよい。
【００５１】
次に図６Ｃを参照する。プロセッサ１６は、図４のステップＳ１５を実行し、走行レーン非重畳領域１０１に配置される第１画像２１０の全部が、走行レーン重畳領域１０２に配置されるように第１画像２１０を移動させるスペースを生成するため、報知必要度の低い第３画像２３０を非表示にしつつ、第２画像２２０を移動してもよい。
【００５２】
以上に説明したように、本実施形態の表示制御装置は、走行レーン３１０の位置と視認者の目の位置と画像２００の位置とから、表示領域１００のうち運転者４から見て走行レーン３１０と重ならない走行レーン非重畳領域１０１に画像２００が表示されていると判定される場合、走行レーン非重畳領域１０１に配置されている画像２００の面積が減少するように、画像２００を移動、縮小、非表示、又はこれらの組み合わせを実行する。これによれば、走行レーンに重ならない領域に表示される画像の面積を減少し、画像の視認性の低下を抑制することができる。
【００５３】
また、表示領域１００は、図１に示すように、運転者４から見て、上下左右からなる平面（ＸＹ平面）に概ね沿うような配置に限定されない。例えば、表示領域１００は、運転者４から見た左右方向（Ｘ軸方向）を軸として回転させ、走行レーン３１０（ＺＸ平面）に概ね沿うように配置されてもよい。なお、表示領域１００は、平面ではなく、曲面になり得る。また、画像表示部１１に立体表示器を採用し、３次元領域である表示領域１００に画像２００を表示するものであってもよい。
【００５４】
また、いくつかの実施形態では、画像表示部１１が表示する画像の画像データが車両ＥＣＵ４０１により生成される場合、画像位置推定モジュール５０４は、車両ＥＣＵ４０１から取得する画像データから画像２００の位置を推定してもよい。
【００５５】
また、画像２００は、Ｉ／Ｏインタフェース１４から取得される情報を元に生成されるとすると、いくつかの実施形態では、画像位置推定モジュール５０４は、Ｉ／Ｏインタフェース１４から取得される各種情報に基づいて、画像２００の位置を推定してもよい。
【００５６】
また、画像表示部１１における表示領域１００の位置が可変であれば、いくつかの実施形態では、画像位置推定モジュール５０４は、表示領域１００内の１つ又はそれ以上の画像２００の位置を推定することに加え、又はこの代わりに、調整された表示領域１００の位置を推定してもよい。
【００５７】
また、いくつかの実施形態では、走行レーン非重畳領域１０１と走行レーン重畳領域１０２との境界は、走行レーン３１０の区画線３１１，３１２に限定されず、路側物であってもよく、これら区画線や路側物を基準に走行レーン３１０の内側又は外側にオフセットした位置にプロセッサ１６が設定した境界であってもよい。
【符号の説明】
【００５８】
１…自車両、２…フロントウインドシールド、４…運転者、５…ダッシュボード、１０…車両用表示システム、１１…画像表示部、１１ａ…表示光、１３…表示制御装置、１４…Ｉ／Ｏインタフェース、１６…プロセッサ、１８…メモリ、２０…画像処理回路、１００…表示領域、１０１…走行レーン非重畳領域、１０２…走行レーン重畳領域、２００…画像、２１０…第１画像、２２０…第２画像、２３０…第３画像、３００…前景、３１０…走行レーン、３１１…区画線、３１２…区画線、４０１…車両ＥＣＵ、４０３…道路情報データベース、４０５…自車位置検出部、４０７…車外センサ、４０９…視線方向検出部、４１１…目位置検出部、４１３…携帯情報端末、４２０…車外通信接続機器、５０２…実オブジェクト関連情報検出モジュール、５０４…画像位置推定モジュール、５０６…目位置検出モジュール、５０８…走行レーン非重畳判定モジュール、５１０…報知必要度判定モジュール、５１２…画像位置決定モジュール、５１４…画像サイズ決定モジュール、５１６…グラフィックモジュール
【図１】
2020121607.tif 000003
【図２】
2020121607.tif 000004
【図３】
2020121607.tif 000005
【図４】
2020121607.tif 000006
【図５】
2020121607.tif 000007
【図６Ａ】
2020121607.tif 000008
【図６Ｂ】
2020121607.tif 000009
【図６Ｃ】
2020121607.tif 000010