(57)【要約】【課題】前景に重畳表示される虚像の実物感を向上させることが可能な表示制御装置等の提供。【解決手段】ＨＣＵ１００は、車両Ａの運転者Ｄから見える前景に重畳表示される虚像４０の表示態様を制御する表示制御装置として機能する。ＨＣＵ１００は、車両Ａの周囲における環境光の状態を、環境光情報として取得する。そして、ＨＣＵ１００は、環境光情報に基づき、虚像４０として結像される表示像の色を、環境光の影響を受けているように補正する。【選択図】図２
2018136698.tif 000002
【特許請求の範囲】
【請求項１】
移動体（Ａ）の乗員（Ｄ）から見える前景に重畳表示される虚像（４０）の表示態様を制御する表示制御装置であって、
前記移動体の周囲における環境光の状態を環境光情報として取得する情報取得部（３１）と、
前記環境光情報に基づき、前記虚像として結像される表示像の色を、前記環境光の影響を受けているように補正する色補正部（３３）と、
を備える表示制御装置。
【請求項２】
前記移動体には、この移動体の周囲を撮影する撮像部（５２）が搭載されており、
前記情報取得部には、前記撮像部によって撮像された周囲画像の画像データが入力される請求項１に記載の表示制御装置。
【請求項３】
前記周囲画像から、情報提示に利用される特定物標（ＳＯ）を切り出す画像切出部（３２）と、
前記画像切出部によって切り出された前記特定物標の切出画像（ＳＰ）を画像保存部（３９）に保存する保存処理部（３６）と、をさらに備え、
前記色補正部は、前記周囲画像が撮像されたときの前記環境光情報に基づき、前記切出画像を色補正し、補正後の前記切出画像を、前記保存処理部により前記画像保存部に保存させる請求項２に記載の表示制御装置。
【請求項４】
前記色補正部は、前記虚像として表示される前記切出画像を、前記情報取得部の取得する現在の前記環境光情報に基づき、前記環境光の影響を受けているように補正する請求項３に記載の表示制御装置。
【請求項５】
前記情報取得部は、前記周囲画像の画像データから前記環境光情報を抽出する請求項２〜４のいずれか一項に記載の表示制御装置。
【請求項６】
前記情報取得部は、前記周囲画像に写る道路標示、区画線及び道路標識の少なくとも一つの色の状態に基づき、前記環境光の状態を推定する請求項５のいずれか一項に記載の表示制御装置。
【請求項７】
前記情報取得部は、前記周囲画像において、白色で敷設された前記道路標示又は前記区画線の色の状態に基づき、前記環境光の状態を推定する請求項６に記載の表示制御装置。
【請求項８】
前記情報取得部は、前記周囲画像における前記道路標識の白地部分の色の状態に基づき、前記環境光の状態を推定する請求項６又は７に記載の表示制御装置。
【請求項９】
前記情報取得部は、前記周囲画像に写る前記移動体のボディ色に基づき、前記環境光の状態を推定する請求項２〜８のいずれか一項に記載の表示制御装置。
【請求項１０】
前記情報取得部は、前記周囲画像に写る走行体であって、前記移動体と同一方向に走行する走行体のボディ色に基づき、前記環境光の状態を推定する請求項２〜９のいずれか一項に記載の表示制御装置。
【請求項１１】
前記情報取得部は、前記周囲画像の解析により、前記環境光の照射方向（ＬＤ）を抽出し、
前記色補正部は、前記照射方向に合わせて、前記表示像の表示態様を補正する請求項２〜１０のいずれか一項に記載の表示制御装置。
【請求項１２】
前記情報取得部は、前記周囲画像の解析により、前景のうちで照明装置（９０）によって照明されている照明範囲（ＬＡ）を特定し、
前記色補正部は、前記照明範囲に重畳される前記虚像よりも前記照明範囲から外れた非照明範囲（ＮＬＡ）に重畳される前記虚像が低輝度で表示されるように、前記表示像を補正する請求項２〜１１のいずれか一項に記載の表示制御装置。
【請求項１３】
前記虚像は、前景中の物体と組み合わされて前記乗員に情報を提示する請求項１〜１２のいずれか一項に記載の表示制御装置。
【請求項１４】
前記虚像には、
前景中の物体と組み合わされて前記乗員に情報を提供する遠虚像（４１）と、
前記遠虚像よりも前記乗員に近い位置に結像される近虚像（４３）と、が含まれており、
前記色補正部は、前記近虚像として結像される近表示像よりも、前記遠虚像として結像される遠表示像について、前記環境光の影響を受けているような色補正を強く行う請求項１〜１３のいずれか一項に記載の表示制御装置。
【請求項１５】
前記移動体には、前記環境光の色温度を計測する色温度計測器（５１）が搭載され、
前記情報取得部は、前記色温度計測器によって計測された前記環境光の色温度の計測データを前記環境光情報として取得し、
前記色補正部は、前記色温度の計測データに基づき、前記環境光の影響を受けているように前記表示像の色を補正する請求項１〜１３のいずれか一項に記載の表示制御装置。
【請求項１６】
移動体（Ａ）の乗員（Ｄ）から見える前景に重畳表示される虚像（４０）の表示態様を制御する表示制御プログラムであって、
前記移動体の周囲における環境光の状態を示す環境光情報を取得するステップと、
前記環境光情報に基づき、前記虚像として結像される表示像の色を、前記環境光の影響を受けているように補正するステップと、を処理部（１１）に実行させる表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この明細書による開示は、前景に重畳表示される虚像の表示態様を制御する表示制御装置及び表示制御プログラムに関する。
【背景技術】
【０００２】
従来、乗員から見える前景に虚像を重畳表示させるヘッドアップディスプレイ装置（以下、「ＨＵＤ装置」）が知られている。こうしたＨＵＤ装置の一種として、例えば特許文献１に開示の車両用表示装置は、虚像の背景となる車外景色状態を推定し、推定された車外景色状態に対して、虚像の表示態様を非同化表示させる。非同化表示により、虚像は、車外背景と容易に区別可能となり、良好な視認性を有するようになる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３４７３３２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
さて、天候及び照明によって車両の周囲における環境光の状態が変化した場合でも、虚像を視認する乗員は、環境光の影響を無意識のうちに補正し、正しい色で物体を認識しようとする。しかし、ＨＵＤ装置によって表示される虚像は、環境光の影響を受け難い。特許文献１に開示の車両用表示装置でも、虚像の表示態様は、環境光の状態に実質的に影響されない。
【０００５】
そのため、乗員が環境光の影響を無意識のうちに補正して前景を見たとき、前景に重畳表示される虚像は、環境光の影響を実質的に受けていないため、乗員の無意識の補正によって実際の表示色とは異なる色で認識されてしまう。その結果、虚像は、前景に溶け込まない不自然な表示となり得た。
【０００６】
本開示は、上記問題点を鑑みたものであり、その目的は、前景に重畳表示される虚像の実物感を向上させることが可能な表示制御装置及び表示制御プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、開示された一つの態様は、移動体（Ａ）の乗員（Ｄ）から見える前景に重畳表示される虚像（４０）の表示態様を制御する表示制御装置であって、移動体の周囲における環境光の状態を環境光情報として取得する情報取得部（３１）と、環境光情報に基づき、虚像として結像される表示像の色を、環境光の影響を受けているように補正する色補正部（３３）と、を備える表示制御装置とされる。
【０００８】
また、開示された一つの態様は、移動体（Ａ）の乗員（Ｄ）から見える前景に重畳表示される虚像（４０）の表示態様を制御する表示制御プログラムであって、移動体の周囲における環境光の状態を示す環境光情報を取得するステップと、環境光情報に基づき、虚像として結像される表示像の色を、環境光の影響を受けているように補正するステップと、を処理部（１１）に実行させる表示制御プログラムとされる。
【０００９】
これらの態様では、環境光の状態を示した環境光情報に基づき、虚像の色は、環境光の状態に合わせて、環境光の影響を受けているように変化し得る。故に、乗員が環境光の影響を無意識のうちに補正して前景を見たとき、虚像は、実存するものと同様に環境光の影響を受けているため、前景に溶け込み易くなり、自然な表示となり得る。以上によれば、前景に重畳表示される虚像の実物感を向上させることが可能になる。
【００１０】
尚、上記括弧内の参照番号は、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、技術的範囲を何ら制限するものではない。
【図面の簡単な説明】
【００１１】
【図１】第一実施形態において、虚像の表示に関連する電気的な構成を示すブロック図である。
【図２】ＨＣＵ及びＨＵＤ装置による虚像表示の仕組みを模式的に示す図である。
【図３】虚像として表示されるコンテンツの一例を示す図である。
【図４】虚像として表示されるバーチャルパイロンの詳細を示す図である。
【図５】各バーチャルパイロンの配置される仮想位置が照明範囲内か否かに基づき、各バーチャルパイロンの輝度が変更されることを説明するための模式図である。
【図６】特定物標の切出画像を取得し、切出画像をルート案内に使用する処理の詳細を説明するための図である。
【図７】画像取得処理の詳細を示すフローチャートである。
【図８】描画処理の詳細を示すフローチャートである。
【図９】第二実施形態におけるＨＣＵ及びＨＵＤ装置の機能を説明する図である。
【発明を実施するための形態】
【００１２】
以下、本開示の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。
【００１３】
（第一実施形態）
本開示の第一実施形態による表示制御装置の機能は、図１及び図２に示すＨＣＵ（HMI（Human Machine Interface）Control Unit）１００によって実現されている。ＨＣＵ１００は、移動体としての車両Ａに搭載された複数の電子制御ユニットのうちの一つである。ＨＣＵ１００には、色温度計測器５１、前方カメラ５２、ロケータ５３、通信器５５、ＨＵＤ装置２０、及びデータ保存部３９等と直接的又は間接的に電気接続されている。
【００１４】
色温度計測器５１は、車両Ａの周囲の環境光の色温度を計測する計測器である。色温度計測器５１は、例えば車両Ａのインスツルメントパネルの上面に設置されている。色温度計測器５１は、ウィンドシールドＷＳを通過した環境光が直接的に入射可能な範囲に配置されている。色温度計測器５１は、計測した環境光の色温度を示す計測データを、ＨＣＵ１００へ向けて逐次出力する。
【００１５】
色温度は、光の色を数値化した指標の一つである。色温度が５０００Ｋ程度である場合、光は白色光となる。色温度が５０００Ｋよりも低い値になるほど、環境光は、赤味がかった色となる。対して、色温度が５０００Ｋよりも高い値になるほど、環境光は、青味がかった色となる。
【００１６】
具体的に、太陽光が降り注ぐ状態での色温度は、５２００ケルビン（Ｋ）程度である。環境光の色温度は、天候によっても変化する。例えば曇天での色温度は、７０００Ｋ程度である。晴天時の日陰での色温度は、８０００Ｋ程度となる。朝日及び夕日のシーンでは、環境光の色温度は、２０００Ｋ程度となる。また、トンネル及び屋内駐車場等では、施設に設置された照明の色温度が、環境光の色温度となる。トンネル内での環境光の色温度は、ナトリウムランプの色温度である２０００Ｋ程度となる。
【００１７】
前方カメラ５２は、車両Ａの前方領域を撮影する単眼式又は複眼式のカメラユニットである。前方カメラ５２は、例えば車両ＡのウィンドシールドＷＳの上縁部分に、撮像面を車両Ａの前方へ向けた姿勢で設置されている（図３参照）。前方カメラ５２は、車両Ａの周囲のうちで、特に前方領域を撮像した周囲画像（以下、「前方画像」）の画像データを生成する。前方カメラ５２の撮像範囲には、例えばエンジンフード（ボンネット）等、車両Ａのボディの一部が含まれている。前方カメラ５２は、生成した前方画像の画像データを、ＨＣＵ１００へ向けて逐次出力する。前方カメラ５２にて撮像された前方画像は、ＡＣＣ（Adaptive Cruise Control）及び緊急ブレーキ等に用いられる。
【００１８】
ロケータ５３は、車両Ａの現在位置を測位する計測装置である。ロケータ５３には、ＧＮＳＳ（Global Navigation Satellite System）受信器及び慣性センサに加えて、地図データベース（以下、「地図ＤＢ」）５４等が設けられている。ＧＮＳＳ受信器は、複数の人工衛星から送信された測位信号を受信する。慣性センサは、車両Ａに作用する加速度を計測する。ロケータ５３は、ＧＮＳＳ受信器で受信した測位信号と、慣性センサの計測結果とを組み合わせることにより、車両Ａの現在位置を測位する。地図ＤＢ５４は、大量の地図情報を格納した記憶媒体である。ロケータ５３は、計測した車両Ａの位置情報と、地図ＤＢ５４から読み出した車両Ａの周囲及び進行方向の地図情報とを、ＨＣＵ１０００へ向けて逐次提供する。
【００１９】
通信器５５は、車両Ａの外部のサーバ装置と通信可能である。通信器５５は、例えば通行止め等の交通規制情報、混雑情報、及び気象情報等を、交通情報センター等に設けられたサーバ装置から受信する。通信器５５によって取得された情報は、ＨＣＵ１００に提供される。
【００２０】
ＨＵＤ装置２０は、例えば運転者Ｄ等の車両Ａの乗員の前方に虚像４０を表示する表示装置である。図１〜図３に示すＨＵＤ装置２０は、複数（二つ）の表示像の光をウィンドシールドＷＳの投影領域ＰＡに投影する。ウィンドシールドＷＳに投影された光は、投影領域ＰＡによって運転席側へ向けて反射され、運転者Ｄの頭部周辺に位置するよう予め規定されたアイボックスに到達する。アイボックスにアイポイントを位置させた運転者Ｄは、表示像の光を、前景に重畳表示された虚像４０として視認可能となる。
【００２１】
虚像４０には、近虚像４３及び遠虚像４１が含まれている。近虚像４３及び遠虚像４１は、車両Ａの前後方向及び上下方向のそれぞれにおいて、互いに異なる位置に結像される。近虚像４３は、アイポイントから車両Ａの前方に２〜３メートル程度の空間中に結像される。近虚像４３は、遠虚像４１よりも運転者Ｄに近い位置に結像される。近虚像４３は、主に車両Ａの状態を示す状態情報を運転者Ｄに提示する。例えば、車両Ａの走行速度等が近虚像４３によって表示される（図３参照）。
【００２２】
遠虚像４１は、近虚像４３よりもウィンドシールドＷＳから遠い位置、具体的には、アイポイントから車両Ａの前方に１０〜２０メートル程度の空間中に結像される。遠虚像４１は、例えば前走車及び路面等の前景中の重畳対象物と組み合わされて、運転者Ｄに情報を提示可能である。遠虚像４１は、運転者Ｄの見かけ上で重畳対象物に重畳されることで、拡張現実（以下、「Augmented Reality：ＡＲ」）表示として機能する。
【００２３】
以上の遠虚像４１及び近虚像４３を表示させるための構成として、ＨＵＤ装置２０は、遠表示器２１及び近表示器２３を備えている。遠表示器２１及び近表示器２３は、それぞれ表示像を発光表示する表示面又はスクリーンを有している。遠表示器２１は、遠虚像４１として結像される表示像を表示面等に発光表示する。近表示器２３は、近虚像４３として結像される表示像を表示面等に発光表示する。遠表示像及び近表示像の各光は、ＨＵＤ装置２０に設けられた投射用光学系により、投影領域ＰＡへ向けて射出される。遠表示器２１及び近表示器２３にて表示される表示像の画像データは、ＨＣＵ１００によって生成され、ＨＣＵ１００から遠表示器２１及び近表示器２３のそれぞれに逐次入力される。
【００２４】
図１及び図２に示すデータ保存部３９は、ＨＣＵ１００に付属するフラッシュメモリ等の記憶媒体である。データ保存部３９は、ＨＣＵ１００に内蔵された構成であってもよく、例えばメモリーカード等の形態でＨＣＵ１００に外部接続される構成であってもよい。データ保存部３９には、例えば遠虚像４１及び近虚像４３に用いられる画像の元データ等、ＨＣＵ１００にて用いられる主要なプログラム以外のデータが格納されている。
【００２５】
ＨＣＵ１００は、ＨＵＤ装置２０を含む複数の報知機器と接続されており、運転者への情報提示を統合的に制御する。ＨＣＵ１００は、少なくとも一つのプロセッサ１１、ＲＡＭ１２、及びメモリ装置１３に加えて、入出力インターフェース及び電源回路等を有するコンピュータを主体に構成されている。ＨＣＵ１００は、メモリ装置１３に記憶された表示制御プログラムをプロセッサ１１によって実行する。ＨＣＵ１００には、表示制御プログラムに基づき、情報取得部３１、画像切出部３２、色補正部３３、及び保存処理部３６等が機能ブロックとして構築される。
【００２６】
情報取得部３１は、車両Ａの状態情報及び位置情報、並びに車両Ａの周囲の地図情報及び交通規制情報等、ＨＵＤ装置２０の虚像表示を通じて運転者Ｄに通知すべき種々の情報を取得する。状態情報は、例えば車両Ａの走行速度や車載機器の異常を示す情報等である。加えて情報取得部３１は、車両Ａの周囲における環境光の状態を、環境光情報として取得する。環境光情報として、情報取得部３１には、色温度計測器５１によって計測された環境光の色温度の計測データが入力される。
【００２７】
さらに、環境光情報を取得するための情報として、情報取得部３１には、前方カメラ５２によって撮像された前方画像の画像データが入力される。情報取得部３１は、前方画像の画像データから、環境光の色温度を示す環境光情報を抽出する。詳記すると、情報取得部３１は、前方画像に写る道路標示、区画線及び道路標識の少なくとも一つの色の状態に基づき、環境光の状態を推定する。例えば、白色で敷設された道路標示又は区画線が前方画像に撮影されている場合、情報取得部３１は、前方画像における道路標示又は区画線の色の状態に基づき、環境光の状態、即ち色温度を推定する。同様に、道路標識が前方画像に撮影されている場合、前方画像における道路標識の白地部分の色の状態に基づき、環境光の状態、即ち色温度を推定する。
【００２８】
加えて、情報取得部３１は、前方画像に写る自車両（車両Ａ）及び他車両のボディ色に基づき、環境光の状態を推定する。情報取得部３１には、自車両のボディの色が予め記憶されている。情報取得部３１は、前方画像に写るエンジンフードの色に基づき、環境光の色温度を推定してもよい。さらに、自車両の前方に前走車がいる場合、この前走車は、自車両と同一方向に走行する走行体であり、自車両のエンジンフードと同様に、前方画像に継続して写り続ける。例えば、地図データ及び位置情報を用いることで、トンネル等への進入が検知可能であり、トンネルへの進入によれば、前方画像に写るボンネットの色又は前走車のボディ色が変化する。情報取得部３１は、ボディ色の変化前後の差分に基づき、トンネル内における環境光の色温度を推定できる。
【００２９】
情報取得部３１は、前方画像の解析により、環境光の照射方向ＬＤ（図４参照）と、夜間等の暗所での照明範囲ＬＡ（図５参照）とを抽出する。環境光の照射方向ＬＤは、例えば地面に対して垂直に設置された支柱等の影の延伸方向に基づいて推定される。照明範囲ＬＡは、前景のうちで照明装置によって照明されている範囲である。照明装置には、車両Ａに搭載された前照灯９０、対向車の前照灯、及び道路脇に設置された道路照明灯等が含まれる。情報取得部３１は、例えば前方画像のうちで空等が写る範囲と比較して階調値の高い範囲を、照明範囲ＬＡとして抽出する。尚、照明範囲ＬＡは、例えば前照灯９０の照射エリアを示すデータ及び地図情報に紐付けられた道路の勾配データ等により、適宜補正されてよい。
【００３０】
画像切出部３２は、前方画像から、運転者Ｄへの情報提示に利用される特定物標ＳＯ（図６参照）を切り出す。特定物標ＳＯは、例えば目的地となるような特定の施設の位置を示した案内看板等である。一般的に、案内看板は、特定の施設に至るルートの全ての要所に設置されているわけではない。画像切出部３２は、例えば案内看板が設置された要所（図６  ポイントα）で撮影された前方画像から、案内看板の部分だけを、切出画像ＳＰとして抽出する。こうして抽出された案内看板の切出画像ＳＰは、案内看板が設置されていない他の要所（図６  ポイントβ）にて、虚像表示される。以上によれば、運転者Ｄは、実物の案内看板と虚像表示される仮想の案内看板とにより、特定施設まで継続して案内される。
【００３１】
色補正部３３は、情報取得部３１にて取得される環境光情報に基づき、画像の色補正を行う。色補正部３３は、色温度計測器５１による計測データ及び前方カメラ５２による前方画像の少なくとも一方を用いて、画像の色補正を行う。色補正部３３には、サブ機能ブロックとして、ホワイトバランス（ＷＢ）調整ブロック３４及び描画処理ブロック３５が構築されている。
【００３２】
ＷＢ調整ブロック３４は、画像切出部３２にて切り出された特定物標の切出画像ＳＰの色を、前方画像が撮像されたときの環境光情報に基づき、補正する。ＷＢ調整ブロック３４は、５０００Ｋ程度の白色環境光の下で撮影された場合の色に、切出画像ＳＰを補正する。例えば、ＷＢ調整ブロック３４は、青味がかった環境光の下で前方画像が撮影されていた場合、青味を弱くし且つ赤味を強くする色補正を切出画像ＳＰに対して行う（図６参照）。反対に、赤味がかった環境光の下で前方画像が撮影されていた場合、ＷＢ調整ブロック３４は、赤味を弱くしつつ且つ青味を強くする色補正を切出画像ＳＰに行う。ＷＢ調整ブロック３４は、色補正した切出画像ＳＰを、保存処理部３６に出力する。
【００３３】
描画処理ブロック３５は、遠虚像４１及び近虚像４３としてそれぞれ結像表示される遠表示像及び近表示像を描画することで、遠虚像４１及び近虚像４３の各表示態様を制御する。描画処理ブロック３５は、環境光情報に基づき、遠表示器２１に発光表示される遠表示像の色、具体的にはＲＧＢ値を、環境光の影響を受けているように補正する。描画処理ブロック３５は、近虚像４３として結像される近表示像よりも、遠虚像４１として結像される遠表示像について、環境光の影響を受けているような色補正を強く行う。第一実施形態では、環境光の影響を演出するような近虚像４３の色補正は、実施されない。
【００３４】
例えば、環境光の色温度が５０００Ｋ程度である場合、描画処理ブロック３５は、データ保存部３９に保存されている元画像の色を実質的に補正することなく、遠表示像に使用する。対して、環境光が青味を帯びている場合、描画処理ブロック３５は、元データの画像の青味を強くする色補正を行ったうえで、遠表示像に使用する。また、環境光が赤味を帯びている場合、描画処理ブロック３５は、元データの画像の赤味を強くする色補正を行ったうえで、遠表示像に使用する。
【００３５】
描画処理ブロック３５は、ＷＢ調整ブロック３４によって色補正された切出画像ＳＰを、遠表示像の元データとして使用できる。切出画像ＳＰは、他の元データと同様に、情報取得部３１の取得する現在（最新）の環境光情報に基づき、環境光の影響を受けているように色補正される。その結果、切出画像ＳＰの特定物標は、実際に存在しているかのような態様で、遠虚像４１として表示される。
【００３６】
保存処理部３６は、画像切出部３２によって切り出された特定物標の切出画像であって、ＷＢ調整ブロック３４によって色補正された補正後の切出画像を、データ保存部３９に保存する。保存処理部３６は、切出画像に、当該切出画像の撮像された位置等、遠虚像４１の利用時に必要な情報を紐付ける。
【００３７】
次に、ここまで説明したＨＣＵ１００によって表示される虚像４０の表示例を、図２〜図６に基づき、図１を参照しつつ説明する。
【００３８】
ＨＣＵ１００は、通信器５５から取得する交通規制情報に基づき、通行止めとなっている方向へ運転者Ｄが車両Ａを向かわせないような情報提示を行う。具体的には、図３に示すように、通行止めの道路へ向かう車線及び走行禁止になっている車線等が、パイロンの形状を模した表示物（以下、「バーチャルパイロン」）４２を複数並べることにより、運転者Ｄに明示される。
【００３９】
描画処理ブロック３５は、図２に示すように、環境光の色温度に合わせて、バーチャルパイロン４２の画像データＰＤの色を補正し、遠表示像に使用する。以上により、遠虚像４１として前景中に並べられる仮想物体としてのバーチャルパイロン４２は、環境光の下に置かれた実物であるパイロンＲＯと同じような色合いで表示される。
【００４０】
加えて描画処理ブロック３５は、遠虚像４１を実物のように見せるための補正を、さらに行う。描画処理ブロック３５は、バーチャルパイロン４２が実空間の路面に馴染み易くなるように、画像のエッジを曖昧に描画する。また描画処理ブロック３５は、図４に示すように、情報取得部３１にて特定された環境光の照射方向ＬＤに合わせて、遠表示像の表示態様を補正し、バーチャルパイロン４２に、ハイライト４２ａ、陰４２ｂ、及び路面反射４２ｃを描画する。環境光の照射方向ＬＤが変わると、ハイライト４２ａ及び陰４２ｂの描画位置が変更される。
【００４１】
ハイライト４２ａは、バーチャルパイロン４２の左右のうちで、環境光の入射する一方の側に描画される。ハイライト４２ａは、バーチャルパイロン４２の側面の傾斜に沿って細長く延伸している。ハイライト４２ａの範囲では、色の明度が他の範囲よりも高く調整される。陰４２ｂは、バーチャルパイロン４２の左右のうちで、ハイライト４２ａとは反対側に描画される。陰４２ｂの範囲では、色の明度が他の範囲よりも低く調整される。路面反射４２ｃは、バーチャルパイロン４２の載置される仮想面を示唆する描写である。路面反射４２ｃは、バーチャルパイロン４２の底部と同系統の色で、底部の縁に沿ってうっすらと描画される。
【００４２】
さらに、描画処理ブロック３５は、夜間において、遠虚像４１の重畳される範囲の明暗に合わせえて、遠表示像を補正する。具体的に、描画処理ブロック３５は、図５に示すように、照明範囲ＬＡに重畳される遠虚像４１よりも、照明範囲ＬＡから外れた非照明範囲ＮＬＡに重畳される遠虚像４１が低輝度で表示されるように、遠表示像を補正する。一例として、非照明範囲ＮＬＡに重畳されるバーチャルパイロン４２（４２ｄ）の明度は、照明範囲ＬＡに重畳されるバーチャルパイロン４２（４２ｈ）の表示像の明度よりも低く調整される。尚、図５では、前照灯９０による照明範囲ＬＡがドットにて示されている。
【００４３】
また、ＨＣＵ１００は、図６に示すように、切出画像ＳＰを用いたルート案内が可能である。ポイントαにて、曇天の環境光によって青味を帯びた特定物標ＳＯが、前方カメラ５２によって前方画像に撮影されたとする。ＷＢ調整ブロック３４は、前方画像から切り出された切出画像ＳＰに対し、青味を抑えつつ赤味を高める色補正であって、色温度を下げる補正を行う。その結果、ホワイトバランスを調整された切出画像ＳＰが、データ保存部３９に蓄積される。
【００４４】
そして、晴天の環境光が降り注ぐ状態でポイントβに到達すると、描画処理ブロック３５は、データ保存部３９から補正後の切出画像ＳＰを読み出す。描画処理ブロック３５は、色温度計測器５１又は前方カメラ５２による現在の環境光情報に基づき、環境光の影響を受けているように、切出画像ＳＰをさらに色補正する。その結果、僅かに赤味を高める色補正であって、色温度を下げる補正が行われる。以上によれば、環境光の影響を受けているような特定物標ＳＯの遠虚像４１が、ＨＵＤ装置２０により仮想物体として表示される。環境光の影響を無意識に補正した運転者Ｄは、ポイントαにて視認した実際の特定物標ＳＯと、ポイントβにて視認する遠虚像４１とを、概ね同一の色に知覚できる。
【００４５】
次に、ここまで説明したＨＣＵ１００によって実施される画像取得処理及び描画処理の詳細を、図７及び図８に基づき、図１及び図２を参照しつつ説明する。図７に示す画像取得処理は、前方画像から特定物標ＳＯの切出画像ＳＰを切り出し、データ保存部３９に蓄積する処理である（図６参照）。画像取得処理は、前方カメラ５２の起動に伴い、ＨＣＵ１００によって開始される。画像取得処理は、前方カメラ５２の停止まで繰り返される。
【００４６】
Ｓ１０１では、前方カメラ５２から出力された前方画像と、この前方画像が撮影されたときの環境光情報とを取得し、Ｓ１０２に進む。Ｓ１０２では、Ｓ１０１にて取得された前方画像から、予め設定された特定物標ＳＯを抽出する画像解析を行い、Ｓ１０３に進む。Ｓ１０３では、Ｓ１０２の画像解析により、特定物標ＳＯが抽出されたか否かを判定する。特定物標ＳＯが抽出されていない場合、Ｓ１０１に戻る。一方で、特定物標ＳＯが抽出された場合、Ｓ１０４に進む。
【００４７】
Ｓ１０４では、特定物標ＳＯを背景から切り出す画像処理を行い、Ｓ１０５に進む。Ｓ１０５では、Ｓ１０４にて抽出した切出画像ＳＰを、Ｓ１０１にて取得した環境光情報に基づいて色補正し、Ｓ１０６に進む。Ｓ１０６では、補正後の切出画像ＳＰをデータ保存部３９に保存し、Ｓ１０１に戻る。尚、複数の前方画像から同一の特定物標ＳＯが切り出された場合、最も条件の良い切出画像ＳＰの画像データ、例えば、最もサイズの大きい切出画像ＳＰのデータのみを残し、他の切出画像ＳＰのデータは、データ保存部３９から削除されてよい。
【００４８】
図８に示す描画処理は、遠虚像４１となる遠表示像を描画する処理である。描画処理は、ＨＵＤ装置２０の起動に伴い、ＨＣＵ１００によって開始され、ＨＵＤ装置２０の停止まで繰り返し実施される。
【００４９】
Ｓ１１１では、環境光情報を含む遠表示像の描画に必要な各情報を取得し、Ｓ１１２に進む。Ｓ１１２では、Ｓ１０１にて取得した情報に基づき、遠虚像４１及び近虚像４３の表示態様を設定し、Ｓ１１３に進む。Ｓ１１３では、環境光情報に基づき、遠表示像の色補正を行い、Ｓ１１４に進む。Ｓ１１４では、Ｓ１１３にて補正した遠表示像の画像データ及びＳ１１２にて設定した近表示像の画像データを、それぞれ遠表示器２１及び近表示器２３へ向けて出力し、再びＳ１１１に戻る。
【００５０】
ここまで説明した第一実施形態では、環境光の状態を示した環境光情報に基づき、遠虚像４１の色は、環境光の状態に合わせて、環境光の影響を受けているように変化し得る。故に、運転者Ｄが環境光の影響を無意識のうちに補正して前景を見たとき、遠虚像４１は、実存するものと同様に環境光の影響を受けているため、前景に溶け込み易くなり、自然な表示となり得る。したがって、前景に重畳表示される虚像４０の実物感を向上させることが可能になる。さらに、遠虚像４１の重畳感の向上も可能になる。そして、遠虚像４１の違和感が軽減されることにより、ディストラクションも低減され得る。
【００５１】
加えて第一実施形態では、例えばルート案内に用いる特定物標の切出画像を保存するときに、ＷＢ調整ブロック３４は、撮像時の環境光情報に基づいて、切出画像を色補正する。故に、実物の実際の色に調整された特定物標の切出画像が、データ保存部３９に保存され得る。以上によれば、切出画像を遠虚像４１に用いたときに、運転者Ｄに違和感が惹起され難くなる。
【００５２】
また第一実施形態では、切出画像は、遠虚像４１として用いられる場合に、表示時の環境光の状態に基づき、さらに色補正される。故に、虚像表示される特定物標は、場所及び時間の異なるタイミングで取得され、その際の環境光と現在の環境光の状態とが異なっていても、運転者Ｄは、実物の特定物標に類似した特定物標の遠虚像４１を見ることができる。このように、保存時及び表示時のそれぞれで色補正が行われれば、遠虚像４１の実物感は、いっそう向上する。
【００５３】
さらに第一実施形態では、前方カメラ５２による前方画像の画像データから、環境光情報が抽出される。このように、衝突回避や運転支援機能に用いられる前方カメラ５２の画像データを、環境光情報として用いることができれば、環境光情報を取得するための構成の追加を少なく抑えることができる。
【００５４】
加えて第一実施形態では、前方画像に写る道路標示、区画線、及び道路標識の色の状態から、環境光情報、即ち、環境光の色温度が取得される。一般に、道路標示、区画線、及び道路標識の色は、予め規定された特定色である。故に、これらの色の状態に基づくことで、情報取得部３１は、前方画像の画像データから環境光の色温度を精度良く推定できる。
【００５５】
また第一実施形態では、白色に敷設された道路標示及び区画線の色の状態に基づき、環境光の色温度が推定される。又は、道路標識の白地部分の色の状態に基づき、環境光の色温度が推定される。白色であるこれらの色の状態は、環境光の影響による色の変化を分かり易く示している。故に、白色の道路標示及び区画線、又は道路標識の白地部分を基準に環境光の色温度を推定すれば、情報取得部３１は、精度の高い環境光情報を取得できる。
【００５６】
さらに第一実施形態では、自車両及び前走車のボディの色に基づき、環境光の色温度及び色温度の変化等が推定される。このように、前方画像に継続的に写り、且つ、色の変化しない物体を利用することにより、色補正部３３は、遠虚像４１の色を周囲の環境光の状態変化に追従させて、精度良く補正し続けることができる。
【００５７】
加えて第一実施形態では、環境光の照射方向に合わせて、遠虚像４１の表示態様が変更される。こうした表示態様の工夫によれば、遠虚像４１は、重畳される前景にいっそう馴染み易くなる。故に、遠虚像４１の実物感は、いっそう向上し得る。
【００５８】
また第一実施形態では、前照灯９０等の照明範囲外に重畳される遠虚像４１は、照明範囲に重畳される遠虚像４１よりも低輝度に調整される。こうした表示処理であれば、照明範囲外についての情報であっても、運転者Ｄへの通知が漏れ無く行われ得る。加えて、照明範囲外の遠虚像４１の輝度が低く抑えられることにより、遠虚像４１の実物感が顕著に損なわれる事態も、回避され得る。
【００５９】
加えて第一実施形態では、ＡＲ表示される遠虚像４１について、環境光の状態に合わせた色補正が強く行われる。故に、遠虚像４１が組み合わされる実空間の物体と、遠虚像４１との色の相関関係は、環境光情報に基づく色補正により、環境光の状態が変化した場合でも、維持され得る。このように、ＡＲ表示される遠虚像４１に色補正が適用されれば、遠虚像４１の実物感を向上させる効果が、さらに発揮可能となる。
【００６０】
さらに第一実施形態では、近虚像４３への色補正は、実施されない。近虚像４３は、主に車両Ａの状態情報を表示するため、背景となる前景に溶け込んでいなくても、運転者Ｄには不自然に感じられ難い。故に、近虚像４３への色補正を行わないことにより、ＨＣＵ１００の処理リソースを節約可能になる。
【００６１】
加えて第一実施形態では、色温度計測器５１を用いて、色温度が精度良く計測されている。このように、色温度計測器５１にて計測された色温度を環境光情報として用いれば、描画処理ブロック３５は、環境光の状態に合わせて、環境光の影響を受けたように、遠虚像４１の色を補正できる。
【００６２】
尚、第一実施形態では、ＨＣＵ１００が「表示制御装置」に相当し、プロセッサ１１が「処理部」に相当し、データ保存部３９が「画像保存部」に相当し、前方カメラ５２が「撮像部」に相当する。さらに、前照灯９０が「照明装置」に相当し、車両Ａが「移動体」に相当し、運転者Ｄが「乗員」に相当する。
【００６３】
（第二実施形態）
図９に示す本開示の第二実施形態は、第一実施形態の変形例である。第二実施形態のＨＵＤ装置２２０によって表示される虚像４０は、第一実施形態の遠虚像４１（図２参照）に相当するＡＲ表示のための表示物である。ＨＵＤ装置２２０は、第一実施形態の遠表示器２１（図１参照）と実質同一の表示器２２１を備えている。表示器２２１によって発光表示された表示像がウィンドシールドＷＳに投影され、運転者Ｄに虚像４０として視認される。
【００６４】
ＨＵＤ装置２２０は、表示制御プログラムを実行するプロセッサ、及び表示制御プログラムを格納するメモリ装置を含む処理回路を備えている。ＨＵＤ装置２２０には、虚像４０の色補正を行う機能ブロックとして、第一実施形態と同様の情報取得部３１及び色補正部３３が少なくとも構築される。ＨＵＤ装置２２０は、色温度計測器５１及び前方カメラ５２の少なくとも一方と電気的に接続されている。情報取得部３１は、色温度計測器５１による計測データ又は前方カメラ５２による撮像データに基づき、環境光の色温度等の環境光情報を取得する。
【００６５】
ＨＣＵ１００は、車両Ａの状態情報及び交通規制情報等に基づき、データ保存部３９に格納された画像データＰＤ等を使用して、表示像の描画データを生成する。ＨＵＤ装置２２０は、表示像の描画データをＨＣＵ１００から取得する。色補正部３３は、情報取得部３１にて取得された環境光情報に基づき、ＨＣＵ１００にて描画された表示像の描画データの色を補正し、表示器２２１に出力する。以上により、環境光情報に基づいて色補正された表示像が、表示器２２１によって発光表示され、投影領域ＰＡに投影される。
【００６６】
ここまで説明した第二実施形態のように、色補正がＨＵＤ装置２２０で行われる形態でも、第一実施形態と同様の効果を奏し、虚像４０の色は、環境光の状態に合わせて、環境光の影響を受けているように変化し得る。以上によれば、バーチャルパイロン４２は、実際のパイロンＲＯと類似の色合いで虚像表示され得る。したがって、前景に重畳表示される虚像４０の実物感及び重畳感を向上させることが可能になる。尚、第二実施形態では、ＨＵＤ装置２２０が「表示制御装置」に相当する。また、第二実施形態では、特定物標ＳＯ（図６参照）を記憶し、ルート案内に利用する機能が省略されている。
【００６７】
（他の実施形態）
以上、本開示の複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
【００６８】
上記実施形態のバーチャルパイロンは、環境光の照射方向に基づき、実物感が向上するように表示態様を補正されていた。こうした表示態様の補正は、上実施形態にて例示した内容に限定されない。例えば夜間等では、自車両及び対向車等の前照灯の照射方向に基づき、バーチャルパイロン等の仮想物体の表示態様が補正されてもよい。さらに、路面が濡れている場合等では、路面への仮想物体の映り込みが演出されてもよい。
【００６９】
加えて表示制御装置は、ＡＲ表示される仮想物体に不完全さを付与することで、実物感を向上させてもよい。例えば、バーチャルパイロンのような仮想物体を実空間に複数並べたようなＡＲ表示の場合、ＨＣＵは、実空間に仮想物体が不等間隔に並べられているような態様の表示像を描画してもよい。また、仮想物体の向きがランダムにされていてもよい。さらに、仮想物体に汚れや損傷を加えることで、使用感を持たせるような演出が加えられてもよい。尚、実物感を向上させる表示態様の補正は、実施されなくてもよい。また、ＡＲ表示される仮想物体は、上記のようなバーチャルパイロンに限定されない。
【００７０】
上記実施形態では、虚像の色補正に色温度計測器の計測データが用いられていた。しかし、色温度計測器は、省略されていてもよい。また、ＨＵＤ装置の構成の一部として、色温度計測器が設けられていてもよい。さらに、環境光の状態を示す指標は、色温度（相関色温度）に限定されない。環境光の状態を示す指標として、例えば色温度に加えて、照度等が用いられてもよい。また、環境光の状態を検出する検出手段は、適宜変更されてよい。
【００７１】
上記実施形態では、前方カメラの前方画像から、環境光情報が抽出されていた。しかし、車両の周囲を撮影する撮像部は、後方カメラや側方カメラであってもよい。さらに、複数のカメラの撮像画像から、環境光情報が抽出されてもよい。また、色温度計測器等によって正確な環境光情報が取得可能な形態であれば、撮像画像からの環境光情報の抽出は、実施されなくてもよい。
【００７２】
上記第一実施形態では、遠虚像のみが色補正の対象とされていた。しかし、第一実施形態の近虚像に相当する虚像が、色補正の対象とされてもよい。さらに、ＨＵＤ装置によって表示される虚像を視認する視認者は、運転者に限定されず、運転者以外の車両の乗員であってもよい。加えて、ＨＣＵ及びＨＵＤ装置を搭載する移動体は、車両に限定されない。例えば、船舶、航空機、鉄道車両等の各種移動体に、本開示によるＨＣＵ及びＨＵＤ装置は搭載可能である。
【００７３】
上記実施形態のＨＣＵ及びＨＵＤ装置の各メモリ装置には、フラッシュメモリ及びハードディスク等の種々の非遷移的実体的記憶媒体（non-transitory tangible storage medium）が採用可能である。また、表示制御プログラムを記憶する記憶媒体は、ＨＣＵ及びＨＵＤ装置に設けられたメモリ装置に限定されず、当該メモリ装置への表示制御プログラムのコピー基となる光学ディスク及び汎用コンピュータのハードディスクドライブ等であってもよい。
【００７４】
本開示による表示制御プログラム及び表示制御方法は、上記実施形態のＨＣＵ及びＨＵＤ装置とは異なる構成によって実現されてもよい。例えば、車両に搭載されたナビゲーション装置及びメータ制御装置等が、プロセッサによって表示制御プログラムを実行することで、表示制御装置の機能を実現してもよい。さらに、複数の電子制御ユニットが連携して、本開示による表示制御プログラム及び表示制御方法を実行してもよい。
【符号の説明】
【００７５】
Ａ  車両（移動体）、Ｄ  運転者（乗員）、ＬＡ  照明範囲、ＮＬＡ  非照明範囲、ＬＤ  照射方向、ＳＯ  特定物標、ＳＰ  切出画像、１１  プロセッサ（処理部）、３１  情報取得部、３２  画像切出部、３３  色補正部、３６  保存処理部、３９  データ保存部（画像保存部）、４０  虚像、４１  遠虚像、４３  近虚像、５１  色温度計測器、５２  前方カメラ（撮像部）、９０  前照灯（照明装置）、１００  ＨＣＵ（表示制御装置）、２０，２２０  ＨＵＤ装置（表示制御装置）
【図１】
2018136698.tif 000003
【図２】
2018136698.tif 000004
【図３】
2018136698.tif 000005
【図４】
2018136698.tif 000006
【図５】
2018136698.tif 000007
【図６】
2018136698.tif 000008
【図７】
2018136698.tif 000009
【図８】
2018136698.tif 000010
【図９】
2018136698.tif 000011