(57)【要約】【課題】任意のコンテンツの注視性を調整できる表示制御装置を提供すること。【解決手段】移動体９に搭載された表示装置１０に一つ以上のコンテンツを含む表示画像を表示させる表示制御装置２０であって、前記移動体の周辺を撮像する撮像装置から画像データを取得する画像データ取得手段２４と、前記表示画像を生成する表示画像生成手段２４と、を備え、前記表示画像生成手段は、前記画像データと前記表示画像とのうち、少なくとも任意のコンテンツを含まない部分の注視性よりも、前記表示画像に含まれる前記任意のコンテンツの注視性が高くなるように、少なくとも一つのコンテンツの表示態様を変更することを特徴とする。【選択図】図１
2020112698.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載された表示装置に一つ以上のコンテンツを含む表示画像を表示させる表示制御装置であって、
前記移動体の周辺を撮像する撮像装置から画像データを取得する画像データ取得手段と、
前記表示画像を生成する表示画像生成手段と、を備え、
前記表示画像生成手段は、
前記画像データと前記表示画像とのうち、少なくとも任意のコンテンツを含まない部分の注視性よりも、前記表示画像に含まれる前記任意のコンテンツの注視性が高くなるように、少なくとも一つのコンテンツの表示態様を変更することを特徴とする表示制御装置。
【請求項２】
前記任意のコンテンツを含まない部分は、前記画像データ及び前記表示画像の少なくとも一部を含むことを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記任意のコンテンツを含まない部分は、前記画像データ及び前記表示画像に含まれる他のコンテンツを含むことを特徴とする請求項１又は２に記載の表示制御装置。
【請求項４】
前記表示画像生成手段は、
前記変更がなされた後の前記任意のコンテンツと、前記画像データと、前記変更がなされた後の前記表示画像のうち少なくとも前記任意のコンテンツを含まない部分と、に基づいて、更に少なくとも一つのコンテンツの表示態様を変更することを特徴とする請求項１又は２に記載の表示制御装置。
【請求項５】
前記画像データに前記表示画像を合成した評価画像データから注視性の評価値を算出する評価手段を備えることを特徴とする請求項１〜４のいずれか１項に記載の表示制御装置。
【請求項６】
前記表示画像生成手段は、
前記表示画像に含まれる任意のコンテンツの注視性を示す第１の評価値と、前記画像データと前記表示画像の少なくとも一部の注視性を示す第２の評価値と、の差が予め定められた閾値以上になるように前記表示態様の変更の程度を決定することを特徴とする請求項５に記載の表示制御装置。
【請求項７】
前記画像データは奥行き情報を含む画像データであることを特徴とする請求項６に記載の表示制御装置。
【請求項８】
前記評価手段は、前記評価画像データに含まれる、輝度、補色、彩度、及び、前記画像データの奥行き情報の少なくとも一つに基づいて、前記評価画像データから注視性の評価値を算出することを特徴とする請求項７に記載の表示制御装置。
【請求項９】
前記表示画像生成手段は、前記少なくとも一つのコンテンツのサイズ、太さ、輝度、補色の関係、彩度、虚像までの距離、点滅、表示位置、又は、表示タイミングの少なくとも一つを変えることで表示態様を変更することを特徴とする請求項１〜８のいずれか１項に記載の表示制御装置。
【請求項１０】
請求項１乃至９のいずれか１項に記載された表示制御装置と、
前記表示制御装置で生成された表示画像を、反射透過部材に投影する表示装置と、
を含む表示システム。
【請求項１１】
前記反射透過部材は前記移動体のフロントウィンドウシールドであることを特徴とする請求項１０に記載の表示システム。
【請求項１２】
前記移動体の周辺を撮像する撮像装置、を備えることを特徴とする請求項１０又は１１に記載の表示システム。
【請求項１３】
請求項１０乃至１２のいずれか１項に記載の表示システムが搭載された移動体。
【請求項１４】
移動体に搭載された表示装置に一つ以上のコンテンツを含む表示画像を表示させる表示制御装置を、
前記移動体の周辺を撮像する撮像装置から画像データを取得する画像データ取得手段と、
前記表示画像を生成する表示画像生成手段、として機能させ、
前記表示画像生成手段は、
前記画像データと前記表示画像とのうち、少なくとも任意のコンテンツを含まない部分の注視性よりも、前記表示画像に含まれる前記任意のコンテンツの注視性が高くなるように、少なくとも一つのコンテンツの表示態様を変更することを特徴とするプログラム。
【請求項１５】
移動体に搭載された表示装置に一つ以上のコンテンツを含む表示画像を表示させる表示制御装置が行う画像生成方法であって、
画像データ取得手段が、前記移動体の周辺を撮像する撮像装置から画像データを取得するステップと、
表示画像生成手段が、前記表示画像を生成するステップと、を有し
前記表示画像生成手段は、
前記画像データと前記表示画像とのうち、少なくとも任意のコンテンツを含まない部分の注視性よりも、前記表示画像に含まれる前記任意のコンテンツの注視性が高くなるように、少なくとも一つのコンテンツの表示態様を変更することを特徴とする画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置、表示装置、表示システム、移動体、プログラム、及び、画像生成方法に関する。
【背景技術】
【０００２】
車両などの移動体において各種のコンテンツをウィンドウシールドに投影することで、車両の乗員に虚像としてのコンテンツを視認可能にするヘッドアップディスプレイ（ＨＵＤ）が知られている。虚像はあたかもウィンドウシールドよりも車両の前方にあるように見えるので、通常、遠方を見ている運転者は車内のディスプレイを見る場合よりも少ない視線移動で情報を視認できる。
【０００３】
ＨＵＤを有する表示装置では、車両の乗員の視点から見える背景に画像が重なって見えるので、画像の視認性は、背景の色合いなどに影響されやすい。背景に対し視認性がよい画像を提供するために背景と画像を含む前方を撮像装置で撮像して、この背景画像に対し表示する画像を調整する技術が知られている（例えば、特許文献１参照。）。特許文献１には、背景画像に対し一定の視認性を確保できるように画像の色合いを逐次調整するヘッドアップディスプレイシステムが開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、画像の色合いを調整しているが、画像に含まれる任意のコンテンツの注視性を調整できないという問題がある。
【０００５】
本発明は、上記課題に鑑み、任意のコンテンツの注視性を調整できる表示制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題に鑑み、本発明は、移動体に搭載された表示装置に一つ以上のコンテンツを含む表示画像を表示させる表示制御装置であって、前記移動体の周辺を撮像する撮像装置から画像データを取得する画像データ取得手段と、前記表示画像を生成する表示画像生成手段と、を備え、前記表示画像生成手段は、前記画像データと前記表示画像とのうち、少なくとも任意のコンテンツを含まない部分の注視性よりも、前記表示画像に含まれる前記任意のコンテンツの注視性が高くなるように、少なくとも一つのコンテンツの表示態様を変更することを特徴とする。
【発明の効果】
【０００７】
任意のコンテンツの注視性を調整できる表示制御装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】背景の画像データに対し表示装置が表示するコンテンツの強調と抑制の概略を説明する図の一例である。
【図２】車載システムの概略構成図の一例である。
【図３】表示装置の構成を示す図の一例である。
【図４】表示システムが搭載された車載システムの構成図の一例である。
【図５】車載システムのうち情報入力部の構成例を示す図である。
【図６】表示制御部のハードウェア構成図の一例である。
【図７】表示制御部の機能をブロック状に示す機能ブロック図の一例である。
【図８】表示装置が表示する表示画像の一例である。
【図９】運転席から見た表示画像の投影エリアを示す図の一例である。
【図１０】背景の画像データと表示画像の合成を説明する図の一例である。
【図１１】図１０（ｃ）の評価画像データから生成された顕著性マップの一例である。
【図１２】評価画像データの一例を示す図である。
【図１３】図１２の評価画像データの顕著性マップの一例である。
【図１４】コンテンツを強調する際の強調の程度の決定方法を示す図の一例である。
【図１５】コンテンツを抑制する際の抑制の程度の決定方法を示す図の一例である。
【図１６】文字のサイズや太さ、輝度、又は、補色の関係を利用した表示態様の一例を示す図である。
【図１７】彩度、虚像までの距離、点滅又は表示位置を利用した表示態様の変更の一例を示す図である。
【図１８】表示制御部が表示画像に含まれるコンテンツの表示態様を変更して表示画像を生成する手順を示すフローチャート図の一例である。
【図１９】コンテンツを強調又は抑制した場合における評価値の時間的な遷移を模式的に示す図の一例である。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態の一例として、表示システムと表示システムが行う画像生成方法について図面を参照しながら説明する。
【００１０】
＜表示画像の生成方法の概略＞
まず、図１を用いて、本実施形態における表示画像の生成方法の概略を説明する。図１は、背景の画像データに対し表示装置が表示するコンテンツの強調と抑制の概略を説明する図の一例である。
【００１１】
図１（ａ）は後述する表示制御部が評価を行う評価画像データの一例であり、先行車両が撮像された背景の画像データと表示装置が表示する表示画像が合成されている。表示画像には、先行車両への追従マーク３０１と車速３０９が含まれている。追従マーク３０１と車速３０９のように表示画像に含まれる要素をコンテンツという。
【００１２】
車両の乗員は背景に重なって見えるコンテンツを視認するので、背景によってコンテンツの注視性は変わりうる。従来は、複数のコンテンツを一律に強調することは可能であったとしても、選択的に抽出した背景に対して任意のコンテンツを定量的に強調したり抑制したりすることは困難であった。
【００１３】
これは、車両の状況に基づいて表示制御部が強調したい第１のコンテンツとそれ以外の第２のコンテンツ、又は、抑制したい第２のコンテンツとそれ以外の第１のコンテンツがある場合に、第１のコンテンツをどのくらい強調すればよいか又は第２のコンテンツをどのくらい抑制すればよいかを定量的に評価することが行われていなかったためである。
【００１４】
例えば、表示制御部が第１のコンテンツを強調したい場合、背景だけでなく第２のコンテンツも背景の一部として把握すべきであるが、背景と第２のコンテンツに対し、第１のコンテンツをどのくらい強調すればよいか定量的に評価できなかった。また、表示制御部が第２のコンテンツを抑制したい場合、背景だけでなく第１のコンテンツも背景の一部として把握すべきであるが、背景と第１のコンテンツに対し、第２のコンテンツをどのくらい抑制すればよいか定量的に評価できなかった。
【００１５】
そこで、本実施形態では評価画像データから顕著性マップを作成し、背景と第２のコンテンツに対し第１のコンテンツをどのくらい強調すればよいか評価する。また、背景と第１のコンテンツに対し第２のコンテンツをどのくらい抑制すればよいか評価する。また、着目しているコンテンツとは別のコンテンツだけでなく、背景に含まれうる先行車両などを背景として扱うか扱わないかも決定できる。このように、選択的に抽出された背景に対し任意のコンテンツの注視性を調整する。
【００１６】
こうすることで、図１（ｂ）に示すように、追従マーク３０１を定量的に強調したり、車速３０９を定量的に抑制したりすることができる。追従マーク３０１の強調と車速３０９の抑制を同時に行うこともできる。また、コンテンツの強調と抑制の対象となる背景を選択的に抽出でき、何に対して一定以上の刺激性もたらすように強調するか、又は、一定未満の刺激性しかないように抑制するかを、定量的に決定することができる。
【００１７】
前方の物体への注意を喚起するコンテンツは車両の乗員の注意を向けさせるために強調することができる。車速表示のように定常的に表示されるが、前方の物体への注意を喚起するコンテンツが表示された場合には重要度が下がるコンテンツは車両の乗員の注意を引かないように、抑制して表示することができる。このように、あるコンテンツを他のコンテンツに対し強調又は抑制したい場合、強調又は抑制されない他方のコンテンツは背景として扱われるが、選択的に抽出した背景に対して任意のコンテンツを強調又は抑制することができる。また、走行中の背景は常に変化し、背景には例えば先行車両が含まれる場合があるが、先行車両を含む背景に対しコンテンツの注視性を強調又は抑制するのか、含まない背景に対しコンテンツの注視性を強調又は抑制するのか調整することができる。
【００１８】
＜用語について＞
顕著性とは人の注視の引きつけやすさ（注視性）を示す指標であり、画像の各画素（ピクセル）に対して注視の度合いを推定したものを顕著性マップ又はSaliency mapという。顕著性マップでは、人の注視を引きつけやすいピクセルほど評価値が大きくなっており、この評価値を濃度に対応付けることで、人の注視の引きつけやすい画素ほど明るい画像として表示できる。なお、色相で評価値を表してもよい。
【００１９】
車両の乗員とは、表示装置の情報を視認する者をいう。例えば、運転者であるが、単なる乗員であってもよい。また、自動運転により移動する移動体では乗員が全く運転しない場合が含まれる。
【００２０】
移動体とは乗員が乗車して陸上、空中、海上、又は、海中を移動するものであればよい。本実施形態では一例として車両を例にして説明する。例えば、航空機、船舶、産業用ロボット等に搭載され得る。
【００２１】
表示情報とは表示装置が表示する情報であり、表示画像は表示情報が画像データとなったものである。表示画像は一つ以上の表示情報に基づいて生成される。表示画像に含まれる各表示情報をコンテンツという。
【００２２】
表示態様とは、表示される画像の外観である。表示態様の変更は外観を変更することに相当し、本実施形態では例えば強調又は抑制を例とする。強調とはコンテンツの刺激性を高めることをいい、抑制とは刺激性を低くすることをいう。強調を見やすくすること、注意を引きやすくすること、視認性を上げること、目立たせること、等と称してもよい。抑制を見えにくくすること、注意を引きにくくすること、視認性を下げること、目立たせないこと、等と称してもよい。
【００２３】
表示装置が表示する表示情報は、車両情報、走行環境情報、乗員状態情報、又は、これらを加工して得られる情報である。定性的には移動体の運転に有用な情報である。その情報が実際に運転に反映されるかどうかは問わない。本実施形態では以下を例とするがこれらに限るものではない。
【００２４】
車両情報…車速、残燃料、シフトレバー位置、総走行距離、区間走行距離、方向指示表示灯状態、及び、水温など、車両から取得できる各種の情報。
【００２５】
走行環境情報…レーダー及びカメラなどの各種センサが検出した情報に基づく各種制御の状態、車両の乗員の好ましい操作、ＶＩＣＳ（登録商標）受信装置が受信した渋滞情報、事故情報、天候情報など走行に関する環境の情報。ナビゲーション装置から提供される進行方向、道路標識などの情報が含まれてよい。
【００２６】
乗員状態情報…車両の乗員の心電情報、心拍数、血圧、体温、脈拍、呼吸数、発汗量、瞬き・瞳孔（覚醒レベル）、脳波、筋電位など、又は、これらから判断された心身の状態に関する情報。
【００２７】
＜構成例＞
図２は、車載システム２の概略を示す図の一例である。車載システム２は、車両９に搭載されており、情報入力部３０、前方カメラ３５、及び、表示システム１を有している。更に、表示システム１は表示制御部２０と表示装置１０を有している。まず、情報入力部３０は上記の入力情報を取得して表示システム１に送出する。詳細は後述される。
【００２８】
表示システム１はダッシュボードの内部に埋め込まれており、表示システム１の上面に設けられ射出窓８からフロントウィンドウシールド９１（透過反射部材）に向けて映像を投影する。投影された映像はフロントウィンドウシールド９１よりも前方に虚像Ｉとして表示される。車両の乗員Ｖは視線を前方の車両や路面に保ったまま（少ない視線移動で）運転に有用な情報を目視できる。なお、表示システム１はフロントウィンドウシールド９１に映像を投影できればよく、ダッシュボードの他、天井やサンバイザなどに設置されていてもよい。
【００２９】
表示システム１は、汎用的な情報処理端末である場合とＨＵＤ専用端末の場合がある。ＨＵＤ専用端末は単にヘッドアップディスプレイ装置と呼ばれる他、ナビゲーション装置と一体である場合にはナビゲーション装置と呼ばれる場合がある。また、ＰＮＤ（Portable Navigation Device）とも呼ばれる。あるいはディスプレイオーディオ（又はコネクティッドオーディオ）と呼ばれてもよい。ディスプレイオーディオとは、ナビゲーションの機能を搭載せずに主にＡＶ機能と通信機能を提供する装置である。
【００３０】
汎用的な情報処理端末は、例えば、スマートフォン、タブレット端末、携帯電話、ＰＤＡ（Personal Digital Assistant）、ノートＰＣ、及び、ウェアラブルＰＣ（例えば、腕時計型、サングラス型など）などである。汎用的な情報処理端末はこれらに限定されるものではなく、一般的な情報処理装置の機能を有していればよい。汎用的な情報処理端末は、普段は各種のアプリケーションを実行する情報処理装置として利用されるが、例えば表示システムのためのアプリケーションソフトウェアを実行する場合に、ＨＵＤ専用端末と同様、運転に有用な情報を表示する。
【００３１】
本実施形態の表示システム１は、汎用的な情報処理端末とＨＵＤ専用端末のどちらの場合でも、車載された状態と携帯可能な状態の切り替えが可能であってよい。
【００３２】
図２に示すように、表示システム１は、主要な構成要素として、表示装置１０と、表示制御部２０とを有している。表示装置１０の投射方式としては、レーザ走査方式及びパネル方式が知られている。レーザ走査方式は、レーザ光源から射出されたレーザビームを２次元走査デバイスで走査し中間像（後述するスクリーンに投影される実像）を形成する方式である。パネル方式は、液晶パネル、ＤＭＤパネル（デジタルミラーデバイスパネル）、蛍光表示管（ＶＦＤ）等のイメージングデバイスで中間像を形成する方式である。
【００３３】
レーザ走査方式は、全画面を発光して部分的に遮光することで画像を形成するパネル方式とは違い、各画素に対して発光／非発光を割り当てることができるため、一般に高コントラストの画像を形成することができる点で好適である。高コントラストであることは注視性に優れるため、パネル方式のＨＵＤよりも少ない注意資源で車両の乗員が情報を視認できることが明らかになっている。
【００３４】
特に、パネル方式では情報がない領域でも遮光しきれない光が投影され、ＨＵＤが画像を表示できる範囲に表示枠が投影されてしまう（この現象をポストカードという）。レーザ操作方式ではこのような現象がなく、コンテンツのみを投影できる。特に、ＡＲ（Augmented Reality）において、実在する風景に生成した映像を重ねて表示する際のリアリティが向上する。なお、ＡＲとは「拡張現実」と訳され、実在する風景に実在しないオブジェクトの映像を重ねて表示することで、目の前にある世界を仮想的に拡張する技術である。ただし、パネル方式のＨＵＤであってもよりコンテンツを強調又は抑制できるＨＵＤであればよい。
【００３５】
前方カメラ３５は、車両の前方を撮像する撮像装置である。図示するように車室内に配置されフロントウィンドウシールド越しに前方を撮像する。前方カメラ３５は、例えば、歩行者や先行車両を検出する物体認識のための画像データ、距離情報を取得するための画像データ、走行時の環境を記録するための画像データ（ドライブレコーダ）を撮像する。本実施形態では前方カメラ３５が撮像する画像データが表示画像と合成されて顕著性マップが作成される。前方カメラ３５は単眼カメラ又はステレオカメラのどちらでもよい。なお、前方カメラ３５に加え車両の周辺を撮像するカメラがあると更によい。
【００３６】
なお、背景の撮像に専用の前方カメラ３５が車載されてもよい。この場合、背景と一緒にフロントウィンドウシールドに投影された表示画像も撮像できるとよい。虚像Ｉはアイボックスと呼ばれる比較的狭い範囲からしか見えないため、例えば、ヘッドレストの近く等に前方カメラ３５を配置することが検討される。あるいは、車両の乗員のメガネに前方カメラ３５を内蔵したり、耳かけ式の前方カメラ３５を使用したりする。
【００３７】
図３は、表示装置１０の構成を示す図の一例である。表示装置１０は、主に、光源部１０１と、光偏向器１０２と、ミラー１０３と、スクリーン１０４と、凹面ミラー１０５とを有している。なお、図３は主要な構成要素を示したに過ぎず、図示する以外の構成要素を有していてもよいし、図示する構成要素の一部を有していなくてもよい。
【００３８】
光源部１０１は、例えば、ＲＧＢに対応した３つのレーザ光源（以下、ＬＤ：レーザダイオードとする）、カップリングレンズ、アパーチャ、合成素子、レンズ等を備えており、３つのＬＤから出射されたレーザビームを合成して光偏向器１０２の反射面に向かって導く。光偏向器１０２の反射面に導かれたレーザビームは、光偏向器１０２により２次元的に偏向される。
【００３９】
光偏向器１０２としては、例えば、直交する２軸に対して揺動する一つの微小なミラーや、１軸に揺動又は回動する二つの微小なミラー等を用いることができる。光偏向器１０２は、例えば、半導体プロセス等で作製されたＭＥＭＳ（Micro Electro Mechanical Systems）ミラーとすることができる。光偏向器１０２は、例えば、圧電素子の変形力を駆動力とするアクチュエータにより駆動することができる。光偏向器１０２として、ガルバノミラーやポリゴンミラー等を用いてもよい。
【００４０】
光偏向器１０２により２次元的に偏向されたレーザビームはミラー１０３に入射し、ミラー１０３により折り返され、スクリーン１０４の表面（被走査面）上に２次元の画像（中間像）を描画する。ミラー１０３としては、例えば凹面鏡を用いることができるが、凸面鏡や平面鏡を用いてもよい。光偏向器１０２とミラー１０３でレーザビームの方向を偏向することで、表示装置１０の小型化又は構成要素の配置を柔軟に変更できる。
【００４１】
スクリーン１０４としては、レーザビームを所望の発散角で発散させる機能を有するマイクロレンズアレイやマイクロミラーアレイを用いると好適であるが、レーザビームを拡散させる拡散板、表面が平滑な透過板や反射板等を用いてもよい。
【００４２】
スクリーン１０４から射出されたレーザビームは、凹面ミラー１０５で反射され、フロントウィンドウシールド９１に投影される。凹面ミラー１０５はレンズと似た働きを有し、所定の焦点距離に像を結像させる機能を有する。このため、凹面ミラー１０５がレンズであるとすると物体に相当するスクリーン１０４上の像は凹面ミラー１０５の焦点距離によって定まる距離Ｌ２の位置に像を結ぶ。したがって、車両の乗員から見た場合、フロントウィンドウシールド９１から距離Ｌ１＋Ｌ２の位置に虚像Ｉが表示される。車両の乗員からフロントウィンドウシールド９１までの距離をＬ３とすると、図３では車両の乗員Ｖの視点Ｅから距離Ｌ（＝Ｌ１＋Ｌ２＋Ｌ３）の位置に虚像Ｉが表示される（結像する）。
【００４３】
フロントウィンドウシールド９１への光束の少なくとも一部は車両の乗員Ｖの視点Ｅに向けて反射される。この結果、車両の乗員Ｖはフロントウィンドウシールド９１を介してスクリーン１０４の中間像が拡大された虚像Ｉを視認可能となる。すなわち、車両の乗員Ｖから見てフロントウィンドウシールド９１越しに中間像が拡大表示された虚像Ｉが表示される。
【００４４】
なお、通常、フロントウィンドウシールド９１は平面ではなく僅かに湾曲している。このため、凹面ミラー１０５の焦点距離だけでなくフロントウィンドウシールド９１の曲面によっても虚像Ｉの結像位置が決定されるが、距離Ｌは上記のようにほぼ距離Ｌ１＋Ｌ２によって定まる。視線移動が少なくて済むように虚像Ｉを遠方に結像させるには、距離Ｌ１又はＬ２を長くする。距離Ｌ１を長くする方法としてはミラーで光路を折り返す方法があり、距離Ｌ２を長くする方法としては凹面ミラー１０５の焦点距離を調整する方法がある。
【００４５】
なお、フロントウィンドウシールド９１の影響で中間像の水平線が上又は下に凸形状となる光学歪みが生じるため、ミラー１０３及び凹面ミラー１０５の少なくとも一方は、歪みを補正するように設計、配置されることが好ましい。あるいは、投影される映像が歪みを考慮して補正されることが好ましい。
【００４６】
また、フロントウィンドウシールド９１よりも視点Ｅ側に透過反射部材としてコンバイナを配置してもよい。コンバイナに凹面ミラー１０５からの光を照射するようにしても、フロントウィンドウシールド９１に凹面ミラー１０５からの光を照射した場合と同様に、虚像Ｉを表示することができる。
【００４７】
＜表示システムが搭載される車載システムの構成例＞
続いて、図４を用いて、表示システム１が移動体に搭載された場合の構成例を説明する。図４は表示システム１が移動体に搭載された車載システム２の構成図の一例である。車載システム２はＣＡＮ（Controller Area Network）バスなどの車載ネットワークＮＷを介して通信するカーナビゲーションシステム１１、エンジンＥＣＵ（Electronic Control Unit）１２、表示システム１、ブレーキＥＣＵ１３、ステアリングＥＣＵ１４、及び、情報入力部３０を有している。
【００４８】
カーナビゲーションシステム１１は、ＧＰＳに代表されるＧＮＳＳ（Global Navigation Satellite System）を有し、車両の現在地を検出して電子地図上に車両の位置を表示する。また、出発地と目的地の入力を受け付け、出発地から目的地までの経路を検索して電子地図上に経路を表示したり、進路変更の手前で車両の乗員に進行方向を音声、文字（ディスプレイに表示される）、又はアニメーション等で案内したりする。なお、カーナビゲーションシステム１１は携帯電話網などを介してサーバと通信してもよい。この場合、サーバが電子地図を車両９に送信したり経路検索を行ったりすることができる。
【００４９】
エンジンＥＣＵ１２は、各センサからの情報と車両の状況に合わせ、理想となる燃料噴射量の決定、点火時期の進角・遅角、動弁機構などの制御を行う。また、現在車速とアクセル開度の関係に対し変速段の切り替え線が定められたマップを参照するなどして変速の必要性を判断する。エンジンＥＣＵ１２はこれらを組み合わせ先行車への追従走行時の加速や減速制御を行う。
【００５０】
ブレーキＥＣＵ１３は、ＡＢＳ（Antilock Braking System）制御、先行車への追従走行時の制動制御、障害物とのＴＴＣ（Time To Collision）に基づく自動制動、坂道発進時の停止状態維持制御など、車両の乗員によるブレーキペダルの操作がなくても車両の各車輪ごとに制動力を制御する。
【００５１】
ステアリングＥＣＵ１４は、車両の乗員によるハンドルの操舵の方向と操舵量を検出し、操舵方向に操舵トルクを付加するパワーステアリング制御を行う。また、走行レーンからの逸脱を回避する方向、走行レーンの中央の走行を維持する方向、又は、障害物との接近を回避する方向に、車両の乗員によるハンドル操作がなくても操舵する。
【００５２】
情報入力部３０については図５にて説明する。表示システム１は情報入力部３０からの入力情報を取得できる。また、表示システム１は車載ネットワークＮＷからではなく外部のネットワークからの情報を取得してもよい。
【００５３】
＜情報入力部の構成例＞
続いて、図５を用いて、情報入力部３０の構成と情報入力部３０が入力する入力情報について説明する。図５は、車載システム２のうち情報入力部３０の構成例を示す図である。入力情報（走行時間、走行環境情報、及び、乗員状態情報）は表示装置１０の一部又は全部は表示装置１０が表示する表示情報となる。
【００５４】
情報入力部３０は、上記の入力情報を取得して表示装置１０に入力する。情報入力部３０は、走行時間を取得するための車速センサ３１と顔カメラ３２、表示装置１０が表示する車両情報を取得する車両情報センサ３３、走行環境情報に関して物体を検出するレーダセンサ３４と前方カメラ３５、物体に関して運転を支援する制御を行う運転支援ＥＣＵ３６、外部から走行環境情報を受信するＶＩＣＳ受信装置３７と外部通信装置３８、及び、乗員状態情報を取得する乗員状態情報センサ３９、乗員状態情報に基づいて乗員を監視する乗員監視ＥＣＵ４０を有している。
【００５５】
車速センサ３１は、ドライブトレイン系のシャフトの回転と共に回転する磁石を、車体に固定されたセンサ部が検出し、回転速度に比例したパルス波を発生させる。単位時間のパルス数により車速を検出できる。顔カメラ３２は車両の乗員の顔を撮像して顔認証を行い、車両の乗員を特定又は識別する。これにより、表示システム１は車両の乗員ごとに走行時間を測定できる。なお、車速センサ３１は車両情報センサ３３の一つでもある。
【００５６】
車両情報センサ３３は、車速センサ３１以外の車両情報を検出する一つ以上のセンサを有している。例えば、燃料計センサ、シフトレバー位置センサ、オドメータ、トリップメータ、ウィンカセンサ、及び、水温センサなどである。これらは一般的な構成で各車両情報を取得できればよい。燃料計センサは現在の残燃料を検出する。シフトレバー位置センサは車両の乗員が操作したシフトレバー位置を検出する。オドメータは車両の走行距離を累積して総走行距離を提供する。トリップメータは車両の乗員が初期化してから現在までの区間走行距離を提供する。ウィンカセンサは車両の乗員が操作したウィンカの方向を検出する。水温センサはエンジン冷却水の温度を検出する。これらは車両から取得できる情報の一例に過ぎず、この他、車両から取得できる情報は車両情報となりうる。例えば、電気自動車やハイブリッド車ではバッテリ残量、回生電力量、又は、消費電力量なども取得できる。
【００５７】
レーダセンサ３４は車両の前方など車両の周囲にレーダーを送信し、物体で反射して戻ってくるレーダーを受信する。送信から受信までの時間により物体までの距離を検出すると共に、レーダーの照射方向により物体の方向を検出するＴＯＦ方式（Time Of Fright）がある。また、連続的に送信波の周波数を大きくしながら受信波と送信波の混合波を生成し、周波数がわずかに異なることで生じる混合波のうなり周波数を距離に換算するＦＣＭ（Fast Chirp Modulation）方式やＦＭＣＷ方式（Frequency Modulation Continuous Wave）がある。ＦＣＭ方式やＦＭＣＷ方式では複数の受信アンテナで受信波の位相ずれを検出することで物体の方向を推定する。
【００５８】
前方カメラ３５は車両の前方を撮像する撮像装置である。取り付け場所は前方を撮像できる場所であればよいが、例えばルームミラーの裏側やその近くに取り付けられてよい。前方カメラ３５が撮像した画像データから、運転支援ＥＣＵ３６は、歩行者、先行車両、道路標識、及び、白線などの道路ペイントなどを認識する。前方カメラ３５は単眼カメラの場合とステレオカメラの場合がある。距離情報を取得できる単眼カメラ又はステレオカメラの場合、レーダセンサ３４がなくてもよい。しかし、距離情報を取得できる前方カメラ３５に加え、レーダセンサ３４があることで、前方カメラ３５の距離情報とレーダセンサ３４の距離情報をフュージョンし、互いのデメリットを補完しあって高精度な距離情報を取得できる。なお、レーダセンサ３４と前方カメラ３５の他にソニックセンサ（超音波センサ）などを有していてもよい。また、前方カメラ３５の他に、後方カメラ又は側方カメラを有していてもよい。
【００５９】
運転支援ＥＣＵ３６はレーダセンサ３４又は前方カメラ３５の少なくとも一方が検出する物体の距離情報に基づいてエンジンＥＣＵ１２、ブレーキＥＣＵ１３及びステアリングＥＣＵ１４と連携して各種の運転支援を行う。例えば、上記した、先行車への追従走行時の加減速制御、自動制動、走行レーンからの逸脱回避、レーンキープ走行、及び、障害物の回避操舵等を行う。追従走行時の加減速制御では、運転支援ＥＣＵ３６は車速に応じた目標の距離を維持するように動力と制動力を制御する。自動制動では、ＴＴＣに応じて、注意喚起のための警告、ブレーキペダルの押下を促す表示、衝突の可能性が高い場合におけるシートベルトの巻き上げと衝突回避制動等を行う。走行レーンからの逸脱回避では、運転支援ＥＣＵ３６は撮像された画像データから白線（走行区分線）を認識し、走行レーンを逸脱する方向と反対方向に操舵トルクを付加する。また、レーンキープ走行では走行レーンの中央を目標走行ラインに設定し、目標走行ラインからの乖離に比例した操舵トルクを乖離とは反対方向に付加する。障害物の回避操舵では、制動では衝突を回避できないと判断した場合に、障害物を回避するための走行ラインを決定し、この走行ラインを走行する操舵トルクを付加する。
【００６０】
この他、運転支援ＥＣＵ３６は、先行車両が発進したことを検出して、発進を促す警告音や画像を表示したり、ハンドルを長時間操作していないことを検出してハンドルを把持する旨の警告音や画像を表示したりする。
【００６１】
運転支援ＥＣＵ３６はこれらの制御に伴って例えば、各種の画像（アイコン）及び文字の少なくとも一方の出力を表示システム１に指示する。表示例については図８にて説明する。なお、警告音を指示する場合もある。
【００６２】
ＶＩＣＳ受信装置３７はＶＩＣＳが配信する電波を受信する。なお、ＶＩＣＳは渋滞や交通規制などの道路交通情報を、ＦＭ多重放送やビーコンを使ってリアルタイムに車載装置に送信するシステムである。外部通信装置３８は３Ｇ、４Ｇ、５Ｇ、ＬＴＥ、及び、無線ＬＡＮなどのネットワークを介してインターネットなどに接続し各種の情報を受信する。例えば、雨、雪、霧などの天候情報を受信できる。また、ニュース、音楽、動画などを受信してもよい。また、外部通信装置３８は、例えば信号機の状態情報と信号が変わるまでの時間などを取得できる。このように、ＶＩＣＳ受信装置３７と外部通信装置３８は路車間通信を行う場合がある。この他、外部通信装置３８は車車間通信で他車両が検出した情報を取得してもよい。
【００６３】
乗員状態情報センサ３９は車両の乗員から直接又は間接的に検出される乗員状態情報を検出するセンサである。乗員状態情報センサ３９は、例えば、心電センサ、心拍数センサ、血圧センサ、体温センサ、脈拍センサ、呼吸センサ、発汗センサ、瞬きセンサ、瞳孔センサ、脳波センサ、又は、筋電位センサなどである。乗員状態情報センサ３９としては例えば、腕時計型のウェアラブル端末（スマートウォッチ）を車両の乗員が装着する形態がある。ウェアラブル端末の背面と背面以外にそれぞれ電極が配置されており、ユーザが背面以外の電極に一定時間触れた場合の電流を検出する。電流には心筋の活動が反映されているので、これを解析して心電情報が得られる。また、心電情報からは心拍数が分かり、電極間のインピーダンス (電気の流れ難さ)が呼吸で変化することを利用して呼吸数を求める。また、ウェアラブル端末にＬＥＤ光源とフォトダイオードが配置されており、ＬＥＤで照射された血管からの反射光をフォトダイオードが受信する。心拍の脈動により赤血球の密度が変化するのでこの変化を解析して心拍数情報及び脈拍情報が得られる。血圧情報は、心拍数と血液の流れを元に割り出すことができる。体温情報は温度センサにより検出でき、発汗情報は水分又は湿度などとして検出される。筋電位は筋肉の動きに係る皮膚表面の電位の変化であり、所定の筋肉に貼付された電極の信号を解析して得られる。瞬き情報と瞳孔情報は顔カメラ３２が撮像する顔画像を解析することで検出される。顔のうち目の部分を監視して目の開度を監視することで眠気を推定できる。また、目の中心の黒い部分を瞳孔として検出し、眠気（覚醒レベル）を推定できる。脳波については、内側に複数の電極が配置されたヘッドバンドタイプ又はヘルメットタイプのセンサにより非侵襲に脳波を検出できる。
【００６４】
乗員状態情報センサ３９はBluetooth（登録商標）のような無線で表示システム１と通信してもよいし、ＵＳＢケーブルなどの有線で通信してもよい。なお、乗員状態情報及び乗員状態情報センサ３９はこれらに限定されない。また、乗員状態情報の解析方法は一例に過ぎず、解析方法はどのようなものでもよい。
【００６５】
乗員監視ＥＣＵ４０は乗員状態情報に基づいて車両の乗員の監視結果を表示システム１に出力する。例えば、心電情報から心室細動の徴候が見られる場合、心拍数、脈拍、呼吸数が閾値以上に高い場合、血圧が閾値以上に高い又は低い場合、体温が閾値以上に高い場合、発汗量が閾値以上に多い場合、覚醒レベルが低いと判断した場合、脳波に異常が見られる場合、筋肉が疲れていると判断される場合、例えば、「すぐに運転を中止しましょう」「休憩を取りましょう」などのメッセージ又は画像の少なくとも一方の出力を表示システム１に指示する。乗員状態情報そのものを表示することもできる。なお、警告音を指示する場合もある。
【００６６】
＜表示制御部のハードウェア構成例＞
続いて、図６を用いて、表示制御部２０のハード的な構成例について説明する。図６は、表示制御部２０のハードウェア構成図の一例である。表示制御部２０は、ＦＰＧＡ２０１と、ＣＰＵ２０２と、ＲＯＭ２０３と、ＲＡＭ２０４と、Ｉ／Ｆ２０５と、バスライン２０６と、ＬＤドライバ２０７と、ＭＥＭＳコントローラ２０８とを有している。ＦＰＧＡ２０１、ＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４、及びＩ／Ｆ２０５は、バスライン２０６を介して相互に接続されている。
【００６７】
ＣＰＵ２０２は、表示制御部２０の各機能を制御する。ＲＯＭ２０３は、ＣＰＵ２０２が、表示制御部２０の各機能を制御するために実行するプログラム２０３ｐを記憶している。ＲＡＭ２０４にはプログラム２０３ｐが展開され、ＣＰＵ２０２がプログラム２０３ｐを実行するためのワークエリアとして使用される。また、ＲＡＭ２０４は画像メモリ２０９を有している。画像メモリ２０９は虚像Ｉとして投影される画像の生成に使用される。Ｉ／Ｆ２０５は、情報入力部３０と通信するためのインターフェイスであり、例えば車両９のＣＡＮ（Controller Area Network）バス又はイーサネット（登録商標）等に接続される。
【００６８】
ＦＰＧＡ２０１は、ＣＰＵ２０２が作成した画像に基づいてＬＤドライバ２０７を制御する。ＬＤドライバ２０７は表示装置１０の光源部１０１のＬＤを駆動することで、画像に応じたＬＤの発光を制御する。ＦＰＧＡ２０１は、画像の画素位置に応じた方向にレーザビームが偏向されるようにＭＥＭＳコントローラ２０８を介して表示装置１０の光偏向器１０２を動作させる。
【００６９】
＜表示制御部の機能について＞
続いて、図７を用いて、表示制御部２０が有する機能について説明する。図７は、表示制御部２０の機能をブロック状に示す機能ブロック図の一例である。表示制御部２０は表示情報取得部２１、画像データ取得部２２、評価画像生成部２３、表示画像生成部２４、評価部２５、及び、画像表示部２６を有している。表示制御部２０が有するこれらの機能は、表示制御部２０のＲＯＭ２０３からＲＡＭ２０４に展開されたプログラム２０３ｐをＣＰＵ２０２が実行することにより実現される機能又は手段である。
【００７０】
表示情報取得部２１は情報入力部３０が入力する入力情報のうち、表示装置１０が表示する表示情報を取得する。したがって、表示情報は入力情報と同じかその一部である。例えば、車速、車両情報の一つ以上、走行環境情報、又は、乗員状態情報そのもの若しくは乗員状態情報から判断されたメッセージなどである。ただし、全てを表示する必要はない。
【００７１】
画像データ取得部２２は、前方カメラ３５が撮像した画像データを取得する。画像データは静止画又は動画のいずれでもよいが、前方カメラ３５は繰り返し画像データを画像データ取得部２２に送出する。あるいは画像データ取得部２２が要求した場合に、前方カメラ３５が画像データを送出してもよい。
【００７２】
表示画像生成部２４は、表示情報取得部２１が取得した表示情報に基づいてコンテンツを生成すると共に、コンテンツを配置して表示装置１０が表示するための表示画像を生成する。例えば、車速又は車両情報であれば、数値、文字の他、予め決まったアイコン（図や絵柄で内容を表したもの）などをコンテンツとして生成する。走行環境情報の場合は、レーダー及びカメラなどの各種センサが検出した距離情報に基づいて先行車に追従している追従マーク、走行レーンのアイコン、走行レーンを逸脱するおそれがある旨の文字・アイコン、注意喚起の警告のための文字・アイコン、車両の乗員の好ましい操作としてブレーキペダルの押下を促す文字・アイコン、衝突回避制動が作動した旨の文字・アイコン、ハンドルを把持することを促す文字・アイコン、先行車両の発進を知らせる文字・アイコンなどをコンテンツとして生成する。乗員状態情報の場合、「すぐに運転を中止しましょう」「休憩を取りましょう」などのメッセージをコンテンツとして生成する。
【００７３】
評価画像生成部２３は表示画像生成部２４が生成した表示画像を取得して、画像データと合成し、評価画像データを生成する。
【００７４】
評価部２５は評価画像データの顕著性マップを生成する。強調すべきコンテンツと抑制すべきコンテンツは車両の状況に基づいて明らかになっている。強調すべきコンテンツがある場合、評価部２５は強調すべきコンテンツの評価値（代表値）と背景の評価値（代表値）との差に応じて、強調の程度を表示画像生成部２４に送出する。抑制すべきコンテンツがある場合、評価部２５は抑制すべきコンテンツの評価値（代表値）と背景の評価値（代表値）との差に応じて、抑制の程度を表示画像生成部２４に送出する。なお、代表値はコンテンツ又は背景の最高値、平均値、中央値などである。また、何を背景とするかは選択的に決定できる。例えば、天候が悪い場合は先行車両を含めたり、夜間の場合は先行車両を含めたりする。車両の乗員が設定してもよい。
【００７５】
表示画像生成部２４は、強調又は抑制の程度に基づいてコンテンツの表示態様を決定し、表示画像を生成する。評価と表示画像の生成は繰り返し行われるので、表示画像生成部２４は強調すべきコンテンツ又は抑制すべきコンテンツの評価値（代表値）と背景の評価値（代表値）との差が注視性の基準を満たす表示画像を生成できる。
【００７６】
コンテンツを強調する方法としては、文字のサイズや太さを大きくする、輝度を上げる、補色の関係がある背景色を表示する、彩度を上げる、虚像までの距離を長くする、点滅させる、表示位置を変更する、表示タイミングを調整する等の方法がある。コンテンツを抑制する方法はこの逆である。
【００７７】
画像表示部２６はＬＤドライバ２０７及びＭＥＭＳコントローラ２０８を制御して、表示画像を表示装置１０に表示させる。
【００７８】
なお、図７の構成では、表示画像生成部２４が生成した表示画像を画像表示部２６が表示装置１０に表示しているが、表示画像生成部２４が生成した表示画像を評価画像生成部２３のみに送出し、評価部２５から画像表示部２６に表示画像を送出してもよい。評価部２５は強調又は抑制の基準を満たす表示画像を画像表示部２６に送出する。こうすることで、コンテンツが適切に強調又は抑制された表示画像のみを表示できる。
【００７９】
＜表示画像の例＞
図８を用いていくつかの表示画像の例を説明する。図８は、表示装置１０が表示する表示画像の一例である。
【００８０】
まず、図８（ａ）はレーダー及びカメラなどの各種センサが検出した情報に基づく各種制御の状態を示す表示画像の一例として先行車に追従している追従マーク３０１を示す。先行車両を指し示す追従マーク３０１により先行車両に追従する制御中であることが示されている。
【００８１】
図８（ｂ）は走行レーンのアイコン３０２と走行レーンを逸脱するおそれがある旨の文字・アイコンの一例を示す。走行レーンのアイコン３０２に対し、車両のアイコン３０３ａが傾き、「はみ出し注意」というメッセージ３０３ｂが表示されていることから走行レーンを逸脱するおそれがあることが示されている。
【００８２】
図８（ｃ）は物体とのＴＴＣにおいて表示された注意喚起の警告のための文字・アイコンの一例を示す。先行車両のアイコン３０４と「前方注意」というメッセージ３０５により、物体との距離に注意すべきことが示されている。
【００８３】
図８（ｄ）は車両の乗員の好ましい操作の一例であるブレーキペダルの押下を促す文字・アイコンの一例を示す。「ＢＲＥＡＫ」というメッセージ３０６によりブレーキペダルを押下すべきことが示されている。
【００８４】
図８（ｅ）はハンドルを把持することを促す文字・アイコンの一例である。「ハンドルを操作してください」というメッセージ３０７によりハンドルを把持することが示されている。
【００８５】
図８（ｆ）は先行車両の発進を知らせる文字・アイコンの一例である。「先行車の発進を検知しました」というメッセージ３０８により先行者が発進したことが示されている。
【００８６】
表示画像生成部２４はこれらの表示画像の表示態様を評価部２５からの強調又は抑制の程度に応じて変更する。なお、いずれの表示画像においても、アニメーションのように動きがあったり、点滅したりしてもよい。例えば、アニメーションで動く歩行者や他車両で接近方向を知らせたり、白線を点滅して表示したりする。また、適宜、警告音が出力される場合がある。なお、いずれの表示画像は静止画でも動画でもよい。
【００８７】
＜画像データと表示画像の合成＞
続いて、図９、図１０を用いて前方カメラ３５が撮像した背景の画像データと表示画像生成部２４が生成した表示画像の合成（評価画像データの生成）について説明する。
【００８８】
図９は、運転席から見た表示画像の投影エリア３５０を示す図の一例である。投影エリア３５０で表示画像が車両の乗員の方向に反射するため、運転席からは背景に表示画像の虚像が重なって見える。
【００８９】
図１０は、背景の画像データと表示画像の合成を説明する図の一例である。図１０（ａ）は前方カメラ３５が撮像した背景の画像データの一例を示し、図１０（ｂ）は表示画像生成部２４が生成した表示画像の一例を示す。
【００９０】
評価画像生成部２３は、車両の乗員の視点から見える虚像と同じ位置に表示画像を合成する。車両の乗員の体格によって虚像が見える位置は若干異なるが、大きくは変動しない。また、前方カメラ３５が車内に固定されている場合、画像データにおいて虚像が見える位置に相当する領域３５１も大きくは変動しない。このため、評価画像生成部２３は背景の画像データの決まった領域３５１に表示画像を合成できる。
【００９１】
図１０（ｃ）は評価画像データの一例を示す。領域３５１に二つのコンテンツ（追従マーク３０１と車速３０９）が合成されている。この領域３５１と表示画像のサイズが異なる場合は、領域３５１のサイズに合わせて表示画像を拡大又は縮小するとよい。一般に、表示画像生成部２４が生成する表示画像は、虚像Ｉの大きさに拡大されるため、表示画像生成部２４は領域３５１よりも小さい表示画像を生成する。このため拡大される場合が多い。
【００９２】
＜顕著性マップの生成＞
本実施形態では、顕著性マップについては公知の方法で生成されるものとする。評価部２５は評価画像データを顕著性マップに変換する、又は、評価画像データから顕著性マップを生成する。なお、顕著性マップは背景の画像データだけで生成した場合と、表示画像が合成された評価画像データから生成した場合とで、背景が全く同じでも異なったものとなる。
【００９３】
顕著性マップを生成方法は、非特許文献１、非特許文献２、又は、各種公知の方法が使用されるものとする。例えば、輝度、補色、彩度、及び、画像データが有する距離情報（画像データの奥行き情報）の少なくとも一つに基づいて顕著性マップを生成する。顕著性マップは画素ごとに注視性に関する評価値を有する。画像データが有する距離情報はステレオカメラで撮像された距離でもよいし、レーザで測定した距離でもよい。
【００９４】
なお、顕著性マップの生成には乗員情報を使用してもよい。乗員情報は例えば性別、年齢、視力、疲労度、人種などの情報である。疲労度は乗員状態情報から推定される。性別、年齢、視力、及び人種は乗員が入力してもよいし、車載装置が外見から判断してもよい。
【００９５】
図１１は図１０（ｃ）の評価画像データから生成された顕著性マップの一例である。画像中の注視性（目立ち易さ）が濃淡（輝度）で表現されている。より明るい画素ほど評価値が高く（エネルギーが高く）、注視性が高いことを示し、より暗い画素ほど評価値が低く（エネルギーが低く）、注視性が低いことを示す。図１１の顕著性マップでは、図１０（ｃ）の二つのコンテンツのうち追従マーク３０１の評価値が高いことが分かる。
【００９６】
＜コンテンツの強調又は抑制＞
続いて、図１２を用いて、コンテンツの強調と抑制について説明する。図１２は図１０（ｃ）と同じ評価画像データであるが、次述する図１３の顕著性マップと比較できるようにａ〜ｄのラベルが示されている。それぞれのラベルは以下を表す。
【００９７】
ラベルａ：先行車両
ラベルｂ：追従マークのコンテンツ
ラベルｃ：車速のコンテンツ
ラベルｄ：その他の背景
ラベルａは先行車両を表すため一般に車両の乗員が注目する対象である。このため、ある程度の評価値を有することが好ましい。表示画像の投影エリア３５０が大きければ先行車両の色などを画像処理で変更することも可能である（先行車両をＡＲ加工する）。ラベルｂは追従マークを表すため通常の重要度はそれほど高くないが、これが車間距離に応じて警告などに変わった場合は、高い評価値を有することが好ましい。本実施形態の表示システム１は追従マーク３０１のコンテンツを強調することができる。
【００９８】
ラベルｃは自車両の速度を表すので、追従マークの表示中など車両の制御状態によっては、車両の乗員が常に見る必要がないコンテンツである。本実施形態では、追従マーク３０１のコンテンツを目立たせ、車速３０９のコンテンツが車両の乗員の注意を引かないように車速３０９のコンテンツを抑制することができる。
【００９９】
ラベルｂが表す追従マーク３０１を強調する場合について説明する。ラベルｄが表す背景の代表値を基準として、これよりラベルｂが表す追従マーク３０１の代表値が大きければ車両の乗員は刺激性が高い追従マーク３０１に視線を移し、注意を払うと考えられる。したがって、表示画像生成部２４は追従マーク３０１のコンテンツを強調する。
【０１００】
なお、背景は選択的に抽出することができる。ラベルａが表す先行車両をラベルｄが表す背景の一部と見なしてもよいし、背景に含めなくてもよい。また、ラベルｃが表す車速３０９をラベルｄが表す背景の一部とみなしてもよいし、背景に含めなくてもよい。したがって、比較の組み合わせは以下のようになる。
(i) ラベルａとラベルｃとラベルｄの全ての代表値と、ラベルｂ（追従マーク３０１）の代表値の比較
(ii) ラベルａとラベルｄの代表値と、ラベルｂ（追従マーク３０１）の代表値の比較
(iii) ラベルｃとラベルｄの代表値と、ラベルｂ（追従マーク３０１）の代表値の比較
(iv) ラベルｄの代表値と、ラベルｂ（追従マーク３０１）の代表値の比較
(i)ではラベルｂを車両の乗員の視界の全てに対し強調することができる。(ii)ではラベルｃが除外されているのでラベルｃとは関係なくラベルｂ（追従マーク３０１）を強調することができる。(iii)ではラベルａが除かれているので先行車両を対象外にしてラベルｂ（追従マーク３０１）を強調することができる。つまり先行車両は注視の対象としたままラベルｂ（追従マーク３０１）を強調することができる。(iv)ではラベルａとｃが除外されているため、ラベルｂ（追従マーク３０１）を背景に対してのみ強調することができる。
【０１０１】
ラベルｃが表す車速３０９を抑制する場合について説明する。ラベルｄが表す背景の代表値を基準として、これよりもラベルｃ（車速３０９）の代表値が小さければ車両の乗員は背景を見て運転している際にラベルｃ（車速３０９）に注意を向けることを抑制できると考えられる。したがって、表示画像生成部２４は車速のコンテンツを抑制する。
【０１０２】
なお、背景は選択的に抽出することができる。ラベルａが表す先行車両はラベルｄが表す背景の一部と見なしてもよいし、背景に含めなくてもよい。また、ラベルｂが表す追従マーク３０１はラベルｄが表す背景に含めてもよいし、背景に含めなくてもよい。したがって、比較の組み合わせは以下のようになる。
(i) ラベルａとラベルｂとラベルｄ全ての代表値と、ラベルｃ（車速３０９）の代表値の比較
(ii) ラベルａとラベルｄの代表値と、ラベルｃ（車速３０９）の代表値の比較
(iii) ラベルｂとラベルｄの代表値と、ラベルｃ（車速３０９）の代表値の比較
(iv) ラベルｄの代表値と、ラベルｃ（車速３０９）の代表値の比較
(i)〜(iv)の作用は強調する場合と同じである。このように、本実施形態では、表示装置１０が表示する任意のコンテンツを、「背景」、「背景と先行車両」、「背景と他のコンテンツ」、又は、「背景と先行車両と他のコンテンツ」に対し強調又は抑制することができる。換言すると、画像データ取得部２２が取得した画像データと表示画像とのうち、少なくとも任意のコンテンツを含まない部分の注視性よりも、表示画像に含まれる任意のコンテンツの注視性が高くなるように、少なくとも一つのコンテンツの表示態様を変更することができる。
【０１０３】
任意のコンテンツ（例えば、車速）を含まない部分は、画像データ及び表示画像の少なくとも一部を含み、任意のコンテンツを含まない部分は、画像データ及び表示画像に含まれる他のコンテンツ（例えばマーク）を含む。
【０１０４】
以下では単に、「背景、背景と先行車両、背景と他のコンテンツ、及び、背景と先行車両と他のコンテンツ」を「背景等」という。本実施形態では、このように背景を選択的に抽出することができる。
【０１０５】
図１３は、図１２の評価画像データの顕著性マップの一例である。図１３のラベルａ〜ｄは図１２のラベルａ〜ｄと同じものである。ラベルａの右側の濃淡は先行車両の注視性を示し、ラベルｂの右側の濃淡は追従マーク３０１の注視性を示し、ラベルｃの右側の濃淡は車速３０９の注視性を示す。ラベルｄは、ラベルａ〜ｃ以外の背景であり全体的な濃淡が背景の注視性を示す。
【０１０６】
まず、(iv)に基づいて、ラベルｂが表す追従マーク３０１はラベルｄが表す背景よりも目立つことが好ましい場合を考える。最終的に追従マーク３０１の評価値（明るさ）はラベルｄが表す背景の評価値よりも高い（明るい）ため、追従マーク３０１は背景に対し基準を満たして強調されていると評価部２５が判断する。具体的な評価方法としては、強調表示したいコンテンツ（追従マーク３０１）と、背景の代表値を比較して両者の差を算出する。この差が予め決められた閾値（強調の程度）以上となるように、表示画像生成部２４がコンテンツ（追従マーク３０１）の表示態様を変更する。
【０１０７】
次に、同様に(iv)に基づいて、ラベルｃが表す車速３０９はラベルｄが表す背景よりも目立ちにくいことが好ましい場合を考える。最終的に車速３０９の評価値（明るさ）は背景の評価値よりも低い（暗い）ため、車速３０９は背景に対し基準を満たして抑制されていると評価部２５が判断する。具体的な評価方法としては、抑制表示したいコンテンツ（車速３０９）と、背景の代表値を比較して、両者の差を算出する。この差が予め決められた閾値（抑制の程度）以上となるように、表示画像生成部２４がコンテンツ（車速３０９）の表示態様を変更する。
【０１０８】
なお、上記(i)のように、ラベルａ、ｃ、ｄを背景と見なして、ラベルｂ（追従マーク３０１）を強調する場合は背景にこれらを含めて代表値に着目すればよい。ラベルａ、ｂ、ｄを背景と見なして、ラベルｃ（車速３０９）を抑制する場合も背景にこれらを含めて代表値に着目すればよい。上記(ii)(iii)の場合も同様である。
【０１０９】
＜コンテンツの強調、抑制の程度＞
図１４、図１５を用いてコンテンツの強調、抑制の定量的な調整について説明する。本実施形態では、表示画像に含まれる任意のコンテンツの注視性を示す第１の評価値と、画像データと表示画像の少なくとも一部の注視性を示す第２の評価値と、の差が予め定められた閾値以上になるように変更程度（強調又は抑制）を決定する。
【０１１０】
図１４はコンテンツを強調する際の強調の程度の決定方法を示す。図１４（ａ）は強調前の背景等の代表値とコンテンツの代表値の大小関係を示している。まず、背景等の代表値（第２の評価値の一例）に対しコンテンツの代表値（第１の評価値の一例）は閾値Ｔｈ高いことが求められている。つまり、コンテンツの代表値が背景等の代表値よりも閾値Ｔｈ高いと注視性の基準を満たす。
【０１１１】
背景等の代表値とコンテンツの代表値の差をΔ１とすると、基準を満たす代表値を得るための強調の程度Ｄ１はＤ１＝閾値Ｔｈ＋差Δ１により求められる。
【０１１２】
図１４（ｂ）は強調の程度Ｄ１だけコンテンツが強調された場合の背景等の代表値とコンテンツの代表値の大小関係を示す。背景等の代表値よりも閾値Ｔｈ大きいコンテンツの代表値が得られている。
【０１１３】
図１４（ｃ）のように、コンテンツの代表値の方が背景等の代表値よりも大きいが基準を満たしていない場合は以下のようになる。この場合、基準を満たす代表値を得るための強調の程度Ｄ２はＤ２＝閾値Ｔｈ−差Δ２により求められる。このように、コンテンツの代表値の方が背景等の代表値よりも大きいか小さいかによって、適切に強調の程度Ｄ１，Ｄ２を決定できる。
【０１１４】
図１４（ｄ）は強調の程度Ｄ２だけコンテンツが強調された場合の背景等の代表値とコンテンツの代表値の大小関係を示す。背景等の代表値よりも閾値Ｔｈ大きいコンテンツの代表値が得られている。
【０１１５】
図１５はコンテンツを抑制する際の抑制の程度の決定方法を示す。図１５（ａ）は抑制前の背景等の代表値とコンテンツの代表値の大小関係を示している。まず、背景等の代表値に対しコンテンツの代表値は閾値Ｔｈ小さいことが求められている。つまり、コンテンツの代表値が背景等の代表値よりも閾値Ｔｈ小さいと注意の引きにくさの基準を満たす。
【０１１６】
背景等の代表値とコンテンツの代表値の差をΔ３とすると、基準を満たす代表値を得るための抑制の程度Ｄ３はＤ３＝閾値Ｔｈ＋差Δ３により求められる。
【０１１７】
図１５（ｂ）は抑制の程度Ｄだけコンテンツが抑制された場合の背景等の代表値とコンテンツの代表値の大小関係を示す。背景等の代表値よりも閾値Ｔｈ小さいコンテンツの代表値が得られている。
【０１１８】
図１５（ｃ）のように、コンテンツの代表値の方が背景等の代表値よりも小さいが基準を満たしていない場合は以下のようになる。この場合、基準を満たす代表値を得るための抑制の程度Ｄ４はＤ４＝閾値Ｔｈ−差Δ４により求められる。このように、コンテンツの代表値の方が背景等の代表値よりも大きいか小さいかによって、適切に抑制の程度Ｄ３，Ｄ４を決定できる。
【０１１９】
図１５（ｄ）は抑制の程度Ｄ４だけコンテンツが抑制された場合の背景等の代表値とコンテンツの代表値の大小関係を示す。背景等の代表値よりも閾値Ｔｈ小さいコンテンツの代表値が得られている。
【０１２０】
このように、本実施形態の表示システム１は強調と抑制を定量的に調整できる。なお、強調と抑制で閾値Ｔｈは異なってよい。また、コンテンツごとに閾値Ｔｈが異なっていてもよい。
【０１２１】
＜表示画像（コンテンツ）の表示態様＞
続いて、図１６，図１７を表示態様の変更の一例を説明する。図１６は文字のサイズや太さ、輝度、又は、補色の関係を利用した表示態様の一例を示す。図１６（ａ−１）はサイズと太さに関して変更前の表示画像の表示態様を示し、図１６（ａ−２）は変更後の表示画像の表示態様を示す。図１６（ａ−１）に対し、図１６（ａ−２）ではコンテンツ（車速）のサイズが大きくなり、太さが太くなることでコンテンツが強調されている。図１６（ａ−２）に対し図１６（ａ−１）ではコンテンツが抑制されている。
【０１２２】
図１６（ｂ−１）は輝度に関して変更前の表示画像の表示態様を示し、図１６（ｂ−２）は変更後の表示画像の表示態様を示す。図１６（ｂ−２）ではコンテンツ（車速）の輝度が高くなることでコンテンツが強調されている。図１６（ｂ−２）に対し図１６（ｂ−１）ではコンテンツが抑制されている。
【０１２３】
図１６（ｃ−１）は補色に関して変更前の表示画像の表示態様を示し、図１６（ｃ−２）は変更後の表示画像の表示態様を示す。図１６（ｃ−２）ではコンテンツ（車速）の背景の色が、コンテンツ（車速）の色と補色関係にあることでコンテンツが強調されている。図１６（ｃ−２）に対し図１６（ｃ−１）ではコンテンツが抑制されている。なお、補色とは色相環で正反対に位置する関係の色の組合せをいい、互いの色を目立たせることができる。例えば、黄色と紫などの関係である。
【０１２４】
なお、補色で強調又は抑制する場合、背景を使うのでなく、コンテンツから最も近い所定面積以上の均一色を探し出し、この均一色に対して補色で表示してもよい。
【０１２５】
図１７は彩度、虚像までの距離、点滅又は表示位置を利用した表示態様の変更の一例を示す。図１７（ａ−１）は彩度に関して変更前の表示画像の表示態様を示し、図１７（ａ−２）は変更後の表示画像の表示態様を示す。図１７（ａ−２）ではコンテンツ（車速）の彩度が上がることでコンテンツが強調されている。図１７（ａ−２）に対し図１７（ａ−１）ではコンテンツが抑制されている。
【０１２６】
図１７（ｂ−１）は虚像までの距離に関して変更前の表示画像の表示態様を示し、図１７（ｂ−２）は変更後の表示画像の表示態様を示す。図１７（ｂ−２）では虚像までの距離が長くなったため、車両の乗員からは虚像が大きく見えることでコンテンツが強調されている。図１７（ｂ−２）に対し図１７（ｂ−１）ではコンテンツが抑制されている。なお、虚像までの距離を長くするためには、凹面ミラー１０５からフロントウィンドウシールド９１までの光路長を長くする方法があり、例えば、複数のミラーで光を折り返す方法などがある。
【０１２７】
図１７（ｃ−１）は点滅する前の表示画像の表示態様を示し、図１７（ｃ−２）は点滅後の表示画像の表示態様を示す。図１７（ｃ−２）では表示画像が点滅することでコンテンツが強調されている。図１７（ｃ−２）に対し図１７（ｃ−１）ではコンテンツが抑制されている。点滅の有無だけでなく点滅の速度を変更して強調又は抑制してもよい。
【０１２８】
図１７（ｄ−１）は表示位置が変更される前の表示画像の表示態様を示し、図１７（ｄ−２）は変更後の表示画像の表示態様を示す。まず、車両の乗員は消失点３６０に注目しながら運転することが多い。このため、消失点３６０に近い領域は評価値が高くなる傾向となる。つまり、コンテンツも消失点３６０に近い表示位置に表示することで強調することができる。図１７（ｄ−２）ではコンテンツが投影エリア３５０の上方に移動することで、消失点３６０に近い表示位置に表示されている。図１７（ｄ−２）に対し図１７（ｄ−１）ではコンテンツが抑制されている。
【０１２９】
図１６，図１７に示す他、表示タイミングを制御してもよい。顕著性マップは動画に対しても作成できる。例えば、コンテンツがない場合からある場合に変化すると評価値も変化する。これを利用してコンテンツの強調と抑制が可能になる。例えば、背景にカラフルな地物が映っている場合、コンテンツが強調されにくいので、表示制御部２０はカラフルな地物がなくなったタイミングでコンテンツを表示する。
【０１３０】
なお、これらの表示態様の変更は適宜組み合わせて実行されてよい。また、図１６，図１７では表示態様の変更例を示したが、強調したいコンテンツと背景等の代表値の差が基準を満たすまで（閾値以上となるまで）コンテンツの表示態様は変更される。例えば、文字のサイズや太さは、基準を満たすまで大きく又は太くする。輝度は基準を満たすまで高くする。補色の関係については背景部分の輝度を、基準を満たすまで高くすることが考えられる。彩度については基準を満たすまで高くする。虚像までの距離については基準を満たすまで長くする。点滅については基準を満たすまで点滅を早くする。
【０１３１】
＜処理手順＞
図１８は、表示制御部２０が表示画像に含まれるコンテンツの表示態様を変更して表示画像を生成する手順を示すフローチャート図の一例である。
【０１３２】
まず、表示情報取得部２１が、情報入力部３０から表示情報を取得する（Ｓ１）。表示画像生成部２４は表示情報に基づいて表示画像を生成する（Ｓ２）。この表示画像は画像表示部２６により表示装置１０から表示される。
【０１３３】
次に、前方カメラ３５が背景を撮像する（Ｓ３）。画像データ取得部２２は画像データを取得する。
【０１３４】
評価画像生成部２３は画像データに表示画像を合成して評価画像データを生成する（Ｓ４）。そして、評価部２５は評価画像データから顕著性マップを生成する（Ｓ５）。
【０１３５】
次に、評価部２５は、着目するコンテンツの代表値と、背景等の代表値を算出する（Ｓ６）。着目するコンテンツは、強調したいコンテンツ又は抑制したいコンテンツであり、車両の状況に基づいて予め決まっている。また、コンテンツの強調と抑制は相対的なものであり、同時に表示されるコンテンツの組み合わせによって同じコンテンツが強調されるか抑制されるかは変わってよい。
【０１３６】
次に、評価部２５は着目するコンテンツの代表値と、背景等の代表値の差が閾値以上であるか否かを判断する（Ｓ７）。図１４，図１５で説明したように、着目するコンテンツを強調する場合は、着目するコンテンツの代表値の方が大きいかどうか判断され、着目するコンテンツを抑制する場合は、着目するコンテンツの代表値の方が小さいかどうも判断される。
【０１３７】
ステップＳ７の判断がＹｅｓの場合、評価部２５はコンテンツを指定して強調するか又は抑制するかと共に強調の程度又は抑制の程度を表示画像生成部２４に送出するので、表示画像生成部２４は指定されたコンテンツの表示態様を指定された程度、強調又は抑制する（Ｓ８）。すなわち、表示態様を変更する。
【０１３８】
これにより、強調すべきコンテンツが強調され、抑制すべきコンテンツが抑制された表示画像を表示できる。なお、強調の程度又は抑制の程度を送出するのでなく、単に強調するか抑制するかを表示画像生成部２４に送出してもよい。図１８の処理を繰り返すことで、最終的に基準を満たすようにコンテンツが強調又は抑制される。
【０１３９】
次のサイクルでは、強調又は抑制された（変更された）後のコンテンツと、画像データと、変更がなされた後の表示画像のうち少なくとも変更されたコンテンツを含まない部分と、に基づいて、更に少なくとも一つのコンテンツの表示態様が変更されてよい。
【０１４０】
なお、強調する場合、着目するコンテンツの代表値と、背景等の代表値の差が閾値以上であればよいが、着目するコンテンツが目立ちすぎても車両の乗員が煩わしく感じるおそれがある。このため、評価部２５は背景等に対して予め定めた上限を超えないように強調の程度を決定する。抑制する場合も、着目するコンテンツが目立たなさすぎても車両の乗員が見にくく感じるおそれがある。このため、評価部２５は背景等に対して予め定めた下限を下回らないように抑制の程度を決定する。
【０１４１】
また、ステップＳ８では、着目するコンテンツを例えば強調すると共に、それ以外のコンテンツを抑制してもよいし、着目するコンテンツを例えば抑制すると共に、それ以外のコンテンツを強調してもよい。つまり、同時に複数のコンテンツの表示態様を変更してよい。また、あるコンテンツと別のコンテンツを共に強調するが強調の程度を変えたり、あるコンテンツと別のコンテンツを共に抑制するが抑制の程度を変えたりすることもできる。
【０１４２】
＜強調又は抑制による評価値の時間的な変化＞
続いて、図１９を用いて、コンテンツを強調又は抑制した場合にどのように評価値が変化するかを説明する。図１９は、コンテンツを強調又は抑制した場合における評価値の時間的な遷移を模式的に示す。図１９の凡例は以下のとおりである。
・Ｅimage：コンテンツの評価値（代表値）
・Ｅback：背景、先行車両、及び、他のコンテンツの少なくとも一つの評価値（代表値）
・ｔ：時間
・Th：上記の閾値（コンテンツの強調の程度又は抑制の程度）
図１９（ａ）はすでに表示されているコンテンツを強調する場合の評価値の時間的な変化を示す。時刻ｔ１でコンテンツの強調を開始し、徐々にコンテンツの評価値が増大している。最終的に評価値の差が閾値Ｔｈ以上となる評価値の差が得られている。
【０１４３】
図１９（ｂ）は強調したいコンテンツが新たに表示された場合の評価値の時間的な変化を示す。時刻ｔ２でコンテンツが表示された。時刻ｔ２でコンテンツが現れると背景等の評価値も変化するが、コンテンツの強調を開始するので、最終的に評価値の差が閾値Ｔｈ以上となる評価値の差が得られている。
【０１４４】
図１９（ｃ）はすでに表示されているコンテンツを抑制する場合の評価値の時間的な変化を示す。時刻ｔ３でコンテンツの抑制を開始し、徐々にコンテンツの評価値が減少している。最終的に評価値の差が閾値Ｔｈ以上となる評価値の差が得られている。
【０１４５】
図１９（ｄ）は抑制したいコンテンツが新たに表示された場合の評価値の時間的な変化を示す。時刻ｔ４でコンテンツが表示された。時刻ｔ４でコンテンツが現れると背景等の評価値も変化するが、コンテンツの抑制を開始するので、最終的に評価値の差が閾値Ｔｈ以上となる評価値の差が得られている。
【０１４６】
なお、図１９では評価値の差が閾値Ｔｈ以上となるようにコンテンツの強調又は抑制が行われているが、単にＥimageとＥbackを逆転させるだけでもよい。
【０１４７】
また、コンテンツの強調又は抑制は背景等に対し行われるが、背景等は時間的に変化するので、コンテンツの表示態様は時間軸に対しても変化する。
【０１４８】
＜まとめ＞
以上説明したように、本実施形態の表示システム１は、任意のコンテンツを強調したり、抑制したりすることができる。複数のコンテンツの強調と抑制を同時に行うこともできる。また、コンテンツの強調と抑制の対象となる背景を選択的に抽出でき、何に対して一定以上の刺激性もたらすように強調するか、又は、一定未満の刺激性しかないように抑制するかを、定量的に決定することができる。
【０１４９】
また、従来の技術の目的が、背景に対する虚像の注視性を担保するのに過ぎないのに対し、本実施形態は背景等に対して虚像を強調又は抑制することを目的の一つとする。
【０１５０】
また、従来の技術では輝度と色を制御しているのに対して、本実施形態では輝度、色だけでなく、形状、大きさ、表示位置、虚像距離、表示タイミング、表示周期（点滅）を制御することができる。
【０１５１】
＜その他の好適例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【０１５２】
例えば、本実施形態では背景に先行車両を含めても含めなくてもよいと説明したが、白線などの道路ペイント、道路標識、歩行者、小動物、などを背景に含めるか含めないかを選択的に抽出できる。また、これらを背景の画像データにおける位置に応じて背景に含めるか含めないかを決定してもよい。
【０１５３】
また、虚像Ｉをぶれ補正して表示してもよいし、虚像Ｉを車線に沿って表示するなどＡＲ的に表示してもよい。
【０１５４】
また、表示装置１０は液晶ディスプレイなどでもよい。また、表示制御部２０と表示装置１０は別々に流通するなど、筐体が分かれていてもよい。例えば、スマートフォンを表示制御部２０としてスマートフォンが内蔵するディスプレイに情報を表示してもよいし、虚像をコンバイナ（反射透過部材）に表示してもよい。例えばサンバイザからフロントウィンドウシールド又はコンバイナに表示画像を投影してもよい。
【０１５５】
なお、画像データ取得部２２は画像データ取得手段の一例であり、表示画像生成部２４は表示画像生成手段の一例であり、評価画像生成部２３は評価画像生成手段の一例であり、評価部２５は評価手段の一例であり、表示制御部２０は表示制御装置の一例である。
【符号の説明】
【０１５６】
１        表示システム
２        車載システム
９        車両
１０      表示装置
１１      カーナビゲーションシステム
２０      表示制御部
３０      情報入力部
【先行技術文献】
【特許文献】
【０１５７】
【特許文献１】特開２０１８‐０９０１７０号公報
【非特許文献】
【０１５８】
【非特許文献１】L.Itti, C.Koch, and E.Niebur. "A model of saliency−based visual attention for rapid scene analysis," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.20, No.11, pp. 1254−1259, 1998.
【非特許文献２】J. Harel, C. Koch, and P. Perona, "Graph−based visual saliency," Advances in Neural Information Processing Systems, pp. 545−552, 2007.
【図１】
2020112698.tif 000003
【図２】
2020112698.tif 000004
【図３】
2020112698.tif 000005
【図４】
2020112698.tif 000006
【図５】
2020112698.tif 000007
【図６】
2020112698.tif 000008
【図７】
2020112698.tif 000009
【図８】
2020112698.tif 000010
【図９】
2020112698.tif 000011
【図１０】
2020112698.tif 000012
【図１１】
2020112698.tif 000013
【図１２】
2020112698.tif 000014
【図１３】
2020112698.tif 000015
【図１４】
2020112698.tif 000016
【図１５】
2020112698.tif 000017
【図１６】
2020112698.tif 000018
【図１７】
2020112698.tif 000019
【図１８】
2020112698.tif 000020
【図１９】
2020112698.tif 000021
【手続補正書】
【提出日】令和1年12月4日(2019.12.4)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
レーダセンサ３４は車両の前方など車両の周囲にレーダーを送信し、物体で反射して戻ってくるレーダーを受信する。送信から受信までの時間により物体までの距離を検出すると共に、レーダーの照射方向により物体の方向を検出するＴＯＦ方式（Time Of Flight）がある。また、連続的に送信波の周波数を大きくしながら受信波と送信波の混合波を生成し、周波数がわずかに異なることで生じる混合波のうなり周波数を距離に換算するＦＣＭ（Fast Chirp Modulation）方式やＦＭＣＷ方式（Frequency Modulation Continuous Wave）がある。ＦＣＭ方式やＦＭＣＷ方式では複数の受信アンテナで受信波の位相ずれを検出することで物体の方向を推定する。