(57)【要約】【課題】  乗員が視認可能である車両周囲（車両前方等）の実景についての撮像画像に基づいて、乗員にとって有用な運転支援画像を生成し、他の表示との競合を生じさせることなく表示できるＨＵＤ装置を提供する。【解決手段】  視線検出部３０と、表示制御部５０と、を備え、表示制御部５０は、視線検出部３０により取得される視線情報と、車両の周囲の実景を撮影手段で撮影して得られる撮像画像と、に基づいて、撮像画像上における乗員の注視点の位置を検出する注視位置検出部５２と、検出された複数の注視点の位置に基づいて注視領域を決定し、撮像画像から、注視領域を含む部分画像を抽出し、部分画像を表示撮像画像として出力する表示撮像画像生成部５６と、表示画像に対応する表示画像エリアの内の、運転支援情報の未描画エリアに表示撮像画像を配置して表示画像を生成する表示画像生成部５８と、を有する。【選択図】  図１
2018185654.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、画像表示部の表示面に表示される表示画像を、前記車両に備わる被投影部材に投影することで、乗員に前記表示画像の虚像を視認させるヘッドアップディスプレイ装置であって、
前記乗員の視線を検出する視線検出部と、
前記車両の運行に関する運転支援情報と、前記車両の乗員が視認することが可能と予想される前記車両の周囲の実景を撮影手段で撮影して得られる撮像画像に基づいて生成される運転支援画像としての表示撮像画像と、に基づいて前記表示画像を生成する機能を有する表示制御部と、
を備え、
前記表示制御部は、
前記視線検出部により取得される視線情報と、前記撮影手段による撮影によって得られる前記撮像画像とに基づいて、前記撮像画像上における前記乗員の注視点の位置を検出する注視位置検出部と、
前記注視位置検出部によって検出された複数の注視点の位置に基づいて、前記複数の注視点を含むように注視領域を決定し、前記撮像画像から、前記注視領域を含む部分画像を抽出し、抽出された前記部分画像を前記表示撮像画像として出力する表示撮像画像生成部と、
前記表示画像に対応する表示画像エリアの内の、前記運転支援情報の未描画エリアに前記表示撮像画像を配置して前記表示画像を生成する表示画像生成部と、
を有することを特徴とするヘッドアップディスプレイ装置。
【請求項２】
少なくとも前記視線検出部の検出結果を用いることで、前記乗員の視線が、前記表示画像の虚像の外に向けられているか否かを判定する虚像外注視検出部を有し、
前記注視位置検出部は、前記虚像外注視検出部によって前記乗員の視線が前記表示画像の虚像の外に向けられていると判定された場合に、前記乗員の注視点の位置を検出することを特徴とする請求項１に記載のヘッドアップディスプレイ装置。
【請求項３】
少なくとも前記視線検出部の検出結果を用いることで、前記乗員の視線が、前記表示画像の虚像の外に向けられているか否か、又は、前記運転支援情報の虚像の外に向けられているか否かを判定する虚像外注視検出部を有し、
前記表示画像生成部は、
前記虚像外注視検出部によって前記乗員の視線が前記表示画像の虚像に、又は前記運転支援情報の虚像に向けられていると判定された場合に、前記表示撮像画像を拡大又は現サイズを維持して前記運転支援情報の未描画エリアに配置し、
前記虚像外注視検出部によって前記乗員の視線が前記表示画像の虚像外に、又は前記運転支援情報の虚像外に向けられていると判定された場合に、前記表示撮像画像を縮小して前記運転支援情報の未描画エリアに配置する、又は前記表示撮像画像を非表示とすることを特徴とする請求項１に記載のヘッドアップディスプレイ装置。
【請求項４】
前記表示制御部は、前記運転支援情報の構成要素及び前記表示撮像画像を対象として、重要度に応じて優先順位を付与する優先順位付与部を有し、
前記表示画像生成部は、前記運転支援情報の構成要素の内の、前記表示撮像画像よりも優先順位が低い構成要素を縮小し、前記表示画像を前記運転支援情報の未描画エリアに配置することを特徴とする請求項１に記載のヘッドアップディスプレイ装置。
【請求項５】
前記表示制御部は、前記運転支援情報の構成要素及び前記撮像画像に含まれる主要な構成要素を対象として、重要度に応じて優先順位を付与する優先順位付与部を有し、
前記表示撮像画像生成部は、前記注視位置検出部によって検出された複数の注視点の位置に基づいて前記複数の注視点を含むように注視領域を決定し、前記優先順位付与部によって付与された優先順位を参照して、前記撮像画像の主要な構成要素の内の、優先順位が上位であるものが少なくとも含まれるように、かつ前記注視領域が含まれるように、前記撮像画像から部分画像を抽出し、抽出された前記部分画像を前記表示撮像画像として出力することを特徴とする請求項１に記載のヘッドアップディスプレイ装置。
【請求項６】
前記表示画像生成部は、前記優先順位付与部によって付与された前記優先順位に基づいて、前記表示撮像画像の優先順位を決定し、前記運転支援情報の構成要素の内の、前記表示撮像画像の優先順位よりも低い優先順位のものを縮小し、前記表示撮像画像を前記運転支援情報の未描画エリアに配置することを特徴とする請求項５に記載のヘッドアップディスプレイ装置。
【請求項７】
前記乗員の生体情報を検出する生体情報検出部を有し、
前記虚像外注視検出部は、前記視線検出部の検出結果及び前記生体情報検出部の検出結果の少なくとも一方に基づいて、前記判定を行うことを特徴とする請求項２又は３に記載のヘッドアップディスプレイ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されるヘッドアップディスプレイ（ＨＵＤ）装置に関する。
【背景技術】
【０００２】
ヘッドアップディスプレイ装置（以下、ＨＵＤ装置と称する）は、車等の車両に搭載され、運転に関係する情報等を示す画像を被投影部材（透光性と反射性とを併せ持つウインドシールド（フロントガラス）、コンバイナ等）に投影することで、運転者の前方の実景（前景、背景としての路面等を含む）に重ねて虚像を表示することができる車両用表示装置である。必要な情報等が前方の景色等と重ね合わされて表示されることから、運転者は、車両の運転中に大きな視線の移動を行うことなく、必要な情報を効率的に得ることができる。
【０００３】
例えば特許文献１及び２は、ナビゲーション情報等の運転支援画像を表示可能な車両用表示装置を開示し、特許文献１の車両用表示装置では、道路側カメラで撮影された画像が無線通信により車両に送信されて表示される状況で、悪天候（例えば霧、雨及び降雪）によって道路側カメラで撮影ができない場合は、予防安全システムを構成する外部のデータサーバーから、好天候下で撮影された風景画像の提供を受けるようにした構成、及び、車両用表示装置としてＨＵＤ装置を使用可能である旨が記載されている（段落［０００２］、［００１０］〜［００１２］、［００６０］〜［００６５］、図１、図５、図６））。
【０００４】
また、特許文献２の車両用表示装置では、車両のインストルメントパネルに、独立した画像を表示可能な３つのパネルを並置し、中央のパネルには、車両情報、ナビゲーション情報、経路案内等の優先度の高い運転支援画像を表示する構成が記載されている（段落［００２５］、図２、図７、図９）。なお、中央のパネルには、前方の死角部分の画像が表示されることもあるが（段落［００２５］の末尾）、この画像は、特許文献１と同様に、予め撮影されて記憶されている画像である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２５７２５３号公報
【特許文献２】特開２０１４−２２９９９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の車両用表示装置における、車両から見える実景に関する運転支援画像は、運転環境が悪化した場合に備えて好天下で予め撮影された画像等（特許文献１）、又は、運転者（乗員）の前方の死角部分についての画像等（特許文献２）であり、いずれも、予め用意されている画像である。
【０００７】
例えば、特許文献１の段落［００１０］の冒頭には、「好天時の運転であれば、運転者（乗員）は前方視界を確認できるので、一般的な状況ではこのような運転支援画像は不要と思われる」と記載されており、運転者が運転中に見ている（見ることができている）前方の画像については、運転支援画像から除外している。
【０００８】
ここで、本発明者らは、例えば、運転者（乗員）が見ることができる車両周囲（車両前方等）の実景を車載カメラ（又は道路側のカメラ）で撮影して得られる撮像画像も、運転状況に応じては、有用な運転支援画像になり得ることを認識した。
【０００９】
但し、運転者（乗員）が実際に見ている画像をそのままＨＵＤ装置に表示するだけでは、有用な運転支援画像とならない場合があり、よって画像の加工が必要となる。また、ＨＵＤ装置は、本来、車両情報等の表示（走行速度の表示、注意喚起マークの表示等）を背景の実景に重ねて表示するものであり、従って、この本来の表示に加えて、前方等を撮影した撮像画像に基づく運転支援画像も表示しようとすると、本来の表示との競合が生じることが予想され、その対策も必要となる。
【００１０】
従来の、運転支援画像を表示可能な車両用表示装置では、上記の、本発明者らが認識した観点からの検討がなされておらず、従って、運転者（乗員）が見ている車両周囲（車両前方等）の実景を車載カメラ（又は道路側に設置のカメラ）で撮影して得られる撮像画像を、運転者（乗員）に、有用な運転支援画像として提供することはできない。
【００１１】
本発明の１つの目的は、乗員が視認可能である車両周囲（車両前方等）の実景についての撮像画像に基づいて、乗員にとって有用な運転支援画像を生成し、他の表示との競合を生じさせることなく表示することができるヘッドアップディスプレイ装置（ＨＵＤ装置）を提供することにある。本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。
【課題を解決するための手段】
【００１２】
以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。
【００１３】
第１の態様において、ヘッドアップディスプレイ装置は、
車両に搭載され、画像表示部の表示面に表示される表示画像を、前記車両に備わる被投影部材に投影することで、乗員に前記表示画像の虚像を視認させるヘッドアップディスプレイ装置であって、
前記乗員の視線を検出する視線検出部と、
前記車両の運行に関する運転支援情報と、前記車両の乗員が視認することが可能と予想される前記車両の周囲の実景を撮影手段で撮影して得られる撮像画像に基づいて生成される運転支援画像としての表示撮像画像とに基づいて前記表示画像を生成する機能を有する表示制御部と、
を備え、
前記表示制御部は、
前記視線検出部により取得される視線情報と、前記撮影手段による撮影によって得られる前記撮像画像と、に基づいて、前記撮像画像上における前記乗員の注視点の位置を検出する注視位置検出部と、
前記注視位置検出部によって検出された複数の注視点の位置に基づいて、前記複数の注視点を含むように注視領域を決定し、前記撮像画像から、前記注視領域を含む部分画像を抽出し、抽出された前記部分画像を前記表示撮像画像として出力する表示撮像画像生成部と、
前記表示画像に対応する表示画像エリアの内の、前記運転支援情報の未描画エリアに前記表示撮像画像を配置して前記表示画像を生成する表示画像生成部と、
を有する。
【００１４】
第１の態様では、乗員の注視領域を複数の注視点位置に基づいて決定し、撮像画像から部分画像を抽出し（言い換えれば切り出し）、その部分画像を表示撮像画像とし、その表示撮像画像を、表示画像に対応する表示画像エリア（言い換えれば、画像表示部の表示面上のエリア）における運転支援情報（例えば、車速表示、注意喚起マーク、前方に急な曲がり角があることを示す矢印のナビゲーション表示等）の未描画エリア（言い換えれば、空エリア又は余白エリア）に配置し、これによって、画像表示部の表示面に表示される表示画像（言い換えれば、ＨＵＤ装置用の表示画像）を生成する。撮像画像から、乗員が注視していた領域を含む部分画像を抽出して（言い換えれば切り出して）、運転支援画像としての「表示撮像画像」を生成することから、不要な背景等が除去された有用な運転支援画像の提供が可能となり、また、表示撮像画像は、表示画像エリア内の運転支援情報が表示されていない未描画エリア（空エリア又は余白エリア）に配置されることから、表示撮像画像と運転支援情報との競合（重複）も生じない。
【００１５】
このとき、空エリアに適応するように表示撮像画像のサイズを拡大等することによって、空スペースを十分に活用して見易い実風景の画像を含む表示画像を得ることができる。例えば、ある程度の遠くの路肩に道路に向かって移動していると推測される人を視認した乗員（このときの注視点は、ＨＵＤ装置の被投影部材上の投影面の外に位置する）が、現在の車速や注意情報等を確認するべく、ＨＵＤ装置の虚像に視線を移動させた場合、乗員の視線は一瞬、その人から離れることから、乗員には、「その人が道路に飛び出してくるかもしれない」という不安感が生じる。
【００１６】
しかしながら、第１の態様では、乗員が先に視認した人が、他の余分な背景物等に埋もれることなく効果的に表示されることから、ＨＵＤ装置の虚像を見ているときも、前方等の注意を要する人や箇所の確認を適宜、行うことができる。従って、上記の不安感が軽減され、また、万一、人の飛び出しがあったときは、減速や急ブレーキ等の適切な処置を迅速にとることができる。このように、外部サーバーとの接続を行うといった複雑で高価なシステムを用いることなく、簡易に、乗員にとって有用な運転支援画像を提供することが可能となる。
【００１７】
また、撮像画像をそのまま表示する場合は、乗員にとって不要な画像が含まれることから見易い画像とはいえず、また、撮像画像のサイズを乗員にとって視認しやすい大きさに設定しようすると、撮像画像を表示するのに必要な領域の占有面積が大きくなり、他の表示コンテンツ（例えば、車速表示や注意喚起マーク等の運転支援情報）の視認性を妨げることにもなりかねない。もしくは、他の表示コンテンツと干渉して、そもそも撮像画像を視認しやすい大きさに拡大して表示することができないという事態も想定され得る。
【００１８】
第１の態様では、撮像画像をそのまま用いずに、乗員にとって有用な画像領域のみを抽出（切り出し）して利用するため、表示面積を抑制しつつ重要な箇所の画像を効率的に表示することができ、よって上記の問題点は生じない。
【００１９】
第１の態様に従属する第２の態様において、
少なくとも前記視線検出部の検出結果を用いることで、前記乗員の視線が、前記表示画像の虚像の外に向けられているか否かを判定する虚像外注視検出部を有し、
前記注視位置検出部は、前記虚像外注視検出部によって前記乗員の視線が前記表示画像の虚像の外に向けられていると判定された場合に、前記乗員の注視点の位置を検出してもよい。
【００２０】
第２の態様では、乗員の視線が表示画像の虚像の外に向けられている（言い換えれば、乗員の視線が被投影部材の投影領域から外れている）と判定される場合に、乗員の注視点の位置情報を取得し、これによって、注視位置検出部の負担を軽減しつつ、取得される注視点を、乗員が実際に注視していた実景についての注視点のみに限定することが可能となる。よって、有用な表示撮像画像を効率的に得ることができる。上述のとおり、第２の態様は、乗員がＨＵＤ装置の虚像外に視線を向けている状態から、ＨＵＤ装置の虚像へと視線を移すときに、今まで見ていた実景から視線が外れることによる不安感を払拭するという格別の効果が得られるものである。乗員の視線がＨＵＤ装置の虚像から外れている場合に見ている注視点は重要度の高い注視点であり、これを効率的に収集することで、装置の負担を軽減しつつ、上記の格別の効果を得ることが可能となる。
【００２１】
第１の態様に従属する第３の態様において、
少なくとも前記視線検出部の検出結果を用いることで、前記乗員の視線が、前記表示画像の虚像の外に向けられているか否か、又は、前記運転支援情報の虚像の外に向けられているか否かを判定する虚像外注視検出部を有し、
前記表示画像生成部は、
前記虚像外注視検出部によって前記乗員の視線が前記表示画像の虚像に、又は前記運転支援情報の虚像に向けられていると判定された場合に、前記表示撮像画像を拡大又は現サイズを維持して前記運転支援情報の未描画エリアに配置し、
前記虚像外注視検出部によって前記乗員の視線が前記表示画像の虚像外に、又は前記運転支援情報の虚像外に向けられていると判定された場合に、前記表示撮像画像を縮小して前記運転支援情報の未描画エリアに配置する、又は前記表示撮像画像を非表示としてもよい。
【００２２】
第３の態様では、乗員の視線が、ＨＵＤ装置による虚像の外にあるか、内にあるかによって、表示撮像画像のサイズに差を設ける。言い換えれば、表示撮像画像の重要性が高いと考えられる状況では、表示撮像画像を拡大する（言い換えれば、撮像画像から部分画像を抽出することによって得られた当初のサイズよりも大きなサイズとする）、あるいは現状のサイズを維持することによって視認性の向上（又は確保）を図り、一方、表示撮像画像の重要性が比較的低い（不便をもたらすと考えられる場合を含む）においては、表示撮像画像を縮小する（言い換えれば、撮像画像から部分画像を抽出することによって得られた当初のサイズよりも小さなサイズとする）、又は非表示とすることで、乗員に余分な負担が生じることを抑制する。
【００２３】
また、「視線がＨＵＤ装置による虚像の外にあるか、内にあるか」という場合分けに関しては、ＨＵＤの表示画像（運転支援情報及び表示撮像画像を含む全体の画像）を見ているか否かという観点で場合分けしてもよく、又、より厳密に視点位置を判定して、表示画像内における運転支援情報を見ているか否かで場合分けしてもよい。乗員が虚像外を見ているということは、すなわち前方等の実景を見ている可能性が高いということであり、この場合、通常のサイズの表示撮像画像を表示しておくと、乗員によってその表示撮像画像が周辺視される状況（言い換えれば、乗員の周辺の視野に表示撮像画像が見えてしまい、同じ画像が２つ見える、いわゆる２重映しの状況）となり、かえって混乱をもたらす可能性もあることから、表示撮像画像を縮小、又は非表示とするものである。
【００２４】
また、運転支援情報の虚像を見ているか否かで場合分けする場合には、さらに、以下の効果が得られる。すなわち、乗員の視点位置が、表示画像の虚像内ではあるが、運転支援情報の虚像外であるという場合には、乗員は、透光性の部材である被投影部材を介して、背後の実景を見ている可能性が高いということである。よって、この場合においても、通常のサイズの表示撮像画像を表示しておくと、乗員によってその表示撮像画像が周辺視されて、かえって混乱を与える可能性がある。上記の、より厳密な場合分けを行うことによって、このような場合においても、適切な表示撮像画像の表示制御を行うことができる。なお、表示撮像画像を非表示とすることは、表示撮像画像を表示画像エリアに配置しないことによって実現されてもよく、一時的に、表示画像全体を非表示とすることによって実現されてもよい。
【００２５】
第１の態様に従属する第４の態様において、
前記表示制御部は、前記運転支援情報の構成要素及び前記表示撮像画像を対象として、重要度に応じて優先順位を付与する優先順位付与部を有し、
前記表示画像生成部は、前記運転支援情報の構成要素の内の、前記表示撮像画像よりも優先順位が低い構成要素を縮小し、前記表示画像を前記運転支援情報の未描画エリアに配置してもよい。
【００２６】
第４の態様では、表示画像エリア（画像表示部の表示面上の画像を表示するエリア）のサイズが限られている点を考慮して、「運転支援情報の各構成要素」及び「表示撮像画像」を対象として優先順位を付与し、運転支援情報の構成要素の内の、表示撮像画像よりも優先順位が低い構成要素を縮小する。これによって、優先順位の高い内容（言い換えれば、「表示撮像画像」及び「優先順位が高い運転支援情報の構成要素」）を表示するための、視認性を確保する上で必要となる所定サイズ以上のサイズをもつ空き領域を確実に確保することができ、かつ、上記の重要性の高い要素を、より見易く表示することが可能となる。
【００２７】
第１の態様に従属する第５の態様において、
前記表示制御部は、前記運転支援情報の構成要素及び前記撮像画像に含まれる主要な構成要素を対象として、重要度に応じて優先順位を付与する優先順位付与部を有し、
前記表示撮像画像生成部は、前記注視位置検出部によって検出された複数の注視点の位置に基づいて前記複数の注視点を含むように注視領域を決定し、前記優先順位付与部によって付与された優先順位を参照して、前記撮像画像の主要な構成要素の内の、優先順位が上位であるものが少なくとも含まれるように、かつ前記注視領域が含まれるように、前記撮像画像から部分画像を抽出し、抽出された前記部分画像を前記表示撮像画像として出力してもよい。
【００２８】
第５の態様では、「運転支援情報の構成要素及び撮像画像に含まれる主要な構成要素」を対象として優先順位を付与しておき、撮像画像から部分画像を抽出して「表示撮像画像」を生成する際に、その優先順位も考慮に入れて抽出する領域（切り出す領域）を決定する。
【００２９】
上述の第１の態様では、乗員の注視領域のみに着目して抽出する領域を決定しているが、この場合、例えば、乗員がぼんやりと運転していて、道路上へ飛び出そうとしている人に気づかず、その人には視線が向けられないといった状況では、その飛び出そうとしている人についての画像は、表示撮像画像には含まれないことになり、よって、重要性の高い対象についての画像の表示ができない。
【００３０】
これに対して、第５の態様では、表示制御部に含まれる優先順位付与部が、撮影手段によって撮影された撮像画像を分析し、主要な構成要素について優先順位を付与することから、上記の「飛び出そうとしている人」については確実に、高い優先順位が付与されることになる。よって、表示撮像画像を生成する際に、「優先順位が上位であるものが少なくとも含まれるように、かつ注視領域が含まれるように抽出する」ことによって、上記の「飛び出そうとしている人」も確実に表示撮像画像に含まれることになる。よって、その表示撮像画像によって乗員の注意を喚起して、事故を未然に防止するといったことが可能となる。言い換えれば、第５の態様によって、より有用性の高い、運転支援画像としての表示撮像画像の提供が可能となる。
【００３１】
第５の態様に従属する第６の態様において、
前記表示画像生成部は、前記優先順位付与部によって付与された前記優先順位に基づいて、前記表示撮像画像の優先順位を決定し、前記運転支援情報の構成要素の内の、前記表示撮像画像の優先順位よりも低い優先順位のものを縮小し、前記表示撮像画像を前記運転支援情報の未描画エリアに配置してもよい。
【００３２】
第６の態様では、第５の態様において、優先順位を参照して、運転支援情報の構成要素の内の、表示撮像画像の優先順位よりも低い優先順位のものを縮小する処理を行う。上述のとおり第５の態様では、「優先順位が上位であるものが少なくとも含まれるように、かつ注視領域が含まれるように部分画像を抽出する」という処理が行われることから、抽出された画像のサイズ（表示撮像画像のサイズ）が大きくなり易いと考えられる。そこで、第６の態様では、運転支援情報の構成要素の内の、表示撮像画像の優先順位よりも低い優先順位のものを縮小することで、未描画のエリア（空スペース）を効果的に増大させる。よって、表示撮像画像を配置するための、最小限度のサイズ以上のエリア（空スペース）を確実に確保することができる。
【００３３】
第２又は第３の態様に従属する第７の態様では、
前記乗員の生体情報を検出する生体情報検出部を有し、
前記虚像外注視検出部は、前記視線検出部の検出結果及び前記生体情報検出部の検出結果の少なくとも一方に基づいて、前記判定を行うようにしてもよい。
【００３４】
第７の態様では、上述の第２、第３の態様において、「乗員の視線が、表示画像の虚像の外に向けられているか否かを判定する処理（第３の態様においては、又は、運転支援情報の虚像の外に向けられているか否かを判定する処理）」が実行されるが、この判定結果に応じて、表示撮像画像の縮小や非表示といった、影響力が大きい処理が行われることから、上記の判定には慎重を期す必要がある。そこで、第７の態様では、上記の判定に際して、例えば、視線検出部による検出結果の他に、乗員の生体情報の検出結果も考慮して上記の判定を行い、判定精度をより高める（但し、生体情報単独に基づく判断の場合もあり得る）。例えば、「路肩において、道路に進入するかもしれない人が視認された場合」には、乗員の視線は、道路脇へと大きく移動し、かつ、脈拍等の生体情報も数値が上昇して緊張がより高い状態となると考えられる。よって、脈拍等の生体情報も活用することで、「より緊張度の高い運転状況が出現し、そのことが原因で視線が大きくずれた」というような推定が可能であり、この推定される状況では、乗員の視線は、ＨＵＤの虚像の外に向けられている可能性が高い。よって、より精度の高い判定が可能となる。なお、生体情報は脈拍に限定されるものではなく、例えば、脳の活動状況を示す脳血流量であってもよく、さらに他の生体情報であってもよい。
【００３５】
当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。
【図面の簡単な説明】
【００３６】
【図１】本発明に従うヘッドアップディスプレイ（ＨＵＤ）装置の、第１〜第３の実施形態に対応する構成例を示す図である。
【図２】図２（Ａ）及び図２（Ｂ）は、図１のＨＵＤ装置によって取得される乗員の視点位置の例、及び表示される虚像（表示画像の虚像）の例を示す図である。
【図３】図３（Ａ）は、第１の実施形態におけるＨＵＤ装置の主要な動作手順を示すフロー図、図３（Ｂ）は、図３（Ａ）のフロー図に対応した画像処理及び表示制御の例を示す図である。
【図４】第２の実施形態におけるＨＵＤ装置の主要な動作手順を示すフロー図である。
【図５】図５（Ａ）は、第３の実施形態におけるＨＵＤ装置の主要な動作手順を示すフロー図、図５（Ｂ）は、図５（Ａ）のフロー図に対応した画像処理及び表示制御の例を示す図、図５（Ｃ）は、構成要素毎の優先順位の例を示す図である。
【図６】本発明に従うヘッドアップディスプレイ（ＨＵＤ）装置の、第４の実施形態に対応する構成例を示す図である。
【図７】図７（Ａ）は、第４の実施形態におけるＨＵＤ装置の主要な動作手順を示すフロー図、図７（Ｂ）は、図７（Ａ）のフロー図に対応した画像処理及び表示制御の例を示す図、図７（Ｃ）は、構成要素毎の優先順位の例を示す図である。
【発明を実施するための形態】
【００３７】
以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。
【００３８】
図１は、本発明に従うヘッドアップディスプレイ（ＨＵＤ）装置の、第１〜第３の実施形態に対応する構成例を示す図である。なお、図１において、車両１の前方をｚ方向とし、車両の左右方向（車両の横方向）に沿う方向をｘ方向とし、上方向をｙ方向とする。
【００３９】
図１において、車両１は、車両１の乗員２００が視認することが可能と予想される車両１の周囲の実景（主に前方であるが、左、右、後方等を適宜、含んでもよい）を撮影（撮像）する撮影手段（撮像手段）としての車載カメラ１４と、乗員２００の目（瞳）を撮像する視線検出用の撮影手段としての視線カメラ（瞳撮影カメラ）１６と、乗員２００の生体情報としての脈拍情報を検出する、生体情報測定部としての脈拍計１８と、各種の車両情報を収集して通信線（ＢＵＳ）５を経由してＨＵＤ装置１００に送信する車載ＥＣＵ（車両側ＥＣＵ）１０と、を備える。
【００４０】
なお、車載カメラ１４及び視線カメラ１６は、所定周期（例えば３０Ｈｚ）で画像を撮影し、撮影された画像にはタイムスタンプが付与され、撮像画像上の注視位置の検出においては、同時刻における注視位置と撮像画像とが対応付けされる。
【００４１】
また、図１の例では、脈拍計１８は、乗員２００の、ハンドル（ステアリングホイール）７を握っている左腕に巻かれて装着されている。生体情報としては、心拍、脳血流量、その他の生体情報を広く利用することができ、特に限定されるものではない。なお、脳血流量を測定する場合には、例えば、乗員２００の頭部（例えば前額部）にヘッドバンド型の脳活動計測装置が装着される。本明細書では、生体情報は、例えば、乗員の目（瞳）２の動きに関する判定の精度を高めるための補助情報として利用することができる。但し、生体情報の利用形態は、これに限定されるものではなく、生体情報のみに基づいて、例えば、乗員２００による虚像外注視の判断を行ってもよい。
【００４２】
また、図１の例では、車両の周囲を撮影する撮影手段として車載カメラ１４を用いているが、これに限定されるものではなく、道路側に設けられている撮像カメラや運転支援システムから無線通信により撮像情報を車両１に送信し、車両１側で撮像画像を再生することもでき、この場合には、道路側の撮像カメラや運転支援システムが撮影手段として機能する。また、図１の例では、乗員２００の目（瞳）２を視線カメラ１６で検出しているが、車載カメラ１４が、視線カメラ１６の役割を兼ねてもよく、また、室内を撮影するカメラ（図１では不図示）が視線カメラ１６の役割を兼ねてもよい。
【００４３】
ヘッドアップディスプレイ（ＨＵＤ）装置１００は、車両１に搭載され、画像表示部（例えば液晶パネル）８０の表示面８３に表示される表示画像Ｍの表示光Ｌを、光学系８２に備わる反射鏡８５で反射させ、表示画像Ｍを、車両１に備わる被投影部材（透光性と反射性とを併せ持つウインドシールド（フロントガラス）、コンバイナ等であり、ここではウインドシールド３とする）に投影することで、乗員２００に、表示画像Ｍの虚像Ｖを視認させる。なお、画像表示部８０としては、各種の表示器を使用することができる。また、ビーム走査型のＨＵＤ装置の場合、画像表示部８０は、画像が描画されるスクリーンであり、そのスクリーンの表面又は裏面が表示面８３となる。
【００４４】
ＨＵＤ装置１００は、視線検出部３０と、撮像画像処理部４０と、表示制御部５０と、生体情報検出部（生体情報解析部）６０と、ＨＵＤ制御部（画像表示部８０を駆動する駆動部を含む）７０と、を有する。視線検出部３０、撮像画像処理部４０、表示制御部５０及び生体情報検出部（生体情報解析部）６０は、通信線（バス）５を介して接続されており、相互に信号や情報の授受を行うことができる。
【００４５】
視線検出部３０は、視線方向検出部３２と、視線ベクトル算出部３４と、記憶部３６と、を有する。視線方向検出部３２は、車載カメラ１４（例えばステレオカメラ）により撮像された撮像画像から、乗員２００の視線（視線方向）を検出する。視線を検出する処理には、乗員２００の目（瞳）の位置を検出する処理が含まれる。視線方向検出部３２は、例えば、ステレオ視の手法により乗員２００の瞳孔の位置（目の位置）を算出し、かつ乗員２００の角膜反射の位置を算出する。視線ベクトル算出部３４は、乗員２００の瞳孔の位置と角膜反射位置とから、乗員２００の視線方向を表す視線ベクトルを算出する。算出された視線ベクトルは記憶部３６に記憶される。
【００４６】
撮像画像処理部４０は、撮像画像解析部４２と、記憶部４４と、を有する。撮像画像解析部４２は、例えば、パターンマッチング処理によって撮像画像に含まれる主要な対象物（人、電柱等の建造物、白線、路肩、道路標識等）を認識し、解析結果を記憶部４４に記憶する。撮像画像の解析結果は、ＨＵＤ装置１００による表示画像の生成処理において、適宜、利用される。
【００４７】
表示制御部５０は、注視位置検出部５２と、記憶部５４と、表示撮像画像生成部５６と、表示画像生成部５８と、を有する。また、必要に応じて、虚像外注視検出部６５が設けられる。虚像外注視検出部６５は、乗員２００の視線（注視点）が、ＨＵＤ装置１００による虚像Ｖの外にあることを検出するものであり、この検出に際しては、視線検出部３０により求められた視線ベクトルを利用でき、さらに、検出精度の向上のために、生体情報測定部１８及び生体情報検出部（生体情報解析部）６０によって得られた生体情報（脈拍情報等）を併用することができる（後述）。
【００４８】
注視位置検出部５２は、視線検出部３０における視線ベクトル算出部３４により算出された視線ベクトルと、ｘｙｚ座標系において乗員の前方の路面に垂直に設定されるｘｙ平面と、の交点を求め、その交点を、乗員２００の注視位置（言い換えれば注視点の位置）として検出する。なお、乗員２００の、両目の各々に対する注視位置が得られた場合は、左右の注視点同士を結ぶ線分の中点を注視位置（注視点の位置）とすることができる。検出された注視位置（注視点の位置の情報）は、記憶部５４に記憶される。
【００４９】
表示撮像画像生成部５６は、注視位置検出部５２によって検出された複数の注視位置（注視点）の位置（座標情報）に基づいて注視領域を決定し、撮像画像から、その注視領域を含む部分画像を抽出し、抽出された部分画像を、運転支援画像としての表示撮像画像として出力する。
【００５０】
表示画像生成部５８は、例えば、優先順位付与部５９と、画像サイズ変更部６１と、画像合成部６３と、を有する。優先順位付与部５９及び画像サイズ変更部６１は、必要に応じて設けられる（後述）。画像合成部６３は、ＨＵＤ装置１００の表示画像（画像表示部８０の表示面８３に表示される画像Ｍ）に対応する表示画像エリア（表示面８３における表示エリア）の内の、運転支援情報（車速表示や注意喚起マーク等の、ＨＵＤ装置１００が表示する各種の情報であり、ＨＵＤ装置１００の本来的表示ということができる）の未描画エリア（空エリア又は余白エリア）に、表示撮像画像を配置することで画像合成処理を実行し、これによって表示画像Ｍの画像データを生成する。
【００５１】
次に、図２を参照する。図２（Ａ）及び図２（Ｂ）は、図１のＨＵＤ装置によって取得される乗員の視点位置の例、及び表示される虚像（表示画像の虚像）の例を示す図である。図２（Ａ）の例は、乗員２００が、特に緊張感なく、平穏に運転している状態を示し、図２（Ｂ）では、道路に進入する可能性がある人を発見して、乗員２００がやや緊張している状態を示している。
【００５２】
まず、図２（Ａ）を参照する。図２（Ａ）において、視線カメラ１６は、ハンドル（ステアリングホイール）７の前方のインストルメントパネル１１に設けられている。車両１のウインドシールド３（ＨＵＤ装置１００の被投影部材として機能する）には、ＨＵＤ装置１００の表示光Ｌが照射される投影面（投影領域）４が設定され、乗員２００は、この投影面（投影領域）４を介して、虚像（前方の実景に重畳される虚像）Ｖを視認する。
【００５３】
図２（Ａ）において、乗員２００がウインドシールド３を介して視認可能な前方の実景の構成要素として、左前方の標識Ｅ２と、右前方の木Ｅ３と、道路端及びセンターラインＥ４と、を記載している。図２（Ａ）中、複数の四角形の各々は、注視位置検出部５２によって検出された、言い換えれば、これまでに取得された注視位置（注視点）を示す。
【００５４】
投影面（投影領域）４には、表示画像生成部５８が生成した表示画像ＨＰが表示される。この表示画像ＨＰは、運転支援情報としての「注意喚起マークＣ０、車速表示（ここでは６０ｋｍ／ｈ）Ｃ３、前方に右折する曲がり角があることを示すナビゲーション表示としての矢印マークＣ２」が含まれ、かつ、投影面（投影領域）４の、運転支援情報が表示されていない領域（空領域）に、表示撮像画像ＣＰ２が表示（配置）されている。ここで、表示撮像画像ＣＰ２は、車載カメラ１４によって撮像されて得られる撮像画像から、乗員２００の過去の複数の注視位置（注視点）に基づいて、部分画像を抽出する（切り出す）ことにより生成される画像である。
【００５５】
図２（Ａ）の例では、虚像Ｖには、各種の運転支援情報と、直前まで視認していた前方の画像とが集約されていることから、乗員２００は、虚像Ｖを確認することで、必要な情報を一度に得ることができる。
【００５６】
次に、図２（Ｂ）を参照する。図２（Ｂ）では、左前方に、道路に向かって進行する人Ｅ１が存在することから、乗員２００の注視位置（注視点）は、その人Ｅ１の側に移動している。この結果として、表示撮像画像生成部５６が決定する注視領域には、木Ｅ３が入らないことになるが、乗員２００は、ウインドシールド３を介して木を見ることができることから、特に問題は生じない。一方、表示撮像画像ＣＰ２には人Ｅ１が含まれており、少なくともしばらくの間は、人Ｅ１が含まれる表示撮像画像ＣＰ２の虚像が視認され得る状態が続くことになり、よって、乗員２００は、ＨＵＤ装置１００による虚像Ｖを確認しているときも前方の人の動きに注目することができ、乗員２００の不安感が軽減される。
【００５７】
このように、図１のＨＵＤ装置１００は、乗員２００の現在及び過去の複数の注視点位置（図２（Ａ）、（Ｂ）における四角形）に基づいて注視領域を決定し、撮像画像から部分画像を抽出し（言い換えれば切り出し）、その部分画像を表示撮像画像ＣＰ２とし、その表示撮像画像ＣＰ２を、表示画像ＨＰに対応する表示画像エリア（言い換えれば、画像表示部８０の表示面８３上の表示エリアであり、図２（Ａ）、（Ｂ）では、投影領域４に相当するエリア）における運転支援情報（例えば、車速表示、注意喚起マーク、前方に急な曲がり角があることを示す矢印のナビゲーション表示等）の未描画エリア（言い換えれば、空エリア又は余白エリア）に配置し、これによって、画像表示部８０の表示面８３に表示される表示画像（言い換えれば、ＨＵＤ装置用の表示画像）ＨＰを生成する。
【００５８】
撮像画像から、乗員２００が注視していた領域を含む部分画像を抽出して（言い換えれば切り出して）、運転支援画像としての表示撮像画像を生成することから、不要な背景等が除去された有用な運転支援画像の提供が可能となり、また、表示撮像画像ＣＰ２は、表示画像エリア内の運転支援情報が表示されていない未描画エリア（空エリア又は余白エリア）に配置されることから、表示撮像画像ＣＰ２と運転支援情報（Ｃ０、Ｃ２、Ｃ３）との競合（重複）も生じない。また、このとき、空エリアに適応するように表示撮像画像のサイズを拡大等することによって、空スペースを十分に活用して見易い実風景の画像を含む表示画像を得ることができる。
【００５９】
上述のとおり、図２（Ｂ）の例では、ある程度の遠くの路肩に道路に向かって移動していると推測される人Ｅ１を視認した乗員（このときの注視点は、ＨＵＤ装置１００の被投影部材３上の投影面（投影領域）４の外に位置する）２００が、現在の車速や注意情報等を確認するべく、ＨＵＤ装置１００の虚像Ｖに視線を移動させた場合、乗員２００の視線は一瞬、その人Ｅ１から離れることから、乗員２００には、「その人が道路に飛び出してくるかもしれない」という不安感が生じる。なお、図２（Ｂ）において、乗員２００の視線の移動を双方向の矢印で示している。
【００６０】
しかし、図１のＨＵＤ装置１００では、乗員２００が先に視認した人Ｅ１が、他の余分な背景物等に埋もれることなく効果的に表示されることから、ＨＵＤ装置１００の虚像Ｖを見ているときも、人Ｅ１の確認を適宜、行うことができる。従って、上記の不安感が軽減され、また、万一、人Ｅ１の飛び出しがあったときは、減速や急ブレーキ等の適切な処置を迅速にとることができる。従って、外部サーバーとの接続を行うといった複雑で高価なシステムを用いることなく、簡易に、乗員２００にとって有用な運転支援画像を提供することが可能となる。
【００６１】
また、撮像画像をそのまま表示する場合は、乗員２００にとって不要な画像が含まれることから見易い画像とはいえず、また、撮像画像のサイズを乗員２００にとって視認しやすい大きさに設定しようすると、撮像画像を表示するのに必要な領域の占有面積が大きくなり、他の表示コンテンツ（例えば、車速表示や注意喚起マーク等の運転支援情報）の視認性を妨げることにもなりかねない。もしくは、他の表示コンテンツと干渉して、そもそも撮像画像を視認しやすい大きさに拡大して表示することができないという事態も想定され得る。図１のＨＵＤ装置１００では、撮像画像をそのまま用いずに、乗員２００にとって有用な画像領域のみを抽出（切り出し）して利用するため、表示面積を抑制しつつ重要な箇所の画像を効率的に表示することができ、よって上記の問題点は生じない。
【００６２】
また、上記の図２（Ａ）の場合よりも、図２（Ｂ）の場合において、本発明に従うＨＵＤ装置の効果が発揮されることから、図２（Ｂ）のような場合にのみ、注視位置の取得を行ってもよい。この場合は、図１の表示制御部５０において、虚像外注視検出部６５が設けられる。
【００６３】
虚像外注視検出部６５は、少なくとも視線検出部３０の検出結果を用いることで、乗員２００の視線が、図２（Ａ）、（Ｂ）における表示画像ＨＰの虚像Ｖの外に向けられているか否かを判定する。この場合、図１の表示制御部５０における注視位置検出部５２は、虚像外注視検出部６５によって乗員２００の視線が表示画像ＨＰの虚像Ｖの外に向けられていると判定された場合に（例えば、その場合にのみ）、乗員２００の注視位置（注視点の位置）を検出してもよい。
【００６４】
このように、乗員２００の視線が表示画像ＨＰの虚像Ｖの外に向けられている（言い換えれば、乗員２００の視線が被投影部材３の投影領域４から外れている）と判定される場合に、乗員２００の注視位置（注視点の位置の情報）を取得し、これによって、注視位置検出部５２の負担を軽減しつつ、取得される注視点を、乗員が実際に注視していた実景についての注視点のみに限定することが可能となる。よって、有用な表示撮像画像ＣＰ２を効率的に得ることができる。
【００６５】
上述のとおり、図１のＨＵＤ装置１００は、乗員２００がＨＵＤ装置１００の虚像Ｖの外に視線を向けている状態から、ＨＵＤ装置１００の虚像Ｖへと視線を移すときに、今まで見ていた実景から視線が外れることによる不安感を払拭するという格別の効果が得られるものである。乗員２００の視線がＨＵＤ装置１００の虚像Ｖから外れている場合に見ている注視点は重要度の高い注視点であり、これを効率的に収集することで、装置の負担を軽減しつつ、上記の格別の効果を得ることが可能となる。
【００６６】
また、上記の虚像外注視検出部６５は、視線検出部３０の検出結果及び生体情報検出部６０の検出結果（解析結果）に基づいて、「乗員２００の視線が、表示画像ＨＰの虚像Ｖの外に向けられているか否かを判定する処理」を実行してもよい。
【００６７】
その判定結果に基づいて、注視位置検出部５２による注視点の検出動作が開始されてもよく、あるいは、例えば、表示撮像画像の縮小や非表示といった、影響力が大きい処理が行われてもよく（後述）、よって上記の判定には慎重を期す必要がある。そこで、上記の判定に際して、視線検出部３０による検出結果の他に、乗員２００の生体情報の検出結果も考慮して上記の判定を行い、判定精度をより高めるものである。
【００６８】
例えば、「路肩において、道路に進入するかもしれない人が視認された場合（図２（Ｂ）の場合）」には、乗員２００の視線は、道路脇へと大きく移動し、かつ、脈拍等の生体情報も数値が上昇して緊張がより高い状態となると考えられる。よって、脈拍等の生体情報も活用することで、「より緊張度の高い運転状況が出現し、そのことが原因で視線が大きくずれた」というような推定が可能であり、この推定される状況では、乗員２００の視線は、ＨＵＤ１００の虚像Ｖの外に向けられている可能性が高い。よって、より精度の高い判定が可能となる。なお、生体情報は脈拍に限定されるものではなく、例えば、心拍や脳の活動状況を示す脳血流量であってもよく、さらに他の生体情報であってもよい。
【００６９】
以下、第１〜第４の実施形態を用いて具体的に説明する。
（第１の実施形態）
まず、図３を参照する。図３（Ａ）は、第１の実施形態におけるＨＵＤ装置の主要な動作手順を示すフロー図、図３（Ｂ）は、図３（Ａ）のフロー図に対応した画像処理及び表示制御の例を示す図である。図３（Ｂ）では、図３（Ａ）におけるステップＳ１、Ｓ３、Ｓ４に対応する画像例が示されている。なお、図３（Ａ）、（Ｂ）において、図２と共通する部分には同じ符号を付しており、図２について説明した事項は、図３（Ａ）、（Ｂ）についても適用され得る。
【００７０】
図３（Ａ）のステップＳ１において、表示制御部５０は、車載カメラ１４によって撮像された撮像画像ＣＰ１における乗員２００の注視位置（図３（Ｂ）において○で示されている）情報を取得する。図３（Ｂ）に○で示される視点位置は、人Ｅ１に関する、今回取得されたものであり、言い換えれば、図２（Ｂ）において□で示される、これまでに取得された注視位置情報に追加して取得されたものである。この視点位置情報は、取得の度に記憶部３６に蓄積される。蓄積された注視位置の情報は、表示撮像画像ＣＰ２を生成に必要な注視領域を決定するために利用され得る。
【００７１】
ここで、注視位置を取得は、ステップＳ１〜Ｓ４の処理ループが回るたびに必ずしも行う必要はない。例えば、表示制御部５０の注視位置検出部５２は、視線検出部３０又は生体情報検出部６０の各検出結果の少なくとも一方に基づき、乗員２００の注視位置が、表示画像ＨＰの虚像Ｖ以外にあると判断された場合にのみ、注視位置（図３（Ｂ）の○）情報（座標位置）を検出（取得）するようにしてもよい。
【００７２】
これにより、表示制御部５０は、乗員２００が虚像Ｖ以外の実風景を視認している場合の注視位置（図３（Ｂ）の○）のみを取得できる。この場合は、表示撮像画像ＣＰ２の領域は、「乗員が虚像Ｖではなく、実風景を視認していた際の視認エリア」に制限され、乗員２００にとってより有益な画像となる。なぜなら、虚像Ｖの背景となっている実風景は、虚像Ｖを視認している際にも視認が比較的容易であり、乗員２００にとって表示撮像画像ＣＰ２として虚像表示される必要がない可能性が高いためである。
【００７３】
続いて、ステップＳ２において、表示撮像画像生成部５６は、記憶部３６に、乗員２００の注視領域を決定することができる所定数（最低限度の数であり、これを３以上の自然数ｍとする）以上の数の注視位置の情報が蓄積されているかを判定する。ある程度の数の注視位置情報に基づいて注視領域を決定することで、決定の精度が高まる。また、過去の複数の注視位置に基づく決定となるため、視線が瞬時的に大きく移動したとしても、直近の視点位置も考慮して注視領域が決められることから、瞬時的な視点の移動にいたずらに引きずられることがなく、安定した注視領域の決定が可能となる。
【００７４】
ステップＳ２において「蓄積されている場合（Ｙの場合）」は、ステップＳ３において、表示撮像画像生成部５６は、複数（所定数ｍ以上の複数）の注視位置情報に基づいて、その注視位置情報を含むようにして注視領域を決定し、その注視領域に従って部分画像を抽出（切り出し）し、これによって表示撮像画像ＣＰ２を生成する。所定数の注視位置情報が存在しない場合はステップＳ１に戻る。
【００７５】
続いて、ステップＳ４において、表示画像生成部５８における画像合成部６３は、表示撮像画像ＣＰ２を、撮像画像ＣＰ１から、運転支援画像としての表示撮像画像ＣＰ２を生成する。なお、表示制御部２００は、各注視位置情報に所定の寿命期間を付加し、寿命期間が過ぎた注視位置情報は採用しない（あるいは、記憶部３６から削除する）という処理を行ってもよい。
【００７６】
続いて、ステップＳ４において、表示画像生成部５８における画像合成部６３は、表示撮像画像ＣＰ２を、表示画像ＨＰに対応する表示画像エリア内の、運転支援情報（図２で説明したとおり、ここでは、注意喚起マークＣ０、車速表示（６０ｋｍ／ｈ）Ｃ３、前方に右折する曲がり角があることを示すナビゲーション表示としての矢印マークＣ２が含まれる）の未描画エリア（空エリア又は余白エリア）に、表示撮像画像ＣＰ２を配置して、表示画像ＨＰを生成する。そして、ステップＳ５において、表示画像生成部５８は、表示画像ＨＰをＨＵＤ制御部７０に出力する。
【００７７】
このような表示制御がなされることによって、乗員２００は、虚像Ｖに視点を合わせたことによって、それまで視認していた実風景を見ることが困難になったとしても、虚像Ｖ内に表示撮像画像ＣＰ２の虚像が含まれることから、それまでと同様に、実風景の状況を確認することができる。従って、従来、乗員が虚像Ｖを視認するときに感じる、「実風景を見なければわからない危険の察知、運転の予測が難しい」といった不安感を解消することができる。さらに、表示撮像画像ＣＰ２は、これまで注視してきた実風景を含む画像に限定されているため、図１のＨＵＤ装置１００では、撮像画像ＣＰ１をそのまま表示する場合に比べて、乗員２００に有益な画像情報を提供することができる。また、撮像画像ＣＰ１と表示撮像画像ＣＰ２を、例えば、同じ倍率だけ拡大して表示した際、その中にある１つ１つの画像情報（人や物、車線等）は、表示撮像画像ＣＰ２のほうが大きく表示されることになる。従って、画像拡大による各画像情報の視認性がより向上する。
【００７８】
（第２の実施形態）
次に、図４を参照する。図４は、第２の実施形態におけるＨＵＤ装置の主要な動作手順を示すフロー図である。第２の実施形態は、基本的には第１の実施形態と同じであるが、但し、第２の実施形態では、表示制御部５０が未描画エリアに表示撮像画像ＣＰ２を配置する際に、乗員２００の注視位置が虚像Ｖの内であるか外であるかに応じて、表示撮像画像ＣＰ２のサイズを変更する等の処理が行われ、この点が第１の実施形態とは異なる。また、サイズの変更等の処理は、ＨＵＤ装置１００の虚像表示の信頼性にも影響が及ぶ場合があるため、慎重を期すため、乗員２００の注視位置が虚像Ｖの内であるか外であるかの判定にあたっては、視線情報のみならず、生体情報も考慮することとしている。
【００７９】
まず、ステップＳ１において、表示制御部５０の注視位置検出部５２が、撮像画像上における注視位置（注視点）を検出（取得）し、その情報を記憶部５４に記憶し、生体情報検出部６０が生体情報を検出（取得）する。次に、表示撮像画像生成部５６が、注視位置情報が記憶部５４に所定数（上述のｍ）以上存在するか否かを判定する。次に、表示撮像画像生成部５６が、撮像画像ＣＰ１から部分画像を抽出（切り出し）して、表示撮像画像ＣＰ２を生成する。
【００８０】
次に、ステップＳ４において、図１の表示制御部５０に設けられる虚像外注視検出部６５が、記憶部５４から注視位置の情報を読み出し、かつ生体情報検出部６０から送られてくる生体情報を受け取り、双方の情報に基づいて、乗員２００が虚像Ｖを注視している（つまり、視点が虚像内にある）か否かを判定する。
【００８１】
ステップＳ４でＹのときは、ステップＳ５において、表示撮像画像生成部６３に含まれる画像サイズ変更部６１が、表示撮像画像ＣＰ２のサイズを拡大（もしくは現サイズを維持）して、運転支援情報（車速表示等）の未描画エリアに配置する。これによって、視認性を向上させることができる。
【００８２】
また、ステップＳ４においてＮの場合は、ステップＳ６において、表示撮像画像生成部６３に含まれる画像サイズ変更部６１が、表示撮像画像ＣＰ２のサイズを、虚像Ｖを注視している場合よりも縮小し、運転支援情報（車速情報等）の未描画エリアに配置する、もしくは、表示撮像画像ＣＰ２を未描画エリアに配置しない(言い換えれば非表示とする）。これによって、乗員２００が表示撮像画像ＣＰ２を周辺視することによって発生する違和感を軽減、もしくは解消することができる。続いて、ステップＳ７で、表示制御部５０は、生成した表示画像ＨＰを、ＨＵＤ制御部７０に出力する。
【００８３】
ここで、ステップＳ４において、「乗員が虚像Ｖを注視しているか」を判断する際。視線情報のみに基づく判断であってもよく、また、視線情報だけでは判断が難しい場合にのみ、生体情報を追加の判断材料として用いるようにしてもよい。
【００８４】
例えば、乗員２００の注視位置が虚像Ｖと実背景にまたがっている場合、脈拍の上昇量による緊張度の推定、脳への負荷情報に基づく心理状態の推定等を行い、これを追加の判断材料とすることができる。具体的には、例えば、脈拍や脳負荷が所定の値以下であれば、乗員２００はリラックスしてウインドシールド３を介して遠方を見ている（つまり、乗員は虚像Ｖ以外を見ている）可能性が高いと判断することができ、負荷が所定の値以上であれば、乗員２００は、何等かの緊張状態にあり、よって、その緊張の原因となっている対象を見ている、つまり、比較的前方の対象物を注視している可能性が高く、この場合、必要な情報を集約して得るために、乗員２００が虚像Ｖを注視する可能性も否定できない、といった判断を行うことができる。
【００８５】
また、ステップＳ４において、「乗員２００の視線が虚像Ｖに向けられているか、虚像Ｖの外に向けられているか」ではなく、「虚像Ｖの内の、運転支援情報（速度表示等）の虚像に向けられているか、運転支援情報（速度表示等）の虚像の外に向けられているか」を判定するようにしてもよい。この場合は、表示制御部２００は、乗員２００が虚像Ｖにおける背景部分（運転支援情報以外の虚像領域）を通して車両１の周辺を見ている場合においても、撮像画像を縮小、もしくは非表示にでき、よって、乗員２００が虚像Ｖを注視しつつも表示撮像画像ＣＰ２を周辺視しまうことで発生する違和感を軽減することができる。
【００８６】
このように、第２の実施形態では、乗員２００の視線が、ＨＵＤ装置１００による虚像Ｖの外にあるか、内にあるかによって、表示撮像画像ＣＰ２のサイズに差を設ける。言い換えれば、表示撮像画像ＣＰ２の重要性が高いと考えられる状況では、表示撮像画像ＣＰ２を拡大する（言い換えれば、撮像画像ＣＰ１から部分画像を抽出することによって得られた当初のサイズよりも大きなサイズとする）、あるいは現状のサイズを維持することによって視認性の向上（又は確保）を図り、一方、表示撮像画像の重要性が比較的低い（不便をもたらすと考えられる場合を含む）においては、表示撮像画像ＣＰ２を縮小する（言い換えれば、撮像画像から部分画像を抽出することによって得られた当初のサイズよりも小さなサイズとする）、又は非表示とすることで、乗員に余分な負担が生じることを抑制する。
【００８７】
また、「視線が、ＨＵＤ装置１００による虚像Ｖの外にあるか、内にあるか」という場合分けに関しては、上述のとおり、ＨＵＤ装置１００の表示画像（運転支援情報及び表示撮像画像を含む全体の画像）ＨＰを見ているか否かという観点で場合分けしてもよく、又、より厳密に視点位置を判定して、表示画像内における運転支援情報を見ているか否かで場合分けしてもよい。
【００８８】
乗員２００が虚像Ｖの外を見ているということは、すなわち前方等の実景を見ている可能性が高いということであり、この場合、通常のサイズの表示撮像画像ＣＰ２を表示しておくと、乗員２００によってその表示撮像画像ＣＰ２が周辺視される状況（言い換えれば、乗員２００の周辺の視野に表示撮像画像ＣＰ２が見えてしまい、同じ画像が２つ見える、いわゆる２重映しの状況）となり、かえって混乱をもたらす可能性もあることから、表示撮像画像を縮小、又は非表示とするものである。
【００８９】
また、運転支援情報の虚像を見ているか否かで場合分けする場合には、さらに、以下の効果が得られる。すなわち、乗員の視点位置が、表示画像の虚像内ではあるが、運転支援情報の虚像外であるという場合には、乗員は、透光性の部材である被投影部材３を介して、背後の実景を見ている可能性が高いということである。よって、この場合においても、通常のサイズの表示撮像画像を表示しておくと、乗員によってその表示撮像画像が周辺視されて、かえって混乱を与える可能性がある。上記の、より厳密な場合分けを行うことによって、このような場合においても、適切な表示撮像画像の表示制御を行うことができる。なお、表示撮像画像を非表示とすることは、表示撮像画像を表示画像エリアに配置しないことによって実現されてもよく、一時的に、表示画像全体を非表示とすることによって実現されてもよい。
【００９０】
（第３の実施形態）
次に、図５を参照する。図５（Ａ）は、第３の実施形態におけるＨＵＤ装置の主要な動作手順を示すフロー図、図５（Ｂ）は、図５（Ａ）のフロー図に対応した画像処理及び表示制御の例を示す図、図５（Ｃ）は、構成要素毎の優先順位の例を示す図である。なお、図４（Ｂ）では、図５（Ａ）におけるステップＳ４〜Ｓ６の各々に対応する画像例が示されている。また、図５（Ａ）〜図５（Ｃ）において、前掲の図（特に図２や図３）と共通する部分には同じ符号を付しており、図２、図３について説明した事項は、図５においても適用され得る。
【００９１】
本実施形態では、表示制御部５０は、表示撮像画像ＣＰ２、及び運転支援情報（ここでは、注意喚起マークＣ１、前方に右折する曲がり角があることを示すナビゲーション表示としての矢印マークＣ２、車速表示（６０ｋｍ／ｈ）Ｃ３とする）を対象として優先順位を付与し、表示撮像画像ＣＰ２よりも優先順位の低い構成要素（図５（Ｃ）からわかるようにＣ２、Ｃ３が該当する）については、サイズを縮小して空スペースを増やすと共に、優先順位の低い構成要素を目立たないようにしておき、未描画エリアに表示撮像画像ＣＰ２を配置して、表示画像ＨＰを生成する。これによって、優先順位が高い情報を、見易くして乗員２００に提示することが可能となる。
【００９２】
以下、具体的に説明する。図５（Ｃ）に示されるように、優先順位は、構成要素Ｃ１が最も高く、ＣＰ２、Ｃ２、Ｃ３の順に優先順位が低下する。なお、優先順位の付与は、図１の表示画像生成部５８に含まれる優先順位付与部５９によって実行される。
【００９３】
図５（Ａ）において、ステップＳ１〜Ｓ３は、図３におけるステップＳ１〜Ｓ３と同じである。ステップＳ４において、優先順位付与部５９が、運転支援情報の各構成要素（Ｃ１〜Ｃ３）、及び表示撮像画像ＣＰ２に対して優先順位を付与する。優先順位の付与結果は、図５（Ｃ）のとおりである。
【００９４】
次に、ステップＳ５において、運転支援情報の構成要素（Ｃ１〜Ｃ３）の内の、表示撮像画像ＣＰ２の優先順位より低い優先順位のもの（図５（Ｃ）からＣ２、Ｃ３であることがわかる）を縮小する。ステップＳ６において、生成された表示撮像画像ＣＰ２を、運転支援情報（Ｃ１〜Ｃ３）の未描画エリアに配置し、これを最終的な表示画像ＨＰとする。そして、ステップＳ７において、表示制御部５０は、表示画像ＨＰをＨＵＤ制御部７０に出力する。
【００９５】
ここで、表示撮像画像ＣＰ２と運転支援情報（Ｃ１〜Ｃ３）に対する優先順位の付与の具体例について説明する。表示撮像画像ＣＰ２と運転支援情報（Ｃ１〜Ｃ３）とでは、異なる優先順位の付与方法が使用される。
【００９６】
運転支援情報（Ｃ１〜Ｃ３）については、構成要素（単に「要素」、あるいは「表示コンテンツ」と称することもある）毎に、予め設定していた優先順位を決めるための点数（以後、優先度スコア）が付与される。
【００９７】
一方、表示撮像画像ＣＰ２の優先順位については、撮像画像ＣＰ１の解析結果を考慮して行われる。すなわち、図１の撮像画像処理部４０に含まれる撮像画像解析部４２が、撮像画像ＣＰ１から検出物（撮像画像に含まれる各種の要素）と、それに付随する情報とを抽出して、記憶部４４に記憶させる。表示制御部５０の表示画像生成部に含まれる優先順位付与部５９は、記憶部４４から上記の検出物及び付随情報を読み出し、それらの情報を基に各検出物に優先度スコアを付与する。そして、付与した複数の点数を総合的に勘案して表示撮像画像ＣＰ２の優先度スコアを求める。これによって、表示撮像画像ＣＰ２の優先順位が求められる。
【００９８】
なお、上記の検出物は、例えば、図５（Ｂ）の上側の図に示されるように、人Ｅ１、標識Ｅ２、及びセンターライン等Ｅ４が該当する。そして、それら検出物に付随する情報とは、検出物毎のカテゴリ、車間距離、大きさなどである。上記の検出物毎の優先度スコアは、付随する情報ごとに係数を掛けることで算出する。当然、ある情報の係数を０とすることで、一部の情報を優先度スコアの算出に含めないようにしてもよい。また、表示撮像画像ＣＰ２の優先度スコアは、表示制御部５０が任意のアルゴリズムで算出してよい。例えば、表示撮像画像ＣＰ２の優先度スコアを各検出物の優先度スコアの最高点とすれば、図５（Ａ）のステップＳ５において、最も多くの運転支援情報の要素を縮小することができる。その結果、表示撮像画像ＣＰ２の配置領域を拡大することができる。しかし、最高点とすると、優先度が比較的高い構成要素までもが縮小される恐れがある。そのため、表示撮像画像ＣＰ２の優先度スコアは、例えば抽出物の平均値とするなど、縮小する構成要素と表示撮像画像ＣＰ２との双方において、視認性のバランスが取れるよう、慎重に定めるのが好ましい。なお、縮小率は、縮小対象の構成要素毎に、優先度スコアに応じて任意に定めてもよい。
【００９９】
（第４の実施形態）
第４の実施形態では、「運転支援情報の構成要素（Ｃ１〜Ｃ３）及び撮像画像ＣＰ１に含まれる主要な構成要素（Ｅ１〜Ｅ４）」を対象として優先順位を付与しておき、撮像画像ＣＰ１から部分画像を抽出して表示撮像画像ＣＰ２を生成する際に、その優先順位も考慮に入れて抽出する領域（切り出す領域）を決定する。
【０１００】
まず、図６を参照する。図６は、本発明に従うＨＵＤ装置の、第４の実施形態に対応する構成例を示す図である。構成は概ね図１と同じであるが、図６では、図１の構成に加えて、表示制御部５０内に優先順位付与部５３が設けられており、この点で図１とは異なる。その他の構成は、図１と同じである。なお、図６において、優先順位付与部５３に入力される情報をわかり易くするために、太い点線で情報の流れを示している。
【０１０１】
次に、図７を参照する。図７（Ａ）は、第４の実施形態におけるＨＵＤ装置の主要な動作手順を示すフロー図、図７（Ｂ）は、図７（Ａ）のフロー図に対応した画像処理及び表示制御の例を示す図、図７（Ｃ）は、構成要素毎の優先順位の例を示す図である。なお、図７（Ｂ）では、図７（Ａ）におけるステップＳ３、Ｓ４、Ｓ６、Ｓ７の各々に対応する画像例が示されている。また、図７（Ａ）〜図７（Ｃ）において、前掲の図（図２、図３、図５）と共通する部分には同じ符号を付しており、図２〜図５について説明した事項は、図７においても適用され得る。
【０１０２】
図７（Ａ）のステップＳ１、Ｓ２は、図３、図４、図５（Ａ）のステップＳ１、Ｓ２と同じである。ステップＳ３において、図６の優先順位付与部５３は、運転支援情報（Ｃ１〜Ｃ３）の各構成要素、及び撮像画像ＣＰ１の各構成要素（Ｅ１〜Ｅ４）に優先順位を付与する。優先順位の付与方法は、第３の実施形態で説明したものと同様である。優先順位の付与結果は、図７（Ｃ）のとおりである。構成要素Ｃ１が最も優先順位が高く、以下、Ｅ１、Ｅ２、Ｃ２、Ｃ３、Ｅ４、Ｅ３の順に優先順位が低下する。
【０１０３】
ステップＳ４では、注視位置と各構成要素の優先順位とに基づき撮像画像を抽出し、これによって表示撮像画像ＣＰ３を生成する。
【０１０４】
言い換えれば、表示撮像画像生成部５６は、注視位置検出部５２によって検出された複数の注視点の位置に基づいて複数の注視点を含むように注視領域を決定し、そして、優先順位付与部５３によって付与された優先順位（図７（Ｃ））を参照して、撮像画像ＣＰ１の主要な構成要素（Ｅ１〜Ｅ４）の内の、優先順位が上位であるものが少なくとも含まれるように、かつ注視領域が含まれるように、撮像画像ＣＰ１から部分画像を抽出し、抽出された部分画像を表示撮像画像ＣＰ３として出力する。
【０１０５】
ここで、図７（Ｂ）のステップＳ４に対応する画像を参照する。乗員２００は、道路上のみを見ており、左前方に出現した、道路に向かって移動する人Ｅ１には視線を向けていない。言い換えれば、乗員２００は、人Ｅ１に気づいていない。この場合、第１〜第３の実施形態によれば、撮像画像ＣＰ１から抽出される部分画像は、乗員２００の複数の注視位置情報により決定される。よって、表示撮像画像ＣＰ２が生成されるが、その表示撮像画像ＣＰ２には、注意を要する人Ｅ１が含まれないことになる。しかし、本実施形態の場合、人Ｅ１には、２番目に高い優先順位が付与されていることから（図７（Ｃ））、この優先順位も考慮されて、人Ｅ１を含むように部分画像が抽出され、よって、人Ｅ１が含まれる表示撮像画像ＣＰ３が生成される。
【０１０６】
次に、ステップＳ５において、表示画像生成部５８の優先順位付与部５９が、生成された表示撮像画像ＣＰ３の優先順位を、ステップＳ３にて付与された優先順位に基づいて決定する。ここでは、表示撮像画像ＣＰ３の優先順位は、構成要素Ｃ１より低く、構成要素Ｃ２、Ｃ３よりも高い、言い換えれば、優先順位に関しては、Ｃ１＞ＣＰ３＞Ｃ２、Ｃ３の関係が成立するものとする。
【０１０７】
次に、ステップＳ６において、表示画像生成部５８の画像サイズ変更部６１が、運転支援情報の構成要素（Ｃ１〜Ｃ３）の内の、表示撮像画像ＣＰ３の優先順位よりも低い優先順位のもの（ここではＣ２、Ｃ３）のサイズを縮小する。なお、構成要素Ｃ１については、現状のサイズを維持する（図７（Ｂ）のステップＳ６に対応する画像参照）。
【０１０８】
次に、ステップＳ７において、表示画像生成部５８の画像合成部６３が、表示撮像画像ＣＰ３を、表示画像エリアの内の、運転支援情報（Ｃ１〜Ｃ３）の未描画エリア（空エリア又は余白エリア）に配置し、これによって、最終的な表示画像ＨＰを生成する。そして、ステップＳ８において、表示画像ＨＰをＨＵＤ制御部７０に出力する。
【０１０９】
このように、第４の実施形態では、「運転支援情報の構成要素（Ｃ１〜Ｃ３）及び撮像画像ＣＰ１に含まれる主要な構成要素（Ｅ１〜Ｅ４）」を対象として優先順位を付与しておき、撮像画像ＣＰ１から部分画像を抽出して表示撮像画像を生成する際に、その優先順位も考慮に入れて抽出する領域（切り出す領域）を決定し、これによって、表示撮像画像ＣＰ３を生成する。
【０１１０】
第１の実施形態では、乗員２００の注視領域のみに着目して抽出する領域を決定していることから、例えば、乗員２００がぼんやりと運転していて、道路上へ飛び出そうとしている人Ｅ１に気づかず、その人には視線が向けられないといった状況（図７（Ｂ）のステップＳ４に対応する画像）では、その飛び出そうとしている人Ｅ１についての画像は、表示撮像画像ＣＰ２には含まれないことになり、よって、重要性の高い対象である人Ｅ１についての画像の表示ができない。
【０１１１】
これに対して、第４の実施形態では、表示制御部５０に新たに含まれる優先順位付与部５３が、撮影手段（車載カメラ１４）によって撮影された撮像画像ＣＰ１を分析し、主要な構成要素（Ｅ１〜Ｅ４）について優先順位を付与することから、上記の「飛び出そうとしている人Ｅ１」については確実に、高い優先順位（図７（Ｃ）では第２の優先順位）が付与されることになる。
【０１１２】
よって、表示撮像画像を生成する際に、「優先順位が上位であるものが少なくとも含まれるように、かつ注視領域が含まれるように抽出する」ことによって、上記の「飛び出そうとしている人Ｅ１」も確実に表示撮像画像ＣＰ３に含まれることになる。従って、その表示撮像画像ＣＰ３（を含む表示画像ＨＰの虚像Ｖ）によって乗員の注意を喚起して、事故を未然に防止するといったことが可能となる。言い換えれば、本実施形態によって、より有用性の高い、運転支援画像としての表示撮像画像ＣＰ３の提供が可能となる。
【０１１３】
また、上述のとおり本実施形態では、「優先順位が上位であるものが少なくとも含まれるように、かつ注視領域が含まれるように部分画像を抽出する」という処理が行われることから、抽出された部分画像である表示撮像画像ＣＰ３のサイズが大きくなり易いと考えられる。そこで、本実施形態では、運転支援情報の構成要素（Ｃ１〜Ｃ３）の内の、表示撮像画像ＣＰ３の優先順位よりも低い優先順位のもの（Ｃ２、Ｃ３）を、縮小することで、未描画のエリア（余白エリア）を効果的に増大させる。よって、表示撮像画像ＣＰ３を配置するための、最小限度のサイズ以上のエリア（空スペース）を確実に確保することができる。
【０１１４】
以上、本発明をいくつかの実施形態に基づいて説明したが、本発明はこれらに限定されるものではなく、種々、変形、応用が可能である。例えば、前掲の実施形態では、車載カメラにて前方の実景を撮像しているが、道路側のカメラが撮像した実景の画像や、運転支援システムのカメラが撮像した運転支援用の画像を車両に送信するようにしてもよく、この場合も、同様の効果を得ることができる。
【０１１５】
また、前掲の実施形態では、主として、道路を走行中の車両の前方（斜め、あるいは横方向を含む広い意味に解釈するのが好ましい）に注意するべき対象（道路に向かって移動する人等）が存在する例について説明したが、これに限定されるものではない。
【０１１６】
例えば、車両が後進（バック）している場合にも、本発明は適用可能である。例えば、乗員が車両をバックさせているときに、車両に搭載される車載カメラで後方を撮影（撮像）し、その画像を車両側で解析して、音声等によるナビゲーションを行う場合、ＨＵＤ装置にも、ナビゲーション情報を表示する場合があり得る。
【０１１７】
後方を視認しながら車両を後方に移動させている最中に、乗員がＨＵＤ装置の表示を確認するべく、一瞬、前方の虚像を見るとき、後方の実景の視認はできない。しかし、本発明を用いると、ＨＵＤ装置の虚像に、後方の実景画像（言い換えれば「表示撮像画像」）の虚像を含ませることができ、よって、乗員は、前を見た状態でも、ＨＵＤ装置の虚像によって、後方の実景をほぼリアルタイムで確認することができ、よって、急な人の飛び出し等の不測の事態が生じたとしても、適切な対処が可能となる。このように、本発明は、種々の運転状況に対応して、幅広く利用することが可能である。
【０１１８】
本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。
【符号の説明】
【０１１９】
１・・・車両、２・・・視点（目、瞳）、３・・・ウインドシールド（広義には、被投影部材）、４・・・投影領域、１０・・・車載ＥＣＵ、１１・・・インストルメントパネル、１４・・・車載カメラ、１６・・・視線カメラ、１８・・・生体情報測定部（脈拍計等）、３０・・・視線検出部、３２・・・視線方向検出部、３４・・・視線ベクトル算出部、３６・・・記憶部、４０・・・撮像画像処理部、４２・・・撮像画像解析部、４４・・・記憶部、５０・・・表示制御部、５２・・・注視位置検出部、５３・・・優先順位付与部、５４・・・記憶部、５６・・・表示撮像画像生成部、５８・・・表示画像生成部、５９・・・優先順位付与部、６０・・・生体情報検出部、６１・・・画像サイズ変更部、６３・・・画像合成部、６３・・・表示撮像画像生成部、６３・・・画像合成部、６５・・・虚像外注視検出部、７０・・・画像表示部、７０・・・ＨＵＤ制御部、８０・・・画像表示部、８０・・・画像表示部、８２・・・光学系、８３・・・表示面、８５・・・反射鏡、１００・・・ＨＵＤ装置、２００・・・乗員、２００・・・生体情報測定部、Ｃ０、Ｃ１・・・注意喚起マーク、Ｃ２・・・矢印マーク、Ｃ３・・・車速表示、ＣＰ１・・・撮像画像、ＣＰ２、ＣＰ３・・・表示撮像画像、Ｅ１・・・人、Ｅ２・・・標識、Ｅ３・・・木、Ｅ４・・・センターラインや道路端等、ＨＰ・・・表示画像、Ｌ・・・表示光、Ｍ・・・表示画像、Ｖ・・・虚像。
【図１】
2018185654.tif 000003
【図２】
2018185654.tif 000004
【図３】
2018185654.tif 000005
【図４】
2018185654.tif 000006
【図５】
2018185654.tif 000007
【図６】
2018185654.tif 000008
【図７】
2018185654.tif 000009