(57)【要約】  運転を妨げるような異常な表示を防止または抑止することが可能なヘッドアップディスプレイ装置を提供する。そこで、ヘッドアップディスプレイ装置１は、ウィンドシールドの表示領域へ投影映像を投影することで、投影映像が重畳された風景を車両の運転者に視認させるものであり、映像データ生成部２８と、映像表示装置３５と、監視カメラ７０と、映像診断部２５ｂとを有する。映像データ生成部２８は、投影映像の表示内容を定める表示映像データを生成する。映像表示装置３５は、表示映像データに基づいて表示映像を表示する。監視カメラ７０は、表示映像を風景が重畳される前に撮像する。映像診断部２５ｂは、監視カメラ７０で撮像された撮像映像に基づいて投影映像の異常の有無を診断する。
2020049881.tif 000002
【特許請求の範囲】
【請求項１】
ウィンドシールドの表示領域へ投影映像を投影することで、前記投影映像が重畳された風景を車両の運転者に視認させるヘッドアップディスプレイ装置であって、
前記投影映像の表示内容を定める表示映像データを生成する映像データ生成部と、
前記表示映像データに基づいて表示映像を表示する映像表示装置と、
前記表示映像を前記風景が重畳される前に撮像する監視カメラと、
前記監視カメラで撮像された撮像映像に基づいて前記投影映像の異常の有無を診断する映像診断部と、
を有するヘッドアップディスプレイ装置。
【請求項２】
請求項１記載のヘッドアップディスプレイ装置において、
前記映像診断部は、前記撮像映像内の投影対象物と、前記表示映像データが表す出力予定映像内の投影対象物との同一性を検証することで前記投影映像の異常の有無を診断する、
ヘッドアップディスプレイ装置。
【請求項３】
請求項１または２記載のヘッドアップディスプレイ装置において、
前記映像診断部は、前記撮像映像に占める投影対象物の割合を検出することで前記投影映像の異常の有無を診断する、
ヘッドアップディスプレイ装置。
【請求項４】
請求項１または２記載のヘッドアップディスプレイ装置において、
前記映像診断部は、前記撮像映像に占める塗りつぶし領域の割合を検出することで前記投影映像の異常の有無を診断する、
ヘッドアップディスプレイ装置。
【請求項５】
請求項１記載のヘッドアップディスプレイ装置において、
前記監視カメラは、前記ウィンドシールドの前記表示領域を前記ウィンドシールドの略法線方向から撮像するように設置される、
ヘッドアップディスプレイ装置。
【請求項６】
請求項１記載のヘッドアップディスプレイ装置において、
さらに、コールドミラーであり、前記映像表示装置で表示された前記表示映像を表面で反射して前記表示領域へ投影する凹面鏡を有し、
前記監視カメラは、前記凹面鏡の裏面から前記凹面鏡越しに前記表示映像を撮像するように設置される、
ヘッドアップディスプレイ装置。
【請求項７】
請求項１記載のヘッドアップディスプレイ装置において、
前記映像表示装置で表示された前記表示映像を直接撮像するように設置される、
ヘッドアップディスプレイ装置。
【請求項８】
請求項１記載のヘッドアップディスプレイ装置において、
さらに、前記映像表示装置で表示された前記表示映像を表面で反射する反射鏡を有し、
前記監視カメラは、前記反射鏡の表面を撮像するように設置される、
ヘッドアップディスプレイ装置。
【請求項９】
請求項１記載のヘッドアップディスプレイ装置において、
さらに、前記映像診断部によって異常有りと診断された場合に前記投影映像の表示内容を変更するエラー処理部を有する、
ヘッドアップディスプレイ装置。
【請求項１０】
ウィンドシールドの表示領域へ投影映像を投影することで、前記投影映像が重畳された風景を車両の運転者に視認させるヘッドアップディスプレイ装置であって、
前記投影映像の表示内容を定める表示映像データを生成する映像データ生成部と、
前記表示映像データに基づいて表示映像を表示する映像表示装置と、
前記投影映像が重畳された前記風景を撮像する監視カメラと、
前記監視カメラで撮像された撮像映像に基づいて前記投影映像の異常の有無を診断する映像診断部と、
を有するヘッドアップディスプレイ装置。
【請求項１１】
請求項１０記載のヘッドアップディスプレイ装置において、
前記映像診断部は、前記撮像映像内で前記風景と投影対象物とを区別し、前記撮像映像内の投影対象物と、前記表示映像データが表す出力予定映像内の投影対象物との同一性を検証することで前記投影映像の異常の有無を診断する、
ヘッドアップディスプレイ装置。
【請求項１２】
請求項１０または１１記載のヘッドアップディスプレイ装置において、
前記映像診断部は、前記撮像映像内で前記風景と投影対象物とを区別し、前記撮像映像に占める投影対象物の割合を検出することで前記投影映像の異常の有無を診断する、
ヘッドアップディスプレイ装置。
【請求項１３】
請求項１０または１１記載のヘッドアップディスプレイ装置において、
前記映像診断部は、前記撮像映像に占める塗りつぶし領域の割合を検出することで前記投影映像の異常の有無を診断する、
ヘッドアップディスプレイ装置。
【請求項１４】
請求項１０記載のヘッドアップディスプレイ装置において、
前記監視カメラは、前記ウィンドシールドの前記表示領域を前記運転者の目線方向から撮像するように設置される、
ヘッドアップディスプレイ装置。
【請求項１５】
請求項１０記載のヘッドアップディスプレイ装置において、
さらに、前記映像診断部によって異常有りと診断された場合に前記投影映像の表示内容を変更するエラー処理部を有する、
ヘッドアップディスプレイ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヘッドアップディスプレイ装置に関し、特に、ＡＲ（Augmented Reality：拡張現実）を利用したヘッドアップディスプレイ装置に適用して有効な技術に関する。
【背景技術】
【０００２】
特許文献１には、液晶プロジェクタ等の画像投射装置の投射領域を撮影するネットワークカメラと、ネットワークカメラで取得した投射領域の情報に基づいて、画像投射装置の異常を検出するコンピュータとを有する管理システムが示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１１４５３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、自動車を代表とする車両には、ヘッドアップディスプレイ（Head Up Display、以下では「ＨＵＤ」と記載する場合がある）が搭載される場合がある。ＨＵＤは、車速やエンジン回転数などの走行情報やナビゲーション情報などの各種情報をウィンドシールド（フロントガラス）などに投射して表示する。ＨＵＤを用いると、運転者は、ダッシュボードに組み込まれる計器盤、いわゆるインパネなどに視線を移動することなく必要な情報を得ることができる。このため、安全運転に寄与することが可能になる。【０００５】
一方、ＨＵＤでは、例えば、表示輝度の増加、表示情報の更新不可、不要な情報の大量表示などといった異常な表示が生じ得る。この場合、運転者の注意が実在する標識や障害物等ではなくＨＵＤの表示に注がれたり、運転者の視界不良が生じることなどによって、安全運転が阻害される恐れがある。また、ＨＵＤでは、近年、実在する風景上の対象物に各種情報を付加して表示するようなＡＲの利用が望まれる。ＡＲを利用したＨＵＤ（ＡＲ−ＨＵＤ）では、広い表示領域が必要とされるため、特に運転者の視界不良を招くような異常な表示を防止または抑止することが重要となる。【０００６】
本発明は、このようなことに鑑みてなされたものであり、その目的の一つは、運転を妨げるような異常な表示を防止または抑止することが可能なヘッドアップディスプレイ装置を提供することにある。【０００７】
本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【０００８】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。【０００９】
代表的なヘッドアップディスプレイ装置は、ウィンドシールドの表示領域へ投影映像を投影することで、投影映像が重畳された風景を車両の運転者に視認させるものであり、映像データ生成部と、映像表示装置と、監視カメラと、映像診断部とを有する。映像データ生成部は、投影映像の表示内容を定める表示映像データを生成する。映像表示装置は、表示映像データに基づいて表示映像を表示する。監視カメラは、表示映像を風景が重畳される前に撮像する。映像診断部は、監視カメラで撮像された撮像映像に基づいて投影映像の異常の有無を診断する。
【発明の効果】
【００１０】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、ヘッドアップディスプレイ装置において、運転を妨げるような異常な表示を防止または抑止することが可能になる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態１によるヘッドアップディスプレイ装置を搭載した車両の構成例を示す概略図である。
【図２】図１における映像表示ユニット周りの構成例を示す概略図である。
【図３】本発明の実施の形態１によるヘッドアップディスプレイ装置の主要部の構成例を示すブロック図である。
【図４】図３において、車両情報の取得に関わる箇所の構成例を示すブロック図である。
【図５】図３における映像診断部の処理内容の一例を説明する模式図である。
【図６】図３における映像診断部の処理内容の一例を示すフロー図である。
【図７】図３のヘッドアップディスプレイ装置における初期動作の一例を示すフロー図である。
【図８】図７におけるＨＵＤ装置の通常動作の一例を示すフロー図である。
【図９】異常発生時における図３のエラー処理部によるウィンドシールドへの表示内容の一例を示す図である。
【図１０】図５とは異なる監視カメラの設置箇所の一例を示す図である。
【図１１】図５とは異なる監視カメラの設置箇所の一例を示す図である。
【図１２】本発明の実施の形態２によるヘッドアップディスプレイ装置の主要部の構成例を示すブロック図である。
【図１３】図１２における映像診断部の処理内容の一例を説明する模式図である。
【図１４】図１２における映像診断部の処理内容の一例を示すフロー図である。
【図１５】図１２における監視カメラの各種設置箇所のそれぞれ異なる一例を示す図である。
【図１６】図１５とは異なる映像表示ユニットに対する監視カメラの設置箇所の一例を示す図である。
【図１７】（ａ）および（ｂ）は、本発明の前提として検討した異常表示画面の一例を示す図である。
【図１８】本発明の前提として検討した異常表示画面の他の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
【００１３】
（実施の形態１）
《ＨＵＤ装置の概要》
図１は、本発明の実施の形態１によるヘッドアップディスプレイ装置を搭載した車両の構成例を示す概略図である。図１のヘッドアップディスプレイ（ＨＵＤ）装置１は、車両２に搭載される。車両２は、代表的には、自動車であるが、必ずしもこれに限定されず、場合によっては鉄道車両等であってもよい。ＨＵＤ装置１は、車両２の各部に設置された各種センサなどから車両情報４を取得する。各種センサは、例えば、車両２で生じた各種イベントを検知したり、走行状況に係る各種パラメータの値を定期的に検知したりする。
【００１４】
車両情報４には、例えば、車両２の速度情報やギア情報、ハンドル操舵角情報、ランプ点灯情報、外光情報、距離情報、赤外線情報、エンジンＯＮ／ＯＦＦ情報、車内外のカメラ映像情報、加速度ジャイロ情報、ＧＰＳ（Global Positioning System）情報、ナビゲーション情報、車車間通信情報、および路車間通信情報などが含まれる。ＨＵＤ装置１は、このような車両情報４に基づいて、映像表示ユニット１２を用いてウィンドシールド３の表示領域５へ投影映像を投影する。これによって、ＨＵＤ装置１は、投影映像が重畳された風景を車両２の運転者に視認させる。
【００１５】
図２は、図１における映像表示ユニット周りの構成例を示す概略図である。図２に示す映像表示ユニット１２は、映像表示装置３５と、反射鏡３６と、凹面鏡（拡大鏡）３７とを有する。映像表示装置３５は、例えば、プロジェクタやＬＣＤ（Liquid Crystal Display）などであり、制御部から指示された表示映像データに基づいて表示映像を表示する。反射鏡３６や凹面鏡３７は、例えば、自由曲面ミラーや光軸非対称の形状を有するミラーである。反射鏡３６は、映像表示装置３５で表示された表示映像を表面で反射する。凹面鏡３７は、反射鏡３６で反射された表示映像を表面で反射および拡大し、開口部７を介して表示領域５へ投影する。
【００１６】
これにより、運転者６は、表示領域５に投射された投影映像を、透明のウィンドシールド３の先の虚像として、車外の風景（道路や建物、人など）に重畳される形で視認する。投影映像（虚像）の中には、例えば、道路標識や、自車の現速度や、風景上の対象物に付加される各種情報（ＡＲ情報）など、様々なものが含まれる。なお、図２では、例えば、凹面鏡３７の角度を調整することで、ウィンドシールド３上の表示領域５の位置を調整可能となっており、運転者６が視認する虚像の位置を上下方向に調整可能となっている。また、例えば、凹面鏡３７をより大面積化することなどにより、表示領域５の面積を拡大でき、より多くの情報を表示領域５へ投影することが可能になる。これにより、風景上の対象物に各種情報を付加して表示するようなＡＲ機能が実現できる。
【００１７】
《前提となる問題点》
図１７（ａ）および図１７（ｂ）は、本発明の前提として検討した異常表示画面の一例を示す図である。図１８は、本発明の前提として検討した異常表示画面の他の一例を示す図である。図１７（ａ）では、ナビゲーション情報に基づき表示領域５に表示される案内表示に異常が生じている。具体的には、図１７（ａ）の上方に示されるように、車両７６が交差点の左折ポイントＰ１を過ぎたにもかかわらず、左折案内の表示や左折ポイントＰ１までの距離が残存している状態となっている。この状態は、例えば、映像表示装置３５やナビゲーションシステムがフリーズした場合などで生じ得る。
【００１８】
図１７（ｂ）では、表示領域５の全体、あるいは大部分が塗りつぶされたような異常が生じている。この状態は、例えば、映像表示装置３５が故障した場合などで生じ得る。図１８では、表示領域５の全体に、不必要かつ無関係な多数の投影対象物が表示されるような異常が生じている。この状態は、例えば、ナビゲーションシステムに基づく表示映像データ自体に異常が有る場合などで生じ得る。
【００１９】
このような異常な表示が生じた場合、運転者は、実在する標識や障害物等ではなく異常な表示部分に気をとられてしまうため、安全運転が阻害される恐れがある。特に、図１７（ｂ）や図１８に示されるような状態では、運転者の視界不良も生じるため、安全運転がより阻害される恐れがある。この視界不良の問題は、広い表示領域５が必要とされるＡＲを利用したＨＵＤ装置（ＡＲ−ＨＵＤ装置と呼ぶ）において、より顕著となる。そこで、後述する実施の形態の方式を用いることが有益となる。
【００２０】
《ＨＵＤ装置の構成》
図３は、本発明の実施の形態１によるヘッドアップディスプレイ装置の主要部の構成例を示すブロック図である。図４は、図３において、車両情報の取得に関わる箇所の構成例を示すブロック図である。図３に示すヘッドアップディスプレイ（ＨＵＤ）装置１は、制御部（ＥＣＵ：Electronic Control Unit）１０ａと、スピーカ１１と、映像表示ユニット１２と、ミラー駆動部１３とを備える。映像表示ユニット１２は、図２に示したように、映像表示装置３５や凹面鏡３７を含む。
【００２１】
制御部１０ａは、主に、ＨＵＤ装置１における投影映像（虚像）の表示の制御や、音声出力の制御などを行う。制御部１０ａは、例えば、配線基板などによって構成され、配線基板上に実装される車両情報取得部１５、ＣＰＵ１６、不揮発性メモリ１７、揮発性メモリ１８、音声用ドライバ１９、表示用ドライバ２０、自己障害判定部２１、ユニット障害判定部２２およびエラー処理部２３などを備える。車両情報取得部１５は、例えば、ＣＡＮ（Controller Area Network）インタフェースやＬＩＮ（Local Interconnect Network）インタフェースなどであり、ＣＡＮやＬＩＮなどの通信プロトコルに基づいて車両情報４を取得する。
【００２２】
車両情報４は、図４に示されるように、車両情報取得部１５に接続される各種センサなどの情報取得デバイスによって生成される。図４には、各種情報取得デバイスの一例が示される。例えば、車速センサ４１は、図１の車両２の速度を検出し、検出結果となる速度情報を生成する。シフトポジションセンサ４２は、現在のギアを検出し、検出結果となるギア情報を生成する。ハンドル操舵角センサ４３は、現在のハンドル操舵角を検出し、検出結果となるハンドル操舵角情報を生成する。
【００２３】
ヘッドライトセンサ４４は、ヘッドライトのＯＮ／ＯＦＦを検出し、検出結果となるランプ点灯情報を生成する。照度センサ４５および色度センサ４６は、外光を検出し、検出結果となる外光情報を生成する。測距センサ４７は、車両２と外部の物体との間の距離を検出し、検出結果となる距離情報を生成する。赤外線センサ４８は、車両２の近距離における物体の有無や距離などを検出し、検出結果となる赤外線情報を生成する。エンジン始動センサ４９は、エンジンのＯＮ／ＯＦＦを検出し、検出結果となるＯＮ／ＯＦＦ情報を生成する。
【００２４】
加速度センサ５０およびジャイロセンサ５１は、車両２の加速度および角速度をそれぞれ検出し、検出結果として、車両２の姿勢や挙動を表す加速度ジャイロ情報を生成する。温度センサ５２は、車内外の温度を検出し、検出結果となる温度情報を生成する。路車間通信用無線送受信機５３は、車両２と、道路、標識、信号等との間の路車間通信によって路車間通信情報を生成する。車車間通信用無線送受信機５４は、車両２と周辺の他の車両との間の車車間通信によって車車間通信情報を生成する。
【００２５】
車内用カメラ５５および車外用カメラ５６は、それぞれ、車内および車外を撮影することで車内のカメラ映像情報および車外のカメラ映像情報を生成する。具体的には、車内用カメラ５５は、例えば、図２の運転者６の姿勢や、眼の位置、動きなどを撮影するＤＭＳ（Driver Monitoring System）用のカメラなどである。この場合、撮像された映像を解析することで、運転者６の疲労状況や視線の位置などが把握できる。
【００２６】
一方、車外用カメラ５６は、例えば、車両２の前方や後方などの周囲の状況を撮影する。この場合、撮像された映像を解析することで、周辺に存在する他の車両や人などの障害物の有無、建物や地形、雨や積雪、凍結、凹凸などといった路面状況、および道路標識などを把握することが可能になる。また、車外用カメラ５６には、例えば、走行中の状況を映像で記録するドライブレコーダなども含まれる。
【００２７】
ＧＰＳ受信機５７は、ＧＰＳ信号を受信することで得られるＧＰＳ情報を生成する。ＶＩＣＳ（Vehicle Information and Communication System、登録商標）受信機５８は、ＶＩＣＳ信号を受信することで得られるＶＩＣＳ情報を生成する。ＧＰＳ受信機５７やＶＩＣＳ受信機５８は、ナビゲーションシステムの一部として設けられてもよい。なお、図４の各種情報取得デバイスに関しては、適宜、削除することや、他の種類のデバイスを追加することや、他の種類のデバイスに置き換えることが可能である。
【００２８】
図３において、ＣＰＵ（Central Processing Unit）１６は、このような車両情報４を車両情報取得部１５を介して受信し、当該車両情報４などに基づいて、スピーカ１１に向けた音声データや、映像表示装置３５に向けた表示映像データなどを生成する。具体的には、ＣＰＵ１６は、音声データ生成部２７と、映像データ生成部２８と、歪み補正部２９と、光源調整部３０と、ミラー調整部３１と、映像診断部２５ａとを備える。これらの各部は、不揮発性メモリ１７または揮発性メモリ１８に格納されるプログラムによって実装される。
【００２９】
音声データ生成部２７は、必要に応じて、車両情報４などに基づく音声データを生成する。音声データは、例えば、ナビゲーションシステムの音声案内を行う場合や、ＡＲ機能によって運転者６に警告を発行する場合などで生成される。音声用ドライバ１９は、当該音声データに基づいてスピーカ１１を駆動し、スピーカ１１に音声を出力させる。
【００３０】
映像データ生成部２８は、車両情報４などに基づいて、図２等の表示領域５に投影される投影映像の表示内容を定める表示映像データを生成する。歪み補正部２９は、映像データ生成部２８からの表示映像データに対して歪み補正を加えた補正後の表示映像データを生成する。具体的には、歪み補正部２９は、図２に示したように、映像表示装置３５の表示映像を表示領域５に投影した場合に、ウィンドシールド３の曲率によって生じる表示映像の歪みを補正する。
【００３１】
表示用ドライバ２０は、歪み補正部２９からの補正後の表示映像データに基づいて映像表示装置３５内の各表示素子を駆動する。これによって、映像表示装置３５は、補正後の表示映像データに基づく表示映像を表示する。光源調整部３０は、映像表示装置３５の発光量を調整する。ミラー調整部３１は、ウィンドシールド３における表示領域５の位置を調整する必要がある場合に、ミラー駆動部１３を介して映像表示ユニット１２内の凹面鏡３７の角度を変更する。
【００３２】
ここで、車両情報４には、監視カメラで撮像された撮像映像が含まれる。監視カメラは、図４に示した車外用カメラ５６（場合によっては車内用カメラ５５）に該当し、表示領域５における投影映像が重畳された風景を撮像する。映像診断部２５ａは、詳細は後述するが、当該監視カメラで撮像された撮像映像に基づいて、表示領域５における投影映像の異常の有無を診断する。
【００３３】
自己障害判定部２１は、ＨＵＤ装置１におけるハードウェアなどの異常、すなわち装置異常の有無を判定する。自己障害判定部２１は、ＨＵＤ装置１の装置異常が発生していると判定した場合、異常発生信号を生成してエラー処理部２３へ出力する。ユニット障害判定部２２は、ＨＵＤ装置１以外の車両２に搭載されるユニットに障害が発生しているか否かを判定する。ユニット障害判定部２２は、他のユニットに異常が発生していると判定すると、異常発生信号を生成してエラー処理部２３へ出力する。
【００３４】
エラー処理部２３は、自己障害判定部２１またはユニット障害判定部２２から出力される異常発生信号を受けた場合や、映像診断部２５ａによって異常有りと診断された場合に表示されている投影映像（虚像）が運転の妨げとならないように投影映像の表示内容を変更する。不揮発性メモリ１７は、主に、ＣＰＵ１６で実行するプログラムや、ＣＰＵ１６内の各部の処理で使用する設定パラメータなどを予め記憶する。揮発性メモリ１８は、主に、取得した車両情報４や、ＣＰＵ１６内の各部の処理で使用されるデータなどを適宜保持する。例えば、監視カメラの撮像映像に基づく撮像映像データや、映像データ生成部２８や歪み補正部２９によって生成される表示映像データは、揮発性メモリ１８に保持される。
【００３５】
このように、自己障害判定部２１やユニット障害判定部２２は、ＨＵＤ装置の障害または障害の予兆を検知する。一方、映像診断部２５ａは、監視カメラによる実際の撮像画像から異常を検知する。自己障害判定部２１やユニット障害判定部２２を用いると、実際に表示領域５に異常が発生する前に予防措置を講じることが可能であるが、表示領域５の異常を招く全ての障害を検知できるとは限らないため、検知漏れが生じ得る。映像診断部２５ａを併用すると、この検知漏れを防止することが可能になる。ただし、映像診断部２５ａは、勿論、単独で適用することが可能であり、必ずしも、自己障害判定部２１やユニット障害判定部２２と併用する必要はない。
【００３６】
なお、図３の制御部（ＥＣＵ）１０ａ内の車両情報取得部１５、ＣＰＵ１６、不揮発性メモリ１７、揮発性メモリ１８、音声用ドライバ１９および表示用ドライバ２０の一部または全ては、適宜、マイクロコンピュータやＦＰＧＡ（Field Programmable Gate Array）などに実装されてもよい。また、自己障害判定部２１、ユニット障害判定部２２およびエラー処理部２３は、この例では、ＣＰＵ１６も含めて障害判定対象とし、ＣＰＵ１６の障害時にもエラー処理を行う観点から、例えば、ＣＰＵ１６の外部に設けたＦＰＧＡや、別途設けたプロセッサ等に実装される。ただし、自己障害判定部２１、ユニット障害判定部２２およびエラー処理部２３の一部または全ては、場合によってはＣＰＵ１６内に実装されてもよい。
【００３７】
《映像診断部の詳細》
図５は、図３における映像診断部の処理内容の一例を説明する模式図である。図５に示す監視カメラ５６ａは、図４に示した車外用カメラ５６の一つである。当該監視カメラ５６ａは、例えば、ヘッドレストのアイポイント付近に設置され、ウィンドシールドの表示領域５を運転者６の目線方向から撮像する。これによって、風景に投影映像が重畳された撮像映像（撮像映像データ）６０が得られる。ここでは、監視カメラは、ヘッドレストに設置されるが、これに限らず、例えば、運転者６が装着したメガネ（ゴーグル）などに設置されてもよい。
【００３８】
ここで、映像診断部２５ａは、まず、撮像映像６０内で風景と投影対象物（虚像）６４とを区別する区別処理Ｅ０を行う。区別処理Ｅ０は、例えば、撮像映像６０に対して各時刻のフレーム差分を検出することで行われる。具体的に説明すると、通常、投影対象物（虚像）６４は、変化しない時間が長いのに対して、風景は、刻一刻と変化する。この変化速度の違いを利用し、映像診断部２５ａは、撮像映像（撮像映像データ）６０に対し、例えば、短時間で変化する領域のデータを空白データに変更することなどで、投影対象物６４のみが残存した加工済み撮像映像（撮像映像データ）６１を生成する。
【００３９】
続いて、映像診断部２５ａは、第１の診断処理Ｄ１として、加工済み撮像映像６１（ひいては撮像映像６０）内の投影対象物６４と、表示映像データが表す出力予定映像６２内の投影対象物６３との同一性を検証することで投影映像の異常の有無を診断する。具体的には、映像診断部２５ａは、例えば、投影対象物６３のサイズ、形状および配置箇所と、投影対象物６４のサイズ、形状および配置箇所とが同等か否かを判定する。この際に、例えば、投影対象物６３のサイズ、形状および配置箇所と、投影対象物６４のサイズ、形状および配置箇所との違いが、それぞれ数％以内あれば、両者は同等と判定される。
【００４０】
図５の例では、出力予定映像（表示映像データ）６２内の投影対象物６３は１個の小さい左折案内図形であるのに対して、加工済み撮像映像６１（撮像映像６０）内の投影対象物６４は２個の大きい左折案内図形である。この場合、映像診断部２５ａは、投影対象物６３と投影対象物６４は同等でないと判定し、異常有りと診断する。なお、出力予定映像（表示映像データ）６２は、図３の映像データ生成部２８（または歪み補正部２９）によって生成される。
【００４１】
一方、加工済み撮像映像６１に示されるような異常は、出力予定映像（表示映像データ）６２の異常によって、出力予定映像６２自体に投影対象物６４のような２個の大きい左折表示図形が含まれているような場合にも生じ得る。そこで、映像診断部２５ａは、第２の診断処理Ｄ２として、加工済み撮像映像６１（撮像映像６０）に占める投影対象物６４の割合を検出し、その割合が予め定めた閾値を超えるか否かを判定することで投影映像の異常の有無を診断する。加工済み撮像映像６１のような状況では、投影対象物６４の割合は閾値を超えるため、異常有りと診断される。
【００４２】
また、例えば、加工済み撮像映像６１および出力予定映像６２が共に投影対象物を含まないような状況で、図１７（ｂ）に示したように、表示領域５全体が塗りつぶされるような異常が生じる可能性がある。そこで、映像診断部２５ａは、第３の診断処理Ｄ３として、撮像映像６０に占める塗りつぶし領域の割合を検出し、その割合が予め定めた閾値を超えるか否かを判定することで投影映像の異常の有無を診断する。塗りつぶし領域とは、例えば、風景を遮断するレベルの輝度を有する領域である。
【００４３】
第３の診断処理Ｄ３を用いると、映像診断部２５ａは、塗りつぶし領域の割合が閾値を超える図１７（ｂ）に示したような状況に加えて、例えば、図５において、投影対象物６４が塗りつぶされているような場合も、異常有りと診断することができる。ここで、区別処理Ｅ０では、例えば、撮像映像６０内の投影対象物６４を、内部の塗りつぶし状態を含めて抽出し難い場合がある。そこで、第２の診断処理Ｄ２は、投影対象物６４の内部状態に関わらず、投影対象物６４の輪郭で囲まれる領域の割合を検出することで行われる。一方、第３の診断処理Ｄ３は、投影対象物の有無に関わらず、風景を遮断するレベルの輝度を有する領域の割合を検出することで行われる。
【００４４】
図６は、図３における映像診断部の処理内容の一例を示すフロー図である。図６において、映像診断部２５ａは、まず、監視カメラによる撮像映像（撮像映像データ）と映像表示装置３５への出力予定映像（表示映像データ）とを取得する（ステップＳ２００）。続いて、映像診断部２５ａは、図５の区別処理Ｅ０で述べたように、撮像映像内で風景と投影対象物とを区別する（ステップＳ２０１）。次いで、映像診断部２５ａは、図５の第１の診断処理Ｄ１で述べたように、撮像映像内の投影対象物と出力予定映像内の投影対象物とが同等か否かを判定する（ステップＳ２０２）。
【００４５】
両者の投影対象物が同等でない場合（ステップＳ２０２の“Ｎｏ”時）、映像診断部２５ａは、エラー処理部２３へ異常発生信号を出力する（ステップＳ２０７）。これを受けて、エラー処理部２３は、投影映像（虚像）が運転の妨げとならないように投影映像の表示内容を変更する。具体的には、エラー処理部２３は、例えば、投影映像を実質的に消すような制御を行う。一方、両者の投影対象物が同等である場合（ステップＳ２０２の“Ｙｅｓ”時）、映像診断部２５ａは、ステップＳ２０３へ移行する。
【００４６】
ステップＳ２０３において、映像診断部２５ａは、図５の第２の診断処理Ｄ２で述べたように、撮像映像に占める投影対象物の割合を検出し、ステップＳ２０４において、その割合と予め定めた閾値とを比較する。映像診断部２５ａは、投影対象物の割合が閾値を超える場合（ステップＳ２０４の“Ｎｏ”時）、ステップＳ２０７に移行して異常発生信号を出力し、閾値を超えない場合（ステップＳ２０４の“Ｙｅｓ”時）、ステップＳ２０５へ移行する。
【００４７】
ステップＳ２０５において、映像診断部２５ａは、図５の第３の診断処理Ｄ３で述べたように、撮像映像に占める塗りつぶし領域の割合を検出し、ステップＳ２０６において、その割合と予め定めた閾値とを比較する。映像診断部２５ａは、塗りつぶし領域の割合が閾値を超える場合（ステップＳ２０６の“Ｎｏ”時）、ステップＳ２０７に移行して異常発生信号を出力し、閾値を超えない場合（ステップＳ２０６の“Ｙｅｓ”時）、映像診断処理を終了する。
【００４８】
このような映像診断処理を用いると、例えば、映像表示装置３５のフリーズによって生じた図１７（ａ）のような異常を、ステップＳ２０２の処理（第１の診断処理Ｄ１）によって検出できる。また、図１７（ｂ）のような異常を、ステップＳ２０６の処理（第３の診断処理Ｄ３）によって検出できる。さらに、図１８のような異常を、ステップＳ２０４の処理（第２の診断処理Ｄ２）によって検出できる。なお、ここでは、３種類の診断処理を用い、各診断結果のオア演算を行ったが、３種類の診断処理のいずれか１つ又は２以上を用いることや、適宜、各診断結果のアンド演算を行うことも可能である。
【００４９】
《ＨＵＤ装置の動作》
図７は、図３のヘッドアップディスプレイ装置における初期動作の一例を示すフロー図である。停止中の車両２においてイグニッションスイッチがＯＮされることでＨＵＤ装置１の電源がＯＮされると（ステップＳ０１）、ＨＵＤ装置１は、車両情報取得部１５を用いて車両情報４を取得する（ステップＳ０２）。続いて、ＣＰＵ１６は、車両情報４のうち、照度センサ４５や色度センサ４６などにより取得した外光情報に基づいて好適な明るさレベルを算出し（ステップＳ０３）、算出した明るさレベルとなるように映像表示装置３５の発光量を光源調整部３０を用いて設定する（ステップＳ０４）。明るさレベルは、外光が明るい場合には高く設定され、暗い場合には低く設定される。
【００５０】
次いで、映像データ生成部２８は、投影映像の表示内容を定める表示映像データを生成する（ステップＳ０５）。この表示内容は、例えば、予め定めた初期映像などである。続いて、歪み補正部２９は、映像データ生成部２８からの表示映像データに対して歪み補正を行い（ステップＳ０６）、表示用ドライバ２０は、当該補正後の表示映像データに基づいて映像表示装置３５の表示素子を駆動する（ステップＳ０７）。これにより、映像表示装置３５は、補正後の表示映像データに基づく表示映像を表示し、当該表示映像は、映像表示ユニット１２内の鏡を介してウィンドシールド３の表示領域５へ投影される。
【００５１】
その後、映像診断部２５ａは、図６に示したような映像診断処理を実行する（ステップＳ１０１）。その結果、異常発生信号が出力された場合（ステップＳ１０２の“Ｙｅｓ”時）、エラー処理部２３は、所定のエラー処理を行う（ステップＳ１０３）。このエラー処理の中には、投影映像の表示内容を変更する処理の他に、起動時障害であるためＨＵＤ装置１の通常動作を禁止するような処理が含まれてもよい。
【００５２】
一方、ステップＳ１０２で障害発生信号が出力されない場合（“Ｎｏ”時）、ＨＵＤ装置１における一連の初期動作を含む各部の起動・始動が完了し、ＨＵＤ−ＯＮ信号が出力される。ＣＰＵ１６は、このＨＵＤ−ＯＮ信号を受けたか否かを判定する（ステップＳ０８）。ＣＰＵ１６は、ＨＵＤ−ＯＮ信号を受けていなければ、ＨＵＤ−ＯＮ信号を受けるまで、ＨＵＤ−ＯＮ信号を一定時間待ち受ける（ステップＳ０９）。一方、ＣＰＵ１６は、ＨＵＤ−ＯＮ信号を受けた場合、後述するＨＵＤ装置１の通常動作を開始し（ステップＳ１０）、一連の初期動作を終了する。
【００５３】
図８は、図３におけるＨＵＤ装置の通常動作の一例を示すフロー図である。通常動作においても、基本的な処理の流れは上述の図７に示した初期動作と概ね同様である。まず、ＨＵＤ装置１は、車両情報取得部１５を用いて車両情報４を取得する（ステップＳ２１）。続いて、ＣＰＵ１６は、後述するステップＳ２３の処理を実行するか否かを判定する（ステップＳ２２）。このステップＳ２２の処理は、予め設定された時間を経過する毎に行われるものであり、前回の処理から設定時間を経過している場合にステップＳ２３の処理を実行すると判定される。
【００５４】
ＣＰＵ１６は、前回の処理から設定時間を経過している場合（ステップＳ２２の“Ｙｅｓ”時）、障害発生状況の確認および表示内容変更処理を実行する（ステップＳ２３）。障害発生状況の確認および表示内容変更処理は、自己障害判定部２１およびユニット障害判定部２２を用いてＨＵＤ装置１の障害発生状況を確認し、エラー処理部２３を用いてＨＵＤ装置１が表示する内容を変更する処理である。一方、ＣＰＵ１６は、前回の処理から設定時間を経過していない場合（ステップＳ２２の“Ｎｏ”時）、車両情報４のうち、照度センサ４５や色度センサ４６などにより取得した外光情報に基づいて明るさレベル調整処理を行う（ステップＳ２４）。
【００５５】
次いで、映像データ生成部２８は、ステップＳ２１の処理で取得した最新の車両情報４に基づいて、投影映像の更新内容を定め、当該更新内容に対応する表示映像データを生成する（ステップＳ２５）。更新内容の定め方は、車両情報４の内容やそれらの組み合わせなどに応じて様々なものがあり得る。例えば、速度情報が変化したことにより、常時表示されている速度表示の数値を変更する方法や、ナビゲーション情報に基づいて案内の矢印図形を表示／消去したり、矢印の形状や表示位置などを変更する方法などが挙げられる。
【００５６】
続いて、ＨＵＤ装置１は、車両２の走行状況に応じて視認性や表示内容の適切性などを維持するための調整・補正処理を行う。この際に、表示領域５自体の位置を調整する必要がある場合、ミラー調整部３１は、ミラー駆動部１３を介して凹面鏡３７の角度を変更し、表示領域５を上下に移動させるミラー調整処理を行う（ステップＳ２６）。
【００５７】
その後、ＨＵＤ装置１は、映像診断が必要か否かを判定する（ステップＳ１２１）。例えば、定期的に映像診断を行う場合、前回の映像診断から所定の時間以上が経過した場合に、映像診断が必要と判定される。ステップＳ１２１で映像診断が必要な場合（“Ｙｅｓ”時）、映像診断部２５ａは、図６に示したような映像診断処理を実行する（ステップＳ１２２）。この際に、映像診断部２５ａによって異常発生信号が出力された場合、エラー処理部２３は、投影映像の表示内容を、運転の妨げとならないように変更する処理を行う。この変更された表示内容は、例えば、次回の映像診断の直前まで維持され、次回の映像診断の直前に解除される。
【００５８】
一方、ステップＳ１２１で映像診断が不要な場合（“Ｎｏ”時）、ＣＰＵ１６は、ＨＵＤ−ＯＦＦ信号を受けたか否かを判定する（ステップＳ２７）。すなわち、上述した一連の通常動作を実行している際に、車両２の停止などに伴って電源ＯＦＦなどがなされると、ＨＵＤ装置１に対してＨＵＤ−ＯＦＦ信号が出力される。ＣＰＵ１６は、その出力有無を判定する。ＣＰＵ１６は、ＨＵＤ−ＯＦＦ信号を受けていなければ、ステップＳ２１の処理に戻り、ＨＵＤ−ＯＦＦ信号を受けた場合は、通常動作を終了する。
【００５９】
《エラー処理部による表示例》
図９は、異常発生時における図３のエラー処理部によるウィンドシールドへの表示内容の一例を示す図である。図９は、図２の車両２の運転者６が運転席からウィンドシールド３を介して視認している表示領域５の表示内容を模式的に示したものである。エラー処理部２３は、自己障害判定部２１、ユニット障害判定部２２または映像診断部２５ａからの異常発生信号を受け取ると、例えば、ＨＵＤ装置１自体をシャットダウンする処理を実行する。ＨＵＤ装置１がシャットダウンすることにより、図９に示すように、表示領域５には、何も表示されない。これにより、運転者６の視野を確保することができ、安全運転を維持することができる。
【００６０】
ＨＵＤ装置１のシャットダウンは、例えばＨＵＤ装置１と連携して動作するユニット、具体的には、車両２の自動運転を支援する自動運転システムが有するＥＣＵなどがＨＵＤ装置１に供給される電力を遮断することで行われる。その場合、エラー処理部２３は、制御信号を上述したユニットが有するＥＣＵなどに出力する。ＥＣＵは、エラー処理部２３からの制御信号を受け取ると、ＨＵＤ装置１に供給される電力を遮断する処理を行う。
【００６１】
あるいは、エラー処理部２３自身がＨＵＤ装置１に供給される電力を遮断する処理を行うようにしてもよい。この場合、エラー処理部２３は、シャットダウン処理を行うと共に、シャットダウン処理を行ったことを示すフラグを出力する。当該フラグは、例えば図３の不揮発性メモリ１７などに格納される。そして、ＨＵＤ装置１の起動の際にフラグが立っていた場合には、ＣＰＵ１６は、自己診断を実施して各種パラメータに異常がないことを確認した後、初期動作を実行する。なお、ここでは、ＨＵＤ装置１に供給される電力を遮断したが、その代わりに、映像表示装置３５に供給される電力を遮断してもよい。
【００６２】
また、表示領域５に虚像を表示させないようにする他の方式として、例えば、エラー処理部２３は、ＣＰＵ１６を介して光源調整部３０を制御することで、映像表示装置３５の発光量を調整する処理を行ってもよい。具体的には、映像表示装置３５がＬＣＤの場合、エラー処理部２３は、該ＬＣＤが備える光源であるバックライトをオフする。これにより、ＨＵＤ装置１は、投影映像（虚像）を表示する動作を行っているが、表示領域５には何も表示されていない状態にすることができる。
【００６３】
この場合の利点は、該バックライトをオフした後、表示領域５への虚像の表示を容易に復帰させることができる点である。例えば、自己障害判定部２１が障害有りと判定した場合（例えば、ＣＰＵ１６の温度が閾値を超えた場合など）でも、図８の処理（ステップＳ２３の処理）は定期的に実行される。このため、障害有りの状態が解消されると、エラー処理部２３が再びバックライトをオンに制御することで、正常状態に復帰することができる。また、例えば、バックライトをオフにしている状態でも、図８の映像診断処理（ステップＳ１２２）の直前でバックライトをオンに制御することで、当該映像診断処理（すなわち、復帰の可否確認）を実行することができる。そして、映像診断処理で異常無しの場合、そのまま正常状態に復帰することができる。
【００６４】
《監視カメラの設置箇所（変形例）》
図１０および図１１は、図５とは異なる監視カメラの設置箇所の一例を示す図である。図１０に示す監視カメラ５６ｂは、図４の車外用カメラ５６の一つであり、例えば、車内の天井に設置されるドライブレコーダである。監視カメラ５６ｂとして、このようなドライブレコーダを利用することで、監視カメラ５６ｂを別途搭載する必要がないためコストの低減などが図れる。ただし、ドライブレコーダの設置箇所・撮像範囲では、投影映像を撮像できない可能性がある。
【００６５】
このような場合、ＨＵＤ装置１は、図１０に示されるように、図３のミラー調整部３１を用いて凹面鏡３７の角度を一時的に変更することで、監視カメラ５６ｂで投影映像を撮像できる位置に表示領域５を移動させる。これによって、図６に示したような映像診断処理を実行することが可能になる。一方、表示領域５を移動させると、運転者６の視認に影響が生じる。このため、映像診断処理は、例えば、図７に示したような初期動作時や、または、一時停車中などで実行され、その後に、ミラー調整部３１を用いて表示領域５を元の位置に戻す処理が行われる。
【００６６】
図１１に示す監視カメラ５５ａは、図４の車内用カメラ５５の一つであり、例えば、運転者６の顔を撮像するように設置されるＤＭＳ用のカメラである。監視カメラ５５ａとして、このようなＤＭＳ用のカメラを利用することで、監視カメラ５５ａを別途搭載する必要がないためコストの低減などが図れる。また、図１０の場合のような表示領域５の調整処理も不要となる。
【００６７】
監視カメラ５５ａを用いると、撮像映像データ（撮像映像）６５ａに示されるように、顔に当たるＨＵＤ光から、投影映像の異常の有無を診断できる。具体的には、図６のステップＳ２０５の処理によって、映像表示装置３５の表示映像全体が塗りつぶされているような異常を検出できる。さらに、高解像度な監視カメラ５５ａを用いることで、監視カメラ５５ａは、撮像映像データ（撮像映像）６５ｂに示されるように、運転者６の瞳の中を撮像することができる。この場合、この瞳の中の映像を対象に、図６の画像診断処理を実行することが可能である。
【００６８】
《実施の形態１の主要な効果》
以上、実施の形態１のヘッドアップディスプレイ装置を用いることで、表示領域５に投影される投影映像の異常を検出可能になるため、それに基づいて、運転を妨げるような異常な表示を防止または抑止することが可能になる。また、特に、広い表示領域５が必要とされるＡＲ−ＨＵＤ装置において、運転者の視界不良を招くような異常な表示を防止または抑止することが可能になる。これにより、安全運転に寄与することが可能になる。
【００６９】
（実施の形態２）
《ＨＵＤ装置の構成》
図１２は、本発明の実施の形態２によるヘッドアップディスプレイ装置の主要部の構成例を示すブロック図である。図１２に示すヘッドアップディスプレイ（ＨＵＤ）装置１は、図３の構成例と異なり、ＨＵＤ装置１内に監視カメラ７０を備える。当該監視カメラ７０は、映像表示装置３５による表示映像を風景が重畳される前に撮像する。これに伴い、制御部１０ｂにおけるＣＰＵ１６内の映像診断部２５ｂは、当該監視カメラ７０で撮像された撮像映像に基づいて投影映像の異常の有無を診断する。その他の構成に関しては、図３の構成例と同様である。
【００７０】
《映像診断部の詳細》
図１３は、図１２における映像診断部の処理内容の一例を説明する模式図である。図１３の例では、監視カメラ７０は、映像表示装置３５で表示された表示映像を直接撮像するように設置される。その結果、当該監視カメラ７０による撮像映像（撮像映像データ）７１は、図５の撮像映像（撮像映像データ）６０と異なり、風景を含まず、投影対象物６４のみを含む。映像診断部２５ｂは、当該投影対象物６４のみを含む撮像映像（撮像映像データ）７１を対象に、図５の場合と同様の第１、第２および第３の診断処理Ｄ１〜Ｄ３を行う。
【００７１】
具体的には、映像診断部２５ｂは、第１の診断処理Ｄ１として、撮像映像７１内の投影対象物６４と、表示映像データが表す出力予定映像６２内の投影対象物６３との同一性を検証する。また、映像診断部２５ｂは、第２の診断処理Ｄ２として、撮像映像７１に占める投影対象物６４の割合を検出し、第３の診断処理Ｄ３として、撮像映像７１に占める塗りつぶし領域の割合を検出する。映像診断部２５ｂは、これらの検証結果、検出結果に基づいて投影映像の異常の有無を診断する。図１３の例では、第１および第２の診断処理Ｄ１，Ｄ２の診断結果は共に異常有りとなる。また、投影対象物６４が塗りつぶされている場合には、第３の診断処理Ｄ３の診断結果も異常有りとなる。
【００７２】
図１４は、図１２における映像診断部の処理内容の一例を示すフロー図である。図１４に示すフローは、図６のフローと比較して、ステップＳ２０１の処理が削除されていることを除いて図６のフローと同様である。すなわち、図１４に示すステップＳ３００，Ｓ３０１〜Ｓ３０６の処理は、それぞれ、図６のステップＳ２００，Ｓ２０２〜Ｓ２０７の処理と同様である。前述したように、撮像映像７１は風景を含まないため、ステップＳ２０１の処理は不要である。
【００７３】
《監視カメラの設置箇所》
図１５は、図１２における監視カメラの各種設置箇所のそれぞれ異なる一例を示す図である。図１６は、図１５とは異なる映像表示ユニットに対する監視カメラの設置箇所の一例を示す図である。図１５には、図２と同様の映像表示ユニット１２ａが示される。図１６には、図１５の映像表示ユニット１２ａと異なり、反射鏡３６が設けられない映像表示ユニット１２ｂが示される。
【００７４】
図１５において、監視カメラ７０ａは、図１３の場合と同様に、映像表示装置３５の表示映像を直接撮像するように設置される。監視カメラ７０ｂは、反射鏡３６の表面を撮像するように設置される。監視カメラ７０ｄは、ウィンドシールド３の表示領域５をウィンドシールド３の略法線方向から撮像するように設置される。監視カメラ７０ｄは、このような角度から撮像を行うことで、映像表示装置３５による表示映像（詳細には、反射鏡３７で反射された表示映像）を風景が重畳される前に撮像できる。
【００７５】
監視カメラ７０ｃは、凹面鏡３７の裏面から凹面鏡３７越しに映像表示装置３５の表示映像を撮像するように設置される。この場合、凹面鏡３７は、例えば、可視光を反射し、赤外線を透過するコールドミラーである。監視カメラ７０ｃは、赤外線を撮像できるカメラであり、コールドミラーで透過された映像を撮像する。監視カメラ７０ｃは、図１５の場合には、凹面鏡３７越しに反射鏡３６で反射された表示映像を撮像し、図１６の場合には、凹面鏡３７越しに映像表示装置３５の表示映像を撮像する。
【００７６】
映像診断部２５ｂは、図１３に示した第１の診断処理Ｄ１（同一性検証）を行う場合、監視カメラの設置箇所に応じて、撮像映像の反転処理を行う。例えば、監視カメラ７０ａの撮像映像と、反射鏡３６を介した監視カメラ７０ｂの撮像映像とでは、撮像映像の向きが逆転する。すなわち、反射回数が偶数回目と奇数回目とでは撮像映像の向きが逆になり得る。そこで、映像診断部２５ｂは、同じ向きで投影対象物の同一性検証を行えるようにするため、必要に応じて撮像映像の反転処理を行う。
【００７７】
ここで、監視カメラの各設置箇所を比較する。監視カメラ７０ａは、映像表示装置３５の光路に入り込まないように設置される必要がある。このため、十分な設置箇所が確保できない場合がある。監視カメラ７０ｂに関しては、設置に伴う自由度が高い。ただし、図１６のように反射鏡３６が設けられない映像表示ユニット１２ｂに対しては適用困難となる。監視カメラ７０ｃに関しては、設置に伴う自由度が高く、また、映像表示ユニット内の設置または映像表示ユニットと近接した設置が可能である。このため、高いスペース効率が得られる。ただし、コールドミラーなどが必要とされる。
【００７８】
監視カメラ７０ｄに関しては、設置に伴う自由度が特に高く、また、映像表示ユニットの構成に依らず適用可能である。ただし、映像表示ユニットから離れた位置に設置する必要があるため、スペース効率が若干低下する。なお、監視カメラ７０ｄを用いる場合、他の監視カメラ７０ａ〜７０ｃを用いる場合と比較して、撮像映像の歪みが大きくなり得るが、撮像映像に対して歪み補正を行うことで特に問題は生じない。図１２の監視カメラ７０は、図１５および図１６に示した箇所のいずれにも設置可能であるが、設置に伴う自由度や光学系の構造に依らない適用などを考慮すると、特に、監視カメラ７０ｃまたは監視カメラ７０ｄの設置箇所が有益となる。
【００７９】
《実施の形態２の主要な効果》
以上、実施の形態２のヘッドアップディスプレイ装置を用いることでも、実施の形態１で述べた各種効果と同様の効果が得られる。また、実施の形態１の場合と異なり、撮像映像内で風景と投影対象物とを区別する必要がなく、予め投影対象物のみを含んでいる撮像映像を対象として映像診断を行える。実際上、映像診断部は、風景と投影対象物とを十分に区別し難い場合があり、結果として、診断精度が低下する恐れがある。実施の形態２の方式を用いると、この区別が不要となるため、実施の形態１の方式と比較して診断精度の向上が図れる。さらに、監視カメラ７０の設置に伴う選択肢も、実施の形態１の場合と比較して多くなる。
【００８０】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。例えば、前述した実施の形態は、本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【００８１】
１  ＨＵＤ装置
２，７６  車両
３  ウィンドシールド
４  車両情報
５  表示領域
６  運転者
７  開口部
１０ａ，１０ｂ  制御部（ＥＣＵ）
１１  スピーカ
１２，１２ａ，１２ｂ  映像表示ユニット
１３  ミラー駆動部
１５  車両情報取得部
１６  ＣＰＵ
１７  不揮発性メモリ
１８  揮発性メモリ
１９  音声用ドライバ
２０  表示用ドライバ
２１  自己障害判定部
２２  ユニット障害判定部
２３  エラー処理部
２５ａ，２５ｂ  映像診断部
２７  音声データ生成部
２８  映像データ生成部
２９  歪み補正部
３０  光源調整部
３１  ミラー調整部
３５  映像表示装置
３６  反射鏡
３７  凹面鏡
４１  車速センサ
４２  シフトポジションセンサ
４３  ハンドル操舵角センサ
４４  ヘッドライトセンサ
４５  照度センサ
４６  色度センサ
４７  測距センサ
４８  赤外線センサ
４９  エンジン始動センサ
５０  加速度センサ
５１  ジャイロセンサ
５２  温度センサ
５３  路車間通信用無線送受信機
５４  車車間通信用無線送受信機
５５  車内用カメラ
５５ａ，５６ａ，５６ｂ，７０，７０ａ〜７０ｄ  監視カメラ
５６  車外用カメラ
５７  ＧＰＳ受信機
５８  ＶＩＣＳ受信機
６０，６５ａ，６５ｂ，７１  撮像映像（撮像映像データ）
６１  加工済み撮像映像
６２  出力予定映像（表示映像データ）
６３，６４  投影対象物
Ｄ１〜Ｄ３  診断処理
Ｅ０  区別処理
【図１】
2020049881.tif 000003
【図２】
2020049881.tif 000004
【図３】
2020049881.tif 000005
【図４】
2020049881.tif 000006
【図５】
2020049881.tif 000007
【図６】
2020049881.tif 000008
【図７】
2020049881.tif 000009
【図８】
2020049881.tif 000010
【図９】
2020049881.tif 000011
【図１０】
2020049881.tif 000012
【図１１】
2020049881.tif 000013
【図１２】
2020049881.tif 000014
【図１３】
2020049881.tif 000015
【図１４】
2020049881.tif 000016
【図１５】
2020049881.tif 000017
【図１６】
2020049881.tif 000018
【図１７】
2020049881.tif 000019
【図１８】
2020049881.tif 000020
【国際調査報告】
2020049881.tif 000021
2020049881.tif 000022
2020049881.tif 000023