(57)【要約】【課題】重畳表示の位置精度を向上し得る情報表示装置を提供する。【解決手段】本ナビゲーション装置では、位置関係検出部１０ｄにより、重畳表示される対象物が風景中で存在すべき実際の位置と車両の位置との関係を位置情報を取得し、車両姿勢検出ＥＣＵ４０により車両の姿勢情報を取得し、顔向き認識ＥＣＵ３０により運転者の顔向き情報を取得する。表示位置決定部１０ｆにより、位置情報、姿勢情報および顔向き情報に基づいてＨＭＤ１７やＨＵＤ１８による対象物の表示位置を決定し、表示画像生成部１０ｇにより、当該表示位置に対象物を表示する制御をＨＭＤ１７等に行う。これにより、この対象物の風景中の存在位置Ｐに基づいて、運転者の顔向きや車両の姿勢を含めて、対象物の表示位置が決定されるので、車両がバウンドして運転者から見た車両外の風景が変化しても、風景の変化に追従した重畳表示が可能となり、重畳表示の位置精度を向上できる。【選択図】図１
2010256878.tif 000002
【特許請求の範囲】
【請求項１】
所定情報を表す情報像を運転者から見た車両外の風景に重畳表示可能な表示手段と、
重畳表示される前記情報像が前記風景中で存在すべき実際の位置と当該車両の位置との関係を位置情報として取得する位置情報取得手段と、
前記車両の姿勢情報を取得する姿勢情報取得手段と、
前記運転者の顔向き情報を取得する顔向き情報取得手段と、
前記位置情報、前記姿勢情報および前記顔向き情報に基づいて、前記表示手段による前記情報像の表示位置を決定する表示位置決定手段と、
前記表示位置決定手段により決定された前記表示位置に前記情報像を表示する制御を前記表示手段に行う表示制御手段と、
を備えることを特徴とする情報表示装置。
【請求項２】
前記位置情報取得手段は、前記風景を構成する、道路、信号機、標識、建物、河川、その他の地図情報に含まれる情報、または、経路案内地点、目的地地点、その他の前記車両の経路案内情報、に基づいて、前記位置情報を取得することを特徴とする請求項１記載の情報表示装置。
【請求項３】
前記表示制御手段は、
前記情報像を仮想空間に配置する情報像配置手段と、
前記仮想空間よりも狭い領域を囲み前記仮想空間内の任意の位置に設定可能な表示枠でこの枠内に存在する前記情報像を前記表示手段に表示する表示対象選択手段と、
を備え、前記表示位置決定手段により決定された前記表示位置に基づいて前記表示枠の位置を定めることを特徴とする請求項１または２記載の情報表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定情報を表す情報像を運転者から見た車両外の風景に重畳して表示する情報表示装置に関するものである。
【背景技術】
【０００２】
従来より、所定情報を表す情報像を運転者から見た車両外の風景に重畳して表示する情報表示装置として、例えば下記特許文献１に開示される「車上表示装置」がある。この技術では、２つの車載カメラで撮影した運転者の顔を画像上で認識して視点の位置を検出し、視点の位置変化に対して表示情報の位置を移動させたり大きさを調整する。これにより、運転者の姿勢が変化しても重畳表示される情報に位置ずれが生じるのを防止している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−２４７１８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、この開示技術によると当該車両の挙動や姿勢までは考慮されていない。そのため、例えば、走行中の路面に凹凸等が存在していた場合には、当該車両が上下動したり、バウンドしたりして、車両外の風景が変化し得る。このような場合には、一般に、運転者とともに車載カメラも同様に上下動するため、重畳表示される情報の位置ずれ等を防止することは難しい。
【０００５】
また、当該車両が比較的勾配（傾斜）の大きな坂を上ったり下ったりする場合には、車両の前方部分自体が上下動することから、前方風景が大きく変化することに起因して、表示情報の位置と重畳される風景中の表示位置との位置関係が変動し得る。そのため、単に、運転者の視点の位置変化だけに基づいて、表示情報の位置を移動させたり大きさを調整したとしても、このような風景の変化に追従した重畳表示は困難である。
【０００６】
つまり、上記特許文献１に開示される「車上表示装置」では、当該車両の挙動、姿勢や重畳される風景中の表示位置の変動等を考慮すると、重畳表示の位置精度を高めることは難しいという問題がある。
【０００７】
本発明は、上述した課題を解決するためになされたもので、重畳表示の位置精度を向上し得る情報表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、特許請求の範囲に記載された請求項１の技術的手段を採用する。この手段によると、位置情報取得手段により、重畳表示される情報像が風景中で存在すべき実際の位置と当該車両の位置との関係を位置情報として取得し、姿勢情報取得手段により車両の姿勢情報を取得し、顔向き情報取得手段により運転者の顔向き情報を取得する。そして、表示位置決定手段により、位置情報、姿勢情報および顔向き情報に基づいて表示手段による情報像の表示位置を決定し、表示制御手段によって、表示位置決定手段により決定された表示位置に情報像を表示する制御を表示手段に行う。これにより、表示手段により表示される情報像は、情報像が風景中で存在すべき実際の位置に基づいて、運転者の顔向きや車両の姿勢を含めて、その表示位置が決定されるので、例えば、当該車両が上下動したりバウンドして運転者から見た車両外の風景が変化しても、そのような風景の変化に追従した重畳表示が可能となる。
【０００９】
また、特許請求の範囲に記載された請求項２の技術的手段を採用する。この手段によると、位置情報取得手段は、風景を構成する、道路、信号機、標識、建物、河川、その他の地図情報に含まれる情報、または、経路案内地点、目的地地点、その他の前記車両の経路案内情報、に基づいて、位置情報を取得する。これにより、これらの情報については、車載カメラ、ミリ波センサや超音波センサ等の検出手段を用いることなく、位置情報を取得することができる。地図情報の具体例として、例えば、車両に搭載されるタイプ（以下「車両搭載型」）のナビゲーション装置を構成する地図データベースや、情報センタから送信される地図データが挙げられる。また、経路案内情報としては、このようなナビゲーション装置により、当該車両の出発地（または当該車両の現在地）から目的地まで最短距離や最短時間で到達できる経路として探索される、最短距離経路や最短時間経路に関する案内データで、例えば、進行方向矢印や目的地地点マーク等）が挙げられる。
【００１０】
また、特許請求の範囲に記載された請求項３の技術的手段を採用する。この手段によると、表示制御手段は、情報像配置手段により情報像を仮想空間に配置し、表示対象選択手段により仮想空間よりも狭い領域を囲み仮想空間内の任意の位置に設定可能な表示枠でこの枠内に存在する情報像を表示手段に出力可能にする。そして、表示位置決定手段により決定された表示位置に基づいて表示枠の位置を定める。これにより、仮想空間に情報像を一旦配置すれば、その後の処理としては、表示位置決定手段による表示位置に基づいて表示枠の位置を変更すれば良い。
【発明の効果】
【００１１】
請求項１の発明では、表示手段により表示される情報像は、当該車両の姿勢や情報像が風景中で存在すべき実際の位置に基づいて、運転者の顔向きや車両の姿勢を含めて、その表示位置が決定されるので、例えば、当該車両が上下動したりバウンドして運転者から見た車両外の風景が変化しても、そのような風景の変化に追従した重畳表示が可能となる。したがって、重畳表示の位置精度を向上することができる。
【００１２】
請求項２の発明では、道路、信号機、標識、建物、河川、その他の地図情報に含まれる情報については、車載カメラ、ミリ波センサや超音波センサ等の検出手段を用いることなく、位置情報を取得することができる。したがって、ナビゲーション装置等を構成する地図データベースからこれらの情報を取得することにより装置構成を簡素化できる。
【００１３】
請求項３の発明では、仮想空間に情報像を一旦配置すれば、その後の処理としては、表示位置決定手段による表示位置に基づいて表示枠の位置を変更すれば良いので、このような仮想空間を用いることなく、表示位置決定手段による表示位置に基づいて情報像ごとに表示枠内に入るか否かを判断する場合に比べて、表示制御手段に係るアルゴリズムを単純にすることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係るナビゲーション装置（以下「本ナビゲーション装置」）の構成例を示す説明図である。
【図２】本ナビゲーション装置による重畳表示機能の概念等を示す説明図である。
【図３】重畳表示処理の流れを示すフローチャートである。
【図４】図３に示す表示画像生成処理の流れを示すフローチャートである。
【図５】本ナビゲーション装置による重畳表示の例等を示す説明図である。
【図６】対象物の出力先がＨＭＤである場合における表示位置決定処理による処理例を説明する説明図である。
【図７】対象物の出力先がＨＵＤである場合における表示位置決定処理による処理例を説明する説明図である。
【図８】運転者の視点の位置変化を顔向き情報として考慮した表示位置決定処理による他の処理例を説明する説明図である。
【図９】図８に示す表示位置決定処理による他の情報処理例の流れを示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、車両搭載型のナビゲーション装置のディスプレイおよびその表示制御に、本発明の情報表示装置を適用した実施形態を各図に基づいて説明する。まず、本ナビゲーション装置の構成例を図１を参照して説明する。
【００１６】
図１に示すように、本ナビゲーション装置は、ナビゲーションＥＣＵ１０を中心に、入力装置１１、ＧＰＳ１２や車速センサ１３等の各種センサ、ＨＭＤ１７、地図データベース２０、顔向き認識ＥＣＵ３０、車両姿勢検出ＥＣＵ４０、モニタＥＣＵ５０等によって構成されている。
【００１７】
ナビゲーションＥＣＵ１０は、ＣＰＵ、半導体メモリ、入出力インタフェース、ＬＡＮインタフェース等（以下「ＣＰＵ等」）により構成される電子制御装置で、ナビゲーション装置全体を制御する機能を有する。基本的な機能は、地理的最短経路を案内する機能、つまりナビゲーション機能で、ナビゲーション部１０ａおよび車両位置検出部１０ｂにより実現されている。なお、このナビゲーション部１０ａや車両位置検出部１０ｂは、所定のプログラムが半導体メモリにロードされてＣＰＵが実行することにより機能する。
【００１８】
即ち、ナビゲーション部１０ａでは、車両位置検出部１０ｂにより得られた当該車両の現在位置（出発地）から、入力装置１１より入力された目的地までの最短距離経路を地図データベース２０から得られる地図データに基づいて探索した後、当該最短経路とその案内情報をモニタＥＣＵ５０に出力する。これにより、当該車両の運転者は、モニタＥＣＵ５０によるモニタ画像や合成音声によって、現在地から目的地に至るまでの経路案内を受けられる。なお、出発地は入力装置１１により入力しても良い。
【００１９】
本ナビゲーション装置は、このようなナビゲーションＥＣＵ１０の基本的な機能に加えて、例えば、走行中の路面の道路標示やナビゲーション機能による案内表示等（所定情報を表す情報像）を運転者から見た車両外の風景に重畳して表示する機能（以下「重畳表示機能」）を備えている。この機能も、ナビゲーション部１０ａと同様に、車両位置検出部１０ｂ、表示情報取得部１０ｃ、位置関係検出部１０ｄ、３Ｄ画像変換部１０ｅ、表示位置決定部１０ｆや表示画像生成部１０ｇに対応する各種プログラムがそれぞれ半導体メモリにロードされてＣＰＵが実行することにより実現される。
【００２０】
ＧＰＳ１２は、当該車両の現在位置を緯度および経度からなる絶対座標値により検出する機能を有するもので、人工衛星を利用した全地球測位システムである。また、車速センサ１３は、当該車両の速度（車速）に比例した周期で車速パルスを出力するもので、自車の車速を検出する。ジャイロ１４は角速度を検出する機能を有するもので、ＧＰＳ１２が利用できない場合に自車の進行方向を検出可能にしている。地磁気を検出して進行方位を検出する地磁気センサでも良い。なお、これらは、例えば、ＣＡＮ等の所定の通信プロトコルによる車載ＬＡＮを介してナビゲーションＥＣＵ１０にデータを送信している。
【００２１】
リアカメラ１５は、当該車両の後方画像、つまり自車が走行している道路を撮影するもので、この映像に含まれるレーンマーク（車線境界線）の画像情報を車両位置検出部１０ｂに出力することで自車の走行レーン（車線）位置を特定可能にしている。このリアカメラ１５も、車載ＬＡＮを介してナビゲーションＥＣＵ１０とデータ通信をしている。なお、リアカメラ１５による走行レーンの画像認識技術は、公知技術であるので具体的な構成等については説明を省略する。
【００２２】
ＨＭＤ１７は、当該車両の運転者の頭部に装着可能に構成されるヘッドマウントディスプレイで、本実施形態では、眼鏡型で運転者の片眼の網膜に直接結像を投影する網膜投影タイプを用いる。頭部装着ディスプレイであれば、眼鏡型で小型のハーフミラー等により虚像を投影する虚像投影タイプであっても良い。
【００２３】
ＨＵＤ１８は、当該車両のフロントガラスに映像を投影可能にダッシュボード上部に構成されるヘッドアップディスプレイで、本実施形態では、運転者の視界（車両前方視界）のほぼ全面に亘って車外の風景に重なるように表示（重畳表示）可能に構成されている。
【００２４】
なお、ＨＭＤ１７，ＨＵＤ１８は、通常、択一的に選択されるもので、いずれか一方が当該車両に設けられる。またＨＭＤ１７やＨＵＤ１８自体は、いずれも公知技術により構成されているので、構成等の説明は省略する。これらとナビゲーションＥＣＵ１０とは、例えば、専用の高速シリアルデータバスにより接続されて、大容量の画像データを高速に転送可能にしている。
【００２５】
地図データベース２０は、ＣＤやＤＶＤ等からなる比較的大容量の、磁気や光による情報記憶媒体で、ナビゲーション部１０ａによる経路探索や経路案内に必要な地図データを蓄積している。本実施形態では、例えば、道路、信号機、標識（歩道橋や建物等に設けられた道路標識も含む）、標示（路面に表示された道路標示）、建物、河川、その他の情報を蓄積しており、その他、道路に関する情報として、道路種別（高速道路、主要幹線道路、細街路等）、道路幅、車線数、傾斜角度、制限速度、通行方向制限、通行制限時間帯等、また信号機や標識の高さ、さらにはビルや鉄塔等の建造物の高さ情報も含んでいる。
【００２６】
また、本実施形態では、道路のレーン情報として、路面に標示される線の緯度・経度による絶対座標値、線色（白色、黄色等）、線種（点線、実線、二重線等）等が地図データベース２０に蓄積されている。地図データベース２０は、ナビゲーションＥＣＵ１０に対して、例えば、パラレルデータバスにより接続されている。
【００２７】
顔向き認識ＥＣＵ３０は、顔（頭部）を中心とした運転者の上半身を撮影可能な図略の車載カメラを複数備えた電子制御装置で、ナビゲーションＥＣＵ１０と同様に、ＣＰＵ等を備えている。そして、所定の画像処理プログラムにより、撮影された画像情報に基づいて運転者の両眼間の中心を視点として、その視点が移動する方向（角度）・速度に基づいて、当該運転者の顔の向き（顔向き）を検出している。なお、顔向き認識ＥＣＵ３０は、特許請求の範囲に記載の「顔向き情報取得手段」に相当し得るものである。
【００２８】
本実施形態では、顔向きを検出する要素として、例えば、頭部の３種類の回転量（ヨー・ピッチ・ロール）と、頭部の３種類の移動量（回転を伴わない、前後方向・左右方向・上下方向の平行移動量）を用いている。つまり、後述する６種類（ヨー回転量、ロール回転量、ピッチ回転量、前後移動量、左右移動量および上下移動量）のパラメータにより運転者の顔向き情報を検出している。
【００２９】
車両姿勢検出ＥＣＵ４０は、当該車両の挙動を検出可能な図略のセンサを複数備えた電子制御装置で、ナビゲーションＥＣＵ１０と同様に、ＣＰＵ等を備えている。本実施形態では、センサとして、例えば、ジャイロ、Ｇセンサ、ヨーレイトセンサ等の当該車両の回転量や移動量を検出可能なものを用いており、当該車両の挙動を検出することで、結果的に当該車両の姿勢情報を検出している。つまり、前述した運転者の顔向きと同様に、６種類（ヨー回転量、ロール回転量、ピッチ回転量、前後移動量、左右移動量および上下移動量）のパラメータにより車両の姿勢情報を検出している。これらについても後述する。なお、車両挙動検出ＥＣＵ４０は、特許請求の範囲に記載の「姿勢情報取得手段」に相当し得るものである。
【００３０】
モニタＥＣＵ５０は、例えば、車載ＬＡＮ経由で入力された画像情報を表示可能な図略のモニタ画面（液晶ディスプレイやプラズマディスプレイ）を備えた電子制御装置で、ナビゲーションＥＣＵ１０と同様に、ＣＰＵ等を備えている。本実施形態では、ナビゲーションＥＣＵ１０から出力される経路案内情報等を受けて最短経路やその案内情報を運転者に視認可能に表示する。
【００３１】
ここで、本ナビゲーション装置による重畳表示機能を図２を参照して説明するとともに、本機能を実現する、車両位置検出部１０ｂ、表示情報取得部１０ｃ、位置関係検出部１０ｄ、３Ｄ画像変換部１０ｅ、表示位置決定部１０ｆおよび表示画像生成部１０ｇの概要を説明する。
【００３２】
図２(A)〜図２(C)に示すように、本実施形態に係る重畳表示機能では、重畳表示の対象物（情報像）Ｊが当該車両Ｋの風景中で存在すべき実際の位置Ｐに基づいて、運転者Ｄの顔向きや車両Ｋの姿勢を含めて、重畳表示の位置を決定する。このため、重畳表示の対象物Ｊが風景中で存在すべき実際の位置Ｐと、当該車両の位置Ｑと、の位置関係として、両者間の離隔距離Ｌ、高低差Ｖおよび左右差Ｈからなる位置情報を取得し、さらに運転者Ｄの顔向き情報や車両Ｋの姿勢情報を取得し、これら位置情報、姿勢情報および顔向き情報に基づいてＨＭＤ１７やＨＵＤ１８による対象物Ｊの表示位置を決定する。なお、高低差Ｖは、進行方向基準軸Ｘに対する垂直面（Ｘ−Ｚ平面）内のズレ量であり、左右差Ｈは、進行方向基準軸Ｘに対する水平面（Ｘ−Ｙ平面）内のズレ量である。
【００３３】
これにより、ＨＭＤ１７等により表示される対象物Ｊは、対象物Ｊが風景中で存在すべき実際の位置に基づいて、運転者Ｄの顔向きや車両Ｋの姿勢を含めて、その表示位置が決定されるので、例えば、当該車両Ｋが上下動したりバウンドして運転者Ｄから見た車両外の風景が変化しても、そのような風景の変化に追従した重畳表示を可能にしている。本実施形態では、このような重畳表示を可能にするため、ナビゲーションＥＣＵ１０に、車両位置検出部１０ｂ、表示情報取得部１０ｃ、位置関係検出部１０ｄ等を備えている。
【００３４】
車両位置検出部１０ｂは、自車の位置を特定する機能を有する。例えば、地図データベース２０から得られる地図情報と、ＧＰＳ１２から得られる緯度・経度の絶対座標値情報とに基づいて、当該車両Ｋが現在走行している道路情報や、ある基準点に対する前後方向位置（例えば、自車の位置から前方交差点までの距離）を取得するとともに、この道路情報に含まれるレーン情報（路面に標示される線の絶対座標値、線色、線種等）とリアカメラ１５から得られるレーンの画像情報とを比較して、当該車両Ｋの左右方向位置（走行レーン位置）を特定する。これにより、例えば、自車Ｋが、前方の交差点から何メートル手前のどのレーンを走行しているか等を特定することが可能となる。
【００３５】
表示情報取得部１０ｃは、重畳表示の対象物Ｊを地図データベース２０や外部から取得する機能を有する。対象物Ｊには、地図データベース２０から取得されるもののほか、例えば、前述したナビゲーション部１０ａにより生成される画像や文字による案内情報（例えば推奨経路の進行方向を示す矢印マークや文字等）や、車載カメラ、ミリ波センサや超音波センサ等から得られる前方の車両や歩行者の位置情報も含まれる。なお、地図データベース２０から対象物Ｊに関する情報を取得することで、車載カメラ等を別途設ける場合に比べて装置構成を簡素化できる。
【００３６】
位置関係検出部１０ｄは、重畳表示の対象物Ｊが車両外の風景中で存在すべき実際の位置と自車位置（当該車両Ｋの位置）との関係を位置情報として取得する機能を有する。例えば、図２(A)に示すように、当該車両Ｋの前方風景中で対象物Ｊが存在すべき実際の位置Ｐと当該車両の位置Ｑとの位置関係として、位置情報（離隔距離Ｌ、高低差Ｖ、左右差Ｈ）を取得する。なお、高低差Ｖは、例えば道路勾配（傾斜角度）によるもので、当該車両Ｋの進行方向基準軸Ｘに対する垂直面（Ｘ−Ｚ平面）内のズレ量として把握されるため、当該車両Ｋに設定される所定の基準点から見た角度θｖとしても得ることができる。なお、位置関係検出部１０ｄは、特許請求の範囲に記載の「位置情報取得手段」に相当し得るものである。
【００３７】
対象物Ｊが前方風景中で存在すべき実際の位置は、地図データベース２０やナビゲーション部１０ａから特定される。例えば、地図データベース２０からは、前方風景を構成する、道路、信号機、標識、建物、河川、その他の地図情報に含まれる情報が取得されるので、これらに基づいて実際の位置が特定される。また、ナビゲーション部１０ａからは、前述した最短経路の案内情報（進行方向の矢印マークを表示する地点（経路案内地点）や目的地マークを表示する地点（目的地地点））が取得されるので、これにより実際の位置が特定される。なお、地図情報には、それ自体に高さ情報を含むものもあり、同様に、案内情報にも、目的地マークのように目的地建物の側面に表示するものや目的地建物を囲むように表示するものについては、高さ情報を持っている。また、これらの情報を、地図データベース２０とナビゲーション部１０ａの双方から取得して実際の位置を特定しても良い。つまり、地図データベース２０およびナビゲーション部１０ａの少なくとも一方から、前方風景中の実際の位置を特定しても良い。
【００３８】
３Ｄ画像変換部１０ｅは、表示情報取得部１０ｃから出力される重畳表示の対象物Ｊの情報に基づいて、当該対象物Ｊを運転者Ｄの視線から立体（三次元）形状に見えるように三次元画像に変換したり、二次元画像そのものを生成したりする機能を有する。即ち、対象物Ｊは、高さのないもの（例えば、路面標示等）については、通常、地図データベース２０に二次元情報として記憶されているので、その情報に基づいて該当する二次元画像を生成する。また高さの情報が存在しても「遠景は小さく平面的に見え、近景は大きく立ち上がって立体的に見える」というように離隔距離Ｌの大きさによって運転者Ｄから視認できる大きさや視覚的な印象が異なることから、二次元画像であっても、離隔距離Ｌに基づいた三次元画像変換処理が行われる。なお、この三次元画像変換処理は公知のものが用いられるので、情報処理の詳細は省略する。
【００３９】
表示位置決定部１０ｆは、位置情報、姿勢情報および顔向き情報に基づいてＨＭＤ１７等による対象物Ｊの表示位置を決定する機能を有する。ここで運転者Ｄの「顔向き情報」は、前述した顔向き認識ＥＣＵ３０から出力され、６種類（ヨー回転量、ロール回転量、ピッチ回転量、前後移動量、左右移動量および上下移動量）のパラメータにより運転者Ｄの顔向きを検出しているので、これらに図２(B)を参照して説明する。なお、表示位置決定部１０ｆは、特許請求の範囲に記載の「表示位置決定手段」に相当し得るものである。
【００４０】
図２(B)に示すように、運転者Ｄが車両Ｋの前方に顔の正面を向けている場合、運転者Ｄの両肩を結んだ線の中心を通る車両前後方向をＸ軸、同中心を通る車両左右方向をＹ軸、同中心を通る車両の高さ方向をＺ軸、と規定する。すると、(1)頭部のヨー回転量は、Ｚ軸回り（Ｘ−Ｙ平面）の回転量、(2)頭部のピッチ回転量は、Ｙ軸回り（Ｘ−Ｚ平面）の回転量、(3)頭部のロール回転量は、Ｘ軸回り（Ｙ−Ｚ平面）の回転量、としてそれぞれ定義される。また、ＸＹＺの３軸のそれぞれに対して平行移動するものとして、(4)頭部の前後移動量は、Ｘ軸方向の移動量、(5)頭部の左右移動量は、Ｙ軸方向の移動量、(6)頭部の上下移動量は、Ｚ軸方向の移動量、としてそれぞれ定義される。このように３種類の回転量と３種類の移動量の合計６種類のパラメータを定義することで、運転者Ｄの顔向き情報を正確に得ることができる。なお、ヨー、ピッチ、ロールの回転量だけでも、運転者Ｄの顔向き情報を得ることができるため、精度よりも情報処理の簡素化を優先する場合には、３種類の回転量だけで運転者Ｄの顔向き情報を取得しても良い。
【００４１】
また、当該車両Ｋの「姿勢情報」については、前述した車両姿勢検出ＥＣＵ４０から出力され、こちらも６種類（ヨー回転量、ロール回転量、ピッチ回転量、前後移動量、左右移動量および上下移動量）のパラメータにより検出している。
【００４２】
即ち、図２(C)に示すように、車両Ｋが道路の中心（道路境界線Ｌがある場合は左右の道路境界線Ｌの中心）に停車している際のロールセンターをＸ軸、路面に水平にＸ軸（例えばＸ軸上で前後方向重心位置）を通りかつ道路境界線Ｌに垂直な線分をＹ軸、Ｘ軸とＹ軸の交点を通る路面に垂直な線分をＺ軸、と規定すると、(1)車両のヨー回転量は、Ｚ軸回り（Ｘ−Ｙ平面）の回転量、(2)車両のピッチ回転量は、Ｙ軸回り（Ｘ−Ｚ平面）の回転量、(3)車両のロール回転量は、Ｘ軸回り（Ｙ−Ｚ平面）の回転量、(4)車両の前後移動量は、Ｘ軸方向の移動量、(5)車両の左右移動量は、Ｙ軸方向の移動量、(6)車両の上下移動量は、Ｚ軸方向の移動量、としてそれぞれ定義される。運転者Ｄの「顔向き情報」と同様に、３種類の回転量と３種類の移動量の合計６種類のパラメータを定義することで、車両Ｋの姿勢情報を正確に得ることができる。なお、ヨー、ピッチ、ロールの回転量だけでも、車両Ｋの姿勢情報を得ることができるため、精度よりも情報処理の簡素化を優先する場合には、３種類の回転量だけで車両Ｋの姿勢情報を取得しても良い。
【００４３】
表示画像生成部１０ｇは、表示位置決定部１０ｆにより決定された対象物Ｊの表示位置に対象物Ｊを表示する制御をＨＭＤ１７等に行う機能を有する。この機能については、２つの方式があり、図４を参照して後で詳述する。なお、表示画像生成部１０ｇは、特許請求の範囲に記載の「表示制御手段」に相当し得るものである。
【００４４】
このようにナビゲーション装置を構成することによって、図３に示すように、ナビゲーションＥＣＵ１０による重畳表示処理は行われる。この処理は、例えば、ナビゲーションＥＣＵ１０の電源が投入された直後から、前述したナビゲーション部１０ａと共に起動され、半導体メモリに確保される作業領域やレジスタのフラグ等をクリアするといった所定の初期化処理後、以下説明するステップＳ１０１〜Ｓ１１９を、例えば１００ミリ秒ごとに繰り返し実行している。
【００４５】
図３に示すように、重畳表示処理では、まずステップＳ１０１により車両位置検出処理が行われる。この処理は自車位置を特定するもので、前述の車両位置検出部１０ｂにより行われる。本実施形態では、車両Ｋの前後方向位置と左右方向位置により自車の現在の絶対座標値と現在走行している道路のレーン位置とを特定する。
【００４６】
ステップＳ１０３では、表示情報取得処理が行われる。この処理は、重畳表示する対象物Ｊの情報（所定情報）を地図データベース２０等から取得するもので、前述の表示情報取得部１０ｃにより行われる。当該車両Ｋが現在走行している道路の路面標示（例えば、ゼブラマーク（歩行者横断指導線））を対象物Ｊとして地図データベース２０から取得する場合には、ステップＳ１０１により取得した自車位置に基づいて自車の前方近くに存在する当該ゼブラマークに関する緯度・経度の絶対座標値情報を取得する。
【００４７】
次のステップＳ１０７では、ディスプレイタイプ判定処理が行われる。この処理は、予めシステム設定されているナビゲーションＥＣＵ１０のハードウェア構成情報から、当該ナビゲーションＥＣＵ１０に接続されているディスプレイがＨＭＤやＨＵＤであるか否かを判断する。ＨＭＤ１７やＨＵＤ１８が接続されている場合（Ｓ１０７；Ｙｅｓ）には、顔向き検出処理を行う必要があるため、続くステップＳ１０９に処理を移行する。
【００４８】
これに対し、ＨＭＤ１７およびＨＵＤ１８のいずれもナビゲーションＥＣＵ１０に接続されていない場合には（Ｓ１０７；Ｎｏ）、ナビゲーションＥＣＵ１０のモニタＥＣＵ５０に出力するので、続くステップＳ１０９による顔向き検出処理の必要はなく、それをスキップしてステップＳ１１１に処理を移行する。
【００４９】
ここでは、ＨＭＤ１７がナビゲーションＥＣＵ１０に接続されている場合を想定して、ステップＳ１０９による顔向き検出処理を行う。この処理は、顔向き認識ＥＣＵ３０により行われるもので、前述したように、運転者Ｄの顔の向きを６種類（ヨー回転量、ロール回転量、ピッチ回転量、前後移動量、左右移動量および上下移動量）のパラメータで顔向き情報を検出する。ここでは、運転者Ｄの顔向きが上向き方向にだけ１０°回転（ピッチの回転量が＋１０°）していたとする。なお、このＳ１０９は、特許請求の範囲に記載の「顔向き情報取得手段」に相当し得るものである。
【００５０】
続くステップＳ１１１では、車両姿勢検出処理が行われる。この処理は、車両姿勢検出ＥＣＵ４０により行われるもので、前述したように、当該車両Ｋの挙動を６種類（ヨー回転量、ロール回転量、ピッチ回転量、前後移動量、左右移動量および上下移動量）のパラメータで姿勢情報を検出する。ここでは、車両Ｋが前方に下向きにだけ５°回転（ピッチの回転量が−５°）していたとする。なお、このＳ１１１は、特許請求の範囲に記載の「姿勢情報取得手段」に相当し得るものである。
【００５１】
次のステップＳ１１３では、位置関係検出処理が行われる。この処理は、対象物Ｊが車両外の風景中で存在すべき実際の位置と自車位置（当該車両Ｋの位置）との関係を位置情報として取得するもので、前述の位置関係検出部１０ｄにより行われる。先の例では、対象物Ｊと当該車両Ｋの位置Ｑとの位置関係として、例えば、離隔距離Ｌを５０ｍ、道路の傾斜角度θｖを登り３°とすると、その傾斜角度分の高低差Ｖとなる。また、車両Ｋの進行方向（前述したＸ軸）に対して正面に位置し左右差Ｈを０ｍとする。なお、このステップＳ１１３は、特許請求の範囲に記載の「位置情報取得手段」に相当し得るものである。
【００５２】
ステップＳ１１４では、３Ｄ画像変換処理が行われる。この処理は、前述した３Ｄ画像変換部１０ｅにより行われるもので、自車位置と対象物Ｊとの離隔距離Ｌに基づいて、運転者Ｄの視線から立体形状に見えるように画像変換する。先のゼブラマークの例では、平面的な矩形状のゼブラマークを離隔距離Ｌ（例えば５０ｍ）に基づいて、運転者Ｄの視線から台形状に見えるように三次元画像に変換する。
【００５３】
ステップＳ１１５では、表示位置決定処理が行われる。この処理は、表示位置決定部１０ｆにより行われるもので、図１に示すように、顔向き認識ＥＣＵ３０（Ｓ１０９）による顔向き情報、車両姿勢検出ＥＣＵ４０（Ｓ１１１）による姿勢情報および位置関係検出部１０ｄ（Ｓ１１３）による位置情報に基づいて、三次元画像に変換された対象物Ｊの表示位置を決定する。具体的には、６種類（ヨー回転量、ロール回転量、ピッチ回転量、前後移動量、左右移動量および上下移動量）のパラメータごとにそれぞれ加算演算を行う。なお、離隔距離Ｌは前後移動量に加算され、左右差Ｈは左右移動量に加算される。また、高低差Ｖは、距離として得られている場合には上下移動量に加算され、傾斜角度として得られている場合にはピッチ回転量に加算される。
【００５４】
例えば、先の場合、運転者Ｄの顔向きが上向き方向にだけ１０°回転（ピッチの回転量が＋１０°）し、車両Ｋが前方に下向きにだけ５°回転（ピッチの回転量が−５°）し、さらに対象物Ｊと車両Ｋとの位置関係として道路の傾斜角度θｖが登り３°であるので、Ｙ軸回り（ピッチ）の回転量は合計で＋８°（＝１０＋（−５）＋３）であり、Ｘ軸回り（ロール）の回転量およびＺ軸回り（ヨー）の回転量はいずれも０（ゼロ）°である。このため、対象物ＪをＹ軸回り（ピッチ）に＋８°だけ、上向きに回転させた位置をＨＭＤ１７における表示位置に決定する。この例では、理解を容易にするため、運転者Ｄの顔向きのズレ方向と車両Ｋの姿勢のズレ方向を同じＹ軸回り（ピッチ）方向に設定している。
【００５５】
次のステップＳ１１７では、表示画像生成処理が行われる。この詳細は、図４に記載されているので、ここからは、図４および図５を参照して説明する。なお、このステップＳ１１７と次のステップＳ１１９は、特許請求の範囲に記載の「表示制御手段」に相当し得るものである。
【００５６】
図４(A)に示すように、表示画像生成処理では、まずステップＳ２０１，Ｓ２０３により、運転者から見た当該車両Ｋの前方風景に含まれて重畳表示の対象となり得るものを全て仮想空間ＶＡに配置する処理が行われる。この仮想空間ＶＡは、例えば、ナビゲーションＥＣＵ１０の半導体メモリの作業領域内に確保される情報処理上の記憶領域である。例えば、仮想空間ＶＡの概念として、図５(A)，図５(B)に示される。
【００５７】
なお、図５(C)に示す仮想空間ＶＡ内の対象物Ｊや風景は、これらが全て仮想空間ＶＡ内に配置されることを意味しているのではなく、仮想空間ＶＡ内に入るものを全てを表示したと仮定した場合の説明図で、仮想空間ＶＡの範囲の目安を示すものである。このステップＳ２０１は、特許請求の範囲に記載の「情報像配置手段」に相当し得るものである。
【００５８】
ステップＳ２０１による配置が終わると（Ｓ２０３；Ｙｅｓ）、続くステップＳ２０５により、表示枠ＤＷの位置を取得する処理が行われる。この表示枠ＤＷは、仮想空間ＶＡよりも狭い領域を囲み仮想空間ＶＡ内の任意の位置に設定可能なものである。ここでは、この表示枠ＤＷの位置は、前述したステップＳ１１５により決定された対象物Ｊの表示位置であり、これに基づいてステップＳ２０７により表示枠ＤＷの設定位置が変更される。なお、ステップＳ２０７は、この表示枠ＤＷ内にある対象物ＪをステップＳ１１９によるディスプレイに出力する対象とする点で、特許請求の範囲に記載の「表示対象選択手段」に相当し得るものである。
【００５９】
例えば、先の場合には、対象物ＪはＹ軸回り（ピッチ）に＋８°だけ、上向きに回転させた位置をＨＭＤ１７における表示位置に決定しているので、図５(A)に示す表示枠ＤＷの位置から、上方向に８°回転した位置に表示枠ＤＷの位置が変更される（図５(B)）。つまり、運転者Ｄの視線が上方向に８°回転した位置に移動する結果、対象物Ｊ（ゼブラマーク）は、当該車両Ｋに近づいたように見える。なお、図５(A)，図５(B)に示す仮想空間ＶＡ内の破線は、車両Ｋが走行している道路の両側位置を便宜上表すもので、対象物Ｊとして表示されるものではない。
【００６０】
この処理が終わると、図３に示すステップＳ１１９に処理を移行して当該表示枠ＤＷ内の対象物ＪをＨＭＤ１７やＨＵＤ１８に出力する。これにより、ＨＭＤ１７では、路面の仮想的な道路標示等（対象物Ｊ）が、実際の存在位置Ｐで周囲の風景に重畳されて表示されるので、当該車両Ｋの運転者Ｄは、例えば夜間走行などにより、前方の視界が良好でない場合であっても、このような道路標示等（対象物Ｊ）を視認することができる。また、路面の仮想的な道路標示等以外に、ナビゲーションＥＣＵ１０のナビゲーション部１０ａにより案内される経路案内表示（例えば推奨経路の進行方向を示す矢印マークや文字情報）についても、同様に、運転者Ｄの視界範囲に重畳表示されるので、運転者Ｄの注意をモニタＥＣＵ５０のモニタ画面に向けることなく、その内容を告知することができる。
【００６１】
なお、ステップＳ１０７によるディスプレイタイプ判定処理により、ナビゲーションＥＣＵ１０にＨＭＤ１７やＨＵＤ１８が接続されていない場合には、このステップＳ１１９によりモニタＥＣＵ５０に当該表示枠ＤＷ内の対象物Ｊが出力される。なお、この場合には、図５(C)に示すような車両Ｋの前方風景が図略の車載カメラにより撮影されて、当該モニタＥＣＵ５０のモニタ画面に映し出されていることが必要となりそれに重ねて対象物Ｊが表示される。
【００６２】
以上説明したように、本ナビゲーション装置によると、位置関係検出部１０ｄにより、重畳表示される対象物Ｊ（情報像）が風景中で存在すべき実際の位置Ｐと当該車両Ｋの位置Ｑとの関係を位置情報（離隔距離Ｌ、高低差Ｖ（または傾斜角θｖ）および左右差Ｈ）を取得し、車両姿勢検出ＥＣＵ４０により車両Ｋの姿勢情報（ヨー回転量、ロール回転量、ピッチ回転量、前後移動量、左右移動量および上下移動量）を取得し、顔向き認識ＥＣＵ３０により運転者Ｄの顔向き情報（ヨー回転量、ロール回転量、ピッチ回転量、前後移動量、左右移動量および上下移動量）を取得する。そして、表示位置決定部１０ｆにより、位置情報、姿勢情報および顔向き情報に基づいてＨＭＤ１７やＨＵＤ１８による対象物Ｊの表示位置を決定し、表示画像生成部１０ｇによって、表示位置決定部１０ｆにより決定された表示位置に対象物Ｊを表示する制御をＨＭＤ１７等に行う。
【００６３】
これにより、ＨＭＤ１７等により表示される対象物Ｊは、この対象物Ｊが風景中で存在すべき実際の位置Ｐに基づいて、運転者Ｄの顔向きや車両Ｋの姿勢を含めて、その表示位置が決定されるので、例えば、当該車両Ｋが上下動したりバウンドして運転者Ｄから見た車両外の風景が変化しても、そのような風景の変化に追従した重畳表示が可能となる。したがって、重畳表示の位置精度を向上することができる。
【００６４】
なお、図３に示すステップＳ１１７による表示画像生成処理の例として、図４(A)に示す構成を採ることによって、表示画像生成部１０ｇは、仮想空間配置処理（Ｓ２０１）により対象物Ｊを仮想空間ＶＡに配置し、表示枠位置設定処理（Ｓ２０７）により、表示枠ＤＷ内に存在する対象物ＪをＨＭＤ１７等に表示するように表示枠ＤＷの位置を定める。これにより、仮想空間ＶＡに対象物Ｊを一旦配置すれば、その後の処理としては、表示位置決定部１０ｆによる表示位置に基づいて表示枠ＤＷの位置を変更すれば良いことから、このような仮想空間ＶＡを用いることなく、表示位置決定部１０ｆによる表示位置に基づいて対象物Ｊごとに表示枠ＤＷ内に入るか否かを判断する場合（図４(B)）に比べて、表示画像生成部１０ｇに係るアルゴリズムを単純にすることができる。
【００６５】
なお、図３に示すステップＳ１１７による表示画像生成処理の他の例として、図４(B)に示す構成を採っても良い。即ち、ステップＳ３０１により、表示枠ＤＷの位置を取得する処理が行われ、続いて対象物Ｊの表示位置が表示枠ＤＷ内であるか否かを判断する処理が行われる。つまり、対象物Ｊごとに表示枠ＤＷ内に入るか否かを判断する。そして、対象物Ｊの表示位置が表示枠ＤＷ内であれば（Ｓ３０３；Ｙｅｓ）、続くステップＳ３０５により当該表示枠ＤＷに該当する対象物Ｊを配置し、表示枠ＤＷ内でなければ（Ｓ３０３；Ｎｏ）、表示枠ＤＷに配置しない。
【００６６】
そして、対象となる対象物Ｊの配置が全て終わるまで（Ｓ３０７；Ｙｅｓ）、ステップＳ３０１，Ｓ３０３，Ｓ３０５による処理を繰り返す（Ｓ３０７；Ｎｏ）。これにより、表示枠ＤＷ内に入るものだけを当該表示枠ＤＷ内に配置するので、全ての対象物Ｊを仮想空間ＶＡに一旦配置する場合（図４(A)）に比べて、表示画像生成部１０ｇに係る処理速度を速くすることができる。つまり、対象物Ｊの総数が多くても、表示枠ＤＷ内に配置される対象物Ｊが少ない場合に、処理の高速化を期待できるアルゴリズムである。
【００６７】
なお、以上説明した実施形態では、運転者Ｄから見た当該車両Ｋの前方風景について重畳表示をする例を挙げて説明したが、本発明はこれに限られず、例えば、運転者Ｄから見た当該車両Ｋの側方風景や後方風景についても同様に適用することができ、上述したものと同様の作用効果を得ることができる。また、上述した例では、運転者Ｄを対象に説明をしたが、ＨＭＤ１７やＨＵＤ１８を装着している者であれば、上述したものと同様の作用効果を得ることができる。
【００６８】
上述した実施形態では、ナビゲーションＥＣＵ１０にＨＭＤ１７が接続されている場合を想定して説明したが、ナビゲーションＥＣＵ１０にＨＵＤ１８が接続されている場合には、さらに運転者Ｄの視点の位置変化に基づいた顔向き情報を得ることで、さらに重畳表示の位置精度を向上すること可能となる。なお、視点とは、前述したように運転者Ｄの両眼間の中心である。
【００６９】
これまで説明したように、外部の風景に虚像として重畳表示される対象物Ｊの出力先がＨＭＤ１７である場合には、図６(A)に示すように、ＨＭＤ１７は運転者Ｄの頭部に装着されている。そのため、頭部とともに位置が変化するＨＭＤ１７を介して、運転者Ｄは車両Ｋ外の風景に対象物Ｊを重畳して見る。なお、図６〜図８に示す運転者Ｄ，Ｄ’，Ｄ”の頭部から車両Ｋの前方に向かって伸びる破線上または点線上に表される縦長状の矩形は、ＨＭＤ１７やＨＵＤ１８による「虚像」を示すものである。
【００７０】
このため、例えば、図６(B)に示すように、運転者Ｄ’の頭部がピッチ方向に回転すると、ＨＭＤ１７も頭部と一緒にピッチ方向に回転移動するため、前述した表示位置決定処理（Ｓ１１５）によりピッチ回転量θpitの加算処理が行われる。これにより、運転者Ｄ’の頭部が下向きに回転しているときには、回転前の表示枠ＤＷ（図５参照）をθpitだけピッチ方向に下方に回転させことで、運転者Ｄ’には正確な位置に対象物Ｊが重畳して見える。なお、この表示枠ＤＷは、図６には図示されていないが、図５を参照して説明したように、仮想空間ＶＡよりも狭い領域を囲み仮想空間ＶＡ内の任意の位置に設定可能なものである（以下同じ。また図７および図８においても同様である）。
【００７１】
また、図６(C)に示すように、運転者Ｄ”の頭部がＺ軸方向に移動すると、ＨＭＤ１７も頭部と一緒にＺ軸方向に上下に移動するため、前述した表示位置決定処理（Ｓ１１５）により上下移動量Δｚの加算処理が行われる。これにより、運転者Ｄ”の頭部が下がるような姿勢になるときには、移動前の表示枠ＤＷをΔｚだけＺ軸方向に下方に移動させることで、運転者Ｄ”には正確な位置に対象物Ｊが重畳して見える。
【００７２】
なお、この表示枠ＤＷは、いずれも前述したステップＳ１１５による表示位置決定処理により表示位置が決定されている。
【００７３】
これに対し、図７(A)に示すように、外部の風景に虚像として重畳表示される対象物Ｊの出力先がＨＵＤ１８である場合には、ＨＵＤ１８は車両Ｋのフロントガラスに対象物Ｊを投影可能にダッシュボード等に構成される。そのため、ＨＵＤ１８は、ＨＭＤ１７と異なり運転者Ｄの頭部と一緒に回転したり移動することはない。つまり、運転者Ｄは、自分の頭部の位置とは関係なくフロントガラスに投影される対象物Ｊを車両Ｋ外の風景に重畳して見ることになる。
【００７４】
このため、例えば、図７(B)に示すように、運転者Ｄ’の頭部がピッチ方向に回転しても、ＨＵＤ１８自体は回転しないことから、対象物Ｊの表示位置は変化することなく前方風景を見つめる運転者Ｄ’の視点Ｅｐもあまり変化しない。つまり、運転者Ｄ’から見える対象物Ｊの重畳位置は、頭部がピッチ方向に回転してもほとんど変化させる必要がないため、ＨＭＤ１７の場合には必要であった表示位置決定処理（Ｓ１１５）によるピッチ回転量の加算処理が不要になる。
【００７５】
一方、図７(C)に示すように、運転者Ｄ”の頭がＺ軸方向に移動するときも、ＨＵＤ１８自体は上下に移動しないが、運転者Ｄ”は車両Ｋのフロントガラスに投影された対象物Ｊを下方から見上げる視点Ｅｐ”や上方から見下ろす視点になる。そのため、表示枠ＤＷのＺ軸方向の上下移動による加算処理に加えて、視点Ｅｐ”のズレによる角度θpitだけ表示枠ＤＷをピッチ方向に回転させるピッチ回転量の加算処理が必要となる。
【００７６】
つまり、対象物Ｊを見上げる場合には、表示枠ＤＷを車両Ｋの後方（手前）に引き寄せるように回転させ、対象物Ｊを見下ろす場合には、表示枠ＤＷを車両Ｋの前方（奥）に押し倒すように回転させるピッチ回転量の加算処理を、Ｚ軸方向の上下移動させた表示枠ＤＷに対してさらに行う。これにより、運転者Ｄ”の視点Ｅｐ”の位置が変化してもＺ軸方向の移動に加えて、ピッチ方向の回転によって対象物Ｊの形状が補正されるため、運転者Ｄ”には違和感ない対象物Ｊが正確な位置に重畳されて見える。
【００７７】
このように、ナビゲーションＥＣＵ１０にＨＵＤ１８が接続されている場合には、運転者Ｄの視点Ｅｐの位置変化を表示枠ＤＷの回転量として演算処理する必要があるため、ここからは図８を参照してこのような演算処理の内容を説明する。
【００７８】
図８(A)に示すように、運転者Ｄの頭部がＺ軸方向に移動した場合に変化する視点Ｅｐの位置変化は、運転者Ｄ’の頭部の回転量θpitとして捉えることができる。即ち、回転量θpitは、運転者Ｄ，Ｄ’の視点Ｅｐ，Ｅｐ’からＨＵＤ１８の虚像までの水平距離をＭ、当該虚像の地面からの高さをｈ3、とすると、運転者Ｄの頭部がＺ軸方向に移動する前の表示枠ＤＷの回転量θpit1＝arctan((ｈ1−ｈ3)／Ｍ)と、運転者Ｄ’の頭部がＺ軸方向に移動した後の表示枠ＤＷの回転量θpit2＝arctan((ｈ2−ｈ3)／Ｍ)との差、つまりθpit＝θpit2−θpit1として求めることができる。ここで、ｈ1は、上下に移動する前における地上から視点Ｅｐまでの高さで、またｈ2は、上下に移動した後における地上から視点Ｅｐまでの高さである。
【００７９】
一方、図８(B)に示すように、運転者Ｄの頭部がＹ軸方向に左右に移動した場合に変化する視点Ｅｐの位置変化は、運転者Ｄ”の頭部の回転量θyawとして捉えることができる。即ち、回転量θyawは、運転者Ｄ，Ｄ”の視点Ｅｐ，Ｅｐ”からＨＵＤ１８の虚像までの水平距離をＭとすると、運転者Ｄの頭部がＹ軸方向に移動する前の表示枠ＤＷの回転量θyaw1＝arctan(ｙ1／Ｍ)と、運転者Ｄ”の頭部がＹ軸方向に移動した後の表示枠ＤＷの回転量θyaw2＝arctan(ｙ2／Ｍ)との差、つまりθyaw＝θyaw2−θyaw1として求めることができる。ここで、ｙ1は、左右に移動する前におけるＨＵＤ１８の正面に垂直なセンター軸Ｉ（図８(B)に示す点線）から視点Ｅｐまでの距離で、またｙ2は、左右に移動した後におけるセンター軸Ｉから視点Ｅｐ”までの距離である。
【００８０】
このように対象物Ｊの出力先がＨＵＤ１８である場合において、運転者Ｄの頭部がＺ軸方向やＹ軸方向に移動するときには、表示枠ＤＷの平行移動量を上下方向や左右方向で求め、さらに上述した演算処理によりθpitやθyawを求めて表示枠ＤＷを回転させる必要がある。そのため、ここからは、図９を参照して具体的な情報処理の流れを説明する。なおこの処理は、図３に示す表示位置決定処理（Ｓ１１５）の他の情報処理例として説明する。
【００８１】
図９に示すように、表示位置決定処理では、まずステップＳ５０１によりデータ取得処理が行われる。この処理は、ステップＳ１０９による顔向き検出処理により検出された顔向き情報（ヨー回転量、ロール回転量、ピッチ回転量、前後移動量、左右移動量および上下移動量）と、ステップＳ１１１による車両姿勢検出処理により検出された車両Ｋの姿勢情報（ヨー回転量、ロール回転量、ピッチ回転量、前後移動量、左右移動量および上下移動量）と、ステップＳ１１３による位置関係検出処理により検出された位置情報（対象物Ｊが実際に存在すべき位置と自車位置との位置関係）と、顔向き認識ＥＣＵ３０や車両姿勢検出ＥＣＵ４０あるいは位置関係検出部１０ｄからそれぞれ取得する。
【００８２】
続くステップＳ５０３では、ディスプレイがＨＭＤ１７であるか否かを判断する処理が行われる。この処理は、予めシステム設定されているナビゲーションＥＣＵ１０のハードウェア構成情報に基づいて判断される。ステップＳ５０３によりＨＭＤ１７が接続されていると判断された場合には（Ｓ５０３；Ｙｅｓ）、図６を参照して説明したように、この場合には特別な処理は必要ないので、前述したステップＳ１１５による表示位置決定処理と同様に、ステップＳ５１５による最終回転量算出処理やステップＳ５１７による最終移動量算出処理を行う。
【００８３】
即ち、ステップＳ５０１により取得した、顔向き認識ＥＣＵ３０（Ｓ１０９）による顔向き情報、車両姿勢検出ＥＣＵ４０（Ｓ１１１）による姿勢情報および位置関係検出部１０ｄ（Ｓ１１３）による位置情報に基づいて、三次元画像に変換された対象物Ｊの表示位置を６種類（ヨー回転量、ロール回転量、ピッチ回転量、前後移動量、左右移動量および上下移動量）のパラメータごとにそれぞれ加算演算して決定する。なお、離隔距離Ｍは前後移動量に加算され、左右差Ｈは左右移動量に加算され、高低差Ｖは、距離として得られている場合には上下移動量に加算され、傾斜角度として得られている場合にはピッチ回転量に加算される。
【００８４】
これに対し、ステップＳ５０３によりＨＭＤ１７が接続されていないと判断された場合には（Ｓ５０３；Ｎｏ）、続くステップＳ５０５によりＨＵＤ１８が接続されているか否かがナビゲーションＥＣＵ１０のハードウェア構成情報に基づいて判断される。そして、ＨＵＤ１８が接続されていると判断された場合には（Ｓ５０５；Ｙｅｓ）、続くステップＳ５０７に処理を移行し、ＨＵＤ１８が接続されていると判断されない場合には（Ｓ５０５；Ｎｏ）、モニタＥＣＵ５０によるモニタ画面に出力するため、本表示位置決定処理を終えて図３に示すステップＳ１１７に移行して表示画像生成処理を行う。
【００８５】
次のステップＳ５０７では初期化処理が行われる。この処理では、前回の処理時に顔向きによる回転量の補正がなかった場合のために行われるもので、顔向き情報を構成するヨー回転量、ロール回転量およびピッチ回転量がそれぞれ０（ゼロ）に設定される。また、予めナビゲーションＥＣＵ１０等に記憶されている「運転者Ｄの視点ＥｐからＨＵＤ１８の虚像までの水平距離Ｍ」と「当該虚像の地面からの高さをｈ3」とを取得する。なお、当該虚像の地面からの高さｈ3は、運転者Ｄの座高の高さに所定値を加えたものであることから、個人差のある運転者Ｄの座高によって変動するが、座高は運転席の高さ調整値として直接的または間接的に検出できるので当該虚像の地面からの高さｈ3も取得できる。
【００８６】
続くステップＳ５０９では、表示枠ＤＷの前回回転量取得処理が行われる。この処理は、前回この表示位置決定処理を行ったときに算出されてステップＳ５１３により記憶された前回の表示枠ＤＷの回転量（ヨー回転量、ロール回転量、ピッチ回転量）を前回回転量（θyaw1、θrol1、θpit1）として取得するもので、これらに基づいて次の顔向き変化量算出処理が行われる。
【００８７】
ステップＳ５１１では顔向き変化量算出処理が行われる。この処理は、運転者Ｄの頭部の移動方向に基づいて、各移動方向（Ｘ軸(前後)方向、Ｙ軸(左右)方向、Ｚ軸(上下)方向）別に図８を参照して説明した演算処理によって表示枠ＤＷの回転量と顔向き変化量を算出するもので、各移動方向ごとに３つのステップＳ５１１ａ、Ｓ５１１ｂ、Ｓ５１１ｃに分かれている。なお、これらのステップＳ５１１ａ〜Ｓ５１１ｃにおいて、各方向に移動したか否かの判断は、ステップＳ５０１により取得された顔向き情報（頭部のヨー回転量、ロール回転量、ピッチ回転量、前後移動量、左右移動量および上下移動量）に基づいて行われている。
【００８８】
ステップＳ５１１ａでは、運転者Ｄの頭部がＸ軸方向、つまり車両Ｋの前後方向に移動している場合には（頭部の前後移動量が検出されている場合には）、当該移動量はそのままＸ軸方向の移動量として後述するステップＳ５１７で使用する。なお、頭部のＸ軸方向の移動は、この表示位置決定処理で算出する頭部や表示枠ＤＷの回転量には直接関与しない。
【００８９】
ステップＳ５１１ｂでは、運転者Ｄの頭部がＹ軸方向、つまり車両Ｋの車幅方向に移動している場合には（頭部の左右移動量が検出されている場合には）、当該移動量はそのままＹ軸方向の移動量として後述するステップＳ５１７で使用する。
【００９０】
また、顔向き検出処理（Ｓ１０９）により検出された顔向き情報から取得した今回のＹ軸方向の顔の位置（ＨＵＤ１８のセンター軸Ｉから視点Ｅｐまでの距離ｙ2）と、運転者Ｄの視点ＥｐからＨＵＤ１８の虚像までの水平距離Ｍと、から今回の表示枠ＤＷの回転量θyaw2＝arctan(ｙ2／Ｍ)を算出し、この回転量θyaw2から前回の算出結果、つまり前回の回転量θyaw1を減算して今回の頭部のヨー方向の回転量θyaw（＝θyaw2−θyaw1）を求める。つまり、これが顔向きのヨー方向の変化量となる。
【００９１】
さらに、ステップＳ５１１ｃでは、運転者Ｄの頭部がＺ軸方向、つまり車両Ｋの上下方向に移動している場合には（頭部の上下移動量が検出されている場合には）、当該移動量はそのままＺ軸方向の移動量として後述するステップＳ５１７で使用する。
【００９２】
また、顔向き検出処理（Ｓ１０９）により検出された顔向き情報から取得した今回のＺ軸方向の顔の位置（地上から視点Ｅｐまでの高さｈ2）と、ＨＵＤ１８の虚像の地面からの高さｈ3と、運転者Ｄの視点ＥｐからＨＵＤ１８の虚像までの水平距離Ｍと、から今回の表示枠ＤＷの回転量θpit2＝arctan((ｈ2−ｈ3)／Ｍ)を算出し、この回転量θpit2から前回の算出結果、つまり前回の回転量θpit1を減算して今回の頭部のピッチ方向の回転量θpit（＝θpit2−θpit1）を求める。つまり、これが顔向きのピッチ方向の変化量となる。
【００９３】
続くステップＳ５１３では、ステップＳ５１１（Ｓ５１１ａ，Ｓ５１１ｂ，Ｓ５１１ｃ）により求めた今回の表示枠ＤＷの回転量（ヨー回転量、ロール回転量、ピッチ回転量）を今回回転量（θyaw1、θrol1、θpit1）として記憶するもので、次回この表示位置決定処理が行われる際に前回回転量取得処理（Ｓ５０９）により読み出される。
【００９４】
続くステップＳ５１５では最終回転量算出処理が行われる。この処理は、顔向き認識ＥＣＵ３０（Ｓ１０９）による顔向き情報、車両姿勢検出ＥＣＵ４０（Ｓ１１１）による姿勢情報および位置関係検出部１０ｄ（Ｓ１１３）による位置情報に基づいて、三次元画像に変換された表示枠ＤＷの表示位置を３種類（ヨー回転量、ロール回転量およびピッチ回転量）のパラメータごとにそれぞれ加算演算するとともに、ステップＳ５１１により求められた今回の頭部のヨー方向の回転量θyaw（＝θyaw2−θyaw1）とピッチ方向の回転量θpit（＝θpit2−θpit1）をこれらに加算演算する。
【００９５】
また、ステップＳ５１７では最終移動量算出処理が行われる。この処理は、顔向き認識ＥＣＵ３０（Ｓ１０９）による顔向き情報、車両姿勢検出ＥＣＵ４０（Ｓ１１１）による姿勢情報および位置関係検出部１０ｄ（Ｓ１１３）による位置情報に基づいて、三次元画像に変換された表示枠ＤＷの表示位置を３種類（前後移動量、左右移動量および上下移動量）のパラメータごとにそれぞれ加算演算するとともに、ステップＳ５１１により求められた今回の頭部のＸ軸方向、Ｙ軸方向およびＺ軸方向の各移動量をこれらに加算演算する。この処理が終わると、図３に示すステップＳ１１７に処理を移行して表示画像生成処理をする。
【００９６】
このように図９を参照して説明した表示位置決定処理による他の情報処理例によると、外部の風景に虚像として重畳表示される対象物Ｊの出力先がＨＵＤ１８である場合には（Ｓ５０５；Ｙｅｓ）、今回のＹ軸方向の顔の位置（ＨＵＤ１８の正面からの距離ｙ2）と、運転者Ｄの視点ＥｐからＨＵＤ１８の虚像までの距離Ｍと、から今回の表示枠ＤＷの回転量θyaw2＝arctan(ｙ2／Ｍ)を算出し、この回転量θyaw2から前回の回転量θyaw1を減算して今回の頭部のヨー方向の回転量θyawを求めて顔向きのヨー方向の変化量とする。また、今回のＺ軸方向の顔の位置（地上から視点Ｅｐまでの高さｈ2）と、ＨＵＤ１８の虚像の地面からの高さｈ3と、運転者Ｄの視点ＥｐからＨＵＤ１８の虚像までの距離Ｍと、から今回の表示枠ＤＷの回転量θpit2＝arctan((ｈ2−ｈ3)／Ｍ)を算出し、この回転量θpit2から前回の回転量θpit1を減算して今回の頭部のピッチ方向の回転量θpitを求めて顔向きのピッチ方向の変化量とする。そして、ステップＳ５１５により、この顔向きのヨー方向の変化量とピッチ方向の変化量を顔向きの回転量（ヨー回転量、ロール回転量およびピッチ回転量）に加算する。
【００９７】
これにより、運転者Ｄの頭部がＹ軸方向やＺ軸方向に変動したことによる視点の位置変化に基づいた顔向き情報が得られるので、例えば、運転者Ｄが対象物Ｊを見上げる場合には、表示枠ＤＷを車両Ｋの後方（手前）に引き寄せるように回転させ、対象物Ｊを見下ろす場合には、表示枠ＤＷを車両Ｋの前方（奥）に押し倒すように回転させるピッチ回転量の加算処理を、Ｚ軸方向の上下移動させた表示枠ＤＷに対してさらに行うことができる。このため、運転者Ｄの視点の位置が変化してもＺ軸方向の移動に加えて、ピッチ方向の回転によって対象物Ｊの形状が補正されるため、運転者Ｄには違和感ない対象物Ｊが正確な位置に重畳されて見える。したがって、運転者Ｄの視点の位置変化に基づいた顔向き情報を得ることで、さらに重畳表示の位置精度を向上することができる。
【００９８】
なお、図３に示すステップＳ１１７による表示画像生成処理の他の例として、図４(B)に示す構成を採る場合においては、表示枠ＤＷに代えて対象物Ｊを回転させる。そのため、図６〜図８を参照して説明した表示位置の決定方法や図９に示す表示位置決定処理においては、「表示枠ＤＷ」を「対象物Ｊ」に置き換え、さらに「加算処理」を「減算処理」に置き換えることによって、図４(B)に示す構成を採る場合における表示位置の決定方法（図６〜図８）や表示位置決定処理（図９）を説明することができる。
【００９９】
即ち、図９に示す表示位置決定処理の最終回転量算出処理（Ｓ５１５）では、顔向き認識ＥＣＵ３０（Ｓ１０９）による顔向き情報、車両姿勢検出ＥＣＵ４０（Ｓ１１１）による姿勢情報および位置関係検出部１０ｄ（Ｓ１１３）による位置情報に基づいて、三次元画像に変換された対象物Ｊの表示位置を３種類（ヨー回転量、ロール回転量およびピッチ回転量）のパラメータごとにそれぞれ減算演算するとともに、ステップＳ５１１により求められた今回の頭部のヨー方向の回転量θyaw（＝θyaw2−θyaw1）とピッチ方向の回転量θpit（＝θpit2−θpit1）をこれらに減算演算する。
【０１００】
また、最終移動量算出処理（Ｓ５１７）では、顔向き認識ＥＣＵ３０（Ｓ１０９）による顔向き情報、車両姿勢検出ＥＣＵ４０（Ｓ１１１）による姿勢情報および位置関係検出部１０ｄ（Ｓ１１３）による位置情報に基づいて、三次元画像に変換された対象物Ｊの表示位置を３種類（前後移動量、左右移動量および上下移動量）のパラメータごとにそれぞれ減算演算するとともに、ステップＳ５１１により求められた今回の頭部のＸ軸方向、Ｙ軸方向およびＺ軸方向の各移動量をこれらに減算演算する。
【０１０１】
なお、上下移動量や左右移動量に対して減算処理を行う場合には、これらの移動量に（水平距離Ｍ／離隔距離Ｌ）を乗算して変換した後の変換後移動量で上下や左右に移動させる必要がある。なお、水平距離Ｍは、運転者Ｄの視点Ｅｐ（Ｅｐ’，Ｅｐ”）からＨＵＤ１８の虚像までの水平距離であり（図８参照）、また離隔距離Ｌは、対象物Ｊが風景中で存在すべき実際の位置Ｐと車両Ｋの位置Ｑとの離隔距離である（図２参照）。
【０１０２】
これにより、図３に示すステップＳ１１７による表示画像生成処理の他の例として、図４(B)に示す構成を採る場合においても、運転者Ｄの頭部がＹ軸方向やＺ軸方向に変動したことによる視点の位置変化に基づいた顔向き情報が得られるので、例えば、運転者Ｄが対象物Ｊを見上げる場合には、対象物Ｊを車両Ｋの前方（奥）に押し倒すように回転させ、対象物Ｊを見下ろす場合には、対象物Ｊを車両Ｋの後方（手前）に引き寄せるように回転させるピッチ回転量の減算処理を、Ｚ軸方向の上下移動させた対象物Ｊに対してさらに行うことができる。このため、運転者Ｄの視点の位置が変化してもＺ軸方向の移動に加えて、ピッチ方向の回転によって対象物Ｊの形状が補正されるため、運転者Ｄには違和感ない対象物Ｊが正確な位置に重畳されて見える。したがって、運転者Ｄの視点の位置変化に基づいた顔向き情報を得ることで、さらに重畳表示の位置精度を向上することができる。
【０１０３】
なお、上述した表示位置決定処理による他の情報処理例に含まれる技術的思想の創作を抽出すると、次のように表現することができる。
［１］
所定情報を表す情報像を運転者から見た車両外の風景に重畳表示可能な表示手段と、
重畳表示される前記情報像が前記風景中で存在すべき実際の位置と当該車両の位置との関係を位置情報として取得する位置情報取得手段と、
前記車両の姿勢情報を取得する姿勢情報取得手段と、
前記運転者の顔向き情報を取得する顔向き情報取得手段と、
前記位置情報、前記姿勢情報および前記顔向き情報に基づいて、前記表示手段による前記情報像の表示位置を決定する表示位置決定手段と、
前記表示位置決定手段により決定された前記表示位置に前記情報像を表示する制御を前記表示手段に行う表示制御手段と、を備え、
表示位置決定手段は、前記顔向き情報による前記運転者の頭部の位置情報と、前記姿勢情報による前記車両の挙動情報と、前記情報像と前記車両との位置関係についての前記位置情報と、に基づいて前記情報像の表示位置を決定することを特徴とする情報表示装置。
【０１０４】
これにより、表示手段により表示される情報像は、顔向き情報による運転者の頭部の位置情報と、姿勢情報による車両の挙動情報と、情報像と車両との位置関係についての位置情報と、に基づいて、その表示位置が決定されるので、例えば、当該車両が上下動したりバウンドして運転者から見た車両外の風景が変化しても、そのような風景の変化に追従した重畳表示が可能となる。したがって、重畳表示の位置精度を向上することができる。
【０１０５】
［２］
上記［１］に記載した技術的思想において、
前記表示手段が当該車両の運転者の頭部に装着に構成されるヘッドマウントディスプレイである場合、
表示位置決定手段は、前記運転者の頭部の位置情報で、ヨー回転量、ロール回転量、ピッチ回転量、前後移動量、左右移動量および上下移動量を含むものと、前記車両の挙動情報で、ヨー回転量、ロール回転量、ピッチ回転量、前後移動量、左右移動量および上下移動量を含むものと、前記位置情報で前記情報像と前記車両との距離情報と、に基づいて前記情報像の表示位置を決定することを特徴とする情報表示装置。
【０１０６】
これにより、表示手段がヘッドマウントディスプレイである場合には、ヨー回転量、ロール回転量、ピッチ回転量、前後移動量、左右移動量および上下移動量を含む頭部の位置情報と、ヨー回転量、ロール回転量、ピッチ回転量、前後移動量、左右移動量および上下移動量を含む車両の挙動情報と、情報像と車両との距離情報と、に基づいて情報像の表示位置が決定される。このため、例えば、当該車両が上下動したりバウンドして運転者から見た車両外の風景が変化しても、そのような風景の変化に追従した重畳表示が可能となり、重畳表示の位置精度を向上することができる。
【０１０７】
［３］
上記［１］に記載した技術的思想において、
前記表示手段が当該車両のフロントガラスに映像を投影可能に構成されるヘッドアップディスプレイである場合、
表示位置決定手段は、前記運転者の頭部の位置情報で、ヨー回転量、ロール回転量、ピッチ回転量、前後移動量、左右移動量および上下移動量を含むものと、前記車両の挙動情報で、ヨー回転量、ロール回転量、ピッチ回転量、前後移動量、左右移動量および上下移動量を含むものと、前記位置情報で前記情報像と前記車両との距離情報と、
さらに、前記頭部の左右移動量に基づく当該頭部のヨー回転量と、前記頭部の上下移動量に基づく当該頭部のピッチ回転量と、に基づいて前記情報像の表示位置を決定することを特徴とする情報表示装置。
【０１０８】
これにより、表示手段がヘッドアップディスプレイである場合には、ヨー回転量、ロール回転量、ピッチ回転量、前後移動量、左右移動量および上下移動量を含む頭部の位置情報と、ヨー回転量、ロール回転量、ピッチ回転量、前後移動量、左右移動量および上下移動量を含む車両の挙動情報と、情報像と車両との距離情報と、さらに、頭部の左右移動量に基づく当該頭部のヨー回転量と、頭部の上下移動量に基づく当該頭部のピッチ回転量と、に基づいて情報像の表示位置が決定される。このため、運転者の視点の位置が上下方向に変化しても上下移動量に加えてピッチ回転量によって情報像が補正されたり、運転者の視点の位置が左右方向に変化しても左右移動量に加えてヨー回転量によって情報像が補正されるので、運転者には違和感ない情報像が正確な位置に重畳されて見える。したがって、さらに重畳表示の位置精度を向上することができる。
【符号の説明】
【０１０９】
１０…ナビゲーションＥＣＵ
１０ａ…ナビゲーション部
１０ｂ…車両位置検出部
１０ｃ…表示情報取得部
１０ｄ…位置関係検出部（位置情報取得手段）
１０ｅ…３Ｄ画像変換部
１０ｆ…表示位置決定部（表示位置決定手段）
１０ｇ…表示画像生成部（表示制御手段）
１７…ＨＭＤ（表示手段）
１８…ＨＵＤ（表示手段）
２０…地図データベース
３０…顔向き認識ＥＣＵ（顔向き情報取得手段）
４０…車両姿勢検出ＥＣＵ（姿勢情報取得手段）
５０…モニタＥＣＵ（表示手段）
Ｄ…運転者
ＤＷ…表示枠
Ｅｐ…視点
Ｊ…対象物（情報像）
Ｋ…車両
Ｐ…対象物が風景中で存在すべき実際の位置
Ｑ…車両の位置
ＶＡ…仮想空間
【図１】
2010256878.tif 000003
【図２】
2010256878.tif 000004
【図３】
2010256878.tif 000005
【図４】
2010256878.tif 000006
【図５】
2010256878.tif 000007
【図６】
2010256878.tif 000008
【図７】
2010256878.tif 000009
【図８】
2010256878.tif 000010
【図９】
2010256878.tif 000011