(57)【要約】【課題】運転者の視線方向に対応した情報をヘッドマウントディスプレイ装置に表示する。【解決手段】情報表示システム１は、ヘッドマウントディスプレイ装置２及び方向特定用カメラ４等を接続した画像作成装置３を備える。ヘッドマウントディスプレイ装置２はフレーム部２ａにマーキング２ｄ〜２ｆを付しており、方向特定用カメラ４が撮影した画像の各マーキング２ｄ〜２ｆ等の位置関係より画像作成装置３はヘッドマウントディスプレイ装置２の向きを算出し、この算出した向きを運転者Ｄの視線方向として特定する。画像作成装置３は位置に関連付けた三次元地図を記憶しており、特定した視線方向に対応する位置の情報を読み出してヘッドマウントディスプレイ装置２に表示する。【選択図】        図１
2004219664.tif 000002
【特許請求の範囲】
【請求項１】
車両運転者の頭部に装着されるヘッドマウントディスプレイ装置が有する透過型表示部に情報を表示する情報表示システムにおいて、
位置に関連付けてある情報を記憶する記憶手段と、
車両位置を検出する位置検出手段と、
該位置検出手段が検出した車両位置より運転席位置を算出する算出手段と、
前記ヘッドマウントディスプレイ装置の透過型表示部が向けられる方向を検出する方向検出手段と、
前記算出手段が算出した運転席位置から前記方向検出手段が検出した方向にある位置を特定する位置特定手段と、
該位置特定手段が特定した位置に基づいて前記記憶手段から関連付けてある情報を読み出して前記透過型表示部に表示する手段と
を備えることを特徴とする情報表示システム。
【請求項２】
前記情報は、関連付けてある位置に対応する建物に係る内容である請求項１に記載の情報表示システム。
【請求項３】
車両運転者の頭部に装着されるヘッドマウントディスプレイ装置が有する透過型表示部に情報を表示する情報表示システムにおいて、
ルートを検索する検索手段と、
車両位置を検出する位置検出手段と、
該位置検出手段が検出した車両位置より運転席位置を算出する算出手段と、
前記ヘッドマウントディスプレイ装置の透過型表示部が向けられる方向を検出する方向検出手段と、
前記算出手段が算出した運転席位置から前記方向検出手段が検出した方向を含む位置範囲を特定する範囲特定手段と、
該範囲特定手段が特定した位置範囲に前記検索手段が検索したルートが含まれるか否かを判断する判断手段と、
該判断手段が前記位置範囲に検索したルートが含まれると判断した場合、検索したルートを示す印を作成する印作成手段と、
該印作成手段が作成した印を前記透過型表示部に表示する手段と
を備えることを特徴とする情報表示システム。
【請求項４】
前記運転席の座席高さを検出する検出手段を更に備え、
前記算出手段は、
前記検出手段が検出した座席高さに基づいて、前記運転席に運転者が着座した場合の運転者の頭部位置を運転席位置として算出する手段を備える請求項３に記載の情報表示システム。
【請求項５】
三次元地図を記憶する地図記憶手段と、
前記範囲特定手段が特定した位置範囲に対応する前記三次元地図の部分を前記地図記憶手段から抽出する抽出手段と、
該抽出手段が抽出した三次元地図の部分に含まれる前記検索手段が検索したルートの道路形状を特定する形状特定手段と
を更に備え、
前記印作成手段は、
前記形状特定手段が特定した道路形状に沿った印を作成する手段を備える請求項４に記載の情報表示システム。
【請求項６】
前記方向検出手段は、
前記算出手段が算出した運転席位置を中心とした絶対方位を検出する絶対方位検出手段と、
前記ヘッドマウントディスプレイ装置を透過型表示部と対向する側から撮影する撮影手段と、
該撮影手段が撮影した映像より前記ヘッドマウントディスプレイ装置の向きを特定する特定手段と、
該特定手段が特定した向きを前記絶対方位検出手段が検出した絶対方位を基準とした方向に換算する方向換算手段と
を備える請求項１乃至請求項５のいずれか記載の情報表示システム。
【請求項７】
車両前方に位置するものを検知する検知手段と、
前記検知手段がものを検知した場合、検知した旨を前記透過型表示部に表示する手段とを更に備える請求項１乃至請求項６のいずれかに記載の情報表示システム。
【請求項８】
車両運転者の頭部に装着されるヘッドマウントディスプレイ装置が有する透過型表示部に情報出力装置が情報を表示する情報表示方法において、
位置に関連付けてある情報を記憶する記憶手段と、
車両位置を検出する位置検出手段とを備え、
前記情報出力装置は、
前記位置検出手段が検出した車両位置より運転席位置を算出し、
前記ヘッドマウントディスプレイ装置の透過型表示部が向けられる方向を検出し、
前記算出した運転席位置から前記検出した方向にある位置を特定し、
該特定した位置に基づいて前記記憶手段から関連付けてある情報を読み出して前記透過型表示部に表示することを特徴とする情報表示方法。
【請求項９】
車両運転者の頭部に装着されるヘッドマウントディスプレイ装置が有する透過型表示部に情報出力装置が情報を表示する情報表示方法において、
ルートを検索する検索手段と、
車両位置を検出する位置検出手段とを備え、
前記情報出力装置は、
前記位置検出手段が検出した車両位置より運転席位置を算出し、
前記ヘッドマウントディスプレイ装置の透過型表示部が向けられる方向を検出し、
前記算出した運転席位置から前記検出した方向を含む位置範囲を特定し、
該特定した位置範囲に前記検索手段が検索したルートが含まれるか否かを判断し、
前記位置範囲に検索したルートが含まれると判断した場合、検索したルートを示す印を作成し、
該作成した印を前記透過型表示部に表示することを特徴とする情報表示方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車内のディスプレイ装置に各種情報を表示するものであり、透過型表示部を有するヘッドマウントディスプレイ装置を用いることで、運転者が車外を見る視野内に各種情報が表示されるようにした情報表示システム及び情報表示方法に関する。
【０００２】
【従来の技術】
従来、車内のインストルメントパネルの上部又はセンターコンソール等に、ディスプレイ装置を設け、このディスプレイ装置の画面に渋滞情報及びナビゲーション装置が検索した地図画面等の各種情報を表示するようにした情報表示システムが存在している。
【０００３】
また、情報表示システムは上記形態以外にも種々の形態がある。例えば、フロントウインドウの一部に設けたコンバイナに投射機が投射した情報の表示を行うヘッドアップディスプレイ装置を用いたもの、及び、装着状態でも外界が見える透過型表示部を有するヘッドマウントディスプレイ装置を用いたもの等がある。
【０００４】
なお、ヘッドアップディスプレイ装置を用いた情報表示システムは、下記の特許文献１で開示されている。
【０００５】
【特許文献１】
特開平９−２１０２号公報
【０００６】
【発明が解決しようとする課題】
インストルメントパネル又はセンターコンソール等にディスプレイ装置を設けたシステムでは、運転者は表示される情報を見る場合、視線を車両前方からディスプレイ装置へ移す必要があるため、運転者の視線移動に対する負担が大きいと云う問題がある。また、ヘッドアップディスプレイ装置を用いた情報表示システムの場合、コンバイナに情報が表示されるため、運転者の視線移動に対する負担は軽減されるものの、コンバイナの表示解像度は一般的なディスプレイ装置に比べて低いため、ナビゲーション装置のルート案内に係る地図のような細かい画像を適切に表示するのが困難であると云う問題がある。
【０００７】
さらに、ヘッドマウントディスプレイ装置を用いた情報表示システムでも、地図画面のような詳細な画像を表示するのは困難であると共に、情報の表示の仕方によっては運転者の視界を妨げることもある。
【０００８】
一方、上述した３タイプの情報表示システムは、車両の現在位置に応じた情報を表示するに留まっており、運転者の見ている方向に応じた情報を表示することまでは実現できていないのが現状である。また、これら３タイプの表示システムは、車両前方に障害物等が存在する場合、障害物が存在することを適切に警告することにも対応できていない。
【０００９】
本発明は、斯かる事情に鑑みてなされたものであり、ヘッドマウントディスプレイ装置を用いてヘッドマウントディスプレイ装置の向きを検出することで、運転者の視線方向に応じた情報を表示可能にした情報表示システムを提供することを目的とする。
【００１０】
また、本発明は、ナビゲーション装置が検索したルートの道路が運転者の視線方向に存在する場合、検索に係る道路に応じた印をヘッドマウントディスプレイ装置の透過表示部に表示することで、地図を表示しなくても検索ルートに該当する道路を認識できるようにした情報表示システムを提供することを目的とする。
【００１１】
さらに、本発明は車両前方に位置する障害物、人等を検出する検知手段を備えることで、適切に警告を表示可能とした情報表示システムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
第１発明に係る情報表示システムは、車両運転者の頭部に装着されるヘッドマウントディスプレイ装置が有する透過型表示部に情報を表示する情報表示システムにおいて、位置に関連付けてある情報を記憶する記憶手段と、車両位置を検出する位置検出手段と、該位置検出手段が検出した車両位置より運転席位置を算出する算出手段と、前記ヘッドマウントディスプレイ装置の透過型表示部が向けられる方向を検出する方向検出手段と、前記算出手段が算出した運転席位置から前記方向検出手段が検出した方向にある位置を特定する位置特定手段と、該位置特定手段が特定した位置に基づいて前記記憶手段から関連付けてある情報を読み出して前記透過型表示部に表示する手段とを備えることを特徴とする。
【００１３】
第２発明に係る情報表示システムは、前記情報は、関連付けてある位置に対応する建物に係る内容であることを特徴とする。
【００１４】
第３発明に係る情報表示システムは、車両運転者の頭部に装着されるヘッドマウントディスプレイ装置が有する透過型表示部に情報を表示する情報表示システムにおいて、ルートを検索する検索手段と、車両位置を検出する位置検出手段と、該位置検出手段が検出した車両位置より運転席位置を算出する算出手段と、前記ヘッドマウントディスプレイ装置の透過型表示部が向けられる方向を検出する方向検出手段と、前記算出手段が算出した運転席位置から前記方向検出手段が検出した方向を含む位置範囲を特定する範囲特定手段と、該範囲特定手段が特定した位置範囲に前記検索手段が検索したルートが含まれるか否かを判断する判断手段と、該判断手段が前記位置範囲に検索したルートが含まれると判断した場合、検索したルートを示す印を作成する印作成手段と、該印作成手段が作成した印を前記透過型表示部に表示する手段とを備えることを特徴とする。
【００１５】
第４発明に係る情報表示システムは、前記運転席の座席高さを検出する検出手段を更に備え、前記算出手段は、前記検出手段が検出した座席高さに基づいて、前記運転席に運転者が着座した場合の運転者の頭部位置を運転席位置として算出する手段を備えることを特徴とする。
【００１６】
第５発明に係る情報表示システムは、三次元地図を記憶する地図記憶手段と、前記範囲特定手段が特定した位置範囲に対応する前記三次元地図の部分を前記地図記憶手段から抽出する抽出手段と、該抽出手段が抽出した三次元地図の部分に含まれる前記検索手段が検索したルートの道路形状を特定する形状特定手段とを更に備え、前記印作成手段は、前記形状特定手段が特定した道路形状に沿った印を作成する手段を備えることを特徴とする。
【００１７】
第６発明に係る情報表示システムは、前記方向検出手段は、前記算出手段が算出した運転席位置を中心とした絶対方位を検出する絶対方位検出手段と、前記ヘッドマウントディスプレイ装置を透過型表示部と対向する側から撮影する撮影手段と、該撮影手段が撮影した映像より前記ヘッドマウントディスプレイ装置の向きを特定する特定手段と、該特定手段が特定した向きを前記絶対方位検出手段が検出した絶対方位を基準とした方向に換算する方向換算手段とを備えることを特徴とする。
【００１８】
第７発明に係る情報表示システムは、車両前方に位置するものを検知する検知手段と、前記検知手段がものを検知した場合、検知した旨を前記透過型表示部に表示する手段とを更に備えることを特徴とする。
【００１９】
第８発明に係る情報表示方法は、車両運転者の頭部に装着されるヘッドマウントディスプレイ装置が有する透過型表示部に情報出力装置が情報を表示する情報表示方法において、位置に関連付けてある情報を記憶する記憶手段と、車両位置を検出する位置検出手段とを備え、前記情報出力装置は、前記位置検出手段が検出した車両位置より運転席位置を算出し、前記ヘッドマウントディスプレイ装置の透過型表示部が向けられる方向を検出し、前記算出した運転席位置から前記検出した方向にある位置を特定し、該特定した位置に基づいて前記記憶手段から関連付けてある情報を読み出して前記透過型表示部に表示することを特徴とする。
【００２０】
第９発明に係る情報表示方法は、車両運転者の頭部に装着されるヘッドマウントディスプレイ装置が有する透過型表示部に情報出力装置が情報を表示する情報表示方法において、ルートを検索する検索手段と、車両位置を検出する位置検出手段とを備え、前記情報出力装置は、前記位置検出手段が検出した車両位置より運転席位置を算出し、前記ヘッドマウントディスプレイ装置の透過型表示部が向けられる方向を検出し、前記算出した運転席位置から前記検出した方向を含む位置範囲を特定し、該特定した位置範囲に前記検索手段が検索したルートが含まれるか否かを判断し、前記位置範囲に検索したルートが含まれると判断した場合、検索したルートを示す印を作成し、該作成した印を前記透過型表示部に表示することを特徴とする。
【００２１】
第１発明及び第８発明にあっては、ヘッドマウントディスプレイ装置の方向を検出すると共に、検出した方向の位置に関連付けてある情報を表示することで、運転者の視線方向に応じた情報を表示できる。表示する情報は、記憶手段としてＣＤ、ＤＶＤ、ハードディスクのような記憶媒体に記憶し、これらの記憶媒体から検出した方向を手掛かりに随時読み出して表示することが好適である。
【００２２】
第２発明にあっては、情報として位置に対応する建物に係る内容を表示できるので、有益な各種情報を運転者に提供できる。建物に係る内容としては、建物の種類、名称等があり、さらに建物が店舗であれば営業時間及び販売品の種類、販売価格等を内容に含ませることができる。
【００２３】
第３発明及び第９発明にあっては、目的地までのルートを検索する検索手段を組み合わせると共に、検索ルートに該当する道路が運転者の視線方向に存在する場合、透過型表示部を通じて見える実際の道路に、検索ルートの道路であることを示す印を表示するので、地図を表示することなく直接的に案内ルートを運転者に表示できる。また、ヘッドマウントディスプレイ装置を用いることで、運転者は視線移動することなく検索ルートの道路を認識でき、運転者の道路認識に係る負担を軽減できる。
【００２４】
第４発明にあっては、運転席の座席高さを検出すると共に、運転席に運転者が着座した際の頭部位置を運転席位置として算出するため、運転席位置を三次元的に特定すると共に、運転席位置からの視線方向の位置範囲も三次元的に特定できる。これにより、表示する印を表示する際も三次元的な位置範囲に応じた形態で表示可能となり、運転者の視界を妨げるような視野位置に印が表示されるような事態を防止できる。
【００２５】
第５発明にあっては、三次元地図を記憶すると共に、運転席位置からの視点で三次元地図の部分を抽出するので、運転者が実際に透過型表示部を通じて見る外界の状態を把握できる。さらに、把握した状況における検索ルートの道路形状に沿って印を作成して表示するので、透過型表示部を通じて見る道路及び表示される印が対応し、運転者は地図無しで容易に検索されたルートに相当する道路を認識できる。なお、表示する印は実際に見える道路より少し小さい形状に作成すると共に、実際に透過型表示部を透過して見える道路に重複させて表示することが好ましい。
【００２６】
第６発明にあっては、ヘッドマウントディスプレイ装置を対向する側から撮影する撮影手段を備えることで、ヘッドマウントディスプレイ装置の向きを確実に特定できる。また、特定した向きを絶対方位に換算してヘッドマウントディスプレイ装置の透過型表示部が向けられる方向を検出するので、検出した方向に応じた位置、検出した方向に含まれる位置範囲の特定に係る処理を正確且つ容易に行える。
【００２７】
第７発明にあっては、検知手段が車両前方のものを検知すると、検知した旨を透過型表示部に表示するので、運転者は表示を見ることで素早く車両前方の障害物、落下物、人等を認識した対応が可能となる。なお、検知手段の検出に要する時間及び現在の車両速度等を考慮して、車両から検出したものまでの距離を算出して表示するようにしてもよい。
【００２８】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて説明する。
【００２９】
図１、２は、本発明の実施形態に係る情報表示システム１の全体的な構成を示している。情報表示システム１は、車両の運転者Ｄの頭部にメガネのように装着されるヘッドマウントディスプレイ装置（ＨＭＤ装置と称す）２、情報出力装置に相当する画像作成装置３、ＨＭＤ装置２を撮影する方向特定用カメラ４、車両の位置及びルート検索等を行うナビゲーション装置５、車両前方の障害物を検出する障害物検知センサ６及び運転席の高さを検知する座席高センサ７を備える。
【００３０】
ＨＭＤ装置２は、図１に示すようにフレーム部２ａの両端から運転者Ｄの耳にかける左右の柄部２ｂ、２ｃを突出しており、フレーム部２ａの運転者Ｄの両眼と対向する箇所には光が透過する透過型表示部のコンバイナ１０を取り付けている。左右の柄部２ｂ、２ｃは、運転者Ｄの頭部を越えるアーチ状のサポート部２ｇで連結されて、ＨＭＤ装置２が運転者Ｄの頭部に安定した状態で装着されるようにしている。
【００３１】
フレーム部２ａは外側正面の左右及び中央に方向特定用のマーキング部２ｄ、２ｅ、２ｆを夫々付している。また、図３に示すように各柄２ｂ、２ｃの内面側にはコンバイナ１０に向けたプロジェクタ２０及び表示コントローラ２１を夫々備えている。表示コントローラ２１は図１に示す接続線Ｓ１で画像作成装置３と接続されており、画像作成装置３で作成された画像をプロジェクタ２０で投射してコンバイナ１０に表示させている。なお、コンバイナ１０は透過型なので、ＨＭＤ装置２を装着した状態でも運転者Ｄはコンバイナ１０を通じて運転に支障のない視界を確保できる。
【００３２】
また、ＨＭＤ装置２は、サポート部２ｇの頂上に地磁気センサ８が設けている。地磁気センサ８は絶対方位検出手段として東西南北に係る絶対方位を検出するものであり、検出した絶対方位を画像作成装置３へ接続線Ｓ１で伝送している。
【００３３】
さらに、ＨＭＤ装置２は、フレーム部の２ａの上端中央及びサポート部２ｇの左右箇所に、第１傾斜センサ９ａ、第２傾斜センサ９ｂ及び第３傾斜センサ９ｃを夫々設けている。
【００３４】
第１傾斜センサ９ａは、図４（ａ）に示すように運転者Ｄが頭部を前後に傾けた場合の角度（ピッチ角）を検知するものであり、水平線（図ではＹ方向）を基準の０度にして水平線から傾いた角度をピッチ角として検知している。第２及び第３傾斜センサ９は、図４（ｂ）に示すように運転者Ｄが頭部を左右に傾けた場合の角度（ロール角）を検知するものであり、垂直線（図ではＺ方向）を基準の０度にして垂直線から傾いた角度をロール角として検知している。なお、各傾斜センサ９ａ〜９ｃは検知した角度のデータを接続線Ｓ１で画像作成装置３へ伝送している。
【００３５】
図１に示す方向特定用カメラ４は、車両の運転席に対向する箇所のインストルメントパネル（図示せず）に設置されており、ＨＭＤ装置２をコンバイナ１０と対向する側から撮影する撮影手段として機能し、撮影した画像のデータを接続線Ｓ２を通じて画像作成装置３へ伝送している。なお、伝送した画像は、図７（ｃ）に示す運転者Ｄが頭部を左右に回転させた角度（ヨー角）を特定する画像作成装置３における処理で利用される。
【００３６】
図１に示すナビゲーション装置５は、人工衛星から緯度及び経度に係る位置データを受信する受信アンテナ５ａ及び各種スイッチを有する所要の操作部（図示せず）を備えている。ナビゲーション装置５は車両位置を検出する位置検出手段及びルートを検索する検索手段として機能する。具体的には、図５に示すようにナビゲーション装置５は、人工衛星からの受信データに基づき車両Ａが走行する道路Ｒの中心位置を検出して、検出した中心位置を補正して車両Ａの中心点Ａ１を車両位置として検出する。
【００３７】
また、ナビゲーション装置５は、一定時間連続して車両位置を検出することで車両Ａの進行方向も算出している。本実施形態の情報表示システム１は、このように算出された車両Ａの進行方向をＹ方向、進行方向と直交する方向をＸ方向、垂直方向をＺ方向として把握しており、図４（ａ）（ｂ）等で示すピッチ角及びロール角等に対しても同様のＸ、Ｙ及びＺ方向を用いている。
【００３８】
さらに、ナビゲーション装置５は、操作部で所要の操作を行うことにより現在地から目的地までの最適なルートを検索する機能も有している。なお、ナビゲーション装置５は、算出した緯度及び経度、進行方向、並びに、検索したルートに係る各データを接続線Ｓ４を通じて画像作成装置３へ伝送している。
【００３９】
障害物検知センサ６は、図６に示すように車両Ａの前方に取り付けてあり、検知手段として車両前方の道路Ｒ上に位置する障害物Ｍを検出する。本実施形態の障害物検知センサ６は、ミリ波レーダを用いており反射したミリ波の状況に応じて車両前方の障害物Ｍの有無を判断すると共に、ミリ波の出力から反射したミリ波の入力までの時間も検出する。なお、障害物検知センサ６は物だけでなく、人も検知可能である。
【００４０】
障害物検知センサ６は障害物Ｍの存在を検知した場合は、接続線Ｓ５で検知した旨を通知する通知データ及び検知に係る時間のデータを画像作成装置３へ伝送している。なお、障害物検知センサ６はミリ波レーダ以外にもレーザレーダ、ステレオカメラ等を適用することも可能である。
【００４１】
図１に示す座席高センサ７は、検出手段として車内のフロア上面から図示しない運転席のヘッドレストまでの高さを検知するものであり、検知した高さに係るデータを接続線Ｓ３を通じて画像作成装置３へ伝送している。
【００４２】
画像作成装置３は表示制御スイッチ３ａ、車種選択スイッチ３ｂ等の操作部を設けると共に、図２に示すように記憶部１４、視野範囲特定部１１、ルート作成部１２、対象情報作成部１３、危険情報作成部１５及びＨＭＤ画像合成部１６を備える。記憶部１４は記憶手段及び地図記憶手段として機能し、本実施形態ではハードディスクを適用している。記憶部１４は、このハードディスクにデジタルの三次元地図を記憶しており、この三次元地図は運転者の種々の方向に対応する視点からの形態の地形図が含まれており、また地図内の各位置に関連付けた情報も含まれている。
【００４３】
即ち、三次元地図は、絶対方位、緯度及び経度に対応させた位置毎に各種情報を関連付けており、これら情報には、例えば、該当する位置に建てられた建物に係る内容が含まれる。建物にはレストラン、デパート及びガソリンスタンド等が該当し、レストランに係る内容として営業時間及びメニュー等が記憶され、デパートに係る内容としてセール品及び催し物案内等が記憶され、ガソリンスタンドに係る内容として現在のガソリンの値段及びサービス案内等が記憶されている。
【００４４】
視野範囲特定部１１は、運転者Ｄの視線方向を特定して運転者の視野となる位置範囲を定める処理を行う範囲特定手段として機能し、内部に位置特定部１１ａ、視線方向特定部１１ａを備えている。
【００４５】
位置特定部１１ａは運転席位置を算出する算出手段として機能し、ナビゲーション装置５からの車両位置に係るデータ、座席高センサ７が検知した高さデータ及び地磁気センサ８が検出した絶対方位のデータを受け付けている。本実施形態の位置特定部１１ａは、図５に示すように運転席Ａ２に着座した運転者Ｄの頭部位置Ｄ１を運転席位置として算出するものである。
【００４６】
位置特定部１１ａはナビゲーション装置５から伝送される車両位置のデータである車両Ａの中心点Ａ１から運転者Ｄの頭部位置Ｄ１までのＸ方向及びＹ方向に対するオフセット距離ｘ１、ｙ１を図示しない内部メモリに記憶しており、車両Ａの中心点Ａ１よりオフセット距離ｘ１、ｙ１を差分して運転者Ｄの頭部位置Ｄ１のＸ、Ｙ座標を算出する。
【００４７】
また、位置特定部１１ａは座席高センサ７から伝送される運転席Ａ２のヘッドレストの高さを運転者Ｄの頭部位置Ｄ１に係るＺ軸方向の位置座標（Ｚ座標）として算出する。位置特定部１１ａは、上述したように算出したＸ、Ｙ座標を、地磁気センサ８からの絶対方位における位置に変換し、運転者Ｄの頭部位置Ｄ１を緯度、経度及び高さと云う三次元単位で特定する。
【００４８】
視線方向特定部１１ｂは、位置特定部１１ａが算出した運転席位置からＨＭＤ装置２のコンバイナ１０が向いている方向を検出する方向検出手段として機能するものであり、地磁気センサ８からの絶対方位に係るデータ、方向特定用カメラ４からの画像データ、傾斜センサ９ａ〜９ｃからのデータに基づき方向を検出する。
【００４９】
方向の検出に対して視線方向特定部１１ｂは、方向特定用カメラ４からの画像データを分析して、図７（ｃ）に示す車両Ａの進行方向（Ｙ方向：０度）に対するヨー角を特定する。ヨー角の特定は図７（ａ）（ｂ）に示すように、画像データにおけるＨＭＤ装置２のフレーム部２ａに付せられたマーキング部２ｄ、２ｅ、２ｆと運転者Ｄの頭部に対する垂直中心線Ｔとの位置関係を視線方向特定部１１ｂが判断することで行っている。
【００５０】
例えば、伝送された画像データが図７（ａ）に示すように、中央のマーキング部２ｅが垂直中心線Ｔと重なっている場合、ＨＭＤ装置２は方向特定用カメラ４を直視する向きであると視線方向特定部１１ｂは判断しヨー角を０度と特定する。また、画像データが図７（ｂ）に示すように、図中で向かって左となるマーキング部２ｄ及び中央のマーキング部２ｅのみが映っている場合、一方のマーキング部２ｄから垂直中心線Ｔまでの距離Ｔ１及び他方のマーキング部２ｅから垂直中心線Ｔまでの距離Ｔ２よりヨー角の算出を行う。このようにヨー角が０度以外の場合、視線方向特定部１１ｂは各マーキング部２ｄ〜２ｆと垂直中心線Ｔとの距離よりヨー角を算出して特定する。
【００５１】
さらに、視線方向特定部１１ｂは、方向換算手段として上述したように特定したヨー角が運転者Ｄの頭部位置Ｄ１を中心として地磁気センサ８から伝送された絶対方位における方向に換算し、その換算した方向をＸＹ平面上での視線方向として特定している。また、視線方向特定部１１ｂは、各傾斜センサ９ａ〜９ｃから伝送されたピッチ角及びロール角に基づいて、ＹＺ平面上及びＸＺ平面上におけるＨＭＤ装置２の方向を判断して視線方向を特定し、上述したＸＹ平面上における視線方向と合わせて運転者Ｄの視線方向を三次元的に特定する。
【００５２】
視野範囲特定部１１は、上述したように位置特定部１１ａが特定した運転者Ｄの頭部位置Ｄ１及び視線方向特定部１１ｂが特定した視線方向に基づいて、図５、６に示す運転者Ｄの視野に含まれる位置範囲を特定する。位置範囲は、特定された視線方向（図中、Ｋ１で示す）を中心にした通常の人間の視野角となる視野範囲Ｋに相当し、本実施形態の視野範囲特定部１１は、左右方向に夫々７５度及び上下方向に夫々３０度となる頭部位置Ｄ１を頂点とした略円錐状の範囲を視野範囲Ｋとして特定する。
【００５３】
なお、視野範囲Ｋの奥行きは本実施形態では頭部位置Ｄ１から１００ｍ以内の範囲にしているが、この数値は適宜変更可能にしている。視野範囲特定部１１は、特定した運転者Ｄの頭部位置Ｄ１、視線方向Ｋ１及び視野範囲Ｋをルート作成部１２、対象情報作成部１３及び危険情報作成部１５へ出力している。
【００５４】
ルート作成部１２は、記憶部１４と接続されてナビゲーション装置５が検索したルートに相当する道路を示す印を作成する印作成手段として機能し、ルート判定部１２ａ及び三次元画像生成部１２ｂを備えている。
【００５５】
ルート判定部１２ａは、ナビゲーション装置５から検索ルートのデータが入力されており、伝送された検索ルートが現在の視野範囲Ｋに含まれるか否かを判断手段として判断している。三次元画像生成部１２ｂは、検索ルートが視野範囲Ｋに含まれるとルート判定部１２ａで判断された場合、検索ルートの視野範囲Ｋ内における道路を示す印を運転者Ｄの視線方向に応じた形状で作成する。
【００５６】
即ち、三次元画像生成部１２ｂは先ず抽出手段として、視野範囲特定部１１から伝送された運転者Ｄの頭部位置Ｄ１、視線方向Ｋ１及び視野範囲Ｋに対応する三次元地図の部分データを記憶部１４から抽出して読み出す。さらに、三次元画像生成部１２ｂは、この読み出した部分データを運転者Ｄがコンバイナ１０を通じて実際に見ている地形図として特定し、特定した地形図内における検索ルートの道路形状を形状特定手段として特定する。
【００５７】
よって、ルート作成部１２は、三次元画像生成部１２ｂが特定した道路形状に沿って印を形成し、形成した印を表示する箇所を、特定した地形図内における検索した道路と重なるように特定している。
【００５８】
上述したルート作成部１２内における具体的な処理例を説明すると、運転者ＤがＨＭＤ装置２のコンバイナ１０を通じて実際に見ている地形図が図８（ａ）に示すような状況であり、ナビゲーション装置５が現在走行している道路Ｒの車線Ｒ１を前方で左折して車線Ｒ２へ進むようにルートを検索した場合を想定する。この場合、ルート判定部１２ａは検索ルートの道路が視野範囲Ｋに含まれると判断し、三次元画像生成部１２ｂは図８（ａ）と同等な視点からの地図データを記憶部１４から読み出す。
【００５９】
さらに、三次元画像生成部１２ｂは、読み出した地図データにおける検索ルートの道路位置及び形状を特定し、図８（ｂ）に示すように特定した三次元の道路形状に沿った印３０を、コンバイナ１０を通じて実際の道路と対応する位置に生成する。また、三次元画像生成部１２ａは生成した印３０の左折地点となる角部に旗のアイコン３０ａを付加すると共に、左折箇所までの距離を示すメッセージ３１及び左折を示す矢印３２も同時に作成している。
【００６０】
なお、三次元画像生成部１２ａには、画像作成装置３の車種選択スイッチ３ｂの選択信号が入力されるので、この選択信号に応じた車両Ａのフロントウインドウの下端位置Ｗ（図８（ａ）に示すライン）を内蔵メモリから読み出して、この下端位置Ｗより上方の位置に印３０、メッセージ３１及び矢印３２等を生成するようにしている。このようにすることでコンバイナ１０を通じてインストルメントパネルの各種計器及び表示灯等を見る際に、コンバイナ１０で表示される印３０及びメッセージ３１等に遮られることなく確実に各種計器及び表示灯等を見ることができる。
【００６１】
ルート作成部１２は、三次元画像生成部１２ａで生成した印３０、メッセージ３１及び矢印３２等に係るルート案内の画像データをＨＭＤ画像合成部１６へ出力する。
【００６２】
図２に示す対象情報作成部１３は、位置特定手段として運転者Ｄの視線方向Ｋ１の位置を特定し、特定した位置の対象となる情報を記憶部１４から抽出して表示用のデータを作成するものであり、対象特定部１３ａ及び対象情報抽出部１３ｂを備える。対象特定部１３ａは、運転者Ｄの視線方向の延長線と交わり且つ車両から直近の対象を特定するものである。
【００６３】
即ち、対象特定部１３ａは視野範囲特定部１１から出力された図５、６に示す視線方向Ｋ１及び視野範囲Ｋのデータに基づき、記憶部１４から視野範囲Ｋに含まれる三次元地図の部分データを読み出すと共に、読み出した部分データにおいて視線方向Ｋ１に位置する対象物から、例えば、図６に示すように直近に位置する建物Ｔを特定している。さらに、対象情報抽出部１３ｂは、上述したように特定された建物Ｔに係る情報を記憶部１４から読み出す。なお、処理を簡略化する場合は、ＸＹ平面上のみのデータに基づいて視線方向の対象となる位置を特定してもよい。
【００６４】
よって、対象情報作成部１３は、読み出された情報をもとに、図９（ａ）に示すような対象情報メッセージ３３を作成し、作成した対象情報メッセージ３３に係るデータをＨＭＤ画像合成部１６へ出力する。なお、対象情報作成部１３は詳細情報表示モードの切替を行う表示制御スイッチ３ａと接続されており、この表示制御スイッチ３ａは、ＨＭＤ装置２のコンバイナ１０に視線方向に位置する対象物の情報表示を行うか否かを決定するスイッチである。よって、表示制御スイッチ３ａがオンの場合、対象情報作成部１３は上述した各種処理を行い、オフの場合、対象情報作成部１３は上述した各種処理を行わない。
【００６５】
図２に示す危険情報作成部１５は、車両前方のものを検知した場合、その旨を運転者Ｄに通知するメッセージを作成し、危険状態特定部１５ａ及び危険状態出力部１５ｂを備えている。危険状態特定部１５ａは、障害物検知センサ６と接続されており、図６に示すように、障害物検知センサ６が障害物Ｍを検出した場合、障害物検知センサ６から出力される障害物Ｍを検出した旨及び検出に係る時間を通知するデータの受付を行い、危険状態であるか否かを特定している。
【００６６】
危険状態出力部１５ｂは、危険状態特定部１５ａが危険状態であると特定した場合、障害物検知センサ６から出力されたデータに基づき、例えば、図９（ｂ）に示すような危険状態であることを示すメッセージ３４のデータを作成し、作成したデータをＨＭＤ画像合成部１６へ出力している。
【００６７】
最後に、図２に示すＨＭＤ画像合成部１６は、ルート作成部１２、対象情報作成部１３及び危険情報作成部１５から出力された表示用の各種データを受け付けて、ＨＭＤ装置２へ出力し、ＨＭＤ装置２のコンバイナ１０に各種データを表示する制御を行うものである。
【００６８】
ＨＭＤ画像合成部１６は、危険情報作成部１５から出力されたデータを最優先的に扱うようにしており、危険情報作成部１５からのデータを受け付けた場合は、ルート作成部１２、対象情報作成部１３からデータを受け付けていても、危険情報作成部１５からのデータのみをＨＭＤ装置２へ出力するようにしている。このような処理を行うことで、運転者Ｄは車両前方の障害物を早期に認識することが可能になる。
【００６９】
次に、上述した情報表示システム１の情報表示方法に係る一連の処理を図１０のフローチャートに基づいて説明する。
【００７０】
先ず、情報表示システム１を起動させると、画像作成装置３は車両Ａの運転者Ｄの頭部位置Ｄ１の特定を行い（Ｓ１）、運転者Ｄの視線方向Ｋ１の算出を行う（Ｓ２）。さらに、画像作成装置３は、上述したように特定された頭部位置Ｄ１及び算出された視線方向Ｋ１に基づいて視野範囲Ｋの特定を行い（Ｓ３）、特定した視野範囲Ｋに相当する三次元地図の部分データを記憶部１４から読み出す。
【００７１】
また、画像作成装置３は、ナビゲーション装置５がルート検索を行ったか否かを判断する（Ｓ４）。ナビゲーション装置５がルート検索を行ったと判断した場合（Ｓ４：ＹＥＳ）、画像作成装置３は、検索されたルートの道路が特定した視野範囲Ｋに含まれるか否かを三次元地図の部分データに基づき判断する（Ｓ５）。検索ルートの道路が視野範囲Ｋに含まれる場合（Ｓ５：ＹＥＳ）、画像作成装置３のルート判定部１２は、図８（ａ）に示すような実際に見える道路２５に合致した形態で、図８（ｂ）に示すような検索ルートを示す印３０、メッセージ３１等のルート画像データを作成する（Ｓ６）。
【００７２】
なお、ナビゲーション装置５がルート検索を行っていない場合（Ｓ４：ＮＯ）、検索ルートの道路が位置範囲に含まれない場合（Ｓ５：ＮＯ）、画像作成装置３はルート画像データを作成しない。
【００７３】
さらに、画像作成装置３は、表示制御スイッチ３ａがオンされて詳細情報表示モードになっているか否かを判断する（Ｓ７）。表示制御スイッチ３ａがオンである場合（Ｓ７：ＹＥＳ）、画像作成装置３は特定した視線方向に対象物が存在するか否かを判断する（Ｓ８）。視線方向に対象物が存在する場合（Ｓ８：ＹＥＳ）、画像作成装置３の対象情報作成部１３は該当する対象物の情報を記憶部１４から読み出して、図９（ａ）に示すようなメッセージに該当する対象物情報データを作成する（Ｓ９）
なお、表示制御スイッチ３ａがオフで詳細情報表示モードになっていない場合（Ｓ７：ＮＯ）、視線方向に対象物が存在しない場合（Ｓ８：ＮＯ）、画像作成装置３は対象物情報データを作成しない。
【００７４】
さらに、また、画像作成装置３は、障害物検知センサ６からの検知に係るデータに基づき、車両前方に障害物が存在するか否かを判断し（Ｓ１０）、障害物が存在しないと判断された場合（Ｓ１０：ＮＯ）、ルート作成部１２、対象情報作成部１３で作成されたデータをＨＭＤ装置２へ出力して表示する（Ｓ１１）。このように作成してデータを表示することで、図８（ａ）に示す運転者Ｄがコンバイナ１０を通じて実際に見る道路２５の車線Ｒ１、Ｒ２に対応させて、図８（ｂ）に示す作成されたルート画像データがコンバイナ１０に表示される。
【００７５】
その結果、運転者Ｄは図８（ｃ）に示すようにコンバイナ１０を透過する実際の道路２５に重なるようにコンバイナ１０に表示された印３０を見ることになり、運転者Ｄは検索された道路を実際に見る道路と対応させて視線を移動することなく直接的に地図無しで容易に判断できる。また、視線方向に対応する建物及び施設等がある場合、図９（ａ）に示すようにコンバイナ１０にメッセージ３３が表示される。しかも、メッセージ３３の表示箇所は、表示するメッセージの対象となる建物が透過して見える位置なので、運転者はメッセージ及びそのメッセージの対象となる建物等を容易に把握できる。
【００７６】
また、画像作成装置３が、車両前方に障害物が存在すると判断した場合（Ｓ１０：ＹＥＳ）、障害物検知センサ６からのデータに基づき危険情報データを作成し（Ｓ１２）、ＨＭＤ装置２へ出力することで、図９（ｂ）に示すように、実際の道路２５が透過して見えるコンバイナ１０に危険情報データに係るメッセージ３４を表示する（Ｓ１３）。よって、運転者Ｄは車両前方に障害物が存在することを、特に視線を移動することなく迅速に危険な状態を認識できる。
【００７７】
なお、本発明に係る情報表示システム１は上述した形態に限定されるものではなく種々の変形例の適用が可能である。例えば、画像作成装置３に車速を検知する車速パルスセンサを接続して現在の車速を画像作成装置３が認識できるようにすることで、障害物センサ６が障害物を検出した場合、検出に要する時間及び現在の車速より障害物までの距離を算出し、算出した距離を表示するようにしてもよい。
【００７８】
また、上述した車速パルスセンサからの信号は、対象物情報の表示処理に利用してもよい。即ち、視線方向に位置する建物及び施設等の情報は、表示制御スイッチ３ａがオンであり、且つ、車速パルスセンサからの信号が車速０ｋｍ／ｈである場合に表示して、車両が走行中は表示しないようにすることで、運転操作を妨げない表示形態にすることも可能である。なお、画像作成装置３に時間を計測する機能を持たせて、視線方向が一定時間（例えば５秒）以上、同一である場合のみ、視線方向に位置する建物及び施設等の情報を表示するようにしてもよい。
【００７９】
さらに、運転席に人体の着座を検知する着座センサを設けると共に、この着座センサの着座検知に係る検知信号を画像作成装置３に入力することで、着座センサからの検知信号が入力された場合に、本システムを起動するようにしてもよい。このようにすることで、運転者Ｄが運転席に正常な状態で着座している場合のみ各種情報の表示が行われるので、コンバイナ１０を通じて見える実際の外界の対象物とコンバイナ１０で表示される印及びメッセージ等の位置が大きくずれるような事態が生じることを防止できる。
【００８０】
さらに、また、画像作成装置３は、ナビゲーション装置５が必要な地図データを記憶する記憶部及び地図データの読取を行う読取部等を備えている場合、図２に示す記憶部１４を設けることなく、ナビゲーション装置５の上述した地図データを共用するようにしてもよい。また、ＨＭＤ装置２の向きを検知するには、ＨＭＤ装置２にマーキングを施す以外に、コンバイナ１０を透過して見える運転者の黒目及び鼻の位置等より検出することも可能である。また、ＨＭＤ装置２はメガネ型以外にもヘルメット型のものも適用できる。
【００８１】
さらに、運転者Ｄの頭部位置Ｄ１の高さ位置（座標）は、画像作成装置３に高さ選択スイッチを設けて、選択スイッチの入力で高さの設定を行うようにしてもよく、また、方向特定用カメラ４の撮影した画像データにおける運転者Ｄの目の位置よりキャリブレーションを行うことで求めるようにしてもよい。さらに、また、運転者Ｄの頭部のピッチ角は、傾斜センサ９ａではなく、予め運転者毎に計測した前方直視基準座標からの視線位置の相異に基づき算出することも可能であり、複数の運転者の平均的な視線位置から算出するようにしてもよい。なお、絶対方位の検出は地磁気センサ８以外にはジャイロセンサの適用も可能である。
【００８２】
また、情報表示システム１は、検索したルートの表示、視線方向に位置する対象情報の表示及び車両前方に位置するもの通知表示の全てを行う以外にも、３種類の中から１種類又は２種類の表示を行うようにすることも可能である。この場合、情報表示システム１の構成及び画像作成装置３の内部構成は、表示に必要な要素だけを備えるようにして構成の簡略化を図ることが好適である。
【００８３】
【発明の効果】
以上に詳述した如く、第１発明及び第８発明にあっては、ヘッドマウントディスプレイ装置の方向を検出して検出した方向に対する運転者の位置範囲に位置に関連付けてある情報を表示することで、運転者の視線方向に応じた情報を表示でき、運転者は視線を移動させることなく各種情報を確認できる。
【００８４】
第２発明にあっては、情報として位置に対応する建物に係る内容を表示できるので、運転者は有益な各種情報を確認できる。
【００８５】
第３発明及び第９発明にあっては、検索ルートの道路を示す印をＨＭＤ装置のコンバイナに表示するので、車両周囲の地図を表示しなくても運転者は車両前方を向いた状態で直間的に検索ルートの道路を認識でき、検索ルートの道路確認に係る運転者の負担を軽減できる。
【００８６】
第４発明にあっては、運転席の座席高さに応じて運転席位置を算出するため、運転席位置を三次元的に特定でき、それに伴い運転席位置からの視線方向の位置範囲の特定も三次元的になり、三次元的な情報表示に利用できる。
【００８７】
第５発明にあっては、三次元地図を記憶すると共に、運転席位置からの視点で三次元地図の部分を抽出するので、運転者が実際に透過型表示部を通じて見る外界の地形図に応じた状態で検索ルートの道路を示す印を表示でき、運転者は一段と検索ルートの道路認識を容易且つ確実に行える。
【００８８】
第６発明にあっては、ヘッドマウントディスプレイ装置を対向する側から撮影するので、ヘッドマウントディスプレイ装置の向きを確実に特定して、各種情報の表示に係る精度を向上できる。
【００８９】
第７発明にあっては、検知手段が車両前方のものを検知すると、検知した旨をコンバイナに表示するので、運転者はコンバイナの表示により素早く車両前方の障害物、落下物、人等を認識した運転操作への対応を迅速に行うことが可能となり、危険状態を未然に回避することに貢献できる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る情報表示システムの全体構成図である。
【図２】情報表示システムのブロック図である。
【図３】ヘッドマウントディスプレイ装置のコンバイナにおける断面図である。
【図４】（ａ）は運転者頭部の前後方向の傾き角度（ピッチ角）を示す概略図、（ｂ）は運転者頭部の左右方向の傾き角度（ロール角）を示す概略図である。
【図５】車両の中心点及び運転者の頭部位置の関係を示す概略平面図である。
【図６】運転者の視線方向及び障害物の検出等を示す概略図である。
【図７】（ａ）は運転者が直視している状態を示す概略図、（ｂ）は運転者が頭部を左に回転させた状態を示す概略図、（ｃ）は運転者頭部の左右方向の回転角度（ヨー角）を示す概略図である。
【図８】（ａ）は、運転者がコンバイナを通じて見る外界の道路の状況を示す図、（ｂ）は検索ルートの道路に相当する印等に係る画像データの図、（ｃ）は透過して見える道路に重ねて画像データをコンバイナに表示した状態を示す図である。
【図９】（ａ）は、視線方向の対象物に係るメッセージをコンバイナに表示した状態を示す図、（ｂ）は車両前方に障害物を検知した場合のメッセージをコンバイナに表示した状態を示す図である。
【図１０】本発明の情報表示方法に係る一連の処理を示すフローチャートである。
【符号の説明】
１  情報表示システム
２  ヘッドマウントディスプレイ装置
３  画像作成装置
４  方向特定用カメラ
５  ナビゲーション装置
６  障害物検知センサ
７  座席高センサ
８  地磁気センサ
９ａ〜９ｃ  傾斜センサ
１１  視野範囲特定部
１２  ルート作成部
１３  対象情報作成部
１４  記憶部
１５  危険情報作成部
１６  ＨＭＤ画像合成部
Ａ  車両
Ｄ１  頭部位置
【図１】
2004219664.tif 000003
【図２】
2004219664.tif 000004
【図３】
2004219664.tif 000005
【図４】
2004219664.tif 000006
【図５】
2004219664.tif 000007
【図６】
2004219664.tif 000008
【図７】
2004219664.tif 000009
【図８】
2004219664.tif 000010
【図９】
2004219664.tif 000011
【図１０】
2004219664.tif 000012