(57)【要約】  【課題】  ユーザの視界中に存在する物体等に関連する情報を、ユーザにとってわかりやすく表示する。  【解決手段】  運転者のフロントガラス２０越しの視界中に実際に見えている画像(道路や交差点の画像)に、交差点までの距離や進行方向などの案内を示す文字画像や、進行レーンを案内する矢印画像とを重ねて表示する。また、運転者の移動(ドライビングポジションの変更や首の傾け)に応じて、実際に見えている画像に合うように画像の表示位置を調整する。  【選択図】  図５
2005212716.tif 000002
【特許請求の範囲】
【請求項１】
透明体を挟んだユーザの視界に対応する風景を撮影する撮影部と、
前記撮影部にて撮影された風景画像に関連づけられた画像を生成する画像生成部と、
前記画像生成部で生成された前記画像の描画条件を決定する描画条件決定部と、
前記描画条件決定部で描画条件が決定された前記画像を前記透明体に投射する投射部と
を含むディスプレイ装置。
【請求項２】
前記描画条件決定部は、前記画像の描画位置および描画サイズを決定することを特徴とする請求項１記載のディスプレイ装置。
【請求項３】
前記描画条件決定部は、ユーザの視点と略同一になるように前記画像の描画条件を決定することを特徴とする請求項１記載のディスプレイ装置。
【請求項４】
ユーザの位置を監視する監視部をさらに含み、
前記描画条件決定部は、前記監視部による監視結果に基づいて前記画像の描画条件を決定することを特徴とする請求項１記載のディスプレイ装置。
【請求項５】
透明体を挟んだユーザの視界に対応する風景を撮影する撮影部と、
前記撮影部にて撮影された風景画像より所定の対象物を抽出する抽出部と、
前記抽出部にて抽出された前記所定の対象物に関する情報を取得する情報取得部と、
前記情報取得部にて取得された前記所定の対象物に関する情報に対応する画像を作成する画像作成部と、
前記画像作成部で作成された前記画像を前記透明体に投射する投射部と
を含むディスプレイ装置。
【請求項６】
前記画像作成部で作成された前記画像を、前記所定の対象物に対して所定の位置関係を有して投射されるように調整する調整部をさらに含むことを特徴とする請求項５記載のディスプレイ装置。
【請求項７】
透明体を挟んだユーザの視界に対応する風景より所定の物体を認識する認識手段と、
前記認識手段にて認識された前記所定の物体に関する情報を取得する取得手段と、
前記取得手段にて取得された前記所定の物体に関する情報を、前記透明体越しのユーザの視界中における当該物体の近傍に表示する表示手段と
を含むディスプレイ装置。
【請求項８】
前記認識手段は、前記透明体の前方の風景を撮影して得られた風景画像より前記所定の物体を認識することを特徴とする請求項７記載のディスプレイ装置。
【請求項９】
前記取得手段は、物体と当該物体に関する情報とを関連づけたデータベースを用いて、前記所定の物体に関する情報を取得することを特徴とする請求項７記載のディスプレイ装置。
【請求項１０】
前記表示手段は、前記所定の物体に関する情報に基づいて作成された画像を前記透明体に投射することを特徴とする請求項７記載のディスプレイ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字情報や画像情報を表示するディスプレイ装置に係り、より詳しくは、ガラス等からなる透明体の向こう側の景色に所定の情報を重ね合わせて表示することが可能なディスプレイ装置に関する。
【背景技術】
【０００２】
近年、例えば自動車において、フロントガラスに現在の走行速度等の映像を表示するヘッドアップディスプレイ装置が実用化されている。この種のヘッドアップディスプレイ装置では、フロントガラスの下部に投射器を設け、この投射器にてフロントガラスへと映像を投射している(特許文献１参照。)。
また、最近では、例えば店舗のガラス壁に半透明の表示板を取り付け、店舗の内側から液晶プロジェクタ等にて表示板へと映像を投射することで、店舗の外側を通行する通行人に対し、コマーシャル等の映像を表示するディスプレイ装置も実用化されている。
【０００３】
【特許文献１】特許３０３４８８９号公報(第３−４頁、図１)
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したヘッドアップディスプレイ装置やプロジェクション装置では、運転者あるいは通行人に見せたい情報を、ガラス越しに見える景色とは無関係に表示しているだけであり、ガラス越しに見える景色と投射される映像との重なりについては、何ら考慮されていなかった。
また、例えば従来のナビゲーション装置においては、液晶ディスプレイ等の表示装置に、推奨経路を案内するための矢印画像を表示することができるが、運転者がこの情報を確認するためには、その視線の方向を一時的に前方から液晶ディスプレイ側にずらさなければならないため、確認がしづらいという問題もあった。
【０００５】
本発明は、かかる技術的課題を解決するためになされたものであって、その目的とするところは、ユーザの視界中に存在する物体等に関連する情報を、ユーザにとってわかりやすく表示することにある。
【課題を解決するための手段】
【０００６】
かかる目的のもと、本発明が適用されるディスプレイ装置は、透明体を挟んだユーザの視界に対応する風景を撮影部で撮影し、撮影部にて撮影された風景画像に関連づけられた画像を画像生成部で生成し、画像生成部で生成された画像の描画条件を描画条件決定部で決定し、描画条件決定部で描画条件が決定された画像を透明体に投射部で投射する。
【０００７】
ここで、描画条件決定部は、画像の描画位置および描画サイズを決定することを特徴とすることができる。また、描画条件決定部は、ユーザの視点と略同一になるように画像の描画条件を決定することを特徴とすることができる。さらに、ユーザの位置を監視部で監視し、描画条件決定部は、監視部による監視結果に基づいて画像の描画条件を決定することを特徴とすることができる。
【０００８】
また、他の観点から捉えると、本発明が適用されるディスプレイ装置は、透明体を挟んだユーザの視界に対応する風景を撮影部で撮影し、撮影部にて撮影された風景画像より所定の対象物を抽出部で抽出し、抽出部にて抽出された所定の対象物に関する情報を情報取得部で取得し、情報取得部にて取得された所定の対象物に関する情報に対応する画像を画像作成部で作成し、画像作成部で作成された画像を透明体に投射部で投射する。また、画像作成部で作成された画像を、所定の対象物に対して所定の位置関係を有して投射されるように調整部で調整する。
【０００９】
さらに、他の観点から捉えると、本発明が適用されるディスプレイ装置は、透明体を挟んだユーザの視界に対応する風景より所定の物体を認識手段で認識し、認識手段にて認識された所定の物体に関する情報を取得手段で取得し、取得手段にて取得された所定の物体に関する情報を、透明体越しのユーザの視界中における物体の近傍に表示手段で表示する。
【００１０】
ここで、認識手段は、透明体の前方の風景を撮影して得られた風景画像より所定の物体を認識することを特徴とすることができる。また、取得手段は、物体と物体に関する情報とを関連づけたデータベースを用いて、所定の物体に関する情報を取得することを特徴とすることができる。さらに、表示手段は、所定の物体に関する情報に基づいて作成された画像を透明体に投射することを特徴とすることができる。
【発明の効果】
【００１１】
本発明によれば、ユーザの視界中に存在する物体等に関連する情報を、ユーザにとってわかりやすく表示することができる。
【発明を実施するための最良の形態】
【００１２】
以下、添付図面を参照して、本発明を実施するための最良の形態(以下、実施の形態という)について詳細に説明する。
図１は本実施の形態が適用されるディスプレイ装置を有するナビゲーション装置を備えた自動車のコックピット周辺を示している。この自動車のコックピットにおいて、インスツルメントパネル１０の上部には透明体の一つとしてのフロントガラス２０が設けられている。また、インスツルメントパネル１０の中央部下側にはナビゲーション装置本体１１が取り付けられており、ナビゲーション装置本体１１の上部にはナビゲーション情報を表示するための液晶ディスプレイ１２が装着されている。さらに、図中破線で示すユーザとしての運転者が座る側にはメーターパネル１３が設けられており、このメーターパネル１３の左側にはフロントガラス２０を介して前方の景色を撮影する撮影部の一つとしての第１カメラ１４が、右側には運転者を撮影する監視部の一つとしての第２カメラ１５が、それぞれ装着されている。また、メーターパネル１３の奥側下部には、フロントガラス２０に映像を投射する投射部あるいは表示手段の一つとしての表示ユニット１６が取り付けられている。ここで、表示ユニット１６としては、公知のヘッドアップディプレイ装置にて用いられている機構を適用することができる。
【００１３】
本実施の形態に係るナビゲーション装置では、通常、ナビゲーション装置本体１１にて探索された推奨経路等のナビゲーション情報を液晶ディスプレイ１２に表示する。また、本実施の形態では、これらのナビゲーション情報を、必要に応じて表示ユニット１６を用いてフロントガラス２０に表示することも可能となっている。
【００１４】
図２は、フロントガラス２０にナビゲーション情報を表示するための機能ブロックを示している。ナビゲーション装置本体１１は、フロントガラス２０に画像を表示するための所定の演算を行う演算部３１と、表示する画像情報等が格納される画像情報ＤＢ格納部３２と、描画する際の補正用データが格納される記憶部３３とを有している。
【００１５】
ここで、演算部３１は、第１カメラ１４にて撮影された画像を検出する第１画像検出部４１と、画像情報ＤＢ格納部３２に格納される画像情報に基づいて第１画像検出部４１で検出された画像中に存在する物体を認識する抽出部あるいは認識手段の一つとしての物体認識部４２とを有している。また、演算部３１は、第２カメラ１５にて撮影された運転者の画像を検出する第２画像検出部４３と、この第２画像検出部４３で検出された運転者の位置情報に基づいて運転者の移動量を演算する移動量演算部４４とを備えている。さらに、演算部３１は、物体認識部４２によって認識された物体に対応付けて描画する画像を生成する画像生成部あるいは画像作成部の一つとしての描画像生成部４５と、この描画像生成部４５で生成された画像を、表示ユニット１６によってフロントガラス２０に描画するための描画位置を演算する調整部あるいは描画条件決定部の一つとしての描画位置演算部４６とを備えている。なお、描画像生成部４５は、情報取得部あるいは取得手段としての機能も有している。また、記憶部３３は、移動量演算部４４によって演算された運転者の過去の位置(ドライビングポジション)を記憶する運転者位置記憶部５１と、移動量演算部４４によって演算された描画位置変換テーブルを格納する描画位置変換テーブル格納部５２とを有している。
【００１６】
図３は、表示ユニット１６を用いたフロントガラス２０への描画における処理の流れを説明するフローチャートである。この処理は、大きく、フロントガラスへの描画位置を運転者に合わせるために最初に行われるイニシャライズ動作、運転者の移動(ドライビングポジションの変更や首の傾けなど)に応じてフロントガラスへの画像の描画位置を補正する補正動作、フロントガラスにナビゲーション情報を描画する描画動作、に分けられる。
【００１７】
まず、描画動作について説明する。描画動作では、最初に、第１カメラ１４を用いて自動車のフロントガラス２０越しに見える画像を撮影する(ステップ１１)。次に、第１カメラ１４で撮影された画像を第１画像検出部４１で検出し、物体認識部４２で画像中の物体を検出する(ステップ１２)。そして、検出された物体(対象物体)の情報(例えば物体の名前、物体に関連づけられた指示すべき内容)を画像情報ＤＢ格納部３２から検索し(ステップ１３)、描画像生成部４５で描画すべき情報を抽出して描画像を生成する(ステップ１４)。次に、描画位置演算部４６で描画位置変換テーブル記憶部５２に格納される描画位置変換テーブルに基づいて画像の描画位置およびサイズ変換を行って(ステップ１５)、表示ユニット１６に出力し、表示ユニット１６によりフロントガラス２０に描画を行う(ステップ１６)。
【００１８】
次に、上述したステップ１５で行われる描画位置およびサイズの変換について説明する。本実施の形態では、運転者の目の位置と第１カメラ１４の取り付け位置とが異なっており、第１カメラ１４で撮影された画像は、運転者から見たものとは位置や大きさが異なっている。このため、本実施の形態では、最初に第１カメラ１４による視点と運転者による視点とを合わせる、つまり、画像の位置やサイズを合わせるためのイニシャライズ動作を行い、第１カメラ１４で撮影された画像と運転者が見る画像とを一致させるようにしている。また、運転者が運転中に首を傾けたり、座り直したり、あるいは、斜め前方を見たりすることもあり、その場合には、たとえイニシャライズ動作を行っていたとしても、第１カメラ１４で撮影された画像と運転者が見る画像とがずれることになる。そこで、本実施の形態では、第２カメラ１５を用いて運転者の動きを監視し、運転者の動きに対応して描画像の表示位置を補正する補正動作を行っている。
【００１９】
まず、イニシャライズ動作について説明する。なお、イニシャライズ動作は、自動車の非走行時に実行される。
このプロセスでは、最初に、第１カメラ１４を用いてイニシャライズ用の画像を撮影する(ステップ２１)。このとき、何か目印となるもの(イニシャライズ物体：例えばボール)を自動車の前方かつ運転者が通常見ている位置に置き、撮影対象とする。次に、撮影されたイニシャライズ用画像を第１画像検出部４１で検出し、物体認識部４２でイニシャライズ用画像中のイニシャライズ物体(この例ではボール)を検出する(ステップ２２)。そして、検出されたイニシャライズ物体の描画像を描画像生成部４５で生成し、表示ユニット１６によってフロントガラス２０に描画する(ステップ２３)。その後、運転者は、フロントガラス越しに見えている実際のボールと、表示ユニット１６によってフロントガラス２０に描画されたボールの画像との位置ずれ(上下左右)やサイズ違い(大小)を修正するため、画像の描画位置およびサイズ合わせを行う(ステップ２４)。なお、ステップ２４において、運転者は、通常のドライビングポジションに位置した状態で、ボールを注視するようにする。
また、可能であれば、運転者がとりうる複数のドライビングポジション、すなわち、複数の位置において、上述したイニシャライズ動作を行い、複数の状態における画像の描画位置およびサイズ合わせを行っておくことが好ましい。
【００２０】
次に、補正動作について説明する。補正動作では、第２カメラ１５にて運転者の位置を常時撮影し、移動量演算部４４で運転者の移動量を演算して、運転者の位置が以前とずれているかどうか、すなわち、運転者の視点が移動したか否かを判断する(ステップ３１)。ここで、運転者の位置が移動していない場合は、ステップ３１に戻る。一方、運転者の位置が移動している場合すなわち運転者の視点が移動している場合は、ずれ量に応じて描画位置やサイズを修正する(ステップ３２)。そして、イニシャライズ動作のステップ２４において得られたデータと共に描画位置/サイズ変換テーブルを作成し(ステップ３３)、描画位置変換テーブル記憶部５２に格納しておく。
そして、実際の描画動作では、作成された描画位置変換テーブルに基づいて描画位置の設定を行う。
【００２１】
ここで、図４に基づき、イニシャライズ動作のステップ１４における描画位置/サイズ合わせを、具体例を挙げて説明する。
図４(ａ)は、第１カメラ１４で撮影されたボールの画像を示している。このとき、ボールは、(x1,y1,z1)にあるとする。なお、ｘはｘ座標における位置、ｙはｙ座標における位置、ｓは物体のサイズである。図４(ｂ)は、表示ユニット１６によってフロントガラス０に投射されたボールの画像と、フロントガラス越しに実際に見えているボールとを示している。このとき、ボールの画像は(x1,y1,z1)であるが、実際のボールは(x0,y0,z0)に見えているもの、つまり、投射された画像とは位置がずれており且つ大きさも違っているものとする。本実施の形態では、上述したイニシャライズ動作を行うことにより、図４(ｃ)に示すように、ボール画像の位置を(x2,y2,z2)≒(x0,y0,z0)とすることができる。
【００２２】
図５(ａ),(ｂ)は、本実施の形態に係るナビゲーション装置本体１１によってフロントガラス２０に投射される画像の一例を示す図である。本実施の形態では、上述したプロセスによってナビゲーション用の画像を作成することにより、運転者のフロントガラス２０越しの視界中に実際に見えている画像(道路や交差点の画像)に、交差点までの距離や進行方向などの案内を示す文字画像や、進行レーンを案内する矢印画像とを重ねて表示することが可能になる。このため、運転者は、視線を前方から外さずにナビゲーション情報を得ることができるようになり、より安全にナビゲーション情報を得ることができるようになる。
【産業上の利用可能性】
【００２３】
本発明の活用例としては、例えば、水族館の水槽を構成するガラスに対してこのディスプレイ装置を適用し、水槽中を泳ぐ魚に対して魚の名前や説明を表示することができる。
また、例えば建造物の展望台に設けられるガラス窓に対してこのディスプレイ装置を適用し、ガラス窓越しに見える風景(山、ビル、公園など)に対して対象物の名前や説明を表示することができる。
さらに、プラネタリウムにこのディスプレイ装置を適用し、表示される星や星座に対して星や星座の名前や説明を表示することができる。
【図面の簡単な説明】
【００２４】
【図１】ナビゲーション装置を備えた自動車のコックピット周辺を示す図である。
【図２】フロントガラスにナビゲーション情報を表示するための機能ブロックを示す図である。
【図３】フロントガラスへの描画における処理の流れを説明するフローチャートである。
【図４】イニシャライズ動作における描画位置/サイズ合わせの具体例を説明するための図である。
【図５】フロントガラスに投射される画像の一例を示す図である。
【符号の説明】
【００２５】
１０…インスツルメントパネル、１１…ナビゲーション装置本体、１２…液晶ディスプレイ、１３…メーターパネル、１４…第１カメラ、１５…第２カメラ、１６…表示ユニット、２０…フロントガラス、３１…演算部、３２…画像情報ＤＢ格納部、３３…記憶部、４１…第１画像検出部、４２…物体認識部、４３…第２画像検出部、４４…移動量演算部、４５…描画像生成部、４６…描画位置演算部、５１…運転者位置記憶部、５２…描画位置変換テーブル記憶部
【図１】
2005212716.tif 000003
【図２】
2005212716.tif 000004
【図３】
2005212716.tif 000005
【図４】
2005212716.tif 000006
【図５】
2005212716.tif 000007