(57)【要約】【課題】表示する拡張現実情報に対するユーザの没入感を高めることができる拡張現実情報表示装置および拡張現実情報表示方法を提供すること。【解決手段】実施形態に係る拡張現実情報表示装置は、記憶部と、表示位置決定部と、表示制御部とを備える。記憶部は、現実位置に対応付けられた拡張現実情報を記憶する。表示位置決定部は、透過型表示装置の表示画面を視認するユーザの現実位置、表示画面の現実位置、および表示画面越しの景色中で拡張現実情報が対応付けられた現実位置に基づいて、表示画面における拡張現実情報の表示位置を決定する。表示制御部は、表示位置決定部によって決定される表示位置に、景色中で拡張現実情報が対応付けられた現実位置およびユーザの現実位置の位置関係に応じた態様の拡張現実情報を表示させる。【選択図】図２
2017191378.tif 000002
【特許請求の範囲】
【請求項１】
現実位置に対応付けられた拡張現実情報を記憶する記憶部と、
透過型表示装置の表示画面を視認するユーザの現実位置、前記表示画面の現実位置、および前記表示画面越しの景色中で前記拡張現実情報が対応付けられた現実位置に基づいて、前記表示画面における当該拡張現実情報の表示位置を決定する表示位置決定部と、
前記表示位置決定部によって決定される前記表示位置に、前記景色中で前記拡張現実情報が対応付けられた現実位置および前記ユーザの現実位置の位置関係に応じた態様の前記拡張現実情報を表示させる表示制御部と
を備える
ことを特徴とする拡張現実情報表示装置。
【請求項２】
前記拡張現実情報は、
対応付けられた現実位置に関連する３次元画像情報を含み、
前記表示制御部は、
前記ユーザの現実位置、前記表示画面の現実位置、および前記景色中で前記拡張現実情報が対応付けられた現実位置に応じて、前記表示画面に表示させる前記３次元画像情報の向きおよび大きさの少なくともいずれか一方を変更する
ことを特徴とする請求項１に記載の拡張現実情報表示装置。
【請求項３】
前記景色中で前記拡張現実情報が対応付けられた現実位置の前記表示位置からの視認を阻害する遮蔽物を検知する遮蔽物検知部
を備え、
前記表示制御部は、
前記遮蔽物によって前記視認が阻害される場合に、前記拡張現実情報を非表示にする
ことを特徴とする請求項１または請求項２に記載の拡張現実情報表示装置。
【請求項４】
前記景色中で前記拡張現実情報が対応付けられた現実位置の前記表示位置からの視認を阻害する遮蔽物を検知する遮蔽物検知部
を備え、
前記表示制御部は、
前記遮蔽物によって前記視認が阻害される場合に、前記拡張現実情報の透過像を表示させる
ことを特徴とする請求項１または請求項２に記載の拡張現実情報表示装置。
【請求項５】
前記表示画面の移動速度を取得する速度取得部と、
前記遮蔽物によって前記視認が阻害される継続時間を前記速度取得部によって取得される移動速度に基づいて算出する時間算出部
をさらに備え、
前記表示制御部は、
前記時間算出部によって算出される継続時間に応じて、前記拡張現実情報の表示および非表示を切り替える
ことを特徴とする請求項３または請求項４に記載の拡張現実情報表示装置。
【請求項６】
前記表示制御部は、
前記表示画面の移動に伴い、前記遮蔽物による前記視認の阻害が開始される側から前記拡張現実情報の像の濃淡を徐々に薄くし、前記視認の阻害が終了される側から前記像の濃淡を徐々に濃くする
ことを特徴とする請求項３〜５のいずれか一つに記載の拡張現実情報表示装置。
【請求項７】
前記表示制御部は、
前記景色中で前記拡張現実情報が対応付けられた現実位置の明度に応じて、表示させる前記拡張現実情報の明度を調整する
ことを特徴とする請求項１〜６のいずれか一つに記載の拡張現実情報表示装置。
【請求項８】
前記表示制御部は、
前記景色の色彩に応じて、表示させる前記拡張現実情報の色を調整する
ことを特徴とする請求項１〜７のいずれか一つに記載の拡張現実情報表示装置。
【請求項９】
コンピュータが実行する拡張現実情報表示方法であって、
現実位置に対応付けられた拡張現実情報を記憶部に記憶する記憶工程と、
透過型表示装置の表示画面を視認するユーザの現実位置、前記表示画面の現実位置、および前記表示画面越しの景色中で前記拡張現実情報が対応付けられた現実位置に基づいて、前記表示画面における当該拡張現実情報の表示位置を決定する表示位置決定工程と、
前記表示位置決定工程によって決定される前記表示位置に、前記景色中で前記拡張現実情報が対応付けられた現実位置および前記ユーザの現実位置の位置関係に応じた態様の前記拡張現実情報を表示させる表示制御工程と
を含む
ことを特徴とする拡張現実情報表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張現実情報表示装置および拡張現実情報表示方法に関する。
【背景技術】
【０００２】
従来、透過型表示装置の表示画面に、表示画面を通して見える景色中の現実位置に関する拡張現実情報を重畳させて表示させる装置がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−０６８４８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置は、表示画面を通して見える風景中の現実位置に対して、一様な拡張現実情報を表示させるものであったため、拡張現実情報に対するユーザの没入感を高めることが困難であった。
【０００５】
本発明は、上記に鑑みてなされたものであって、表示する拡張現実情報に対するユーザの没入感を高めることができる拡張現実情報表示装置および拡張現実情報表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
実施形態に係る拡張現実情報表示装置は、記憶部と、表示位置決定部と、表示制御部とを備える。記憶部は、現実位置に対応付けられた拡張現実情報を記憶する。表示位置決定部は、透過型表示装置の表示画面を視認するユーザの現実位置、前記表示画面の現実位置、および前記表示画面越しの景色中で前記拡張現実情報が対応付けられた現実位置に基づいて、前記表示画面における当該拡張現実情報の表示位置を決定する。表示制御部は、前記表示位置決定部によって決定される前記表示位置に、景色中で前記拡張現実情報が対応付けられた現実位置および前記ユーザの現実位置の位置関係に応じた態様の前記拡張現実情報を表示させる。
【発明の効果】
【０００７】
実施形態に係る拡張現実情報表示装置および拡張現実情報表示方法は、表示する拡張現実情報に対するユーザの没入感を高めることができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態に係るＡＲ情報表示方法の説明図である。
【図２】図２は、実施形態に係るＡＲ情報表示装置の構成を示す機能ブロック図である。
【図３】図３は、実施形態に係るＡＲ情報ＤＢの説明図である。
【図４】図４は、実施形態に係る表示制御部が表示させるＡＲ情報の態様の具体例を示す説明図である。
【図５】図５は、実施形態に係る表示制御部が表示させるＡＲ情報の態様の具体例を示す説明図である。
【図６】図６は、実施形態に係る表示制御部が表示させるＡＲ情報の態様の具体例を示す説明図である。
【図７】図７は、実施形態に係る表示制御部が表示させるＡＲ情報の態様の具体例を示す説明図である。
【図８】図８は、実施形態に係る表示制御部が表示させるＡＲ情報の態様の具体例を示す説明図である。
【図９】図９は、実施形態に係る制御部が実行する処理を示すフローチャートである。
【図１０】図１０は、実施形態に係る制御部が実行する処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、実施形態に係る拡張現実情報表示装置および拡張現実情報表示方法について詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
【００１０】
本実施形態では、車両の窓ガラスに貼合される透過型表示装置に、拡張現実情報（以下、「ＡＲ（Augmented  Reality）情報と記載する」）を表示させるＡＲ情報表示装置を例に挙げて説明する。なお、実施形態に係るＡＲ情報表示装置は、例えば、船舶や航空機の窓ガラス、ガラス張りのエレベータの窓ガラスに貼合される透過型表示装置にＡＲ情報を表示させることもできる。
【００１１】
また、実施形態に係るＡＲ情報表示装置は、例えば、乗客がガラス越しに見える景色を視認しながら様々なアトラクションを体感する体感型の遊戯設備の窓ガラスに貼合される透過型表示装置にＡＲ情報を表示させることもできる。
【００１２】
図１は、実施形態に係るＡＲ情報表示装置によるＡＲ情報表示方法の説明図である。なお、図１には、車両の窓ガラスに貼合される透過型表示装置１４と、車室内で透過型表示装置１４の表示画面（以下、単に「表示画面」と記載する）を視認するユーザｕと、ＡＲ情報が対応付けられた車両外の現実位置ｐとの平面視による位置関係を示している。
【００１３】
図１に（ａ）で示す状況では、ユーザｕは、車両の右側後部座席に乗車しており、右側後部の窓ガラスの比較的後側から透過型表示装置１４を通して車両外右前方の現実位置ｐを見ている。
【００１４】
かかる場合に、ＡＲ情報表示装置は、ユーザｕの現実位置、表示画面の現実位置、および表示画面を通してユーザｕから見える景色中でＡＲ情報が対応付けられた現実位置ｐに基づいて、表示画面におけるＡＲ情報の表示位置を決定する。以下、ユーザｕの現実位置をユーザ位置、表示画面の現実位置を画面位置、ＡＲ情報が対応付けられた現実位置ｐをＡＲ対応位置ｐと称する。
【００１５】
図１に（ａ）で示す状況では、ＡＲ情報表示装置は、景色中のＡＲ対応位置ｐおよびユーザ位置を結ぶ直線（図１（ａ）に示す点線）と表示画面との交点を、景色中のＡＲ対応位置ｐに対応付けられたＡＲ情報ｄ１の表示位置の中心点として決定する。
【００１６】
そして、ＡＲ情報表示装置は、決定した表示画面における表示位置に、ＡＲ情報ｄ１を表示させる。このとき、ＡＲ情報表示装置は、景色中のＡＲ対応位置ｐおよびユーザ位置の位置関係に応じた態様のＡＲ情報ｄ１を表示させる。
【００１７】
その後、例えば、図１に（ｂ）で示すように、ユーザｕが右側後部の窓ガラスの比較的前側へ移動して景色中のＡＲ対応位置ｐを見る場合がある。かかる場合に、ＡＲ情報表示装置は、図１に（ｂ）で示す状況での景色中のＡＲ対応位置ｐおよびユーザ位置を結ぶ直線（図１（ｂ）に示す点線）と表示画面との交点を、景色中のＡＲ対応位置ｐに対応付けられたＡＲ情報ｄ２の表示位置の中心点として決定する。
【００１８】
そして、ＡＲ情報表示装置は、決定した表示画面における表示位置に、ＡＲ情報ｄ２を表示させる。ここでは、ＡＲ情報表示装置は、先ほど表示させたＡＲ情報ｄ１とは態様が異なり、図１に（ｂ）で示す状況での景色中のＡＲ対応位置ｐおよびユーザ位置の位置関係に応じた態様のＡＲ情報ｄ２を表示させる。
【００１９】
その後、例えば、図１に（ｃ）で示すように、車両が前進した場合、景色中のＡＲ対応位置ｐが相対的に車両の右後方へ移動する。かかる場合に、ＡＲ情報表示装置は、図２に（ｃ）で示す状況での景色中のＡＲ対応位置ｐおよびユーザ位置を結ぶ直線（図１（ｃ）に示す点線）と表示画面との交点を、景色中のＡＲ対応位置ｐに対応付けられたＡＲ情報ｄ３の表示位置の中心点として決定する。
【００２０】
そして、ＡＲ情報表示装置は、決定した表示画面における表示位置に、ＡＲ情報ｄ３を表示させる。ここでは、ＡＲ情報表示装置は、先ほど表示させたＡＲ情報ｄ２とは態様が異なり、図１に（ｃ）で示す状況での景色中のＡＲ対応位置ｐおよびユーザ位置の位置関係に応じた態様のＡＲ情報ｄ３を表示させる。なお、実施形態に係るＡＲ情報表示装置が表示させるＡＲ情報の具体的な態様例については、図３〜図８を参照して後述する。
【００２１】
このように、実施形態に係るＡＲ情報表示装置は、ユーザ位置、画面位置、および表示画面を通して見える景色中のＡＲ対応位置ｐに基づき、表示画面における景色中のＡＲ対応位置ｐに対応付けられたＡＲ情報ｄ１，ｄ２，ｄ３の表示位置を決定する。
【００２２】
これにより、実施形態に係るＡＲ情報表示装置は、表示画面内でユーザｕから見て景色中のＡＲ対応位置ｐと重なる位置を、景色中のＡＲ対応位置ｐに対応付けられたＡＲ情報ｄ１，ｄ２，ｄ３の表示位置として決定することができる。
【００２３】
そして、実施形態に係るＡＲ情報表示装置は、決定した表示位置に、景色中のＡＲ対応位置ｐおよびユーザ位置の位置関係に応じた態様のＡＲ情報ｄ１，ｄ２，ｄ３を表示させる。
【００２４】
これにより、ＡＲ情報表示装置は、表示画面を通して見える現実のＡＲ対応位置ｐに、あたかも存在しているかのような態様のＡＲ情報ｄ１，ｄ２，ｄ３を表示させることができるので、ＡＲ情報ｄ１，ｄ２，ｄ３に対するユーザの没入感を高めることができる。
【００２５】
次に、図２を参照し、実施形態に係るＡＲ情報表示装置１の構成について説明する。図２は、実施形態に係るＡＲ情報表示装置１の構成を示す機能ブロック図である。ＡＲ情報表示装置１は、車両に搭載され、車両のフロントガラスおよび窓ガラスにＡＲ情報を表示させる装置である。
【００２６】
図２に示すように、ＡＲ情報表示装置１は、カーナビゲーション装置１０、５台の内部撮像装置１１、５台の外部撮像装置１２、車速度センサ１３、および５台の透過型表示装置１４に接続される。
【００２７】
カーナビゲーション装置１０は、地図情報を記憶しており、地図情報とＧＰＳ（Global  Positioning  System）を使用して、車両の現在位置から入力される目的地までの経路案内を行う装置である。カーナビゲーション装置１０は、自車両が走行中の現実位置を示す情報をＡＲ情報表示装置１へ出力する。
【００２８】
内部撮像装置１１は、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を備えるカメラである。内部撮像装置１１は、フロントガラス側から車室内前部の座席のユーザを撮像する位置、車室内前右側の窓ガラス側から車室内前右側の座席のユーザを撮像する位置、および車室前左側の窓ガラス側から車室内前左側の座席のユーザを撮像する位置に配置される。
【００２９】
さらに、内部撮像装置１１は、車室内後右側の窓ガラス側から車室内後右側の座席のユーザを撮像する位置、および車室後左側の窓ガラス側から車室内後左側の座席のユーザを撮像する位置に配置される。各内部撮像装置１１は、撮像した車内画像をＡＲ情報表示装置１へ出力する。
【００３０】
外部撮像装置１２は、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を備えるカメラである。外部撮像装置１２は、フロントガラス越しに見える車外の景色を撮像する位置、車室内前右側の窓ガラス越しに見える車外の景色を撮像する位置、および車室前左側の窓ガラス越しに見える車外の景色を撮像する位置に配置される。
【００３１】
さらに、外部撮像装置１２は、車室内後右側の窓ガラス越しに見える車外の景色を撮像する位置、および車室後左側の窓ガラス越しに見える車外の景色を撮像する位置に配置される。各外部撮像装置１２は、撮像した車外画像をＡＲ情報表示装置１へ出力する。車速度センサ１３は、ＡＲ情報表示装置１が搭載される自車両の走行速度を検知するセンサであり、走行速度の検知結果をＡＲ情報表示装置１へ出力する。
【００３２】
透過型表示装置１４は、表示画面が光透過性を備えるディスプレイであり、例えば、透明液晶ディスプレイや透明有機ＥＬ（Electroluminescence）ディスプレイである。透過型表示装置１４は、フロントガラス、車室内前右側の窓ガラス、車室内前左側の窓ガラス、車室内後右側の窓ガラス、および車室内後左側の窓ガラスの全面にそれぞれ貼合される。透過型表示装置１４は、ＡＲ情報表示装置１から入力されるＡＲ情報を表示させる。
【００３３】
ＡＲ情報表示装置１は、制御部２と、記憶部３とを備える。記憶部３は、ＡＲ情報表示プログラム３１およびＡＲ情報ＤＢ（Data  Base）３２等の情報を記憶する。かかる記憶部３は、例えば、ＲＡＭ（Random  Access  Memory)、フラッシュメモリ等の半導体メモリ素子、または、ＨＤＤ（Hard  Disk  Drive）、光ディスク等の記憶装置である。
【００３４】
ここで、図３を参照し、実施形態に係るＡＲ情報ＤＢ３２について説明する。図３は、実施形態に係るＡＲ情報ＤＢ３２の説明図である。図３に示すように、ＡＲ情報ＤＢ３２は、複数のＡＲ対応位置と、各ＡＲ対応位置にそれぞれ対応付けられたＡＲ情報とを含む。
【００３５】
ＡＲ対応位置は、例えば、緯度および経度によって表される位置情報である。またＡＲ情報は、例えば、ＡＲ対応位置に対応付けられた３次元画像情報およびテキスト情報等である。本実施形態では、各ＡＲ対応位置に対して、ＡＲ対応位置に関する過去の３次元画像情報およびテキスト情報と、ＡＲ対応位置に関する現在のテキスト情報と、ＡＲ対応位置に関する将来の３次元画像情報およびテキスト情報とが対応付けられる。
【００３６】
過去の３次元画像情報は、例えば、対応付けられたＡＲ対応位置に過去に存在していた建造物や風景を再現した３次元ＣＧ（Computer  Graphics）の情報である。また、過去のテキスト情報は、対応付けられたＡＲ対応位置に過去に存在していた建造物や地所に関する情報が記載されたテキスト情報である。現在のテキスト情報は、対応付けられたＡＲ対応位置に現在存在する建造物や地所に関する情報が記載されたテキスト情報である。
【００３７】
将来の３次元画像情報は、対応付けられたＡＲ対応位置に将来建設される建造物を再現した３次元ＣＧの情報である。将来のテキスト情報は、対応付けられたＡＲ対応位置に将来建設される建造物や地所に関する情報が記載されたテキスト情報である。なお、図３に示すＡＲ情報ＤＢ３２は、一例であり、透過型表示装置１４の表示画面に表示させる情報であれば、図３に示すＡＲ情報以外の任意のＡＲ情報であってもよい。
【００３８】
図２へ戻り、制御部２は、例えば、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）、入出力ポートなどを有するマイクロコンピュータや各種の回路を含む。
【００３９】
制御部２は、現在位置取得部２１、表示位置決定部２２、遮蔽物検知部２３、速度取得部２４、時間算出部２５、および表示制御部２６を備える。かかる現在位置取得部２１、表示位置決定部２２、遮蔽物検知部２３、速度取得部２４、時間算出部２５、および表示制御部２６の機能は、例えば、上記ＣＰＵが記憶部３に記憶されているＡＲ情報表示プログラム３１を読み出して実行することにより実現される。
【００４０】
なお、現在位置取得部２１、表示位置決定部２２、遮蔽物検知部２３、速度取得部２４、時間算出部２５、および表示制御部２６は、それぞれ一部または全部がＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウェアで構成されてもよい。以下、これら現在位置取得部２１、表示位置決定部２２、遮蔽物検知部２３、速度取得部２４、時間算出部２５、および表示制御部２６について具体的に説明する。
【００４１】
現在位置取得部２１は、カーナビゲーション装置１０から、ＡＲ情報表示装置１が搭載される自車両の現在の現実位置を示す情報（以下、「車両位置」と記載する）を取得する。車両位置は、例えば、自車両が走行している緯度および経度を示す情報である。現在位置取得部２１は、カーナビゲーション装置１０から取得する車両位置を表示位置決定部２２へ出力する。
【００４２】
表示位置決定部２２は、各内部撮像装置１１から入力される車内画像と、各外部撮像装置１２から入力される車外画像と、記憶部３に記憶されたＡＲ情報ＤＢ３２に基づいて、表示画面におけるＡＲ情報の表示位置を決定する処理部である。
【００４３】
かかる表示位置決定部２２は、各内部撮像装置１１から入力される車内画像毎に、透過型表示装置１４の表示画面を視認するユーザの現実位置を特定する。例えば、表示位置決定部２２は、車内画像からユーザの顔を抽出し、車内におけるユーザの顔の位置および向きと、現在位置取得部２１から入力される車両位置とに基づいて、ユーザ位置を特定する。なお、ユーザ位置を特定する手順は、これに限定されるものではなく、ユーザ位置を特定可能な手順であれば、任意の手順を適用することができる。
【００４４】
また、表示位置決定部２２は、例えば、現在位置取得部２１から入力される車両位置と、既知である自車両における各透過型表示装置１４の表示画面の位置とに基づいて、画面位置を特定する。画面位置を特定する手順は、これに限定されるものではなく、画面位置を特定可能な手順であれば、任意の手順を適用することができる。
【００４５】
また、表示位置決定部２２は、各外部撮像装置１２から入力される車外画像毎に、表示画面越しの景色中で、ＡＲ対応位置を特定する。例えば、表示位置決定部２２は、連続して撮像される２フレームの車外画像から建造物等を抽出し、車外画像における建造物等の２フレーム間における位置の差に基づき、ステレオカメラの原理によって外部撮像装置１２から建造物等までの距離を算出する。
【００４６】
続いて、表示位置決定部２２は、各外部撮像装置１２から建造物等までの距離と、カーナビゲーション装置１０から取得する車両位置とに基づいて、建造物等の現実位置を特定する。そして、表示位置決定部２２は、建造物等の現実位置が対応付けられたＡＲ情報がＡＲ情報ＤＢ３２中に存在するか否かを判定し、存在する場合に、その建造物等の現実位置をＡＲ対応位置として特定する。
【００４７】
なお、表示位置決定部２２は、他の手順によって、ＡＲ対応位置を特定する構成であってもよい。例えば、表示位置決定部２２は、車両位置と各外部撮像装置１２の撮像範囲とに基づいて、各車外画像に含まれる景色の領域に対応する緯度および経度の範囲を算出する。そして、表示位置決定部２２は、算出した緯度および経度の範囲内に存在するＡＲ対応位置をＡＲ情報ＤＢ３２から検索することによって、ＡＲ対応位置を特定することもできる。
【００４８】
表示位置決定部２２は、こうして特定したユーザ位置、画面位置、およびＡＲ対応位置に基づき、図１を参照して説明した手順に基づいて、表示画面におけるＡＲ情報の表示位置を決定する。そして、表示位置決定部２２は、特定したＡＲ対応位置、ユーザ位置、および決定したＡＲ情報の表示位置を示す情報を表示制御部２６へ出力する。また、表示位置決定部２２は、特定したＡＲ対応位置と決定した表示位置を示す情報とを表示制御部２６および遮蔽物検知部２３へ出力する。
【００４９】
遮蔽物検知部２３は、各外部撮像装置１２から入力される車外画像、表示位置決定部２２から入力されるＡＲ対応位置、およびＡＲ情報の表示位置とに基づいて、ＡＲ情報の表示位置からのＡＲ対応位置の視認を阻害する遮蔽物を検知する処理部である。
【００５０】
遮蔽物検知部２３は、検知した遮蔽物に関する情報を時間算出部２５および表示制御部２６へ出力する。遮蔽物に関する情報は、例えば、遮蔽物の現実位置を示す情報および遮蔽物の大きさを示す情報を含む。
【００５１】
速度取得部２４は、車速度センサ１３から自車両の走行速度を示す情報を取得して、時間算出部２５へ出力する処理部である。時間算出部２５は、速度取得部２４から入力される走行速度を示す情報と、遮蔽物検知部２３から入力される遮蔽物に関する情報とに基づいて、遮蔽物によってＡＲ情報の表示位置からのＡＲ対応位置の視認が阻害される継続時間を算出する処理部である。時間算出部２５は、算出した継続時間を示す情報を表示制御部２６へ出力する。
【００５２】
表示制御部２６は、表示位置決定部２２から特定されたＡＲ対応位置、ユーザ位置、および決定されたＡＲ情報の表示位置を示す情報を取得する。また、表示制御部２６は、遮蔽物検知部２３から検知された遮蔽物に関する情報を取得し、時間算出部２５から算出された継続時間を示す情報を取得する。
【００５３】
そして、表示制御部２６は、表示位置決定部２２から入力される情報に基づいて、表示画面に表示させるＡＲ情報をＡＲ情報ＤＢ３２から読出して透過型表示装置１４へ出力し、表示位置決定部２２によって決定された表示位置に表示させる。
【００５４】
このとき、表示制御部２６は、表示位置決定部２２、遮蔽物検知部２３、および時間算出部２５から入力される情報に基づいて、ＡＲ対応位置およびユーザ位置の位置関係に応じた態様のＡＲ情報を表示させる。
【００５５】
次に、図４〜図８を参照し、実施形態に係る表示制御部２６が表示させるＡＲ情報の態様の具体例について説明する。図４〜図８は、実施形態に係る表示制御部２６が表示させるＡＲ情報の態様の具体例を示す説明図である。
【００５６】
図４に（ａ）で示すように、例えば、車両の窓ガラスから見えるＡＲ対応位置Ｐに、将来建物が建設される場合、表示位置決定部２２によって決定される透過型表示装置１４の表示位置に、ＡＲ対応位置Ｐに対応付けられたＡＲ情報を表示させる。
【００５７】
このとき、表示制御部２６は、ユーザ位置とＡＲ対応位置Ｐとに基づき、建設予定の建物が建設されていればユーザｕから見えるはずの角度に調整された建物の３次元ＣＧ情報ｄ１１をＡＲ情報として表示させる。
【００５８】
その後、車両が走行すると、図４に（ｂ）で示すように、ＡＲ対応位置Ｐが相対的に自車両の斜め後方へ移動する。このため、表示制御部２６は、建設予定の建物が建設されていればユーザｕから見えるはずの角度となるように回転させた建物の３次元ＣＧ情報ｄ１２を表示させる。
【００５９】
このように、表示制御部２６は、ユーザ位置およびＡＲ対応位置Ｐの位置関係に応じて、３次元ＣＧ情報ｄ１１や、３次元ＣＧ情報ｄ１１を回転させた３次元ＣＧ情報ｄ１２等の態様の異なるＡＲ情報を表示させる。
【００６０】
また、表示制御部２６は、ＡＲ対応位置Ｐがユーザ位置へ徐々に近付いてくる場合には、表示させるＡＲ情報の大きさを徐々に拡大し、ＡＲ対応位置Ｐがユーザ位置から徐々に遠ざかる場合には、表示させるＡＲ情報の大きさを徐々に縮小する。
【００６１】
これにより、ＡＲ情報表示装置１は、表示画面を通して見える現実のＡＲ対応位置Ｐに、あたかも存在しているかのような態様の３次元ＣＧ情報ｄ１１，ｄ１２をＡＲ情報として表示させることにより、ＡＲ情報に対するユーザの没入感を高めることができる。
【００６２】
次に、図５に（ａ）で示すように、例えば、ＡＲ対応位置Ｐに建設予定の建物の３次元ＣＧ情報ｄ１３が表示されている場合に、自車両の走行に伴い、透過型表示装置１４の表示画面に、ＡＲ対応位置Ｐの視認を阻害する遮蔽物Ｂが出現する場合がある。かかる場合、表示制御部２６は、図５に（ｂ）で示すように、遮蔽物ＢによってＡＲ対応位置Ｐの視認が阻害されると、３次元ＣＧ情報ｄ１３を非表示にする。
【００６３】
例えば、表示制御部２６は、建設予定の建物が建設されていれば、建設予定の建物が遮蔽物Ｂによって視認が阻害されるような状況になると、建設予定の建物の３次元ＣＧ情報ｄ１３を非表示にする。つまり、表示制御部２６は、ＡＲ情報の表示および非表示の切り替えを、現実の遮蔽物によるＡＲ対応位置Ｐの出現および消失と対応させる。
【００６４】
これにより、ＡＲ情報表示装置１は、表示画面を通して見える現実のＡＲ対応位置Ｐに、あたかも建設予定の建物が存在しているかのような印象をユーザｕに与えることができるので、ＡＲ情報に対するユーザの没入感を高めることができる。
【００６５】
また、表示制御部２６は、遮蔽物ＢによるＡＲ対応位置Ｐの視認が阻害される継続時間に応じて、ＡＲ対応位置Ｐに対応付けられているＡＲ情報の表示および非表示を切り替える。例えば、表示制御部２６は、遮蔽物ＢによるＡＲ対応位置の視認が阻害される継続時間が閾値以下の場合には、ＡＲ情報を非表示とせずに、表示を継続させる。
【００６６】
これにより、ＡＲ情報表示装置１は、例えば、短時間内に遮蔽物ＢによってＡＲ対応位置Ｐの視認が閾値以下の極短時間繰り返し阻害される場合に、ＡＲ情報の閲覧が阻害されることを抑制することができる。
【００６７】
また、ＡＲ情報表示装置１は、遮蔽物ＢによるＡＲ対応位置Ｐの視認が阻害される継続時間と比較する閾値を、表示させるＡＲ情報に応じて変更する構成であってもよい。かかる構成の場合、ＡＲ情報表示装置１は、大きさの異なる複数の閾値を記憶部３に記憶する。そして、ＡＲ情報表示装置１は、ＡＲ情報ＤＢ３２に含まれる各ＡＲ情報に、情報の重要度を対応付けて記憶する。
【００６８】
そして、表示制御部２６は、表示するＡＲ情報の重要度が高いほど大きな閾値と、遮蔽物ＢによるＡＲ対応位置Ｐの継続遮蔽時間と比較して、閾値以下の場合に、ＡＲ情報を非表示とせずに、表示を継続させる。
【００６９】
一方、表示制御部２６は、表示するＡＲ情報の重要度が低いほど小さな閾値と、遮蔽物ＢによるＡＲ対応位置Ｐの継続遮蔽時間とを比較して、閾値以下の場合に、ＡＲ情報を非表示とせずに、表示を継続させる。これにより、ＡＲ情報表示装置１は、重要度の高いＡＲ情報が非表示となる頻度を低減することができる。
【００７０】
また、図６に（ａ）で示すように、表示制御部２６は、遮蔽物ＢによるＡＲ対応位置Ｐの視認の阻害が開始される場合、遮蔽物Ｂによる視認の阻害が開始される側から３次元ＣＧ情報ｄ１４の像の濃淡を徐々に薄くする。
【００７１】
一方、図６に（ｂ）で示すように、表示制御部２６は、遮蔽物ＢによるＡＲ対応位置Ｐの視認の阻害が終了される場合、遮蔽物Ｂによる視認の阻害が終了される側から３次元ＣＧ情報ｄ１５の像の濃淡を徐々に濃くする。これにより、ＡＲ情報表示装置１は、ユーザｕの眼の錯覚を利用して、より違和感なく、３次元ＣＧ情報ｄ１４，ｄ１５の出現および消失を再現することができる。
【００７２】
また、図７に示すように、表示制御部２６は、遮蔽物ＢによりＡＲ対応位置Ｐの視認が阻害される場合、ＡＲ情報を非表示とはせず、ＡＲ情報の透過像である３次元ＣＧ情報ｄ１６を表示させることも可能である。
【００７３】
これにより、ＡＲ情報表示装置１は、ＡＲ情報の内容をユーザｕに継続的に認識させることができ、しかも、遮蔽物Ｂによる遮蔽中に、遮蔽前と同一のＡＲ情報を継続して表示させる場合に比べて、ユーザｕに与える違和感を低減することができる。
【００７４】
なお、図４〜図７では、ＡＲ情報が３次元ＣＧ情報である場合を例に挙げたが、表示制御部２６は、図４〜図７に示す状況で、ＡＲ情報としてテキスト情報を表示させることもでき、３次元ＣＧ画像およびテキスト情報を表示させることもできる。かかる場合、表示制御部２６は、図４〜図７を参照して説明した表示態様と同様の表示態様でテキスト情報の表示制御を行う。
【００７５】
また、図８に（ａ）で示すように、ＡＲ対応位置Ｐ２に対応付けられたＡＲ情報のテキスト情報ｄ１７を表示させると、ＡＲ対応位置Ｐ２の明度や透過型表示装置１４の表示画面越しに見える景色の色彩によってテキスト情報ｄ１７の視認性が低下する場合がある。
【００７６】
かかる場合、図８に（ｂ）で示すように、表示制御部２６は、ＡＲ対応位置Ｐ２の明度に応じて、明度を調整し、透過型表示装置１４の表示画面越しに見える景色の色彩に応じて、色を調整したテキスト情報ｄ１８を表示させる。
【００７７】
なお、図８では、ＡＲ情報がテキスト情報である場合を例に挙げたが、表示制御部２６は、図８に示す状況で、ＡＲ情報として３次元ＣＧ情報を表示させることもでき、３次元ＣＧ画像およびテキスト情報を表示させることもできる。かかる場合、表示制御部２６は、図８を参照して説明した表示態様と同様の表示態様で３次元ＣＧ情報の表示制御を行う。
【００７８】
これにより、ＡＲ情報表示装置１は、周囲の実環境における明るさに関わらず、常時均一な見易さのＡＲ情報を表示させることができる。また、ＡＲ情報表示装置１は、背景色との同化、補色による視認性の低下や眼精疲労の発生を抑制すること、および表示するＡＲ情報から見えにくい色を排除することができる。
【００７９】
さらに、ＡＲ情報表示装置１は、混色により本来のＡＲ情報とは異なる色に見える状況の発生を防止することができる。また、ＡＲ情報表示装置１は、ＡＲ情報の色を予め混色を考慮した配色にすることで、ＡＲ情報から見えにくい色を排除することができる。また、ＡＲ情報表示装置１は、混色によりＡＲ情報が見えにくくなる場合に、敢えて本来のＡＲ情報の色とは異なる色のＡＲ情報を表示させることができる。
【００８０】
次に、図９および図１０を参照し、実施形態に係る制御部２が実行する処理について説明する。図９および図１０は、実施形態に係る制御部２が実行する処理を示すフローチャートである。制御部２は、ＡＲ情報表示装置１に電源が投入されると、図９に示す処理を繰り返し実行する。
【００８１】
具体的には、図９に示すように、制御部２は、まず、カーナビゲーション装置１０から車両位置を取得し（ステップＳ１０１）、内部撮像装置１１から車内画像を取得する（ステップＳ１０２）。さらに、制御部２は、外部撮像装置１２から車外画像を取得し（ステップＳ１０３）、車速度センサ１３から走行速度を取得する（ステップＳ１０４）。
【００８２】
続いて、制御部２は、車両位置、車内画像、および車外画像に基づいて、ユーザ位置、画面位置、およびＡＲ対応位置を特定する（ステップＳ１０５）。その後、制御部２は、ユーザ位置、画面位置、およびＡＲ対応位置に基づいて、表示画面におけるＡＲ情報の表示位置を決定する（ステップＳ１０６）。
【００８３】
続いて、制御部２は、ユーザ位置およびＡＲ対応位置の位置関係に応じたＡＲ情報の態様を決定し（ステップＳ１０７）、表示させるＡＲ情報の色および色彩を調整する（ステップＳ１０８）。その後、制御部２は、遮蔽物があるか否かの判定を行う（ステップＳ１０９）。
【００８４】
そして、制御部２は、遮蔽物なしと判定した場合（ステップＳ１０９，Ｎｏ）、特定したＡＲ対応位置に対応付けられたＡＲ情報を、決定した態様、色、および色彩で、決定した表示位置に表示させる（ステップＳ１１１）。一方、制御部２は、遮蔽物ありと判定した場合（ステップＳ１０９，Ｙｅｓ）、図１０に示すＡＲ情報非表示処理を行い（ステップＳ１１０）、処理を終了する。
【００８５】
また、制御部２は、ＡＲ情報非表示処理を開始すると、図１０に示すように、遮蔽物によるＡＲ対応位置の視認阻害部分があるか否かの判定を行う（ステップＳ２０１）。そして、制御部２は、遮蔽物によるＡＲ対応位置の視認阻害部分があると判定した場合（ステップＳ２０１，Ｙｅｓ）、視認阻害部分に対応する部分のＡＲ情報を非表示にする（ステップＳ２０２）。
【００８６】
続いて、制御部２は、遮蔽物によるＡＲ対応位置の視認未阻害部分があるか否かの判定を行う（ステップＳ２０３）。そして、制御部２は、視認未阻害部分があると判定した場合（ステップＳ２０３，Ｙｅｓ）、視認阻害開始側からＡＲ情報の濃淡を徐々に薄くし（ステップＳ２０４）、処理をステップＳ２０５へ移す。
【００８７】
一方、制御部２は、視認未阻害部分がないと判定した場合（ステップＳ２０３，Ｎｏ）、処理をステップＳ２０５へ移す。ステップＳ２０５において、制御部２は、遮蔽物によるＡＲ対応位置の視認阻害終了部分があるか否かの判定を行う。
【００８８】
そして、制御部２は、視認阻害終了部分があると判定した場合（ステップＳ２０５，Ｙｅｓ）、視認阻害終了側からＡＲ情報の濃淡を徐々に濃くし（ステップＳ２０６）、処理を終了する。一方、制御部２は、視認阻害終了部分がないと判定した場合（ステップＳ２０５，Ｎｏ）、処理を終了する。
【００８９】
また、制御部２は、ステップＳ２０１において、遮蔽物によるＡＲ対応位置の視認阻害部分がないと判定した場合（ステップＳ２０１，Ｎｏ）、表示画面中の遮蔽物およびＡＲ対応位置間の距離が閾値以下であるか否かの判定を行う（ステップＳ２０７）。
【００９０】
そして、制御部２は、表示画面中の遮蔽物およびＡＲ対応位置間の距離が閾値以下であると判定した場合（ステップＳ２０７，Ｙｅｓ）、ステップＳ２０４〜ステップＳ２０６の処理を行う。
【００９１】
一方、制御部２は、表示画面中の遮蔽物およびＡＲ対応位置間の距離が閾値以下でないと判定した場合（ステップＳ２０７，Ｎｏ）、特定したＡＲ対応位置に対応付けられたＡＲ情報を、決定した態様、色、および色彩で、決定した表示位置に表示させ（ステップＳ２０８）、処理を終了する。
【００９２】
上述したように、実施形態に係るＡＲ情報表示装置は、記憶部と、表示位置決定部と、表示制御部とを備える。記憶部は、現実位置に対応付けられたＡＲ情報を記憶する。表示位置決定部は、ユーザ位置、画面位置、およびＡＲ対応位置に基づいて、表示画面におけるＡＲ情報の表示位置を決定する。
【００９３】
表示制御部は、表示位置決定部によって決定される表示位置に、ＡＲ対応位置およびユーザ位置の位置関係に応じた態様のＡＲ情報を表示させる。これにより、ＡＲ情報表示装置は、表示画面を通して見える現実のＡＲ対応位置に、あたかも存在しているかのような態様のＡＲ情報を表示させることにより、ＡＲ情報に対するユーザの没入感を高めることができる。
【００９４】
また、実施形態に係るＡＲ情報は、対応付けられた現実位置に関連する３次元画像情報を含む。そして、表示制御部は、ユーザ位置、画面位置、およびＡＲ対応位置に基づいて、表示画面に表示させる３次元画像情報の向きおよび大きさの少なくともいずれか一方を変更する。これにより、ＡＲ情報表示装置は、表示画面を通して見える現実のＡＲ対応位置に関連する３次元画像情報を表示させることによって、ＡＲ情報に対するユーザの没入感を高めることができる。
【００９５】
また、実施形態に係るＡＲ情報表示装置は、ＡＲ情報表示位置からのＡＲ対応位置の視認を阻害する遮蔽物を検知する遮蔽物検知部を備え、表示制御部は、遮蔽物によってＡＲ対応位置の視認が阻害される場合に、ＡＲ情報を非表示にする。
【００９６】
これにより、ＡＲ情報表示装置は、ＡＲ情報の表示および非表示の切り替えを、現実の遮蔽物によるＡＲ対応位置の出現および消失と対応させることにより、ＡＲ対応位置に、あたかもＡＲ情報が存在しているかのような印象をユーザに与えることができる。
【００９７】
また、表示制御部は、遮蔽物によってＡＲ対応位置の視認が阻害される場合に、ＡＲ情報の透過像を表示させる。これにより、ＡＲ情報表示装置は、ＡＲ情報の内容をユーザに認識させることができ、しかも、遮蔽物による遮蔽中に、遮蔽前と同一のＡＲ情報を継続して表示させる場合に比べて、ユーザに与える違和感を低減することができる。
【００９８】
また、ＡＲ情報表示装置は、表示画面の移動速度を取得する速度取得部と、遮蔽物によってＡＲ対応位置の視認が阻害される継続時間を速度取得部によって取得される移動速度に基づいて算出する時間算出部をさらに備える。
【００９９】
そして、表示制御部は、時間算出部によって算出される継続時間に応じて、ＡＲ情報の表示および非表示を切り替える。これにより、ＡＲ情報表示装置は、例えば、短時間内に遮蔽物によってＡＲ対応位置の視認が極短時間繰り返し阻害される場合に、ＡＲ情報の閲覧が阻害されることを抑制することができる。
【０１００】
また、表示制御部は、表示画面の移動に伴い、遮蔽物によるＡＲ対応位置の視認の阻害が開始される側からＡＲ情報の像の濃淡を徐々に薄くし、視認の阻害が終了される側から像の濃淡を徐々に濃くする。これにより、ＡＲ情報表示装置は、ユーザの眼の錯覚を利用して、より違和感なく、ＡＲ情報の出現および消失を再現することができる。
【０１０１】
また、表示制御部は、ＡＲ対応位置の明度に応じて、表示させるＡＲ情報の明度を調整する。これにより、ＡＲ情報表示装置は、周囲の実環境における明るさに関わらず、常時均一な見易さのＡＲ情報を表示させることができる。また、ＡＲ情報表示装置は、背景色との同化、補色による視認性の低下や眼精疲労の発生を抑制すること、および表示するＡＲ情報から見えにくい色を排除することができる。
【０１０２】
また、表示制御部は、表示画面越しの景色の色彩に応じて、表示させるＡＲ情報の色を調整する。これにより、ＡＲ情報表示装置は、混色により本来のＡＲ情報とは異なる色に見える状況の発生を防止することができる。また、ＡＲ情報表示装置は、ＡＲ情報の色を予め混色を考慮した配色にすることで、ＡＲ情報から見えにくい色を排除することができる。また、ＡＲ情報表示装置は、混色によりＡＲ情報が見えにくくなる場合に、敢えて本来のＡＲ情報の色とは異なる色のＡＲ情報を表示させることができる。
【０１０３】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
符号の説明
【０１０４】
１  ＡＲ情報表示装置
２  制御部
２１  現在位置取得部
２２  表示位置決定部
２３  遮蔽物検知部
２４  速度取得部
２５  時間算出部
２６  表示制御部
３  記憶部
３１  ＡＲ情報表示プログラム
３２  ＡＲ情報ＤＢ
１０  カーナビゲーション装置
１１  内部撮像装置
１２  外部撮像装置
１３  車速度センサ
１４  透過型表示装置
【図１】
2017191378.tif 000003
【図２】
2017191378.tif 000004
【図３】
2017191378.tif 000005
【図４】
2017191378.tif 000006
【図５】
2017191378.tif 000007
【図６】
2017191378.tif 000008
【図７】
2017191378.tif 000009
【図８】
2017191378.tif 000010
【図９】
2017191378.tif 000011
【図１０】
2017191378.tif 000012