(57)【要約】  仮想物体表示制御装置（１０）は、実空間を示す実空間情報（Ａ１，Ａ２）を受け取る認識部（１１０）と、実空間情報（Ａ１，Ａ２）から観察者の視点位置を判定する視点位置判定部（１２１）と、実空間情報（Ａ１，Ａ２）から実物体の位置及び形状を判定する実物体判定部（１２２）と、視点位置と実物体の位置及び形状とに基づいて仮想物体の画像情報（Ｂ１）を設定する仮想物体表示設定部（１２３）と、視点位置と実物体の位置及び形状と仮想物体の画像情報（Ｂ１）とに基づいて案内表示の要否を判定し、案内表示が必要な場合に案内表示の画像情報（Ｂ２）を設定する案内表示制御部（１２６）と、仮想物体の画像情報（Ｂ１）と案内表示の画像情報（Ｂ２）とを出力する描画部（１２７）とを有する。
2019163128.tif 000002
【特許請求の範囲】
【請求項１】
実空間を示す実空間情報を受け取る認識部と、
前記実空間情報から観察者の視点位置を判定する視点位置判定部と、
前記実空間情報から実物体の位置及び形状を判定する実物体判定部と、
前記視点位置と前記実物体の位置及び形状とに基づいて仮想物体の画像情報を設定する仮想物体表示設定部と、
前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて案内表示の要否を判定し、前記案内表示が必要な場合に前記案内表示の画像情報を設定する案内表示制御部と、
前記仮想物体の画像情報と前記案内表示の画像情報とを出力する描画部と、
を有することを特徴とする仮想物体表示制御装置。
【請求項２】
前記案内表示制御部は、前記視点位置から見たときに、前記仮想物体の全体又は一部が前記実物体によって隠れる場合に、前記案内表示が必要と判定することを特徴とする請求項１に記載の仮想物体表示制御装置。
【請求項３】
前記実空間情報は、前記実空間の画像情報及び前記実物体の奥行情報を含むことを特徴とする請求項１又は２に記載の仮想物体表示制御装置。
【請求項４】
前記描画部は、前記実空間の画像情報に、前記仮想物体の画像情報及び前記案内表示の画像情報を合成することで得られた合成画像情報を出力することを特徴とする請求項１に記載の仮想物体表示制御装置。
【請求項５】
実空間を示す実空間情報を取得する空間情報取得部と、
前記実空間情報を受け取る認識部と、
前記実空間情報から観察者の視点位置を判定する視点位置判定部と、
前記実空間情報から実物体の位置及び形状を判定する実物体判定部と、
前記視点位置と前記実物体の位置及び形状とに基づいて仮想物体の画像情報を設定する仮想物体表示設定部と、
前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて案内表示の要否を判定し、前記案内表示が必要な場合に前記案内表示の画像情報を設定する案内表示制御部と、
前記仮想物体の画像情報と前記案内表示の画像情報とを出力する描画部と、
前記仮想物体の画像情報と前記案内表示の画像情報とに基づいて画像を表示する表示装置と、
を有することを特徴とする仮想物体表示システム。
【請求項６】
前記空間情報取得部は、前記実空間の画像情報を取得する撮像部及び前記実物体の奥行情報を取得する奥行検出部を有することを特徴とする請求項５に記載の仮想物体表示システム。
【請求項７】
前記描画部は、前記実空間の画像情報に、前記仮想物体の画像情報及び前記案内表示の画像情報を合成することで得られた合成画像情報を出力することを特徴とする請求項５又は６に記載の仮想物体表示システム。
【請求項８】
前記表示装置は、
前記視点位置から見た撮像情報を取得する他の撮像部と、
表示画面と、
前記撮像情報に、前記仮想物体の画像情報と前記案内表示の画像情報とが重畳された画像を前記表示画面に表示させる合成部と、
を有することを特徴とする請求項５又は６に記載の仮想物体表示システム。
【請求項９】
前記表示装置は、前記仮想物体の画像情報と前記案内表示の画像情報とを前記実空間上に投射するプロジェクタを有することを特徴とする請求項５又は６に記載の仮想物体表示システム。
【請求項１０】
実空間を示す実空間情報を受け取るステップと、
前記実空間情報から観察者の視点位置を判定するステップと、
前記実空間情報から実物体の位置及び形状を判定するステップと、
前記視点位置と前記実物体の位置及び形状とに基づいて仮想物体の画像情報を設定するステップと、
前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて案内表示の要否を判定し、前記案内表示が必要な場合に前記案内表示の画像情報を設定するステップと、
前記仮想物体の画像情報と前記案内表示の画像情報とを出力するステップと、
を有することを特徴とする仮想物体表示制御方法。
【請求項１１】
実空間を示す実空間情報を受け取る処理と、
前記実空間情報から観察者の視点位置を判定する処理と、
前記実空間情報から実物体の位置及び形状を判定する処理と、
前記視点位置と前記実物体の位置及び形状とに基づいて仮想物体の画像情報を設定する処理と、
前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて案内表示の要否を判定し、前記案内表示が必要な場合に前記案内表示の画像情報を設定する処理と、
前記仮想物体の画像情報と前記案内表示の画像情報とを出力する処理と、
をコンピュータに実行させることを特徴とする仮想物体表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想物体の画像を表示するための制御を行う仮想物体表示制御装置、仮想物体表示制御方法、及び仮想物体表示制御プログラム、並びに前記仮想物体表示制御装置を含む仮想物体表示システムに関する。
【背景技術】
【０００２】
表示装置の画面に、実物体の画像と、これに重畳された仮想物体の画像とを表示させる装置が提案されている（例えば、特許文献１及び２参照）。仮想物体の画像は、例えば、拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：ＡＲ）画像である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−４９０３９号公報（段落００１０，００６８，００７９）
【特許文献２】国際公開第２０１６／２０３７９２号（段落００８１）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来の装置では、実空間におけるオクルージョンを考慮に入れて（すなわち、仮想物体の画像が実物体の画像によって隠れないように）、仮想物体の画像を本来表示されるべき位置から移動させた位置に表示している。しかしながら、この場合、観察者は、仮想物体の画像が本来表示されるべき位置を知ることができない。このため、仮想物体の画像が、実物体のアノテーションを含む画像である場合、アノテーションがいずれの実物体に関するものであるのかが分かりにくい。【０００５】
本発明は、仮想物体の画像が観察者から見えない位置に表示された場合であっても、観察者に仮想物体の画像の位置を認識させることができる仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る仮想物体表示制御装置は、実空間を示す実空間情報を受け取る認識部と、前記実空間情報から観察者の視点位置を判定する視点位置判定部と、前記実空間情報から実物体の位置及び形状を判定する実物体判定部と、前記視点位置と前記実物体の位置及び形状とに基づいて仮想物体の画像情報を設定する仮想物体表示設定部と、前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて案内表示の要否を判定し、前記案内表示が必要な場合に前記案内表示の画像情報を設定する案内表示制御部と、前記仮想物体の画像情報と前記案内表示の画像情報とを出力する描画部と、を有することを特徴とする。【０００７】
本発明の他の態様に係る仮想物体表示システムは、実空間を示す実空間情報を取得する空間情報取得部と、前記実空間情報を受け取る認識部と、前記実空間情報から観察者の視点位置を判定する視点位置判定部と、前記実空間情報から実物体の位置及び形状を判定する実物体判定部と、前記視点位置と前記実物体の位置及び形状とに基づいて仮想物体の画像情報を設定する仮想物体表示設定部と、前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて案内表示の要否を判定し、前記案内表示が必要な場合に前記案内表示の画像情報を設定する案内表示制御部と、前記仮想物体の画像情報と前記案内表示の画像情報とを出力する描画部と、前記仮想物体の画像情報と前記案内表示の画像情報とに基づいて画像を表示する表示装置と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、仮想物体の画像が観察者から見えない位置に表示された場合であっても、案内表示によって観察者に仮想物体の画像の位置を認識させることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１に係る仮想物体表示システムのハードウェア構成を示す図である。
【図２】視点位置と実物体（遮蔽物）との位置関係を概略的に示す図である。
【図３】実施の形態１に係る仮想物体表示制御装置を示す機能ブロック図である。
【図４】実施の形態１に係る仮想物体表示システムを示す説明図である。
【図５】実施の形態１に係る仮想物体表示制御装置の動作を示すフローチャートである。
【図６】実施の形態１の変形例に係る仮想物体表示システムのハードウェア構成を示す図である。
【図７】実施の形態１の変形例に係る仮想物体表示システムを示す説明図である。
【図８】本発明の実施の形態２に係る仮想物体表示システムのハードウェア構成を示す図である。
【図９】実施の形態２に係る仮想物体表示システムを示す説明図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の実施の形態に係る仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラムを、添付図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
【００１１】
なお、図にはｘｙｚ直交座標系が示される。ｘｙｚ直交座標系において、ｘ軸は、実空間における横方向（すなわち、水平横方向）を示し、ｙ軸は、実空間における奥行方向（すなわち、水平奥行方向）を示し、ｚ軸は、実空間における高さ方向（すなわち、縦方向）を示す。
【００１２】
実施の形態１．
先ず、仮想物体表示システム１及び仮想物体表示制御装置１０の構成を説明する。図１は、実施の形態１に係る仮想物体表示システム１のハードウェア構成を示す図である。図１に示されるように、仮想物体表示システム１は、実空間（すなわち、実世界）を示す実空間情報を取得する空間検出部である空間情報取得部２０と、画像を表示する表示装置３０と、表示装置３０に画像を表示させる仮想物体表示制御装置１０とを有する。表示装置３０は、例えば、実物体の画像、仮想物体の画像、及び案内表示を表示する。仮想物体の画像は、例えば、ＡＲ画像である。画像仮想物体表示制御装置１０は、実施の形態１に係る仮想物体表示制御方法を実施することができる装置である。
【００１３】
空間情報取得部２０は、例えば、実空間の画像情報Ａ１を取得する１台以上の撮像部２１と、実空間内に存在する実物体（すなわち、対象物）の奥行情報Ａ２を取得する１台以上の奥行検出部２２とを有する。空間情報取得部２０は、撮像部２１及び奥行検出部２２の一方を有してもよい。撮像部２１は、例えば、カラー画像を取得するカラーカメラ及び実物体を複数の異なる方向から同時に撮影するステレオカメラなどである。奥行検出部２２は、例えば、実物体の奥行き（深度）を検出する機能を備えたデプスカメラなどである。実施の形態１において、実空間情報は、実空間の画像情報Ａ１と実物体の奥行情報Ａ２とを含む。
【００１４】
仮想物体表示制御装置１０は、情報処理部としてのＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、画像処理部としてのＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１２と、情報を記憶する記憶部としてのメモリ１３とを有する。ＧＰＵ１２の機能は、ＣＰＵ１１によって行われてもよい。仮想物体表示制御装置１０は、例えば、パーソナルコンピュータ（ＰＣ）、スマートフォーン、又はタブレット端末などである。メモリ１３は、実施の形態１に係る仮想物体表示制御プログラムを記憶してもよい。ＣＰＵ１１は、仮想物体表示制御プログラムを実行することにより表示装置３０の表示動作を制御することができる。
【００１５】
表示装置３０は、例えば、ＰＣのモニタ、スマートフォーン、又はタブレット端末などの表示画面（すなわち、ディスプレイ）を有する装置である。
【００１６】
図２は、観察者９０の視点位置９１と実物体３１１との位置関係を概略的に示す図である。実物体３１１は、仮想物体を隠す遮蔽物となり得る。実空間内に実物体３１１が存在する場合、観察者９０は、視点位置９１から実物体３１１に隠された領域（斜線領域）３１４に表示された仮想物体の画像を目視することができない。また、仮想物体の画像を異なる位置に移動させた場合には、仮想物体の画像が、どの実物体に関連するものであるのかが分からなくなる。そこで、仮想物体表示制御装置１０は、実空間情報から観察者９０の視点位置９１と実物体３１１の位置及び形状を判定し、視点位置９１と実物体３１１の位置及び形状と仮想物体の画像情報Ｂ１とに基づいて案内表示の要否を判定する。仮想物体表示制御装置１０は、案内表示が必要な場合に案内表示の画像情報Ｂ２を設定し、仮想物体の画像情報Ｂ１と案内表示の画像情報Ｂ２とを出力する。仮想物体表示制御装置１０は、案内表示が必要でない場合に、仮想物体の画像情報Ｂ１を出力する。
【００１７】
図３は、実施の形態１に係る仮想物体表示制御装置１０を示す機能ブロック図である。図３に示されるように、仮想物体表示制御装置１０は、実空間情報である実空間の画像情報Ａ１と実物体の奥行情報Ａ２とを受け取る認識部１１０と、表示制御部１２０とを有する。
【００１８】
認識部１１０は、例えば、実空間の画像情報Ａ１を受け取り、必要な処理を施し、表示制御部１２０に提供する空間認識部１１１と、実物体の奥行情報Ａ２を受け取り、必要な処理を施し、表示制御部１２０に提供する実物体認識部１１２とを有する。実物体認識部１１２は、実物体を実物体のモデル（すなわち、予め保持している画像情報）に置き換えたデータを出力してもよい。実物体のモデルは、予め保持している画像情報であり、机又は椅子などの画像情報、円柱、直方体、三角錐、球体などのような代表的な３次元形状であってもよい。ただし、認識部１１０の構成及び機能は、以上の例に限定されない。
【００１９】
表示制御部１２０は、実空間の画像情報Ａ１と実物体の奥行情報Ａ２とから観察者９０の視点位置９１を判定する視点位置判定部１２１と、実空間情報から実物体３１１の位置及び形状を判定する実物体判定部１２２と、視点位置９１と実物体３１１の位置及び形状とに基づいて仮想物体３１２の画像情報Ｂ１を設定する仮想物体表示設定部１２３とを有する。
【００２０】
また、表示制御部１２０は、視点位置９１と実物体３１１の位置及び形状と仮想物体３１２の画像情報Ｂ１とに基づいて案内表示３２３の要否を判定する案内表示判定部１２４と、案内表示３２３が必要な場合に案内表示の画像情報Ｂ２を設定する案内表示設定部１２５とを有する。案内表示判定部１２４と案内表示設定部１２５とは、案内表示制御部１２６を構成する。案内表示判定部１２４は、例えば、視点位置から見たときに、仮想物体の全体又は一部が実物体によって隠れる場合に、案内表示が必要と判定する。また、案内表示判定部１２４は、視点位置から見たときに、仮想物体の予め決められた一定割合以上（例えば、５０％以上）が実物体によって隠れる場合に、案内表示が必要と判定してもよい。
【００２１】
さらに、表示制御部１２０は、仮想物体の画像情報Ｂ１と案内表示の画像情報Ｂ２とを出力する描画部１２７を有する。描画部１２７は、実空間の画像情報Ａ１に、仮想物体の画像情報Ｂ１及び案内表示の画像情報Ｂ２を合成することで得られた合成画像情報を出力してもよい。
【００２２】
次に、仮想物体表示制御装置１０の動作を説明する。図４は、仮想物体表示システム１を示す説明図である。図４においては、図１の撮像部２１として２台の撮像部２１ａ，２１ｂが示されている。図４の例では、空間情報取得部２０の撮像部２１ａ，２１ｂが、実空間の画像情報Ａ１と実物体の奥行情報Ａ２を仮想物体表示制御装置１０に提供する。また、図５は、仮想物体表示制御装置１０の動作を示すフローチャートである。
【００２３】
仮想物体表示制御装置１０は、ステップＳ１において実空間情報を受け取り、ステップＳ２において実空間情報（例えば、実空間の画像情報Ａ１）から観察者９０の視点位置９１を判定し、ステップＳ３において実空間情報（例えば、実物体の奥行情報Ａ２）から実物体３１１の位置及び形状を判定し、ステップＳ４において視点位置９１と実物体３１１の位置及び形状とに基づいて仮想物体３１２の画像情報Ｂ１を設定する。
【００２４】
次に、仮想物体表示制御装置１０は、ステップＳ５において視点位置９１と実物体３１１の位置及び形状と仮想物体の画像情報Ｂ１とに基づいて案内表示の要否を判定する。すなわち、仮想物体表示制御装置１０は、視点位置９１から見て仮想物体３１２の画像３２２が実物体３１１の画像３２１に隠れるか否かを判定する。
【００２５】
仮想物体３１２の画像３２２が隠れない場合、仮想物体表示制御装置１０は、ステップＳ６において、実空間の画像情報に基づく実物体の画像３２１と、仮想物体の画像３２２とを描画する。そして、仮想物体表示制御装置１０は、ステップＳ７において、表示装置３０に実物体の画像３２１と仮想物体の画像３２２を表示させる。
【００２６】
仮想物体３１２の画像３２２が隠れる場合、仮想物体表示制御装置１０は、ステップＳ８において、案内表示３２３の位置を判定し、ステップＳ９において、案内表示の画像情報を設定し、ステップＳ１０において、実空間の画像情報に基づく実物体の画像３２１と、仮想物体の画像３２２と、案内表示の画像３２３とを描画する。そして、仮想物体表示制御装置１０は、表示装置３０に実物体の画像３２１と仮想物体の画像３２２と案内表示の画像３２３を表示させる。案内表示３２３は、例えば、仮想物体の方向を示す矢印である。案内表示３２３は、例えば、「ここに仮想物体があります。」又は「ここに実物体の解説文があります。」などのようなメッセージが含まれてもよい。
【００２７】
以上に説明したように、実施の形態１に係る仮想物体表示システム１及び仮想物体表示制御装置１０によれば、仮想物体の画像３２２が観察者９０から見えない位置に表示された場合であっても、案内表示３２３によって観察者９０に仮想物体の画像３２２の位置を認識させることができる。
【００２８】
また、実施の形態１に係る仮想物体表示システム１及び仮想物体表示制御装置１０によれば、仮想物体の画像３２２の位置を移動させていないので、観察者９０は、仮想物体の画像３２２がどの実物体に関する情報であるのかを正しく認識することができる。
【００２９】
図６は、実施の形態１の変形例に係る仮想物体表示システム１ａのハードウェア構成を示す図である。図６において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。図７は、図６の仮想物体表示システム１ａを示す説明図である。図７において、図４に示される構成要素と同一又は対応する構成要素には、図４に示される符号と同じ符号が付される。
【００３０】
図６及び図７に示される仮想物体表示システム１ａは、表示装置４０が、視点位置９１から見た撮像情報Ｃ１を取得する撮像部４２と、表示画面４１と、撮像情報Ｃ１に、仮想物体の画像情報Ｂ１と案内表示の画像情報Ｂ２とが重畳された画像を表示画面４１に表示させる合成部４３とを有する点が、図１に示される仮想物体表示システム１と異なる。
【００３１】
仮想物体表示システム１ａでは、仮想物体表示制御装置１０は、観察者９０の視点位置９１を、表示装置４０から受信してもよい。
【００３２】
また、仮想物体表示システム１ａでは、表示装置４０の撮像部４２を、空間情報取得部２０の撮像部として使用してもよい。
【００３３】
以上の点を除いて、図６及び図７に示される仮想物体表示システム１ａは、図１及び図４に示される仮想物体表示システム１と同じである。
【００３４】
実施の形態２．
図８は、実施の形態２に係る仮想物体表示システム２のハードウェア構成を示す図である。図８において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。図９は、図８の仮想物体表示システム２を示す説明図である。図９において、図４に示される構成要素と同一又は対応する構成要素には、図４に示される符号と同じ符号が付される。
【００３５】
図８及び図９に示される仮想物体表示システム２は、表示装置５０が、実空間（すなわち、実世界）に画像を投射するプロジェクタである点、及び案内表示３３３が実空間の床、壁、天井、実物体などに表示される投射画像である点が、図１及び図４に示される仮想物体表示システム１と異なる。図９の例では、案内表示３３３は、観察者９０の移動経路を示す円弧状の矢印である。
【００３６】
以上に説明したように、実施の形態２に係る仮想物体表示システム２及び仮想物体表示制御装置１０ａによれば、仮想物体の画像３３２が観察者９０から見えない位置に表示された場合であっても、案内表示３３３によって観察者９０に仮想物体の画像３３２の位置を認識させることができる。
【００３７】
また、実施の形態２に係る仮想物体表示システム２及び仮想物体表示制御装置１０ａによれば、仮想物体の画像３３２の位置を移動させていないので、観察者９０は、仮想物体の画像３３２がどの実物体に関する情報であるのかを正しく認識することができる。
【００３８】
さらに、案内表示３３３が、実世界に直接に投影され、実世界の空間情報をそのまま使用できるため、より案内の意図が分かりやすくなる。
【００３９】
以上の点を除いて、図８及び図９に示される仮想物体表示システム２は、図１及び図４に示される仮想物体表示システム１又は図６及び図７に示される仮想物体表示システム１ａと同じである。
【符号の説明】
【００４０】
１，１ａ，２  仮想物体表示システム、  １０，１０ａ  仮想物体表示制御装置、  ２０  空間情報取得部、  ２１，２１ａ，２１ｂ  撮像部、  ２２  奥行検出部、  ３０，４０  表示装置、  ３１，４１  表示画面、  ４２  撮像部、  ４３  合成部、  ５０  表示装置（プロジェクタ）、  ９０  観察者、  ９１  視点位置、  １１０  認識部、  １２０  表示制御部、  １２１  視点位置判定部、  １２２  実物体判定部、  １２３  仮想物体表示設定部、  １２４  案内表示判定部、  １２５  案内表示設定部、  １２６  案内表示制御部、  １２７  描画部、  ３１１  実物体、  ３１２  仮想物体、  ３２１  実物体の画像、  ３２２，３３２  仮想物体の画像、  ３２３，３３３  案内表示、  Ａ１  実空間の画像情報、  Ａ２  実物体の奥行情報、  Ｂ１  仮想物体の画像情報、  Ｂ２  案内表示の画像情報。
【図１】
2019163128.tif 000003
【図２】
2019163128.tif 000004
【図３】
2019163128.tif 000005
【図４】
2019163128.tif 000006
【図５】
2019163128.tif 000007
【図６】
2019163128.tif 000008
【図７】
2019163128.tif 000009
【図８】
2019163128.tif 000010
【図９】
2019163128.tif 000011
【手続補正書】
【提出日】令和2年2月26日(2020.2.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
実空間を示す実空間情報を受け取る認識部と、
前記実空間情報から観察者の視点位置を判定する視点位置判定部と、
前記実空間情報から実物体の位置及び形状を判定する実物体判定部と、
前記視点位置と前記実物体の位置及び形状とに基づいて仮想物体の画像情報を設定する仮想物体表示設定部と、
前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて案内表示の要否を判定し、前記案内表示が必要な場合に前記案内表示の画像情報を設定する案内表示制御部と、
前記仮想物体の画像情報と前記案内表示の画像情報とを出力する描画部と、
を有し、
前記案内表示制御部は、前記視点位置から見たときに、前記仮想物体の全体又は一部が前記実物体によって隠れる場合に、前記案内表示が必要と判定する
ことを特徴とする仮想物体表示制御装置。
【請求項２】
前記実空間情報は、前記実空間の画像情報及び前記実物体の奥行情報を含むことを特徴とする請求項１に記載の仮想物体表示制御装置。
【請求項３】
前記描画部は、前記実空間の画像情報に、前記仮想物体の画像情報及び前記案内表示の画像情報を合成することで得られた合成画像情報を出力することを特徴とする請求項１に記載の仮想物体表示制御装置。
【請求項４】
実空間を示す実空間情報を取得する空間情報取得部と、
前記実空間情報を受け取る認識部と、
前記実空間情報から観察者の視点位置を判定する視点位置判定部と、
前記実空間情報から実物体の位置及び形状を判定する実物体判定部と、
前記視点位置と前記実物体の位置及び形状とに基づいて仮想物体の画像情報を設定する仮想物体表示設定部と、
前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて案内表示の要否を判定し、前記案内表示が必要な場合に前記案内表示の画像情報を設定する案内表示制御部と、
前記仮想物体の画像情報と前記案内表示の画像情報とを出力する描画部と、
前記仮想物体の画像情報と前記案内表示の画像情報とに基づいて画像を表示する表示装置と、
を有し、
前記案内表示制御部は、前記視点位置から見たときに、前記仮想物体の全体又は一部が前記実物体によって隠れる場合に、前記案内表示が必要と判定する
ことを特徴とする仮想物体表示システム。
【請求項５】
前記空間情報取得部は、前記実空間の画像情報を取得する撮像部及び前記実物体の奥行情報を取得する奥行検出部を有することを特徴とする請求項４に記載の仮想物体表示システム。
【請求項６】
前記描画部は、前記実空間の画像情報に、前記仮想物体の画像情報及び前記案内表示の画像情報を合成することで得られた合成画像情報を出力することを特徴とする請求項４又は５に記載の仮想物体表示システム。
【請求項７】
前記表示装置は、
前記視点位置から見た撮像情報を取得する他の撮像部と、
表示画面と、
前記撮像情報に、前記仮想物体の画像情報と前記案内表示の画像情報とが重畳された画像を前記表示画面に表示させる合成部と、
を有することを特徴とする請求項４又は５に記載の仮想物体表示システム。
【請求項８】
前記表示装置は、前記仮想物体の画像情報と前記案内表示の画像情報とを前記実空間上に投射するプロジェクタを有することを特徴とする請求項４又は５に記載の仮想物体表示システム。
【請求項９】
実空間を示す実空間情報を受け取るステップと、
前記実空間情報から観察者の視点位置を判定するステップと、
前記実空間情報から実物体の位置及び形状を判定するステップと、
前記視点位置と前記実物体の位置及び形状とに基づいて仮想物体の画像情報を設定するステップと、
前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて案内表示の要否を判定し、前記案内表示が必要な場合に前記案内表示の画像情報を設定するステップと、
前記仮想物体の画像情報と前記案内表示の画像情報とを出力するステップと、
を有し、
前記案内表示の画像情報を設定するステップにおいて、前記視点位置から見たときに、前記仮想物体の全体又は一部が前記実物体によって隠れる場合に、前記案内表示が必要と判定する
ことを特徴とする仮想物体表示制御方法。
【請求項１０】
実空間を示す実空間情報を受け取る処理と、
前記実空間情報から観察者の視点位置を判定する処理と、
前記実空間情報から実物体の位置及び形状を判定する処理と、
前記視点位置と前記実物体の位置及び形状とに基づいて仮想物体の画像情報を設定する処理と、
前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて案内表示の要否を判定し、前記案内表示が必要な場合に前記案内表示の画像情報を設定する処理であって、前記視点位置から見たときに、前記仮想物体の全体又は一部が前記実物体によって隠れる場合に、前記案内表示が必要と判定する処理と、
前記仮想物体の画像情報と前記案内表示の画像情報とを出力する処理と、
をコンピュータに実行させることを特徴とする仮想物体表示制御プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本発明の一態様に係る仮想物体表示制御装置は、実空間を示す実空間情報を受け取る認識部と、前記実空間情報から観察者の視点位置を判定する視点位置判定部と、前記実空間情報から実物体の位置及び形状を判定する実物体判定部と、前記視点位置と前記実物体の位置及び形状とに基づいて仮想物体の画像情報を設定する仮想物体表示設定部と、前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて案内表示の要否を判定し、前記案内表示が必要な場合に前記案内表示の画像情報を設定する案内表示制御部と、前記仮想物体の画像情報と前記案内表示の画像情報とを出力する描画部と、を有し、前記案内表示制御部は、前記視点位置から見たときに、前記仮想物体の全体又は一部が前記実物体によって隠れる場合に、前記案内表示が必要と判定することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明の他の態様に係る仮想物体表示システムは、実空間を示す実空間情報を取得する空間情報取得部と、前記実空間情報を受け取る認識部と、前記実空間情報から観察者の視点位置を判定する視点位置判定部と、前記実空間情報から実物体の位置及び形状を判定する実物体判定部と、前記視点位置と前記実物体の位置及び形状とに基づいて仮想物体の画像情報を設定する仮想物体表示設定部と、前記視点位置と前記実物体の位置及び形状と前記仮想物体の画像情報とに基づいて案内表示の要否を判定し、前記案内表示が必要な場合に前記案内表示の画像情報を設定する案内表示制御部と、前記仮想物体の画像情報と前記案内表示の画像情報とを出力する描画部と、前記仮想物体の画像情報と前記案内表示の画像情報とに基づいて画像を表示する表示装置と、を有し、前記案内表示制御部は、前記視点位置から見たときに、前記仮想物体の全体又は一部が前記実物体によって隠れる場合に、前記案内表示が必要と判定することを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
仮想物体３１２の画像３２２が隠れる場合、仮想物体表示制御装置１０は、ステップＳ８において、案内表示３２３の位置を設定し、ステップＳ９において、案内表示の画像情報を設定し、ステップＳ１０において、実空間の画像情報に基づく実物体の画像３２１と、仮想物体の画像３２２と、案内表示の画像３２３とを描画する。そして、仮想物体表示制御装置１０は、表示装置３０に実物体の画像３２１と仮想物体の画像３２２と案内表示の画像３２３を表示させる。案内表示３２３は、例えば、仮想物体の方向を示す矢印である。案内表示３２３は、例えば、「ここに仮想物体があります。」又は「ここに実物体の解説文があります。」などのようなメッセージが含まれてもよい。
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2019163128.tif 000012
【手続補正６】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2019163128.tif 000013
【手続補正７】
【補正対象書類名】図面
【補正対象項目名】図９
【補正方法】変更
【補正の内容】
【図９】
2019163128.tif 000014
【国際調査報告】
2019163128.tif 000015
2019163128.tif 000016
2019163128.tif 000017
2019163128.tif 000018