(57)【要約】  端末装置は、ユーザの顔の向く方向を撮影する撮影装置と、前記撮影装置が撮影したポインタの画像を仮想または現実の空間の画像に合成して表示装置に表示させる表示制御部と、第１時点において前記表示装置に表示される、前記空間におけるポインタが初期条件を充足したか否かを判定する第１判定部と、前記初期条件を充足したと判定した場合の前記ポインタの大きさに関する基準サイズ情報と、基準距離とを関連付けて記憶装置に記憶させる動作制御部と、前記初期条件を充足した後の第２時点における前記空間におけるポインタの大きさと、前記基準サイズ情報で示される大きさとを比較して、前記ポインタが、前記ユーザからみて前記基準サイズ情報に関連付けられた基準距離にある地点よりも手前の位置であるか否か、または、遠くの位置であるか否かを判定する第２判定部とを有する。
2020031493.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの顔の向く方向を撮影する撮影装置と、
前記撮影装置により撮影されたポインタの画像を仮想または現実の空間の画像に合成して表示装置に表示させる表示制御部と、
第１時点において前記表示装置に表示される、前記空間におけるポインタが初期条件を充足したか否かを判定する第１判定部と、
前記初期条件を充足したと判定した場合の前記ポインタの大きさに関する基準サイズ情報と、基準距離とを関連付けて記憶装置に記憶させる動作制御部と、
前記初期条件を充足した後の第２時点における前記空間におけるポインタの大きさと、前記基準サイズ情報で示される大きさとを比較して、前記ポインタが、前記ユーザからみて前記基準サイズ情報に関連付けられた基準距離にある地点よりも手前の位置であるか否か、または、遠くの位置であるか否かを判定する第２判定部と、
を有する端末装置。
【請求項２】
前記第１判定部による判定がなされる場合に、前記表示制御部は、前記空間において前記ユーザから前記基準距離にある地点に基準オブジェクトを表示させ、
前記第１判定部は、前記第１時点におけるポインタが前記基準オブジェクトに対して予め定められた位置の関係となったときに、前記初期条件を充足したと判定する
請求項１に記載の端末装置。
【請求項３】
前記表示制御部は、
前記空間において前記ポインタによる操作の対象となる操作対象オブジェクトを前記表示装置に表示させ、
前記第２判定部は、前記第２時点におけるポインタの一部または全部が前記操作対象オブジェクトと重なり、かつ、当該ポインタの大きさの、前記基準サイズ情報で示される大きさに対する差が所定の範囲内であるときに、当該ポインタが前記操作対象オブジェクトをタッチしたと判定する
請求項１または２に記載の端末装置。
【請求項４】
前記表示制御部は、
前記空間において前記ポインタによる操作の対象となる複数の操作対象オブジェクトを前記ユーザからみて左右方向に相異なる位置に表示させ、
前記第２判定部は、
前記第２時点におけるポインタの一部または全部が前記複数の操作対象オブジェクトのうち一の操作対象オブジェクトと重なり、かつ、当該ポインタの大きさと、前記基準サイズ情報で示される大きさとの差が第１の範囲内であるときに、当該ポインタが前記第１の操作対象オブジェクトをタッチしたと判定し、
前記第２時点におけるポインタの一部または全部が前記複数の操作対象オブジェクトのうち、前記一の操作対象オブジェクトよりも前記空間において前記ユーザから離れて配置された他の操作対象オブジェクトと重なり、かつ、当該ポインタの大きさと、前記基準サイズ情報で示される大きさとの差が、前記第１の範囲よりも広い第２の範囲内であるときに、当該ポインタが前記第２の操作対象オブジェクトをタッチしたと判定する
請求項１または２に記載の端末装置。
【請求項５】
前記第２判定部は、
前記第２時点におけるポインタが前記操作対象オブジェクトをタッチしたと判定した後、該ポインタが特定のアクションをしたときに、該特定のアクションに応じた命令がなされたと判定する
請求項３または４に記載の端末装置。
【請求項６】
処理装置と、ユーザからみて前方を撮影する撮影装置とを備える端末装置の制御方法であって、
前記処理装置は、
前記撮影装置が撮影したポインタの画像を仮想または現実の空間の画像に合成して表示装置に表示させ、
第１時点において前記表示装置に表示される、前記空間におけるポインタが初期条件を充足したか否かを判定し、
前記初期条件を充足したと判定した場合の前記ポインタの大きさに関する基準サイズ情報と基準距離とを関連付けて記憶装置に記憶させ、
前記初期条件を充足した後の第２時点における前記空間におけるポインタの大きさと、前記基準サイズ情報で示される大きさとを比較して、前記ポインタが、前記ユーザからみて前記基準サイズ情報に関連付けられた基準距離にある地点よりも手前の位置であるか否か、または、遠くの位置であるか否かを判定する
端末装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末装置および端末装置の制御方法に関する。
【背景技術】
【０００２】
近年、ヘッドマウントディスプレイを装着したユーザに、種々のオブジェクトが合成された仮想的または現実的な空間を提供する技術が知られている。このような空間はコンピュータ等によって三次元的な空間として提供されるが、三次元的な空間での入力を支援する技術としては、例えば次のような技術が提案されている。具体的には、ユーザが、モーションセンサーを有するグローブなどの専用デバイスを装着し、該専用デバイスがユーザによる手の動きを検出し、検出した手の動きが例えば仮想空間に配置されたオブジェクトへの接触であれば、該オブジェクトに対する入力操作として受け付ける技術が提案されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−３２３８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、簡易化を図るために、上記ヘッドマウントディプレイを、例えばスマートホンおよびゴーグルで構成する場合、グローブなどの専用デバイスをユーザが装着する構成は、ユーザに煩わしさを与えるだけでなく、上記簡易化を阻害する要因となる。
【課題を解決するための手段】
【０００５】
上述した目的の一つを解決するために、本発明の一態様に係る端末装置は、ユーザの顔の向く方向を撮影する撮影装置と、前記撮影装置が撮影したポインタの画像を仮想または現実の空間の画像に合成して表示装置に表示させる表示制御部と、第１時点において前記表示装置に表示される、前記空間におけるポインタが初期条件を充足したか否かを判定する第１判定部と、前記初期条件を充足したと判定した場合の前記ポインタの大きさに関する基準サイズ情報と、基準距離とを関連付けて記憶装置に記憶させる動作制御部と、前記初期条件を充足した後の第２時点における前記空間におけるポインタの大きさと、前記基準サイズ情報で示される大きさとを比較して、前記ポインタが、前記ユーザからみて前記基準サイズ情報に関連付けられた基準距離にある地点よりも手前の位置であるか否か、または、遠くの位置であるか否かを判定する第２判定部とを有する。【０００６】
上記一態様に係る端末装置によれば、仮想または現実の空間において表示されたポインタの大きさが初期条件を充足したポインタの大きさを基準として比較されて、該ポインタがユーザからみて基準距離よりも手前の位置か否か、または、遠い位置か否かが判定される。このため、端末装置として、撮影装置を有するスマートホンなどを適用できるので、仮想空間においてユーザからみたポインタの奥行きを用いて該仮想空間での入力を支援する場合に、センサーを含むグローブなどの専用デバイスを不要とできる。
【図面の簡単な説明】
【０００７】
【図１】実施形態に係る端末装置が適用されたヘッドマウントディスプレイを示す図である。
【図２】端末装置の構成を示すブロック図である。
【図３】端末装置で構築される機能の構成の一例を示すブロック図である。
【図４】端末装置の表示装置で提供される仮想空間の一例を示す図である。
【図５】仮想空間にポインタが表示された一例を示す図である。
【図６】ユーザによる操作の一例を示す図である。
【図７】端末装置の動作の一例を示すフローチャートである。
【図８】表示装置による画面の一例を示す図である。
【図９】初期条件の判定の一例を示す図である。
【図１０】表示装置による画面の一例を示す図である。
【図１１】表示装置による画面の一例を示す図である。
【図１２】表示装置による画面の一例を示す図である。
【図１３】ユーザによる操作の一例を示す図である。
【図１４】操作対象オブジェクトを表示させたとき判定の一例を示す図である。
【図１５】タッチ後における特定のアクションと指示内容との関係の一例を示す図である。
【図１６】仮想空間において操作対象オブジェクトを奥行き方向に連続して配置した一理を示す図である。
【発明を実施するための形態】
【０００８】
以下、本発明を実施するための形態について図面を参照して説明する。なお、以下に述べる実施の形態は、本発明の好適な具体例であるので、技術的に好ましい種々の限定が付されている。ただし、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られない。
【０００９】
＜実施形態＞
図１は、ヘッドマウントディスプレイ（以下、ＨＭＤと略称する）１の概略を説明するための図である。
この図に示されるようにＨＭＤ１は、実施形態に係る端末装置１０と、該端末装置１０が取り付けられたゴーグル２０とを含む。ゴーグル２０は、該端末装置１０がユーザ３の両眼手前となる位置に、ヘッドバンド２２によってユーザ３の頭部に装着される。
【００１０】
端末装置１０は、例えばスマートホンであり、ユーザ３に対向する面が表（おもて）面である。該表面には、図では隠れているが、表示装置が配置されている。ゴーグル２０において、端末装置１０の取り付け面には、特に図示しないが、左眼用画像だけをユーザ３の左眼に視認させる開孔部と、右眼用画像だけをユーザ３の右眼に視認させる開孔部とをそれぞれ有する。このため、端末装置１０の表示装置が、仮想空間を提供するために、左眼の開孔部に相当するエリアに左眼用画像を、右眼の開孔部に相当するエリアに右眼用画像を、それぞれ視差を与えて表示させた場合、ユーザ３は該画像で示される仮想空間を立体的に視認できる。
【００１１】
端末装置１０の裏面、すなわち図１でいえば、手前側の面には、撮影装置１１０が位置する。
なお、端末装置１０は、スマートホンに限られず、ゴーグルに取り付けられるＨＭＤ専用の表示装置であってもよい。また、ゴーグルを備える（すなわち、ゴーグルから着脱不能な）ＨＭＤ装置であってもよい。
【００１２】
図２は、端末装置１０におけるハードウェアの構成を示す図である。
この図に示されるように、端末装置１０は、処理装置１０２と記憶装置１０４とセンサー１０６と表示装置１０８と撮影装置１１０とを具備するコンピュータシステムにより実現される。
端末装置１０の各要素は、単体または複数のバスで相互に接続される。なお、本説明における「装置」という用語は、回路、デバイスまたはユニット等の他の用語に読替えても良い。また、端末装置１０の各要素は、単数または複数の機器で構成される。端末装置１０の一部の要素を省略しても良い。
【００１３】
処理装置１０２は、端末装置１０の全体を制御するプロセッサであり、例えば単数または複数のチップで構成される。処理装置１０２は、例えば、周辺装置とのインターフェイス、演算装置およびレジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成される。
なお、処理装置１０２の機能の一部または全部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで実現しても良い。処理装置１０２は、各種の処理を並列的または逐次的に実行する。
【００１４】
記憶装置１０４は、処理装置１０２が利用可能な記録媒体であり、処理装置１０２が実行する複数のプログラムと、処理装置１０２が使用する各種のデータと、を記憶する。ここで、処理装置１０２が実行する複数のプログラムには、ＯＳ（Operating System）や、ユーザ３に仮想空間を提供するアプリケーションプログラムなどが含まれ、また、各種のデータには、後述するように、初期条件を充足したと判定された場合のポインタの大きさに関する基準サイズ情報や、該情報に関連付けられる基準距離などがある。
なお、記憶装置１０４は、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、ＲＡＭ（Random Access Memory）等の記憶回路の１種類以上で構成される。
【００１５】
センサー１０６は、端末装置１０の姿勢や動きを検出するための、例えば３軸角度センサーである。
表示装置１０８は、処理装置１０２による制御のもとで各種の画像（静止画および動画を含む）を表示する。特に、本実施形態においては、上述した仮想空間を示す左眼用画像と右眼用画像とが表示装置１０８によって表示される。
なお、例えば液晶表示パネルまたは有機ＥＬ表示パネル等の各種の表示パネルが表示装置１０８として好適に利用される。
撮影装置１１０は、端末装置１０の裏面に配置されたリアカメラである。該端末装置１０が取り付けられたゴーグル２０をユーザ３が装着した場合、撮影装置１１０は、該ユーザ３の顔が向く方向を撮影する。
【００１６】
図３は、仮想空間を提供するプログラムを端末装置１０の処理装置１０２が実行することにより実現される機能構成を示すブロック図である。
この図に示されるように、端末装置１０では、動作制御部１５０、姿勢検出部１５２、表示制御部１５４、第１判定部１５６および第２判定部１５８が構築される。
【００１７】
姿勢検出部１５２は、センサー１０６から出力される検出結果を処理して、処理した結果を端末装置１０の姿勢情報を出力する。詳細には、姿勢検出部１５２は、センサー１０６の検出結果、すなわち、図１に示されるように水平方向のＸ軸、垂直方向のＹ軸および奥行き方向のＺ軸における各加速度の検出結果を処理して、端末装置１０の姿勢情報を周期的に、例えば０．０３秒毎に出力する。
【００１８】
表示制御部１５４は、表示装置１０８が表示する画面の生成および制御を実行する。詳細には、表示制御部１５４は、仮想空間を立体視させるための左眼用画像および右眼用画像をそれぞれ生成して、表示装置１０８の表示領域のうち、左眼の開孔部に相当するエリアに左眼用画像を、右眼の開孔部に相当するエリアに右眼用画像を、それぞれ表示させる。
なお、仮想空間とは、端末装置１０において生成された現実を模擬した空間である。仮想空間は、ユーザ３を中心に全方位に拡がった概念である。そして、全方位の空間のうち、端末装置１０の姿勢情報に基づいて検出されたユーザ３の顔が向く方向に対応する空間が部分的に切り出されて、表示装置１０８に表示される。
【００１９】
図４は、端末装置１０で提供される仮想空間を説明するための図である。この図において、符号Ｗは、端末装置１０が取り付けられたゴーグル２０を装着したユーザ３が、顔をある方向に向けている場合に、仮想空間の切り出し枠となる視野枠である。
なお、この図は、仮想空間として自然風景が提供された例である。仮想空間は左眼用画像および右眼用画像による立体視でユーザ３に提供されるので、視野枠Ｗは、表示装置１０８で表示される画面そのものを示しているわけではない。
【００２０】
ユーザ３が顔をある方向に向け、図４において実線の視野枠Ｗによって図に示されるような自然風景の仮想空間が提供されている場合に、ユーザ３が頭部を回転させて、顔を左側（Ｘ軸方向）に向けると、該回転に対応した姿勢情報が姿勢検出部１５２から出力される。
【００２１】
該姿勢情報を取得した表示制御部１５４は、視野枠Ｗを図４の破線で示されるように移動させて、ユーザ３に提供する仮想空間を左側に移動させる。このように顔の向く方向に応じて仮想空間が移動するので、ユーザ３は、あたかも自然風景が存在する空間にいるかのような感覚を、視覚を通じて得ることができる。
【００２２】
表示制御部１５４は、仮想空間の画像を表示装置１０８に表示させている場合に、撮影装置１１０によって予め定められた形状の操作体を含む現実空間が撮影されたとき、該操作体の画像を画像処理によって現実空間の背景画像から切り出し、該切り出した操作体の画像を仮想空間の画像に合成して表示させる。ここで、予め定められた形状の操作体とは、例えばユーザ３の指先から手首までの手先（hand）である。予め定められた形状の操作体としては、手先に限られず、撮影装置１１０に撮影され得るものであって、ユーザ３の意思によって移動可能なものであればよい。操作体としては、例えばユーザ３によって操作されるペン先等などであってもよい。なお、動作制御部１５０が、姿勢検出部１５２、表示制御部１５４、第１判定部１５６および第２判定部１５８の各部を制御してもよい。
【００２３】
図５は、端末装置１０で提供される仮想空間に表示されたユーザ３の右手先（right hand）の画像を示す一例であり、図６は、上記表示の際にユーザ３が行った動作を示す図である。
【００２４】
図６に示されるように、端末装置１０が取り付けられたゴーグル２０を装着したユーザ３が、撮影装置１１０の撮影エリアにて、自身の右手人差し指で何かを指し示すかのような仕草をした場合、図５に示されるように、撮影エリアの背景画像から切り出された右手先の画像が仮想空間の画像に合成されて、当該仮想空間に表示される。
【００２５】
表示される右手先は、本件では、後述するように仮想空間においてはユーザ３の操作によるポインタＰである。なお、図５では、ポインタＰとして右手先が示されているが、前腕（forearm）および上腕（upper arm）を含んでもよい。
ポインタＰは、仮想空間において表示される場合に、画像処理によって、背景から切り出した画像としてもよいし、切り出した画像の輪郭内側を塗り潰した画像としてもよい。
【００２６】
第１判定部１５６は、任意の時点（第１の時点）においてポインタＰが仮想空間に表示される場合に、該ポインタＰが後述する初期条件を充足したか否かを判定し、充足したと判定した場合に、該表示されたポインタＰの大きさに関する基準サイズ情報と基準距離とを関連付けて記憶装置１０４に記憶させる。
第２判定部１５８は、初期条件の充足後の第２の時点に、仮想空間において表示されたポインタの大きさを、初期条件充足時の大きさと比較して、該ポインタＰがユーザ３からみて基準距離にある地点よりも手前の位置にあるか否か、または、遠くの位置にあるか否か等を判定する。
【００２７】
図７は、ポインタＰが仮想空間内に表示された場合の動作を示すフローチャートである。
なお、この動作は、ユーザ３が手先等を撮影装置１１０の撮影エリア内に入れて、ポインタＰが仮想空間に表示されたことを契機として実行される。換言すれば、この動作は、ユーザ３が手先等を撮影装置１１０の撮影エリア内に入らず、ポインタＰが仮想空間に表示されていなければ実行されない。
【００２８】
まず、ポインタＰが表示された場合において、動作制御部１５０は、ポインタＰの大きさに関する基準サイズ情報と基準距離とが互いに関連付けられて記憶装置１０４に記憶されているか否かを判定する（ステップＳ１０）。ポインタＰの大きさに関する基準サイズ情報と基準距離とが関連付けられて記憶装置１０４に記憶されていれば（ステップＳ１０の判定結果が「Ｙｅｓ」であれば）、動作制御部１５０が次のステップＳ１１〜Ｓ１３における初期条件の判定処理を実行する必要がないので、処理手順はステップＳ２０にスキップする。
【００２９】
一方、ポインタＰの大きさに関する基準サイズ情報と基準距離とが関連付けられて記憶装置１０４に記憶されていなければ（ステップＳ１０の判定結果が「Ｎｏ」であれば）、表示制御部１５４は、表示装置１０８を制御し、仮想空間に基準オブジェクトを表示させる（ステップＳ１１）。
ここで、基準オブジェクトとは、後の処理においてポインタＰの奥行き（depth）方向の位置を相対的に判断する際に基準となるポインタＰの大きさを取得するために表示されるアイコンや、ソフトウェアボタン、または表示メッセージなどをいう。
【００３０】
図８は、仮想空間に基準オブジェクトが表示された例を示す図である。この図に示されるように、基準オブジェクトＲは、ユーザ３に提供される仮想空間の視野枠Ｗの内のほぼ中心に、メッセージを含む四角枠として表示される。
なお、表示制御部１５４は、基準オブジェクトＲがユーザ３から基準距離の地点に基準オブジェクトＲを表示させる。なお、基準距離とは、後の相対的な判断において基準となる値であり、値そのものに特別な意味がある訳ではない。
【００３１】
第１判定部１５６は、基準オブジェクトＲとポインタＰとが初期条件を充足したか否かを判定する（ステップＳ１２）。ここで、第１判定部１５６は、例えば、ポインタＰが、基準オブジェクトＲを指し示したと同視できるような状態になった場合、初期条件を充足したと判定する。具体的には、本実施形態では、例えば図９に示すような状態、すなわち、ポインタＰにおける人差し指の先端Ｓが、基準オブジェクトＲにおける四角枠内に位置した場合に、第１判定部１５６は初期条件を充足したと判定する。
すなわち、ユーザ３が、自身から基準距離にある地点に表示された基準オブジェクトＲを、自身の指で、奥行き方向において基準距離とは関係なく操作しやすい位置にて指し示した場合に初期条件が充足される。なお、初期条件には、この状態が一定時間（例えば２秒間）継続したことをさらに加重してもよい。
【００３２】
初期条件が充足されていないと判定されれば（ステップＳ１２の判定結果が「Ｎｏ」であれば）、再び第１判定部１５６は、ステップＳ１２の判定を実行する。ポインタＰが仮想空間内に表示された場合において、ポインタＰの大きさに関する基準サイズ情報と基準距離とが関連付けられて記憶装置１０４に記憶されていなければ、第１判定部１５６は、初期条件が充足されたと判定されるまで、ステップＳ１２を繰り返す。
【００３３】
初期条件が充足されたと判定されれば（ステップＳ１２の判定結果が「Ｙｅｓ」であれば）、動作制御部１５０は、初期条件を充足したときのポインタＰの大きさに関する基準サイズ情報、例えば、仮想空間内に表示されるポインタＰの面積（ポインタＰを構成する画素数）を表示制御部１５４から取得し、該情報を基準距離と関連付けて記憶装置１０４に記憶させる（ステップＳ１３）。
なお、初期条件を充足したときのポインタＰの大きさに関する基準サイズ情報としては、面積以外でもよく、例えばＸ方向のサイズ、Ｙ方向のサイズなどでもよい。
【００３４】
次に、動作制御部１５０は、仮想空間において操作対象オブジェクトが表示されているか否かを判定する（ステップＳ２０）。
ここで、操作対象オブジェクトとは、仮想空間においてポインタＰによって操作の対象となるアイコン、または、ソフトウェアボタンなどをいう。なお、操作対象オブジェクトは、ユーザ３からみて基準距離の地点に表示される。
【００３５】
図１０、図１１および図１２の各々は、仮想空間に操作対象オブジェクトが表示された例を示す図である。これらの図に示されるように、仮想空間には、操作対象オブジェクトＯｂ１およびＯｂ２が表示されている。なお、操作対象オブジェクトＯｂ１は、ユーザ３に、任意の質問に対して返答させるにあたって、質問に対する肯定的な回答を選択させるためのソフトウェアボタンであり、操作対象オブジェクトＯｂ２は、質問に対する否定的な回答を選択させるためのソフトウェアボタンである。
【００３６】
仮想空間に操作対象オブジェクトが表示されていないと判定されれば（ステップＳ２０の判定結果が「Ｎｏ」であれば）、動作制御部１５０は、処理の手順を再びステップＳ２０に戻す。すなわち、動作制御部１５０は、初期条件充足後において仮想空間になんらかの操作対象オブジェクトが表示されるまで、ステップＳ２０を繰り返す（すなわち、待機状態となる）。
【００３７】
一方、仮想空間に操作対象オブジェクトが表示されていると判定されれば（ステップＳ２０の判定結果が「Ｙｅｓ」であれば）、動作制御部１５０は、記憶装置１０４に記憶されたポインタＰの大きさに関する基準サイズ情報と基準距離とを読み出し、第２判定部１５８に供給する。
第２判定部１５８は、現時点において仮想空間に表示されたポインタＰの、ＸＹ平面（二次元座標）上の位置と奥行きのＺ軸方向の座標上の位置とに基づき、操作対象オブジェクトをタッチしたかのような操作がなされたか否かを判定する（ステップＳ２１）。
【００３８】
まず、仮想空間に表示されたポインタＰについてＸＹ平面上の位置については、次のように第２判定部１５８は判定する。すなわち、第２判定部１５８は、ポインタＰにおける人差し指が操作対象オブジェクトにおける四角枠内に位置した場合に、ポインタＰがＸＹ平面において操作対象オブジェクトの枠内にある、と判定する。
ここで、本実施形態では、操作対象オブジェクトは立体視で提供される仮想空間に表示されるので、ポインタＰがＸＹ平面において操作対象オブジェクトの枠内にある、と判定されても、奥行きのＺ軸方向では一致していない場合もあり得る。そこで、仮想空間に表示されたポインタＰのＺ軸方向の奥行きの位置を、第２判定部１５８は、次のようにして判定する。
【００３９】
すなわち、第２判定部１５８は、現時点において仮想空間に表示されたポインタＰの大きさと記憶装置１０４から読み出した基準サイズ情報が示すポインタＰの大きさとを比較して、大きさの差が所定の範囲内にあるか否かを判定する。具体的には、第２判定部１５８は、仮想空間に表示されたポインタＰの大きさと、基準サイズ情報が示すポインタＰの大きさとを比較し、前者の後者に対する差が所定の範囲内にあれば、仮想空間に表示されたポインタＰがユーザ３からみてＺ軸方向において基準距離にある地点から一定の範囲内にあると判定する。
また、第２判定部１５８は、大きさの差が所定の範囲の上限値よりも大きければ、仮想空間に表示されたポインタＰがユーザ３からみて基準距離にある地点から一定の範囲よりも手前の地点にあると判定し、大きさの差が所定の範囲の下限値よりも小さければ、仮想空間に表示されたポインタＰがユーザ３からみて基準距離にある地点から一定の範囲よりも遠くの地点にあると判定する。
【００４０】
したがって、第２判定部１５８は、ポインタＰがＸＹ平面において操作対象オブジェクトの枠内にあり、かつ、仮想空間に表示されたポインタＰがユーザ３からみて基準距離にある地点の一定の範囲内にあれば、ポインタＰが操作対象オブジェクトをタッチしていると判定する。なお、動作制御部１５０は、ポインタＰが操作対象オブジェクトをタッチしていると第２判定部１５８によって判定されたとき、その旨をユーザ３に知らせるために、該操作対象オブジェクトの色を反転させたり、色を替えたり、ＨＭＤ１を振動させたりしてもよい。
【００４１】
例えば、図１０において操作対象オブジェクトＯｂ２をタッチするために、図１３に示されるように、ゴーグル２０を装着したユーザ３が、撮影装置１１０の撮影エリアにて、自身の右手人差し指をａの地点で指し示す場合について説明する。この場合、ユーザ３（厳密にいえば撮影装置１１０）から、自身の右手先までの距離は、初期条件の充足時での右手先までの距離とほぼ同じであるから、仮想空間に表示されるポインタＰの大きさの、基準サイズ情報が示すポインタＰの大きさに対する差が所定の範囲内となる。したがって、この場合、第２判定部１５８は、ポインタＰが操作対象オブジェクトＯｂ２をタッチしたと判定する。
【００４２】
また、例えば、図１３に示されるように、ゴーグル２０を装着したユーザ３が、撮影装置１１０の撮影エリアにて、自身の右手人差し指をｂの地点で指し示す場合について説明する。この場合、図１１に示されるように、ユーザ３から、自身の右手先までの距離は、初期条件の充足時での右手先までの距離よりも近いので、仮想空間に表示されるポインタＰの大きさをＳbとし、基準サイズ情報が示すポインタＰの大きさをＳmとしたとき、ＳbのＳmに対する差（Ｓb−Ｓm）は、所定の範囲外となるほどに大きい（Ｓb＞Ｓm）。したがって、この場合、第２判定部１５８は、仮に、ポインタＰがＸＹ平面において操作対象オブジェクトＯｂ２の枠内にあったとしても、仮想空間に表示されたポインタＰがユーザ３からみて基準距離にある地点よりも手前の地点にあるので、ポインタＰが操作対象オブジェクトＯｂ２をタッチしたとは判定しない。
【００４３】
また、例えば、図１３に示されるように、ゴーグル２０を装着したユーザ３が、撮影装置１１０の撮影エリアにて、自身の右手人差し指をｃの地点で指し示す場合、図１２に示されるように、ユーザ３から、自身の右手先までの距離は、初期条件の充足時での右手先までの距離よりも遠いので、仮想空間に表示されるポインタＰの大きさをＳcとしたとき、Ｓcの、基準サイズ情報が示すポインタＰの大きさＳmに対する差（Ｓc−Ｓm）は、所定の範囲外となるほどに小さい（Ｓc＜Ｓm）。したがって、この場合、第２判定部１５８は、仮に、ポインタＰがＸＹ平面において操作対象オブジェクトの枠内にあったとしても、仮想空間に表示されたポインタＰがユーザ３からみて基準距離がある地点よりも遠くの地点にあるので、ポインタＰが操作対象オブジェクトをタッチしたとは判定しない。
なお、仮想空間に表示されるポインタＰがユーザ３からみて基準距離よりも遠くの地点にある場合、図１２に示されるように、ポインタＰを、基準距離にある操作対象オブジェクトの背面側に隠れた状態で表示してもよい。
【００４４】
また、本実施形態の例では操作対象オブジェクトがユーザ３から基準距離だけ離れた地点にあるかのように操作対象オブジェクトを表示させた。しかし、必ずしも基準距離の地点に表示させなくてもよい。例えば操作対象オブジェクトを基準距離の地点よりも手前の地点に表示させる場合には、当該操作対象オブジェクトの奥行き方向の判定については、基準距離に関連付けられたポインタＰの大きさを加工して、より大きくして判定に用いてもよいし、基準距離の地点よりも遠くの地点に表示させた操作対象オブジェクトの奥行き方向の判定については、基準距離に関連付けられたポインタＰの大きさを加工し、より小さくして判定に用いてもよい。
【００４５】
操作対象オブジェクトが表示されている場合に、該操作対象オブジェクトをポインタＰがタッチしていないと判定された場合（ステップＳ２１の判定結果が「Ｎｏ」である場合）、動作制御部１５０は、処理の手順を再びステップＳ２１に戻す。すなわち、動作制御部１５０は、ポインタＰが操作対象オブジェクトをタッチしたと判定されるまで、ステップＳ２１を繰り返す。
【００４６】
一方、操作対象オブジェクトをポインタＰがタッチしたと判定された場合（ステップＳ２１の判定結果が「Ｙｅｓ」である場合）、第２判定部１５８は、ポインタＰによって特定のアクションがなされたか否かを判定する（ステップＳ２２）。特定のアクションとは、操作対象オブジェクトが例えばソフトウェアボタンであれば、該操作対象オブジェクトのタッチを一定時間（例えば１秒間）継続することなどである。
【００４７】
特定のアクションがなされなかった場合（ステップＳ２２の判定結果が「Ｎｏ」の場合）、動作制御部１５０は、タッチが解除されたとみなして、処理の手順を再びステップＳ２１に戻す。
【００４８】
一方、特定のアクションがなされたと判定された場合（ステップＳ２２の判定結果が「Ｙｅｓ」である場合）、動作制御部１５０は、該アクションに対応した命令がなされたとＯＳやアプリケーションプログラムに報告する（ステップＳ２３）。この処理により、図１０に示されるような操作対象オブジェクトＯｂ２へのタッチが、一定時間継続した場合、該操作対象オブジェクトＯｂ２に対応した命令が実行される。
【００４９】
動作制御部１５０は、ステップＳ２３の処理後、処理の手順を再びステップＳ１０に戻す。なお、図７に示したフローチャートは、上述したように仮想空間にポインタＰが表示されたことを契機として実行されるので、手先が撮影装置１１０の撮影エリアから外れて、ポインタＰが仮想空間から消失した場合には、該フローチャートの動作は終了する。
【００５０】
本実施形態に係る端末装置１０によれば、ユーザ３からみて、仮想空間に表示されたポインタＰの奥行き方向を、初期条件充足時に記憶したポインタＰの大きさと比較して判定するので、グローブなどの専用デバイスをユーザ３が装着する必要がない。このため、ユーザに煩わしさを与えることなく、簡易化な構成で、ポインタＰの奥行き方向を判定できる。
【００５１】
また、仮想空間に表示された操作対象オブジェクトについては、初期条件の充足時にユーザ３が操作しやすい地点に置いた手先の位置を基準にして奥行き方向が判定される。このため、ユーザ３からすれば、無理のない手先の操作範囲で操作対象オブジェクトを指定することが可能となる。
【００５２】
＜応用／変形の各種態様＞
図１４は、３個の操作対象オブジェクトＯｂＬ、ＯｂＣ、及びＯｂＲをＸ軸方向に沿って表示させた場合の図である。なお、操作対象オブジェクトＯｂＣは、ユーザ３からみて正面の方向Ｌ１（Ｚ軸方向）に表示され、該操作対象オブジェクトＯｂＣの左側に操作対象オブジェクトＯｂＬが、右側に操作対象オブジェクトＯｂＲが、それぞれ表示された場合の例である。すなわち、操作対象オブジェクトＯｂＬおよびＯｂＲは、空間において、ユーザ３からみて操作対象オブジェクトＯｂＣよりも離れて配置されている。
一方、ユーザ３は、自身の手先を移動するに際して、自身の肘または肩を中心に弧を描く。このため、正面方向に表示された操作対象オブジェクＯｂＣのタッチを判定するためのＺ軸方向における一定の範囲（ユーザ３からみて破線Ｍから破線Ｎ１までの範囲）をそのまま適用した場合、操作対象オブジェクトＯｂＬまたはＯｂＲについてタッチしたと判定される範囲までのユーザ３からの距離が、操作対象オブジェクトＯｂＣについての範囲までの距離と異なるので、ユーザ３からすれば操作しづらい感じを与えてしまう可能性がある。
【００５３】
そこで、第２判定部１５８は、ユーザの正面の方向Ｌ１に対して左側の方向Ｌ２または右側の方向Ｌ３に操作対象オブジェクトＯｂＬまたはＯｂＲを表示させた場合、破線Ｎ１を破線Ｎ２に変更することにより、これらの操作対象オブジェクトがタッチされたと第２判定部１５８が判定する範囲を、ユーザの正面方向に表示させた操作対象オブジェクトＯｂＣについての第１の範囲よりも広い第２の範囲としてもよい。
【００５４】
具体的には、正面方向に表示された操作対象オブジェクトＯｂＣがタッチされたと第２判定部１５８が判定する第１の範囲（ポインタＰの大きさと、基準サイズ情報で示される大きさと、の差の範囲）として、ポインタＰが破線Ｍ上に位置する際のポインタＰの大きさ（Ｓm）と基準サイズ情報で示される大きさ（Ｓs）との差（Ｓm−Ｓs）から、破線Ｎ１上に位置する際のポインタＰの大きさ（Ｓn1）と基準サイズ情報で示される大きさ（Ｓs）との差（Ｓn1−Ｓs）まで、の範囲（すなわち、Ｓm−ＳsからＳn1−Ｓsまでの範囲）を適用する（Ｓn1＞Ｓm＞Ｓs）。これに対し、第２の範囲は、破線Ｍにおける差（Ｓm−Ｓs）から破線Ｎ１における差（Ｓn1−Ｓs）までの範囲（第１の範囲）よりも大きい範囲に拡大される。具体的には、第２の範囲は、破線Ｍにおける差（Ｓm−Ｓs）から、破線Ｎ１よりも広い境界を示す破線Ｎ２における差（Ｓn2−Ｓs）まで、の範囲（すなわち、Ｓm−ＳsからＳn2−Ｓsまでの範囲）である（Ｓn2＞Ｓm＞Ｓs）。このように操作対象オブジェクトにタッチしたか否かの判定条件を充足する範囲を拡大することにより、ユーザ３の操作性が向上する。
【００５５】
なお、右側の方向Ｌ３（または左側の方向Ｌ２）に表示された操作対象オブジェクトＯｂＲ（またはＯｂＬ）をタッチしたと判定するための範囲が、ユーザ３からみて正面の方向Ｌ１からの角度θが大きくなる（操作対象オブジェクトＯｂＲ（またはＯｂＬ）がユーザ３から離れる）ほどに拡大されることが好ましい。
【００５６】
上述した実施形態では、操作対象オブジェクトをタッチした状態が一定時間として１秒間継続したときに、該操作選択オブジェクトを選択したとみなして、該操作対象オブジェクトに対応した命令を実行する構成としたが、タッチ後におけるアクションについては、１秒間タッチが継続する状態以外であってもよい。
【００５７】
図１５は、タッチ後のアクションの例を示す図であり、実施形態の代替例である。例えば、タッチした状態が１秒以上３秒未満であれば、タップと判定してもよいし、タッチした状態が３秒以上であれば、ロングタップと判定してもよい。また、タッチ後に、人差し指先端Ｓがいずれかの方向に移動した場合、該移動方向にスワイプしたとみなして、該スワイプに応じた命令を実行してもよい。
【００５８】
操作対象オブジェクトについては、ユーザ３からみて奥行き方向にわたって複数個、連続させて表示させてもよい。例えば、図１６に示されるように、奥行き方向のＺ軸方向にわたって、ユーザ３からみて手前側から順に操作対象オブジェクトＯｂ１、Ｏｂ２およびＯｂ３を連続させて表示させてもよい。
【００５９】
操作対象オブジェクトを奥行き方向に連続して表示させる場合、これらの操作対象オブジェクトを、ポインタＰがタッチしたかのような操作をしたか否かの判定については、上述したように、基準距離に関連付けられた基準サイズ情報が示すポインタＰの大きさを、基準距離から操作対象オブジェクトのＺ軸方向の距離までの変化分に応じて加工して用いればよい。
【００６０】
また、例えば動画において時間的に連続するフレームのサムネイル画像を、操作対象オブジェクトとして、ユーザ３からみて奥行き方向にわたって複数個、連続させて表示させ、ポインタＰによってタッチされた操作対象オブジェクト（サムネイル画像）を別枠で表示してもよい。
このようすると、例えばユーザ３が、操作対象オブジェクトをタッチしつつ、ポインタＰをＺ軸方向に移動させた場合に、別枠で表示される画像が、ポインタＰの移動速度に応じて、コマ送りで表示されることになる。
【００６１】
また、実施形態では、ユーザ３に仮想的な空間を提供するＨＭＤ１を例にとって説明したが、例えば撮影装置１１０によって撮影された現実の空間の画像に操作オブジェクトの画像を合成し、現実の空間に操作オブジェクトを表示する場合にも適用できる。
【００６２】
＜その他＞
例示したフローチャートにおいて、各ステップの順序を変更しても良い。すなわち、本発明の好適な態様における各処理の順序は、特定の順序に限定されない。
【００６３】
図３に例示された各機能は、ハードウェアおよびソフトウェアの任意の組合せによって実現される。また、各機能は、単体の装置によって実現されても良いし、相互に別体で構成された２個以上の装置によって実現されても良い。
【００６４】
プログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはハードウェア記述言語と呼ばれるか、他の名称によって呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順または機能等を意味するよう広く解釈されるべきである。
【００６５】
また、ソフトウェア、命令などは、伝送媒体を介して送受信されても良い。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペアおよびデジタル加入者回線（ＤＳＬ）などの有線技術および／または赤外線、無線およびマイクロ波などの無線技術を使用してウェブサイト、サーバ、または他のリモートソースから送信される場合、これらの有線技術および／または無線技術は、伝送媒体の定義内に含まれる。
【００６６】
本明細書で説明した実施形態／各態様は、ＬＴＥ（Long Term Evolution）、ＬＴＥ−Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ−ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ−Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステムおよび／またはこれらに基づいて拡張された次世代システムに適用されても良い。
【００６７】
入出力された情報等は特定の場所(例えば、メモリ)に保存されても良いし、管理テーブルで管理しても良い。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されても良い。入力された情報等は他の装置へ送信されても良い。
【００６８】
判定は、１ビットで表される値（０か１か）によって行われても良いし、真偽値（Boolean：trueまたはfalse）によって行われても良いし、数値の比較（例えば、所定の値との比較）によって行われても良い。
【００６９】
本明細書で説明した各態様／実施形態は単独で用いても良いし、組み合わせて用いても良いし、実行に伴って切り替えて用いても良い。
【００７０】
本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されても良い。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、またはこれらの任意の組み合わせによって表されても良い。
【００７１】
本明細書で説明した情報などは、絶対値で表されても良いし、所定の値からの相対値で表されても良いし、対応する別の情報で表されても良い。
【００７２】
端末装置１０としては、上述したようにスマートホンのような移動局が好適である。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、またはいくつかの他の適切な用語で呼ばれる場合もある。
【００７３】
「接続された(connected)」という用語、または、このあらゆる変形は、２またはそれ以上の要素間の直接的または間接的なあらゆる接続または結合を意味し、互いに「接続」された２つの要素間に１またはそれ以上の中間要素が存在することを含むことができる。要素間の結合または接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであっても良い。本明細書で使用する場合、２つの要素は、１またはそれ以上の電線、ケーブルおよび／またはプリント電気接続を使用することにより、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域および光（可視および不可視の両方）領域の波長を有する電磁エネルギーなどの電磁エネルギーを使用することにより、互いに「接続」されると考えることができる。
【００７４】
前述の実施形態では、記憶装置１０４としてＲＯＭおよびＲＡＭ等の記録回路を例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ−ＲＯＭ（Compact  Disc−ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介して送信されても良い。
【００７５】
本説明において、例えば、英語におけるa、anおよびtheのように、翻訳によって冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数を含む。
【００７６】
本発明が本明細書中に説明した実施形態に限定されないことは当業者にとって明白である。本発明は、特許請求の範囲の記載に基づいて定まる本発明の趣旨および範囲を逸脱することなく修正および変更態様として実施することができる。したがって、本明細書の記載は、例示的な説明を目的とし、本発明に対して何ら制限的な意味を有さない。また、本明細書に例示した態様から選択された複数の態様を組み合わせても良い。
【符号の説明】
【００７７】
１…ＨＭＤ、１０…端末装置、２０…ゴーグル、１０２…処理装置、１５０…動作制御部、１５２…姿勢検出部、１５４…動作制御部、１５６…第１判定部、１５８…第２判定部、Ｐ…ポインタ、Ｒ…基準オブジェクト、Ｏｂ１、Ｏｂ２、Ｏｂ１１〜Ｏｂ１３…操作対象オブジェクト。
【図１】
2020031493.tif 000003
【図２】
2020031493.tif 000004
【図３】
2020031493.tif 000005
【図４】
2020031493.tif 000006
【図５】
2020031493.tif 000007
【図６】
2020031493.tif 000008
【図７】
2020031493.tif 000009
【図８】
2020031493.tif 000010
【図９】
2020031493.tif 000011
【図１０】
2020031493.tif 000012
【図１１】
2020031493.tif 000013
【図１２】
2020031493.tif 000014
【図１３】
2020031493.tif 000015
【図１４】
2020031493.tif 000016
【図１５】
2020031493.tif 000017
【図１６】
2020031493.tif 000018
【手続補正書】
【提出日】令和3年4月23日(2021.4.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項４
【補正方法】変更
【補正の内容】
【請求項４】
前記表示制御部は、
前記空間において前記ポインタによる操作の対象となる複数の操作対象オブジェクトを前記ユーザからみて左右方向に相異なる位置に表示させ、
前記第２判定部は、
前記第２時点におけるポインタの一部または全部が前記複数の操作対象オブジェクトのうち第１の操作対象オブジェクトと重なり、かつ、当該ポインタの大きさと、前記基準サイズ情報で示される大きさとの差が第１の範囲内であるときに、当該ポインタが前記第１の操作対象オブジェクトをタッチしたと判定し、
前記第２時点におけるポインタの一部または全部が前記複数の操作対象オブジェクトのうち、前記第１の操作対象オブジェクトよりも前記空間において前記ユーザから離れて配置された第２の操作対象オブジェクトと重なり、かつ、当該ポインタの大きさと、前記基準サイズ情報で示される大きさとの差が、前記第１の範囲よりも広い第２の範囲内であるときに、当該ポインタが前記第２の操作対象オブジェクトをタッチしたと判定する
請求項１または２に記載の端末装置。
【国際調査報告】
2020031493.tif 000019
2020031493.tif 000020