(57)【要約】【課題】  ＧＵＩの操作性を向上させる。【解決手段】  カメラ１３が撮像した撮像画像を取得し、実景の中から観察者が手で持てると推定される物体３１５を識別し、識別された物体３１５の表面に重なって視認されるようにＧＵＩ画像１１０をＨＭＤ装置１１に表示し、観察者によるＧＵＩ画像１１０に対する操作に基づく操作情報を電子機器に送信し、操作に基づく動作を実行させる。 【選択図】  図３
2020166535.tif 000002
【特許請求の範囲】
【請求項１】
ＧＵＩ画像（１１０）に対する観察者による操作に応じて、電子機器（３０）に動作を実行させるＧＵＩ装置（１３）において、
実景に存在する物体にＧＵＩ画像（１１０）を重ねて表示するＨＭＤ装置（１１）と、
１つ又はそれ以上のプロセッサ（１２）と、
実景を撮像するカメラ（１３）と、
前記１つ又はそれ以上のプロセッサ（１２）によって実行されるように構成される１つ又はそれ以上のコンピュータ・プログラムを記憶したメモリ（１４）と、
１つ又はそれ以上の通信部（１５）と、を備え、
前記１つ又はそれ以上のプロセッサ（１２）は、
前記カメラ（１３）が撮像した撮像画像を取得し、前記実景の中から前記観察者が手で持てると推定される物体（３１５）を識別し、
識別された前記物体（３１５）の表面に重なって視認されるように前記ＧＵＩ画像（１１０）を前記ＨＭＤ装置（１１）に表示する、命令を実行する、
ＧＵＩ装置。
【請求項２】
前記１つ又はそれ以上のプロセッサ（１２）は、
前記撮像画像における物体の大きさを算出し、前記物体の大きさから、前記観察者が手で持てると推定される前記物体（３１５）を識別する、
請求項１に記載のＧＵＩ装置。
【請求項３】
前記１つ又はそれ以上のプロセッサ（１２）は、
前記撮像画像における物体の種類を識別し、前記物体の種類から、前記観察者が手で持てると推定される前記物体（３１５）を識別する、
請求項１に記載のＧＵＩ装置。
【請求項４】
前記１つ又はそれ以上のプロセッサ（１２）は、
前記撮像画像における物体の表面形状が、平面、又は所定の条件を満たす曲面であるかを判定し、前記物体の平面、又は前記所定の条件を満たす前記曲面に重なって視認されるように前記ＧＵＩ画像（１１０）を前記ＨＭＤ装置（１１）に表示する、
請求項１に記載のＧＵＩ装置。
【請求項５】
前記１つ又はそれ以上のプロセッサ（１２）は、
他のＧＵＩ装置と通信可能であり、
前記他のＧＵＩ装置との通信により、前記他のＧＵＩ装置で既に前記ＧＵＩ画像を関連付けた物体があると判定される場合、
前記他のＧＵＩ装置で既に前記ＧＵＩ画像を関連付けた物体に、前記ＧＵＩ画像を関連づけて表示しないようにする、
請求項１に記載のＧＵＩ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＧＵＩ画像を実景における物体に対して表示するＧＵＩ装置に関する。
【背景技術】
【０００２】
風景と重ねて虚像を視認させる拡張現実画像表示装置が知られている。拡張現実画像表示装置は、例えば、頭部に装着するヘッドマウントディスプレイ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ：ＨＭＤ）装置を表示器として用い、表示器からの表示光を投射光学系や導光体などを用いてユーザーに向けて投射し、表示光が示す表示画像の虚像を視認させるものである。ユーザーは、ＨＭＤ装置によって表示された虚像を前方の実風景に重ねて視認することができる。また、ＨＭＤ装置は、拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ；ＡＲ）と称される技術を適用することができる。すなわち、実風景に存在する実オブジェクトの位置に対応付けた拡張現実画像を表示することで、実風景にあたかも拡張現実画像が存在するような感覚をユーザーに与えることができる。
【０００３】
特許文献１には、電子機器の動作を実行するためのＧＵＩ画像を表示し、ユーザーがそれを操作することで、電子機器の動作を実行させる拡張現実画像表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−００４４５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の拡張現実画像表示装置は、ＧＵＩ画像を空中に仮想的に表示し、そのＧＵＩ画像が表示されている空中に手をかざして操作をすることで、操作されたＧＵＩ画像に応じた動作を電子機器に実行させるものである。ＧＵＩ画像は、実物ではないため、ユーザーがＧＵＩ画像を操作した認識でいても、触感などはない、すなわち、操作に身体的知覚が伴わない。したがって、ユーザーがＧＵＩ画像を操作しているという感覚（操作感）を感じにくく、延いては、操作しにくいと感じてしまうおそれがあり、この点で改善の余地があった。
【課題を解決するための手段】
【０００６】
本明細書に開示される特定の実施形態の要約を以下に示す。これらの態様が、これらの特定の実施形態の概要を読者に提供するためだけに提示され、この開示の範囲を限定するものではないことを理解されたい。実際に、本開示は、以下に記載されない種々の態様を包含し得る。
【０００７】
本開示の概要は、ＧＵＩの操作性を向上させることに関する。より具体的には、操作感を感じやすいＧＵＩ装置を提供することに関する。
【０００８】
したがって、本明細書に記載されるＧＵＩ装置は、カメラ（１３）が撮像した撮像画像を取得し、前記実景の中から前記観察者が手で持てると推定される物体（３１５）を識別し、識別された前記物体（３１５）の表面に重なって視認されるように前記ＧＵＩ画像（１１０）を前記ＨＭＤ装置（１１）に表示する。これによれば、手で持てる物体にＧＵＩ画像が表示されるため、ＧＵＩ画像が表面に表示された物体である仮想的なリモコンのように手に持ちながら操作することができ、操作感を感じやすくすることができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態のＧＵＩ装置に用いるヘッドマウントディスプレイ装置における一般的な表示例を示す図である。
【図２】いくつかの実施形態に係る、ＧＵＩ装置の構成を示すブロック図である。
【図３】いくつかの実施形態に係る、ＧＵＩ装置において、実景に存在する物体にＧＵＩ画像を重畳して表示した例を説明する図であり、図３（ａ）は、観察者に視認される物体とＧＵＩ画像とからなる仮想リモコンを示す図であり、図３（ｂ）は、図３（ａ）の仮想リモコンの物体とＧＵＩ画像とを区別して説明するために用いる図であり、図３（ｃ）は、観察者が正面から見た仮想リモコンを示す図である。
【図４】いくつかの実施形態に係る、ＧＵＩ装置において視認される使用中画像と、物体選択画像と、の例を示す図である。
【図５】いくつかの実施形態に係る、ＧＵＩ装置における処理のフローを示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明に係る実施形態について図面を参照して説明する。なお、本発明は下記の実施形態（図面の内容も含む。）によって限定されるものではない。下記の実施形態に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。
【００１１】
以下、図２では、例示的なＧＵＩ装置の構成の説明を提供する。図１、図３、及び図４では、ＧＵＩ装置が表示する画像の例を説明する。図５では、制御のプロセスを説明する。
【００１２】
本発明の実施形態に係るＧＵＩ装置１０に用いるヘッドマウントディスプレイ（ＨＭＤ）装置１１は、現実空間である実景に拡張現実画像を重ねて視認させることで、視覚的な拡張現実（ＡＲ、Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）を形成する。
【００１３】
図１は、本実施形態に係るＧＵＩ装置に用いるＨＭＤ装置における一般的な表示例を示す図である。ＨＭＤ装置１１は、所定の表示領域１００ａを有し、この表示領域１００ａに含まれる実景３００に拡張現実画像１００を表示する。ＨＭＤ装置１１は、実景３００に存在する実オブジェクト３１０を認識し、その実オブジェクト３１０に表示位置を関連付けた拡張現実画像１００を表示可能である。ＨＭＤ装置１１は、図１の拡張現実画像１０１のように、実オブジェクト３１０である壁面３１１の表面に張り付いているように表示し得る。また、ＨＭＤ装置１１は、図１の拡張現実画像１０２のように、実オブジェクト３１０である実オブジェクト３１２の直上に浮遊しているように表示し得る。また、ＨＭＤ装置１１は、図１の拡張現実画像１０３のように、実景３００上に浮遊したように表示し得る。
【００１４】
次に、図２を参照する。図２は、いくつかの実施形態に係る、ＧＵＩ装置１０のブロック図である。なお、図２では、第１のＧＵＩ装置１０と、第２のＧＵＩ装置２０とを記載し、それぞれ通信により情報の授受を可能とする例を説明するが、他のＧＵＩ装置（第２のＧＵＩ装置２０）との情報の授受する機能は、省略されてもよい。
【００１５】
第１のＧＵＩ装置１０は、ＨＭＤ装置１１と、ＨＭＤ装置１１を制御するプロセッサ１２と、少なくともＨＭＤ装置１１の表示領域１００ａを含む実景３００を撮像するカメラ１３と、メモリ１４と、テレビ、エアコン、照明機器などの電子機器３０と通信する通信部１５と、で構成される。図２に記載される様々な機能ブロックは、ハードウェア、ソフトウェア、又はこれら両方の組み合わせで構成されてもよい。図２は、実施態様の一実施形態に過ぎず、図示された構成要素は、追加の構成要素があってもよい。
【００１６】
図示するように、プロセッサ１２は、メモリ１４と動作可能に連結される。より具体的には、プロセッサ１２は、メモリ１４に記憶されているプログラムを実行することで、例えば、画像データを生成又は／及び送信する、ＧＵＩ装置１０でユーザーによる操作情報を電子機器３０に送信する、などＧＵＩ装置１０の操作を行うことができる。プロセッサ１２は、少なくとも１つの汎用マイクロプロセッサ（例えば、中央処理装置（ＣＰＵ））、少なくとも１つの特定用途向け集積回路（ＡＳＩＣ）、少なくとも１つのフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はそれらの任意の組み合わせを含むことができる。メモリ１４は、ハードディスクのような任意のタイプの磁気媒体、ＣＤ及びＤＶＤのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリは、ＤＲＡＭ及びＳＲＡＭを含み、不揮発性メモリは、ＲＯＭ及びＮＶＲＯＭを含んでもよい。
【００１７】
プロセッサ１２は、カメラ１３が撮像した撮像画像を取得し、メモリ１４に記憶されたプログラムを実行することで、実景３００の中から手で持てる実オブジェクトを識別することができる。プロセッサ１２は、当該手で持てると認識された（推定された）実オブジェクトの表面に重なって視認されるように、特定の電子機器３０の操作が関連付けられたＧＵＩ画像（拡張現実画像１００の１つ）をＨＭＤ装置１１に表示する。さらに、プロセッサ１２は、カメラ１３が撮像した撮像画像に撮像されたユーザーの手がＧＵＩ画像を操作しているかを判定し、ユーザーの手が操作したＧＵＩ画像に対応付けられた操作信号を、通信部１５を介して特定の電子機器３０に対して送信する。これにより、ＧＵＩ装置１０でユーザーが行った操作に応じた電子機器３０の動作が実行され得る。
【００１８】
プロセッサ１２は、手で持てる実オブジェクトであるか否かをカメラ１３が撮像した撮像画像における実オブジェクトの大きさから手で持てる実オブジェクトであるかを判定してもよい。例えば、カメラ１３が撮像した撮像画像から、高さ・幅・深さ（奥行き）の総合計が３００［ｃｍ］以内である実オブジェクトを、手で持てる実オブジェクトであると認識してもよい。また、高さ・幅・深さ（奥行き）のいずれも所定の長さ（例えば、２０［ｃｍ］）未満である実オブジェクトを、手で持てる実オブジェクトであると認識してもよい。判定方法は、実オブジェクトの大きさ（長さ・体積）から判定すれば、上記の内容に限定されない。これにより、実オブジェクトの大きさが小さいことを判定することで、ユーザーが持つことができる、又は持ちやすい実オブジェクトに対して、ＧＵＩ画像を表示することができる。
【００１９】
また、他の例として、プロセッサ１２は、カメラ１３が撮像した撮像画像における実オブジェクトの種類を判定し、手で持てる実オブジェクトの種類であるかを判定してもよい。例えば、プロセッサ１２は、撮像画像における実オブジェクトの種類をパターンマッチングにより特定し、メモリ１４に記憶された手で持てる実オブジェクトの種類であるか判定してもよい。これにより、実オブジェクトの種類を判定することで、ユーザーが持つことができる、又は持ちやすい実オブジェクトに対して操作画像を投影することができる。
【００２０】
図３は、実景に存在する実オブジェクトにＧＵＩ画像を重畳して表示した例を説明する図であり、図３（ａ）は、観察者に視認される実オブジェクトとＧＵＩ画像とからなる仮想リモコンを示す図であり、図３（ｂ）は、図３（ａ）の仮想リモコンの実オブジェクトとＧＵＩ画像とを区別して説明するために用いる図であり、図３（ｃ）は、観察者が正面から見た仮想リモコンを示す図である。プロセッサ１２は、実景３００の中から手で持てる実オブジェクト３１５を識別し、この実オブジェクト３１５の所定の表面にＧＵＩ画像１１０を対応づけ、観察者から見た実オブジェクト３１５の位置や角度に応じて、ＧＵＩ画像１１０の位置、角度、サイズなどを変化させることで、あたかも実オブジェクト３１５の所定の表面にＧＵＩ画像１１０が張り付いているように知覚させる。なお、ここでは、ＧＵＩ画像１１０が表面に張り付いているように知覚される実オブジェクト３１５を、仮想リモコン５０と表記する。
【００２１】
なお、プロセッサ１２は、カメラ１３が撮像した撮像画像における実オブジェクトの表面形状が、平面、又は所定の条件を満たす曲面であるかを判定し、実オブジェクトの平面、又は所定の条件を満たす曲面に重なって視認されるようにＧＵＩ画像１１０をＨＭＤ装置１１に表示してもよい。例えば、プロセッサ１２は、カメラ１３が撮像した撮像画像から、実オブジェクト３１５における1ｃｍ四方以上の平面を特定し、この特定した平面に、ＧＵＩ画像１１０を重ねて表示してもよく、球面、放物面や四次曲面などの非球面、シリンドリカル面、又はトロイダル面などの規則的な曲率を持つ曲面を特定し、この特定した曲面に、ＧＵＩ画像１１０を重ねて表示してもよい。
【００２２】
図２のプロセッサ１２は、通信部１５と動作可能に連結されている。例えば、通信部１５は、ＧＵＩ装置１０を、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワークなどのパーソナルエリアネットワーク（ＰＡＮ）、８０２．１１ｘ Ｗｉ−Ｆｉ（登録商標）ネットワークなどのローカルエリアネットワーク（ＬＡＮ）、４Ｇ又はＬＴＥ（登録商標）セルラーネットワークなどの広域ネットワーク（ＷＡＮ）に接続する１つ又はそれ以上の無線通信インターフェースを含むことができ、電子機器３０（又は、これに加えて、第２のＧＵＩ装置２０）と情報の授受を行うことができる。
【００２３】
以上が、第１のＧＵＩ装置１０の構成である。第１のＧＵＩ装置１０のＨＭＤ装置１１、プロセッサ１２、カメラ１３、メモリ１４、及び通信部１５と同様であるため、第２のＧＵＩ装置２０のＨＭＤ装置２１、プロセッサ２２、カメラ２３、メモリ２４、及び通信部２５の詳細な説明は省略する。第１のＧＵＩ装置１０と第２のＧＵＩ装置２０との情報のやりとりにより、ＧＵＩ画像１１０を関連付ける実オブジェクト３１５が重複しないようにすることができる。以下で、これについて説明する。
【００２４】
第２のＧＵＩ装置２０のプロセッサ２２は、カメラ２３が撮像した撮像画像の中から手で持てる実オブジェクト３１５であるかを判定し、手で持てる実オブジェクト３１５の表面に重なって視認されるように特定の電子機器３０の操作が関連付けられたＧＵＩ画像１１０を表示部２１０に表示する。このとき第２のＧＵＩ装置２０のプロセッサ２２は、通信部２５から実オブジェクトを利用している情報（利用物体情報）を近くにある第１のＧＵＩ装置１０の通信部１５へ送信する。プロセッサ１２は、第２のＧＵＩ装置２０の通信部２５から受信した利用物体情報に基づき、ＨＭＤ装置１１へ特定の実オブジェクト３１５を第２のＧＵＩ装置２０が利用しているということを認識し、ＨＭＤ装置１１へ手で持てる実オブジェクト３１５であるかを判定する際に、判定する対象から外すよう動作する。なお、第１のＧＵＩ装置１０と第２のＧＵＩ装置２０とは、例えば、屋内に設置されたビーコンによる三点測位により室内でのそれぞれの位置を特定することができ、測位された第１のＧＵＩ装置１０の位置と第２のＧＵＩ装置２０の位置とに基づき、第１のＧＵＩ装置１０と第２のＧＵＩ装置２０の相対位置を求めることができる。例えば、第１のＧＵＩ装置１０のプロセッサ１２は、第２のＧＵＩ装置２０の相対位置と、第２のＧＵＩ装置２０の位置を基準とした第２のＧＵＩ装置２０が利用している特定の実オブジェクト３１５の位置（利用物体情報の一例）と、に基づき、第１のＧＵＩ装置１０の位置を基準とした特定の実オブジェクト３１５の位置を認識することができる。
【００２５】
図４は、他のＧＵＩ装置（第２のＧＵＩ装置）からの情報に基づき、第１のＧＵＩ装置で視認される使用中画像と、実オブジェクト選択画像と、を示す図である。第１のＧＵＩ装置１０は、手に持てる実オブジェクト３１５（ＧＵＩ画像１１０を関連付ける実オブジェクト３１５）が複数存在する場合、どの実オブジェクト３１５にＧＵＩ画像１１０を関連付けるか、観察者に選択を仰ぐ実オブジェクト選択画像を表示する。この際、近くに第２のＧＵＩ装置２０が存在した場合、第２のＧＵＩ装置２０は、通信部２５から利用物体情報（例えば、第２のＧＵＩ装置２０の室内における位置、及び第２のＧＵＩ装置２０を基準とした利用している実オブジェクト３１５の位置）を送信し、第１のＧＵＩ装置１０の通信部１５は、これを受信する。プロセッサ１２は、受信した利用物体情報に基づき、他のＧＵＩ装置（第２のＧＵＩ装置２０）に利用されている実オブジェクト３１６に対し、例えば、「Used by User A」などと表記された使用中画像１２０を表示し、これ以外の複数の実オブジェクト３１７、３１８のどれにＧＵＩ画像１１０を関連づけるか選択を仰ぐ実オブジェクト選択画像をＨＭＤ装置１１に表示する。実オブジェクト選択画像は、ＧＵＩ画像１１０で操作可能な電子機器３０を表す、例えば、「Air Control（空調の電子機器）」と表記された操作対象画像１３０と、この操作対象画像１３０から候補となる複数の実オブジェクト３１７，３１８それぞれに向けて指示する、例えば矢印状の指示画像１３１，１３２を表示してもよい。観察者は、手を、操作対象画像１３０の近傍に手を伸ばし、そこから関連付けたい実オブジェクト（図４の実オブジェクト３１７又は実オブジェクト３１８のいずれか）に向けて手を動かすことで、ＧＵＩ画像１１０が表示される実オブジェクトを選択してもよい。
【００２６】
図５は、本実施形態のＧＵＩ装置における処理のフローを示す図である。まず、ステップＳ１において、プロセッサ１２は、カメラ１３から撮像画像を取得する。
【００２７】
次に、ステップＳ２において、プロセッサ１２は、メモリ１４に記憶されたプログラムを実行することで、ステップＳ１で取得した撮像画像に含まれる実オブジェクトの大きさ（長さ、又は体積）を算出し、メモリ１４で記憶された判定アルゴリズムに基づき、手で持てる大きさであるかを推定する。
【００２８】
また、ステップＳ２において、プロセッサ１２は、メモリ１４に記憶されたプログラムを実行し、パターンマッチングすることで、ステップＳ１で取得した撮像画像に含まれる実オブジェクトの種類を識別し、当該実オブジェクトの種類から手で持てる種類であるかを推定してもよい。なお、ステップＳ２において、プロセッサ１２は、実オブジェクトの大きさと実オブジェクトの種類との複合的な判定により、実オブジェクトが手で持てるものであるか否かを判定してもよい。
【００２９】
ステップＳ３において、プロセッサ１２は、他のＧＵＩ装置（例えば、第２のＧＵＩ装置２０）で、既に利用されている実オブジェクトがないかを判定し、他のＧＵＩ装置で既に利用されている実オブジェクトがない（ステップＳ３でＹＥＳ）場合、ステップＳ５に移行し、他のＧＵＩ装置で既に利用されている実オブジェクトがある（ステップＳ３でＮＯ）場合、その実オブジェクトを、ＧＵＩ画像を関連付ける実オブジェクトの候補から除外する（ステップＳ４）。
【００３０】
ステップＳ５において、プロセッサ１２は、ＧＵＩ画像を関連付ける実オブジェクトの候補が、複数あるか、１つだけであるか、又は候補がないか、を判定し、この判定に基づき、処理を実行する。
【００３１】
候補が複数である場合、プロセッサ１２は、実オブジェクト選択画像（例えば、図４の操作対象画像１３０，指示画像１３１，１３２）を表示し、観察者が選択した実オブジェクト３１５に対してＧＵＩ画像１１０を表示する。
【００３２】
また、候補が１つである場合、プロセッサ１２は、その実オブジェクト３１５に対して、ＧＵＩ画像１１０を表示する。
【００３３】
また、候補がない場合、プロセッサ１２は、空中にＧＵＩ画像１１０を表示する。
【００３４】
上述の処理プロセスの動作は、汎用プロセッサ又は特定用途向けチップなどの情報処理装置の１つ以上のコンピュータ・プログラム（モジュール）を実行させることにより実施することができる。これらのコンピュータ・プログラム（モジュール）、これらのコンピュータ・プログラム（モジュール）の組み合わせ、又は／及びそれらの機能を代替えし得る公知のハードウェアとの組み合わせは全て、本発明の保護の範囲内に含まれる。
【符号の説明】
【００３５】
１０…第１のＧＵＩ装置、１１…ＨＭＤ装置、１２…プロセッサ、１３…カメラ、１４…メモリ、１５…通信部、２０…第２のＧＵＩ装置、２１…ＨＭＤ装置、２２…プロセッサ、２３…カメラ、２４…メモリ、２５…通信部、３０…電子機器、１００…拡張現実画像、１００ａ…表示領域、１０１…拡張現実画像、１０２…拡張現実画像、１０３…拡張現実画像、１１０…ＧＵＩ画像、１２０…使用中画像、１３０…操作対象画像、１３１…指示画像、１３２…指示画像、２００…第２のＨＭＤ装置、２１０…表示部、３００…実景、３１０…実オブジェクト
【図１】
2020166535.tif 000003
【図２】
2020166535.tif 000004
【図３】
2020166535.tif 000005
【図４】
2020166535.tif 000006
【図５】
2020166535.tif 000007