(57)【要約】【課題】透過型ウェアラブル端末を使用してユーザーが視界内のオブジェクトを選択する際の誤検出を低減する。【解決手段】透過型ウェアラブル端末１は、撮像部１０３と、撮像映像に映った対象物及びユーザーの手の動きを識別する映像解析部１０４と、オブジェクトをユーザーの視界内に表示部１０１によって表示させる表示制御部１０７と、オブジェクトに対するユーザーの操作を特定する操作特定部１０９と、特定されたユーザーの操作に従った表示処理を実行させる表示処理制御部１１１とを備え、表示制御部１０７は、前記オブジェクトを、ユーザーの視界内の対象物と重ならない位置に、表示部１０１により表示させる。【選択図】図２
2020177534.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーの視界に映像を重ねて表示する透過型ウェアラブル端末であって、
ユーザーによる視認が可能に映像を表示する表示部と、
ユーザーの視界映像を撮像する撮像部と、
前記撮像部が撮像した撮像映像を解析し、当該撮像映像に映った予め定められた対象物、及び、ユーザーによる手の動きをそれぞれ識別する映像解析部と、
前記映像としてのユーザーが操作可能なオブジェクトを、ユーザーの視界内の配置領域に前記表示部によって表示させる表示制御部と、
前記映像解析部が識別したユーザーによる手の動きに基づいて、前記オブジェクトに対するユーザーの操作を特定する操作特定部と、
前記操作特定部が特定した前記オブジェクトに対するユーザーの操作に従った表示処理を前記表示制御部に実行させる表示処理制御部と、を備え、
前記表示制御部は、更に、前記配置領域をユーザーの視界内の前記対象物以外の領域に設定し、前記オブジェクトを、ユーザーの視界内の前記対象物と重ならない位置に、前記表示部により表示させる透過型ウェアラブル端末。
【請求項２】
前記表示制御部は、前記オブジェクトを縮小した縮小後オブジェクト、又は、当該オブジェクトの一部である部分オブジェクトを、ユーザーの視界内の前記対象物と重ならない位置に、前記表示部により表示させる請求項１に記載の透過型ウェアラブル端末。
【請求項３】
前記配置領域がユーザーの視界内の前記対象物以外の領域に収まるか否かを判定する許容判定部を、更に備え、
前記表示制御部は、（ｉ）前記許容判定部が収まると判定した場合に、前記配置領域をユーザーの視界内の前記対象物以外の領域に設定し、前記オブジェクトを前記配置領域に前記表示部により表示させ、（ｉｉ）前記許容判定部が収まらないと判定した場合であって、ユーザーの視界内の前記対象物以外の領域が予め定められた規定大きさ以上である場合に、前記配置領域を、ユーザーの視界内の前記対象物以外の領域に収まる大きさに縮小して設定し、当該縮小した配置領域に収まるように前記オブジェクトを縮小させた縮小後オブジェクトを、ユーザーの視界内の前記対象物と重ならない位置に、前記表示部により表示させ、（ｉｉｉ）前記許容判定部が収まらないと判定した場合であって、ユーザーの視界内の前記対象物以外の領域が予め定められた規定大きさ未満である場合に、前記配置領域の一部のみを、ユーザーの視界内の前記対象物以外の領域に設定し、当該配置領域の一部に対応する前記オブジェクトの一部のみで構成される前記部分オブジェクトを、ユーザーの視界内の前記対象物と重ならない位置に、前記表示部により表示させる請求項２に記載の透過型ウェアラブル端末。
【請求項４】
ユーザーの視界に映像を重ねて表示する透過型ウェアラブル端末であって、
ユーザーによる視認が可能に映像を表示する表示部と、
ユーザーの視界映像を撮像する撮像部と、
前記撮像部が撮像した撮像映像を解析し、当該撮像映像に映った予め定められた対象物、ユーザーによる手の動き、及び、ユーザーの手に予め定められた道具を持っていることをそれぞれ識別する映像解析部と、
前記映像としてのユーザーが操作可能なオブジェクトを、ユーザーの視界内の配置領域に前記表示部によって表示させる表示制御部と、
前記映像解析部が識別したユーザーによる手の動きに基づいて、前記オブジェクトに対するユーザーの操作を特定する操作特定部と、
前記操作特定部が特定した前記オブジェクトに対するユーザーの操作に従った表示処理を前記表示制御部に実行させる表示処理制御部と、を備え、
前記操作特定部は、前記オブジェクトと前記対象物とが重なっており、かつ、前記映像解析部がユーザーの手に予め定められた道具を持っていると識別している場合に、ユーザーの手の動きに基づく、前記オブジェクトに対するユーザーの操作を特定しない透過型ウェアラブル端末。
【請求項５】
ユーザーの視界内において前記オブジェクトと前記対象物とが重なっているか否かを検出する重複検出部と、
前記重複検出部が前記オブジェクトと前記対象物とが重なっていることを検出し、かつ、前記映像解析部がユーザーの手に予め定められた道具を持っていると識別している場合に、制限状態であると判定する判定部と、を更に備え、
前記操作特定部は、前記判定部が前記制限状態であると判定している場合に、ユーザーの手の動きに基づく、前記オブジェクトに対するユーザーの操作を特定しない請求項４に記載の透過型ウェアラブル端末。
【請求項６】
マイクロフォンと、
前記マイクロフォンで集音されたユーザーの音声を認識する音声認識部と、を更に備え、
前記操作特定部は、前記オブジェクトと前記対象物とが重なっており、かつ、前記映像解析部がユーザーの手に予め定められた道具を持っていると識別している場合に、前記音声認識部が認識したユーザーの音声に基づいて、前記オブジェクトに対するユーザーの操作を特定する請求項４又は請求項５に記載の透過型ウェアラブル端末。
【請求項７】
ユーザーの視界に映像を重ねて表示する透過型ウェアラブル端末であって、
ユーザーによる視認が可能に映像を表示する表示部と、
ユーザーの視界映像を撮像する撮像部と、
前記撮像部が撮像した撮像映像を解析し、当該撮像映像に映った予め定められた対象物、及び、ユーザーによる手の動きをそれぞれ識別する映像解析部と、
前記映像としてのユーザーが操作可能なオブジェクトを、ユーザーの視界内の配置領域に前記表示部によって表示させる表示制御部と、
前記映像解析部が識別したユーザーによる手の動きに基づいて、前記オブジェクトに対するユーザーの操作を特定する操作特定部と、
前記操作特定部が特定した前記オブジェクトに対するユーザーの操作に従った表示処理を前記表示制御部に実行させる表示処理制御部と、
マイクロフォンと、
前記マイクロフォンで集音された音を解析し、当該解析した音に、予め定められた道具の使用音が含まれていることを識別する音解析部と、を備え、
前記操作特定部は、前記オブジェクトと前記対象物とが重なっており、かつ、前記音解析部が前記予め定められた道具の使用音が含まれていると識別している場合に、ユーザーの手の動きに基づく、前記オブジェクトに対するユーザーの操作を特定しない透過型ウェアラブル端末。
【請求項８】
マイクロフォンと、
前記マイクロフォンで集音されたユーザーの音声を認識する音声認識部と、を更に備え、
前記オブジェクトは、予め定められた作業工程を含む映像であり、
前記表示制御部は、前記音声認識部が認識したユーザーの音声が予め定められた言葉である場合に、前記オブジェクト中の前記予め定められた作業工程においてユーザーが次にすべき作業工程の強調表示、前記オブジェクト中に前記予め定められた作業工程の展開表示、又は、ユーザーが次にすべき作業工程の内容表示を、前記表示部により表示させる請求項１乃至請求項７の何れか一つに記載の透過型ウェアラブル端末。
【請求項９】
ユーザーの視線及び焦点距離を検出する視線検出部と、
前記視線検出部の検出結果に基づいて、ユーザーの視界の端部領域よりも内側の中央領域から当該端部領域にユーザーの視線が移動し、当該移動先が前記映像以外の領域であって予め定められた時間以上に当該ユーザーの視線が留まったことを、ユーザーの視線移動の特徴として特定する注視特定部と、
前記注視特定部が特定した、ユーザーの視線移動の特徴を記憶する記憶部と、
前記視線検出部の検出結果が、前記記憶部に記憶された前記ユーザーの視線移動の特徴と同じであるか否かを判定する特徴判定部とを、更に備え、
前記オブジェクトは、予め定められた作業工程を含む映像であり、
前記表示制御部は、前記特徴判定部が前記特徴と同じであると判定した場合に、前記オブジェクト中の前記予め定められた作業工程においてユーザーが次にすべき作業工程の強調表示、前記オブジェクト中に前記予め定められた作業工程の展開表示、又は、ユーザーが次にすべき作業工程の内容表示を、前記表示部により表示させる請求項１乃至請求項７の何れか一つに記載の透過型ウェアラブル端末。
【請求項１０】
前記オブジェクトは、ＧＵＩ（Graphical User Interface）映像である請求項１乃至請求項９の何れか一つに記載の透過型ウェアラブル端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、透過型ウェアラブル端末に関し、特に、透過型ウェアラブル端末を使用してユーザーが視界内のオブジェクトを選択する技術に関する。
【背景技術】
【０００２】
例えば、下記特許文献１には、視線検知による視覚入力、音声認識による音声入力などの複数の入力方式を使用するマルチモーダル・インタフェース（multimodal interface）の技術が記載されている。この技術では、ユーザーの視線検知により、視線の先にある仮想的な映像であるオブジェクトを識別状態と判定して当該オブジェクトを注視している時間、又は、音声認識によって、オブジェクトの選択決定の有無を行うといった操作を実現している。この技術を使用すれば、手で直接に端末を操作することなく、複数の操作が可能である。
【０００３】
近年では、透過型のヘッドマウントディスプレイ、メガネ型のウェアラブル機器などを用いて、ユーザーの視界に仮想的な映像（例えば半透明のオブジェクト）を重ねて表示することが可能となっている。これにより、ユーザーはあたかも目の前に仮想的な映像が存在しているかのように視認することができ、オブジェクト越しに手で作業をする可能性も高くなっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−２８８３４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に記載のシステムでは、常に視線、音声、画像の検知を行っているため、仮想的な映像であるオブジェクト越しに手で作業をする場合は、ユーザーの視線検知又はジェスチャー操作が、意図しないオブジェクトの選択又はジェスチャーのコマンドとして判定されるという誤検知が問題になる。例えば、当該オブジェクト上にユーザーの手が位置したときに、当該オブジェクトを選択したとして判定されるという誤検知が問題になる。
【０００６】
本発明は、上記の問題を解決するためになされたものであり、透過型ウェアラブル端末を使用してユーザーが視界内のオブジェクトを選択する際の誤検出を低減することを可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一局面に係る透過型ウェアラブル端末は、ユーザーの視界に映像を重ねて表示する透過型ウェアラブル端末であって、ユーザーによる視認が可能に映像を表示する表示部と、ユーザーの視界映像を撮像する撮像部と、前記撮像部が撮像した撮像映像を解析し、当該撮像映像に映った予め定められた対象物、及び、ユーザーによる手の動きをそれぞれ識別する映像解析部と、前記映像としてのユーザーが操作可能なオブジェクトを、ユーザーの視界内の配置領域に前記表示部によって表示させる表示制御部と、前記映像解析部が識別したユーザーによる手の動きに基づいて、前記オブジェクトに対するユーザーの操作を特定する操作特定部と、前記操作特定部が特定した前記オブジェクトに対するユーザーの操作に従った表示処理を前記表示制御部に実行させる表示処理制御部と、を備え、前記表示制御部は、更に、前記配置領域をユーザーの視界内の前記対象物以外の領域に設定し、前記オブジェクトを、ユーザーの視界内の前記対象物と重ならない位置に、前記表示部により表示させるものである。
【０００８】
本発明の他の一局面に係る透過型ウェアラブル端末は、ユーザーの視界に映像を重ねて表示する透過型ウェアラブル端末であって、ユーザーによる視認が可能に映像を表示する表示部と、ユーザーの視界映像を撮像する撮像部と、前記撮像部が撮像した撮像映像を解析し、当該撮像映像に映った予め定められた対象物、ユーザーによる手の動き、及び、ユーザーの手に予め定められた道具を持っていることをそれぞれ識別する映像解析部と、前記映像としてのユーザーが操作可能なオブジェクトを、ユーザーの視界内の配置領域に前記表示部によって表示させる表示制御部と、前記映像解析部が識別したユーザーによる手の動きに基づいて、前記オブジェクトに対するユーザーの操作を特定する操作特定部と、前記操作特定部が特定した前記オブジェクトに対するユーザーの操作に従った表示処理を前記表示制御部に実行させる表示処理制御部と、を備え、前記操作特定部は、前記オブジェクトと前記対象物とが重なっており、かつ、前記映像解析部がユーザーの手に予め定められた道具を持っていると識別している場合に、ユーザーの手の動きに基づく、前記オブジェクトに対するユーザーの操作を特定しないものである。
【０００９】
本発明の更に他の一局面に係る透過型ウェアラブル端末は、ユーザーの視界に映像を重ねて表示する透過型ウェアラブル端末であって、ユーザーによる視認が可能に映像を表示する表示部と、ユーザーの視界映像を撮像する撮像部と、前記撮像部が撮像した撮像映像を解析し、当該撮像映像に映った予め定められた対象物、及び、ユーザーによる手の動きをそれぞれ識別する映像解析部と、前記映像としてのユーザーが操作可能なオブジェクトを、ユーザーの視界内の配置領域に前記表示部によって表示させる表示制御部と、前記映像解析部が識別したユーザーによる手の動きに基づいて、前記オブジェクトに対するユーザーの操作を特定する操作特定部と、前記操作特定部が特定した前記オブジェクトに対するユーザーの操作に従った表示処理を前記表示制御部に実行させる表示処理制御部と、マイクロフォンと、前記マイクロフォンで集音された音を解析し、当該解析した音に、予め定められた道具の使用音が含まれていることを識別する音解析部と、を備え、前記操作特定部は、前記オブジェクトと前記対象物とが重なっており、かつ、前記音解析部が前記予め定められた道具の使用音が含まれていると識別している場合に、ユーザーの手の動きに基づく、前記オブジェクトに対するユーザーの操作を特定しないものである。
【発明の効果】
【００１０】
本発明によれば、透過型ウェアラブル端末を使用してユーザーが視界内のオブジェクトを選択する際の誤検出を低減することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態に係る透過型ウェアラブル端末を含むＡＲ作業システムの概要図である。
【図２】第１実施形態に係る透過型ウェアラブル端末の主要内部構成を示す機能ブロック図である。
【図３】透過型ウェアラブル端末におけるＡＲ表示処理を示すフローチャートである。
【図４】第１実施形態の初期映像表示処理のフローチャートである。
【図５】（Ａ）及び（Ｂ）はそれぞれ、ユーザーの視界を模式的に表した図である。
【図６】第１実施形態のＧＵＩ表示処理のフローチャートである。
【図７】（Ａ）及び（Ｂ）はそれぞれ、ユーザーの視界を模式的に表した図である。
【図８】（Ａ）及び（Ｂ）はそれぞれ、ユーザーの視界を模式的に表した図である。
【図９】（Ａ）は第１実施形態の操作特定処理のフローチャート、（Ｂ）は第１実施形態の表示処理のフローチャートである。
【図１０】第２実施形態に係る透過型ウェアラブル端末の主要内部構成を示す機能ブロック図である。
【図１１】第２実施形態のＧＵＩ表示処理のフローチャートである。
【図１２】（Ａ）及び（Ｂ）はそれぞれ、ユーザーの視界を模式的に表した図である。
【図１３】第２実施形態の操作特定処理のフローチャートである。
【図１４】（Ａ）は第３実施形態の操作特定処理のフローチャート、（Ｂ）は第３実施形態の表示処理のフローチャートである。
【図１５】ユーザーの視界を模式的に表した図である。
【図１６】第３実施形態の変形例に係る透過型ウェアラブル端末の主要内部構成を示す機能ブロック図である。
【図１７】第３実施形態の変形例の操作特定処理のフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態に係る透過型ウェアラブル端末を含むＡＲ作業システムについて図面を参照して説明する。図１は、本発明の第１実施形態に係る透過型ウェアラブル端末を含むＡＲ作業システムの概要図である。
【００１３】
ＡＲ作業システム２は、透過型ウェアラブル端末１と、外部装置３とを備える。透過型ウェアラブル端末１と、外部装置３とは、インターネットなどのネットワーク４に接続されて互いに通信可能とされている。
【００１４】
透過型ウェアラブル端末１は、ユーザーの視界に映像を重ねて表示することが可能な端末であり、例えば、透過型ヘッドマウントディスプレイやメガネ型ウェアラブル端末などである。ユーザーは透過型ウェアラブル端末１を頭部に装着して、視界に重ねて表示される映像（以下、適宜に「オブジェクト」と呼ぶ）を手などで仮想的に操作する。このとき、透過型ウェアラブル端末１は、ユーザーによる当該操作に基づく手の動きを解析して、当該手の動きの内容に応じた操作内容で、表示処理を実行する。
【００１５】
外部装置３は、透過型ウェアラブル端末１からの要求に応じて、映像（オブジェクト）データを、ネットワーク４を介して透過型ウェアラブル端末１に送信する情報処理装置であり、具体的には、例えば、サーバー、ＰＣ（パーソナルコンピューター）等である。
【００１６】
第１実施形態では、透過型ウェアラブル端末１を装着したユーザーが、透過型ウェアラブル端末１に表示されるオブジェクト（例えば、レシピなどの作業工程を示す映像）を視界内で確認しながら料理を作る場合を例に挙げて説明する。このため、図１には、テーブル５と、このテーブル５上に置かれたまな板などの対象物６とが図示されている。対象物６の一例であるまな板には、食材が置かれる。ユーザーは、まな板上の食材を素手で又は包丁８（図７）などの調理道具を用いて調理作業を行なう。このため、まな板などの対象物６は、ユーザーの手が位置する作業領域である。
【００１７】
図２は、透過型ウェアラブル端末１の主要内部構成を示す機能ブロック図である。透過型ウェアラブル端末１は、制御部１００、表示部１０１、視線検出部１０２、撮像部１０３、映像解析部１０４、通信部１０５、メモリー１０６、表示制御部１０７、注視特定部１０８、操作特定部１０９、許容判定部１１０、表示処理制御部１１１、マイクロフォン１１２、及び音声認識部１１３を備える。これら構成要素は、内部バス１２０で互いに接続されている。
【００１８】
制御部１００は、透過型ウェアラブル端末１の全体的な動作制御を司る。
【００１９】
表示部１０１は、ユーザーによる視認が可能に映像を表示するデバイスである。例えば、表示部１０１は、実際の映像を透過して視認可能で、かつ、仮想的な映像（オブジェクト）が投影されて虚像が形成されるハーフミラーなどを備える既知のデバイスであり、透過型ウェアラブル端末１で生成された映像を拡張現実としてユーザーの目の前に表示することが可能である。なお、表示部１０１は、ユーザーの網膜に映像を投影するデバイスであってもよい。この場合には、表示部１０１が、ユーザーの網膜に映像を投影することにより、透過型ウェアラブル端末１で生成された映像を拡張現実としてユーザーの目の前に表示される。
【００２０】
視線検出部１０２は、ユーザーの視線及び焦点距離を検出するデバイスである。具体的には、視線検出部１０２は、ユーザーの瞳孔の向きを検出することで、人が顔を向けている方向の視野においてその人が注視している位置（視線位置）及び焦点距離を検出する。人間の視野は、瞳孔が真正面を向いた状態で、片眼の水平方向で、耳側に約９０〜１００度、鼻側に約６０度、上側に約６０度、下側に約７０度と言われている。人間は、目だけを動かして当該視野内のものを注視することができる。
【００２１】
視線位置の検出には公知の技術を利用することができる。例えば、透過型ウェアラブル端末１が備える図略の可視光カメラで人の片眼を撮影し、目頭を基準点として瞳孔の動きを検出することで視線位置を検出することができる。あるいは、透過型ウェアラブル端末１が備える図略の近赤外線ＬＥＤ光源から片眼の表面に近赤外光を照射し、透過型ウェアラブル端末１が備える図略の近赤外線カメラで当該近赤外光の反射光（プルキニエ像）と瞳孔を撮影し、プルキニエ像と瞳孔中心との相対位置関係から視線位置を検出する。
【００２２】
撮像部１０３は、ユーザーの視界映像を撮像するデバイスであり、例えば、小型ＣＣＤカメラである。
【００２３】
映像解析部１０４は、撮像部１０３による撮像映像を例えばパターンマッチング等により解析して、当該撮像映像に映った対象物６、ユーザーの手の動きをそれぞれ識別するデバイスであり、例えば、ＤＳＰ（Digital Signal Processor）である。
【００２４】
通信部１０５は、ＬＡＮボード等の通信モジュールから構成され、ネットワーク４に接続された外部装置３と映像データの送受信を行う。
【００２５】
メモリー１０６は、ＲＯＭやフラッシュメモリーなどの不揮発性メモリーと、ＲＡＭなどの揮発性メモリーとを含むデバイスである。メモリー１０６は、透過型ウェアラブル端末１の動作プログラム、予め定められた対象物６を示す画像データなどを保持する他、撮像部１０３の撮像映像などを一時的に記憶する。
【００２６】
表示制御部１０７は、ユーザーが操作可能なオブジェクトを、ユーザーの視界内の配置領域に、表示部１０１により映像として表示させて、ユーザーの視界内に映像（オブジェクト）を拡張現実として表示させるモジュールである。例えば、表示制御部１０７は、表示部１０１に映像を投影させて、ユーザーの視界内に、オブジェクトとして、例えばアイコンＧ１及びアイコンＧ２（後述する図５（Ａ）を参照）又はＧＵＩ（Graphical User Interface）映像Ｐ（後述する図５（Ｂ）を参照）などを、拡張現実として表示させる。
【００２７】
具体的には、表示制御部１０７は、メモリー１０６に予め記憶されたオブジェクトの配置領域を示すデータ（例えば、配置領域の座標、サイズなどのデータ）を用いて、表示部１０１のハーフミラーの視界領域の予め定められた位置に配置領域を設定し、オブジェクトを前記配置領域に表示部１０１により映像として表示させる。
【００２８】
注視特定部１０８は、視線検出部１０２の検出結果に基づいて、ユーザーが視界内で注視する注視対象を特定するモジュールである。
【００２９】
操作特定部１０９は、映像解析部１０４が識別したユーザーによる手の動きに基づいて、ユーザーの視界内のオブジェクトに対するユーザーの操作を特定するモジュールである。
【００３０】
許容判定部１１０は、ユーザーの視界内にオブジェクトを配置するための配置領域が、ユーザーの視界内の対象物６以外の領域に収まるか否かを判定するモジュールである。具体的には、撮像部１０３は、ユーザーの視界映像を撮像する。このため、撮像部１０３が撮像したユーザーの視界映像は、表示部１０１のハーフミラーの視界領域から見える現実世界の映像と一致する。そして、映像解析部１０４は、撮像部１０３による撮像映像を例えばパターンマッチング等により解析して、当該撮像映像に映った対象物６を識別する。許容判定部１１０は、メモリー１０６に予め記憶されたオブジェクトの配置領域を示すデータ（例えば、配置領域の座標、サイズなどのデータ）と、撮像部１０３が撮像したユーザーの視界映像と、映像解析部１０４が識別した対象物６と、ユーザーの視界映像に対する対象物６の位置関係などを用いて、オブジェクトの配置領域が、ユーザーの視界内の対象物６以外の領域に収まるか否かを判定する。
【００３１】
マイクロフォン１１２は、ユーザーの音声を集音するデバイスである。
【００３２】
音声認識部１１３は、マイクロフォン１１２で集音されたユーザーの音声を既知の技術により認識するモジュールである。
【００３３】
表示処理制御部１１１は、操作特定部１０９が特定した前記オブジェクトに対するユーザーの操作に従った表示処理を表示制御部１０７に実行させるモジュールである。
【００３４】
具体的には、表示処理制御部１１１は、（１）映像解析部１０４によって識別されたユーザーの手の動きに基づいて、ユーザーが視界内の初期配置位置に表示部１０１により表示されたアイコンＧ１（図５（Ａ）を参照）に触れたことを検知したとき、（２）ユーザーの視界内の初期配置位置に表示部１０１により表示されたアイコンＧ１（図５（Ａ）を参照）をユーザーが注視したことを、視線検出部１０２の検出結果に基づいて注視特定部１０８が検知したとき、又は、（３）ユーザーの視界内の初期配置位置にアイコンＧ１（図５（Ａ）を参照）が表示部１０１により表示された状態において、ユーザーが例えば「第１アイコン」と発声したことを、マイクロフォン１１２が集音して、音声認識部１１３が「第１アイコン」の音声を検知したときに、当該アイコンＧ１が示すＧＵＩ映像を表示させる表示処理を表示制御部１０７に実行させる。
【００３５】
表示制御部１０７は、表示処理制御部１１１による制御の下、図５（Ｂ）に示すＧＵＩ映像Ｐをユーザーの視界に重ねて表示部１０１により表示させる。例えば、表示制御部１０７は、オブジェクトの配置領域をユーザーの視界内の対象物６以外の領域に確保できる場合には、オブジェクトの配置領域をユーザーの視界内の対象物６以外の領域（つまり、表示部１０１のハーフミラーの視界領域のうちで対象物６以外の領域）に投影させることにより、オブジェクトであるＧＵＩ映像Ｐを、ユーザーの視界内の対象物６と重ならない位置に、表示部１０１により表示させる。
【００３６】
ところで、表示制御部１０７は、オブジェクトの配置領域をユーザーの視界内の対象物６以外の領域に確保できない場合には、当該オブジェクトを縮小した縮小後オブジェクト、又は、当該オブジェクトの一部である部分オブジェクトを、ユーザーの視界内の対象物６と重ならない位置に、表示部１０１により表示させる。
【００３７】
具体的には、表示制御部１０７は、（ｉ）許容判定部１１０が収まると判定した場合に、前記配置領域をユーザーの視界内の対象物６以外の領域に設定し、前記オブジェクトを前記配置領域に表示部１０１により表示させる。また、表示制御部１０７は、（ｉｉ）許容判定部１１０が収まらないと判定した場合であって、ユーザーの視界内の対象物６以外の領域が予め定められた規定大きさ以上である場合に、前記配置領域を、ユーザーの視界内の対象物６以外の領域に収まる大きさに縮小して設定し、当該縮小した配置領域に収まるように前記オブジェクトを縮小させた縮小後オブジェクトを、ユーザーの視界内の対象物６と重ならない位置に、表示部１０１により表示させる。また、表示制御部１０７は、（ｉｉｉ）許容判定部１１０が収まらないと判定した場合であって、ユーザーの視界内の対象物６以外の領域が予め定められた規定大きさ未満である場合に、前記配置領域の一部のみを、ユーザーの視界内の対象物６以外の領域に設定し、当該配置領域の一部に対応する前記オブジェクトの一部のみで構成される部分オブジェクトを、ユーザーの視界内の対象物６と重ならない位置に、表示部１０１により表示させる。
【００３８】
なお、制御部１００、表示制御部１０７、注視特定部１０８、操作特定部１０９、許容判定部１１０、音声認識部１１３、及び表示処理制御部１１１は、専用のハードウェア回路で構成される他、コンピュータープログラムとしてメモリー１０６に記憶しておき、図略のＣＰＵが当該コンピュータープログラムに従って動作することで、制御部１００、表示制御部１０７、注視特定部１０８、操作特定部１０９、許容判定部１１０、音声認識部１１３、及び表示処理制御部１１１として機能することにより構成することも可能である。
【００３９】
次に、透過型ウェアラブル端末１におけるＡＲ（拡張現実）表示処理について説明する。図３は、透過型ウェアラブル端末１におけるＡＲ表示処理を示すフローチャートである。
【００４０】
まず、透過型ウェアラブル端末１は、主電源スイッチがオンになると、図３に示すように、初期映像表示を行なう（Ｓ１）。具体的には、表示部１０１により初期映像が表示される。
【００４１】
ここで、初期映像表示を説明する。図４は、第１実施形態の初期映像表示処理のフローチャートである。図５（Ａ）及び図５（Ｂ）はそれぞれ、ユーザーの視界を模式的に表した図である。この初期映像は、図５（Ａ）に示すように、透過型ウェアラブル端末１を装着したユーザーの視界に、表示部１０１により表示されるオブジェクト（第１レシピを示すアイコンＧ１及び第２レシピを示すアイコンＧ２）の映像である。また、透過型ウェアラブル端末１の表示部１０１のハーフミラーを通して、ユーザーの目の前に実際に存在するもの（例えば、テーブル５と、テーブル５上のまな板である対象物６と、ユーザーの手７など）を見ることができる。なお、図面では、手７は簡略した表記としている。
【００４２】
透過型ウェアラブル端末１の主電源スイッチがオンになると、図４に示すように、映像解析部１０４は、撮像部１０３の撮像映像を解析し（Ｓ１１）、当該撮像映像に映った対象物６の有無を識別する（Ｓ１２）。映像解析部１０４は、例えば、撮像部１０３の撮像映像に映った対象物６の画像と、メモリー１０６に予め登録されている対象物の画像とのパターンマッチングにより、撮像部１０３の撮像映像に映った対象物６を識別する。
【００４３】
映像解析部１０４によりユーザーの視界内に対象物６があると判断された場合（Ｓ１２でＹＥＳ）、表示制御部１０７は、メモリー１０６に予め記憶されているアイコンＧ１及びアイコンＧ２をユーザーの視界内の対象物６以外の領域に表示部１０１により表示させる（Ｓ１３）。一方、映像解析部１０４によりユーザーの視界内に対象物６がないと判断された場合（Ｓ１２でＮＯ）、表示制御部１０７は、アイコンＧ１及びアイコンＧ２をユーザーの視界内の初期配置位置に表示部１０１により表示させる（Ｓ１４）。これらアイコンＧ１及びアイコンＧ２は、表示部１０１がハーフミラーに映像を投影することで見えるものである。そして、制御部１００は、Ｓ１３又はＳ１４の処理後、初期映像表示処理を終了させる。
【００４４】
図３に戻って、制御部１００は、ＧＵＩ表示処理を実行する（Ｓ２）。ここで、ＧＵＩ表示処理を説明する。図６は、ＧＵＩ表示処理のフローチャートである。図７（Ａ）及び図７（Ｂ）はそれぞれ、ユーザーの視界を模式的に表した図である。図８（Ａ）及び図８（Ｂ）はそれぞれ、ユーザーの視界を模式的に表した図である。
【００４５】
制御部１００は、操作特定部１０９が特定したユーザーの操作に基づいて、視界内のアイコンＧ１又はアイコンＧ２が選択されたか否かを判定する（Ｓ２１）。例えば、操作特定部１０９は、ユーザーが自身の手を、視界内のアイコンＧ１の表示位置に重ね合わせる等の操作を行うと、アイコンＧ１を選択したと特定する（Ｓ２１でＹＥＳ）。そして、映像解析部１０４は、撮像部１０３の撮像映像を解析し（Ｓ２２）、当該撮像映像に映った対象物６の有無を識別する（Ｓ２３）。
【００４６】
映像解析部１０４によりユーザーの視界内に対象物６がないと判断された場合（Ｓ２３でＮＯ）、表示制御部１０７は、図５（Ｂ）に示すように、アイコンＧ１が示すＧＵＩ映像Ｐをユーザーの視界内の予め定められた配置位置に、表示部１０１により表示させ（Ｓ２４）、アイコンＧ１を非表示とする。図５（Ｂ）に示すＧＵＩ映像Ｐは、第１レシピに関する内容を示す映像であって、第１レシピによって作られる料理の絵、必要な材料、作業工程（言い換えれば、料理工程）などが含まれる。なお、図５（Ｂ）に示すＧＵＩ映像Ｐ及びアイコンＧ２は、表示部１０１がハーフミラーに映像を投影することで見えるものである。
【００４７】
一方、映像解析部１０４によりユーザーの視界内に対象物６があると判断された場合（Ｓ２３でＹＥＳ）、許容判定部１１０は、ユーザーの視界内にＧＵＩ映像Ｐを配置するための配置領域が、ユーザーの視界内の対象物６以外の領域に収まるか否かを判定する（Ｓ２５）。表示制御部１０７は、（ｉ）許容判定部１１０が収まると判定した場合（Ｓ２５でＹＥＳ）、前記配置領域をユーザーの視界内の対象物６以外の領域に設定し、ＧＵＩ映像Ｐを前記配置領域に表示部１０１により表示させる（Ｓ２４）。
【００４８】
また、表示制御部１０７は、（ｉｉ）許容判定部１１０が収まらないと判定した場合（Ｓ２５でＮＯ）、ユーザーの視界内の対象物６以外の領域が予め定められた規定大きさ以上であるか否かを判定する（Ｓ２６）。そして、表示制御部１０７は、ユーザーの視界内の対象物６以外の領域が予め定められた規定大きさ以上であると判定した場合（Ｓ２６でＹＥＳ）、前記配置領域を、ユーザーの視界内の対象物６以外の領域に収まる大きさに縮小して設定し、当該縮小した配置領域に収まるように、図７（Ａ）に示すＧＵＩ映像Ｐを縮小させた縮小後オブジェクトである縮小ＧＵＩ映像Ｐ１を、図７（Ｂ）に示すように、ユーザーの視界内の対象物６と重ならない位置に、表示部１０１により表示させる（Ｓ２７）。例えば、ユーザーが頭を動かすなどして、図７（Ｂ）に示すように視界が下にずれたことで、対象物６が図７（Ａ）に示すＧＵＩ映像Ｐに近づいた場合に、図７（Ｂ）に示すように、縮小ＧＵＩ映像Ｐ１が、ユーザーの視界内の対象物６と重ならない位置に、表示部１０１により表示される。図７（Ａ）に示すＧＵＩ映像Ｐ、図７（Ｂ）に示す縮小ＧＵＩ映像Ｐ１、及びアイコンＧ２は、表示部１０１がハーフミラーに映像を投影することで見えるものである。
【００４９】
一方、表示制御部１０７は、（ｉｉｉ）許容判定部１１０が収まらないと判定した場合（Ｓ２５でＮＯ）であって、ユーザーの視界内の対象物６以外の領域が予め定められた規定大きさ未満である場合（Ｓ２６でＮＯ）、前記配置領域の一部のみを、ユーザーの視界内の対象物６以外の領域に設定し、当該配置領域の一部に対応する図８（Ａ）に示すＧＵＩ映像Ｐの一部のみで構成される部分オブジェクトである部分ＧＵＩ映像Ｐ２を、図８（Ｂ）に示すように、ユーザーの視界内の対象物６と重ならない位置に、表示部１０１により表示させる（Ｓ２８）。例えば、ユーザーが頭を動かすなどして、図８（Ｂ）に示すように視界が下にずれたことで、対象物６が図８（Ａ）に示すＧＵＩ映像Ｐに近づいた場合に、図８（Ｂ）に示すように、部分ＧＵＩ映像Ｐ２が、ユーザーの視界内の対象物６と重ならない位置に、表示部１０１により表示される。図８（Ａ）に示すＧＵＩ映像Ｐ、図８（Ｂ）に示す部分ＧＵＩ映像Ｐ２、及びアイコンＧ２は、表示部１０１がハーフミラーに映像を投影することで見えるものである。
【００５０】
そして、制御部１００は、Ｓ２４、Ｓ２７又はＳ２８の処理後、ＧＵＩ表示処理を終了させる。
【００５１】
図３に戻って、制御部１００は、操作特定処理を実行する（Ｓ３）。ここで、操作特定処理を説明する。図９（Ａ）は操作特定処理のフローチャートである。
【００５２】
制御部１００は、ユーザーが自身の手を、視界内のＧＵＩ映像Ｐの表示位置に重ね合わせたり、ユーザーが視界内のＧＵＩ映像Ｐの表示位置を注視したり、又は、ユーザーが視界内のＧＵＩ映像Ｐに含まれる表示と一致する言葉を発声したりする操作があったか否かを判定する（Ｓ３１）。一方、このような操作が無い場合（Ｓ３１でＮＯ）には、制御部１００は、Ｓ３１の処理に戻り、操作があるまで待機する。
【００５３】
例えば、操作特定部１０９は、ユーザーが自身の手を、視界内のＧＵＩ映像Ｐの表示位置に重ね合わせる等の操作を行うと（Ｓ３１でＹＥＳ）、ＧＵＩ映像Ｐのうちで手を重ね合わせた箇所に対する操作を特定する（Ｓ３２）。また、注視特定部１０８は、視線検出部１０２の検出結果に基づいて、ユーザーの視界内のＧＵＩ映像Ｐの表示位置をユーザーが注視したことを検知したとき、ＧＵＩ映像Ｐのうちでユーザーが注視した箇所に対する操作を特定する（Ｓ３２）。また、音声認識部１１３は、マイクロフォン１１２が集音したユーザーの音声に、ユーザーの視界内のＧＵＩ映像Ｐに含まれる表示と一致する言葉を検知したときに、ＧＵＩ映像Ｐのうちで前記一致する言葉の箇所に対する操作を特定する（Ｓ３２）。そして、制御部１００は、Ｓ３２の処理後、操作特定処理を終了させる。
【００５４】
図３に戻って、制御部１００は、表示処理を実行する（Ｓ４）。ここで、表示処理を説明する。図９（Ｂ）は表示処理のフローチャートである。
【００５５】
表示処理制御部１１１は、操作特定部１０９が特定したＧＵＩ映像Ｐなどに対するユーザーの操作に従った表示処理を表示制御部１０７に実行させる（Ｓ４１）。例えば、表示処理制御部１１１は、図７（Ａ）に示すように「１．Ａを輪切りにする」のタブを、手、注視、又は、音声により操作した場合には、この操作に従った表示処理、すなわち、当該タブのチェック欄にチェック印を表示させる表示処理を表示制御部１０７に実行させる。そして、制御部１００は、Ｓ４１の処理後、表示処理を終了させる。
【００５６】
図３に戻って、制御部１００は、ＧＵＩ映像Ｐに対する操作が終了か否かを判定する（Ｓ５）。例えば、制御部１００は、ＡＲ表示を終了させる指示（例えば、第１レシピのＧＵＩ映像Ｐの表示を終了させる指示）が、ユーザーからあった場合（Ｓ５でＹＥＳ）には、ＡＲ表示処理を終了させる。なお、制御部１００は、ＡＲ表示を終了させる指示が無い場合（Ｓ５でＮＯ）には、Ｓ３に戻り、ＡＲ表示処理を継続させる。
【００５７】
上述した第１実施形態によれば、表示制御部１０７は、オブジェクト（ＧＵＩ映像Ｐなど）の配置領域をユーザーの視界内の対象物６以外の領域に設定し、オブジェクトを、ユーザーの視界内の対象物６と重ならない位置に、表示部１０１により表示させる。すなわち、オブジェクト（ＧＵＩ映像Ｐなど）が、ユーザーの手で作業が行われる対象物６以外の領域に表示されるので、対象物６上で作業が行われるユーザーの手がオブジェクトに接触することが低減される。これにより、透過型ウェアラブル端末１を使用してユーザーが視界内のオブジェクト（ＧＵＩ映像Ｐなど）を選択する際の誤検出を低減することができる。
【００５８】
また、表示制御部１０７は、オブジェクト（ＧＵＩ映像Ｐなど）を縮小した縮小後オブジェクト（縮小ＧＵＩ映像Ｐ１）、又は、当該オブジェクトの一部である部分オブジェクト（部分ＧＵＩ映像Ｐ２）を、ユーザーの視界内の対象物６と重ならない位置に、表示部１０１により表示させる。すなわち、表示制御部１０７は、縮小後オブジェクト、又は、部分オブジェクトが、ユーザーの手で作業が行われる対象物６以外の領域に表示されるので、対象物６上で作業が行われるユーザーの手がオブジェクトに接触することが低減される。これにより、透過型ウェアラブル端末１を使用してユーザーが視界内のオブジェクトを選択する際の誤検出を低減することができる。
【００５９】
許容判定部１１０は、配置領域がユーザーの視界内の対象物６以外の領域に収まるか否かを判定する。表示制御部１０７は、（ｉ）許容判定部１１０が収まると判定した場合に、配置領域をユーザーの視界内の対象物６以外の領域に設定し、オブジェクト（ＧＵＩ映像Ｐ）を前記配置領域に表示部１０１により表示させる。また、表示制御部１０７は、（ｉｉ）許容判定部１１０が収まらないと判定した場合であって、ユーザーの視界内の対象物６以外の領域が予め定められた規定大きさ以上である場合に、配置領域を、ユーザーの視界内の対象物６以外の領域に収まる大きさに縮小して設定し、当該縮小した配置領域に収まるようにオブジェクトを縮小させた縮小後オブジェクト（縮小ＧＵＩ映像Ｐ１）を、ユーザーの視界内の対象物６と重ならない位置に、表示部１０１により表示させる。また、表示制御部１０７は、（ｉｉｉ）許容判定部１１０が収まらないと判定した場合であって、ユーザーの視界内の対象物６以外の領域が予め定められた規定大きさ未満である場合に、配置領域の一部のみを、ユーザーの視界内の対象物６以外の領域に設定し、当該配置領域の一部に対応するオブジェクトの一部のみで構成される部分オブジェクト（部分ＧＵＩ映像Ｐ２）を、ユーザーの視界内の対象物６と重ならない位置に、表示部１０１により表示させる。すなわち、表示制御部１０７は、ユーザーの視界内の対象物６以外の領域が大きい場合には、オブジェクト（ＧＵＩ映像Ｐ）を通常通りに表示させ、規定大きさ以上である場合には、縮小後オブジェクト（縮小ＧＵＩ映像Ｐ１）を表示させ、規定大きさ未満である場合には部分オブジェクト（部分ＧＵＩ映像Ｐ２）を表示させる。このため、ユーザーの視界内の対象物６以外の領域の大きさに応じて、オブジェクトを対象物６以外の領域に好適に表示させることができる。これにより、透過型ウェアラブル端末１を使用してユーザーが視界内のオブジェクトを選択する際の誤検出を低減することができる。
【００６０】
次に、第２実施形態の透過型ウェアラブル端末１について説明する。図１０は、第２実施形態に係る透過型ウェアラブル端末の主要内部構成を示す機能ブロック図である。なお、第２実施形態では、上記の第１実施形態と異なる点について説明し、同じ点については説明を省略する。
【００６１】
第２実施形態の透過型ウェアラブル端末１は、重複検出部１１４と判定部１１５と音解析部１１６とを更に備える点などが、前述の第１実施形態とは異なる。重複検出部１１４、判定部１１５、及び音解析部１１６は、専用のハードウェア回路で構成される他、コンピュータープログラムとしてメモリー１０６に記憶しておき、図略のＣＰＵが当該コンピュータープログラムに従って動作することで、更に、重複検出部１１４、判定部１１５、音解析部１１６として機能することにより構成することも可能である。
【００６２】
映像解析部１０４は、撮像部１０３が撮像した撮像映像を解析し、更に、ユーザーの手に予め定められた道具（例えば包丁８などの調理道具）を持っていることを識別する。
【００６３】
重複検出部１１４は、ユーザーの視界内においてＧＵＩ映像Ｐと対象物６とが重なっているか否かを検出する。
【００６４】
判定部１１５は、重複検出部１１４がＧＵＩ映像Ｐと対象物６とが重なっていることを検出し、かつ、映像解析部１０４がユーザーの手に予め定められた道具（例えば包丁８など）を持っていると識別している場合に制限状態であると判定する。
【００６５】
操作特定部１０９は、ＧＵＩ映像Ｐと対象物６とが重なっており、かつ、映像解析部１０４がユーザーの手に包丁８を持っていると識別している場合に、ユーザーの手の動きに基づく、ＧＵＩ映像Ｐに対するユーザーの操作を特定しない。
【００６６】
ここで、第２実施形態に係る透過型ウェアラブル端末のＧＵＩ表示処理について説明する。図１１は、第２実施形態のＧＵＩ表示処理のフローチャートである。図１２（Ａ）及び図１２（Ｂ）はそれぞれ、ユーザーの視界を模式的に表した図である。
【００６７】
制御部１００は、操作特定部１０９が特定したユーザーの操作に基づいて、視界内のアイコンＧ１又はアイコンＧ２が選択されたか否かを判定する（Ｓ２１）。表示制御部１０７は、オブジェクト（ＧＵＩ映像Ｐ）の配置領域を、ユーザーの視界内における初期配置位置に設定し（Ｓ２９Ａ）、例えば、図１２（Ａ）に示すようにＧＵＩ映像Ｐを配置領域に表示部１０１により表示させる（Ｓ２９Ｂ）。また、例えばユーザーが頭を動かすなどして、図１２（Ｂ）に示すように視界が下にずれた場合には、対象物６とＧＵＩ映像Ｐとの重なり領域が更に大きくなった状態で、ＧＵＩ映像Ｐが表示部１０１により表示される。そして、制御部１００は、Ｓ２９Ｂの処理後、ＧＵＩ表示処理を終了させる。
【００６８】
ここで、第２実施形態に係る透過型ウェアラブル端末の操作特定処理について説明する。図１３は、第２実施形態の操作特定処理のフローチャートである。
【００６９】
制御部１００は、ユーザーが自身の手を、視界内のＧＵＩ映像Ｐの表示位置に重ね合わせたり、ユーザーが視界内のＧＵＩ映像Ｐの表示位置を注視したり、又は、ユーザーが発声したりする等の操作があったか否かを判定する（Ｓ３１）。一方、このような操作が無い場合（Ｓ３１でＮＯ）には、制御部１００は、Ｓ３１の処理に戻り、操作があるまで待機する。
【００７０】
重複検出部１１４は、ユーザーの視界内においてＧＵＩ映像Ｐと対象物６とが重なっているか否かを検出する（Ｓ３３）。
【００７１】
制御部１００は、重複検出部１１４がＧＵＩ映像Ｐと対象物６とが重なっていないことを検出した場合（Ｓ３３でＮＯ）、Ｓ３８の処理に進める。
【００７２】
一方、重複検出部１１４がＧＵＩ映像Ｐと対象物６とが重なっていることを検出した場合（Ｓ３３でＹＥＳ）、映像解析部１０４は、撮像部１０３が撮像した撮像映像を解析し、ユーザーの手に包丁８を持っているか否かを識別する（Ｓ３４）。制御部１００は、映像解析部１０４がユーザーの手に包丁８を持っていないと識別している場合（Ｓ３４でＮＯ）、Ｓ３８の処理に進める。
【００７３】
Ｓ３８では、ユーザーの手で操作があった場合には、操作特定部１０９は、ＧＵＩ映像Ｐのうちで手を重ね合わせた箇所に対する操作を特定する（Ｓ３８）。また、Ｓ３８では、ユーザーの視線で操作があった場合には、注視特定部１０８は、ＧＵＩ映像Ｐのうちでユーザーが注視した箇所に対する操作を特定する（Ｓ３８）。また、Ｓ３８では、ユーザーの音声で操作があった場合には、音声認識部１１３は、マイクロフォン１１２が集音したユーザーの音声に、ユーザーの視界内のＧＵＩ映像Ｐに含まれる表示と一致する言葉を検知したときに、ＧＵＩ映像Ｐのうちで前記一致する言葉の箇所に対する操作を特定する（Ｓ３８）。
【００７４】
操作特定部１０９は、ＧＵＩ映像Ｐと対象物６とが重なっており（Ｓ３３でＹＥＳ）、かつ、映像解析部１０４がユーザーの手に包丁８を持っていると識別している場合（Ｓ３４でＹＥＳ）、ユーザーの手による操作か否かを判定する（Ｓ３５）。操作特定部１０９は、ユーザーの手による操作であると判定した場合（Ｓ３５でＹＥＳ）、ユーザーの手の動きに基づく、ＧＵＩ映像Ｐに対するユーザーの操作を特定しない（Ｓ３６）。すなわち、操作特定部１０９は、ＧＵＩ映像Ｐと対象物６とが重なっており、かつ、ユーザーの手に包丁８を持っていると識別している場合には、ユーザーの手による操作を受け付けない（つまり、無効とする）。図１２（Ｂ）に示すように、包丁８を持つ手がＧＵＩ映像Ｐに触れた場合であっても、操作特定部１０９は、ＧＵＩ映像Ｐに対する手の操作を受け付けない。
【００７５】
一方、操作特定部１０９は、ユーザーの手による操作でないと判定した場合（Ｓ３５でＮＯ）、ユーザーの視線で操作があった場合には、注視特定部１０８は、ＧＵＩ映像Ｐのうちでユーザーが注視した箇所に対する操作を特定し（Ｓ３７）、ユーザーの音声で操作があった場合には、音声認識部１１３は、マイクロフォン１１２が集音したユーザーの音声に、ユーザーの視界内のＧＵＩ映像Ｐに含まれる表示と一致する言葉を検知したときに、ＧＵＩ映像Ｐのうちで前記一致する言葉の箇所に対する操作を特定する（Ｓ３７）。すなわち、操作特定部１０９は、ＧＵＩ映像Ｐと対象物６とが重なっており、かつ、ユーザーの手に包丁８を持っていると識別している場合には、ユーザーの視線による操作又は音声による操作を受け付ける。なお、Ｓ３５において、手又は視線による操作か音声による操作かを判定し、手又は視線による操作である場合には、Ｓ３６において、手又は視線による操作を受け付けないとし、Ｓ３７においてＧＵＩ映像Ｐに対する音声操作のみを受け付けるとしてもよい。
【００７６】
そして、制御部１００は、Ｓ３６、Ｓ３７、又はＳ３８の処理後、操作特定処理を終了させる。
【００７７】
上述した第２実施形態によれば、操作特定部１０９は、ＧＵＩ映像Ｐと対象物６とが重なっており、かつ、映像解析部１０４がユーザーの手に包丁８を持っていると識別している場合に、ユーザーの手の動きに基づく、ＧＵＩ映像Ｐに対するユーザーの操作を特定しない。すなわち、対象物６と重なったＧＵＩ映像Ｐに対して、ユーザーの手（特に包丁８を持っている手）が接触したとしても、ＧＵＩ映像Ｐに対するユーザーの操作が検出されない。これにより、透過型ウェアラブル端末１を使用してユーザーが視界内のＧＵＩ映像Ｐを選択する際の誤検出を低減することができる。また、ＧＵＩ映像Ｐの表示位置を対象物６以外の領域に変更したり、ＧＵＩ映像Ｐを縮小したり、ＧＵＩ映像Ｐの一部を削除したりするなどの表示処理が不必要になり、透過型ウェアラブル端末１の表示処理負担を低減させることができる。
【００７８】
また、重複検出部１１４は、ユーザーの視界内においてＧＵＩ映像Ｐと対象物６とが重なっているか否かを検出する。判定部１１５は、重複検出部１１４がＧＵＩ映像Ｐと対象物６とが重なっていることを検出し、かつ、映像解析部１０４がユーザーの手に包丁８を持っていると識別している場合に制限状態であると判定する。操作特定部１０９は、判定部１１５が前記制限状態であると判定している場合に、ユーザーの手の動きに基づく、ＧＵＩ映像Ｐに対するユーザーの操作を特定しない。このため、対象物６と重なったＧＵＩ映像Ｐに対して、ユーザーの手（特に包丁８を持っている手）が接触した場合に、ＧＵＩ映像Ｐに対するユーザーの操作を検出させない構成を好適に実現することができる。これにより、透過型ウェアラブル端末１を使用してユーザーが視界内のＧＵＩ映像Ｐを選択する際に、ＧＵＩ映像Ｐと対象物６とが重なった状態におけるユーザー操作の誤検出を低減することができ、透過型ウェアラブル端末１の表示処理負担を低減させることができる。
【００７９】
また、操作特定部１０９は、ＧＵＩ映像Ｐと対象物６とが重なっており、かつ、映像解析部１０４がユーザーの手に包丁８を持っていると識別している場合に、音声認識部１１３が認識したユーザーの音声に基づいて、ＧＵＩ映像Ｐに対するユーザーの操作を特定する。すなわち、ＧＵＩ映像Ｐと対象物６とが重なった状態では、音声操作のみを受け付け、ユーザーの手（特に包丁８を持っている手）による操作を受け付けない。このため、対象物６と重なったＧＵＩ映像Ｐに対して、ユーザーの手が接触した場合に、ＧＵＩ映像Ｐに対するユーザーの操作を検出させない構成を好適に実現することができる。これにより、透過型ウェアラブル端末１を使用してユーザーが視界内のＧＵＩ映像Ｐを選択する際に、ＧＵＩ映像Ｐと対象物６とが重なった状態におけるユーザー操作の誤検出を低減することができ、透過型ウェアラブル端末１の表示処理負担を低減させることができる。
【００８０】
なお、第２実施形態における予め定められた道具は、例えば包丁８としているが、包丁８以外にフライパンなどの調理道具であってもよい。
【００８１】
なお、第２実施形態では、Ｓ３４において、映像解析部１０４が、撮像部１０３が撮像した撮像映像を解析し、ユーザーの手に包丁８を持っているか否かを識別しているが、これに限定されない。例えば、Ｓ３４において、音解析部１１６は、マイクロフォン１１２で集音された音を解析し、当該解析した音に、包丁８の使用音（例えば、食材を繰り返し刻む音「ザクッ、ザクッ、ザクッ」、まな板に繰り返し当たる音「トン、トン、トン」など）が含まれていることを識別するとしてもよい。そして、操作特定部１０９は、ＧＵＩ映像Ｐと対象物６とが重なっており、かつ、音解析部１１６が包丁８の使用音が含まれていると識別している場合に、ユーザーの手の動きに基づく、ＧＵＩ映像Ｐに対するユーザーの操作を特定しない（Ｓ３６）。
【００８２】
このため、音解析部が包丁８の使用音が含まれていると識別している場合には、ユーザーが手に包丁８を持って作業していると推測することができるため、例えば、撮像映像を解析してもユーザーの手に包丁８を持っていることを識別できない場合に特に有効である。これにより、透過型ウェアラブル端末１を使用してユーザーが視界内のＧＵＩ映像Ｐを選択する際に、ＧＵＩ映像Ｐと対象物６とが重なった状態におけるユーザー操作の誤検出を低減することができ、透過型ウェアラブル端末１の表示処理負担を低減させることができる。
【００８３】
また、上記では、包丁８の使用音を例に挙げて説明しているが、これに限定されない。予め定められた道具がフライパンである場合には、その使用音としては、食材を炒める音などが挙げられる。
【００８４】
次に、第３実施形態の透過型ウェアラブル端末１について説明する。なお、第３実施形態では、上記の第１、第２実施形態と異なる点について説明し、同じ点については説明を省略する。第３実施形態の透過型ウェアラブル端末１は、ユーザーが作業工程を忘れたことを察してレシピ確認を促す機能を備えている点が、上記の第１、第２実施形態と異なる。
【００８５】
第３実施形態の表示制御部１０７は、音声認識部が認識したユーザーの音声が予め定められた言葉（例えば、「えーと」「あれ？」「次なんだっけ？」など）である場合に、ＧＵＩ映像Ｐ中の作業工程においてユーザーが次にすべき作業工程の強調表示を、表示部１０１により表示させる。第３実施形態の表示制御部１０７は、専用のハードウェア回路で構成される他、コンピュータープログラムとしてメモリー１０６に記憶しておき、図略のＣＰＵが当該コンピュータープログラムに従って動作することで、更に、第３実施形態の表示制御部１０７として機能することにより構成することも可能である。
【００８６】
ここで、第３実施形態に係る透過型ウェアラブル端末の操作特定処理について説明する。図１４（Ａ）は、第３実施形態の操作特定処理のフローチャートである。
【００８７】
制御部１００は、図１４（Ａ）に示すように、ユーザーが自身の手を、視界内のＧＵＩ映像Ｐの表示位置に重ね合わせたり、ユーザーが視界内のＧＵＩ映像Ｐの表示位置を注視したり、又は、ユーザーが視界内のＧＵＩ映像Ｐに含まれる表示と一致する言葉を発声したりする操作があったか否かを判定する（Ｓ３１）。一方、このような操作が無い場合（Ｓ３１でＮＯ）には、音声認識部１１３は、マイクロフォン１１２が集音したユーザーの音声に、予め定められた言葉（例えば、「えーと」「あれ？」「次なんだっけ？」など）の有無を識別する（Ｓ６１）。音声認識部１１３は、予め定められた言葉であると識別した場合（Ｓ６２でＹＥＳ）には、アシスト表示指示として特定する（Ｓ６３）。そして、制御部１００は、Ｓ６３の処理後、音声認識部１１３が予め定められた言葉でないと識別した場合（Ｓ６２でＮＯ）、又は、Ｓ３２の処理後、操作特定処理を終了させる。
【００８８】
続いて、第３実施形態に係る透過型ウェアラブル端末の表示処理について説明する。図１４（Ｂ）は第３実施形態の表示処理のフローチャートである。図１５は、ユーザーの視界を模式的に表した図である。
【００８９】
制御部１００は、音声認識部１１３がアシスト表示指示として特定したか否かを判定する（Ｓ７１）。
【００９０】
表示処理制御部１１１は、音声認識部１１３がアシスト表示指示として特定した場合（Ｓ７１でＹＥＳ）、アシスト表示処理を表示制御部１０７に実行させる（Ｓ７２）。
【００９１】
具体的には、表示制御部１０７は、音声認識部が認識したユーザーの音声が予め定められた言葉（例えば、「えーと」「あれ？」「次なんだっけ？」など）である場合に、ＧＵＩ映像Ｐ中の作業工程においてユーザーが次にすべき作業工程の強調表示、例えば図１５に示すように「２．Ｂを小口切りにする」のタブを他の表示よりも目立つようにした強調表示を、ＧＵＩ映像Ｐ中に前記予め定められた作業工程の展開表示、又は、ユーザーが次にすべき作業工程の内容表示を、表示部１０１により表示させる（Ｓ７２）。
【００９２】
上述した第３実施形態によれば、表示制御部１０７は、音声認識部１１３が認識したユーザーの音声が予め定められた言葉である場合に、ＧＵＩ映像Ｐ中の予め定められた作業工程においてユーザーが次にすべき作業工程の強調表示を、表示部により表示させる。これにより、ユーザーが無意識に発した予め定められた言葉に基づいて、ユーザーが作業工程を忘れたことを察することができ、ユーザーが次にすべき作業工程の確認を促す機能を提供することができる。
【００９３】
また、第３実施形態では、表示制御部１０７は、ユーザーが次にすべき作業工程の強調表示としているが、これに限定されない。例えば、音声認識部１１３が認識したユーザーの音声が予め定められた言葉である場合に、ＧＵＩ映像Ｐ中に予め定められた作業工程の展開表示、又は、ユーザーが次にすべき作業工程の内容表示を、表示部により表示させるようにしてもよい。
【００９４】
次に、第３実施形態の変形例に係る透過型ウェアラブル端末１について説明する。なお、第３実施形態では、ユーザーの音声が予め定められた言葉である場合に、図１５に示すようにアシスト表示を行っているが、第３実施形態の変形例では、ユーザーの視線移動の特徴があった場合に、図１５に示すようにアシスト表示を行う点が上記の第３実施形態と異なる。
【００９５】
図１６は、第３実施形態の変形例に係る透過型ウェアラブル端末の主要内部構成を示す機能ブロック図である。
【００９６】
注視特定部１０８は、視線検出部１０２の検出結果に基づいて、ユーザーの視界の端部領域よりも内側の中央領域から当該端部領域にユーザーの視線が移動し、当該移動先が前記映像（つまり、アイコンＧ１、アイコンＧ２、及びＧＵＩ映像Ｐ）以外の領域であって予め定められた時間（例えば、２秒）以上に当該ユーザーの視線が留まったことを、ユーザーの視線移動の特徴として特定する。例えば、注視特定部１０８は、例えば、ユーザーの視線が視界の中央から右端上部に移動されたままで２秒間以上留まっている場合には、ユーザーが次の作業工程が何であったかを考えているというユーザーの視線移動の特徴（言い換えれば、ユーザーの癖）として特定する。
【００９７】
メモリー１０６は、注視特定部１０８が特定した、ユーザーの視線移動の特徴を予め記憶している。なお、メモリー１０６は、特許請求の範囲における記憶部の一例となる。
【００９８】
特徴判定部１１７は、視線検出部１０２の検出結果が、メモリー１０６に記憶された前記ユーザーの視線移動の特徴と同じであるか否かを判定する。
【００９９】
表示制御部１０７は、特徴判定部１１７が前記特徴と同じであると判定した場合に、ＧＵＩ映像Ｐ中の作業工程においてユーザーが次にすべき作業工程の強調表示を、表示部１０１により表示させる。
【０１００】
ここで、第３実施形態の変形例に係る透過型ウェアラブル端末の操作特定処理について説明する。図１７は、第３実施形態の変形例の操作特定処理のフローチャートである。
【０１０１】
制御部１００は、図１７に示すように、ユーザーが自身の手を、視界内のＧＵＩ映像Ｐの表示位置に重ね合わせたり、ユーザーが視界内のＧＵＩ映像Ｐの表示位置を注視したり、又は、ユーザーが視界内のＧＵＩ映像Ｐに含まれる表示と一致する言葉を発声したりする操作があったか否かを判定する（Ｓ３１）。一方、このような操作が無い場合（Ｓ３１でＮＯ）には、注視特定部１０８は、視線検出部１０２の検出結果に基づいて、ユーザーが視界内のＧＵＩ映像Ｐ以外に対する注視の有無を識別する（Ｓ６１Ａ）。特徴判定部１１７は、注視特定部１０８がユーザーによるＧＵＩ映像Ｐ以外に対する注視有りと特定した場合（Ｓ６１ＡでＹＥＳ）、視線検出部１０２の検出結果が、メモリー１０６に記憶された前記ユーザーの視線移動の特徴と同じであるか否かを判定する（Ｓ６２Ａ）。特徴判定部１１７は、前記ユーザーの視線移動の特徴と同じであると判定した場合（Ｓ６２ＡでＹＥＳ）には、アシスト表示指示として特定する（Ｓ６３）。そして、制御部１００は、特徴判定部１１７が前記ユーザーの視線移動の特徴と同じでないと判定した場合（Ｓ６２ＡでＮＯ）、Ｓ６３の処理後、注視特定部１０８がユーザーによるＧＵＩ映像Ｐ以外に対する注視無しであると特定した場合（Ｓ６１ＡでＮＯ）、又は、Ｓ３２の処理後、操作特定処理を終了させる。
【０１０２】
表示処理制御部１１１は、特徴判定部１１７において、視線検出部１０２の検出結果が、メモリー１０６に記憶された前記ユーザーの視線移動の特徴と同じであると判定された場合に、図１４（Ｂ）に示すＳ７２において、アシスト表示処理、例えば図１５に示すように「２．Ｂを小口切りにする」のタブを他の表示よりも目立つようにした強調表示を、表示制御部１０７に実行させる。
【０１０３】
上述した第３実施形態の変形例によれば、ユーザーが無意識に行ったユーザーの視線移動の特徴（例えば、視界の中央から端部に視線を変更して一方方向を見つめる等の癖）に基づいて、ユーザーが作業工程を忘れたことを察することができ、ユーザーが次にすべき作業工程の確認を促す機能を提供することができる。
【０１０４】
なお、本発明は上記実施の形態の構成に限られず種々の変形が可能である。上記した各実施形態では、オブジェクトは、例えば、レシピなどの作業工程を示す映像としているが、これに限定されない。例えば、製品を製造するための作業工程、衣服を作る裁縫工程などの映像であってもよい。
【０１０５】
なお、上述した各実施形態では、ＡＲ作業システム２を例に挙げて説明しているが、透過型ウェアラブル端末１のメモリー１０６が映像（オブジェクト）データを記憶し、外部装置３に対して通信しない場合には、透過型ウェアラブル端末１のみで本発明が構成されることは言うまでもない。
【０１０６】
なお、図１乃至図１７を用いて上記実施形態により示した構成及び処理は、本発明の一実施形態に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。
【符号の説明】
【０１０７】
１        透過型ウェアラブル端末
１０１    表示部
１０２    視線検出部
１０３    撮像部
１０４    映像解析部
１０６    メモリー（記憶部）
１０７    表示制御部
１０８    注視特定部
１０９    操作特定部
１１０    許容判定部
１１１    表示処理制御部
１１２    マイクロフォン
１１３    音声認識部
１１４    重複検出部
１１５    判定部
１１６    音解析部
１１７    特徴判定部
【図１】
2020177534.tif 000003
【図２】
2020177534.tif 000004
【図３】
2020177534.tif 000005
【図４】
2020177534.tif 000006
【図５】
2020177534.tif 000007
【図６】
2020177534.tif 000008
【図７】
2020177534.tif 000009
【図８】
2020177534.tif 000010
【図９】
2020177534.tif 000011
【図１０】
2020177534.tif 000012
【図１１】
2020177534.tif 000013
【図１２】
2020177534.tif 000014
【図１３】
2020177534.tif 000015
【図１４】
2020177534.tif 000016
【図１５】
2020177534.tif 000017
【図１６】
2020177534.tif 000018
【図１７】
2020177534.tif 000019