(57)【要約】【課題】透過型の頭部装着型表示装置において、使用者の意思によって制御を実行する対象物を特定し、対象物に応じた画像を表示することができる技術を提供する。【解決手段】透過型頭部装着型表示装置であって、外景を透過し、外景とともに画像を表示する画像表示部と、画像表示部を制御する制御部と、を備え、制御部は、外景に含まれる一以上の対象物の位置範囲を取得する対象取得処理と、使用者の指示に応じて定められる方向と、一以上の対象物の位置範囲との共有部分である指示領域のうち最も使用者側にある指示領域を取得する座標取得処理と、画像表示部において、位置範囲に指示領域を含む対象物である特定物に応じた画像を表示することができる表示処理と、を実行する。【選択図】図９
2019164420.tif 000002
【特許請求の範囲】
【請求項１】
透過型頭部装着型表示装置であって、
外景を透過し、前記外景とともに画像を表示する画像表示部と、
前記画像表示部を制御する制御部と、を備え、
前記制御部は、
前記外景に含まれる一以上の対象物の位置範囲を取得する対象取得処理と、
使用者の指示に応じて定められる方向と、前記一以上の対象物の位置範囲との共有部分である指示領域のうち最も使用者側にある前記指示領域を取得する座標取得処理と、
前記画像表示部において、前記位置範囲に前記指示領域を含む前記対象物である特定物に応じた画像を表示することができる表示処理と、を実行する、透過型頭部装着型表示装置。
【請求項２】
請求項１に記載の透過型頭部装着型表示装置であって、
更に、前記外景を撮像する撮像部、を備え、
前記制御部は、
更に、撮像された前記外景に含まれる前記対象物の画像が、記憶部に予め記憶された記憶画像と一致するか否かを判定する画像判定処理、を実行し、
前記表示処理は、
前記特定物の画像が、前記画像判定処理によって前記記憶画像と一致すると判定された場合に、前記特定物に応じた画像として前記特定物の画像に対応付けられている仮想物を、前記画像表示部に表示する特定表示処理を含む、透過型頭部装着型表示装置。
【請求項３】
請求項２に記載の透過型頭部装着型表示装置であって、
前記制御部は、
更に、前記画像表示部に表示された前記仮想物を前記対象物として扱って前記表示処理を実行できるように前記仮想物に前記位置範囲を付与する範囲作成処理、を実行し、
前記座標取得処理によって取得された前記指示領域が、前記範囲作成処理によって付与された前記仮想物の位置範囲内に含まれる場合に、前記位置範囲に前記指示領域を含む前記仮想物が前記特定物であるとして、前記画像表示部において、前記仮想物に応じた画像をさらに表示する第二表示処理を実行する、透過型頭部装着型表示装置。
【請求項４】
請求項３に記載の透過型頭部装着型表示装置であって、
前記制御部は、
前記撮像部によって取得される前記使用者によって動かされる物の位置の変化が、前記記憶部に予め記憶された位置の変化と一致する場合に、前記特定物に応じた前記表示処理または前記第二表示処理を開始する、透過型頭部装着型表示装置。
【請求項５】
請求項４に記載の透過型頭部装着型表示装置であって、
前記使用者によって動かされる物は、前記使用者の指である、透過型頭部装着型表示装置。
【請求項６】
請求項５に記載の透過型頭部装着型表示装置であって、
前記制御部は、
更に、前記表示処理および前記第二表示処理によって表示された前記画像を、予め定められた期間中において表示したままの状態を維持できる画像維持処理を実行し、
前記画像維持処理によって表示された状態を維持された前記画像と、前記対象物とが重なった時に、
前記指が、前記画像表示部からの距離が第一範囲にある状態で、前記画像表示部に表示される領域を水平方向に移動された場合に、前記対象物に対応する前記表示処理を開始させ、
前記指が、前記画像表示部からの距離が第一範囲より離れた位置にある状態で、前記画像表示部に表示される領域を水平方向に移動された場合に、前記表示を維持された前記画像に対応する前記第二表示処理を含む制御を開始させる、透過型頭部装着型表示装置。
【請求項７】
請求項６に記載の透過型頭部装着型表示装置であって、
前記第一範囲は、前記画像表示部から３０ｃｍ以内の位置である、透過型頭部装着型表示装置。
【請求項８】
頭部に取り付けられ、外景を透過し、前記外景とともに画像を表示する画像表示部を有する装置本体を備えた透過型頭部装着型表示装置の制御方法であって、
前記制御方法は、
前記外景に含まれる一以上の対象物の位置範囲を取得する工程と、
使用者の指示に応じて定められる方向と、前記一以上の対象物の位置範囲との共有部分である指示領域のうち最も使用者側にある前記指示領域を取得する工程と、
前記画像表示部において、前記位置範囲に前記指示領域を含む前記対象物である特定物に応じた画像を表示する工程と、を備える、透過型頭部装着型表示装置の制御方法。
【請求項９】
頭部に取り付けられ、外景を透過し、前記外景とともに画像を表示する画像表示部を有する装置本体を備えた透過型頭部装着型表示装置を制御するためのプログラムであって、
前記プログラムは、
前記外景に含まれる一以上の対象物の位置範囲を取得する機能と、
使用者の指示に応じて定められる方向と、前記一以上の対象物の位置範囲との共有部分である指示領域のうち最も使用者側にある前記指示領域を取得する機能と、
前記画像表示部において、前記位置範囲に前記指示領域を含む前記対象物である特定物に応じた画像を表示する機能と、を実現させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、透過型頭部装着型表示装置および透過型頭部装着型表示装置の制御方法、透過型頭部装着型表示装置の制御のためのコンピュータープログラムに関する。
【背景技術】
【０００２】
外景を撮像する撮像部と、記憶された画像と撮像された対象物とを照合して対象物が制御の対象となるか否かについて判定する画像判定処理と、を備え、外景とともに表示装置に画像を表示させる透過型の頭部装着型表示装置が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１４８９６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような頭部装着型表示装置では、制御の対象となる複数の対象物が一つの撮像画面に撮像された場合、それぞれの対象物と記憶部に記憶された画像とを照合する画像判定が同時に行われる場合がある。そのため、使用者が意図しない対象物の制御が実行され、使用者にとって不要な画像が表示装置上に表示される。したがって、使用者の特定した対象物の制御を実行する頭部装着型表示装置が望まれていた。
【課題を解決するための手段】
【０００５】
本発明の一形態によれば、透過型頭部装着型表示装置が提供される。この透過型頭部装着型表示装置は：外景を透過し、前記外景とともに画像を表示する画像表示部と；前記画像表示部を制御する制御部と、を備える。前記制御部は、前記外景に含まれる一以上の対象物の位置範囲を取得する対象取得処理と、使用者の指示に応じて定められる方向と、前記一以上の対象物の位置範囲との共有部分である指示領域のうち最も使用者側にある前記指示領域を取得する座標取得処理と、前記画像表示部において、前記位置範囲に前記指示領域を含む前記対象物である特定物に応じた画像を表示することができる表示処理と、を実行する。
【図面の簡単な説明】
【０００６】
【図１】透過型の頭部装着型表示装置の外観構成を表す説明図。
【図２】画像表示部が備える光学系の構成を示す要部平面図。
【図３】使用者から見た画像表示部の要部構成を示す図。
【図４】撮像部の画角を説明するための図。
【図５】ＨＭＤの構成を機能的に示すブロック図。
【図６】制御部の構成を機能的に示すブロック図。
【図７】記憶機能部の記憶部に記憶された対象物データの一部を示す概略図。
【図８ａ】使用者が使用する対象指示機を表す斜視図。
【図８ｂ】座標取得部による交点の位置の補正を模式的に表す説明図。
【図９】制御部が実行する制御のフロー図。
【図１０】使用者が画像表示部を介して視認する視野の一例を示す説明図。
【図１１】使用者が対象指示機を使用する場合の視野の一例を示す説明図。
【図１２】使用者による第一確定動作を模式的に表す説明図。
【図１３】撮像制御部が特定表示処理を実行した状態の最大領域の一例を表す説明図。
【図１４】仮想物にポインターマーカーが表示された最大領域の一例を表す説明図。
【図１５】使用者による第二確定動作を模式的に表す説明図。
【図１６】撮像制御部が第二特定表示処理を実行した状態の最大領域を表す説明図。
【図１７】ポインターマーカーが表示された状態の最大領域の一例を表す説明図。
【図１８】エアコン操作パネルに対応する制御が実行された場合の視野の一例を示す説明図。
【発明を実施するための形態】
【０００７】
Ａ．第１実施形態：
図１は、透過型の頭部装着型表示装置１００の外観構成を表す説明図である。頭部装着型表示装置１００は、使用者の頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。ＨＭＤ１００は、グラスを通過して視認される外界の中に画像が浮かび上がる透過型（シースルー型）の頭部装着型表示装置である。
【０００８】
ＨＭＤ１００は、使用者に画像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０とを備えている。
【０００９】
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する支持体に、右表示ユニット２２と、左表示ユニット２４と、右導光板２６と、左導光板２８とを備える。
【００１０】
右保持部２１および左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０の装着状態における使用者の右側頭部に対応する位置まで延伸して設けられている。左保持部２３は、前部フレーム２７の端部ＥＬから、画像表示部２０の装着状態における使用者の左側頭部に対応する位置まで延伸して設けられている。
【００１１】
右導光板２６および左導光板２８は、前部フレーム２７に設けられている。右導光板２６は、画像表示部２０の装着状態における使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態における使用者の左眼の眼前に位置し、左眼に画像を視認させる。
【００１２】
前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有する。この連結位置は、画像表示部２０の装着状態における使用者の眉間の位置に対応する。前部フレーム２７には、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態において使用者の鼻に当接する鼻当て部が設けられていてもよい。この場合、鼻当て部と右保持部２１と左保持部２３とによって、画像表示部２０を使用者の頭部に保持できる。また、右保持部２１および左保持部２３に対して、画像表示部２０の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合、ベルトによって画像表示部２０を使用者の頭部に強固に保持できる。
【００１３】
右表示ユニット２２は、右導光板２６による画像の表示を行う。右表示ユニット２２は、右保持部２１に設けられ、画像表示部２０の装着状態における使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示を行う。左表示ユニット２４は、左保持部２３に設けられ、画像表示部２０の装着状態における使用者の左側頭部の近傍に位置する。なお、右表示ユニット２２および左表示ユニット２４を総称して「表示駆動部」とも呼ぶ。
【００１４】
本実施形態の右導光板２６および左導光板２８は、光透過性の樹脂等によって形成される光学部（例えばプリズム）であり、右表示ユニット２２および左表示ユニット２４が出力する画像光を使用者の眼に導く。なお、右導光板２６および左導光板２８の表面には、調光板が設けられてもよい。調光板は、光の波長域により透過率が異なる薄板状の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、前部フレーム２７の表面（使用者の眼と対向する面とは反対側の面）を覆うように配置される。調光板の光学特性を適宜選択することにより、可視光、赤外光、および紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６および左導光板２８に入射し、右導光板２６および左導光板２８を透過する外光の光量を調整できる。
【００１５】
画像表示部２０は、外の景色（外景）を透過し、外景とともに画像を表示する画像表示ユニットである。画像表示部２０は、右表示ユニット２２および左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６および左導光板２８に導き、この画像光によって画像（拡張現実感（ＡＲ）画像）を使用者に視認させる（これを「画像を表示する」とも呼ぶ）。使用者の前方から右導光板２６および左導光板２８を透過して外光が使用者の眼に入射する場合、使用者の眼には、画像を構成する画像光と、外光とが入射する。このため、使用者における画像の視認性は、外光の強さに影響を受ける。
【００１６】
このため、例えば前部フレーム２７に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、画像の視認のしやすさを調整することができる。典型的な例では、ＨＭＤ１００を装着した使用者が少なくとも外景を視認できる程度の光透過性を有する調光板を選択することができる。調光板を用いると、右導光板２６および左導光板２８を保護し、右導光板２６および左導光板２８の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム２７、あるいは、右導光板２６および左導光板２８のそれぞれに対して着脱可能としてもよい。また、複数種類の調光板を交換して着脱可能としてもよく、調光板を省略してもよい。
【００１７】
撮像部６１は、ＣＣＤやＣＭＯＳ等の撮像素子、および、撮像レンズ等を備え、静止画および動画を撮像可能なデジタルカメラである。撮像部６１は、画像表示部２０の前部フレーム２７に配置される。撮像部６１は、前部フレーム２７の前面において、右導光板２６および左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、撮像部６１は、前部フレーム２７の端部ＥＲ側に配置されている。撮像部６１は、前部フレーム２７の端部ＥＬ側に配置されていてもよく、右導光板２６と左導光板２８との連結部に配置されていてもよい。
【００１８】
本実施形態の撮像部６１は単眼カメラであるが、ステレオカメラを採用してもよい。撮像部６１は、ＨＭＤ１００の表側方向、画像表示部２０の装着状態において使用者が視認する視界方向の、少なくとも一部の外景（実空間）を撮像する。換言すれば、撮像部６１は、使用者の視界と重なる範囲または方向を撮像し、使用者が視認する方向を撮像する。撮像部６１の画角の広さは適宜設定できる。本実施形態では、撮像部６１の画角の広さは、使用者が右導光板２６および左導光板２８を透過して視認可能な使用者の視界の全体を撮像するように設定される。撮像部６１は、制御機能部１５０（図５）の制御に従って撮像を実行し、得られた撮像データを後述する制御機能部１５０へ出力する。
【００１９】
ＨＭＤ１００は、予め設定された測定方向に位置する物体までの距離を検出する測域センサー（Laser Range Scanner）を備えていてもよい。測域センサーは、２軸走査にすることにより３次元の空間データを得ることができる。測域センサーは、例えば、前部フレーム２７の右導光板２６と左導光板２８との連結部分に配置することができる。測域センサーの測定方向は、ＨＭＤ１００の表側方向（撮像部６１の撮像方向と重複する方向）とすることができる。測域センサーは、例えば、ＬＥＤやレーザーダイオード等の発光部と、光源が発する光が測定対象物に反射する反射光を受光する受光部と、により構成できる。この場合、三角測距処理や、時間差に基づく測距処理により距離を求める。測域センサーは、例えば、超音波を発する発信部と、測定対象物で反射する超音波を受信する受信部と、により構成してもよい。この場合、時間差に基づく測距処理により距離を求める。測域センサーは撮像部６１と同様に、制御機能部１５０により制御され、検出結果を制御機能部１５０へ出力する。
【００２０】
図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。説明の便宜上、図２には使用者の右眼ＲＥおよび左眼ＬＥを模式的に図示する。図２に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成されている。
【００２１】
右眼ＲＥに画像（ＡＲ画像）を視認させる構成として、右表示ユニット２２は、ＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１と、右光学系２５１とを備える。ＯＬＥＤユニット２２１は、画像光を発する。右光学系２５１は、レンズ群等を備え、ＯＬＥＤユニット２２１が発する画像光Ｌを右導光板２６へと導く。
【００２２】
ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光し、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子により構成される自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素とした複数の画素が、マトリクス状に配置されている。
【００２３】
ＯＬＥＤ駆動回路２２５は、後述する制御機能部１５０の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択および通電を実行し、発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面、すなわち発光面の裏側に、ボンディング等により固定されている。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板に実装されてもよい。この基板には、後述する温度センサー２１７が実装される。なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成を採用してもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加えて、Ｗ（白）の光を放射する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３が採用されてもよい。
【００２４】
右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射後、右導光板２６から右眼ＲＥへと射出され、この画像光Ｌが右眼ＲＥの網膜で像を結ぶことで、使用者に画像を視認させる。
【００２５】
左眼ＬＥに画像（ＡＲ画像）を視認させる構成として、左表示ユニット２４は、ＯＬＥＤユニット２４１と、左光学系２５２とを備える。ＯＬＥＤユニット２４１は画像光を発する。左光学系２５２は、レンズ群等を備え、ＯＬＥＤユニット２４１が発する画像光Ｌを左導光板２８へと導く。ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５を有する。各部の詳細は、ＯＬＥＤユニット２２１、ＯＬＥＤパネル２２３、ＯＬＥＤ駆動回路２２５と同じである。ＯＬＥＤパネル２４３の裏面に固定される基板には、温度センサー２３９が実装される。また、左光学系２５２の詳細は右光学系２５１と同じである。
【００２６】
以上説明した構成によれば、ＨＭＤ１００は、透過型（シースルー型）の表示装置として機能することができる。すなわち使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。使用者の左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、左導光板２８を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させる。この結果、使用者にとっては、右導光板２６および左導光板２８を透かして外景（実世界）が見えると共に、この外景に重なるようにして画像光Ｌによる画像（ＡＲ画像）が視認される。
【００２７】
なお、ハーフミラー２６１およびハーフミラー２８１は、右表示ユニット２２および左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す「画像取り出し部」として機能する。また、右光学系２５１および右導光板２６を総称して「右導光部」とも呼び、左光学系２５２および左導光板２８を総称して「左導光部」とも呼ぶ。右導光部および左導光部の構成は、上述した例に限定されず、画像光を用いて使用者の眼前に画像を形成する限りにおいて任意の方式を用いることができる。例えば、右導光部および左導光部には、回折格子を用いてもよいし、半透過反射膜を用いてもよい。
【００２８】
図１において、制御部１０と画像表示部２０とは、接続ケーブル４０によって接続される。接続ケーブル４０は、制御部１０の下部に設けられるコネクターに着脱可能に接続され、左保持部２３の先端ＡＬから、画像表示部２０内部の各種回路に接続する。接続ケーブル４０には、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有する。接続ケーブル４０にはさらに、アナログデータを伝送するメタルケーブルを含んでもよい。接続ケーブル４０の途中には、コネクター４６が設けられている。
【００２９】
コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６と制御部１０とは、例えばアナログ音声信号を伝送するラインで接続される。図１に示す本実施形態の例では、コネクター４６には、ステレオヘッドホンを構成する右イヤホン３２および左イヤホン３４と、マイク６３を有するヘッドセット３０とが接続されている。
【００３０】
マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置されている。マイク６３は、音声を集音し、音声信号を後述する音声インターフェース１８２に出力する。マイク６３は、モノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであっても無指向性のマイクであってもよい。
【００３１】
制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、点灯部１２と、タッチパッド１４と、方向キー１６と、決定キー１７と、電源スイッチ１８とを含んでいる。点灯部１２は、ＨＭＤ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光態様によって通知する。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）を用いることができる。
【００３２】
タッチパッド１４は、タッチパッド１４の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド１４としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。決定キー１７は、押下操作を検出して、制御部１０において操作された内容を決定するための信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源の状態を切り替える。
【００３３】
図３は、使用者から見た画像表示部２０の要部構成を示す図である。図３では、接続ケーブル４０、右イヤホン３２、左イヤホン３４の図示を省略している。図３の状態では、右導光板２６および左導光板２８の裏側が視認できると共に、右眼ＲＥに画像光を照射するためのハーフミラー２６１、および、左眼ＬＥに画像光を照射するためのハーフミラー２８１が略四角形の領域として視認できる。使用者は、これらハーフミラー２６１、２８１を含む左右の右導光板２６および左導光板２８の全体を透過して外景を視認すると共に、ハーフミラー２６１、２８１の位置に矩形の表示画像を視認する。
【００３４】
図４は、撮像部６１の画角を説明するための図である。図４では、撮像部６１と、使用者の右眼ＲＥおよび左眼ＬＥとを平面視で模式的に示すと共に、撮像部６１の画角（撮像範囲）をθで示す。なお、撮像部６１の画角θは図示のように水平方向に拡がっているほか、一般的なデジタルカメラと同様に鉛直方向にも拡がっている。
【００３５】
上述のように撮像部６１は、画像表示部２０において右側の端部に配置され、使用者の視線の方向（すなわち使用者の前方）を撮像する。このため撮像部６１の光軸は、右眼ＲＥおよび左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば、使用者が両眼で対象物ＯＢを注視すると、使用者の視線は、図中の符号で示される視線ＲＤ、視線ＬＤのように、対象物ＯＢに向けられる。この場合、使用者から対象物ＯＢまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍであることがより多い。そこで、ＨＭＤ１００について、通常使用時における使用者から対象物ＯＢまでの距離の上限および下限の目安を定めてもよい。この目安は、予め求められＨＭＤ１００にプリセットされていてもよいし、使用者が設定してもよい。撮像部６１の光軸および画角は、このような通常使用時における対象物ＯＢまでの距離が、設定された上限および下限の目安に相当する場合において対象物ＯＢが画角に含まれるように設定されることが好ましい。
【００３６】
なお、一般的に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされる。そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５〜７０度程度とされている。この場合、注視点が対象物ＯＢであるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５〜７０度程度が安定注視野である。使用者が画像表示部２０を透過して右導光板２６および左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶ。実視野は、視野角および安定注視野より狭いが、有効視野より広い。
【００３７】
本実施形態の撮像部６１の画角θは、使用者の視野より広い範囲を撮像可能に設定される。撮像部６１の画角θは、少なくとも使用者の有効視野より広い範囲を撮像可能に設定されることが好ましく、実視野よりも広い範囲を撮像可能に設定されることがより好ましい。撮像部６１の画角θは、使用者の安定注視野より広い範囲を撮像可能に設定されることがさらに好ましく、使用者の両眼の視野角よりも広い範囲を撮像可能に設定されることが最も好ましい。このため、撮像部６１には、撮像レンズとしていわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよい。また、撮像部６１には、単焦点レンズを含んでもよく、ズームレンズを含んでもよく、複数のレンズからなるレンズ群を含んでもよい。
【００３８】
図５は、ＨＭＤ１００の構成を機能的に示すブロック図である。制御部１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０と、記憶部と、入出力部と、センサー類と、インターフェースと、電源部１３０とを備える。メインプロセッサー１４０には、これらの記憶部、入出力部、センサー類、インターフェース、電源部１３０がそれぞれ接続されている。メインプロセッサー１４０は、制御部１０が内蔵しているコントローラー基板１２０に実装されている。
【００３９】
記憶部には、メモリー１１８と、不揮発性記憶部１２１とが含まれている。メモリー１１８は、メインプロセッサー１４０によって実行されるコンピュータープログラム、および、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（embedded Multi Media Card）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するコンピュータープログラムや、メインプロセッサー１４０によって処理される各種のデータを記憶する。本実施形態において、これらの記憶部はコントローラー基板１２０に実装されている。
【００４０】
入出力部には、タッチパッド１４と、操作部１１０とが含まれている。操作部１１０には、制御部１０に備えられた方向キー１６と、決定キー１７と、電源スイッチ１８とが含まれる。メインプロセッサー１４０は、これら各入出力部を制御すると共に、各入出力部から出力される信号を取得する。
【００４１】
センサー類には、６軸センサー１１１と、磁気センサー１１３と、全地球航法衛星システムＧＮＳＳ（Global Navigation Satellite System）レシーバー１１５とが含まれている。６軸センサー１１１は、３軸加速度センサーと３軸ジャイロ（角速度）センサーとを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、これらセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。磁気センサー１１３は、例えば、３軸の地磁気センサーである。ＧＮＳＳレシーバー１１５は、図示しないＧＮＳＳ受信機を備え、衛星から送信される無線信号を受信して、制御部１０の現在位置の座標を検出する。これらセンサー類（６軸センサー１１１、磁気センサー１１３、ＧＮＳＳレシーバー１１５）は、検出値を予め指定されたサンプリング周波数に従って、メインプロセッサー１４０へと出力する。各センサーが検出値を出力するタイミングは、メインプロセッサー１４０からの指示に応じてもよい。
【００４２】
インターフェースには、無線通信部１１７と、音声コーデック１８０と、外部コネクター１８４と、外部メモリーインターフェース１８６と、ＵＳＢ（Universal Serial Bus）コネクター１８８と、センサーハブ１９２と、ＦＰＧＡ１９４と、インターフェース１９６とが含まれている。これらは、外部とのインターフェースとして機能する。
【００４３】
無線通信部１１７は、ＨＭＤ１００と外部機器との間における無線通信を実行する。無線通信部１１７は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、あるいはこれらが統合されたデバイスとして構成されている。無線通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）を含む無線ＬＡＮ等の規格に準拠した無線通信を行う。
【００４４】
音声コーデック１８０は、音声インターフェース１８２に接続され、音声インターフェース１８２を介して入出力される音声信号のエンコード／デコードを行う。音声インターフェース１８２は、音声信号を入出力するインターフェースである。音声コーデック１８０は、アナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、および、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。本実施形態のＨＭＤ１００は、音声を右イヤホン３２および左イヤホン３４から出力し、マイク６３により集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換し、音声インターフェース１８２を介して出力する。また、音声コーデック１８０は、音声インターフェース１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。
【００４５】
外部コネクター１８４は、メインプロセッサー１４０に対して、メインプロセッサー１４０と通信する外部装置（例えば、パーソナルコンピューター、スマートフォン、ゲーム機器等）を接続するためのコネクターである。外部コネクター１８４に接続された外部装置は、コンテンツの供給元となり得るほか、メインプロセッサー１４０が実行するコンピュータープログラムのデバッグや、ＨＭＤ１００の動作ログの収集に使用できる。外部コネクター１８４は種々の態様を採用できる。外部コネクター１８４としては、例えば、ＵＳＢインターフェース、マイクロＵＳＢインターフェース、メモリーカード用インターフェース等の有線接続に対応したインターフェースや、無線ＬＡＮインターフェース、Ｂｌｕｅｔｏｏｔｈインターフェース等の無線接続に対応したインターフェースを採用できる。
【００４６】
外部メモリーインターフェース１８６は、可搬型のメモリーデバイスを接続可能なインターフェースである。外部メモリーインターフェース１８６は、例えば、カード型記憶媒体を装着してデータの読み書きを行うメモリーカードスロットと、インターフェース回路とを含む。カード型記憶媒体のサイズ、形状、規格等は適宜選択できる。ＵＳＢコネクター１８８は、ＵＳＢ規格に準拠したメモリーデバイス、スマートフォン、パーソナルコンピューター等を接続可能なインターフェースである。
【００４７】
ＵＳＢコネクター１８８は、例えば、ＵＳＢ規格に準拠したコネクターと、インターフェース回路とを含む。ＵＳＢコネクター１８８のサイズ、形状、ＵＳＢ規格のバージョン等は適宜選択できる。
【００４８】
センサーハブ１９２およびＦＰＧＡ１９４は、インターフェース（Ｉ／Ｆ）１９６を介して画像表示部２０に接続されている。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得して、メインプロセッサー１４０に出力する。ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信されるデータの処理およびインターフェース１９６を介した伝送を実行する。インターフェース１９６は、画像表示部２０の右表示ユニット２２と、左表示ユニット２４とに対してそれぞれ接続されている。本実施形態の例では、左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４とのそれぞれが、制御部１０のインターフェース１９６に接続される。
【００４９】
電源部１３０には、バッテリー１３２と、電源制御回路１３４とが含まれている。電源部１３０は、制御部１０が動作するための電力を供給する。バッテリー１３２は、充電可能な電池である。電源制御回路１３４は、バッテリー１３２の残容量の検出と、後述するＯＳ１４３への充電の制御を行う。電源制御回路１３４は、メインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値や、バッテリー１３２の電圧の検出値をメインプロセッサー１４０へと出力する。なお、電源部１３０が供給する電力に基づいて、制御部１０から画像表示部２０へと電力を供給してもよい。電源部１３０から制御部１０の各部および画像表示部２０への電力の供給状態を、メインプロセッサー１４０により制御可能な構成としてもよい。
【００５０】
右表示ユニット２２は、表示ユニット基板２１０と、ＯＬＥＤユニット２２１と、撮像部６１と、照度センサー６５と、赤外線センサー６７と、温度センサー２１７とを備える。表示ユニット基板２１０には、インターフェース１９６に接続されるインターフェース（Ｉ／Ｆ）２１１と、受信部（Ｒｘ）２１３と、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）２１５とが実装されている。受信部２１３は、インターフェース２１１を介して制御部１０から入力されるデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データをＯＬＥＤ駆動回路２２５（図２）へと出力する。
【００５１】
ＥＥＰＲＯＭ２１５は、各種のデータをメインプロセッサー１４０が読み取り可能な態様で記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０のＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２または左表示ユニット２４のセンサー特性に関するデータ等を記憶する。具体的には、例えば、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、後述する温度センサー２１７、２３９の検出値を保障するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれる。出荷後は、メインプロセッサー１４０がＥＥＰＲＯＭ２１５のデータを読み込んで各種の処理に利用する。
【００５２】
撮像部６１は、インターフェース２１１を介して入力される信号に従って撮像を実行し、撮像画像データあるいは撮像結果を表す信号を制御部１０へと出力する。照度センサー６５は、図１に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するように配置される。照度センサー６５は、受光量（受光強度）に対応した検出値を出力する。
【００５３】
赤外線センサー６７は、図１に示すように、前部フレーム２７の端部ＥＲにおいて撮像部６１の近傍に配置される。赤外線センサー６７は、後述する対象指示機３００によって発射され、物体によって反射された赤外光線を受光する。赤外線センサー６７は、位置検出素子（ＰＳＤ（Position Sensitive Detector））を備える。
【００５４】
温度センサー２１７は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図３）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は主としてＯＬＥＤパネル２２３の温度を検出する。なお、温度センサー２１７は、ＯＬＥＤパネル２２３あるいはＯＬＥＤ駆動回路２２５に内蔵されてもよい。例えば、ＯＬＥＤパネル２２３がＳｉ−ＯＬＥＤとしてＯＬＥＤ駆動回路２２５と共に統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２１７を実装してもよい。
【００５５】
左表示ユニット２４は、表示ユニット基板２３０と、ＯＬＥＤユニット２４１と、温度センサー２３９とを備える。表示ユニット基板２３０には、インターフェース１９６に接続されるインターフェース（Ｉ／Ｆ）２３１と、受信部（Ｒｘ）２３３と、６軸センサー２３５と、磁気センサー２３７とが実装されている。受信部２３３は、インターフェース２３１を介して制御部１０から入力されるデータを受信する。受信部２３３は、ＯＬＥＤユニット２４１で表示する画像の画像データを受信した場合に、受信した画像データをＯＬＥＤ駆動回路２４５（図２）へと出力する。
【００５６】
６軸センサー２３５は、３軸加速度センサーおよび３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。６軸センサー２３５と磁気センサー２３７は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された頭部の動きから画像表示部２０の向き、すなわち、使用者の視界が特定される。
【００５７】
温度センサー２３９は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図３）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は主としてＯＬＥＤパネル２４３の温度を検出する。温度センサー２３９は、ＯＬＥＤパネル２４３あるいはＯＬＥＤ駆動回路２４５に内蔵されてもよい。詳細は温度センサー２１７と同様である。
【００５８】
右表示ユニット２２の撮像部６１、照度センサー６５、赤外線センサー６７、温度センサー２１７と、左表示ユニット２４の６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、制御部１０のセンサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定および初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２および左表示ユニット２４が備える各センサーの検出値をメインプロセッサー１４０へ出力する。センサーハブ１９２は、各センサーの検出値を一時的に保持するキャッシュ機能を備えてもよい。センサーハブ１９２は、各センサーの検出値の信号形式やデータ形式の変換機能（例えば、統一形式への変換機能）を備えてもよい。
【００５９】
図６は、制御部１０の構成を機能的に示すブロック図である。制御部１０は、機能部として、記憶機能部１２２と、制御機能部１５０とを備える。記憶機能部１２２は、不揮発性記憶部１２１（図５）により構成される論理的な記憶部である。記憶機能部１２２は、不揮発性記憶部１２１のみを使用する構成に替えて、不揮発性記憶部１２１に組み合わせてＥＥＰＲＯＭ２１５やメモリー１１８を使用する構成としてもよい。
【００６０】
記憶機能部１２２には、制御機能部１５０の処理に必要な種々のデータが記憶されている。具体的には、本実施形態の記憶機能部１２２には、設定データ１２３と、コンテンツデータ１２４と、対象物データ１２５とが記憶されている。
【００６１】
設定データ１２３は、ＨＭＤ１００の動作に係る各種の設定値を含む。例えば、設定データ１２３には、制御機能部１５０がＨＭＤ１００を制御する際のパラメーター、行列式、演算式、ＬＵＴ（Look Up Table）等が含まれている。
【００６２】
コンテンツデータ１２４には、制御機能部１５０の制御によって画像表示部２０が表示する画像や映像を含むコンテンツのデータ（画像データ、映像データ、音声データ等）が含まれている。なお、コンテンツデータ１２４には、双方向型のコンテンツのデータが含まれてもよい。双方向型のコンテンツとは、操作部１１０によって使用者の操作を取得して、取得した操作内容に応じた処理を制御機能部１５０が実行し、処理内容に応じたコンテンツを画像表示部２０に表示するタイプのコンテンツを意味する。この場合、コンテンツのデータには、使用者の操作を取得するためのメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理を定めるデータ等が含まれうる。
【００６３】
対象物データ１２５には、撮像部６１および赤外線センサー６７によって取得した三次元情報である位置データ１２６と、後述する画像判定部１５５が画像認識処理を実行するための画像データ１２７と、後述する仮想物として出力される出力データ１２８とが記憶される。
【００６４】
図７は、記憶機能部１２２の記憶部に記憶された対象物データ１２５の一部を示す概略図である。図７には、対象物データ１２５の画像データ１２７、位置データ１２６，出力データ１２８の各項目と、制御装置１７０の各対象物に対応するデータの例が示されている。
【００６５】
本実施形態において、対象物データ１２５には、制御機能部１５０の制御の対象となる制御装置１７０に関連付けられた複数のデータが含まれる。例えば、制御装置１７０の１つとしてのテレビには、画面を表示する制御機器１７１と、制御機器１７１を操作するコントローラー２７１との二つの対象物としてのデータが記憶されている。すなわち、対象物データ１２５には、制御装置１７０（テレビ）の制御機器１７１およびコントローラー２７１のそれぞれに、画像データ１２７と位置データ１２６と出力データ１２８とが関連付けられている。
【００６６】
位置データ１２６は、外景に含まれる物体（以下、「対象物」とも呼ぶ）ごとのＨＭＤ１００を基準とした相対的な位置（座標）と、対象物の位置範囲とが記憶されたデータである。本明細書において、「対象物の位置範囲」とは、対象物が三次元の空間上に占有する一つの領域であり、対象物を構成する複数の三次元座標によって囲まれる一つの領域である。画像データ１２７は、記憶機能部１２２の記憶部に予め記憶されている物体の三次元の画像データである。
【００６７】
出力データ１２８は、制御部１０の制御の対象となる対象物に対応づけられた画像であり、表示制御部１４７によって画像表示部２０に表示される画像（以下、「仮想物」とも呼ぶ）である。本実施形態において、仮想物は、テキスト画像と、テキスト画像の表示領域の大きさに応じた領域を有する枠画像とによって構成される。仮想物は、更に、第一表示２８４と、第二表示２８６とに分類されて、記憶部に予め記憶される。
【００６８】
本実施形態において、仮想物には、テキスト画像ごとに制御が対応付けられている。例えば、テキスト画像「メニュー」にはメニュー画面を表示する制御が対応付けられ、テキスト画像「電源ＯＮ」には、制御機器の電源をＯＮにする制御が対応付けられている。なお、仮想物には、制御が対応付けられていないものもある。例えば、テキスト画像が対象物の名称である場合には、使用者が対象物を特定した場合に、表示された仮想物上に対象物の名称が表示される制御のみが制御部１０によって実行される。これにより、使用者は、より確実に対象物を特定することができる。
【００６９】
本実施形態において、対象物データ１２５には、上記の制御装置１７０に関連付けられたデータの他に、予め記憶された物の位置の変化のデータも含まれる。具体的には、対象物データ１２５には、図示しない物体の画像と、この物体の画像の位置変化のデータとして、物体が一つの画面内において連続的に移動される複数の画像とが含まれる。物体の画像の位置変化のデータには、予め記録された変化前の座標に対する移動後の座標による座標の変化の情報が含まれてもよい。これにより、後述する画像判定部１５５が、使用者によって動かされる物に対して、画像認識処理であるパターンマッチングを行なうことによって、使用者のジェスチャーを検出する。本実施形態において、物体の画像には使用者の指が含まれ、物体の画像の位置変化のデータには、使用者の指の水平方向への移動のデータが含まれる。
【００７０】
図６に戻り、制御機能部１５０は、メインプロセッサー１４０がコンピュータープログラムを実行することにより、すなわち、ハードウェアとソフトウェアとが協働することにより構成される。より具体的には、制御機能部１５０は、記憶機能部１２２に記憶されているデータを利用して各種処理を実行することにより、ＯＳ１４３、画像処理部１４５、表示制御部１４７、撮像制御部１４９、入出力制御部１５１、通信制御部１５３、画像判定部１５５、座標取得部１５７としての機能を実行する。本実施形態では、ＯＳ１４３以外の各機能部は、ＯＳ１４３上で実行されるコンピュータープログラムとして構成されている。
【００７１】
画像処理部１４５は、画像表示部２０により表示する画像／映像の画像データに基づいて、右表示ユニット２２および左表示ユニット２４に送信する信号を生成する。画像処理部１４５が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部１４５は、メインプロセッサー１４０がコンピュータープログラムを実行して実現される構成のほか、メインプロセッサー１４０とは別のハードウェア（例えば、ＤＳＰ（Digital Signal Processor））で構成してもよい。
【００７２】
なお、画像処理部１４５は、必要に応じて、解像度変換処理、画像調整処理、２Ｄ／３Ｄ変換処理等を実行してもよい。解像度変換処理は、画像データの解像度を右表示ユニット２２および左表示ユニット２４に適した解像度へと変換する処理である。画像調整処理は、画像データの輝度や彩度を調整する処理である。２Ｄ／３Ｄ変換処理は、三次元画像データから二次元画像データを生成し、あるいは、二次元画像データから三次元画像データを生成する処理である。画像処理部１４５は、これらの処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成し、接続ケーブル４０を介して画像表示部２０へと送信する。
【００７３】
表示制御部１４７は、右表示ユニット２２および左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２および左表示ユニット２４のそれぞれによる画像光の生成と射出とを制御する。具体的には、表示制御部１４７は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１４７は、画像処理部１４５が出力する信号に基づいて、ＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。
【００７４】
撮像制御部１４９は、撮像部６１を制御して撮像を実行させ、撮像画像データを生成し、記憶機能部１２２に一時的に記憶させる。また、撮像部６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１４９は、撮像画像データを撮像部６１から取得して、記憶機能部１２２の対象物データ１２５に一時的に記憶させる。
【００７５】
入出力制御部１５１は、タッチパッド１４（図１）と、方向キー１６と、決定キー１７とを適宜、制御して、これらから入力指令を取得する。取得した指令は、ＯＳ１４３、またはＯＳ１４３と共にＯＳ１４３上で動作するコンピュータープログラムに出力される。通信制御部１５３は、無線通信部１１７を制御して、ＨＭＤ１００と例えばナビゲーション装置等の外部機器との間で無線通信を行う。
【００７６】
画像判定部１５５は、撮像部６１によって撮像された画像に対する画像解析と、表示制御部１４７によって生成された画像に対する画像解析とを行う。本実施形態では、画像判定部１５５は、撮像部６１によって撮像された対象物の画像に対して、対象物データ１２５に含まれる画像データ１２７と比較する画像認識処理であるパターンマッチングを行う。これにより、画像判定部１５５は、予め記憶された記憶画像である画像データ１２７と対象物とが一致するか否かを判定する画像判定処理を行う。
【００７７】
本明細書において、画像判定部１５５によって画像データ１２７と一致すると判定された対象物を「特定対象」とも呼ぶ。本実施形態において、仮想物は特定対象に含まれる。画像判定部１５５は、使用者によって動かされる対象物に対して、撮像部６１によって連続的に撮像される撮像画像の各フレームにおいてパターンマッチングを行い、使用者のジェスチャー（後述する確定動作）を検出する。
【００７８】
座標取得部１５７は、対象取得部１５９と、位置検知部１６１と、範囲作成部１６３と、によって構成される。座標取得部１５７は、外景に含まれる対象物のうち使用者が指定した対象物を、制御の対象となる対象物として決定するための処理を行う。本明細書において、この制御の対象となる対象物を使用者が指定する行為を「特定する」とも呼び、使用者によって特定された特定対象を「特定物」とも呼ぶ。
【００７９】
対象取得部１５９は、外景に含まれる一以上の対象物の位置範囲を取得する。本実施形態では、対象取得部１５９は、撮像部６１によって連続的に撮像される画像を解析し、撮像部６１の位置および姿勢を推定するいわゆる自己位置推定の処理と、外景の三次元情報（マップ）を推定して作成する処理とを同時に実行する処理（以下、「ＳＬＡＭ（Simultaneous Localization and Mapping）」とも呼ぶ）を行う。これにより、対象取得部１５９は、外景に含まれる対象物のそれぞれにおいて、撮像部６１（すなわち、ＨＭＤ１００の画像表示部２０）と対象物との相対的な座標および距離を取得し、対象物の位置範囲の情報を取得する。取得された対象物の位置範囲の情報は、位置データ１２６に記憶され、取得する度ごとに逐次更新される。
【００８０】
位置検知部１６１は、後述する対象指示機３００から受信した加速度の結果から対象指示機３００の中心軸の方向を算出する。本実施形態において、位置検知部１６１は、更に、三角測量の原理を利用して、赤外線センサー６７のＰＳＤに受光された反射後の赤外線レーザーの位置情報からＨＭＤ１００から対象物までの距離を算出する。
【００８１】
範囲作成部１６３は、画像表示部２０に表示される仮想物に対し、仮想物の枠画像の大きさに応じた位置範囲を付与する。これにより、使用者は、画像表示部２０に表示された仮想物を対象指示機３００で指し示すことによって仮想物を特定することができ、仮想物に応じた画像を画像表示部２０に表示させることができる。したがって、使用者は、自らの意思によって制御を実行する仮想物を特定し、仮想物に応じた画像を画像表示部２０に表示することができる。
【００８２】
図８ａは、本実施形態において使用者が使用する対象指示機３００を表す斜視図である。対象指示機３００は、略円柱形状の機器であり、本実施形態において使用者が外景に含まれる対象物を特定するために使用する。対象指示機３００は、出力部３０２と、スイッチ３０１とを備える。出力部３０２には赤外線ＬＥＤの光源が備えられる。スイッチ３０１は、対象指示機３００の起動および停止と、起動時の赤外線レーザーの射出とを実行するために用いられる。
【００８３】
起動された対象指示機３００は、スイッチ３０１を押されたときに、出力部３０２の先端から対象指示機３００の中心軸に沿った向きに赤外線レーザーを射出する。対象指示機３００から対象物に射出された赤外線レーザーは、対象物によって反射されて右表示ユニット２２の赤外線センサー６７によって検出される。
【００８４】
本実施形態において、対象指示機３００は、さらに、ＭＥＭＳ（Micro Electro Mechanical Systems）によって構成される三軸方向の加速度センサー（図示しない）を内部に備える。加速度センサーが検出した三軸方向の加速度の結果は、制御機能部１５０の位置検知部１６１に逐次送信される。加速度センサーによる加速度の検出結果の送信は、スイッチ３０１が押されている期間内でのみ実行される態様であってもよい。
【００８５】
座標取得部１５７（図６参照）は、位置検知部１６１が取得した対象指示機３００の中心軸の方向の検出結果から、使用者が対象指示機３００を介して指し示す一方向を算出する。座標取得部１５７は、この使用者の対象指示機３００を介した指示に応じて定められる一方向に沿った直線と、上述したＳＬＡＭ処理によって取得した対象物の位置範囲との交点のうち最も使用者側（ＨＭＤ１００側）にある交点（以下、「対象交点」とも呼ぶ）を算出する。本実施形態において、対象交点とは、使用者の指し示した直線と対象物との交点であるが、対象交点は、点には限定されず、使用者の指し示した方向と対象物の位置範囲との共有部分が、例えば面状や立体状であるなど、予め定められた範囲を有していてもよい。本明細書において、使用者が指し示した方向と、対象物の位置範囲との共有部分を「指示領域」とも呼ぶ。すなわち、座標取得部１５７は、この指示領域のうち最も使用者側にある指示領域を取得する態様であればよい。
【００８６】
本実施形態において、座標取得部１５７は、さらに、赤外線センサー６７によって検出した赤外線レーザーによる対象物までの距離の算出結果を利用し、この算出結果と上記の交点までの距離とを照合して、最も使用者側にある交点の位置を補正する。
【００８７】
図８ｂは、座標取得部１５７による交点の位置の補正を模式的に表す説明図である。図８ｂには、ＨＭＤ１００を装着した使用者が対象指示機３００によって対象物ＯＢの特定対象の一つであるテレビＴｓ上の対象校点の位置Ｐｔで特定している状態が示されている。図８ｂにおける２点鎖線は、テレビＴｓの位置範囲を模式的に表している。位置検知部１６１は、対象指示機３００から受信した加速度の結果から対象指示機３００の中心軸の方向を算出し、座標取得部１５７は、ＨＭＤ１００からテレビＴｓの対象交点の位置Ｐｔまでの距離Ｌｇを取得する。
【００８８】
使用者が、対象指示機３００を操作して赤外線レーザーを発射すると、出力部３０２から赤外線レーザーＺａが射出される。赤外線レーザーＺａは、テレビＴｓの位置Ｐｔで反射されて、反射光Ｚｂとなって赤外線センサー６７によって受光される。座標取得部１５７は、座標取得部１５７が認識した位置Ｐｔの座標と、赤外線センサー６７のＰＳＤによって取得される反射光Ｚｂの受光位置の変化とを使用して、ＨＭＤ１００とテレビＴｓの位置Ｐｔまでの距離Ｌｇを算出する。制御部１０が対象指示機３００の座標を取得して赤外線レーザーＺａの射出位置を算出に利用してもよい。本実施形態では、座標取得部１５７は、例えば、赤外線レーザーを利用した実測値の距離Ｌｇと、座標取得部１５７がＳＬＡＭによって取得した距離Ｌｇに誤差がある場合、赤外線レーザーを利用した実測値の比重を高くして、ＳＬＡＭによって取得した距離Ｌｇを実測値に近づけるように補正する。なお、この補正は実施されなくてもよく、座標取得部１５７が、指示領域のうち最も使用者側にある指示領域を取得する態様であればよい。
【００８９】
以上により、使用者は、位置範囲に交点を含む最も使用者側にある対象物を特定することができる。これにより、制御部１０は、使用者の指示に応じて指し示した直線上の最も使用者側にある交点を位置範囲に含む対象物に応じた画像を表示することができる。したがって、使用者は、自らの意思によって制御を実行する対象物を特定し、対象物に応じた画像を画像表示部に表示することができる。
【００９０】
図９は、本実施形態の制御部１０が実行する制御のフロー図である。例えば、使用者がＨＭＤ１００の電源スイッチ１８をＯＮにすることによって、撮像部６１を含む各モジュールとともに制御部１０が起動して制御を開始する。以下、図９を参照しつつ各図を参照して制御部１０が実行する制御のフローについて説明する。
【００９１】
ステップＳ１００において、制御部１０の起動が完了すると、撮像制御部１４９は、撮像部６１（図１参照）を制御して外景ＳＣの撮像を開始する。ステップＳ１０２において、撮像部６１による外景ＳＣの撮像とともに、対象取得部１５９が、ＳＬＡＭを実行して撮像部６１の位置および姿勢と、外景ＳＣの三次元情報とを推定する処理を開始し、対象物の位置範囲を取得する。
【００９２】
ステップＳ１０４において、画像判定部１５５は、パターンマッチングによって、対象物データ１２５の画像データ１２７と撮像部６１によって撮像された対象物とを比較して、画像データ１２７と一致する対象物を特定対象として判定する。
【００９３】
図１０は、ＨＭＤ１００を装着した使用者が画像表示部２０を介して視認する視野ＶＲの一例を示す説明図である。図１０には、リビングにいる使用者が視認する外景ＳＣと表示制御部１４７によって表示される画像の最大領域ＰＮとが示されている。図１０において、最大領域ＰＮには、テレビＴｓと、テレビ用リモコンＴｒと、エアコンＡｃと、エアコン操作パネルＡｒとが含まれている。なお、本実施形態において、テレビＴｓと、テレビ用リモコンＴｒと、エアコンＡｃと、エアコン操作パネルＡｒのいずれもが対象物データ１２５に含まれる特定対象である。各特定対象の画像データ１２７および出力データ１２８は、記憶機能部１２２に予め記憶されている。
【００９４】
画像判定部１５５は、パターンマッチングにより、予め記憶された対象物データ１２５の画像データ１２７に対して、撮像部６１によって撮像されたテレビＴｓと、テレビ用リモコンＴｒと、エアコンＡｃと、エアコン操作パネルＡｒとの画像が一致すると判定し、特定対象として検出する（図９のステップＳ１０４参照）。
【００９５】
他方、対象物データ１２５にデータが含まれず、特定対象とはならない対象物（図１０において、例えばソファ）は、特定対象と同様にＳＬＡＭによって座標および距離を取得される（図９のステップＳ１０２参照）。特定対象とはならない対象物の三次元情報としての位置データ１２６は、記憶機能部１２２に一時的に記憶される（図９のステップＳ１０４参照）。すなわち、対象取得部１５９は、撮像部６１によって撮像された外景に含まれる対象物のそれぞれにおいてＳＬＡＭを実行し三次元情報の推定を実行する。
【００９６】
図９に戻り、ステップＳ２００において、座標取得部１５７は、使用者の指示に応じて定められる一方向に沿った直線と対象物の位置範囲との交点のうち最も使用者側にある交点を取得するステップＳ２０１からＳ２０３までの座標取得処理を実行する。
【００９７】
ステップＳ２０１において、位置検知部１６１は、対象指示機３００から受信した加速度の結果から対象指示機３００の中心軸の方向を算出する。座標取得部１５７は、位置検知部１６１による対象指示機３００の中心軸の方向の算出結果から、使用者が対象指示機３００を介して指し示す方向を決定する。
【００９８】
ステップＳ２０２において、座標取得部１５７は、さらに、赤外線センサー６７によって検出した対象物までの距離と、上述した最も使用者側にある交点までの距離とを照合して、最も使用者側にある交点の位置を補正する処理を行う。
【００９９】
ステップＳ２０３において、座標取得部１５７は、ステップＳ２０２の補正処理の結果を反映し、使用者の対象指示機３００を介した指示に応じて定められる一方向に沿った直線と、上述したＳＬＡＭによって取得された対象物の位置範囲との交点のうち最も使用者側（ＨＭＤ１００側）にある交点である対象交点を取得する。以上により、使用者は、位置範囲に交点を含む最も使用者側にある対象物を、制御の対象として特定することができる。
【０１００】
ステップＳ２０４において、表示制御部１４７は、座標取得部１５７から取得した対象交点の位置情報を参照して、画像表示部２０の表示画像上の対象交点に対応する位置にポインターマーカーの画像を表示する制御を行う。
【０１０１】
図１１は、使用者が対象指示機３００を使用する場合の視野ＶＲの一例を示す説明図である。図１１には、使用者の左手ＨＤ１によって持たれた対象指示機３００と、ポインターマーカーＰｔ１とが示されている。ポインターマーカーＰｔ１は、表示制御部１４７の制御により、画像表示部２０の表示画像上の対象交点に対応する位置に表示される。
【０１０２】
ポインターマーカーＰｔ１が表示される位置は、対象取得部１５９によって取得されたテレビＴｓの位置範囲と、使用者の対象指示機３００を介した指示に応じて定められる一方向に沿った直線との交点のうち最も使用者側（ＨＭＤ１００側）にある対象交点の位置である。図１１では、画像判定部１５５によって画像データ１２７と一致すると判定された対象物である特定対象のテレビＴｓの位置範囲上にポインターマーカーＰｔ１が表示されている。すなわち、図１１では、使用者が、特定対象のテレビＴｓを特定している状態である。
【０１０３】
使用者の両眼に導かれた画像光が、使用者の網膜に結像することにより、使用者は拡張現実感（ＡＲ）としての画像（図１１においてポインターマーカーＰｔ１）を視認する。また、右左の導光板２６，２８が外景ＳＣからの光を透過することで、使用者は外景ＳＣを視認する。このように、使用者は、視野ＶＲのうち画像が表示された部分については、外景ＳＣに重なるようにして画像を見ることができる。また、視野ＶＲのうち画像が表示されていない部分については、外景ＳＣだけを見ることができる。これにより、使用者は、対象指示機３００を操作して特定し得る対象をポインターマーカーＰｔ１によって視認したうえで、制御を実行する特定対象を選択できる。
【０１０４】
なお、特定対象とはならない対象物（図１１において、例えばソファ）の位置データ１２６も座標取得部１５７によって取得され、記憶機能部１２２に一時的に記憶される。そのため、ポインターマーカーＰｔ１は、特定対象ではない対象物の表面上においても表示されることができる。
【０１０５】
図９に戻り、ステップＳ２０６において、座標取得部１５７は、対象交点が特定対象の位置範囲内にあるか否かを判定する。対象交点が特定対象の位置範囲内にあると判定されない場合（Ｓ２０６：ＮＯ）、制御部１０による処理はステップＳ２０６に戻る。対象交点が、特定対象の位置範囲内にあると判定された場合（Ｓ２０６：ＹＥＳ）、制御部１０は、後述する使用者による確定動作があるか否かの判定を行う（ステップＳ２０８）。確定動作があると判定された場合（Ｓ２０８：ＹＥＳ）、制御部１０はステップＳ３００の表示処理を実行する（図９参照）。確定動作があると判定されない場合（Ｓ２０８：ＮＯ）、制御部１０による処理はステップＳ２０６に戻る。
【０１０６】
図１２は、使用者による第一確定動作を模式的に表す説明図である。本明細書において、「確定動作」とは、撮像部６１によって取得される使用者によって動かされる物の位置の変化であって、記憶部である記憶機能部１２２に予め記憶された位置の変化のデータと一致する位置の変化のことを表す。画像判定部１５５によってこの確定動作を認識すると、表示制御部１４７は、特定物に応じた処理である後述する第一特定表示処理または第二特定表示処理を開始する。使用者が確定動作を行うことを「確定する」とも呼ぶ。図１２には、図１１の外景上に、更に使用者の右手ＨＤ２の動作を重ねた状態が示されている。使用者の右手ＨＤ２は、画像表示部２０から３０ｃｍ以内に位置している。使用者の右手ＨＤ２の指は、使用者によって水平方向（図１２において左方向）に移動されている。なお、上述の「記憶機能部１２２に予め記憶された位置の変化のデータと一致する位置の変化」とは、予め記憶された位置の変化のデータと厳密に一致させる必要はない。例えば、水平方向の移動には、水平方向の方向成分に加えて、鉛直方向に沿った方向成分の誤差や、ＨＭＤ１００に対する奥行きへの方向成分の誤差を、記憶機能部１２２に予め記憶された位置の変化のデータに含めてもよい。
【０１０７】
本実施形態において、対象物データ１２５には、予め記憶された物として、使用者の指の画像が含まれている。また、対象物データ１２５には、物の位置の変化のデータとして、使用者の指の水平方向への位置の変化のデータが含まれている。これらのデータを参照することにより、画像判定部１５５は、パターンマッチングによって、使用者の指の水平方向への移動をジェスチャーとして検出する。なお、図１２には、使用者の指の動きの軌跡が破線によって示されている。使用者が特定対象を特定した場合に、画像表示部２０によって、画像表示部２０のこの指の動きの軌跡を表示画面に予め表示することによって、使用者に動作のガイダンスを行ってもよい。
【０１０８】
座標取得部１５７は、撮像部６１によって使用者の右手ＨＤ２の位置範囲を取得する。座標取得部１５７が使用者の右手ＨＤ２の位置範囲を画像表示部２０から３０ｃｍ以内の位置（以下、「第一範囲」とも呼ぶ）として認識し、画像判定部１５５が使用者の指の水平方向への移動を検出した場合、制御部１０は後述する第一特定表示処理を実行する。すなわち、使用者の指の水平方向への移動が本実施形態における確定動作である。これにより、使用者は対象物であるテレビＴｓを特定した後に、より簡易な方法で特定物であるテレビＴｓに対応する制御を実行させることができる。
【０１０９】
本実施形態では、さらに、画像表示部２０から３０ｃｍ以内の位置で使用者が指の位置を水平方向に移動させることを「第一確定動作」とも呼ぶ。本実施形態において、画像判定部１５５が第一確定動作を認識したとき、仮想物に対応する制御であるテキスト画像ごとに対応する制御が開始される。これにより、使用者は、対象物を特定した後に、対象物の位置の変化である第一確定動作を行うか否かを判断することによって、特定物に対応する制御を実行するか否かを選択することができる。
【０１１０】
図９に戻り、ステップＳ３００において、特定物の位置範囲に対象交点がある場合に、画像判定部１５５が使用者による第一確定動作を認識すると、表示制御部１４７は、出力データ１２８の第一表示としての画像を仮想物として画像表示部２０に表示する。本明細書において、「第一特定表示処理」とは、表示制御部１４７が第一表示を画像表示部２０の画面上に表示する処理を実行することを表す。
【０１１１】
図１３は、撮像制御部１４９が第一特定表示処理を実行した状態の最大領域ＰＮの一例を表す説明図である。図１３には、特定対象であるテレビＴｓの近傍に仮想物Ｖｉ１が表示されている。仮想物Ｖｉ１は、出力データ１２８に含まれるテキスト画像の一例である。仮想物Ｖｉ１は、本実施形態において特定対象であるテレビＴｓに応じた第一表示としての画像である。
【０１１２】
本実施形態において、表示制御部１４７は、画像表示部２０に表示された仮想物の画像を、予め定められた期間中において表示したままの状態を維持する画像維持処理を実行する。本実施形態において、画像維持処理は、表示制御部１４７の制御によって画像表示部２０に表示されるすべての仮想物において実行される。画像維持処理によって表示したままの状態を維持された画像は、予め定められた期間を経過すると、表示制御部１４７によって画像表示部２０の画面上から消去される。この予め定められた期間は、仮想物が表示された時点から起算された期間でもよいし、対象交点が仮想物から外された時点から起算されてもよい。
【０１１３】
図９に戻り、ステップＳ３０１において、座標取得部１５７の範囲作成部１６３は、仮想物に対し、仮想物の枠画像の大きさに応じた位置範囲を付与する範囲作成処理を実行する。座標取得部１５７は、仮想物を表示する位置にその仮想物の位置範囲を生成し、撮像部６１によって取得された三次元情報に追加する。これにより、三次元情報に仮想物の位置範囲が存在する。したがって、画像表示部２０に表示された仮想物の位置範囲に対象交点を表示させることができ、仮想物を対象物（特定対象）として扱って、制御部１０に後述する第二特定表示処理を実行させることができる。
【０１１４】
ステップＳ３０２において、制御部１０は、対象交点が仮想物の位置範囲内にあるか否かを確認する制御を実行する。対象交点が、仮想物の位置範囲内にあると判断されない場合（Ｓ３０２：ＮＯ）、制御部１０による処理は、ステップＳ５００に移行する。対象交点が、仮想物の位置範囲内にあると判断された場合（Ｓ３０２：ＹＥＳ）、後述するステップＳ３０４の処理へ移行する。
【０１１５】
このとき、画像判定部１５５は、仮想物を含めて表示制御部１４７によって生成された画像の画像解析を行い、仮想物の位置範囲を含めた表示画像上において、仮想物以外の特定対象と仮想物とが視覚的に重なっている部分（以下、「重複部分」とも呼ぶ）を抽出する。
【０１１６】
範囲作成部１６３は、仮想物の位置範囲に、重複部分の位置範囲として、特定対象と仮想物とのいずれも選択できる位置範囲を生成する。これにより、使用者は、仮想物と特定対象とが重なった場合であっても、いずれかを選択して特定することができる。
【０１１７】
図１４は、仮想物Ｖｉ１にポインターマーカーＰｔ２が表示された状態の最大領域ＰＮの一例を表す説明図である。仮想物Ｖｉ１は、画像表示部２０に表示される画像であり、撮像部６１によって認識することができない。座標取得部１５７の範囲作成部１６３は、仮想物Ｖｉ１に対し、仮想物Ｖｉ１の枠画像の大きさに応じた位置範囲を付与する範囲作成処理を実行する。
【０１１８】
図１４において、ポインターマーカーＰｔ２が表示される位置は、範囲作成部１６３によって付与された仮想物Ｖｉ１の位置範囲上の対象交点の位置である。すなわち、図１４では、使用者が、特定対象である仮想物Ｖｉ１を特定している状態である。
【０１１９】
図９に戻り、ステップＳ３０４において、座標取得部１５７は、対象交点が上述した重複部分の位置範囲内にあるか否かを判定する。対象交点が重複部分の位置範囲内にあると判定されない場合（Ｓ３０４：ＮＯ）、制御部１０による処理は、ステップＳ３０８に移行する。対象交点が重複部分の位置範囲内にあると判定された場合（Ｓ３０４：ＹＥＳ）、制御部１０による処理は、ステップＳ３０６に移行する。
【０１２０】
ステップＳ３０６において、画像判定部１５５は、使用者による第一確定動作を認識するか否かを判定する。使用者による第一確定動作を認識した場合（Ｓ３０６：ＹＥＳ）、制御部１０による処理はステップＳ３００に戻り、仮想物と重なっている特定物の第一特定表示処理を実行する。使用者による第一確定動作を認識しない場合（Ｓ３０６：ＮＯ）、制御部１０は、ステップＳ３０８の処理に移行する。
【０１２１】
ステップＳ３０８において、画像判定部１５５は、使用者による後述する第二確定動作を認識するか否かを判定する。使用者による第二確定動作を認識した場合（Ｓ３０８：ＹＥＳ）、制御部１０は、ステップＳ３１０の処理に移行する。使用者による第二確定動作を認識しない場合（Ｓ３０８：ＮＯ）、画像維持処理によって表示したままの状態を維持された仮想物は、予め定められた期間を経過すると、表示制御部１４７によって画像表示部２０の画面上から消去される（ステップＳ５００）。
【０１２２】
上述したように、使用者は、ステップＳ３０６およびＳ３０８において対象交点が重複部分の位置範囲内にある場合に、第一確定動作もしくは第二確定動作いずれかの動作を選択的に実行する。これにより、ＨＭＤ１００からの距離が第一範囲にある状態で確定動作を行った場合（すなわち、第一確定動作を行った場合）、対象物である特定物に対応する第一特定表示処理が開始され、第一範囲より離れた位置にある状態で確定動作を行った場合（すなわち、第二確定動作を行った場合）、画像である仮想物に対応する第二特定表示処理が開始される。したがって、使用者は、制御を実行したい対象物と画像である仮想物とが重なっている場合であっても、いずれかを特定して制御を開始させることができる。
【０１２３】
図１５は、使用者による第二確定動作を模式的に表す説明図である。図１５には、図１４の外景上に、更に使用者の右手ＨＤ２の動作を重ねた状態が示されている。使用者の右手ＨＤ２は、画像表示部２０からの距離が３０ｃｍよりも離れた位置であり、第一範囲よりも離れている。使用者によって、右手ＨＤ２の指が水平方向（図１５において左方向）へ移動されている。
【０１２４】
画像判定部１５５は、上述したように、対象物データ１２５に予め記憶された物としての使用者の指の画像と、使用者の指の水平方向への位置の変化のデータとを参照したパターンマッチングによって、使用者の指の水平方向への移動を確定動作として検出する。
【０１２５】
座標取得部１５７は、撮像部６１によって使用者の右手ＨＤ２の位置範囲も取得する。座標取得部１５７が使用者の右手ＨＤ２の位置範囲を画像表示部２０から３０ｃｍより離れた位置として認識し、画像判定部１５５が使用者による確定動作を検出した場合、制御部１０は第一表示画像である仮想物Ｖｉ１に応じた第二表示画像をさらに表示する表示処理（以下、「第二特定表示処理」とも呼ぶ）を実行する。本実施形態では、画像表示部２０からの距離が３０ｃｍより離れた位置にある状態で、使用者が指の位置を水平方向に移動させることを「第二確定動作」とも呼ぶ。本実施形態において、画像判定部１５５が第二確定動作を認識した場合、仮想物に対応する制御である第二特定表示処理が開始される。
【０１２６】
図９に戻り、ステップＳ３１０において、表示制御部１４７は、第二特定表示処理を実行するか否かを判定する。より具体的には、ステップＳ３０８において使用者が確定した仮想物に対応付けされた制御が、第二特定表示処理であるか否かを判定する。使用者が確定した仮想物に対応付けされた制御が第二特定表示処理である場合（Ｓ３１０：ＹＥＳ）、表示制御部１４７は、ステップＳ４００において第二特定表示処理を実行する。その後、制御部１０による処理はステップＳ３０１に戻り、範囲作成部１６３は、第二特定表示処理によって表示された仮想物に、範囲作成処理によって位置範囲を付与する。使用者が確定した仮想物に対応付けされた制御が第二特定表示処理ではない場合（Ｓ３１０：ＮＯ）、制御部１０は、その仮想物に対応付けされた制御を実行する（ステップＳ３１２）。
【０１２７】
ステップＳ６００において、制御部１０は、制御を終了するか否かを確認する。例えば、使用者によって撮像部６１の電源が切断された場合、制御部１０による制御は終了する（Ｓ６００：ＹＥＳ）。制御部１０による制御が終了されない場合（Ｓ６００：ＮＯ）、制御部１０による処理、ステップＳ２０６に戻る。
【０１２８】
図１６は、撮像制御部１４９が第二特定表示処理を実行した状態の最大領域ＰＮの一例を表す説明図である。図１６では、第二特定表示処理によって、特定対象であるテレビＴｓの近傍に第二表示である仮想物Ｖｉ２が表示されている。換言すれば、図１６は、使用者が仮想物Ｖｉ１の位置範囲上に対象交点のポインターマーカーＰｔ２が表示された状態（図１５参照）で第二確定動作を行った後の状態を表している。
【０１２９】
仮想物Ｖｉ２は、本実施形態における特定対象であるテレビＴｓに応じた第二表示としての画像である。仮想物Ｖｉ２は、本実施形態において、表示制御部１４７の制御により外景ＳＣ（図１６において例えばエアコン操作パネルＡｒ）を透過した状態で表示される。本実施形態において、第二表示は、第一表示の仮想物に対応付けられた画像であり、使用者が第一表示を特定して第二確定動作を実行した場合に表示される。仮想物Ｖｉ１の位置範囲に対象交点がある場合に、制御部１０が、使用者による第二確定処理を認識すると、表示制御部１４７は、第二表示としての画像を仮想物として画像表示部２０に表示する第二特定表示処理を実行する。
【０１３０】
図１６では、ポインターマーカーＰｔ３は、仮想物Ｖｉ２の位置範囲上のテキスト画像「電源ＯＮ」に対応する位置に表示されている。このとき、使用者は第二確定動作を行い、制御部１０によって認識されると、通信制御部１５３が無線通信部１１７を制御して、制御機器であるテレビＴｓが電源をＯＮにする制御を実行する。
【０１３１】
図１７は、ポインターマーカーＰｔ４が表示された状態の最大領域ＰＮの一例を表す説明図である。図１７において、仮想物Ｖｉ２の位置範囲上のテキスト画像「Ｖ＋」の一部と、別の特定対象であるエアコン操作パネルＡｒとが重なっている。すなわち、この重なった部分は、上述した重複部分としての位置範囲である。図１７において、ポインターマーカーＰｔ４は、この重複部分の位置範囲上に表示されている。
【０１３２】
このとき、使用者は第二確定動作を行い画像判定部１５５によって認識されると、制御部１０は仮想物Ｖｉ２に対応する制御を開始する。より具体的には、第二確定動作が制御部１０によって認識されると、通信制御部１５３が無線通信部１１７を制御して、制御機器であるテレビＴｓが「Ｖ＋」に対応する制御（ボリュームを上げる）を実行する。
【０１３３】
図１８は、エアコン操作パネルＡｒに対応する制御が実行された場合の視野ＶＲの一例を示す説明図である。図１８では、ポインターマーカーＰｔ４が重複部分の位置範囲上に表示されている状態において（図１７参照）、使用者が第一確定動作を実行した状態が表されている。使用者の第一確定動作が画像判定部１５５によって認識されると、制御部１０は特定対象であるエアコン操作パネルＡｒに対応する制御を開始する。エアコン操作パネルＡｒに対応する制御とは、第一表示である「メニュー」の仮想物Ｖｉ３を表示する制御である。
【０１３４】
以上のように、本実施形態のＨＭＤ１００によれば、対象指示機３００によって使用者の指示に応じて指し示した直線上の最も使用者側にある対象物に応じた仮想物を表示することができる。したがって、使用者は、自らの意思によって制御を実行する対象物を特定し、対象物に応じた画像を画像表示部に表示することができる。本実施形態のように使用者の指し示す方向が一方向に沿った直線である場合には、使用者は、画像表示部２０の表示画像上の視覚的に小さな対象物に対し、使用者の指によって直接指し示すことによって特定する態様と比較して、より正確に対象物を特定することができる。
【０１３５】
また、本実施形態のＨＭＤ１００によれば、画像表示部２０に表示された仮想物に位置範囲が付与される。使用者は、位置範囲が付与された仮想物を指し示すことによって仮想物を特定することができ、仮想物に応じた画像を表示させることができる。したがって、使用者は、自らの意思によって制御を実行する仮想物を特定し、仮想物に応じた画像を画像表示部に表示することができる。
【０１３６】
また、本実施形態のＨＭＤ１００によれば、使用者による確定動作が、第一範囲内である場合には、特定物に対応する表示処理が開始され、第一範囲より離れた位置である場合には、画像または仮想物に対応する第二表示処理が開始される。したがって、使用者は、制御を実行したい対象物と画像または仮想物とが重なっている場合であっても、いずれかを特定して制御を開始させることができる。
【０１３７】
Ｂ．他の実施形態：
（Ｂ１）上記実施形態において、ＨＭＤ１００は撮像部６１を備える。これに対して、ＨＭＤは撮像部を備えなくてもよい。この場合、例えば、深度センサー、赤外線センサー、紫外線センサー、超音波センサーといった、ＨＭＤが画像表示部から対象物までの距離が測定できる他の構成によって対象物の位置範囲を取得する態様や、対象物の位置範囲を取得した別体の機器から位置範囲のデータを受信する態様であってもよい。
【０１３８】
（Ｂ２）上記実施形態において、特定物に応じた画像である仮想物は、テキスト画像と、テキスト画像の表示領域の大きさに応じた領域を有する枠画像とによって構成される。これに対して、仮想物はこれらの画像に限定されない。例えば、特定対象を装飾するイメージ画像や、服飾品のイメージ画像など種々の画像を適用することができる。このような形態よれば、制御機器以外の対象物を特定し、対象物に応じた画像を表示することができる。
【０１３９】
（Ｂ３）上記実施形態において、制御部１０の画像判定部１５５は、対象物に対し、対象物データ１２５に予め記憶された画像と比較する画像認識処理であるパターンマッチングを行う。これに対して、制御部１０は、例えば、ディープラーニング（深層学習）による画像特徴抽出といったパターンマッチング以外の処理によって対象物を認識する。
【０１４０】
（Ｂ４）上記実施形態において、対象取得部１５９は、撮像部６１から取得される画像を解析してＳＬＡＭを実行する。これに対して、対象取得部は、ＳＬＡＭ以外の処理を採用してもよい。撮像部によって取得される画像の画像特徴点を使って三次元空間を構築する三次元空間認識（マーカーレスＡＲ）や、複数の撮像部によって撮像されたステレオ画像から三次元空間を構築するステレオビジョンや三次元点群（ポイントクラウド）といった種々の処理によって対象物の位置範囲を取得してもよい。このような態様であっても上記実施形態と同様な効果が得られることができる。
【０１４１】
（Ｂ５）上記実施形態において、使用者の指の水平方向への移動が本実施形態における確定動作である。これに対して、撮像部によって取得される使用者によって動かされる物の位置の変化は、使用者の指の動きに限らず使用者の身体の他の部位であってもよく、使用者によって使用者以外の物体が動かされることによる位置の変化であってもよい。このような態様であっても上記実施形態と同様な効果が得られることができる。
【０１４２】
（Ｂ６）上記実施形態において、制御部１０は、画像表示部２０から３０ｃｍ以内の位置を第一範囲として認識する。これに対して、第一範囲は３０ｃｍ以内には限定されない。第一範囲は、画像表示部からの距離が２０ｃｍ以内でもよい。このような態様であっても上記実施形態と同様な効果が得られることができる。
【０１４３】
（Ｂ７）上記実施形態において、制御部１０は、画像表示部２０から３０ｃｍより離れた位置を、第二確定動作を認識するための距離として設定している。これに対して、確定動作を認識するための距離は３０ｃｍには限定されない。確定動作を認識するための距離は、画像表示部からの距離が３０ｃｍから４０ｃｍの範囲に限定してもよいし、画像表示部からの距離が２０ｃｍより離れた位置として設定されてもよい。このような態様であっても上記実施形態と同様な効果が得られることができる。
【０１４４】
（Ｂ８）上記実施形態において、範囲作成部１６３は、画像表示部２０に表示される仮想物に対し、仮想物の枠画像の大きさに応じた位置範囲を付与する。これに対して、仮想物に対し位置範囲を付与しない態様であってもよい。このような態様においては、特定物に対応する仮想物を表示し、仮想物を特定しない形態とすることができる。このような態様であっても、使用者は、自らの意思によって制御を実行する対象物を特定し、対象物に応じた画像を画像表示部に表示することができる。
【０１４５】
（Ｂ９）上記実施形態において、使用者による確定動作が、第一範囲内である場合には、特定物に対応する表示処理が開始され、第一範囲より離れた位置である場合には、画像または仮想物に対応する第二表示処理が開始される。これに対して、第一範囲内である場合には、画像または仮想物に対応する第二表示処理が開始され、第一範囲より離れた位置である場合には、特定物に対応する表示処理が開始される態様であってもよい。このような態様であっても、使用者は、自らの意思によって制御を実行する対象物を特定し、対象物に応じた画像を画像表示部に表示することができる。
【０１４６】
（Ｂ１０）上記実施形態において、座標取得部１５７は、この使用者の対象指示機３００を介した指示に応じて定められる一方向に沿った直線と、上述したＳＬＡＭ処理によって取得した対象物の位置範囲との交点のうち最も使用者側にある対象交点を算出する。これに対して、使用者の対象指示機を介した指示に応じて定められる一方向に沿った直線は、線に限らず、例えば、円柱状のように予め定められた範囲を含む形状によって使用者が方向を指し示す態様であってもよい。このような態様においては、座標取得部は、使用者の指示に応じて定められた範囲を含む形状によって指し示された方向と、対象物の位置範囲との共有部分である指示領域を取得する態様であればよい。
【０１４７】
（Ｂ１１）上記実施形態では、画像判定部１５５および座標取得部１５７は、制御部１０に形成されたが、他の装置として単独に構成された画像処理システムやカメラやエンコーダによって、本発明を実現することも可能である。例えば、パターンマッチングの画像認識処理やＳＬＡＭ処理は、無線通信回線を介してクラウドコンピューティング、サーバーやホストコンピューター、スマートフォン、によって行なわれてもよい。
【０１４８】
（Ｂ１２）上記実施形態では、画像判定部１５５が確定動作として、使用者の指の水平方向への移動を検出した場合、制御部１０は第一特定表示処理を実行する。これに対して、確定動作は、使用者の指の水平方向への移動には限定されない。例えば、使用者の指ではなく、対象指示機器による画像上のポインターマーカーを予め定められた速度で左右に移動させる、使用者が指で仮想物をたたく、使用者が対象指示機器のスイッチを押す、使用者が指を左右に振る、使用者が仮想物にポインターマーカーを重ねた状態において対象指示機器を保持する手の指を振動させてダブルクリックする等、種々の確定動作を採用することができる。
【０１４９】
（Ｂ１３）上記実施形態において、対象指示機３００の出力部３０２には赤外線ＬＥＤの光源が備えられる。これに対して、対象指示機の出力部には、例えば、ＬＤ（Laser Diode）や超音波の送波器が備えられてもよい。このような態様においては、ＨＭＤ本体に、対象指示機に備えられる光源等に応じた受信機が備えられる態様であることが好ましい。
【０１５０】
（Ｂ１４）上記実施形態において、赤外線センサー６７は、位置検出素子（ＰＳＤ）を備える。これに対して、電荷結合素子（ＣＣＤ（Charge Coupled Devices））や、ＣＭＯＳを用いた固体撮像素子を備えていてもよい。
【０１５１】
Ｃ．他の形態：
本発明は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本発明は、以下の形態（aspect）によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本発明の課題の一部又は全部を解決するために、あるいは、本発明の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【０１５２】
（１）本発明の一形態によれば、透過型頭部装着型表示装置が提供される。この透過型頭部装着型表示装置は：外景を透過し、前記外景とともに画像を表示する画像表示部と；前記画像表示部を制御する制御部と、を備える。前記制御部は、前記外景に含まれる一以上の対象物の位置範囲を取得する対象取得処理と、使用者の指示に応じて定められる方向と、前記一以上の対象物の位置範囲との共有部分である指示領域のうち最も使用者側にある前記指示領域を取得する座標取得処理と、前記画像表示部において、前記位置範囲に前記指示領域を含む前記対象物である特定物に応じた画像を表示することができる表示処理と、を実行する。この形態の透過型頭部装着型表示装置よれば、使用者の指示に応じて指し示した直線上の最も使用者側にある対象物に応じた画像を表示することができる。したがって、使用者は、自らの意思によって制御を実行する対象物を特定し、対象物に応じた画像を画像表示部に表示することができる。例えば、使用者の指し示す方向が直線状である場合には、画像上の視覚的に小さな対象物を使用者の指によって直接指し示すことによって特定する態様と比較して、使用者はより正確に対象物を特定することができる。
【０１５３】
（２）上記形態の透過型頭部装着型表示装置において、前記外景を撮像する撮像部、を備えてもよい。前記制御部は、更に、撮像された前記外景に含まれる前記対象物の画像が、記憶部に予め記憶された記憶画像と一致するか否かを判定する画像判定処理、を実行する。前記表示処理は、前記特定物の画像が、前記画像判定処理によって前記記憶画像と一致すると判定された場合に、前記特定物に応じた画像として前記特定物の画像に対応付けられている仮想物を、前記画像表示部に表示する特定表示処理を含む。この形態の透過型頭部装着型表示装置によれば、使用者が特定した対象物について画像判定が実行される。制御部は、使用者が特定した対象物に対応付けられている仮想物を画像表示部に表示することができる。したがって、使用者は、例えば、表示された仮想物上に対象物の名称が表示されることによって、確実に対象物を特定することができる。
【０１５４】
（３）上記形態の透過型頭部装着型表示装置において、前記制御部は、更に、前記画像表示部に表示された前記仮想物を前記対象物として扱って前記表示処理を実行できるように前記仮想物に前記位置範囲を付与する範囲作成処理、を実行してもよい。前記座標取得処理によって取得された前記指示領域が、前記範囲作成処理によって付与された前記仮想物の位置範囲内に含まれる場合に、前記位置範囲に前記指示領域を含む前記仮想物が前記特定物であるとして、前記画像表示部において、前記仮想物に応じた画像をさらに表示する第二表示処理を実行する。この形態の透過型頭部装着型表示装置によれば、画像表示部に表示された仮想物に位置範囲が付与される。使用者は、位置範囲が付与された仮想物を指し示すことによって仮想物を特定することができ、仮想物に応じた画像を表示させることができる。したがって、使用者は、自らの意思によって制御を実行する仮想物を特定し、仮想物に応じた画像を画像表示部に表示することができる。
【０１５５】
（４）上記形態の透過型頭部装着型表示装置において、前記制御部は、前記撮像部によって取得される前記使用者によって動かされる物の位置の変化が、前記記憶部に予め記憶された位置の変化と一致する場合に、前記特定物に応じた前記表示処理または前記第二表示処理を開始してもよい。この形態の透過型頭部装着型表示装置よれば、画像判定処理によって対象物の位置の変化を判定させることによって、特定物に対応する表示処理または第二表示処理を開始させることができる。したがって、使用者は、対象物を特定した後に、対象物の位置の変化を行うか否かを判断することによって、特定物に対応する制御を実行するか否かを選択することができる。
【０１５６】
（５）上記形態の透過型頭部装着型表示装置において、前記使用者によって動かされる物は、前記使用者の指であってもよい。この形態の透過型頭部装着型表示装置よれば、人間の手の水平方向での移動によって、制御部に制御の実行を開始させる。したがって、使用者は対象物を特定した後に、より簡易な方法で特定物に対応する制御を実行させることができる。
【０１５７】
（６）上記形態の透過型頭部装着型表示装置において、前記制御部は、更に、前記表示処理および前記第二表示処理によって表示された前記画像を、予め定められた期間中において表示したままの状態を維持できる画像維持処理を実行してもよい。前記画像維持処理によって表示された状態を維持された前記画像と、前記対象物とが重なった時に、前記指が、前記画像表示部からの距離が第一範囲にある状態で、前記画像表示部に表示される領域を水平方向に移動された場合に、前記対象物に対応する前記表示処理を開始させる。前記指が、前記画像表示部からの距離が第一範囲より離れた位置にある状態で、前記画像表示部に表示される領域を水平方向に移動された場合に、前記表示を維持された前記画像に対応する前記第二表示処理を含む制御を開始させる。この形態の透過型頭部装着型表示装置よれば、使用者によって実行される指の位置の変化が、第一範囲内である状態では、特定物に対応する表示処理が開始され、第一範囲より離れた位置である状態では画像または仮想物に対応する第二表示処理が開始される。したがって、使用者は、制御を実行したい対象物と画像または仮想物とが重なっている場合であっても、いずれかを特定して制御を開始させることができる。
【０１５８】
（７）上記形態の透過型頭部装着型表示装置において、前記第一範囲は、前記画像表示部から３０ｃｍ以内の位置であってもよい。
【０１５９】
本発明は、透過型頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、透過型頭部装着型表示装置の製造方法や透過型頭部装着型表示装置のプログラムを記憶した一時的でない記憶媒体（non-transitory storage medium）等の形態で実現することができる。
【符号の説明】
【０１６０】
１０…制御部、１２…点灯部、１４…タッチパッド、１６…方向キー、１７…決定キー、１８…電源スイッチ、２０…画像表示部、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４６…コネクター、６１…撮像部、６３…マイク、６５…照度センサー、６７…赤外線センサー、１００…頭部装着型表示装置、１１０…操作部、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＮＳＳレシーバー、１１７…無線通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２２…記憶機能部、１２３…設定データ、１２４…コンテンツデータ、１２５…対象物データ、１２６…位置データ、１２７…画像データ、１２８…出力データ、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…メインプロセッサー、１４５…画像処理部、１４７…表示制御部、１４９…撮像制御部、１５０…制御機能部、１５１…入出力制御部、１５３…通信制御部、１５５…画像判定部、１５７…座標取得部、１５９…対象取得部、１６１…位置検知部、１６３…範囲作成部、１７０…制御装置、１７１…制御機器、１８０…音声コーデック、１８２…音声インターフェース、１８４…外部コネクター、１８６…外部メモリーインターフェース、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９６…インターフェース、２１０…表示ユニット基板、２１１…インターフェース、２１３…受信部、２１５…ＥＥＰＲＯＭ、２１７…温度センサー、２２１…ＯＬＥＤユニット、２２３…ＯＬＥＤパネル、２２５…ＯＬＥＤ駆動回路、２３０…表示ユニット基板、２３１…インターフェース、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１…ＯＬＥＤユニット、２４３…ＯＬＥＤパネル、２４５…ＯＬＥＤ駆動回路、２５１…右光学系、２５２…左光学系、２６１…ハーフミラー、２７１…コントローラー、２８１…ハーフミラー、２８４…第一表示、２８６…第二表示、３００…対象指示機、３０１…スイッチ、３０２…出力部、ＡＬ…先端、Ａｃ…エアコン、Ａｒ…エアコン操作パネル、ＥＬ…端部、ＥＲ…端部、ＨＤ１…左手、ＨＤ２…右手、Ｌ…画像光、ＬＤ…視線、ＬＥ…左眼、ＯＢ…対象物、ＯＬ…外光、ＰＮ…最大領域、Ｐｔ１…ポインターマーカー、Ｐｔ２…ポインターマーカー、Ｐｔ３…ポインターマーカー、Ｐｔ４…ポインターマーカー、ＲＤ…視線、ＲＥ…右眼、ＳＣ…外景、Ｔｒ…テレビ用リモコン、Ｔｓ…テレビ、ＶＲ…視野、Ｖｉ１…仮想物、Ｖｉ２…仮想物、Ｖｉ３…仮想物
【図１】
2019164420.tif 000003
【図２】
2019164420.tif 000004
【図３】
2019164420.tif 000005
【図４】
2019164420.tif 000006
【図５】
2019164420.tif 000007
【図６】
2019164420.tif 000008
【図７】
2019164420.tif 000009
【図８ａ】
2019164420.tif 000010
【図８ｂ】
2019164420.tif 000011
【図９】
2019164420.tif 000012
【図１０】
2019164420.tif 000013
【図１１】
2019164420.tif 000014
【図１２】
2019164420.tif 000015
【図１３】
2019164420.tif 000016
【図１４】
2019164420.tif 000017
【図１５】
2019164420.tif 000018
【図１６】
2019164420.tif 000019
【図１７】
2019164420.tif 000020
【図１８】
2019164420.tif 000021