(57)【要約】【課題】  表示制御を行うための機械的な操作手段が不要で、且つ、膨大な情報処理を実行することなく表示制御が可能なＨＭＤ及び、ＨＭＤシステムを提供すること。【解決手段】  外光を透過しつつ、コンテンツ情報に応じた画像光を観察者の眼に投射するシースルー型のＨＭＤに、観察者の視野範囲のうち少なくとも一部を撮像する撮像手段と、撮像手段の撮像領域に所定のマーク画像があるときに、そのマーク画像の一部が観察者により覆われ、マーク画像の形状の一部が欠損した形態が撮像手段により撮像されたとき、当該撮像した形態に応じた操作情報を選択する操作情報選択手段と、操作情報選択手段により選択された操作情報に応じた処理を行う操作処理手段とを設けた。【選択図】図１
2009245392.tif 000002
【特許請求の範囲】
【請求項１】
外光を透過しつつ、コンテンツ情報に応じた画像光を観察者の眼に投射するシースルー型のヘッドマウントディスプレイにおいて、
前記観察者の視野範囲のうち少なくとも一部を撮像する撮像手段と、
前記撮像手段の撮像領域にマーク表示体に表示された所定のマーク画像があるときに、前記マーク画像の一部が前記観察者により覆われ、前記マーク画像の一部が欠損した形態が前記撮像手段により撮像されたとき、当該撮像されたマーク画像の形態に応じた操作情報を選択する操作情報選択手段と、
前記操作情報選択手段により選択された操作情報に応じた処理を行う操作処理手段と、を備えたヘッドマウントディスプレイ。
【請求項２】
前記撮像手段で撮像した画像に前記マーク画像全体が含まれているとき、複数種類のコンテンツ情報の中から当該マーク画像に応じたコンテンツ情報を選択するコンテンツ情報選択手段を有し、
前記操作情報選択手段は、前記コンテンツ情報選択手段によりコンテンツ情報が選択された後、前記マーク画像の一部が欠損した形態が前記撮像手段により撮像されたとき、前記選択されたコンテンツ情報に応じた操作情報を、前記一部が欠損して撮像されたマーク画像の形態に基づいて選択する
ことを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項３】
前記コンテンツ情報選択手段は、前記マーク画像に応じたコンテンツ情報を選択した後、当該マーク画像が前記撮像手段で撮像した画像に含まれなくなってから所定期間経過すると、前記コンテンツ情報の選択を終了することを特徴とする請求項２に記載のヘッドマウントディスプレイ。
【請求項４】
前記撮像手段により撮像される前記マーク画像の欠損形態に操作情報を関連づけた第１対応テーブルを記憶する第１記憶手段を備え、
前記操作情報選択手段は、前記操作情報の選択を前記第１記憶手段に記憶した第１対応テーブルに基づいて行うことを特徴とする請求項１〜３のいずれか１項に記載のヘッドマウントディスプレイ。
【請求項５】
前記第１記憶手段は、前記コンテンツ情報の種別に対応したマーク画像毎に、撮像される前記マーク画像の形態に操作情報を関連づけた前記第１対応テーブルを記憶することを特徴とする請求項４に記載のヘッドマウントディスプレイ。
【請求項６】
前記コンテンツ情報の種別にマーク画像全体の形態情報を関連付けた第２対応テーブルを記憶した第２記憶手段を備え、
前記コンテンツ情報選択手段は、前記コンテンツ情報の選択を第２記憶手段に記憶した第２対応テーブルに基づいて行うことを特徴とする請求項２又は請求項３に記載のヘッドマウントディスプレイ。
【請求項７】
前記第２記憶手段は、前記第２対応テーブルにおける前記マーク画像全体の形態情報として、少なくとも一部の領域の反射率、色及び模様のうち少なくとも一つが異なる形態の情報を前記コンテンツの種別毎に関連づけたテーブルを記憶していることを特徴とする請求項６に記載のヘッドマウントディスプレイ。
【請求項８】
前記マーク画像は、十字形状であることを特徴とする請求項１〜７のいずれか１項に記載のヘッドマウントディスプレイ。
【請求項９】
前記マーク画像は、その外縁部分においてコントラストが強調されていることを特徴とする請求項１〜８のいずれか１項に記載のヘッドマウントディスプレイ。
【請求項１０】
前記マーク画像は、蛍光色であることを特徴とする請求項１〜９のいずれか１項に記載のヘッドマウントディスプレイ。
【請求項１１】
前記マーク画像には、その一部の領域に前記マーク画像の種別を区別するための模様が施されていることを特徴とする請求項１〜１０のいずれか１項に記載のヘッドマウントディスプレイ。
【請求項１２】
前記模様は、２次元バーコードであることを特徴とする請求項１１に記載のヘッドマウントディスプレイ。
【請求項１３】
前記模様は、前記マーク画像の中心位置に配置されていることを特徴とする請求項１１又は請求項１２に記載のヘッドマウントディスプレイ。
【請求項１４】
前記撮像手段によって撮像される領域を案内表示する画像光を前記観察者の眼に投射することを特徴とする請求項１〜１３のいずれか１項に記載のヘッドマウントディスプレイ。
【請求項１５】
前記操作情報選択手段で選択した操作情報に応じた前記マーク画像の欠損形態の画像光を前記観察者の眼に投射する
ことを特徴とする請求項１〜１４のいずれか１項に記載のヘッドマウントディスプレイ。
【請求項１６】
前記操作情報選択手段は、前記マーク画像の一部が欠損した状態で前記撮像手段により撮像される状態が継続したときに、当該マーク画像の形態に応じた操作情報を選択することを特徴とする請求項１〜１５のいずれか１項に記載のヘッドマウントディスプレイ。
【請求項１７】
前記撮像手段によって撮像される領域を照らす照明手段を備えたことを特徴とする請求項１〜１６のいずれか１項に記載のヘッドマウントディスプレイ。
【請求項１８】
請求項１〜１７のいずれか１項に記載のヘッドマウントディスプレイと、前記所定のマーク画像が表示されたマーク表示体とを備えたヘッドマウントディスプレイシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステムに関するものであり、特に、外光を透過しつつ、コンテンツ情報に応じた画像光を観察者の眼に投射するシースルー型のヘッドマウントディスプレイ及び同ディスプレイを備えたヘッドマウントディスプレイシステムに関するものである。
【背景技術】
【０００２】
従来より、動画ファイル、静止画ファイル、文章ファイル等の各種コンテンツ情報を記憶する記憶手段と、この記憶手段に記憶したコンテンツ情報を再生する再生手段とを備えた情報処理装置が知られている。
【０００３】
この情報処理装置の代表例としては、パーソナルコンピュータがある。一般にパーソナルコンピュータは、前記記憶手段や前記再生手段等を備えたコンピュータ本体と、このコンピュータ本体に所定の動作を行わせるために使用者が操作するキーボードやマウス等の機械的な操作手段と、再生手段により再生されたコンテンツ情報を画像として表示するディスプレイ等とから構成されている。
【０００４】
このコンテンツ情報を表示するディスプレイとしては、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ等の卓上に載置して使用する表示装置が一般的であったが、近年、コンテンツ情報を画像信号に変換し、この画像信号に基づいて生成した画像光（以下、「画像光」という。）を使用者の眼に導いて走査する光走査部を備え、使用者が頭部に装着した状態で前記走査部を動作させることによって、画像光を使用者の網膜上で２次元方向に走査させて、使用者に画像を視認させることができるＨＭＤ（ヘッドマウントディスプレイ）も開発されている。
【０００５】
また、近年では、ＨＭＤ内部に前記記憶手段と前記再生手段等を備えたコンテンツ情報再生装置も開発されている。
【０００６】
これらの各種ディスプレイに表示させる画像の選択、表示中の画像の変更、早送り、巻き戻し等の制御（以下、「表示制御」という。）を行う場合には、通常、何らかの機械的な操作手段を操作する必要があり、その操作が煩雑であるという問題があった。
【０００７】
たとえば、コンピュータ本体に接続されたディスプレイの場合、使用者は、そのディスプレイの表示制御を行うために、マウスやキーボード等の機械的な操作手段を操作しなければならず、その操作が煩雑であった。
【０００８】
特に、前記記憶手段や前記再生手段等を内蔵したＨＭＤの場合、使用者は、ＨＭＤの表示制御を行うために、ＨＭＤを頭部に装着した状態で視認できない位置に設けられた機械的な操作手段を操作しなければならず、その操作が煩雑であった。
【０００９】
かかる問題を解消するものとして、特許文献１には、使用者の手の形状を認識する認識手段と、この認識手段により認識された手の形状の特徴を特殊形状として画面に表示する表示手段と、前記表示手段により画面に表示された特殊形状により、画面内に表示された情報を制御する制御手段とを備えた装置が記載されている。
【００１０】
この装置によれば、使用者は、操作手段を操作しなくても、指先等を動かして手の形状を変更するだけで、ディスプレイの表示制御を行うことができるので、機械的な操作手段を操作しなければならないといった煩雑さから解消される。
（たとえば、特許文献１参照。）
【特許文献１】特開平０９−１８５４５６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
ところが、上記従来の装置では、認識手段が使用者の手の形状を誤認識して、ディスプレイの表示制御を正常に行えないおそれがあった。
【００１２】
すなわち、使用者の手の形状は、使用者の年齢や性別により多種多様であるため、その区別を認識手段が正確に判断することが困難で、認識手段が手の形状を誤認識した場合には、正常な表示制御ができないおそれがあった。
【００１３】
また、使用者によっては、手等を単純に動かすことができても、指先等を自在に操って、手を所定の形状に器用に変形させることができない人もいるので、所定の形状を含めた大まかな手の形状を認識手段に認識させ、その認識結果に基づいて制御手段に正確な表示制御を行わせるためには、予め膨大な手の形状の情報を記憶しておく必要があり、その膨大な情報と認識手段が認識した実際の手の形状とを照合するために膨大な情報処理が必要となり、制御手段の処理負荷が増大するという問題が生じるおそれがあった。
【課題を解決するための手段】
【００１４】
そこで請求項１に係る本発明では、外光を透過しつつ、コンテンツ情報に応じた画像光を観察者の眼に投射するシースルー型のヘッドマウントディスプレイにおいて、前記観察者の視野範囲のうち少なくとも一部を撮像する撮像手段と、前記撮像手段の撮像領域にマーク表示体に表示された所定のマーク画像があるときに、前記マーク画像の一部が前記観察者により覆われ、前記マーク画像の一部が欠損した形態が前記撮像手段により撮像されたとき、当該撮像されたマーク画像の形態に応じた操作情報を選択する操作情報選択手段と、前記操作情報選択手段により選択された操作情報に応じた処理を行う操作処理手段と、を備えることとした。
【００１５】
また、請求項２に係る本発明では、請求項１に記載のヘッドマウントディスプレイにおいて、前記撮像手段で撮像した画像に前記マーク画像全体が含まれているとき、複数種類のコンテンツ情報の中から当該マーク画像に応じたコンテンツ情報を選択するコンテンツ情報選択手段を有し、前記操作情報選択手段は、前記コンテンツ情報選択手段によりコンテンツ情報が選択された後、前記マーク画像の一部が欠損した形態が前記撮像手段により撮像されたとき、前記選択されたコンテンツ情報に応じた操作情報を、前記一部が欠損して撮像されたマーク画像の形態に基づいて選択することを特徴とする。
【００１６】
また、請求項３に係る本発明では、請求項２に記載のヘッドマウントディスプレイにおいて、前記コンテンツ情報選択手段は、前記マーク画像に応じたコンテンツ情報を選択した後、当該マーク画像が前記撮像手段で撮像した画像に含まれなくなってから所定期間経過すると、前記コンテンツ情報の選択を終了することを特徴とする。
【００１７】
また、請求項４に係る本発明では、請求項１〜３のいずれか１項に記載のヘッドマウントディスプレイにおいて、前記撮像手段により撮像される前記マーク画像の欠損形態に操作情報を関連づけた第１対応テーブルを記憶する第１記憶手段を備え、前記操作情報選択手段は、前記操作情報の選択を前記第１記憶手段に記憶した第１対応テーブルに基づいて行うことを特徴とする。
【００１８】
また、請求項５に係る本発明では、請求項４に記載のヘッドマウントディスプレイにおいて、前記第１記憶手段は、前記コンテンツ情報の種別に対応したマーク画像毎に、撮像される前記マーク画像の形態に操作情報を関連づけた前記第１対応テーブルを記憶することを特徴とする。
【００１９】
また、請求項６に係る本発明では、請求項２又は請求項３に記載のヘッドマウントディスプレイにおいて、前記コンテンツ情報の種別にマーク画像全体の形態情報を関連付けた第２対応テーブルを記憶した第２記憶手段を備え、前記コンテンツ情報選択手段は、前記コンテンツ情報の選択を第２記憶手段に記憶した第２対応テーブルに基づいて行うことを特徴とする。
【００２０】
また、請求項７に係る本発明では、請求項６に記載のヘッドマウントディスプレイにおいて、前記第２記憶手段は、前記第２対応テーブルにおける前記マーク画像全体の形態情報として、少なくとも一部の領域の反射率、色及び模様のうち少なくとも一つが異なる形態の情報を前記コンテンツの種別毎に関連づけたテーブルを記憶していることを特徴とする。
【００２１】
また、請求項８に係る本発明では、請求項１〜７のいずれか１項に記載のヘッドマウントディスプレイにおいて、前記マーク画像は、十字形状であることを特徴とする。
【００２２】
また、請求項９に係る本発明では、請求項１〜８のいずれか１項に記載のヘッドマウントディスプレイにおいて、前記マーク画像は、その外縁部分においてコントラストが強調されていることを特徴とする。
【００２３】
また、請求項１０に係る本発明では、請求項１〜９のいずれか１項に記載のヘッドマウントディスプレイにおいて、前記マーク画像は、蛍光色であることを特徴とする。
【００２４】
また、請求項１１に係る本発明では、請求項１〜１０のいずれか１項に記載のヘッドマウントディスプレイにおいて、前記マーク画像には、その一部の領域に前記マーク画像の種別を区別するための模様が施されていることを特徴とする。
【００２５】
また、請求項１２に係る本発明では、請求項１１に記載のヘッドマウントディスプレイにおいて、前記模様は、２次元バーコードであることを特徴とする。
【００２６】
また、請求項１３に係る本発明では、請求項１１又は請求項１２に記載のヘッドマウントディスプレイにおいて、前記模様は、前記マーク画像の中心位置に配置されていることを特徴とする。
【００２７】
また、請求項１４に係る本発明では、請求項１〜１３のいずれか１項に記載のヘッドマウントディスプレイにおいて、前記撮像手段によって撮像される領域を案内表示する画像光を前記観察者の眼に投射することを特徴とする。
【００２８】
また、請求項１５に係る本発明では、請求項１〜１４のいずれか１項に記載のヘッドマウントディスプレイにおいて、前記操作情報選択手段で選択した操作情報に応じた前記マーク画像の欠損形態の画像光を前記観察者の眼に投射することを特徴とする。
【００２９】
また、請求項１６に係る本発明では、請求項１〜１５のいずれか１項に記載のヘッドマウントディスプレイにおいて、前記操作情報選択手段は、前記マーク画像の一部が欠損した状態で前記撮像手段により撮像される状態が継続したときに、当該マーク画像の形態に応じた操作情報を選択することを特徴とする。
【００３０】
また、請求項１７に係る本発明では、請求項１〜１６のいずれか１項に記載のヘッドマウントディスプレイにおいて、前記撮像手段によって撮像される領域を照らす照明手段を備えたことを特徴とする。
【００３１】
また、請求項１８に係る本発明では、請求項１〜１７のいずれか１項に記載のヘッドマウントディスプレイと、前記所定のマーク画像が表示されたマーク表示体とを備えたヘッドマウントディスプレイシステムとした。
【発明の効果】
【００３２】
本発明によれば、ディスプレイの表示制御を行うために使用者が操作する機械的な操作手段を設ける必要がなく、且つ、膨大な情報処理を実行することなくディスプレイの表示制御を行うことができるヘッドマウントディスプレイ、及び、同ディスプレイを備えたヘッドマウントディスプレイシステムを提供することができる。
【発明を実施するための最良の形態】
【００３３】
以下、本発明の一実施形態について、図面を参照して具体的に説明する。図１は、本実施形態に係るヘッドマウントディスプレイシステムを示す説明図である。
【００３４】
ここで、図１（ａ）は、ヘッドマウントディスプレイシステムの概観を示す斜視図であり、図１（ｂ）は、図１（ａ）に示す状態のときの使用者の視野を示す説明図である。
【００３５】
図１（ａ）に示すように、本実施形態に係るヘッドマウントディスプレイ（以下、「ＨＭＤ」という。）システムＳは、観察者である使用者Ｐが頭部に装着した状態で、動画ファイル、静止画ファイル、文章ファイル等の各種コンテンツ情報を画像としてその使用者Ｐに視認可能に表示するＨＭＤ１と、このＨＭＤ１の操作に用いられるマーク表示体（ここでは、机）に表示された所定のマーク画像Ｍとを備えている。なお、図１（ａ）中の符号Ｆは、使用者Ｐの指である。
【００３６】
本実施形態では、マーク画像を表示させるマーク表示体を机として説明するが、マーク表示体は、これに限定するものではなく、マーク画像を表示（使用者Ｐに視認）させることができるものであれば、マーク画像を印刷可能なシールやマーク画像を表示可能な液晶ディスプレイ等の表示装置としてもよい。
【００３７】
このＨＭＤ１は、内部又は外部に記憶されている各種コンテンツ情報を画像信号に変換し、この画像信号に基づいて生成した画像光（以下、「画像光」という。）を使用者Ｐの眼に導いて走査する光走査部を備え、使用者Ｐが頭部に装着した状態で前記走査部を動作させることによって、画像光を使用者の網膜上で２次元方向に走査させることにより、使用者Ｐにコンテンツ情報に対応する画像（以下、単に「コンテンツ」という。）を視認させることができるように構成している。なお、このＨＭＤ１の具体的構成については、後に詳述する。
【００３８】
また、このＨＭＤ１は、コンテンツを表示している最中であっても、使用者Ｐの視野の中で、そのコンテンツを表示している領域以外の領域では、使用者Ｐが外界を視認できるように構成している。
【００３９】
すなわち、このＨＭＤ１は、外光を透過しつつ、コンテンツ情報に応じた画像光を使用者Ｐの眼に投射するシースルー型のヘッドマウントディスプレイである。
【００４０】
また、このＨＭＤ１は、表示するコンテンツの種類の選択や、表示するコンテンツの早送り、巻き戻し、拡大、縮小等を行う各種制御（以下、「表示制御」）を実行可能に構成している。
【００４１】
特に、このＨＭＤシステムＳでは、ＨＭＤ１に各種表示制御を実行させるために使用者Ｐが操作する機械的な操作手段を設ける代わりに、使用者ＰがＨＭＤ１を装着した状態で視界に入る任意の位置（ここでは、机上）に所定のマーク画像Ｍを設けている。本実施形態では、図１に示すように、縁が黒色、縁の内側が白色に着色された平面視十字形状のマーク画像Ｍを用いている。
【００４２】
本実施形態のＨＭＤ１は、上記のようにシースルー型であるため、図１（ａ）に示すような使用形態において、使用者Ｐが視界の中の所定位置にマーク画像Ｍが来るように頭の位置を変えることにより、使用者Ｐからは、図１（ｂ）に示すような視界が広がることとなる。
【００４３】
図１（ｂ）において、符号４は、使用者Ｐの視野を模式的に示した領域であり、符号５は、コンテンツが表示される領域（以下、「コンテンツ表示領域」という。）であり、符号６は、後述のマーク画像認識領域であり、符号７は、マーク画像Ｍを位置合わせするための案内表示（以下、「照準」という。）である。
【００４４】
そして、このＨＭＤシステムＳでは、照準に合わせるマーク画像の種類によって、ＨＭＤ１に表示させるコンテンツの種類を選択することができると共に、照準に合わせたマーク画像Ｍの一部を使用者Ｐが指Ｆ等により覆って、マーク画像Ｍの視認可能な部分の形態（ここでは、形状）を変化させることによって、その形状に応じた各種表示制御をＨＭＤ１に実行させることができるように構成している。
【００４５】
すなわち、本実施形態のＨＭＤ１は、使用者Ｐの視野範囲のうち少なくとも一部の領域を撮像する撮像手段としてのＣＣＤ（Charge Coupled Devices）センサ２と、このＣＣＤセンサ２の撮像領域にマーク表示体に表示された所定のマーク画像Ｍあるとき、複数種類のコンテンツの中から、そのマーク画像Ｍの種類に応じたコンテンツを選択するコンテンツ情報選択手段と、ＣＣＤセンサ２の撮像領域にマーク表示体に表示された所定のマーク画像Ｍあるときに、このマーク画像Ｍの一部が使用者Ｐにより覆われ、マーク画像Ｍの一部が欠損した形態がＣＣＤセンサ２により撮像されると、当該撮像されたマーク画像Ｍの形態に応じた操作情報を選択する操作情報選択手段と、この操作情報選択手段により選択された操作情報に応じた処理を行う操作処理手段とを備えている。なお、図１（ａ）中の符号８は、外界の明るさを検出する輝度センサであり、符号３は、輝度センサ８により外界の明るさが所定の明るさを下回ったことが検知されたときに、ＣＣＤセンサ２の撮像領域を照らす照明手段としてのＬＥＤ（Light Emitting Diode）である。
【００４６】
本実施形態では、ＨＭＤ１の制御部１１０（図５参照。）において、後述のＣＰＵ１０１が所定の情報処理プログラムを実行することによって、上記コンテンツ情報選択手段、操作情報選択手段、操作処理手段等として機能する。
【００４７】
また、このＨＭＤ１は、ＣＣＤセンサ２により撮像される複数種類のマーク画像Ｍの形態（ここでは、形状）と、当該ＨＭＤ１が有する複数種類の表示制御に対応した操作情報とを関連づけた第１対応テーブル（図６参照。）を記憶する第１記憶手段を備えている。なお、この第１対応テーブルの具体的内容については、後に詳述する。
【００４８】
そして、前記操作情報選択手段は、操作情報の選択を行う際に、この第１記憶手段に記憶した第１対応テーブルを参照し、ＣＣＤセンサ２により撮像したマーク画像Ｍの形状に対応した操作情報を選択するように構成している。
【００４９】
ここで、本実施形態のＨＭＤシステムＳにおいて、使用者Ｐがマーク画像Ｍを用いて
ＨＭＤ１に表示制御を実行させた場合の一例について、図２を参照して説明する。
【００５０】
図２は、マーク画像Ｍを用いたＨＭＤ１の表示制御中における使用者Ｐの視界を模式的に示した説明図であり、具体的には、図２（ａ）〜（ｆ）において、使用者ＰがＨＭＤ１に電源が投入し、マーク画像Ｍを用いて、ある動画のコンテンツを表示させるときの表示制御の一連の流れを示しており、図２（ｇ）、（ｈ）において、使用者Ｐがマーク画像Ｍを用いて、表示中のある動画のコンテンツを先に進める一連の表示制御の流れを示している。
【００５１】
図２（ａ）に示すように、ＨＭＤ１の電源がＯＦＦのときには、何の画像も表示されず、使用者Ｐの視界４には、ＨＭＤ１を介して外界の様子が視認可能な状態となっている。
【００５２】
次に、図２（ｂ）に示すように、使用者ＰによってＨＭＤ１に電源が投入されてＯＮになると、ＨＭＤ１の制御部１１０は、使用者Ｐの視界４内に、これからコンテンツが表示されるコンテンツ表示領域５の外枠部分と、ＣＣＤセンサ２によって撮像される領域を案内表示するマーク認識領域６の外枠部分と、マーク画像ＭをＣＣＤセンサ２に精度良く認識させるための案内表示として機能する照準７とを破線により表示する。
【００５３】
このとき、ＨＭＤ１の制御部１１０は、コンテンツ表示領域５、マーク認識領域６、照準７を表示するための画像光を使用者Ｐの眼に投射することによって、これらコンテンツ表示領域５、マーク認識領域６、照準７を使用者Ｐに視認させるようにしている。
【００５４】
次に、図２（ｃ）に示すように、使用者Ｐが頭を動かして、照準７を目印にマーク画像Ｍが視界４中のマーク認識領域６内に入るようにする。
【００５５】
その後、図２（ｃ）に示す状態が所定時間（たとえば、２秒間）継続すると、ＨＭＤ１の制御部１１０は、図２（ｄ）に示すように、照準７及びマーク画像Ｍに重なり合う位置に十字形状の認識マークｍを表示することによって、マーク画像Ｍ全体が当該ＨＭＤ１により認識されたことを使用者Ｐへ報知する。
【００５６】
後に詳述するが、このときＨＭＤ１では、認識したマーク画像Ｍ全体の形態から、コンテンツ情報選択手段がそのマーク画像Ｍに対応したコンテンツを選択し、図２（ｅ）に示すように、コンテンツ表示領域５内に当該選択したコンテンツを表示して再生すると共に、認識マークｍの表示を終了する表示制御を行う。
【００５７】
すなわち、制御部１１０は、ＣＣＤセンサ２により、マーク画像Ｍ全体（形状の一部が欠損していないマーク画像Ｍ）が所定時間継続して撮像されたときに、コンテンツ情報選択手段として機能して、そのマーク画像Ｍに応じたコンテンツを選択した後、操作情報選択手段として機能して、コンテンツの再生を開始するための操作情報を選択し、その後、操作処理手段として機能して、コンテンツを再生する処理を実行する。
【００５８】
このように、コンテンツ表示領域５内でコンテンツの再生を開始すると、その後、ＨＭＤ１の制御部１１０はコンテンツの再生を継続するが、この間に、使用者Ｐが頭を動かして、図２（ｆ）に示すように、マーク画像Ｍがマーク認識領域６の外側に位置する状態が所定時間（例えば、１０秒間）継続した場合には、コンテンツの再生を終了する。
【００５９】
ただし、制御部１１０は、マーク画像Ｍがマーク認識領域６の外側に位置してから所定時間（たとえば、１０秒）が経過する前に、使用者Ｐが頭を元の位置に戻して、マーク画像Ｍをマーク認識領域６内に戻した場合、コンテンツの再生を継続させるように表示制御を行う。
【００６０】
このように、ＨＭＤ１の制御部１１０は、マーク画像Ｍに応じたコンテンツ情報を選択し、このコンテンツ情報に対応するコンテンツの表示を開始した後、当該マーク画像Ｍの画像がマーク認識領域６から外れて所定期間が経過すると、そのコンテンツ情報の選択を終了する。
【００６１】
また、このＨＭＤ１の制御部１１０は、図２（ｇ）に示すように、複数のChapterに区切られた動画のコンテンツにおけるChapter１の部分を再生しているときに、使用者Ｐが指でマーク画像Ｍの左側凸部を覆った場合、図２（ｈ）に示すように、当該コンテンツにおける次のChapter（Chapter２）を再生する（早送りする）表示制御を実行する。
【００６２】
ここで、制御部１１０は、図２（ｇ）に示すように、使用者Ｐがマーク画像Ｍの一部を覆い隠すことによって、マーク画像Ｍの形状の一部（ここでは、左側凸部）が欠損した状態でＣＣＤセンサ２により撮像される状態が所定時間（例えば、２秒）継続したときに、当該マーク画像Ｍの形態に応じた操作情報として、次のChapterを再生する処理情報を選択する。
【００６３】
また、この制御部１１０は、次のChapterを再生する操作情報を選択すると、次のChapterを再生する前に、図２（ｈ）に示すように、選択した操作情報に応じたマーク画像Ｍの形態の画像光を使用者Ｐの眼に投射して、マーク画像Ｍの覆い隠されていない部分に模式化した認識マークｍを使用者Ｐに視認させる表示制御を行う。
【００６４】
このように、本実施形態のＨＭＤシステムＳでは、使用者ＰがＨＭＤ１を装着してコンテンツを鑑賞するとき、使用者Ｐの視野に入る任意の位置にマーク画像Ｍを表示させておき、このマーク画像Ｍ全体をマーク認識領域６内に入るように頭を動かすだけで、ＨＭＤ１に表示させるコンテンツを選択して、再生を開始させることができ、コンテンツの再生中にマーク画像Ｍの左側凸部を覆い隠すだけで、そのコンテンツにおける次のChapterを再生させることができるので、ＨＭＤ１の表示制御を行うために使用者Ｐが操作する機械的な操作手段を設ける必要がない。
【００６５】
しかも、マーク画像Ｍとして、十字形状という比較的単純な図形を模った画像を用いており、ＨＭＤ１は、使用者Ｐにより覆い隠されていないマーク画像Ｍの一部分の図形を認識して、その図形に対応する処理情報を選択するように構成しているため、複雑な図形の形状を判別して認識する必要がなく、操作情報を選択する際に図形を誤認識する可能性を可及的に低減することができる。
【００６６】
さらに、本実施形態のＨＭＤ１は、ＣＣＤセンサ２により撮像されるマーク画像Ｍの使用者Ｐに覆い隠されていない部分の形状と、複数種類の操作情報とを対応させた第１対応テーブルを備えているため、実際にＣＣＤセンサ２により撮像したマーク画像Ｍの形状と、第１対応テーブル内の図形とを比較照合するだけで、膨大な情報処理を実行することなく、当該ＨＭＤ１の表示制御を行うことができる。
【００６７】
また、図２では、マーク画像Ｍを用いて、ＨＭＤ１により動画のコンテンツを再生する場合と、再生中のコンテンツを進める場合についてのみ説明したが、本実施形態のＨＭＤ１は、使用者Ｐがマーク画像Ｍにおける覆い隠す部分を変更するだけで、再生するコンテンツの画像の拡大・縮小等、複数種類の表示制御を実行できるように構成している。
【００６８】
ここで、本実施形態のＨＭＤ１が有する複数種類の表示制御機能を実行させるためのマーク画像Ｍの使用方法等について、図３を参照して説明する。
【００６９】
図３は、ＨＭＤ１に各種表示制御機能を実行させる際に、使用者Ｐがマーク画像Ｍを用いて行う各操作、及び、そのときに表示される認識マークｍを示す説明図である。
【００７０】
図３（ａ）に示すように、コンテンツの再生中に、使用者Ｐがマーク画像Ｍを全く覆い隠さない場合、すなわち、マーク画像Ｍ全体をマーク認識領域６内に位置させた状態で使用者Ｐが何もしない場合、ＨＭＤ１の制御部１１０は、コンテンツの再生を継続する表示制御を実行する。
【００７１】
また、図３（ｂ）に示すように、使用者Ｐが指Ｆでマーク画像Ｍの左側凸部を覆い隠した場合、ＨＭＤ１の制御部１１０は、上記のように、再生中のコンテンツにおける一つ次のchapterを再生する表示制御、すなわち、コンテンツを進める表示制御を行う。
【００７２】
このとき、制御部１１０は、一つ次のchapterを再生する前に、認識マークｍとして、マーク画像Ｍにおける使用者Ｐに隠されていない部分の図形、すなわち、使用者Ｐから見てＴの字を反時計周りに９０度回転させた図形を表示する。
【００７３】
また、図３（ｃ）に示すように、使用者Ｐが指Ｆでマーク画像Ｍの右側凸部を覆い隠した場合、ＨＭＤ１の制御部１１０は、再生中のコンテンツにおける一つ前のchapterを再生する表示制御、すなわち、コンテンツを戻す表示制御を行う。
【００７４】
このとき、制御部１１０は、一つ前のchapterを再生する前に、認識マークｍとして、マーク画像Ｍにおける使用者Ｐに隠されていない部分の図形、すなわち、使用者Ｐから見てＴの字を時計周りに９０度回転させた図形を表示する。
【００７５】
また、図３（ｄ）に示すように、使用者Ｐが指Ｆでマーク画像Ｍの下側凸部を覆い隠した場合、ＨＭＤ１の制御部１１０は、再生中のコンテンツを拡大表示する表示制御を行う。
【００７６】
このとき、制御部１１０は、コンテンツを拡大表示する前に、認識マークｍとして、マーク画像Ｍにおける使用者Ｐに隠されていない部分の図形、すなわち、使用者Ｐから見てＴの字を時計周りに上下反転させた図形を表示する。
【００７７】
また、図３（ｅ）に示すように、使用者Ｐが指Ｆでマーク画像Ｍの上側凸部を覆い隠した場合、ＨＭＤ１の制御部１１０は、再生中のコンテンツを縮小表示する表示制御を行う。
【００７８】
このとき、制御部１１０は、コンテンツを縮小表示する前に、認識マークｍとして、マーク画像Ｍにおける使用者Ｐに隠されていない部分の図形、すなわち、使用者Ｐから見てＴの字の図形を表示する。
【００７９】
また、図３（ｆ）に示すように、使用者Ｐが指Ｆでマーク画像Ｍの左右側凸部を覆い隠した場合、ＨＭＤ１の制御部１１０は、再生中のコンテンツを一時停止する表示制御を行う。
【００８０】
このとき、制御部１１０は、コンテンツを一時停止する前に、認識マークｍとして、マーク画像Ｍにおける使用者Ｐに隠されていない部分の図形、すなわち、使用者Ｐから見てＩの字の図形を表示する。
【００８１】
また、図３（ｇ）に示すように、使用者Ｐが指Ｆでマーク画像Ｍの上下側凸部を覆い隠した場合、ＨＭＤ１の制御部１１０は、コンテンツの一時停止を解除する表示制御を行う。
【００８２】
このとき、制御部１１０は、コンテンツの一時停止を解除する前に、認識マークｍとして、マーク画像Ｍにおける使用者Ｐに隠されていない部分の図形、すなわち、使用者Ｐから見てＩの字を時計回りに９０度回転させた図形を表示する。
【００８３】
また、図３（ｈ）に示すように、使用者Ｐが指Ｆでマーク画像Ｍの上及び右側凸部を覆い隠した場合、ＨＭＤ１の制御部１１０は、コンテンツの再生を停止、すなわち、コンテンツの再生を強制的に終了する表示制御を行う。
【００８４】
このとき、制御部１１０は、コンテンツの再生を終了する前に、認識マークｍとして、マーク画像Ｍにおける使用者Ｐに隠されていない部分の図形、すなわち、使用者Ｐから見てＬの字を時計回りに１８０度回転させた図形を表示する。
【００８５】
このように、本実施形態のＨＭＤ１は、使用者Ｐがマーク画像Ｍの覆い隠す部分を変更するだけで、制御部１１０がそのマークの欠損形態に応じた表示制御を実行するので、スイッチ等の機械的な操作手段を操作することなく、当該ＨＭＤ１が備える各種機能を実行させることができ、使用者Ｐにとっての操作性を向上させることができる。
【００８６】
また、本実施形態のＨＭＤ１は、上記した動画のコンテンツ以外にも、静止画のコンテンツ、インターネット上に公開されているＷｅｂサイトのコンテンツ、テキスト文書のコンテンツ等、様々なコンテンツを表示可能に構成している。
【００８７】
以下の説明において、動画のコンテンツを表示することを動画表示、静止画のコンテンツを順次表示することをスライド表示、Ｗｅｂサイトのコンテンツを表示することをＷｅｂ表示、テキスト文書のコンテンツを表示することをテキスト表示という。なお、ＨＭＤ１によりＷｅｂ表示を行う場合には、当該ＨＭＤ１を図示しないインターネットに接続された外部装置に接続し、その外部装置から入力される画像信号に基づいてＷｅｂ表示を行う。
【００８８】
特に、本実施形態のＨＭＤシステムＳでは、形状は上記マーク画像Ｍと同じ十字形状ではあるが、ＨＭＤ１に表示するコンテンツの種別毎に、それぞれ形態が異なる複数種類のマーク画像を設けている。
【００８９】
図４は、複数種類のマーク画像Ｍ、Ｍ１、Ｍ２、Ｍ３と、そのマーク画像Ｍ、Ｍ１、Ｍ２、Ｍ３に対応したＨＭＤ１による表示制御の種類とを示す説明図である。
【００９０】
本実施形態では、図４（ａ）に示すように、十字形状の外枠の内側が白色のマーク画像Ｍに対応するＨＭＤ１の表示制御を動画表示としており、図４（ｂ）に示すように、十字形状の外枠の内側が緑色のマーク画像Ｍ１に対応するＨＭＤ１の表示制御をスライド表示としており、図（ｃ）に示すように、十字形状の外枠の内側が赤色のマーク画像Ｍ２に対応するＨＭＤ１の表示制御をＷｅｂ表示としており、図４（ｄ）に示すように、十字形状の外枠の内側が青色のマーク画像Ｍ３に対応するＨＭＤ１の表示制御をテキスト表示としている。
【００９１】
また、本実施形態のＨＭＤ１は、表示するコンテンツの種別にそれぞれ対応した上記複数種類のマーク画像Ｍ、Ｍ１、Ｍ２、Ｍ３の形態（ここでは、色）情報を関連付けた第２テーブル（図４参照。）を記憶した第２記憶手段を備えている。
【００９２】
さらに、このＨＭＤ１の制御部１１０は、ＣＣＤセンサ２で撮像した画像に、マーク画像Ｍ、Ｍ１、Ｍ２、Ｍ３のうち、いずれかのマーク画像の全体像が含まれているとき、当該マーク画像Ｍ、Ｍ１、Ｍ２、Ｍ３に応じたコンテンツを選択するコンテンツ情報選択手段として機能する。
【００９３】
本実施形態では、ＨＭＤ１の制御部１１０（図５参照。）において、後述のＣＰＵ１０１が所定の情報処理プログラムを実行することによって、このコンテンツ情報選択手段として機能する。
【００９４】
そして、このＨＭＤ１において、前述の操作情報選択は、このコンテンツ情報選択手段により選択したコンテンツの種別に応じた表示制御に関する操作情報を、ＣＣＤセンサ２により撮像されたマーク画像Ｍ、Ｍ１、Ｍ２、Ｍ３の形態（ここでは、色）に基づいて選択する。
【００９５】
このとき、コンテンツ情報選択手段としての制御部１１０は、コンテンツの選択を第２記憶手段に記憶した第２対応テーブルに基づいて行うようにしている。
【００９６】
このように、本実施形態のＨＭＤシステムＳでは、使用者ＰがＨＭＤ１を装着してコンテンツを鑑賞するとき、使用者Ｐの視野に入る任意の位置に、複数種類のマーク画像Ｍ、Ｍ１、Ｍ２、Ｍ３を貼着しておき、これら複数種類のマーク画像Ｍ、Ｍ１、Ｍ２、Ｍ３のうちのいずれか一つに照準７を合わせるだけで、照準７に合わせたマークに対応した種別のコンテンツをＨＭＤ１に表示させることができるので、ＨＭＤ１に表示させるコンテンツの種別を選択するために使用者Ｐが操作する機械的な操作手段を設ける必要がない。
【００９７】
しかも、本実施形態のＨＭＤ１は、ＣＣＤセンサ２により撮像されるマーク画像Ｍの形態（ここでは、色）と、表示するコンテンツの種別とを対応させた第２対応テーブルを備えているため、ＣＣＤセンサ２により撮像したマーク画像Ｍ全体の色と、第２対応テーブル内のコンテンツ種別に応じた色とを比較照合するだけで、膨大な情報処理を実行することなく、使用者Ｐが所望する種別のコンテンツを表示することができる。
【００９８】
また、本実施形態のＨＭＤ１では、ＣＣＤセンサ２により撮像したマーク画像Ｍ、Ｍ１、Ｍ２、Ｍ３に応じたコンテンツの表示を開始した後、使用者Ｐにより、そのマーク画像Ｍ、Ｍ１、Ｍ２、Ｍ３の一部が覆い隠されると、制御部１１０が再生中のコンテンツに対応する第１対応テーブルを参照して、そのマークＭ、Ｍ１、Ｍ２、Ｍ３のＣＣＤセンサ２により撮像された形状に対応した操作情報を選択し、当該選択した操作情報に応じた表示制御を実行するように構成している。
【００９９】
ここで、本実施形態に係るＨＭＤ１の電気的構成等について、図５を参照して説明する。図５は、本実施形態に係るＨＭＤ１の電気的及び光学的構成を示す説明図である。
【０１００】
図５に示すように、このＨＭＤ１は、当該ＨＭＤ１全体の動作を統括制御する制御部１１０と、この制御部１１０から供給される画像信号をドットクロック毎に読み出し、読み出した映像信号に応じて強度変調された画像光を生成して出射する画像光生成部２０を備え、さらに、その画像光生成部２０と使用者Ｐの眼Ｅとの間には、画像光生成部２０で生成され、光ファイバ１００を介して出射されるレーザビーム（画像光）を平行光化するコリメート光学系６１と、このコリメート光学系６１で平行光化された画像光を画像表示のために水平方向（第１方向）に往復走査する第１光走査部として機能する水平走査部７０と、水平走査部７０で水平方向に走査された画像光を垂直方向（第１方向と略直交する第２方向）に往復走査する第２光走査部として機能する垂直走査部８０と、水平走査部７０と垂直走査部８０との間に設けられたリレー光学系７５と、このように水平方向と垂直方向に走査（２次元的に走査）された画像光を瞳孔Ｅａへ出射するためのリレー光学系９０を備えている。
【０１０１】
本実施形態では、これら水平走査部７０と、リレー光学系７５と、垂直走査部８０と、リレー光学系９０とが、画像信号に基づいて生成した画像光を２次元的に走査することにより画像を表示する光走査部として機能する。
【０１０２】
また、画像光生成部２０には、パーソナルコンピュータ（図示略。）等の外部装置から供給される画像信号が、インターフェース１０４と制御部１１０とを介して入力され、それに基づいて画像を合成するための要素となる各信号等を発生する信号処理回路２１が設けられ、この信号処理回路２１において、青（Ｂ）、緑（Ｇ）、赤（Ｒ）の各画像信号２２ａ〜２２ｃが生成され、出力される。また、信号処理回路２１は、水平走査部７０で使用される水平駆動信号２３と、垂直走査部８０で使用される垂直駆動信号２４とをそれぞれ出力する。
【０１０３】
さらに、画像光生成部２０は、信号処理回路２１からドットクロック毎に出力される３つの画像信号（Ｂ，Ｒ，Ｇ）２２ａ〜２２ｃをそれぞれ画像光にする画像光出力部として機能する光源部３０と、これらの３つの画像光を１つの画像光に結合して任意の画像光を生成するための光合成部４０を備えている。
【０１０４】
光源部３０は、青色の画像光を発生させるＢレーザ３４及びＢレーザ３４を駆動するＢレーザドライバ３１と、緑色の画像光を発生させるＧレーザ３５及びＧレーザ３５を駆動するＧレーザドライバ３２と、赤色の画像光を発生させるＲレーザ３６及びＲレーザ３６を駆動するＲレーザドライバ３３とを備えている。なお、各レーザ３４、３５、３６は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、画像光の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えて画像光の強度変調を行う必要がある。
【０１０５】
光合成部４０は、光源部３０から入射する画像光を平行光にコリメートするように設けられたコリメート光学系４１、４２、４３と、このコリメートされた画像光を合成するためのダイクロイックミラー４４、４５、４６と、合成された画像光を光ファイバ１００に導く結合光学系４７とを備えている。
【０１０６】
各レーザ３４、３５、３６から出射したレーザ光は、コリメート光学系４１、４２、４３によってそれぞれ平行化された後に、ダイクロイックミラー４４、４５、４６に入射される。その後、これらのダイクロイックミラー４４、４５、４６により、各画像光が波長に関して選択的に反射・透過される。
【０１０７】
具体的には、Ｂレーザ３４から出射した青色画像光は、コリメート光学系４１によって平行光化された後に、ダイクロイックミラー４４に入射される。Ｇレーザ３５から出射した緑色画像光は、コリメート光学系４２を経てダイクロイックミラー４５に入射される。Ｒレーザ３６から出射した赤色画像光は、コリメート光学系４３を経てダイクロイックミラー４６に入射される。
【０１０８】
それら３つのダイクロイックミラー４４、４５、４６にそれぞれ入射した３原色の画像光は、波長選択的に反射または透過して結合光学系４７に達し、集光され光ファイバ１００へ出力される。
【０１０９】
水平走査部７０及び垂直走査部８０は、光ファイバ１００から入射された画像光を画像として投影可能な状態にするために、水平方向と垂直方向に走査して走査画像光とするものである。
【０１１０】
水平走査部７０は、画像光を水平方向に走査するための反射面を有する共振型偏向素子７１と、この共振型偏向素子７１を共振させ、共振型偏向素子７１の反射面を揺動させる駆動信号を発生する駆動信号発生器としての水平走査駆動回路７２と、共振型偏向素子７１から出力される変位信号に基づいて、共振型偏向素子７１の反射面の揺動範囲及び揺動周波数等の揺動状態を検出する水平走査角検出回路７３とを有している。
【０１１１】
本実施形態において、水平走査角検出回路７３は、検出した共振型偏向素子７１の揺動状態を示す信号を制御部１１０へ入力するようにしている。
【０１１２】
垂直走査部８０は、画像光を垂直方向に走査するための偏向素子８１と、この偏向素子８１を駆動させる垂直走査制御回路８２と、この垂直走査制御回路８２による反射面の揺動範囲及び揺動周波数等の揺動状態を検出する垂直走査角検出回路８３とを備えている。
【０１１３】
また、水平走査駆動回路７２と垂直走査制御回路８２は、信号処理回路２１から出力される水平駆動信号２３と垂直駆動信号２４に基づいてそれぞれ駆動し、垂直走査角検出回路８３は、検出した偏向素子８１の揺動状態を示す信号を制御部１１０へ入力するようにしている。
【０１１４】
そして、後に詳述する制御部１１０は、信号処理回路２１の動作を制御することによって、これら水平駆動信号２３と垂直駆動信号２４とを調整することによって、水平走査部７０と垂直走査部８０に画像光の走査角を変更させて、表示する画像の輝度を調整するようにしている。
【０１１５】
こうして変更された走査角度は水平走査角検出回路７３および垂直走査角検出回路８３からの検出信号に基づいて制御部１１０により検出され、信号処理回路２１と水平走査駆動回路７２とを介して水平駆動信号２３にフィードバックされると共に、信号処理回路２１と垂直走査制御回路８２とを介して垂直駆動信号２４にフィードバックされる。
【０１１６】
また、水平走査部７０と垂直走査部８０との間での画像光を中継するリレー光学系７５を備えており、共振型偏向素子７１によって水平方向に走査された光は、リレー光学系７５によって偏向素子８１の反射面に収束され、偏向素子８１によって垂直方向に走査されて、２次元的に走査された走査画像光として、リレー光学系９０へ出射される。
【０１１７】
リレー光学系９０は、正の屈折力を持つレンズ系９１、９４を有している。垂直走査部８０から出射された表示用の走査画像光は、レンズ系９１によって、それぞれの画像光がその画像光の中心線を相互に略平行にされ、かつそれぞれ収束画像光に変換される。そして、レンズ系９４によってそれぞれほぼ平行な画像光となると共に、これらの画像光の中心線が使用者の瞳孔Ｅａに収束するように変換される。
【０１１８】
なお、本実施形態においては、光ファイバ１００から入射された画像光を、水平走査部７０で水平方向に走査した後、垂直走査部８０によって垂直方向に走査することとしたが、水平走査部７０と垂直走査部８０との配置を入れ替え、垂直走査部８０によって垂直方向に走査した後、水平走査部７０で水平方向に走査するようにしてもよい。
【０１１９】
また、制御部１１０は、ＣＰＵ（Central Processing Unit）１０１と、不揮発性メモリであるFlash Memory１０２と、ＲＡＭ（Random Access Memory）１０３とを備えている。
【０１２０】
そして、これらＣＰＵ１０１、Flash Memory１０２、ＲＡＭ１０３は、データ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。
【０１２１】
また、この制御部１１０は、当該ＨＭＤ１の電源スイッチＳＷ、マーク画像Ｍ、Ｍ１、Ｍ２、Ｍ３を撮像するＣＣＤセンサ２、外界の明るさ（輝度）を検知する輝度センサ８、輝度センサ８により外界の明るさが所定の明るさを下回ったことが検知されたときに、ＣＣＤセンサ２の撮像範囲であるマーク認識領域６を照らすＬＥＤ３、パーソナルコンピュータ等の外部装置と接続可能なインターフェース１０４とも接続されている。
【０１２２】
ＣＰＵ１０１は、Flash Memory１０２に記憶されている各種情報処理プログラムを実行することにより、ＨＭＤ１を構成する図示しない各種回路を動作させて、ＨＭＤ１が備える各種機能を実行させる演算処理装置である。
【０１２３】
Flash Memory１０２は、ＨＭＤ１により表示するコンテンツの再生、停止、早送り、巻き戻し等の表示制御を行う際に画像光生成部２０、水平走査部７０、垂直走査部８０等を動作させるための情報処理プログラム等、制御部１１０がＨＭＤ１全体の動作を統括制御するためにＣＰＵ１０１により実行される各種情報処理プログラムを記憶している。
【０１２４】
さらに、このFlash Memory１０２には、制御部１１０がＣＣＤセンサ２により撮像したマーク画像Ｍ、Ｍ１、Ｍ２、Ｍ３の形態を判別するために用いる第２対応テーブルや、制御部１１０がＣＣＤセンサ２による撮像画像から使用者Ｐにより一部が覆い隠されたマーク画像Ｍ、Ｍ１、Ｍ２、Ｍ３の形状を判別するために用いる第１対応テーブル等、制御部１１０が各種表示制御を行う際に参照する複数種類のテーブルが記憶されている。
【０１２５】
すなわち、本実施形態では、このFlash Memory１０２が、第１対応テーブルを記憶する第１記憶手段、及び、第２対応テーブルを記憶する第２記憶手段として機能するものである。
【０１２６】
また、本実施形態では、このFlash Memory１０２内に、第１対応テーブルと第２対応テーブルとを別個に記憶するのではなく、第１対応テーブルと第２対応テーブルとを複合させた一つの表示制御テーブルとして記憶している。
【０１２７】
ここで、Flash Memory１０２内に記憶している表示制御テーブルについて、図６を参照して説明する。図６は、表示制御テーブルを示す説明図である。
【０１２８】
図６に示すように、本実施形態のＨＭＤ１が備える表示制御テーブルは、最上行に、表示するコンテンツの種別と、各コンテンツの種別に対応するマーク画像Ｍ、Ｍ１、Ｍ２、Ｍ３の形態とを対応させた情報が記載（記憶）されている。
【０１２９】
本実施形態では、十字形状の枠内が白色のマーク画像Ｍに対して、動画表示が関連付けられており、十字形状の枠内が緑色のマーク画像Ｍ１に対して、スライド表示が関連付けられており、十字形状の枠内が赤色のマーク画像Ｍ２に対して、Ｗｅｂ表示が関連付けられており、十字形状の枠内が青色のマーク画像Ｍ３に対して、テキスト表示が関連付けられている。つまり、この表示制御テーブルの最上行が前述の第２対応テーブルに相当する。
【０１３０】
また、この表示制御テーブルは、最も左側の列に、ＣＣＤセンサ２により撮像されるマーク画像Ｍ、Ｍ１、Ｍ２、Ｍ３の形状（認識形状）が記載（記憶）されている。ここに記載されている各形状は、複数種類の各認識マークｍに対応したものである。
【０１３１】
以下の説明では、認識形状の最も上に記載の図柄を「右凸マーク」と呼び、その下に記載のマークを「左凸マーク」と呼び、その下に記載のマークを「上凸マーク」と呼び、その下に記載のマークを「下凸マーク」と呼び、その下に記載のマークを「縦線マーク」と呼び、その下に記載のマークを「横線マーク」と呼び、その下に記載のマークを「カギマーク」と呼ぶ。
【０１３２】
この表示制御テーブルには、各認識マークｍと表示する各コンテンツの種別とにそれぞれ対応する位置に、そのコンテンツの表示中に制御部１１０が実行する各表示制御に対応した操作情報が記載されている。
【０１３３】
すなわち、本実施形態では、図６に示す表示制御テーブル中の第２対応テーブルに相当する部分以外の部分が、前述の第１対応テーブルに相当する。
【０１３４】
本実施形態の第１対応テーブルでは、ＨＭＤ１により表示しているコンテンツの種別毎に、ＣＣＤセンサ２により撮像したマーク画像Ｍ、Ｍ１、Ｍ２、Ｍ３の形状と、その形状のマーク画像Ｍ、Ｍ１、Ｍ２、Ｍ３が撮像されたときに制御部１１０が実行する表示制御の操作情報とを、次のように対応付けている。
【０１３５】
（１）動画表示のとき
「右凸マーク」に対して「一つ次のChapter再生」、「左凸マーク」に対して「一つ前のChapter再生」、「上凸マーク」に対して「動画の拡大」、「下凸マーク」に対して「動画の縮小」、「縦線マーク」に対して「動画の一時停止」、「横線マーク」に対して「一時停止の解除」、「カギマーク」に対して「表示終了」をそれぞれ対応させている。
【０１３６】
（２）スライド表示のとき
「右凸マーク」に対して「一つ次のファイル表示」、「左凸マーク」に対して「一つ前のファイル表示」、「上凸マーク」に対して「ファイル拡大」、「下凸マーク」に対して「ファイル縮小」、「縦線マーク」に対して「スライド表示一時停止」、「横線マーク」に対して「スライド表示一時停止解除」、「カギマーク」に対して「表示終了」をそれぞれ対応させている。
【０１３７】
（３）Ｗｅｂ表示のとき
「右凸マーク」に対して「カーソル右移動」、「左凸マーク」に対して「カーソル左移動」、「上凸マーク」に対して「カーソル上移動」、「下凸マーク」に対して「カーソル下移動」、「縦線マーク」に対して「メニュー表示」、「横線マーク」に対して「クリック（決定）」、「カギマーク」に対して「表示終了」をそれぞれ対応させている。
【０１３８】
（４）テキスト表示のとき
「右凸マーク」に対して「一つ次のページ表示」、「左凸マーク」に対して「一つ前のページ表示」、「上凸マーク」に対して「ページの拡大」、「下凸マーク」に対して「ページの縮小」、「カギマーク」に対して「表示終了」をそれぞれ対応させている。
【０１３９】
このように、本実施形態のＨＭＤ１では、Flash Memory１０２内に、第１対応テーブルと第２対応テーブルとを複合した表示制御テーブルを記憶している。
【０１４０】
そのため、このＨＭＤ１では、使用者Ｐがコンテンツの表示中に、当該表示中のコンテンツに応じたマーク画像Ｍ、Ｍ１、Ｍ２、Ｍ３の一部を覆い隠したとき、制御部１１０は、ＣＣＤセンサ２で撮像したマーク画像Ｍ、Ｍ１、Ｍ２、Ｍ３の形態と、この表示制御テーブルという一つのテーブルを参照するだけで、表示中のコンテンツの種別及び、一部が欠損したマーク画像Ｍ、Ｍ１、Ｍ２、Ｍ３の形状を判別することができるので、テーブルを参照する際にFlash Memory１０２内の複数の領域にアクセスする必要がなく、これにより制御部１１０の処理負荷を低減することができる。
【０１４１】
次に、本実施形態に係るＨＭＤ１の制御部１１０が実行する表示制御処理について、図７を参照して説明する。図７及び図８は、ＨＭＤ１の制御部１１０が表示制御を行う際に実行する表示制御処理を示すフローチャートである。
【０１４２】
ここでは、ＨＭＤ１の制御部１１０（以下、単に「制御部１１０」という。）がコンテンツを表示する際に実行する表示制御処理について説明することとし、その他の処理については説明を省略する。
【０１４３】
本実施形態のＨＭＤ１では、制御部１１０がFlash Memory１０２内に記憶している情報処理プログラムを実行することによって、上記したコンテンツ情報選択手段、操作情報選択手段、操作処理選択手段等として機能することとなる。
【０１４４】
制御部１１０は、ＨＭＤ１に電源が投入されると、図７に示す表示制御処理を開始し、ＨＭＤ１の電源が切られるまでの間、この表示制御処理を繰り返し実行する。
【０１４５】
制御部１１０は、この表示制御処理が開始されると、図７に示すように、まず、使用者Ｐの視界４内に、コンテンツ表示領域５及びマーク認識領域６の外枠と照準７とを破線により表示する処理を行い（ステップＳ０１）、その後、処理をステップＳ０２へ移す。
【０１４６】
次に、ステップＳ０２において制御部１１０は、ＣＣＤセンサ２により、マーク認識領域６内でマーク画像Ｍ、Ｍ１、Ｍ２、Ｍ３のうちのいずれかを撮像したか否かを判断する。以下、ＣＣＤセンサ２によりマーク認識領域６内でマーク画像Ｍ、Ｍ１、Ｍ２、Ｍ３を撮像できたことを「マーク画像を捕捉した」という。
【０１４７】
このステップＳ０２において制御部１１０は、マーク画像を捕捉したと判断した場合（ステップＳ０２：Ｙｅｓ）に、処理をステップＳ０３へ移し、マーク画像を捕捉していないと判断した場合（ステップＳ０２：Ｎｏ）に、処理をステップＳ０１へ移す。
【０１４８】
ステップＳ０３において制御部１１０は、ＣＣＤセンサ２により、マーク認識領域６内でマーク画像を捕捉している状態（以下、「捕捉状態」という。）が２秒以上継続しているか否かを判断し、捕捉状態が２秒以上継続していると判断した場合（ステップＳ０３：Ｙｅｓ）に、処理をステップＳ０４へ移し、捕捉状態が２秒以上継続していないと判断した場合（ステップＳ０３：Ｎｏ）に、処理をステップＳ０１へ移す。
【０１４９】
ステップ０４において制御部１１０は、ＣＣＤセンサ２により捕捉したマーク画像の形態（ここでは、色）を判別する処理を行う。
【０１５０】
ここで制御部１１０は、Flash Memory１０２内の所定領域に記憶している第２対応テーブルを参照して、マーク画像の色を判別し、その判別結果に応じた種別のコンテンツ情報を選択し、その後、処理をステップＳ０５へ移す。
【０１５１】
次に、ステップＳ０５において制御部１１０は、照準７と重なるように、ＣＣＤセンサ２により捕捉したマーク画像と同様の形状をした認識マークｍを表示する処理を行い、その後、処理をステップＳ０６へ移す。
【０１５２】
次に、ステップＳ０６において制御部１１０は、ステップＳ０４で選択したコンテンツ情報に対応したコンテンツを再生するコンテンツ表示開始処理を行い、その後、処理をステップＳ０７へ移す。
【０１５３】
次に、ステップＳ０７において制御部１１０は、表示中のコンテンツの再生が終了したか否かの判断を行い、終了したと判断した場合（ステップＳ０７：Ｙｅｓ）に、処理をステップＳ０１へ移し、終了していないと判断した場合（ステップＳ０７：Ｎｏ）に、処理をステップＳ０８へ移す。
【０１５４】
ステップＳ０８において制御部１１０は、割り込み表示制御処理を実行し、その後、処理をステップＳ０９へ移す。
【０１５５】
この割り込み表示制御処理は、使用者Ｐが当該ＨＭＤ１が有する所定の表示制御を実行するために、マーク画像Ｍ、Ｍ１、Ｍ２、Ｍ３の一部を指Ｆ等で覆い隠したときに開始される処理である。なお、この割り込み表示制御処理については、後に、図８を参照して具体的に説明する。
【０１５６】
ステップＳ０９において制御部１１０は、ＣＣＤセンサ２により、マーク認識領域６にマーク画像を捕捉中であるか否かの判断を行い、捕捉中であると判断した場合（ステップＳ０９：Ｎｏ）に、処理をステップＳ１０へ移し、捕捉中で無いと判断した場合（ステップＳ０９：Ｙｅｓ）に、処理をステップＳ０７へ移す。
【０１５７】
ステップＳ１０において制御部１１０は、ＣＣＤセンサ２により、マーク画像を捕捉していない状態（以下「非捕捉状態」という。）が１０以上継続したか否かの判断を行い、非捕捉状態が１０秒以上継続していると判断した場合（ステップＳ１０：Ｙｅｓ）に、処理をステップＳ１１へ移し、非捕捉状態が１０秒以上継続していないと判断した場合（ステップＳ１０：Ｎｏ）に、処理をステップＳ０７へ移す。
【０１５８】
ステップＳ１１において制御部１１０は、コンテンツの表示を終了する処理を行い、その後、処理をステップＳ０１へ移す。
【０１５９】
次に、図７に示した表示制御処理中のステップＳ０８において、制御部１１０が実行する割り込み制御処理について、図８を参照して説明する。
【０１６０】
図８に示すように、この割り込み表示制御処理を開始すると、制御部１１０は、まず、使用者Ｐにより一部が覆い隠されて十字形状のうち一部が欠損した形状となったマーク画像（以下、「欠損マーク画像」という。）をＣＣＤセンサ２により捕捉したか否かの判断を行う（ステップＳ２１）。
【０１６１】
このステップＳ２１において制御部１１０は、欠損マーク画像を捕捉したと判断した場合（ステップＳ２１：Ｙｅｓ）に、処理をステップＳ２２へ移し、欠損マーク画像を捕捉しなかったと判断した場合（ステップＳ２１：Ｎｏ）に、この割り込み表示制御処理を終了する。
【０１６２】
ステップＳ２２において制御部１１０は、欠損マーク画像の捕捉状態が２秒以上継続したか否かの判断を行い、捕捉状態が２秒以上継続したと判断した場合（ステップＳ２２：Ｙｅｓ）に、処理をステップ２３へ移し、捕捉状態が２秒以上継続しなかったと判断した場合（ステップＳ２２：Ｎｏ）に、この割り込み表示制御処理を終了する。
【０１６３】
ステップＳ２３において制御部１１０は、欠損マーク画像の形態（ここでは、形状）を判別する処理を行い、その後、処理をステップＳ２４へ移す。
【０１６４】
ここで、制御部１１０は、Flash Memory１０２内の所定領域に記憶している第１対応テーブルを参照して、欠損マーク画像の形状を判別し、その判別結果に応じた表示制御に対応する操作情報を選択し、その後、処理をステップＳ２４へ移す。
【０１６５】
次に、ステップＳ２４において制御部１１０は、照準７と重なるように、ＣＣＤセンサ２により捕捉した欠損マーク画像と同様の形状をした認識マークｍを表示する処理を行い、その後、処理をステップＳ２５へ移す。
【０１６６】
次に、ステップＳ２５において制御部１１０は、認識マークｍに応じた表示制御を行い（図６参照。）、その後、この割り込み表示制御処理を終了する。
【０１６７】
本実施形態では、ＨＭＤ１の制御部１１０が、以上のような表示制御処理を実行することにより、当該ＨＭＤ１に各種表示制御を行わせることができるので、使用者Ｐは、ＨＭＤ１を頭部に装着した状態で、コンテンツ表示領域５の脇から透して視認できるマーク画像の一部を指Ｆ等で覆い隠すだけで、機械的な操作手段を操作することなく、容易にＨＭＤ１に所望の表示制御を行わせることができる。
【０１６８】
また、本実施形態のＨＭＤシステムＳでは、ＨＭＤ１に表示させるコンテンツ種別毎に形態の異なるマーク画像Ｍ、Ｍ１、Ｍ２、Ｍ３として、色の異なる複数のマーク画像Ｍ、Ｍ１、Ｍ２、Ｍ３を設けるようにしているが、マーク画像の形態は、これに限定するものではなく、表示するコンテンツの種別を判別可能なマーク画像の形態であれば、任意の形態のマーク画像を設けることができる。
【０１６９】
すなわち、第２対応テーブルにおけるマーク画像の形態情報としては、少なくとも一部の領域の反射率、色及び模様のうち少なくとも一つが異なる形態の情報が表示するコンテンツの種別毎に関連付けられていればよい。
【０１７０】
また、本実施形態のＨＭＤシステムＳでは、ＨＭＤ１の制御部１１０が欠損マーク画像の形状の違いを判別し、その判別結果に応じて選択した操作情報に対応した表示制御を行うようにしているが、制御部１１０による操作情報の選択方法は、これに限定するものではなく、ＣＣＤセンサ２によるマーク画像の捕捉結果により操作情報を区別できれば、任意の方法を用いてもよい。
【０１７１】
以下、本実施形態のＨＭＤシステムＳで使用するマーク画像の変形例について、図９を参照して説明する。図９は、本実施形態に係るＨＭＤ１の操作に用いられるマーク画像Ｍの変形例を示す説明図である。
【０１７２】
図９（ａ）には、第１変形例に係るマーク画像Ｍ４（以下、単に「マーク画像Ｍ４」という。）を示している。この図９（ａ）に示すように、マーク画像Ｍ４は、十字形状の外枠の内部を白色に着色したシールにより構成しており、その一部（ここでは、各マーク画像の中心位置）の領域に各マーク画像を区別するための模様が施されている。
【０１７３】
特に、このマーク画像Ｍ４では、各マーク画像Ｍ４を区別するための模様として、当該マーク画像Ｍ４の中央位置に所定の情報が記載された２次元バーコード９を配設している。
【０１７４】
マーク画像Ｍ４の中央位置に２次元バーコードを配設する場合、この２次元バーコードにコンテンツの種別を示す情報を記載しておくと共に、ＨＭＤ１内のFlash Memory１０２内には、２次元バーコードに記載されている情報を解析するための情報処理プログラムを格納しておく。
【０１７５】
このようにマーク画像Ｍ４とＨＭＤ１とを構成することによって、ＨＭＤ１により、膨大な種別のコンテンツを判別することができるようになる。
【０１７６】
ここでは、各マーク画像Ｍ４を区別する模様一例としてＱＲコードを配設しているが、この模様はＱＲコードに限定するものではなく、ＱＲコード以外の２次元バーコード、１次元バーコード、単純な図形を組み合わせた模様等、コンテンツの種別を判別可能な模様であれば、任意の模様を用いることができる。
【０１７７】
ただし、マーク画像Ｍ４をかかる構成とする場合には、ＨＭＤ１のFlash Memory１０２内に、各模様を解析可能とする情報処理プログラムを格納しておく必要がある。
【０１７８】
図９（ｂ）には、第２変形例に係るマーク画像Ｍ５（以下、単に「マーク画像Ｍ５」という。）を示している。この図９（ｂ）に示すように、マーク画像Ｍ５は、十字形状の外枠の内部の使用者Ｐから見て中央部と上側凸部とを白色に着色し、左側凸部を緑色に着色し、右側凸部を青色に着色し、下側凸部を赤色に着色したシールにより構成している。
【０１７９】
このようにマーク画像Ｍ５を構成する場合には、表示するコンテンツの種別毎に各マーク画像Ｍ５の各凸部に施す着色の色を異ならせる。
【０１８０】
マーク画像Ｍ５をかかる構成とすることによって、ＨＭＤ１の制御部１１０は、マーク画像Ｍ５の各凸部の色を判別することによって、表示するコンテンツの種別を判別することができる。
【０１８１】
また、マーク画像Ｍ５をかかる構成とすることにより、ＨＭＤ１の制御部１１０は、使用者Ｐによりマーク画像Ｍ５の一部が覆い隠された欠損マーク画像を捕捉したときに、欠損マーク画像の形状に加え、欠損マーク画像の各凸部の色によっても操作情報を判別することができるため、使用者Ｐが所望した操作情報を誤認識する可能性を可及的に低減することができる。
【０１８２】
図９（ｃ）には、第３変形例に係るマーク画像Ｍ６（以下、単に「マーク画像Ｍ６」という。）を示している。この図９（ｃ）に示すように、マーク画像Ｍ６は、十字形状の外枠の内部を蛍光黄色に着色したシールにより構成している。
【０１８３】
このようにマーク画像Ｍ６を構成することによって、ＣＣＤセンサ２によるマーク画像Ｍ６を捕捉がさらに容易になる。
【０１８４】
図９（ｄ）には、第４変形例に係るマーク画像Ｍ７（以下、単に「マーク画像Ｍ７」という。）を示している。この図９（ｄ）に示すように、マーク画像Ｍ７は、黒色に着色した十字形状の外枠の内部を蛍光黄色に着色したシールにより構成している。
【０１８５】
特に、このマーク画像Ｍ７は、外枠の太さを他の変形例におけるマーク画像Ｍ４、Ｍ５、Ｍ６よりも太く構成すると共に、当該マーク画像Ｍ７の外縁部分においてコントラストが強調されるように、外枠の色として濃色である黒色を選択し、外枠の内側の色として淡色である蛍光黄色を選択している。
【０１８６】
このようにマーク画像Ｍ７を構成することによって、ＣＣＤセンサ２で当該マーク画像Ｍ７を捕捉する際に、マーク画像Ｍ７のエッジが強調することができるので、ＨＭＤ１の制御部１１０は、マーク画像Ｍ７、及び、欠損マーク画像の形状を精度良く判別することができる。
【０１８７】
また、このようにマーク画像Ｍ７を構成する場合、外枠内部の淡色の色を異ならせることによって、ＨＭＤ１に表示するコンテンツの種別を区別できるようにする。
【０１８８】
また、上記実施形態においては、コンテンツ情報選択手段、操作情報選択手段、走査処理手段等として機能する制御部１１０と、マーク画像を撮像する撮像手段としてのＣＣＤセンサ２と、コンテンツを表示するコンテンツ表示手段としての光走査部とを備えたＨＭＤ１を例に挙げて説明したが、このうちコンテンツ表示手段を使用者Ｐの頭部に装着するように構成し、コンテンツ情報選択手段、操作情報選択手段、走査処理手段等として機能する制御部１１０と、マーク画像を撮像する撮像手段としてのＣＣＤセンサ２とのうち、少なくともいずれか一つを、コンテンツ表示手段と別体としてＨＭＤを構成してもよい。
【０１８９】
かかる構成とすることによって、使用者Ｐが頭部に装着する装置部分を小型軽量化することができ、長時間使用しても使用者Ｐに疲労が蓄積しにくいＨＭＤとすることができる。
【図面の簡単な説明】
【０１９０】
【図１】本発明の一実施形態に係るＨＭＤシステムを示す説明図である。
【図２】マーク画像を用いたＨＭＤの表示制御中における使用者の視界の一例を模式的に示した説明図である。
【図３】ＨＭＤに各種表示制御機能を実行させる際に、使用者がマーク画像を用いて行う各操作、及び、そのときに表示される認識マーク画像の一例を示す説明図である。
【図４】複数種類のマーク画像と、そのマーク画像に対応したＨＭＤによる表示制御の種類とを示す説明図である。
【図５】本発明の一実施形態に係るＨＭＤ１の電気的及び光学的構成を示す説明図である。
【図６】表示制御テーブルの一例を示す説明図である。
【図７】ＨＭＤの制御部が表示制御を行う際に実行する情報処理の一例を示すフローチャートである。
【図８】ＨＭＤの制御部が表示制御を行う際に実行する情報処理の一例を示すフローチャートである。
【図９】本発明の一実施形態に係るＨＭＤの操作に用いられるマーク画像の変形例を示す説明図である。
【符号の説明】
【０１９１】
１  ＨＭＤ
２  ＣＣＤセンサ
３  ＬＥＤ
４  視界
５  コンテンツ表示領域
６  マーク認識領域
７  照準
８  輝度センサ
９  ２次元バーコード
Ｍ、Ｍ１、Ｍ２、Ｍ３  マーク画像
ｍ  認識マーク
１１０  制御部
【図１】
2009245392.tif 000003
【図２】
2009245392.tif 000004
【図３】
2009245392.tif 000005
【図４】
2009245392.tif 000006
【図５】
2009245392.tif 000007
【図６】
2009245392.tif 000008
【図７】
2009245392.tif 000009
【図８】
2009245392.tif 000010
【図９】
2009245392.tif 000011