(57)【要約】【課題】利便性を向上させる。【解決手段】情報入出力装置は、画像を撮像する撮像部と、撮像部によって撮像された撮像画像に含まれる手の態様に基づいて、撮像画像に重畳する情報を制御するとともに、撮像画像に情報を重畳した画像を出力する処理部とを備える。【選択図】図７
2013190941.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像部と、
前記撮像部によって撮像された撮像画像に含まれる手の態様に基づいて、前記撮像画像に重畳する情報を制御するとともに、前記撮像画像に前記情報を重畳した画像を出力する処理部と
を備えることを特徴とする情報入出力装置。
【請求項２】
前記手の態様には、右手及び左手が含まれ、
前記処理部は、
前記撮像画像に基づいて、前記撮像画像に含まれる手が右手及び左手のいずれかであるかを判定し、判定した判定結果に基づいて前記重畳する情報を変更する
ことを特徴とする請求項１に記載の情報入出力装置。
【請求項３】
前記手の態様には、手の平及び手の甲が含まれ、
前記処理部は、
前記撮像画像に基づいて、前記撮像画像に含まれる手が手の平及び手の甲のいずれかであるかを判定し、判定した判定結果に基づいて前記重畳する情報を変更する
ことを特徴とする請求項１又は請求項２に記載の情報入出力装置。
【請求項４】
前記処理部は、
前記撮像画像に含まれる手が手の平であると判定した場合に、前記撮像画像のうちの前記手の平の画像領域に、前記重畳する情報を重畳する
ことを特徴とする請求項３に記載の情報入出力装置。
【請求項５】
前記処理部は、
前記撮像画像に含まれる手が手の平であると判定した場合に、所定のキャラクターの画像を前記重畳する情報として重畳する
ことを特徴とする請求項３又は請求項４に記載の情報入出力装置。
【請求項６】
前記処理部は、
前記撮像画像に含まれる手が手の甲であると判定した場合に、前記撮像画像のうちの判定した前記手の甲に対応する手が指示する指示位置に、当該指示位置を示すマークを前記重畳する情報として重畳する
ことを特徴とする請求項３から請求項５のいずれか一項に記載の情報入出力装置。
【請求項７】
前記処理部は、
前記撮像画像に基づいて、前記撮像画像に含まれる手が使用者の手であるか否かを判定し、判定した判定結果に基づいて前記重畳する情報を変更する
ことを特徴とする請求項１から請求項６のいずれか一項に記載の情報入出力装置。
【請求項８】
前記撮像画像に基づいて、前記撮像画像に含まれる手の方向が示す角度を手の角度として検出する検出部を備え、
前記処理部は、
前記検出部によって検出された前記手の角度に基づいて使用者の手であるか否かを判定する
ことを特徴とする請求項７に記載の情報入出力装置。
【請求項９】
前記処理部は、
前記撮像画像に含まれる手の大きさに基づいて使用者の手であるか否かを判定する
ことを特徴とする請求項７又は請求項８に記載の情報入出力装置。
【請求項１０】
前記処理部は、
前記撮像画像に含まれる手が、所定の識別情報が表示された手袋を装着している場合に、前記撮像画像に基づいて認識した手の画像領域に含まれる前記識別情報に基づいて、使用者の手であるか否かを判定する
ことを特徴とする請求項７から請求項９のいずれか一項に記載の情報入出力装置。
【請求項１１】
前記処理部は、
前記撮像画像に含まれる手が使用者の手であると判定した場合に、前記重畳する情報として、前記使用者に関連付けられた情報を重畳する
ことを特徴とする請求項７から請求項１０のいずれか一項に記載の情報入出力装置。
【請求項１２】
前記処理部は、
前記撮像画像に含まれる手が使用者の手でないと判定した場合に、前記重畳する情報として、前記使用者の手でないと判定した手の所有者に関連付けられた情報を重畳する
ことを特徴とする請求項７から請求項１０のいずれか一項に記載の情報入出力装置。
【請求項１３】
情報を通信する通信部を備え、
前記処理部は、
前記通信部を介して、前記手の所有者に関連付けられた情報を取得する
ことを特徴とする請求項１２に記載の情報入出力装置。
【請求項１４】
前記通信部を介して取得した前記手の所有者に関連付けられた情報を記憶する記憶部を備える
ことを特徴とする請求項１３に記載の情報入出力装置。
【請求項１５】
前記撮像画像に基づいて、前記手の態様を認識する認識部を備え、
前記処理部は、
前記認識部によって認識された前記手の態様に基づいて、前記撮像画像に重畳する情報を制御する
ことを特徴とする請求項１から請求項１４のいずれか一項に記載の情報入出力装置。
【請求項１６】
前記認識部は、
前記撮像画像に含まれる手が、所定の識別情報が表示された手袋を装着している場合に、前記撮像画像に基づいて認識した手の画像領域に含まれる前記識別情報に基づいて、前記手の態様を認識する
ことを特徴とする請求項１５に記載の情報入出力装置。
【請求項１７】
請求項１から請求項１６のいずれか一項に記載の情報入出力装置と、
前記処理部が出力する画像を表示する表示部と、
少なくとも前記撮像部及び前記表示部を使用者の頭部に装着可能な装着部と
を備えることを特徴とする頭部装着表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報入出力装置、及び頭部装着表示装置に関する。
【背景技術】
【０００２】
近年、紙などに印刷されたマーカーの上などにポリゴンで形成された三次元的（以下３Ｄとする）なキャラクターを表示する技法が知られている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４６９６１８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技法では、例えば、マーカーと呼ばれるシートを別途用意しなければならず、どこでも容易にキャラクターを表示することが困難であった。このように、特許文献１に記載の技法では、利便性が悪いという問題があった。
【０００５】
本発明は、上記問題を解決すべくなされたもので、その目的は、利便性を向上させることができる情報入出力装置、及び頭部装着表示装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記問題を解決するために、本発明の一実施形態は、画像を撮像する撮像部と、前記撮像部によって撮像された撮像画像に含まれる手の態様に基づいて、前記撮像画像に重畳する情報を制御するとともに、前記撮像画像に前記情報を重畳した画像を出力する処理部とを備えることを特徴とする情報入出力装置である。
【０００７】
また、本発明の一実施形態は、上記に記載の情報入出力装置と、前記処理部が出力する画像を表示する表示部と、少なくとも前記撮像部及び前記表示部を使用者の頭部に装着可能な装着部とを備えることを特徴とする頭部装着表示装置である。
【発明の効果】
【０００８】
本発明によれば、利便性を向上させることができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態によるヘッドマウントディスプレイの斜視図である。
【図２】本実施形態におけるヘッドマウントディスプレイを背面側から見た斜視図である。
【図３】本実施形態におけるヘッドマウントディスプレイの装着形態を示す図である。
【図４】本実施形態におけるディスプレイ本体の水平断面図である。
【図５】本実施形態におけるリモコンを示す斜視図である。
【図６】本実施形態におけるステレオイヤホンを示す斜視図である。
【図７】本実施形態におけるヘッドマウントディスプレイの機能ブロック図である。
【図８】本実施形態における処理部の機能ブロック図である。
【図９】本実施形態におけるヘッドマウントディスプレイのネットワーク接続の一例を示す図である。
【図１０】本実施形態におけるヘッドマウントディスプレイの右目装着時の撮像範囲を示す模式図である。
【図１１】本実施形態におけるヘッドマウントディスプレイの左目装着時の撮像範囲を示す模式図である。
【図１２】本実施形態におけるヘッドマウントディスプレイの撮像範囲及び表示範囲の切り替えを示す図である。
【図１３】本実施形態におけるヘッドマウントディスプレイの撮像範囲及び表示範囲の切り替え処理を示すフローチャートである。
【図１４Ａ】本実施形態における入出力装置の処理を示すフローチャートの第１の図である。
【図１４Ｂ】本実施形態における入出力装置の処理を示すフローチャートの第２の図である。
【図１４Ｃ】本実施形態における入出力装置の処理を示すフローチャートの第３の図である。
【図１５】本実施形態におけるヘッドマウントディスプレイの動作の一例を示す第１の図である。
【図１６】本実施形態における手の甲の判定の一例を示す図である。
【図１７】本実施形態におけるヘッドマウントディスプレイの動作の一例を示す第２の図である。
【図１８】本実施形態におけるヘッドマウントディスプレイの動作の一例を示す第３の図である。
【図１９】本実施形態におけるヘッドマウントディスプレイの動作の一例を示す第４の図である。
【図２０】本実施形態におけるヘッドマウントディスプレイの動作の一例を示す第５の図である。
【図２１】本実施形態においてユーザーが手袋を装着している場合の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施形態による情報入出力装置及び頭部装着表示装置について、図面を参照して説明する。
以下の説明においては、必要に応じてＸＹＺ直交座標系を設定し、このＸＹＺ直交座標系を参照しつつ各部の位置関係について説明する。水平面内の所定方向をＸ軸方向、水平面内においてＸ軸方向と直交する方向をＹ軸方向、Ｘ軸方向及びＹ軸方向のそれぞれと直交する方向（すなわち鉛直方向）をＺ軸方向とする。また、Ｘ軸、Ｙ軸、及びＺ軸まわりの回転（傾斜）方向をそれぞれ、θＸ、θＹ、及びθＺ方向とする。
【００１１】
図１は、本実施形態のヘッドマウントディスプレイの斜視図である。図２は、ヘッドマウントディスプレイを背面側から見た斜視図である。図３は、本実施形態のヘッドマウントディスプレイの装着形態を示す図である。
【００１２】
ヘッドマウントディスプレイ１（頭部装着表示装置）は、ディスプレイ本体２０と、ユーザー（使用者）の頭部に装着されディスプレイ本体２０を支持するヘッドバンド４０（装着部）と、を備えた単眼式のヘッドマウントディスプレイである。本実施形態のヘッドマウントディスプレイ１は、図３に示すように、両眼どちらでも使用可能である。図３（Ａ）には、ユーザーが右眼（右目）で表示部６０を見ている状態、図３（Ｂ）には左眼（左目）で見ている状態が示されている。ここで、ヘッドバンド４０は、ディスプレイ本体２０をユーザーの頭部に装着する。
また、図２に示すように、ディスプレイ本体２０とヘッドバンド４０とは、連結ピン４１を介して着脱可能に構成されている。
なお、図１及び図２では、ディスプレイ本体２０の長手方向をＹ軸方向、ヘッドバンド４０がユーザーの頭部を挟持する方向をＸ軸方向としている。
【００１３】
以下、ヘッドマウントディスプレイ１の各部の構成について詳細に説明する。
ディスプレイ本体２０は、主要回路を内蔵するとともに操作部や各種インタフェースを備えた装置本体部２１と、装置本体部２１の先端に連結された表示部６０とを有する。
【００１４】
装置本体部２１は、概略板状の筐体２１Ａ（図４）を有する。本実施形態では、装置本体部２１においてヘッドバンド４０との接続部が設けられている側の端部（＋Ｙ側の端部）を基端部とし、この基端部と反対側の端部（−Ｙ側の端部）を先端部とする。また、装置本体部２１をヘッドバンド４０に装着した状態で、装置本体部２１のヘッドバンド４０側（＋Ｘ側）を内側、ヘッドバンド４０と反対側（−Ｘ側）を外側とする。
【００１５】
装置本体部２１の外面には、図１に示すように、メインスイッチ２８と、タッチスイッチ３４と、集音マイク２４とが、筐体２１Ａの長手方向に沿って配置されている。
メインスイッチ２８は、ディスプレイ本体２０の電源のオンオフ操作を行うスイッチである。タッチスイッチ３４は、表面に手指等で触れることによりヘッドマウントディスプレイ１の各種操作を行うことができるタッチパネルである。集音マイク２４は、環境音を収集する外部マイクである。
【００１６】
装置本体部２１内面の基端部側に、図２に示すように、耳元スピーカー２３と、オーディオコネクター２６と、連結孔３１を有するヘッドバンドヒンジ３２とが設けられている。装置本体部２１内面の中央部に心拍数センサー１３７が設けられている。装置本体部２１の内側面の先端部には通話マイク３７が設けられている。
【００１７】
耳元スピーカー２３は、ユーザーの耳の近傍に配置される。耳元スピーカー２３からユーザーに音声情報が伝えられる。オーディオコネクター２６は、例えば図６に示すイヤホンが接続される音声入出力端子である。ヘッドバンドヒンジ３２は、ヘッドバンド４０とのジョイント部である。通話マイク３７にはユーザーの音声が入力される。
【００１８】
心拍数センサー１３７は、ユーザーの顔の表面に接触させることでユーザーの心拍数を測定するセンサーである。心拍数センサー１３７は、発光ダイオード等を備えた発光部と、ユーザーの皮膚内部で反射した光を検知する受光部とを有する。心拍数センサー１３７は、血流の変化による反射光量の変化を検出することで心拍数をカウントする。心拍数センサー１３７はユーザーの目の近くに配置されるが、発光部から赤外域の光を射出させる構成とすればユーザーにまぶしさを感じさせることはない。
【００１９】
装置本体部２１の基端部側の側端面には、ＵＳＢコネクター２５と、操作スイッチ３０と、ビデオコネクター２７とが設けられている。
ＵＳＢコネクター２５はＵＳＢ（Universal Serial Bus）デバイスの接続端子である。本実施形態では、例えば、図５に示すリモコン（リモートコントローラー）１４０が接続される。
【００２０】
操作スイッチ３０は、例えばトラックボールやスティックなどのポインティングデバイスである。操作スイッチ３０は表示部６０に表示される画面に正対するように設けられている。これにより、操作スイッチ３０における操作の左右方向と、上記画面の左右方向とが一致するので、ユーザーは画面を見ながら直感的に操作スイッチ３０を操作することが可能である。
ビデオコネクター２７は映像入出力端子である。
【００２１】
ヘッドバンド４０は、図２に示すように、ユーザーの頭部を挟持する一対のヘッドパット（装着部材）４６、４７と、第１ヘッドバンド４３と、第２ヘッドバンド４４と、回動機構５６、５７とを備えている。
【００２２】
第１ヘッドバンド４３は、全体として円弧状を成す弾性部材である。第１ヘッドバンド４３の頂部に、第１ヘッドバンド４３を折り曲げるためのジョイント部４３ａが設けられている。第１ヘッドバンド４３の両端には、回動機構５６、５７を構成する軸受部４３ｂ、４３ｃがそれぞれ設けられている。軸受部４３ｂ、４３ｃよりもさらにバンド先端側に、ヘッドパット４６、４７が接続される軸受部４３ｄ、４３ｅが設けられている。
【００２３】
第２ヘッドバンド４４は、全体として円弧状を成す弾性部材である。第２ヘッドバンド４４の頂部には、第２ヘッドバンド４４を折り曲げるためのジョイント部４４ａが設けられている。第２ヘッドバンド４４の両端には、それぞれ回動機構５６、５７を構成する軸部材４４ｂ、４４ｃが設けられている。
【００２４】
また本実施形態において、第２ヘッドバンド４４は、ステンレス等の金属からなるバネ部材４８の表面を樹脂等の柔軟な材料で被覆した構成を有する。この第２ヘッドバンド４４のバネ部材４８においてユーザーの頭部を挟持するバネ力を発生させる。また第２ヘッドバンド４４は第１ヘッドバンド４３と比較して広い幅に形成されている。ジョイント部４４ａの形成部分は他のバンド部分よりもさらに広く形成された標章表示部４９とされている。標章表示部４９には、シールや印刷により製品タグ等が付される。なお、第２ヘッドバンド４４の全体を金属で形成してもよい。
【００２５】
ヘッドパット４６は、板状の支持板４６ａと、支持板４６ａの一面側に設けられた断面アーチ状の弾性部材４６ｂとを有する。支持板４６ａの弾性部材４６ｂと反対側の面に、当該面に垂直な姿勢で概略六角柱状の連結ピン４１が立設されている。連結ピン４１は、第１ヘッドバンド４３の一方の先端に設けられた軸受部４３ｄに軸支されている。これにより、ヘッドパット４６は連結ピン４１回りに回転可能である。
【００２６】
ヘッドパット４７は、板状の支持板４７ａと、支持板４７ａの一方の面に設けられた断面アーチ状の弾性部材４７ｂとを有する。支持板４７ａの弾性部材４７ｂと反対側の面には、軸部材４７ｃが設けられている。軸部材４７ｃは、第１ヘッドバンド４３の先端に設けられた軸受部４３ｅに軸支されている。これにより、ヘッドパット４７は、軸部材４７ｃ回りに回転可能である。
【００２７】
図４は、ディスプレイ本体２０の水平断面図である。
図４に示すように、装置本体部２１には、筐体２１Ａの長手方向に沿って延びる板状の回路基板２９と、バッテリー３３とが内蔵されている。回路基板２９には、不図示の制御回路、電源回路等が実装されており、不図示の配線を介してディスプレイ本体２０の各部と電気的に接続されている。
【００２８】
装置本体部２１の外面に露出するタッチスイッチ３４の内側には、液晶パネルからなる表示パネル３６と、バックライト３５とが配置されている。本実施形態では、表示パネル３６の表示画像がタッチスイッチ３４を透過して表示される。表示パネル３６及びバックライト３５を、有機ＥＬパネルや電気泳動パネルとしてもよい。
【００２９】
ヘッドバンドヒンジ３２は、筐体２１Ａに設けられた凹曲面状の収容部３２ａと、収容部３２ａに嵌合された球状部３２ｂとからなるボールジョイントである。球状部３２ｂは、球面状の側面部と、この側面部を挟むように互いに平行に形成された２つの平面部を有する。２つの平面部を垂直に貫くように連結孔３１が形成されている。連結孔３１は軸方向視で六角形状に形成されている。連結孔３１にヘッドバンド４０の連結ピン４１が挿入されることによりディスプレイ本体２０とヘッドバンド４０とが連結される。
【００３０】
ヘッドバンドヒンジ３２を備えていることで、ディスプレイ本体２０は、図１に示したＡ方向（ヘッドバンドヒンジ３２を中心とするＸ軸回り）に回動させることができる。本実施形態において、ディスプレイ本体２０の回転可能範囲は２７０°程度とされる。このＸ軸回りの回転動作により、図３（Ａ）に示す右目で画像を観察する形態と、図３（Ｂ）に示す左目で画像を観察する形態との切替機能が実現される。
【００３１】
また、ヘッドバンドヒンジ３２は、ボールジョイントであるため、ディスプレイ本体２０は図１に示すＢ方向（ヘッドバンドヒンジ３２を中心とするＺ軸回り）に揺動させることもできる。この揺動操作により、ディスプレイ本体２０のユーザーの目や耳に対する位置を調整することができる。
【００３２】
ヘッドバンドヒンジ３２近傍の心拍数センサー１３７は、装置本体部２１の内面から突出するように設けられ、ヘッドマウントディスプレイ１の装着時にユーザーの顔の表面に当接可能とされている。バッテリー３３は、充電式電池、使い捨て電池のいずれであってもよい。
【００３３】
表示部６０は、図１及び図２に示すように、装置本体部２１の先端部に連結されている。本実施形態において、表示部６０のヘッドバンド４０側を内側、ヘッドバンド４０と反対側を外側とする。表示部６０は、上面視（Ｚ軸視）において湾曲した形状を有するアーム部材であり、装置本体部２１との連結部から先端側へ向かうに従って内側へ湾曲する形状を有する。表示部６０の内面に、ファインダー開口部６７が設けられている。表示部６０の外面には、カメラ６４が設けられている。
【００３４】
図４に示すように、表示部６０は、ディスプレイヒンジ６１を介して装置本体部２１と連結されている。ディスプレイヒンジ６１は、表示部６０の筐体６０Ａに形成された凹曲面状の収容部６１ａと、装置本体部２１に形成され収容部６１ａに嵌合された球状部６１ｂとからなるボールジョイントである。
【００３５】
装置本体部２１の球状部６１ｂは、装置本体部２１の外面先端部に形成された筐体２１Ａの長手方向に対して斜めに延びる傾斜面に、この傾斜面の法線方向（図４のＹ’軸方向）に突出するようにして設けられている。表示部６０は、ディスプレイヒンジ６１の球状部６１ｂに対してＹ’軸回りに自由に回転させることができる。
【００３６】
ディスプレイヒンジ６１の球状部６１ｂには、球状部６１ｂを高さ方向（Ｙ’軸方向）に貫通する貫通孔６１ｃが形成されている。貫通孔６１ｃを介して、表示部６０の内部と装置本体部２１の内部とが連通されている。貫通孔６１ｃには不図示のケーブルが挿通される。挿通されたケーブルを介して回路基板２９と表示部６０の各部とが電気的に接続される。
【００３７】
表示部６０の内部には、バックライト６２と、表示パネル６３と、カメラ６４と、プリズム６５と、反射ミラー６６と、前方ライト６８と、前方スピーカー７０と、結像レンズ７１と、撮像素子７２とが設けられている。すなわち、表示部６０は、バックライト６２、表示パネル６３、カメラ６４、プリズム６５、反射ミラー６６、前方ライト６８、前方スピーカー７０、結像レンズ７１、及び撮像素子７２を備えている。
【００３８】
プリズム６５は、上面視（Ｚ軸視）で略三角形状の第１プリズム６５ａと第２プリズム６５ｂとを互いの面で貼り合わせた構成を有する。この貼り合わせ面以外の第１プリズム６５ａの他の二面のうち、一方の面に対向する位置に、液晶パネルからなる表示パネル６３が設けられている。表示パネル６３の背面に表示パネル６３を透過照明するバックライト６２が配置されている。第１プリズム６５ａの他方の面に対向する位置に反射ミラー６６が配置されている。反射ミラー６６は、ファインダー開口部６７の略正面に位置する。
【００３９】
第２プリズム６５ｂの貼り合わせ面以外の他の二面のうち、一方の面はファインダー開口部６７に配置されたファインダー接眼面である。第２プリズム６５ｂの他方の面に対向する位置には結像レンズ７１を介して撮像素子７２が対向配置されている。
【００４０】
表示部６０において、表示パネル６３に表示された画像は、第１プリズム６５ａ、反射ミラー６６、第２プリズム６５ｂを介してファインダー開口部６７から射出され、ユーザーに観察される。また、ファインダー開口部６７を見ているユーザーの目元は、第２プリズム６５ｂ及び結像レンズ７１を介して撮像素子７２上に結像される。撮像素子７２を介して取得された目元の画像は、ユーザーの視線の方向や瞬き、表情の解析に用いられる。すなわち、撮像素子７２は、ユーザーの目元を撮像する撮像部として機能する。バックライト６２は、撮像素子７２による目元撮像の照明装置としても利用される。
【００４１】
カメラ６４（撮像部）は、例えば５００万画素〜１０００万画素の撮像素子を有し、オートフォーカス動作が可能に構成される。
本実施形態の場合、カメラ６４の撮像方向は、ユーザーの視線方向と一致するように設定される。すなわち、カメラ６４は、ヘッドマウントディスプレイ１を装着したユーザーの視線方向の画像（映像）を撮像する。なお、撮像方向と視線方向との調整は、機械的に行ってもよく、画像処理により行ってもよい。例えば、カメラ６４を広角の映像を取得可能に構成し、ユーザーの目元画像から取得した視線方向の情報に基づいて、電気的に捕らえた映像の一部を、視線方向の映像として抜き出して表示パネル６３に表示させる。これにより、カメラ６４に調整機構を設けることなくユーザー正面の映像（画像）の撮像、表示が可能となる。
【００４２】
前方ライト６８は、例えば、ＬＥＤ（Light Emitting Diode）ライトである。前方ライト６８は、赤、緑、青の各色の発光素子を有し、任意の色を任意のタイミングで発光させることが可能に構成してもよい。前方ライト６８は、発光色や発光タイミングにより外部に対して情報を表示する装置として用いてもよく、カメラ６４で撮像する際の照明装置として用いてもよい。
【００４３】
図５は、本実施形態のヘッドマウントディスプレイ１に付属のリモコンを示す斜視図である。
リモコン１４０は、筐体１４０Ａと、タッチパッド１４１と、操作スイッチ１４７と、ＵＳＢコネクター１４２と、インジケーター１４３ａ、１４３ｂ、１４３ｃと、取付クリップ１４４と、インジケータースイッチ１５０と、を備えている。
【００４４】
リモコン１４０は、ＵＳＢケーブル１４８の一方の端子をＵＳＢコネクター１４２に接続し、他方の端子を装置本体部２１のＵＳＢコネクター２５に接続することで、装置本体部２１と電気的に接続される。ＵＳＢケーブル１４８としては市販のＵＳＢケーブルを用いることができる。本実施形態の場合、ＵＳＢケーブル１４８の途中に複数のクリップ１４９が設けられている。複数のクリップ１４９は、例えばＵＳＢケーブル１４８を第２ヘッドバンド４４に沿わせた状態で固定するために用いることができる。
【００４５】
リモコン１４０には、ディスプレイ本体２０や他の電子機器と無線通信を行うための通信回路が内蔵されている。通信回路の通信方式としては、例えば、Bluetooth（登録商標）、無線ＬＡＮ、赤外線通信、ＵＷＢ（Ultra Wide Band）、Transfer Jetなどを用いることができる。かかる通信回路により、ＵＳＢケーブル１４８を接続していなくてもディスプレイ本体２０との通信が可能である。
【００４６】
リモコン１４０には、Ｇセンサーや加速度センサー、方位センサーが内蔵されていてもよい。これらのセンサーで検出した情報についても、上記した通信回路を介してディスプレイ本体２０へ通信可能である。
【００４７】
タッチパッド１４１は、筐体１４０Ａの一方の主面に設けられている。タッチパッド１４１は、ユーザーがタッチすることによりディスプレイ本体２０を操作するための操作部である。タッチパッド１４１の背面側の筐体１４０Ａ内部には、装置本体部２１のタッチスイッチ３４と同様に表示パネルやバックライトが設けられていてもよい。
【００４８】
操作スイッチ１４７は、リモコン１４０やディスプレイ本体２０を手動操作するためのスイッチである。操作スイッチ１４７は、必要に応じて設けられていればよい。筐体１４０Ａの側面に設けられたインジケータースイッチ１５０は、インジケーター１４３ａ〜１４３ｃを利用した所定動作を行わせるためのスイッチである。
【００４９】
ＵＳＢコネクター１４２は、装置本体部２１との接続のほか、リモコン１４０が充電式のバッテリーを内蔵している場合にはリモコン１４０の充電端子や、ＰＣとの接続にも用いられる。
また、ＵＳＢコネクター１４２は、リモコン１４０がバッテリーを内蔵している場合には、装置本体部２１への給電端子として用いることもできる。リモコン１４０のバッテリーを補助電源として使用可能にすることで、ヘッドマウントディスプレイ１は、装置本体部２１のバッテリー容量を小さくでき、装置本体部２１を小型軽量化することができる。
【００５０】
インジケーター１４３ａ、１４３ｂ、１４３ｃは、タッチパッド１４１の周囲に配置されている。本実施形態では、タッチパッド１４１の一辺に沿う位置にインジケーター１４３ａが配置され、インジケーター１４３ａに対してタッチパッド１４１を挟んだ反対側にインジケーター１４３ｂとインジケーター１４３ｃとが配置されている。
【００５１】
インジケーター１４３ａ〜１４３ｃはＬＥＤ等の発光素子を備えている。本実施形態では、インジケーター１４３ａは緑色の発光素子、インジケーター１４３ｂはオレンジ色の発光素子、インジケーター１４３ｃは青色の発光素子をそれぞれ備えている。これらの発光素子は制御されたタイミングでパターン発光可能に構成されている。インジケーター１４３ａ〜１４３ｃの上記パターン発光は、筐体１４０Ａ側面のインジケータースイッチ１５０を操作することでオンオフすることができる。
【００５２】
取付クリップ１４４は、筐体１４０Ａのタッチパッド１４１と反対側の面に設けられている。本実施形態の場合、取付クリップ１４４は、一端を筐体１４０Ａに固定された側面視Ｓ形のバネ板部材である。取付クリップ１４４により、リモコン１４０をユーザーの衣服やベルト等に装着することができる。
【００５３】
また、ヘッドマウントディスプレイ１は、取付クリップ１４４によりヘッドパット４７の近傍を挟むことで、ヘッドバンド４０にリモコン１４０を取り付けてもよい。ヘッドバンド４０のヘッドパット４６にディスプレイ本体２０を取り付ける一方、ヘッドパット４７側にリモコン１４０を取り付けることで、ヘッドマウントディスプレイ１における重量バランスの不均衡を低減することができる。
【００５４】
また、リモコン１４０をユーザーが手に持って操作スイッチ１４７を操作することで、インジケーター１４３ａ〜１４３ｃは、所定のパターンで点滅するように構成されている。例えば、インジケーター１４３ａの色は緑、インジケーター１４３ｂはオレンジ、インジケーター１４３ｃは青色となっており、この３つのインジケーターの発光パターンを表示部６０に設けられたカメラ６４で捕らえることにより、リモコン１４０の上下左右の傾きを認識することが可能となっている。ここ結果、リモコン１４０とディスプレイ本体２０とで後述するBluetooth（登録商標）による通信を行うことなく、すなわち消費電力を最小に押さえつつリモコン１４０の操作状態を本体側に伝えることが可能である。
【００５５】
図６は、本実施形態のヘッドマウントディスプレイに付属のステレオイヤホンを示す斜視図である。
ステレオイヤホン１００は、コネクター１０１と、ケーブル１０２と、第１スピーカー１０３と、第２スピーカー１０４と、集音マイク１０５と、複数のクリップ１０６とを有している。
【００５６】
コネクター１０１は、ケーブル１０２の一方の端部に設けられている。コネクター１０１は、例えば、一般的な４極φ３．５ｍｍのミニプラグである。４極の内訳は、集音マイク１０５、第１スピーカー１０３、第２スピーカー１０４、グランド（ＧＮＤ）である。ケーブル１０２は、コネクター１０１の近傍において二分岐され、分岐されたケーブルの先端に第１スピーカー１０３が設けられている。ケーブル１０２の他方の端部には、第２スピーカー１０４と集音マイク１０５とが設けられている。複数のクリップ１０６は、ケーブル１０２上に所定の間隔で配置されている。
【００５７】
ステレオイヤホン１００の第１スピーカー１０３は、ディスプレイ本体２０が配置された側のユーザーの耳に装着され、第２スピーカー１０４は第１スピーカー１０３と反対側の耳に装着される。このとき、ケーブル１０２は、クリップ１０６によって第２ヘッドバンド４４に固定することができる。
【００５８】
また、ステレオイヤホン１００の集音マイク１０５と、ディスプレイ本体２０において筐体２１Ａの外側面に設けられた集音マイク２４とにより、ステレオ録音が可能である。例えば、図３（Ａ）に示すようにディスプレイ本体２０が右眼側に配置されているとすれば、ディスプレイ本体２０の集音マイク２４はユーザーの右側の音を収集し、左耳に装着された集音マイク１０５はユーザーの左側の音を収集する。なお、ステレオイヤホン１００の第１スピーカー１０３から右チャンネルの音声が出力され、第２スピーカー１０４からは左チャンネルの音声が出力される。
【００５９】
一方、図３（Ｂ）に示すように左眼側にディスプレイ本体２０が配置されている場合には、ディスプレイ本体２０の集音マイク２４がユーザーの左側の音を収集し、右耳に装着された集音マイク１０５がユーザーの右側の音を収集する。ステレオイヤホン１００の第１スピーカー１０３から左チャンネルの音声が出力され、第２スピーカー１０４からは右チャンネルの音声が出力される。
【００６０】
図７は、ヘッドマウントディスプレイ１の機能ブロック図である。
ヘッドマウントディスプレイ１は、処理部１２３を中心として種々の電気回路を備えている。ヘッドマウントディスプレイ１は、例えば、バックライト６２、表示パネル６３、カメラ６４、撮像素子７２、デコーダー１２１、フラッシュメモリー１２２、処理部１２３、ＬＣＤドライバ１２５、ＢＬドライバ１２６、メモリー１２７、エンコーダー１２９、メインスイッチ２８、操作スイッチ３０、タッチスイッチ３４、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、及び３Ｇ／ＬＴＥ通信回路１３８を備えている。
なお、本実施形態において、カメラ６４、撮像素子７２、処理部１２３、メモリー１２７、エンコーダー１２９、メインスイッチ２８、操作スイッチ３０、タッチスイッチ３４、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、及び３Ｇ／ＬＴＥ通信回路１３８が入出力装置２００（情報入出力装置）に対応する。すなわち、入出力装置２００は、カメラ６４、撮像素子７２、処理部１２３、メモリー１２７、エンコーダー１２９、メインスイッチ２８、操作スイッチ３０、タッチスイッチ３４、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、及び３Ｇ／ＬＴＥ通信回路１３８を備えている。
【００６１】
処理部１２３は、例えば、ＣＰＵ（Central Processing Unit）であり、ヘッドマウントディスプレイ１の各種回路と接続されるとともに、ヘッドマウントディスプレイ１を総合的に制御する。処理部１２３の詳細については、後述する。
本実施形態の場合、エンコーダー１２９、デコーダー１２１、電源回路１２０、操作スイッチ３０、フラッシュメモリー１２２、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、加速度センサー１３２、地磁気センサー１３３、前方ライト６８、３Ｇ／ＬＴＥ通信回路１３８、レーザー発振器７３、角速度センサー１３４、ＧＰＳセンサー１３５、温湿度センサー１３６、心拍数センサー１３７、ＢＬドライバ１２６、メモリー１２７、メインスイッチ２８、及びタッチスイッチ３４は、処理部１２３に接続されている。
【００６２】
エンコーダー１２９は、音声信号及び映像信号を所定方式の音声データ及び映像データにエンコード（符号化）する。エンコーダー１２９には、カメラ６４、撮像素子７２、集音マイク２４、通話マイク３７、オーディオコネクター２６、ビデオコネクター２７が接続されている。
【００６３】
エンコーダー１２９は、集音マイク２４、通話マイク３７、及び、オーディオコネクター２６から供給される音声信号をエンコード（符号化）し、エンコードした音声信号を処理部１２３に供給する。また、エンコーダー１２９は、カメラ６４、ユーザーの目元を撮像する撮像素子７２、及びビデオコネクター２７から入力される映像（画像）信号をエンコード（符号化）し、エンコードした映像（画像）信号を処理部１２３に供給する。
【００６４】
デコーダー１２１は、音声データ及び映像データを音声信号及び映像信号にデコード（復号化）する。デコーダー１２１には、ＬＣＤドライバ１２５、スピーカーアンプ１６２、オーディオコネクター２６、及びビデオコネクター２７が接続されている。すなわち、デコーダー１２１は、音声データを音声信号にデコード（復号化）し、デコードした音声信号をスピーカーアンプ１６２又はオーディオコネクター２６に供給する。また、デコーダー１２１は、映像（画像）データを映像（画像）信号にデコード（復号化）し、デコードした映像信号をＬＣＤドライバ１２５又はビデオコネクター２７に供給する。
【００６５】
ＬＣＤドライバ１２５は、例えば、液晶パネル用の駆動信号を生成する回路であり、表示パネル３６及び表示パネル６３に接続されている。すなわち、ＬＣＤドライバ１２５は、処理部１２３からデコーダー１２１を介して供給された映像（画像）信号に基づいて液晶パネル用の駆動信号を生成し、生成した液晶パネル用の駆動信号を表示パネル３６又は表示パネル６３に供給する。
表示パネル６３（表示部）は、例えば、液晶表示パネルであり、ＬＣＤドライバ１２５から供給される駆動信号に基づいて、映像（画像）を表示する。表示パネル６３は、例えば、カメラ６４によって撮像された画像、及びメニュー画面などを表示する。
【００６６】
ＢＬドライバ１２６は、例えば、バックライト用の駆動信号を生成する回路であり、バックライト３５及びバックライト６２に接続されている。すなわち、ＢＬドライバ１２６は、処理部１２３から供給された制御信号に基づいて、バックライト用の駆動信号を生成し、生成したバックライト用の駆動信号をバックライト３５及びバックライト６２に供給する。
【００６７】
バッテリー３３は、電源回路１２０を介してヘッドマウントディスプレイ１の各部に電力を供給する。
電源回路１２０は、処理部１２３から供給される制御信号に基づいて、バッテリー３３から供給された電力の制御（例えば、電圧の変換、供給オンオフ）を行う。
【００６８】
スピーカーアンプ１６２は、例えば、音声信号を増幅してスピーカーに出力する回路であり、耳元スピーカー２３及び前方スピーカー７０に接続されている。スピーカーアンプ１６２は、処理部１２３からデコーダー１２１を介して供給された音声信号を増幅し、増幅した音声信号を耳元スピーカー２３又は前方スピーカー７０に供給する。
【００６９】
本実施形態の場合、耳元スピーカー２３及び前方スピーカー７０は、モノラル音声の使用を想定しており、耳元スピーカー２３及び前方スピーカー７０は、左右の音声信号が合成された音を出力する。
メモリー１２７は、処理部１２３によって実行される制御プログラムを記憶している。
【００７０】
メインスイッチ２８は、全体の電源のオンオフを行うスイッチであり、ユーザーが操作することにより、操作に基づく制御信号を処理部１２３に供給する。
操作スイッチ３０は、画面内でのポインティング操作を行うためのスイッチであり、ユーザーが操作することにより、操作に基づく制御信号を処理部１２３に供給する。
タッチスイッチ３４は、タッチ操作により各種操作を行うスイッチであり、ユーザーが操作することにより、操作に基づく制御信号を処理部１２３に供給する。
なお、ディスプレイ本体２０は、メインスイッチ２８、操作スイッチ３０、及びタッチスイッチ３４を備えており、ディスプレイ本体２０は、ユーザーの身体における右側及び左側のいずれかの位置に装着可能である。そのため、ディスプレイ本体２０は、メインスイッチ２８、操作スイッチ３０、及びタッチスイッチ３４は、ユーザーの身体における右側及び左側のいずれかの位置に装着可能であって、情報入出力装置を操作する。
【００７１】
ＢＴ通信回路１３０は、他の機器とのBluetooth（登録商標）通信を行うための通信回路である。
ＷｉＦｉ通信回路１３１（通信部）は、他の機器との無線ＬＡＮ通信（IEEE 802.11）を行うための通信回路である。
３Ｇ／ＬＴＥ通信回路１３８は、他の機器との移動通信を行うための通信回路である。
ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、及び３Ｇ／ＬＴＥ通信回路１３８は、他の機器との間で、音声データや映像（画像）データなどの情報の送信／受信を行う。
【００７２】
加速度センサー１３２（Ｇセンサー）は、加速度情報（例えば、加速度及び重力）を検出し、ヘッドマウントディスプレイ１の傾き検出に用いられる。加速度センサー１３２は、検出した加速度情報を処理部１２３に供給する。
地磁気センサー１３３は、地磁気に基づいて方位情報を検出し、ヘッドマウントディスプレイ１の方角検出に用いられる。地磁気センサー１３３は、検出した方位情報を処理部１２３に供給する。
【００７３】
角速度センサー１３４（ジャイロセンサー）は、角速度を検出し、ヘッドマウントディスプレイ１の回転検出に用いられる。角速度センサー１３４は、検出した角速度を処理部１２３に供給する。
ＧＰＳセンサー１３５は、ＧＰＳ（Global Positioning System）を利用した測位検出に用いられ、ヘッドマウントディスプレイ１の緯度経度を測定する。ＧＰＳセンサー１３５は、測定したヘッドマウントディスプレイ１の緯度経度を処理部１２３に供給する。
【００７４】
温湿度センサー１３６は、環境の温度、及び湿度を検出する。温湿度センサー１３６は、検出した環境の温度、及び湿度を処理部１２３に供給する。
心拍数センサー１３７は、ユーザーの頬に接触し、ユーザーの心拍数を検出する。すなわち、心拍数センサー１３７は、ヘッドマウントディスプレイ１がユーザーに装着されているか否かを検出する。心拍数センサー１３７は、検出したユーザーの心拍数を処理部１２３に供給する。
レーザー発振器７３は、上述したように表示パネル６３に表示された画像内の所定の位置に対応するターゲット（対象物）にレーザー光（スポット光）を照射する。
【００７５】
カメラ６４（撮像部）は、オートフォーカス動作が可能に構成されており、光学系６４１と撮像素子６４２とを備えている。また、カメラ６４は、比較的深い被写界深度を有しており、例えば、１ｍ（メートル）〜無限遠方まではいわゆるパンフォーカスとして扱うことも可能である。したがって、カメラ６４は、無限遠方の被写体に合焦していたとしても、例えば、１ｍ以内にある手に対して、この段階では厳密に手にピントが合っていないとしても、手の検出は可能となっている。
【００７６】
光学系６４１は、例えば、複数のレンズを備え、被写体像である画像を撮像素子６４２の受光面に結像させる。なお、光学系６４１は、オートフォーカス動作の再に、処理部１２３から供給される制御信号に基づいてレンズが駆動され、画像を撮像素子６４２に合焦する。
撮像素子６４２は、例えば、ＣＣＤイメージセンサ（Charge Coupled Device Image Sensor）などの撮像素子であり、光学系６４１によって結像された画像を撮像する。撮像素子６４２は、例えば、光学系６４１によって結像された被写体像を電気信号に変換し、画像データとしてエンコーダー１２９に出力する。
【００７７】
処理部１２３は、上述したようにヘッドマウントディスプレイ１を総合的に制御する。処理部１２３は、例えば、集音マイク２４、通話マイク３７、又はオーディオコネクター２６からエンコーダー１２９を介して供給された音声データをフラッシュメモリー１２２に記憶させる。処理部１２３は、例えば、集音マイク２４、通話マイク３７、又はオーディオコネクター２６からエンコーダー１２９を介して供給された音声データをＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、又は３Ｇ／ＬＴＥ通信回路１３８を介して他の機器に送信する。
また、処理部１２３は、例えば、カメラ６４、撮像素子７２、又はビデオコネクター２７からエンコーダー１２９を介して供給された映像（画像）データをフラッシュメモリー１２２に記憶させる。処理部１２３は、例えば、カメラ６４、撮像素子７２、又はビデオコネクター２７からエンコーダー１２９を介して供給された映像（画像）データを、ＬＣＤドライバ１２５を介して表示パネル６３に表示させる。処理部１２３は、例えば、カメラ６４、撮像素子７２、又はビデオコネクター２７からエンコーダー１２９を介して供給された映像（画像）データをＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、又は３Ｇ／ＬＴＥ通信回路１３８を介して他の機器に送信する。
【００７８】
また、映像データを再生する場合、処理部１２３は、フラッシュメモリー１２２に記録された映像（画像）データ、あるいはエンコーダー１２９から入力される映像（画像）データを、デコーダー１２１及びＬＣＤドライバ１２５を介して表示パネル３６、６３に供給する。これにより、映像信号が入力された表示パネル３６又は表示パネル６３に映像データに基づく映像が表示される。また、処理部１２３は、デコーダー１２１からビデオコネクター２７に出力される映像信号を、ビデオコネクター２７を介して外部機器に出力させる。
【００７９】
また、映像の表示に際して、処理部１２３は、必要に応じて表示パネル３６用のバックライト３５、及び表示パネル６３用のバックライト６２を点灯させる。すなわち、処理部１２３は、ＢＬドライバ１２６に制御信号を供給し、ＢＬドライバ１２６はバックライト（３５，６２）を個々に点灯させる。
また、処理部１２３は、例えば、制御信号により操作を検出し、上記の制御プログラムに規定された動作を実行する。
【００８０】
また、処理部１２３は、カメラ６４によって撮像された撮像画像に含まれる手の態様に基づいて、撮像画像に重畳する情報（例えば、キャラクターやカーソルマークなど）を制御するとともに、撮像画像に情報を重畳した画像を出力する。すなわち、処理部１２３は、この手の態様に基づいて、撮像画像に情報を重畳する処理を制御するとともに、撮像画像に情報を重畳した画像を出力する。
例えば、処理部１２３は、撮像画像に基づいて、撮像画像に含まれる手の左右（右手及び左手のいずれかであるか）を判定し、判定した判定結果に基づいて重畳する情報を変更する。具体的に、処理部１２３は、例えば、右手である場合に右手用のキャラクターを表示するとともに、ヘッドマウントディスプレイ１の端末情報（システム情報）を表示パネル６３に表示させる。処理部１２３は、例えば、左手である場合に左手用のキャラクターを表示するとともに、ユーザーに関する情報（パーソナル情報）を表示パネル６３に表示させる。
【００８１】
また、処理部１２３は、例えば、撮像画像に基づいて、撮像画像に含まれる手の表裏（手の甲及び手の平のいずれかであるか）を判定し、判定した判定結果に基づいて重畳する情報を変更する。具体的に、処理部１２３は、例えば、手の平（手の裏）である場合に、手の平の画像領域に所定のキャラクターを重畳させて表示パネル６３に表示させる。また、処理部１２３は、例えば、手の甲（手の表）である場合に、手が指示する指示位置（例えば指先の位置）に、指示位置を示すカーソル（マーク）を重畳させて表示パネル６３に表示させる。
【００８２】
また、処理部１２３は、撮像画像に基づいて、撮像画像に含まれる手がユーザーの手であるか否かを判定し、判定した判定結果に基づいて重畳する情報を変更する。具体的に、処理部１２３は、撮像画像に含まれる手がユーザー（本人）の手であると判定した場合に、ユーザー（本人）に関連付けられた情報（例えば、ユーザーの個人情報）を表示パネル６３に表示させる。また、処理部１２３は、撮像画像に含まれる手がユーザーの手でないと判定した（他人の手である）場合に、手の所有者に関連付けられた情報（例えば、個人情報）を取得し、取得した情報を表示パネル６３に表示させる。
また、処理部１２３は、例えば、カメラ６４によって撮像された映像（画像）に基づいて、レーザー発振器７３によるレーザー光の照射を制御する。
【００８３】
また、本実施形態において、処理部１２３は、パターン認識部２０１、入力制御部２０２、ＡＦ（オートフォーカス）制御部２０３、メニュー選択処理部２０４、表示制御部２０５、目元検出部２０６、表示切替部２０７、及び角度検出部２０８を備えている。
図８は、本実施形態における処理部１２３の一例を示す機能ブロック図である。
以下、図７及び図８を参照して、本実施形態における処理部１２３の各部について説明する。
【００８４】
パターン認識部２０１（認識部）は、カメラ６４によって撮像された画像に含まれる人の手の形状を認識するともに手の態様を認識する。ここで手の態様とは、例えば、手の左右（右手又は左手）、手の表裏（手の甲又は手の平）などの状態である。また、本実施形態では、ヘッドマウントディスプレイ１は、例えば、ヘッドマウントディスプレイ１の操作（例えば、表示パネル６３の画面上の所定の位置を指示、メニュー選択、及び情報の入力などの操作）を手の形状を認識することにより行う。
パターン認識部２０１は、例えば、予め定められている手の形状のパターンと画像に含まれるパターンとが一致するか否かを判定するパターンマッチングを用いて、人の手及び手の左右（右手又は左手）を認識する。また、パターン認識部２０１は、例えば、人の手と認識したパターン領域に手の掌紋（手のしわ）があるか否かに基づいて、手の表裏（手の甲又は手の平）を認識する。このように、パターン認識部２０１は、カメラ６４によって撮像された撮像画像に基づいて、手の態様を認識する。
【００８５】
なお、予め定められている手の形状のパターンは、メモリー１２７に記憶させておいてもよい。ここで、手の形状とは、カメラ６４によって撮像された撮像画像における手の形状のパターン領域を示す。
パターン認識部２０１は、人の手を認識した場合に、認識した人の手に関する情報を入力制御部２０２及び角度検出部２０８に供給する。なお、人の手に関する情報とは、例えば、撮像された画像上の位置情報、手の形状の大きさ、指の位置や指の長さ、指の向きなどの情報である。また、パターン認識部２０１は、人の手を認識した場合に、認識した手の態様を入力制御部２０２に供給する。
【００８６】
ＡＦ制御部２０３（合焦部）は、カメラ６４の光学系６４１を駆動して撮像素子６４２に被写体像などの画像を合焦させる。ＡＦ制御部２０３は、入力制御部２０２から供給される制御指令に基づいて、カメラ６４によって撮像される画像における所定の画素位置に合焦するように、光学系６４１を駆動する制御を行う。
【００８７】
メニュー選択処理部２０４（操作部）は、後述する入力制御部２０２が算出した手が指示する指示位置に応じて、入力を操作する。例えば、メニュー選択処理部２０４は、表示パネル６３に表示された複数の操作メニュー（例えば、アイコンなど）を、手による指示位置に応じて選択する。メニュー選択処理部２０４は、例えば、手による指示位置に応じて、少なくとも１つの操作メニューを選択するような操作処理を行う。すなわち、メニュー選択処理部２０４は、手による指示位置に応じて、操作メニューを操作する。
【００８８】
表示制御部２０５は、表示パネル６３及び表示パネル３６に映像（画像）及び各種表示を表示させる制御を行う。表示制御部２０５は、例えば、カメラ６４によって撮像された映像（画像）内における入力制御部２０２によって指示された位置に、カーソルなどのマークやキャラクターを表示パネル６３に表示させる制御を行う。表示制御部２０５は、表示パネル６３に表示させる映像（画像）データを、表示切替部２０７を介してデコーダー１２１に供給する。
【００８９】
目元検出部２０６は、ユーザーの目元を撮像する撮像素子７２が撮像した画像に基づいて、ヘッドマウントディスプレイ１がユーザーに装着されているか否かを検出する。また、目元検出部２０６は、撮像素子７２が撮像した画像に基づいて、例えば、ユーザーの目元のパターンマッチングを行うことにより、表示部６０が装着されている左右の位置を検出する。すなわち、目元検出部２０６は、表示部６０（操作スイッチ３０）がユーザーに装着されている位置であって、例えば、ユーザーの身体における右側及び左側のいずれかの位置であるかを検出する。目元検出部２０６は、検出したユーザーの左右のいずれかに表示部６０が装着されているかの情報を表示切替部２０７及び入力制御部２０２に供給する。
【００９０】
表示切替部２０７は、目元検出部２０６によって検出されたユーザーの左右のいずれかに表示部６０が装着されているかの情報に応じて、表示制御部２０５から供給された画像情報を、ユーザーが正しく視認できるように表示を切り替える。表示の切り替え処理の詳細については、後述する。表示切替部２０７は、目元検出部２０６によって検出されたユーザーの左右のいずれかに表示部６０が装着されているかの情報に応じて切り替えた画像データを、デコーダー１２１を介してＬＣＤドライバ１２５に供給することにより、表示パネル６３に表示させる。
【００９１】
角度検出部２０８は、カメラ６４によって撮像された撮像画像に基づいて、撮像画像に含まれる手の方向が示す角度を手の角度として検出する。具体的に、角度検出部２０８は、パターン認識部２０１から供給される人の手に関する情報に基づいて、手の角度を検出する。角度検出部２０８は、例えば、撮像画像の水平方向に対する指の向きの角度を検出することにより、手の角度を検出する。なお、角度検出部２０８によって検出された手の角度は、後述するユーザーの手であるか否かの判定に用いられる。
【００９２】
入力制御部２０２（制御部）は、パターン認識部２０１によって認識された手の大きさに応じて、予め定められた所定の処理を実行させるか否かを制御する。ここで、予め定められた所定の処理とは、例えば、ＡＦ制御部２０３に光学系６４１を合焦させる処理であるオートフォーカス処理やメニュー選択処理部２０４による操作メニューを選択する処理などである。
【００９３】
入力制御部２０２は、手の形状の大きさが予め定められた所定の大きさ以上である場合に、上述の所定の処理を実行させる。ここで、「予め定められた所定の大きさ」は、カメラ６４によって撮像される画像において、カメラ６４から予め定められた所定の距離に対応する手の大きさである。一般に、ヘッドマウントディスプレイ１を頭部に装着した場合には、ユーザーの手が最も遠い場合でも１ｍ以上離れることはない。そこで、手の形状の「予め定められた所定の大きさ」とは、例えば、１ｍ以内における手に対応する大きさである。例えば、「予め定められた所定の大きさ」は、パターン認識部２０１によって手の形状として認識されるパターンの横方向の画素数が、カメラ６４の画素数とレンズの画角と手と頭との距離より算出される値として、例えば、手の幅が２００画素以上であればユーザーの「手」とする。
【００９４】
また、入力制御部２０２は、パターン認識部２０１によって複数の手の形状が認識された場合に、最も大きい手の形状の大きさに応じて、上述の所定の処理を実行させるか否かを制御する。これは、例えば、１ｍ以内に複数の「手」があった場合に、入力制御部２０２は、最も近くにある手をユーザーの手として判定するためである。
また、入力制御部２０２は、例えば、画像を表示する表示パネル６３にカメラ６４によって撮像された画像が表示されている場合に、ＡＦ制御部２０３に手の形状の背景に対して光学系６４１を合焦させる制御を行う。すなわち、この場合、ユーザーが背景の部分を手によって差し示している可能性が高いため、入力制御部２０２は、手の形状の背景に対して光学系６４１を合焦させる制御を行う。ここで、背景とは、表示パネル６３に表示されている画像のうちの手の形状を除く領域を示す。
【００９５】
また、入力制御部２０２は、例えば、画像を表示する表示パネル６３にカメラ６４によって撮像された画像が表示されていない場合に、ＡＦ制御部２０３に手の形状に対して光学系６４１を合焦させる。すなわち、この場合、ユーザーが手によってメニュー選択処理部２０４により選択処理を行う可能性が高いため、手の形状を詳細に認識する必要があるので、入力制御部２０２は、手の形状に対して光学系６４１を合焦させる制御を行う。ここで、手の形状に対して光学系６４１を合焦させるとは、カメラ６４によって撮像された画像内の手の形状の画素位置（画素領域）に合焦する（ピントを合わせる）ように、光学系６４１を駆動させることである。
また、入力制御部２０２は、例えば、パターン認識部２０１によって認識された手の形状に基づいて、手が物を持っている状態か否かを判定する。入力制御部２０２は、手が物を持っている状態であると判定した場合に、ＡＦ制御部２０３に、手の形状に対して光学系６４１を合焦させる。この場合、ユーザーは、手に持っている物を指し示している可能性が高いため、入力制御部２０２は、ＡＦ制御部２０３に手の形状に対して光学系６４１を合焦させる。
【００９６】
また、入力制御部２０２は、例えば、パターン認識部２０１によって複数の手の形状が認識された場合、且つ、左右の手の形状が認識された場合に、目元検出部２０６によって検出された操作スイッチ３０がユーザーに装着されている左右のいずれかの位置に応じて、左右の手の形状のうちのいずれかの手の形状を選択する。入力制御部２０２は、選択したこの左右のいずれかの手の形状の大きさに応じて、上述の所定の処理を実行させるか否かを制御する。
【００９７】
例えば、ここでヘッドマウントディスプレイ１が図３（Ａ）に示すように右目用で使用されている場合には、タッチスイッチ３４や操作スイッチ３０なども右側に配置されているため、ユーザーが右利きである可能性が高い。この場合には、例えば、ユーザーの左手は体を支えるなどの用途に使われており、右手は細かな操作及び指示に使われる可能性が高いので、入力制御部２０２は、右手を優先して選択する。
【００９８】
また、入力制御部２０２は、パターン認識部２０１によって認識された手の位置と、手が有する所定の部分（例えば、人差し指）の向き及び長さとに基づいて、ユーザーの手が指示する指示位置を算出する。なお、ここでの「手の位置」とは、カメラ６４によって撮像された撮像画像上の位置のことである。例えば、入力制御部２０２は、手の先端（例えば、人差し指の先端）から人差し指の向きに人差し指の長さに応じて延長した位置を指示位置として算出する。具体的に、入力制御部２０２は、例えば、入力制御部２０２は、手の先端から人差し指の向きに人差し指の長さを所定の係数倍（例えば、２倍）して延長した位置を指示位置として算出する。この指示位置の算出処理の詳細については、後述する。
【００９９】
入力制御部２０２は、画像を表示する表示パネル６３の表示画像における、算出した指示位置に対応する位置に指示位置を示すカーソル（マーク）を表示させる。例えば、入力制御部２０２は、算出した指示位置を表示制御部２０５に供給することにより、表示パネル６３の指示位置に対応する位置にカーソル（マーク）を表示させる。
また、入力制御部２０２は、算出した指示位置に応じて、メニュー選択処理部２０４に入力を操作させる制御を行う。例えば、入力制御部２０２は、メニュー選択処理部２０４は、指示位置に応じて、複数の操作メニューのうちの１つを選択させるように制御を行う。
【０１００】
入力制御部２０２は、パターン認識部２０１に供給された手の態様に基づいて、撮像画像に含まれる手が右手及び左手のいずれかであるかを判定し、判定した判定結果に基づいて、撮像画像に重畳する情報を変更する制御を行う。入力制御部２０２は、例えば、右手である場合に右手用のキャラクター及びヘッドマウントディスプレイ１の端末情報（システム情報）を、表示制御部２０５に対して表示パネル６３に表示させる。また、入力制御部２０２は、例えば、左手である場合に左手用のキャラクター及びユーザーに関する情報（パーソナル情報）を、表示制御部２０５に対して表示パネル６３に表示させる。
【０１０１】
また、入力制御部２０２は、撮像画像に含まれる手が手の平及び手の甲のいずれかであるかを判定し、判定した判定結果に基づいて重畳する情報を変更する制御を行う。入力制御部２０２は、例えば、入力制御部２０２は、例えば、手の平である場合に、表示制御部２０５に対して手の平の画像領域に所定のキャラクターを重畳させて表示パネル６３に表示させる。また、入力制御部２０２は、例えば、手の甲である場合に、表示制御部２０５に対して手が指示する指示位置（例えば指先の位置）に、指示位置を示すカーソル（マーク）を重畳させて表示パネル６３に表示させる。
【０１０２】
また、入力制御部２０２は、撮像画像に含まれる手がユーザーの手であるか否かを判定し、判定した判定結果に基づいて重畳する情報を変更する制御を行う。入力制御部２０２は、例えば、撮像画像に含まれる手がユーザー（本人）の手であると判定した場合に、表示制御部２０５に対して、ユーザー（本人）に関連付けられた情報（例えば、ユーザーの個人情報）を表示パネル６３に表示させる。また、入力制御部２０２は、例えば、撮像画像に含まれる手が他人の手である場合に、手の所有者に関連付けられた情報（例えば、個人情報）を、例えば、ＷｉＦｉ通信回路１３１を介して取得する。そして、入力制御部２０２は、表示制御部２０５に対して、取得した情報を表示パネル６３に表示させる。
【０１０３】
図９は、ヘッドマウントディスプレイ１のネットワーク接続の一例を示す図である。
この図においてヘッドマウントディスプレイをＨＭＤと表記する。なお、ＨＭＤ１は、ユーザー（本人）が使用するヘッドマウントディスプレイであり、ＨＭＤ５００は、他人が使用するヘッドマウントディスプレイである。この図において、接続に関して必要な要素のみを記載し、他は省略している。
【０１０４】
図９において、ヘッドマウントディスプレイ１（ＨＭＤ１）は、ネットワーク２２０を介して、ＨＭＤ５００と、サーバー２１０とに接続されている。ここで、ＨＭＤ１は、タッチスイッチ３４、表示部６３、カメラ６４、地磁気センサー１３３、処理部１２３、フラッシュメモリー１２２、及び通信インタフェース（１３１，１３８）を備えている。ここで、通信インタフェースは、例えば、ＷｉＦｉ通信回路１３１及び３Ｇ／ＬＴＥ通信回路１３８である。
【０１０５】
また、ＨＭＤ５００は、ＨＭＤ１と同様の通信手段を有するヘッドマウントディスプレイである。ＨＭＤ５００は、ＨＭＤ１と同様に、タッチスイッチ５３４、表示パネル５６３（表示部）、カメラ５６４、地磁気センサー５３３、処理部５２３、フラッシュメモリー５２２、及び通信インタフェース（５３１，５３８）を備えている。ＨＭＤ５００の各機能部は、ＨＭＤ１の各機能部と同等である。
【０１０６】
サーバー２１０は、処理部２１１、記憶部２１２、及び通信インタフェース２１３を備えている。処理部２１１は、各端末（ＨＭＤ１、ＨＭＤ５００）から通信インタフェース２１３を介して受信した画像データ（動画、静止画、線画等）、音声データ、各端末の環境情報、及び各端末からの要求等の通信記録を、記憶部２１２に記録（記憶）させる。処理部２１１は、各端末の要求に応じて、記憶部２１２に記録してある画像データを読み出し、読み出した画像データを、通信インタフェース２１３を介して各端末に送信する。
記憶部２１２には、各端末から受信した画像データ（動画、静止画）、音声データ、各端末の環境情報、及び各端末からの要求等の通信記録が記録（記憶）されている。
通信インタフェース２１３は、例えば、ＷｉＦｉ通信回路、３Ｇ通信回路、ＬＴＥ通信回路、有線ＬＡＮ回路等を備えている。
【０１０７】
ＨＭＤ１は、通信インタフェース（１３１，１３８）を介してネットワーク２２０に接続し、ＨＭＤ１は、通信インタフェース（１３１，１３８）を介して、上述の手の所有者に関連付けられた情報をＨＭＤ５００又はサーバー２１０から取得する。
【０１０８】
次に、本実施形態におけるヘッドマウントディスプレイ１の動作について説明する。
まず、本実施形態におけるヘッドマウントディスプレイ１の動作を説明する上で前提となるカメラ６４の撮像範囲について、図１０及び図１１を参照して説明する。
図１０は、本実施形態におけるヘッドマウントディスプレイ１の右目装着時の撮像範囲を示す模式図である。
この図において、表示部６０は、右目の正面を向いた場合の視線方向に対して角度αの方向の下方に配置されている。この場合、カメラ６４は、撮像範囲Ｐの範囲を撮像する。なお、撮像範囲Ｐには、撮像範囲Ｐのうちの右目装着時の上半分の範囲Ｑと、下半分の範囲Ｒとが含まれている。
【０１０９】
また、図１１は、本実施形態におけるヘッドマウントディスプレイ１の左目装着時の撮像範囲を示す模式図である。
この図において、表示部６０は、左目の正面を向いた場合の視線方向に対して角度αの方向の下方に配置されている。この場合、カメラ６４は、撮像範囲Ｐの範囲を撮像する。なお、撮像範囲Ｐには、撮像範囲Ｐのうちの右目装着時の上半分の範囲Ｒと、下半分の範囲Ｑとが含まれている。
【０１１０】
次に、図１２及び図１３を参照して、ヘッドマウントディスプレイ１における撮像範囲及び表示範囲の切り替え処理について説明する。
図１２は、本実施形態におけるヘッドマウントディスプレイ１の撮像範囲及び表示範囲の切り替えを示す図である。
図１２において、撮像範囲Ｐは、カメラ６４の全撮像範囲を示している。ここでは、４対３のアスペクト比を有するカメラ６４（撮像素子６４２）を用いて、撮像範囲が縦長になるようにカメラが配置されている。
また、図１３は、本実施形態におけるヘッドマウントディスプレイ１の撮像範囲及び表示範囲の切り替え処理を示すフローチャートである。
【０１１１】
図１３において、まず、ヘッドマウントディスプレイ１の処理部１２３は、ユーザーがまず右目で表示パネル６３を見ていることを想定して、映像（画像）の読み出し範囲（表示範囲）として範囲Ｑを選択する（ステップＳ１）。すなわち、処理部１２３は、図１０に示すように、撮像範囲Ｐにおけるユーザーから見た上の方（上半分）の範囲Ｑを読み出して、表示制御部２０５及び表示切替部２０７により表示パネル６３に表示させる。
【０１１２】
次に、処理部１２３は、ユーザーが右目で観察しているか否かを判定する（ステップＳ２）。ここで、処理部１２３は、ユーザーが観察している目に関する情報（ユーザーの左右のいずれかに表示部６０が装着されているかの情報）を検出する。すなわち、処理部１２３の目元検出部２０６は、撮像素子７２によってユーザーの瞼を含めた目元を撮影した画像に基づいて、ユーザーが観察している目に関する情報を検出する。
処理部１２３は、ユーザーが右目で観察していると判定した場合（ステップＳ２：Ｙｅｓ）に、処理をステップＳ６に進める。また、処理部１２３は、ユーザーが右目で観察していない（左目で観察している）と判定した場合（ステップＳ２：Ｎｏ）に、処理をステップＳ３に進める。この場合、ユーザーは、図１１に示すようにヘッドマウントディスプレイ１を装着していることになる。
【０１１３】
次に、ステップＳ３において、処理部１２３は、映像（画像）の読み出し範囲（表示範囲）として範囲Ｒを選択する。範囲Ｒは、図１２における下側の点線で示された枠であるが、図１１に示すように左目でヘッドマウントディスプレイ１を使用する場合には、撮像範囲Ｐにおけるユーザーから見た上の方が読み出されることになる。すなわち、処理部１２３は、図１１に示すように、撮像範囲Ｐにおけるユーザーから見た上の方（上半分）の範囲Ｒを読み出して、表示制御部２０５及び表示切替部２０７を介して、表示パネル６３に出力する。
【０１１４】
次に、処理部１２３は、撮像範囲Ｐにおける読み出し範囲の上下を反転させる（ステップＳ４）。すなわち、処理部１２３は、カメラ６４が１８０度回転していることから、読み出し範囲におけるカメラの映像（画像）を１８０度回転させる。
【０１１５】
次に、処理部１２３は、表示画像を１８０度回転させる（ステップＳ５）。すなわち、処理部１２３の表示切替部２０７は、目元検出部２０６によって検出されたユーザーが観察している目に関する情報に応じて、表示制御部２０５から供給された画像を１８０度回転させるか否かを切り替える。
【０１１６】
次に、処理部１２３は、被写体までの測距値とズーム値とに応じて、画像の読み出し範囲を変更する（ステップＳ６）。すなわち、処理部１２３は、被写体とカメラのズーム倍率に応じて、撮像範囲Ｐのうちの画像の読み出し範囲（表示範囲）を変更する。例えば、表示部６０が右目で観察されている場合（ヘッドマウントディスプレイ１を右目で使用している場合）には、処理部１２３は、図１２に示す読み出し範囲Ｑを表示パネル６３に表示させている。この場合においてユーザーが被写体の一部を拡大するズーミング指示を操作スイッチ３０などによって行った場合に、処理部１２３は、まず、被写体までの距離を、カメラ６４を用いた公知の測距技術により測距する。処理部１２３は、被写体までの距離が十分に遠い場合には、遠方を見る人間の目も顔の正面を見ているので、読み出し範囲として画面の中央の範囲Ｓ（図１２）を読み出し、表示パネル６３に表示させる。また、処理部１２３は、被写体までの距離が極近い場合には、人の目は中央に寄ることから、範囲Ｔ（図１２）を読み出し、表示パネル６３に表示させる。なお、処理部１２３は、この読み出し範囲Ｔから範囲Ｓまでを被写体までの距離に応じて略連続的に変化させる。
また、処理部１２３は、広い範囲を映したい場合、すなわちズーミングがワイド側にある場合には、特に読み出し範囲の移動は行わない。
【０１１７】
また、例えば、表示部６０が左目で観察されている場合（ヘッドマウントディスプレイ１を左目で使用している場合）には、処理部１２３は、図１２に示す読み出し範囲Ｒを表示パネル６３に表示させている。この場合においても上記と同様に、処理部１２３は、被写体がズーミングされて被写体までの距離が十分に遠い場合には範囲Ｕ（図１２）を読み出し、また、被写体までの距離が極近い場合には範囲Ｖ（図１２）を読み出し、表示パネル６３に出力する。
このように、本実施形態におけるヘッドマウントディスプレイ１は、ユーザーが見ている範囲と、カメラ６４によって撮像される範囲との差異を低減し、使用時に違和感のない使い易い（利便性のよい）システムを提供することができる。
【０１１８】
次に、処理部１２３は、スピーカー（第１スピーカー１０３、第２スピーカー１０４）の左右の音を設定する（ステップＳ７）。すなわち、処理部１２３は、上述したユーザーが観察している目に関する情報（ユーザーの左右のいずれかに表示部６０が装着されているかの情報）に応じて、スピーカー（第１スピーカー１０３、第２スピーカー１０４）の左右の音を設定する。
【０１１９】
次に、処理部１２３は、ステレオマイク（集音マイク１０５、集音マイク２４）の左右の音を設定する（ステップＳ８）。すなわち、処理部１２３は、上述したユーザーが観察している目に関する情報（ユーザーの左右のいずれかに表示部６０が装着されているかの情報）に応じて、ステレオマイク（集音マイク１０５、集音マイク２４）の左右の音を設定する。
【０１２０】
次に、処理部１２３は、切り替えた画像データを表示パネル６３に表示させる（ステップＳ９）。表示切替部２０７は、切り替えた画像データを、デコーダー１２１を介してＬＣＤドライバ１２５に供給することにより、表示パネル６３に表示させる。
【０１２１】
図１０〜図１３を参照して説明したように、本実施形態におけるヘッドマウントディスプレイ１は、ディスプレイ本体２０や表示部６０をユーザーの目の正面に配置する必要がなく、正面よりも下に配置することができるので通話マイク３７を口の比較的近傍に配置することが可能である。このため、本実施形態におけるヘッドマウントディスプレイ１は、音声を明瞭に記録することができる。
また、本実施形態におけるヘッドマウントディスプレイ１は、右目で表示部６０を観察する場合及び左目で表示部６０を観察する場合のいずれの場合においても、適切な範囲を読み出して表示パネル６３に表示させることができる。そのため、本実施形態におけるヘッドマウントディスプレイ１は、利便性の高いシステムを提供することができる。さらに、本実施形態におけるヘッドマウントディスプレイ１は、被写体までの距離が近い場合にも、ユーザーが観察する方向とカメラ６４の撮影範囲の中心とが一致するので、パララックスの無い使い易いシステムを提供することができる。
【０１２２】
次に、ヘッドマウントディスプレイ１が備えている入出力装置２００の動作について説明する。
図１４Ａ、図１４Ｂ及び図１４Ｃは、本実施形態における入出力装置２００の処理を示すフローチャートである。
この図において、まずはカメラ６４が図１５（Ｂ）に示すように、横長の範囲の画像Ｇ２を撮影しており、その全ての撮影範囲が読み取られて、表示部６０の表示パネル６３に表示される場合について説明する。
【０１２３】
まず、入出力装置２００は、カメラ６４からの画像が表示されているか否かを判定する（ステップＳ１０１）。すなわち、処理部１２３の入力制御部２０２は、カメラ６４によって撮像された画像が、表示部６０の表示パネル６３に表示されているか否かを判定する。入力制御部２０２は、カメラ６４によって撮像された画像が表示部６０の表示パネル６３に表示されている場合（ステップＳ１０１：Ｙｅｓ）に、処理をステップＳ１０２に進める。また、入力制御部２０２は、カメラ６４によって撮像された画像が表示部６０の表示パネル６３に表示されていない場合（ステップＳ１０１：Ｎｏ）に、処理をステップＳ１１７（図１４Ｂ）に進める。なお、カメラ６４によって撮像された画像が表示部６０の表示パネル６３に表示されていない場合には、表示パネル６３は、例えば、図１５（Ａ）に示すようなメニューアイコンＩ１〜Ｉ９などを含む画像Ｇ１が表示されている。ここで、この画像Ｇ１は、カメラ６４によって撮像された画像に依存しない画像である。
【０１２４】
図１４Ｂに示すように、ステップＳ１１７において、入出力装置２００は、カメラ６４によって撮像された画像に予め定められた所定以上の大きさの手があるか否かを判定する。すなわち、入出力装置２００は、カメラ６４においてユーザーの「手」が認識できるか否かを手の大きさによって判定する。この場合、まず、例えば、処理部１２３のパターン認識部２０１は、カメラ６４によって撮像された画像に含まれる人の手を認識し、認識した手に関する情報を入力制御部２０２に供給する。なお、ここでは、人の手に合焦されていなくてもよく、大雑把に手をパターン認識部２０１が認識できればよい。入力制御部２０２は、パターン認識部２０１から供給された手に関する情報に基づいてユーザーの「手」が認識できるか否かを判定する。例えば、入力制御部２０２は、パターン認識部２０１によって手として認識されるパターンの横方向の画素数が、カメラ６４の画素数とレンズの画角と手と頭との距離より算出される値として、例えば、手の幅が２００画素以上（例えば、１ｍ以内の手）であればユーザーの「手」と判定する。
【０１２５】
入力制御部２０２は、手の形状の大きさが予め定められた所定の大きさ以上である場合（ステップＳ１１７：Ｙｅｓ）に、処理をステップＳ１１８に進める。また、入力制御部２０２は、手の形状の大きさが予め定められた所定の大きさ未満である場合（ステップＳ１１７：Ｎｏ）に、処理を終了させる。
【０１２６】
次に、ステップＳ１１８において、入出力装置２００は、至近の「手」にピントを合わせる。すなわち、入力制御部２０２は、ＡＦ制御部２０３に至近の手の形状に対して光学系６４１を合焦させる。これは、入力制御部２０２は、１ｍ以内に複数の「手」があった場合に、最も近くにある手をユーザーの「手」として判定するためである。
さらに、入力制御部２０２は、ユーザーの右手と左手の両方が存在される場合には、いずれかの手を優先させる。ここで、ヘッドマウントディスプレイ１が図３（Ａ）のように右目用で使用されている場合には、タッチスイッチ３４、操作スイッチ３０なども右側に配置されており、ユーザーが右利きである可能性が高い。この場合には、ユーザーの左手は体を支えるなどの用途に使われており、右手は細かな操作及び指示に使われる可能性が高いので、入力制御部２０２は、右手を優先してピントを合わせる（ＡＦ制御部２０３に光学系６４１を合焦させる）。
【０１２７】
次に、入出力装置２００は、公知のパターン認識の処理によって手の形を認識する（ステップＳ１１９）。すなわち、パターン認識部２０１は、公知のパターン認識の処理によって手の形を認識し、認識した手の形状に関する情報を入力制御部２０２に供給する。
次に、入出力装置２００は、操作スイッチ３０等の操作部が操作されているか否かを検出する（ステップＳ１２０）。すなわち、入力制御部２０２は、操作スイッチ３０等の操作部が操作されているか否かを検出する。入力制御部２０２は、操作スイッチ３０等が操作されている場合（ステップＳ１２０：Ｙｅｓ）に、ユーザーの手が操作スイッチ３０等に置かれているはずであるから、他人の手が写っている可能性もあるので、操作スイッチ３０等の操作を優先し、処理をステップＳ１２１に進める。また、入力制御部２０２は、操作スイッチ３０等が操作されていない場合（ステップＳ１２０：Ｎｏ）に、処理をステップＳ１２２に進める。
【０１２８】
ステップＳ１２１において、入出力装置２００は、操作スイッチ３０等が操作された場合の所定の表示を表示パネル６３に行い、操作スイッチ３０等が操作された場合の操作に従った処理を行う。
一方、ステップＳ１２２において、入出力装置２００は、人差し指の位置に対応して画面にカーソル（図１５（Ａ）のカーソルＭ１）を重畳表示する。すなわち、入力制御部２０２は、例えば、図１５に示すように、表示制御部２０５に対して、人差し指の長さを２倍した人差し指の延長方向に対応する位置にカーソルＭ１を表示させる。ここでは、図１５（Ａ）に示すように、封筒のアイコンＩ８が選択されていることが分かる。
【０１２９】
ここで、カメラ６４には、図１５（Ｂ）に示すようにユーザーの手Ｈ１が撮影されており、入力制御部２０２は、パターン認識によって破線で示すように、ユーザーの人差し指の延長線上であって、画面上で測定できる人差し指の長さＬ１を約２倍延長した位置Ｐ１（指先から距離Ｌ２の位置）を計算する。入力制御部２０２は、表示制御部２０５に対して、位置Ｐ１に対応する表示パネル６３の表示画像上の位置に、図１５（Ａ）で示すように、カーソルＭ１を表示させる。すなわち、入力制御部２０２は、パターン認識部２０１によって認識された手の位置と、手の所定の部分（例えば、人差し指）の向き及び長さとに基づいて、ユーザーの手が指示する指示位置（位置Ｐ１）を算出する。入力制御部２０２は、算出した指示位置に対応する表示パネル６３の表示画像における位置に指示位置（位置Ｐ１）を示すカーソルＭ１（マーク）を表示させる。
なお、入力制御部２０２は、下記の式（１）及び式（２）に基づいて、位置Ｐ１を算出する。
【０１３０】
Ｘ３＝Ｘ１＋２×（Ｘ１−Ｘ２）  ・・・（１）
Ｙ３＝Ｙ１＋２×（Ｙ１−Ｙ２）  ・・・（２）
【０１３１】
ここで、変数Ｘ１及び変数Ｙ１は図１５（Ｂ）における人差し指の先端の座標（Ｘ１，Ｙ１）に対応し、変数Ｘ２及び変数Ｙ２は人差し指の根もとの座標（Ｘ２、Ｙ２）に対応する。また、変数Ｘ３及び変数Ｙ３はカーソルＭ１の座標（Ｘ３，Ｙ３）に対応する。
例えば、カメラ６４の光軸に略平行に人差し指を向けた場合には、カメラ６４には人差し指が短く写るので、カーソルＭ１は、人差し指先端の近傍となる。また、例えば、カメラ６４の光軸と直交するように人差し指を置いた場合には、最も離れた箇所にカーソルＭ１が表示される。このように、人差し指の位置、傾き、及び方向をユーザーが変えることで、自由に画面内の位置を指示（ポインティング）することが可能である。
なお、ここでは、図１５（Ａ）に示すようなメニュー画面（画像Ｇ１）を表示パネル６３に表示しているので、入出力装置２００は、図１５（Ｂ）に示すカメラ６４の画像を表示パネル６３に表示させることはない。
【０１３２】
次に、入出力装置２００は、指が所定の動作をしたか否かを判定する（ステップＳ１２３）。ここで、所定の動作とは、例えば、指で円を描いたり、カーソルＭ１がアイコン（例えば、アイコンＩ８）の上で所定の時間だけ静止したりする動作のことである。すなわち、メニュー選択処理部２０４は、指が所定の動作をしたか否かを判定する。メニュー選択処理部２０４は、指が所定の動作をしたと判定された場合（ステップＳ１２３：Ｙｅｓ）に、処理をステップＳ１２４に進める。また、メニュー選択処理部２０４は、指が所定の動作をしていないと判定された場合（ステップＳ１２３：Ｎｏ）に、処理を終了させる。
【０１３３】
ステップＳ１２４において、入出力装置２００は、アイコンが選択された場合に対応する所定の処理を行う。すなわち、メニュー選択処理部２０４は、例えば、封筒のアイコンＩ８を選択し、処理部１２３は、選択された封筒のアイコンＩ８に対応する処理を実行する。
なお、メニュー選択処理部２０４は、親指と人差し指を特定のパターンに形成したり、その形を変化させたりすることを検出することにより、メニュー選択などの操作を行うことも可能である。例えば、メニュー選択処理部２０４は、メニュー画面などで「ＹＥＳ／ＮＯ」などの２択の選択を迫られた場合にも、ユーザーがあえて一方の選択肢を選ばすに、親指と人差し指とで作ったＯＫサインを検出することにより設定（選択）を行ってもよい。
【０１３４】
このように、手にピントがあっている場合には、細かい手の動きをカメラ６４で読み取ることが可能であるため、入出力装置２００は、指のパターンの詳細な読み取りが可能となっており、図１５（Ａ）に示すような細かなアイコンの選択が可能となっている。そのため、入力制御部２０２は、手の形状に対して光学系６４１を合焦させる場合に、メニュー選択処理部２０４によって選択可能な操作メニューの数を、後述する手の形状の背景に対して光学系６４１を合焦させる場合よりも多く表示パネル６３に表示させる。
【０１３５】
次に、カメラ６４からの画像が表示されている場合について説明する。
再び、図１４Ａに示すように、ステップＳ１０２において、入出力装置２００は、ステップＳ１１７と同様に、カメラ６４によって撮像された画像に予め定められた所定以上の大きさの手があるか否かを判定する。すなわち、入力制御部２０２は、パターン認識部２０１から供給された手に関する情報に基づいて手の形状の大きさが予め定められた所定の大きさ以上であるか否かを判定する。入力制御部２０２は、手の形状の大きさが予め定められた所定の大きさ以上である場合（ステップＳ１０２：Ｙｅｓ）に、処理をステップＳ１０４に進める。また、入力制御部２０２は、手の形状の大きさが予め定められた所定の大きさ未満である場合（ステップＳ１０２：Ｎｏ）に、処理をステップＳ１０３に進める。
【０１３６】
次に、ステップＳ１０３において、入出力装置２００は、至近の被写体に焦点と露出とを合わせる。すなわち、入力制御部２０２は、ＡＦ制御部２０３に至近の被写体に対して光学系６４１を合焦させる制御を行い、処理部１２３は、カメラ６４に対して至近の被写体に露出を合わせる制御を行う。なお、極至近（例えば、５ｃｍなど指が入らない距離）の被写体などで光学系６４１の制約によってピントを合わせることが不可能な被写体などは、レンズ上のゴミの可能性もあるので、入力制御部２０２は、ＡＦ制御部２０３に次に合焦可能な至近の被写体に合焦させる。また、入力制御部２０２は、いわゆる顔認識技術によって人物を検出した場合には、人物にピントを合わる制御を行ってもよい。また、ＡＦ制御部２０３は、ピント合わせ（合焦）については公知の手段を用いる。入力制御部２０２は、至近の被写体に合焦させる制御を行った後、処理をステップＳ１１５に進める。
【０１３７】
一方、ステップＳ１０４において、入出力装置２００は、手に物を持っているか否かを判定する。すなわち、入力制御部２０２は、例えば、パターン認識部２０１によって認識された手の形状に基づいて、手が物を持っているか否かを判定する。入力制御部２０２は、手が物を持っていると判定した場合（ステップＳ１０４：Ｙｅｓ）に、処理をステップＳ１０５に進め、手が物を持っていないと判定した場合（ステップＳ１０４：Ｎｏ）に、処理をステップＳ１０６に進める。
【０１３８】
次に、ステップＳ１０５において、入出力装置２００は、手の近傍の被写体に焦点を合わせる。この場合、ユーザーが手に物を持っていて、それがカメラ６４に写っている場合には、手に持っている物が他の通信端末（他の機器）にも伝えたい物であると推定できる。そのため、入力制御部２０２は、手が物を持っている状態であると判定した場合に、ＡＦ制御部２０３に、手の形状又は手の近傍の被写体に対して光学系６４１を合焦させる。入力制御部２０２は、手の形状又は手の近傍の被写体に合焦させる制御を行った後、処理をステップＳ１０９に進める。
【０１３９】
一方、ステップＳ１０６において、入出力装置２００は、認識した手が手の平かを検出する。すなわち、入力制御部２０２は、例えば、パターン認識部２０１によって認識された手の態様に基づいて、認識した手が手の平であるか否かを判定する。入力制御部２０２は、認識した手が手の平であると判定した場合（ステップＳ１０６：Ｙｅｓ）に、処理をステップＳ２０１（図１４Ｃ）に進め、認識した手が手の平でない（手の甲である）と判定した場合（ステップＳ１０６：Ｎｏ）に、処理をステップＳ１０７に進める。パターン認識部２０１は、図１６に示すように、手の平のしわを基本として、手の甲をしわがない場合にパターン認識する。また、この場合、パターン認識部２０１は、指の曲がり具合を加味して手の表裏（手の平か手の甲か）を認識してもよい。
なお、図１６は、画像Ｇ７に表示されている手Ｈ７が手の甲である場合の一例を示している。
【０１４０】
一方、手の甲であると判定される場合、すなわちユーザーが手の指で物体を指し示す場合であることから、ステップＳ１０７において、入出力装置２００は、ユーザーの手を避けて背景に焦点を合わせる。この場合、ユーザーが背景の部分を手によって差し示している可能性が高いため、入力制御部２０２は、手の形状の背景に対して光学系６４１を合焦させる制御を行う。これは、例えば、図１７に示すように、幾つかある商品の中から一つを指し示すような場合において、手にピントが合った画像を他者に伝えるよりも、背景にピントの合った画像を伝えることが重要だからである。このことで、入出力装置２００は、情報（画像など）を伝達する相手にとってわかり易いコミュニケーションを取ることが可能になる。
【０１４１】
なお、他の通信端末に画像を送信する際に、例えば、ＶＧＡ（Video Graphics Array：６４０×４８０画素）などの低解像度で送信を行っている場合、且つ、カメラ６４の被写界深度と解像度との関係により手に合焦していても背景がボケないと判定される場合には、入出力装置２００は、ステップＳ１０７の処理をスキップしてもよい。また、入出力装置２００は、他の通信端末に画像を送信する際の解像度が高い（例えば、８００×６００画素やハイビジョン（１０８０ｉ）など）場合のみに、ステップＳ１０７の処理を実行してもよい。
【０１４２】
次に、入出力装置２００は、複数の手が存在した場合を想定して、最も大きな手のパターン（手の形状）を認識する（ステップＳ１０８）。すなわち、入力制御部２０２は、パターン認識部２０１から供給された手に関する情報に基づいて、最も大きな手の形状を認識する。ここで、最も大きな手を認識するのは、複数の手が画面内に存在した場合に、最も大きな手が最も至近にあり、それがユーザーの手である可能性が高いためである。
なお、ステップＳ１１８では至近の手を認識していたが、ステップＳ１０８においては手に対してのピント合わせを行っていないため、複数の手があってもどれが至近の手であるか判定できない。そのため、入力制御部２０２は、最も大きな手をユーザーの手として判定（認識）する。また、右手と左手とが検出された場合の処理は、ステップＳ１１８と同様である。
【０１４３】
次に、入出力装置２００は、最も大きな手の輪郭を強調する（ステップＳ１０９）。すなわち、入力制御部２０２は、認識した手のパターンの輪郭を強調して、表示制御部２０５に表示させる。これはピントが合っていない手を少しでもハッキリ表示するための処理である。また、入力制御部２０２は、手が背景に紛れて見難い場合には、手の輪郭を赤色などで強調してもよい。
【０１４４】
次に、入出力装置２００は、ステップＳ１２０と同様に、操作スイッチ３０等の操作部が操作されているか否かを検出する（ステップＳ１１０）。入力制御部２０２は、操作スイッチ３０等が操作されている場合（ステップＳ１１０：Ｙｅｓ）に、操作スイッチ３０等の操作を優先し、処理をステップＳ１１１に進める。また、入力制御部２０２は、操作スイッチ３０等が操作されていない場合（ステップＳ１１０：Ｎｏ）に、処理をステップＳ１１２に進める。
【０１４５】
ステップＳ１１１において、ステップＳ１２１と同様に、入出力装置２００は、操作スイッチ３０等が操作された場合の所定の表示を表示パネル６３に行い、操作スイッチ３０等が操作された場合の操作に従った処理を行う。
【０１４６】
一方、ステップＳ１１２において、入出力装置２００は、人差し指を検出し、検出した人差し指の先にカーソル（図１７のカーソルＭ２）を表示パネル６３に表示させる。ここで、入力制御部２０２は、パターン認識部２０１から供給された手に関する情報に基づいて、予め定められた所定の指（例えば、人差し指）を検出する。入力制御部２０２は、例えば、図１７に示すように、検出した人差し指の先端から当該指の長さを所定の係数倍（例えば、２倍）して延長した位置にカーソルＭ２を、表示制御部２０５に対して表示させる。
なお、図１７において、画像Ｇ３は、カメラ６４（撮像素子６４２）によって撮像されている画像を示し、手Ｈ２は、カメラ６４によって撮像されている手を示している。
【０１４７】
次に、入出力装置２００は、カーソルが示す背景に焦点と露出とを合わせる（ステップＳ１１３）。例えば、入力制御部２０２は、図１７のカーソルＭ２が示すところの背景の近傍に対して、ＡＦ制御部２０３に光学系６４１を合焦させる制御を行い、処理部１２３は、カメラ６４に対してカーソルＭ２が示す背景の近傍に露出を合わせる制御を行う。すなわち、入力制御部２０２は、検出した人差し指の先端から当該指の長さを所定の係数倍（例えば、２倍）して延長した位置の背景に対して光学系６４１を合焦させる。このことで、手前の指ではなく背景を鮮明に撮像することが可能になるので、ヘッドマウントディスプレイ１は、通信を行っている他の通信端末に対しても明瞭な画像（明確な画像）を表示させることができる。そのため、入出力装置２００は、コミュニケーションのミスが発生する可能性を低減することが可能である。
【０１４８】
次に、入出力装置２００は、操作に応じてカーソル／軌跡を表示パネル６３に表示させる（ステップＳ１１４）。すなわち、入力制御部２０２は、表示制御部２０５に対して、所定の指（例えば、人差し指）の動きに応じてカーソルが引き続き表示させるか、あるいはカーソルの軌跡を表示させる。
なお、この場合には、指に厳密にピントが合っていないので、細かな指の動作に基づいてヘッドマウントディスプレイ１を制御することは難しい。よって、入出力装置２００は、指に合焦していない場合に、指の画像認識で制御可能なメニューに限定した入力制御を行う。ここでは、指の画像認識で制御可能なメニューは、例えば、カーソルの表示の他、線画を描くなどの限定された項目である。
【０１４９】
次に、ヘッドマウントディスプレイ１（入出力装置２００）は、通信を行っている他の通信端末に対して逐次画像を送信する（ステップＳ１１５）とともに、表示パネル６３にも上述の入力制御の結果を表示する（ステップＳ１１６）。入出力装置２００は、ステップＳ１１６の処理後に処理を終了する。
なお、本実施形態において、入出力装置２００は、この入力制御の処理（ステップＳ１０１からステップＳ１２４の処理）を繰り返し実行する。
【０１５０】
次に、ヘッドマウントディスプレイ１がカメラ６４の画像を上下に分けて使用する場合の一例について説明する。
図１２のフローチャートにおいて、カメラ６４の読み出し領域として上半分を使用する一例を説明したが、図１８では、図３（Ａ）に示すように、右目で表示を観察している状態を示している。図１８において、ヘッドマウントディスプレイ１と通信相手の他の通信端末とは、カメラ６４の撮像範囲Ｐのうちの範囲Ｑの画像を表示パネル６３に表示する。
【０１５１】
また、例えば、夕方などの手と背景のコントラストが低くなる場合には、ヘッドマウントディスプレイ１は、図１８に示すように手Ｈ３の指先にカーソルＭ３を表示することで指先の位置を見やすく表示してもよい。すなわち、入力制御部２０２は、表示領域（例えば、範囲Ｑ）の画像に手Ｈ３が含まれる場合に、手Ｈ３の先端の位置を指示位置として算出する。そして、入力制御部２０２は、算出した指示位置に対応する表示パネル６３の表示画像における位置にカーソル（例えば、図１８のカーソルＭ３）を表示させる制御を表示制御部２０５に対して行う。
【０１５２】
次に、ステップＳ１０６において、認識した手が手の平であると判定された場合の処理について説明する。
図１４Ｃに示すように、ステップＳ２０１において、入出力装置２００は、手の平にピントを合わせる。すなわち、入力制御部２０２は、ＡＦ制御部２０３に手の平に対して光学系６４１を合焦させる。
【０１５３】
次に、入出力装置２００は、撮像画像に写っている手が使用者（ユーザー）の手であるか否かを判定する（ステップＳ２０２）。ここで、ヘッドマウントディスプレイ１は、ユーザーの頭部に装着されており、人間工学的に考慮した場合、骨格の関係から、例えば、ユーザーの手が後述する図２０のような方向から撮像されることはない。そこで、角度検出部２０８は、ユーザーの人差し指の指先の方向を示すベクトルと画像における水平方向との角度を手の角度として検出し、検出した手の角度を入力制御部２０２に供給する。入力制御部２０２は、角度検出部２０８から供給された手の角度に基づいて、撮像画像に含まれる手がユーザーの手であるか否かを判定する。入力制御部２０２は、角度検出部２０８によって検出された手の角度が、例えば、０度から１８０度の間である場合に、ユーザーの手であると判定する。
【０１５４】
また、入力制御部２０２は、ユーザーの手であると判定した場合（ステップＳ２０２：Ｙｅｓ）に、処理をステップＳ２０３に進める。また、入力制御部２０２は、ユーザーの手でない（他人の手である）と判定した場合（ステップＳ２０２：Ｎｏ）に、処理をステップＳ２１０に進める。
【０１５５】
次に、ステップＳ２０３において、入出力装置２００は、ユーザーの手が右手であるか否かを判定する。入力制御部２０２は、パターン認識部２０１によって認識された手の態様に基づいて、ユーザーの手が右手であるか否かを判定する。なお、この場合、入力制御部２０２は、角度検出部２０８によって検出された手の角度が、例えば、９０度から１８０度の間である場合に、ユーザーの手が右手であると判定してもよい。これは、人の右手は、自分の方向から見た場合、９０度から１８０度以外の角度範囲に右手を置くことは難しいためである。
【０１５６】
例えば、図１９（Ａ）では、画像Ｇ４に含まれる手Ｈ４の指のベクトルＦ１の水平方向に対する角度θ１が９０度から１８０度の間の角度範囲であるため、入力制御部２０２は、右手と判定する。また、例えば、図１９（Ｂ）では、画像Ｇ５に含まれる手Ｈ５の指のベクトルＦ２の水平方向に対する角度θ２が０度から９０度の間の角度範囲であるため、入力制御部２０２は、左手と判定する。
入力制御部２０２は、ユーザーの手が右手であると判定した場合（ステップＳ２０３：Ｙｅｓ）に、処理をステップＳ２０４に進める。また、入力制御部２０２は、ユーザーの手が左手であると判定した場合（ステップＳ２０３：Ｎｏ）に、処理をステップＳ２１８に進める。
【０１５７】
次に、ステップＳ２０４において、入出力装置２００は、キャラクターＣ１を表示する。このキャラクターＣ１（第１のキャラクター）は、いわゆる３Ｄポリゴンにより構成されており、例えば、メモリー１２７又はフラッシュメモリー１２２に予め記憶されている。入力制御部２０２は、メモリー１２７又はフラッシュメモリー１２２からキャラクターＣ１の画像情報を読み出して、図１９（Ａ）に示すように、表示制御部２０５に手の平の画像領域と重畳させて表示パネル６３に表示させる。また、入出力装置２００は、ユーザーが右手を回す（回転させる）と、右手の動きと略一体的に、このキャラクターＣ１も向きを変えるように制御する。なお、予め作成されたプログラムにしたがって、キャラクターＣ１自体が独自に動作したり、発話したりすることを可能にしてもよい。
【０１５８】
次に、入出力装置２００は、ヘッドマウントディスプレイ１の装置情報（プロパティー）を表示させる（ステップＳ２０５）。すなわち、入力制御部２０２は、図１９（Ａ）に示すように、表示制御部２０５に対して、システム情報Ｄ１（装置情報）を表示パネル６３に表示させる。なお、システム情報Ｄ１は、例えば、電池残量、メモリー使用量、ＷｉＦｉ通信における電波強度、システムのバージョン情報などの情報である。また、キャラクターＣ１は、ヘッドマウントディスプレイ１の装置情報を表す場合のキャラクターである。例えば、入出力装置２００は、キャラクターＣ１の右横の位置に、システム情報Ｄ１を表示する。ここで、入出力装置２００は、キャラクターＣ１がしゃべっている（発話している）ようにシステム情報Ｄ１を音により出力してもよい。
【０１５９】
次に、入出力装置２００は、左手が追加か否かを判定する（ステップＳ２０６）。すなわち、入力制御部２０２は、さらに、画像中（映像中）に手が追加されて、その手が先に検出された右手の反対の「左手」であるか否かを判定する。入力制御部２０２は、左手が追加されたと判定した場合（ステップＳ２０６：Ｙｅｓ）に、処理をステップＳ２０７に進める。また、入力制御部２０２は、左手が追加されていないと判定した場合（ステップＳ２０６：Ｎｏ）に、処理をステップＳ２０９に進める。
【０１６０】
次に、ステップＳ２０７において、入出力装置２００は、新たに検出された左手が使用者の手と同等の大きさか否かを判定する。すなわち、入力制御部２０２は、手の大きさに基づいて、検出した左手がユーザーの左手であるか否かを判定する。入力制御部２０２は、検出した左手がユーザーの左手であると判定した場合（ステップＳ２０７：Ｙｅｓ）に、処理をステップＳ２０８に進める。また、入力制御部２０２は、検出した左手がユーザーの左手でない（他人の左手である）と判定した場合（ステップＳ２０７：Ｎｏ）に、処理をステップＳ２０９に進める。
【０１６１】
次に、ステップＳ２０８において、入出力装置２００は、ユーザーの左手の回転に合わせてキャラクターＣ１の向きを調整する。具体的に、入力制御部２０２は、ユーザーが左手を回すと、キャラクターＣ１との向きを変更する制御を行う。例えば、図１９（Ａ）では、キャラクターＣ１が手前方向を向いているが、ユーザーが左手を左方向に回すことで、入出力装置２００は、ユーザーの右手の角度はそのままの状態でキャラクターＣ１のみが左に回り（回転し）、例えば、１８０度反対方向を向かせる制御を行うことが可能である。
【０１６２】
次に、ステップＳ２０９において、入出力装置２００は、他人の右手又は左手があるか否かを判定する。すなわち、入力制御部２０２は、撮像画像に他人の手が含まれるか否かを判定する。この場合、入力制御部２０２は、図２０に示すように、手Ｈ６の指の方向を示すベクトルＦ３の画像Ｇ６における水平方向に対する角度θ３が略１８０度〜３６０度の範囲にある場合、かつ「手」が前述のように所定以上の大きさであった場合に「他人の手」であると判定する。なお、ユーザー以外の手については、相手の位置関係によって差し出される角度が変わるため、手の角度だけで右手か左手かの判定は困難であるので、入力制御部２０２は、パターン認識部２０１によって認識された手の態様に基づいて、右手か左手かを判定する。
入力制御部２０２は、撮像画像に他人の手が含まれると判定した場合（ステップＳ２０９：Ｙｅｓ）に処理をステップＳ２１０に進め、撮像画像に他人の手が含まれていないと判定した場合（ステップＳ２０９：Ｎｏ）に処理を終了させる。
【０１６３】
次に、ステップＳ２１０において、入出力装置２００は、他人が近傍に存在することが明らかになったので、通信を試みるべくＷｉＦｉ信号があるかを調べる。例えば、処理部１２３は、ＷｉＦｉ通信回路１３１により、ＷｉＦｉ信号（ＷｉＦｉ通信の電波）があるか否かを判定する。処理部１２３は、ＷｉＦｉ信号（ＷｉＦｉ通信の電波）がある場合（ステップＳ２１０：Ｙｅｓ）に、処理をステップＳ２１１に進め、ＷｉＦｉ信号がない場合（ステップＳ２１０：Ｎｏ）に、処理を終了させる。
【０１６４】
次に、ステップＳ２１１において、入出力装置２００は、さらに最も強い電波強度にあるところの相手を検出する。通常、複数のＷｉＦｉ通信の電波が存在している可能性があるが、ここでは、通信相手となる相手の手が所定以上の大きさで撮像されている。そのため、検出した他人の手の所有者である通信相手は、極めて近傍にいるはずであり、処理部１２３は、電波強度が最も強い通信相手（端末）を他人の手であると判定する。
【０１６５】
次に、入出力装置２００は、検出した電波強度が最も強い通信相手（端末）が通信可能であるか否かを判定する（ステップＳ２１２）。すなわち、処理部１２３は、ＷｉＦｉ通信回路１３１を介して、電波強度が最も強い通信相手（端末）が通信可能であるか否かを判定する。処理部１２３は、電波強度が最も強い通信相手（端末）が通信可能である場合（ステップＳ２１２：Ｙｅｓ）に、処理をステップＳ２１３に進め、通信不可能である場合（ステップＳ２１２：Ｎｏ）に、処理を終了させる。
【０１６６】
次に、ステップＳ２１３において、例えば、通信相手がヘッドマウントディスプレイ１（ＨＭＤ１）と同様の機器である図９に示すＨＭＤ５００であった場合、入出力装置２００は、ＨＭＤ５００のユーザーの個人情報ならびにキャラクターＣ３の情報を受信する。処理部１２３は、ＷｉＦｉ通信回路１３１を介して、例えば、ＨＭＤ５００のフラッシュメモリー５２２に記憶されている個人情報（Ｄ３）及びキャラクターＣ３の情報（手の所有者に関連付けられた情報）を取得する。
ここで、ＨＭＤ１とＨＭＤ５００との通信は、機器同士が直接通信を行うアドホックモードでもよいし、インターネット回線を通じてサーバー２１０を介して行ってもよい。
【０１６７】
次に、入出力装置２００は、表示部６０にＨＭＤ５００のユーザーの個人情報とともにＨＭＤ５００のユーザーが設定したキャラクターＣ３（第３のキャラクター）を表示させる（ステップＳ２１４）。すなわち、処理部１２３の入力制御部２０２は、図２０に示すように、ＷｉＦｉ通信回路１３１を介して取得したキャラクターＣ３を手Ｈ６の画像領域に重畳させた画像を表示パネル６３に、表示制御部２０５に対して表示させる。さらに、入力制御部２０２は、図２０に示すように、ＨＭＤ５００のユーザーのパーソナル情報Ｄ３（例えば、ＨＭＤ５００の使用者のハンドルネーム、誕生日、好きなもの、嫌いなものなど）を表示パネル６３に表示させる。なお、この表示内容は、ユーザーによって選択することが可能であってもよい。
【０１６８】
次に、入出力装置２００は、データ交換を希望するか否か判定する（ステップＳ２１５）。ここで、処理部１２３は、ＨＭＤ１とＨＭＤ５００とが互いに個人情報の交換を希望するか否かを判定し、個人情報の交換を希望する場合（ステップＳ２１５：Ｙｅｓ）には、処理をステップＳ２１６に進め、不図示の画面設定に従って、個人情報の交換を実行する。また、処理部１２３は、個人情報の交換を希望しない場合（ステップＳ２１５：Ｎｏ）に、処理を終了させる。
なお、ステップＳ２１６において、交換された個人情報は、ＨＭＤ１とＨＭＤ５００との互いのメモリー１２７（５２７）もしくはサーバー２１０上の記憶部２１２などに記録（記憶）される。
【０１６９】
次に、入出力装置２００は、撮像画像内に手がまだあるか否かを判定する（ステップＳ２１７）。処理部１２３は、撮像画像内に他に手があるか否かを判定し、他に手がある場合（ステップＳ２１７：Ｙｅｓ）に、処理をステップＳ２０２に戻し、上述の処理を繰り返す。また、処理部１２３は、他に手がない場合（ステップＳ２１７：Ｎｏ）に、処理を終了する。
【０１７０】
一方、ステップＳ２０３において、ユーザーの左手であると判定した場合には、入出力装置２００は、ステップＳ２１８からステップＳ２２２までの一連の処理を実行する。
【０１７１】
ステップＳ２１８において、入出力装置２００は、キャラクターＣ２を表示する。このキャラクターＣ２（第２のキャラクター）は、いわゆる３Ｄポリゴンにより構成されており、例えば、メモリー１２７又はフラッシュメモリー１２２に予め記憶されている。入力制御部２０２は、メモリー１２７又はフラッシュメモリー１２２からキャラクターＣ２の画像情報を読み出して、図１９（Ｂ）に示すように、表示制御部２０５に手の平の画像領域と重畳させて表示パネル６３に表示させる。また、入出力装置２００は、右手の場合と同様に、ユーザーが左手を回す（回転させる）と、左手の動きと略一体的に、このキャラクターＣ１も向きを変えるように制御する。なお、予め作成されたプログラムにしたがって、キャラクターＣ２自体が独自に動作したり、発話したりすることを可能にしてもよい。
【０１７２】
次に、入出力装置２００は、ユーザーの個人情報（パーソナル情報）、行動予定、環境情報などの情報（Ｄ２）を表示させる（ステップＳ２１９）。すなわち、入力制御部２０２は、図１９（Ｂ）に示すように、表示制御部２０５に対して、パーソナル情報を含む上述の情報Ｄ２を表示パネル６３に表示させる。また、キャラクターＣ２は、ユーザーのパーソナル情報を表す場合のキャラクターである。例えば、入出力装置２００は、キャラクターＣ２の右横の位置に、上述の情報Ｄ２を表示する。ここで、入出力装置２００は、キャラクターＣ２がしゃべっている（発話している）ように情報Ｄ２を音により出力してもよい。
【０１７３】
次に、入出力装置２００は、右手が追加か否かを判定する（ステップＳ２２０）。すなわち、入力制御部２０２は、さらに、画像中（映像中）に手が追加されて、その手が先に検出された左手の反対の「右手」であるか否かを判定する。入力制御部２０２は、右手が追加されたと判定した場合（ステップＳ２２０：Ｙｅｓ）に、処理をステップＳ２２１に進める。また、入力制御部２０２は、右手が追加されていないと判定した場合（ステップＳ２２０：Ｎｏ）に、処理をステップＳ２０９に進める。
【０１７４】
次に、ステップＳ２２１において、入出力装置２００は、新たに検出された右手が使用者の手と同等の大きさか否かを判定する。すなわち、入力制御部２０２は、手の大きさに基づいて、検出した右手がユーザーの右手であるか否かを判定する。入力制御部２０２は、検出した右手がユーザーの右手であると判定した場合（ステップＳ２２１：Ｙｅｓ）に、処理をステップＳ２２２に進める。また、入力制御部２０２は、検出した右手がユーザーの右手でない（他人の右手である）と判定した場合（ステップＳ２２１：Ｎｏ）に、処理をステップＳ２０９に進める。
【０１７５】
次に、ステップＳ２２２において、入出力装置２００は、ユーザーの右手の回転に合わせてキャラクターＣ２の向きを調整する。具体的に、入力制御部２０２は、ユーザーが右手を回すと、キャラクターＣ２との向きを変更する制御を行い、処理を上述したステップＳ２０９に進める。
【０１７６】
ところで、本実施形態では、作業などにより手袋を常用しており、手のしわなどが認識し難い場合、もしくは明るい環境で手のしわを認識し難い場合などには、手袋にマーカーを記載してものを利用してもよい。
図２１は、本実施形態においてユーザーが手袋を装着している場合の一例を示す図である。図２１（Ａ）に示すように、ユーザーが装着する手袋は、左手の手の甲に、左手の甲を表す「Left Back」のイニシャルである「ＬＢ」を表記したマーカーＭＫ１と、指の爪の先を表す指先マーカーＭＫ２とを有している。なお、図２１（Ａ）において、画像Ｇ８に含まれるユーザーの手Ｈ８が、左手の甲であり、手袋ＧＶ１Ａを装着している状態を示している。
【０１７７】
図２１（Ｂ）に示すように、ユーザーが装着する手袋は、左手の手の平に、左手の平を表す「Left Palm」のイニシャルである「ＬＰ」を表記したマーカーＭＫ３を有している。なお、図２１（Ｂ）において、画像Ｇ９に含まれるユーザーの手Ｈ９が、左手の平であり、手袋ＧＶ１Ｂを装着している状態を示している。
【０１７８】
図２１に示すように、撮像画像に含まれる手が所定の識別情報（例えば、「ＬＰ」、「ＬＢ」などのマーカー）が表示された手袋を装着している場合に、パターン認識部２０１は、撮像画像に基づいて認識した手の画像領域に含まれるこの識別情報に基づいて、手の態様（手の表裏、手の左右など）を認識する。また、この場合、処理部１２３は、この識別情報に基づいて、ユーザーの手であるか否かを判定してもよい。
なお、図２１（Ａ）では、手袋ＧＶ１Ａに指先マーカーＭＫ２が記載されているので、パターン認識部２０１は、カーソルの表示を行う場合の認識ならびに手の甲の識別が容易に行えるようになっている。
【０１７９】
以上、説明したように、本実施形態における入出力装置２００は、画像を撮像するカメラ６４と、カメラ６４によって撮像された撮像画像に含まれる手の態様に基づいて、撮像画像に重畳する情報を制御するとともに、撮像画像に情報を重畳した画像を出力する処理部１２３とを備えている。
これにより、本実施形態における入出力装置２００は、手の態様に応じて重畳する情報を切り替えて、情報を重畳させることができる。例えば、本実施形態における入出力装置２００は、手を認識してマーカーとするので、マーカーと呼ばれるシートを別途用意する必要がなく、手の態様に応じてどこでも容易にキャラクターなどの情報を表示させることが可能である。このように、本実施形態における入出力装置２００は、利便性を向上させることができる。
【０１８０】
また、本実施形態では、手の態様には、手の左右（右手及び左手）が含まれる。処理部１２３は、カメラ６４によって撮像された撮像画像に基づいて、撮像画像に含まれる右手及び左手のいずれかであるかを判定し、判定した判定結果に基づいて重畳する情報を変更する。すなわち、処理部１２３は、右手か左手かによって、重畳する情報を変更することができる。これにより、本実施形態における入出力装置２００は、利便性を向上させることができる。
【０１８１】
また、本実施形態では、手の態様には、手の表裏（手の平及び手の甲）が含まれる。処理部１２３は、カメラ６４によって撮像された撮像画像に基づいて、撮像画像に含まれる手が手の平及び手の甲のいずれかであるかを判定し、判定した判定結果に基づいて重畳する情報を変更する。すなわち、処理部１２３は、手の平か手の甲かによって、重畳する情報を変更することができる。これにより、本実施形態における入出力装置２００は、利便性を向上させることができる。
【０１８２】
また、本実施形態では、処理部１２３は、手が手の平であると判定した場合に、撮像画像のうちの手の平の画像領域に情報を重畳する。これにより、手の平を判定して、手の平の上に画像などの情報を重畳して表示するので、本実施形態における入出力装置２００は、利便性を向上させることができる。
【０１８３】
また、本実施形態では、処理部１２３は、撮像画像に含まれる手が手の平であると判定した場合に、所定のキャラクターの画像を重畳する情報として重畳する。手の平を判定して、所定のキャラクターの画像を手の平に重畳するので、本実施形態における入出力装置２００は、キャラクターによる分かり易い情報をユーザーに提供することができる。よって、本実施形態における入出力装置２００は、利便性を向上させることができる。
【０１８４】
また、本実施形態では、処理部１２３は、撮像画像に含まれる手が手の甲であると判定した場合に、撮像画像のうちの判定した手の甲に対応する手が指示する指示位置に、当該指示位置を示すマーク（例えば、カーソルＭ１など）を重畳する情報として重畳する。
これにより、手の甲を判定することにより、本実施形態における入出力装置２００は、指示デバイス（ポインティングデバイス）としても使用可能である。そのため、本実施形態における入出力装置２００は、利便性を向上させることができる。
【０１８５】
また、本実施形態では、処理部１２３は、撮像画像に基づいて、撮像画像に含まれる手がユーザーの手であるか否かを判定し、判定した判定結果に基づいて重畳する情報を変更する。
これにより、ユーザーの手か他人の手かにより、表示する情報を変更することができるので、本実施形態における入出力装置２００は、利便性を向上させることができる。
【０１８６】
また、本実施形態における入出力装置２００は、撮像画像に基づいて、撮像画像に含まれる手の方向が示す角度を手の角度として検出する角度検出部２０８を備えている。処理部１２３は、角度検出部２０８によって検出された手の角度に基づいてユーザーの手であるか否かを判定する。
これにより、処理部１２３は、簡易な構成により正確にユーザーの手を検出することができる。
【０１８７】
また、本実施形態では、処理部１２３は、撮像画像に含まれる手の大きさに基づいてユーザーの手であるか否かを判定する。
これにより、処理部１２３は、簡易な構成により正確にユーザーの手を検出することができる。
【０１８８】
また、本実施形態では、処理部１２３は、撮像画像に含まれる手が、所定の識別情報が表示された手袋を装着している場合に、撮像画像に基づいて認識した手の画像領域に含まれる識別情報に基づいて、ユーザーの手であるか否かを判定する。
これにより、例えば、手袋を常用する業務や明るい環境により、手のしわを認識し難い場合に、本実施形態における入出力装置２００は、正確にユーザーの手であるか否かを判定することができる。
【０１８９】
また、本実施形態では、処理部１２３は、撮像画像に含まれる手がユーザーの手であると判定した場合に、重畳する情報として、ユーザーに関連付けられた情報を重畳する。
これにより、ユーザーの手と判定した場合に、適切な情報が表示されるので、本実施形態における入出力装置２００は、利便性を向上させることができる。
【０１９０】
また、本実施形態では、処理部１２３は、撮像画像に含まれる手がユーザーの手でない（他人の手）と判定した場合に、重畳する情報として、ユーザーの手でないと判定した手の所有者に関連付けられた情報を重畳する。また、入出力装置２００は、情報を通信する通信部（例えば、ＷｉＦｉ通信回路１３１，３Ｇ／ＬＴＥ通信回路１３８など）を備え、処理部１２３は、この通信部を介して、手の所有者に関連付けられた情報を取得する。
これにより、本実施形態における入出力装置２００は、撮像画像に含まれる手が撮像された本人以外の人（他人）の情報を適切に表示させることができるので、利便性を向上させることができる。
【０１９１】
また、本実施形態では、ＷｉＦｉ通信回路１３１によって取得した手の所有者に関連付けられた情報を記憶するメモリー１２７を備えている。
これにより、本人以外の人（他人）と情報交換した記録（履歴）を残すことができるので、この情報を後で有効活用することができる。よって、本実施形態における入出力装置２００は、利便性を向上させることができる。
【０１９２】
また、本実施形態における入出力装置２００は、カメラ６４によって撮像された撮像画像に基づいて、手の態様を認識するパターン認識部２０１を備えている。処理部１２３は、パターン認識部２０１によって認識された手の態様に基づいて、撮像画像に重畳する情報を制御する。
パターン認識部２０１が撮像画像に基づいて、手の態様を認識するので、処理部１２３は、簡易な構成により、手の態様に応じて撮像画像に重畳する情報を制御することができる。よって、本実施形態における入出力装置２００は、利便性を向上させることができる。
【０１９３】
また、本実施形態では、パターン認識部２０１は、撮像画像に含まれる手が、所定の識別情報が表示された手袋を装着している場合に、撮像画像に基づいて認識した手の画像領域に含まれる識別情報に基づいて、手の態様を認識する。
これにより、本実施形態における入出力装置２００は、簡易な構成により、正確に手の態様を認識することができる。
【０１９４】
また、本実施形態におけるヘッドマウントディスプレイ１は、上記に記載の入出力装置２００と、処理部１２３が出力する画像を表示する表示パネル６３と、少なくともカメラ６４及び表示パネル６３をユーザーの頭部に装着可能なヘッドバンド４０とを備えている。
これにより、本実施形態におけるヘッドマウントディスプレイ１は、上述した入出力装置２００を備えているので、上述した入出力装置２００と同様の効果を奏し、利便性を向上させることができる。
【０１９５】
なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の各実施形態において、パターン認識部２０１と角度検出部２０８とは、処理部１２３に含まれる形態を説明したが、これに限定されるものではかく、パターン認識部２０１と角度検出部２０８とが、処理部１２３の外部に備えられる形態でもよい。
【０１９６】
また、上記の各実施形態において、入出力装置２００は、操作部の一例として、複数の操作メニュー（複数のメニューアイコンＩ１〜Ｉ９）のうちの１つを選択する操作を行うメニュー選択処理部２０４を備える形態を説明したが、これに限定されるものではない。例えば、入出力装置２００は、メニュー選択の他に、手書きによる文字の入力や、画面上に表示されたキーボードによる情報の入力などの操作を行う操作部を備える形態でもよい。
また、上記の各実施形態において、入出力装置２００は、カーソルを表示させる形態を説明したが、カーソルの代わりにＡＲ（Augmented Reality）ペンを表示させる形態でもよい。また、入出力装置２００は、例えば、操作に応じて、カーソルの色や形状を変更する形態でもよい。
【０１９７】
また、上記の各実施形態において、通信信ファフェース（通信部）の一例として、ＷｉＦｉ通信回路１３１を用いる形態を説明したが、これに限定されるものではない。例えば、ＢＴ通信回路１３０により、Bluetooth（登録商標）の通信規格を用いて通信する形態でもよいし、３Ｇ／ＬＴＥ通信回路１３８を用いて通信する形態でもよい。
また、上述の図１４ＣのステップＳ２１６において、交換される情報は、図２０に示されるような表示パネル６３に表示される情報に限定されるものではない。図２０では、見やすいように限定された情報が表示されているが、データ通信においては、例えば、住所やメールアドレスなどの詳細情報が通信され、メモリー１２７に記録される形態でもよい。
【０１９８】
また、手袋に記載（表示）されるマーカーは、図２１の例に限定されるものではない。例えば、手袋のマーカーにさらに複雑なパターンを描くとともに、マーカーによって表示されるキャラクターの形状や、表示される情報を変更可能としてもよい。また、複雑なパターンとしては、例えば、バーコードやＱＲコード（登録商標）を印刷（表示）し、より多くの情報を盛り込んでもよい。
このことで、例えば、イベントなどにおいて、例えば、男性用の手袋と女性用の手袋とを変えることで、入出力装置２００は、事前にヘッドマウントディスプレイ１を設定することなく、ユーザーの性別に合わせて異なるキャラクターを表示させることも可能である。さらに、入出力装置２００は、手の形状を認識して、キャラクターの種類や、姿勢などを変えてもよい。
【０１９９】
また、上記の各実施形態において、手の甲が観察される場合にはカーソルを表示し、手の平が観察される場合にはキャラクターを表示する形態を説明したが、これに限定されるものではない。例えば、処理部１２３は、手の平と甲、右手と左手とで４種類のキャラクターや異なる情報を表示させる形態でもよい。また、処理部１２３は、手の平から手の甲へと手を１８０度回転させた場合に、キャラクターも同様に１８０度回転させて表示する形態でもよい。
さらに、処理部１２３は、手の左右、手の表裏の識別を、ユーザーの手だけでなく、ユーザー以外の手に対しても行ってもよい。処理部１２３は、この識別に基づいて、重畳する情報を変更してもよい。
【０２００】
上述のヘッドマウントディスプレイ１及び入出力装置２００は内部に、コンピュータシステムを有している。そして、上述した入出力装置２００の処理過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリー等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
【符号の説明】
【０２０１】
１…ヘッドマウントディスプレイ、４０…ヘッドバンド、６３…表示パネル、６４…カメラ、１２３…処理部、１２７…メモリー、１３１…ＷｉＦｉ通信回路、２００…入出力装置、２０１…パターン認識部、２０２…入力制御部、２０４…メニュー選択処理部、２０８…角度検出部
【図１】
2013190941.tif 000003
【図２】
2013190941.tif 000004
【図３】
2013190941.tif 000005
【図４】
2013190941.tif 000006
【図５】
2013190941.tif 000007
【図６】
2013190941.tif 000008
【図７】
2013190941.tif 000009
【図８】
2013190941.tif 000010
【図９】
2013190941.tif 000011
【図１０】
2013190941.tif 000012
【図１１】
2013190941.tif 000013
【図１２】
2013190941.tif 000014
【図１３】
2013190941.tif 000015
【図１４Ａ】
2013190941.tif 000016
【図１４Ｂ】
2013190941.tif 000017
【図１４Ｃ】
2013190941.tif 000018
【図１５】
2013190941.tif 000019
【図１６】
2013190941.tif 000020
【図１７】
2013190941.tif 000021
【図１８】
2013190941.tif 000022
【図１９】
2013190941.tif 000023
【図２０】
2013190941.tif 000024
【図２１】
2013190941.tif 000025