(57)【要約】【課題】  使用者が操作制御対象機器を直感的に操作することができる情報表示装置及び情報表示システムを提供する。【解決手段】  使用者の視界内の領域を撮像する撮像装置３と、使用者の視界方向前方に画像を虚像として重畳表示する表示装置４と、機器の識別情報を含む情報、使用者の身体部分の表すジェスチャーの識別情報、及びジェスチャーに対応する動作指令の情報を記憶する記憶装置２２と、表示装置４の動作を制御する情報処理装置２３とを設ける。情報処理装置２３が撮像装置３の撮像したジェスチャーの画像情報と記憶装置２２に記憶されたジェスチャーの識別情報とに基づいて使用者のジェスチャーを認識し、このジェスチャーの対応する動作指令に従って、関連情報を表示する機器の認識開始、使用者の視界上に位置する機器の識別、認識、仮選択機器の決定、制御対象機器の決定を行い、制御対象機器の関連情報を表示装置４に表示させる。【選択図】    図２
2006155244.tif 000002
【特許請求の範囲】
【請求項１】
機器の関連情報を表示する情報表示装置であって、
使用者の視界内の領域を撮像する撮像装置と、
前記使用者の視界方向前方に画像を虚像として重畳表示する表示装置と、
前記機器の識別情報を含む情報、前記使用者の身体部分の表すジェスチャーの識別情報、及び該ジェスチャーに対応する動作指令の情報を記憶する記憶装置と、
前記表示装置の動作を制御する情報処理装置とを有しており、
前記情報処理装置は、前記撮像装置が撮像したジェスチャーの画像情報と前記記憶装置に記憶された前記ジェスチャーの識別情報とに基づいて前記使用者のジェスチャーを認識し、前記関連情報を表示する前記機器の認識開始を意味するジェスチャーを検出した場合には、前記撮像装置が撮像した前記機器の画像情報と前記記憶装置に記憶された前記識別情報とに基づいて、前記使用者の視界上に位置する前記機器を識別して認識し、前記機器の仮選択を意味するジェスチャーを検出した場合には、該ジェスチャーが示す前記機器を仮選択機器として決定し、前記機器の決定を意味するジェスチャーを検出した場合には、前記仮選択機器を制御対象機器として決定し、前記関連情報の表示を意味するジェスチャーを検出した場合には、前記制御対象機器の関連情報を前記表示装置に表示させる情報表示装置。
【請求項２】
機器の関連情報を表示する情報表示装置であって、
使用者の視界内の領域を撮像する撮像装置と、
前記使用者の視界方向前方に画像を虚像として重畳表示する表示装置と、
前記機器の識別情報を含む情報、前記使用者の身体部分の表すジェスチャーの識別情報、及び該ジェスチャーに対応する動作指令の情報を記憶する記憶装置と、
前記使用者のジェスチャーを検出するセンサと、
前記表示装置の動作を制御する情報処理装置とを有しており、
前記情報処理装置は、前記センサの出力と前記記憶装置に記憶された前記ジェスチャーの識別情報とに基づいて前記使用者のジェスチャーを認識し、前記関連情報を表示する前記機器の認識開始を意味するジェスチャーを検出した場合には、前記撮像装置が撮像した前記機器の画像情報と前記記憶装置に記憶された前記識別情報とに基づいて、前記使用者の視界上に位置する前記機器を識別して認識し、前記機器の仮選択を意味するジェスチャーを検出した場合には、該ジェスチャーが示す前記機器を仮選択機器として決定し、前記機器の決定を意味するジェスチャーを検出した場合には、前記仮選択機器を制御対象機器として決定し、前記関連情報の表示を意味するジェスチャーを検出した場合には、前記制御対象機器の関連情報を前記表示装置に表示させる情報表示装置。
【請求項３】
外部に設けられて前記機器の関連情報を提供する情報提供装置と通信を行う第一通信装置を有しており、
前記情報処理装置は、前記第一通信装置を介して前記情報提供装置から前記制御対象機器の関連情報を入手する請求項１または２に記載の情報表示装置。
【請求項４】
前記関連情報を表示する前記機器の認識開始を意味するジェスチャーが、前記使用者の視線方向前方に手をかざす動作とされている請求項１から３のいずれかに記載の情報表示装置。
【請求項５】
前記関連情報を表示する前記機器の認識開始を意味するジェスチャーと前記機器の仮選択を意味するジェスチャーとが同一のジェスチャーとされ、
該ジェスチャーが、前記使用者の眼前で仮選択したい前記機器に手をかざす動作とされている請求項１から３のいずれかに記載の情報表示装置。
【請求項６】
前記関連情報を表示する前記機器の認識開始を意味するジェスチャーと前記機器の仮選択を意味するジェスチャーとが同一のジェスチャーとされ、
該ジェスチャーが、前記使用者の眼前で前記機器に向かって手招きする動作とされている請求項１から３のいずれかに記載の情報表示装置。
【請求項７】
前記機器の決定を意味するジェスチャーが、前記使用者の眼前で手を握る動作とされている請求項１から６のいずれかに記載の情報表示装置。
【請求項８】
前記関連情報の表示を意味するジェスチャーが、前記使用者の眼前で掌を広げる動作とされている請求項１から７のいずれかに記載の情報表示装置。
【請求項９】
前記機器の決定を意味するジェスチャーが、前記使用者の眼前で手を返す動作とされている請求項１から６のいずれかに記載の情報表示装置。
【請求項１０】
前記関連情報の表示を意味するジェスチャーが、前記使用者の眼前で手を返す動作とされている請求項１から６及び請求項９のいずれかに記載の情報表示装置。
【請求項１１】
請求項３に記載の情報表示装置と、
該情報表示装置の外部に配置された情報提供装置とを備え、
該情報提供装置が、前記機器の関連情報を記憶する記憶装置と、前記情報表示装置と通信を行う第二通信装置とを備えている情報表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、機器の関連情報を表示するための情報表示装置に関するものである。
【背景技術】
【０００２】
従来、各種情報を表示する情報表示装置を使用する場合には、使用者は何らかの入力手段を用いて動作指令を入力する必要がある。
入力手段としては、例えば後記の特許文献１に記載の装着型計算機に用いられるものがある。この入力手段は、透過型ディスプレイ装置を被った利用者が眼前に手を開いて提示することで入力画面を呼び出し、もう一方の手で指さしすることで、あるいは開いた手の指を折ることでメニューを選択、あるいはもう一方の手で掌に記述することで入力可能とされている。
【特許文献１】特開２００１−３１２３５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、例えば、情報表示装置に、特定の機器の関連情報を表示させる場合には、まず対象となる機器を特定する作業が必要となる。
このように複数ステップの処理が必要な場合には、特許文献１に記載の入力手段では、操作手順が複雑となり、直感的な操作は困難であった。
【０００４】
この発明は上述した事情に鑑みてなされたものであって、使用者がより直感的に操作することが可能な情報表示装置及び情報表示システムを提供することを目的としている。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明は、以下の手段を提供する。
本発明は、機器の関連情報を表示する情報表示装置であって、使用者の視界内の領域を撮像する撮像装置と、前記使用者の視界方向前方に画像を虚像として重畳表示する表示装置と、前記機器の識別情報を含む情報、前記使用者の身体部分の表すジェスチャーの識別情報、及び該ジェスチャーに対応する動作指令の情報を記憶する記憶装置と、前記表示装置の動作を制御する情報処理装置とを有しており、前記情報処理装置は、前記撮像装置が撮像したジェスチャーの画像情報と前記記憶装置に記憶された前記ジェスチャーの識別情報とに基づいて前記使用者のジェスチャーを認識し、前記関連情報を表示する前記機器の認識開始を意味するジェスチャーを検出した場合には、前記撮像装置が撮像した前記機器の画像情報と前記記憶装置に記憶された前記識別情報とに基づいて、前記使用者の視界上に位置する前記機器を識別して認識し、前記機器の仮選択を意味するジェスチャーを検出した場合には、該ジェスチャーが示す前記機器を仮選択機器として決定し、前記機器の決定を意味するジェスチャーを検出した場合には、前記仮選択機器を制御対象機器として決定し、前記関連情報の表示を意味するジェスチャーを検出した場合には、前記制御対象機器の関連情報を前記表示装置に表示させる情報表示装置を提供する。
【０００６】
このように構成される情報表示装置では、使用者がジェスチャーを行うと、情報処理装置が、撮像装置の撮像したジェスチャーの画像情報と記憶装置に記憶されたジェスチャーの識別情報とに基づいて使用者のジェスチャーを認識し、記憶装置からこのジェスチャーに対応する動作指令の情報を読み出して、この動作指令に従う。
【０００７】
具体的には、この情報表示装置では、使用者が関連情報を表示する機器の認識開始を意味するジェスチャーを行うと、情報処理装置は、撮像装置が撮像した機器の画像情報と記憶装置に記憶された機器の識別情報とに基づいて、使用者の視界上に位置する機器を識別して、機器として認識する。ここで、記憶装置が記憶する識別情報としては、例えば、機器の外見上の特徴（大きさ、形状、色や模様等）を抽出した情報や、機器の表面に設けられた識別子（バーコード等、パターンによって情報を表示するものや、機器の製造メーカの標章等）の情報が用いられる。
【０００８】
上記機器の認識動作に続いて、使用者が機器の仮選択を意味するジェスチャーを行うと、情報処理装置がジェスチャーの示す機器を仮選択機器として決定する。
上記仮選択動作に続いて、使用者が機器の決定を意味するジェスチャーを行うと、情報処理装置が、仮選択機器を制御対象機器として決定する。
上記決定動作に続いて、使用者が関連情報の表示を意味するジェスチャーを行うと、情報処理装置が、制御対象機器の関連情報を表示装置に表示させる。
【０００９】
すなわち、使用者は、この情報表示装置を装着してジェスチャーを行うだけで、使用者の視界内に入っている機器のうちの任意の機器について、その関連情報を画像情報として閲覧することができる。尚、ジェスチャーとしては、一般的動作とすることが可能であるので、制御対象機器の使用者は新たな動作を覚えることなく、前記機器の制御が可能となる。
【００１０】
また、本発明は、機器の関連情報を表示する情報表示装置であって、使用者の視界内の領域を撮像する撮像装置と、前記使用者の視界方向前方に画像を虚像として重畳表示する表示装置と、前記機器の識別情報を含む情報、前記使用者の身体部分の表すジェスチャーの識別情報、及び該ジェスチャーに対応する動作指令の情報を記憶する記憶装置と、前記使用者のジェスチャーを検出するセンサと、前記表示装置の動作を制御する情報処理装置とを有しており、前記情報処理装置は、前記センサの出力と前記記憶装置に記憶された前記ジェスチャーの識別情報とに基づいて前記使用者のジェスチャーを認識し、前記関連情報を表示する前記機器の認識開始を意味するジェスチャーを検出した場合には、前記撮像装置が撮像した前記機器の画像情報と前記記憶装置に記憶された前記識別情報とに基づいて、前記使用者の視界上に位置する前記機器を識別して認識し、前記機器の仮選択を意味するジェスチャーを検出した場合には、該ジェスチャーが示す前記機器を仮選択機器として決定し、前記機器の決定を意味するジェスチャーを検出した場合には、前記仮選択機器を制御対象機器として決定し、前記関連情報の表示を意味するジェスチャーを検出した場合には、前記制御対象機器の関連情報を前記表示装置に表示させる情報表示装置を提供する。
【００１１】
このように構成される情報表示装置では、使用者がジェスチャーを行うと、情報処理装置が、センサの出力と記憶装置に記憶されたジェスチャーの識別情報とに基づいて使用者のジェスチャーを認識し、記憶装置からこのジェスチャーに対応する動作指令の情報を読み出して、この動作指令に従う。ここで、使用者の身体部分に、識別子（マーカ）を設けて、情報処理装置がこの識別子の動作（軌跡や消失、現出等）に基づいて使用者のジェスチャーを認識するようにしてもよい。
【００１２】
具体的には、この情報表示装置では、使用者が関連情報を表示する機器の認識開始を意味するジェスチャーを行うと、情報処理装置は、撮像装置が撮像した機器の画像情報と記憶装置に記憶された機器の識別情報とに基づいて、使用者の視界上に位置する機器を識別して、機器として認識する。
上記機器の認識動作に続いて、使用者が機器の仮選択を意味するジェスチャーを行うと、情報処理装置がジェスチャーの示す機器を仮選択機器として決定する。
上記仮選択動作に続いて、使用者が機器の決定を意味するジェスチャーを行うと、情報処理装置が、仮選択機器を制御対象機器として決定する。
上記決定動作に続いて、使用者が関連情報の表示を意味するジェスチャーを行うと、情報処理装置が、制御対象機器の関連情報を表示装置に表示させる。
【００１３】
すなわち、使用者は、この情報表示装置を装着してジェスチャーを行うだけで、使用者の視界内に入っている機器のうちの任意の機器について、その関連情報を画像情報として閲覧することができる。
【００１４】
上記情報表示装置が、外部に設けられて前記機器の関連情報を提供する情報提供装置と通信を行う第一通信装置を有しており、前記情報処理装置は、前記第一通信装置を介して前記情報提供装置から前記制御対象機器の関連情報を入手するようにしてもよい。
【００１５】
このように構成される情報表示装置では、情報処理装置が、第一通信装置を介して、外部に設けられた情報提供装置から機器の関連情報を入手するので、情報表示装置に機器の関連情報を保持する構成を設ける必要がなく、その分、情報表示装置を小型、軽量とすることができる。これにより、使用者の負担が少なくて済み、使用者の自由度が向上する。
なお、通信装置は有線通信装置と無線通信装置とのどちらであってもよいが、通信装置として無線通信装置を用いることで、使用者の自由度が向上する。
【００１６】
上記情報表示装置において、前記関連情報を表示する前記機器の認識開始を意味するジェスチャーが、前記使用者の視線方向前方に手をかざす動作とされていてもよい。
【００１７】
このように構成される情報表示装置では、関連情報を表示する機器の認識開始を意味するジェスチャー、すなわち情報表示装置の動作開始を意味するジェスチャーが、眼前に手をかざすという、一般的な動作であるので、使用者が制御対象機器を制御するために新たな動作を覚える必要がない。
【００１８】
上記情報表示装置において、前記関連情報を表示する前記機器の認識開始を意味するジェスチャーと前記機器の仮選択を意味するジェスチャーとが同一のジェスチャーとされ、
該ジェスチャーが、前記使用者の眼前で仮選択したい前記機器に手をかざす動作とされていてもよい。
【００１９】
このように構成される情報表示装置では、関連情報を表示する機器の認識開始を意味するジェスチャー、すなわち情報表示装置の動作開始を意味するジェスチャーが、眼前に手をかざすという、一般的な動作であるので、使用者が制御対象機器を制御するために新たな動作を覚える必要がない。また、このジェスチャーは、仮選択したい機器を指差す動作に近いので、使用者は、情報表示装置の操作をより直感的に行うことができる。
さらに、関連情報を表示する機器の認識開始を意味するジェスチャーと機器の仮選択を意味するジェスチャーとが同一のジェスチャーとされているので、少ない手順で、使用者の視界内に入っている機器のうちの任意の機器について、その関連情報を画像情報として閲覧することができる。
【００２０】
上記情報表示装置において、前記関連情報を表示する前記機器の認識開始を意味するジェスチャーと前記機器の仮選択を意味するジェスチャーとが同一のジェスチャーとされ、
該ジェスチャーが、前記使用者の眼前で前記機器に向かって手招きする動作とされていてもよい。
【００２１】
このように構成される情報表示装置では、関連情報を表示する機器の認識開始を意味するジェスチャー、すなわち情報表示装置の動作開始を意味するジェスチャーが、眼前で手招きするという、一般的な動作であるので、使用者が制御対象機器を制御するために新たな動作を覚える必要がない。このジェスチャーは、仮選択したい機器を手招きするという、より直感的な動作であるので、使用者は、情報表示装置の操作をより直感的に行うことができる。
さらに、関連情報を表示する機器の認識開始を意味するジェスチャーと機器の仮選択を意味するジェスチャーとが同一のジェスチャーとされているので、少ない手順で、使用者の視界内に入っている機器のうちの任意の機器について、その関連情報を画像情報として閲覧することができる。
【００２２】
上記情報表示装置において、前記機器の決定を意味するジェスチャーが、前記使用者の眼前で手を握る動作とされていてもよい。
【００２３】
この情報表示装置では、機器の決定を意味するジェスチャーが、機器をつかむという動作に近いので、使用者は、情報表示装置の操作をより直感的に行うことができる。
特に、関連情報を表示する機器の認識開始及び機器の仮選択を意味するジェスチャーが、使用者の眼前で仮選択したい機器に手をかざす動作とされている場合には、機器の認識開始から機器の決定までの一連の操作が、機器に対して手を伸ばしてつかむという動作に酷似しているので、情報表示装置の操作をさらに直感的に行うことができる。
【００２４】
上記情報表示装置において、前記関連情報の表示を意味するジェスチャーが、前記使用者の眼前で掌を広げる動作とされていてもよい。
【００２５】
この情報表示装置では、関連情報の表示を意味するジェスチャーが、何かを広げるという動作に近いので、使用者は、情報表示装置の操作をより直感的に行うことができる。
【００２６】
上記情報表示装置において、前記機器の決定を意味するジェスチャーが、前記使用者の眼前で手を返す動作とされていてもよい。
【００２７】
この情報表示装置では、前記機器の決定を意味するジェスチャーが、一般的な動作であるので、使用者が制御対象機器を制御するために新たな動作を覚える必要がない。
【００２８】
上記情報表示装置において、前記関連情報の表示を意味するジェスチャーが、前記使用者の眼前で手を返す動作とされていてもよい。
【００２９】
この情報表示装置では、前記関連情報の表示を意味するジェスチャーが、一般的な動作であるので、使用者が制御対象機器を制御するために新たな動作を覚える必要がない。
【００３０】
また、本発明は、請求項３に記載の情報表示装置と、該情報表示装置の外部に配置された情報提供装置とを備え、該情報提供装置が、前記機器の関連情報を記憶する記憶装置と、前記情報表示装置と通信を行う第二通信装置とを備えている情報表示システムを提供する。
【００３１】
このように構成される情報表示システムでは、情報表示装置が、第一通信装置を介して、外部に設けられた情報提供装置から機器の関連情報を入手するので、情報表示装置に機器の関連情報を保持する構成を設ける必要がなく、その分、情報表示装置を小型、軽量とすることができる。これにより、使用者の負担が少なくて済み、使用者の自由度が向上する。
なお、通信装置は有線通信装置と無線通信装置とのどちらであってもよいが、通信装置として無線通信装置を用いることで、使用者の自由度が向上する。
【発明の効果】
【００３２】
本発明に係る情報表示装置及び情報表示システムによれば、制御対象機器の特定から制御対象機器の関連情報の表示までの各動作を、それぞれ直感的な操作で実行することができる。
【発明を実施するための最良の形態】
【００３３】
以下、本発明に係る情報表示装置及び情報表示システムについて、図面を用いて説明する。
［第一実施形態］
本発明の第一実施形態に係る情報表示装置について、図１から図７を参照して説明する。
図１に示すように、本実施形態に係る情報表示装置１は、この情報表示装置１の構成部品（例えば電子回路等）が内蔵される筐体２と、この筐体２上に設けられた撮像装置３と、画像情報を使用者の実視界上に重畳させる表示装置４とを有している。
【００３４】
筐体２は、略長方形平板形状をなしており、その一端側には、筐体２を厚み方向に貫く開口部２ａが設けられている。以下、筐体２の周面のうち、開口部２ａの一方の開口端が形成される周面を正面２ｂとし、他方を背面２ｃとし、残りの周面（厚み方向に略平行な周面）を側面２Ｄとする。
【００３５】
筐体２の他端側は、情報表示装置１の持ち手を構成している。ここで、この情報表示装置１は、使用者が一端側を視線方向前方に位置するようにして他端側を片手で保持しつつ、正面２ｂの他端側を自身の側頭部等に当接させることで、情報表示装置１を自身の頭部に対して位置決めして、安定した保持を実現することができる。
【００３６】
撮像装置３は、例えば筐体２の一端側に設けられていて、筐体２の一端が向けられた方向の風景（すなわち筐体２を保持する使用者の視線方向の風景）を撮像するものである。撮像装置３としては、ＣＣＤ素子やＣＭＯＳ素子等の撮像素子を用いたデジタル式撮像装置が用いられる。
【００３７】
表示装置４は、筐体２の一端側に設けられるものであって、筐体２の背面２ｃ側に設けられる画像表示装置６と、筐体２の正面２ｂ側に設けられて開口部２ａを通じて画像表示部６から入射した光を他端側に向けて反射するとともに使用者の視線方向の実視野からの光を透過する半透過型光学素子７とを有している。
表示装置４は、筐体２の他端側を側頭部等に当接させている使用者からみて、その視線方向（筐体２の一端が向けられた方向）の半透過型光学素子７よりも遠方に、画像情報の虚像を表示させるものである。
【００３８】
ここで、画像表示部６の表示する画像情報のデータは、後述する記憶装置内に格納されている。画像表示部６が表示する画像情報は、予め設定された条件に基づいて自動的に選択されるようになっている。
【００３９】
画像表示部６は、例えば液晶表示パネルや有機ＥＬ表示パネル等のいわゆる薄型ディスプレイによって構成されており、筐体２に対して支持部材１１を介して取り付けられている。本実施形態では、画像表示部６は、略長方形平板形状をなしており、その片面側が画像情報の表示される表示面６ａとされている。また、表示面６ａは、図１において長辺が紙面に略平行となる向きの略長方形状とされている。
【００４０】
画像表示部６は、筐体２にヒンジ１１を介して取り付けられていて、ヒンジ１１の揺動軸線回りに揺動させることで、筐体２に対する画像表示部６の向きを変更することができるようになっている。
本実施形態では、画像表示部６は、その一短辺を、筐体２の開口部２ａの縁部のうち、他端側の縁部に対してヒンジ１１を介して接続されており、筐体２の背面２ｃに略直交しかつ筐体２の長手方向に略平行となる面上で、ヒンジ１１の揺動軸線回りに揺動可能とされている。
【００４１】
そして、表示装置４の使用時には、画像表示部６を変位させて、その表示面６ａを筐体２の正面２ｂ側の一端寄りに向けて（言い換えれば筐体２の一端側の正面２ｂ寄りに向けて）、画像表示部６を半透過型光学素子７に対して略平行にすることで、画像表示部６の発する光が開口部２ａを通じて半透過型光学素子７の反射面７ａに入力される。また、表示装置４を使用しない場合には、画像表示部６を変位させて、筐体２の開口部２ａ内に収納することで、情報表示装置１の外形寸法を小さくすることができる。
【００４２】
半透過型光学素子７は、凹曲面状の反射面７ａを有する部材であって、開口部２ａを通じて画像表示部６からの光を、反射面７ａによって筐体２の他端側に向けて反射させることによって、他端部を頭側部に当接させた状態の使用者からみて半透過型光学素子７よりも遠方に、画像情報の虚像を表示するものである。
半透過型光学素子７において、反射面７ａが形成される領域は、使用者の実視界からの光を透過させる構成とされており、使用者は、半透過型光学素子７を通じて視線方向遠方の景色も視認することができるようになっている。すなわち、表示装置４は、使用者の実視界上に虚像を重畳する。
【００４３】
本実施形態では、半透過型光学素子７は、アクリルやポリカーボネート等の透明な材質からなる略長方形板状の部材であって、その片面側に金属膜等の反射層が形成されていて、ハーフミラーとして機能する。この反射層の表面が、画像表示部６から入射した光線を表面で反射させる反射面７ａとされている。
【００４４】
また、半透過型光学素子７は、一方の短辺がヒンジ１６を介して筐体２の一端近傍に接続されており、ヒンジ１６の揺動軸線回りに揺動することができるようになっている。
そして、表示装置４の使用時には、図１に示すように、反射面７ａが使用者に向くように筐体２の正面２ｂに対して開くことで、画像表示部６から発せられた光が使用者に向けて反射される。
また、表示装置４を使用しない場合には、半透過型光学素子７を、図１に二点差線で示すように筐体２の正面２ｂに沿うように折り畳むことで、情報表示装置１の外形寸法を小さくすることができる。
【００４５】
また、反射面７ａは、長手方向（図１において紙面に略平行な方向）及び短手方向（図１において紙面に略垂直な方向）にそれぞれ曲率を有する凹曲面状に形成されており、表示装置４においては、画像表示部６が発する光線を使用者に向けて反射し、虚像の観察を可能にする凹面鏡として機能する。
さらに、反射面７ａは、長手方向においてヒンジ１６との接続端から離間するにつれて次第に曲率が増大させられており、これによって反射面７ａの長手方向の各部における画像表示部６の表示面６ａまでの距離の差によって生じる収差が解消されて、歪みのない画像情報の虚像が形成されるようになっている。
【００４６】
また、半透過型光学素子７は、反射面７ａが形成される領域の肉厚が均一とされている。これによって、視線方向遠方から使用者に向けて半透過型光学素子７に入射した光線は、半透過型光学素子７によって屈折させられることなく、使用者の瞳に入射することとなり、使用者が視線方向遠方の景色を歪みなく良好に視認することができる。
【００４７】
また、図２のブロック図に示すように、情報表示装置１は、上記構成部材以外に、各種情報を記憶する記憶装置２２と、表示装置４の動作を制御する情報処理装置２３とを有している。本実施形態では、記憶装置２２及び情報処理装置２３は、筐体２内に設置されている。
【００４８】
記憶装置２２は、磁気記録媒体（磁気記録テープや磁気記録ディスク）や光ディスク、不揮発メモリ等を記録媒体とするものであって、機器の識別情報を含む情報、使用者の身体部分の表すジェスチャーの識別情報、及びこのジェスチャーに対応する動作指令の情報を記憶している。
【００４９】
機器の識別情報とは、例えば、機器の外見上の特徴（大きさ、形状、色や模様等）を抽出した情報や、機器の表面に設けられた識別子（バーコード等、パターンによって情報を表示するものや、機器の製造メーカの標章等）の情報等である。
機器の関連情報とは、例えば機器がテレビジョン受像機である場合には番組表等である。
ジェスチャーの識別情報とは、例えば、撮像装置３から得られた画像情報における使用者の身体部分の表す形状や位置、身体部分の動作、動作のタイミング（停止時間も含む）等である。
【００５０】
情報処理装置２３は、ＣＰＵ（中央演算装置）によって構成されている。
情報処理装置２３は、撮像装置３によって撮像されたジェスチャーの画像情報と記憶装置２２に記憶されたジェスチャーの識別情報とから、使用者の身体部分の表すジェスチャーを認識して、記憶装置２２に記憶されたジェスチャーに対応する動作指令に基づいて、表示装置４の動作を制御するものである。
【００５１】
以下、情報処理装置２３による使用者のジェスチャーの認識動作について、図３から図５を用いて具体的に説明する。図３及び図５は使用者のジェスチャーを示す図であって、図４は情報処理装置２３の動作を示すフローチャートである。
なお、以下では、制御対象機器が、図３に示すテレビジョン受像機ＴＶである場合のジェスチャーの認識動作について説明する。
【００５２】
情報処理装置２３は、撮像装置３によって得た画像情報に基づいて、撮像装置３の撮像範囲（図３にて二点差線で囲った領域）を監視し（ステップＳ１）、この撮像範囲内に使用者の身体部分（図３では使用者の手部Ｈ）もしくは使用者の身体部分に装着されて身体部分であることを視覚的に示す識別子が位置しているかどうかを検出する。
情報処理装置２３は、例えば、撮像装置３によって得た画像情報に基づくパターンマッチング処理や動き検出処理等によってこの検出処理を行うほか、撮像装置３によって得た画像情報に肌色の領域（すなわち使用者の身体部分と同じ色の領域）や識別子と同じ色の領域があるかどうかを検出することによって行う。
【００５３】
情報処理装置２３は、記憶装置２２からジェスチャーの識別情報を読み出し（ステップＳ２）、撮像装置３によって得られた画像情報に基づいて検出した、使用者の身体部分の表す形状や位置、身体部分の動作、動作のタイミング（停止時間も含む）等に基づいて、使用者のジェスチャーを認識して、その種類を識別する（ステップＳ３，Ｓ４）。このジェスチャーの識別処理は、例えば使用者の身体部分や識別子が撮像範囲内に位置している場合に自動的に行われる。
【００５４】
情報処理装置２３は、関連情報を表示する機器の認識開始を意味するジェスチャーを検出した場合には、撮像装置３が撮像した機器の画像情報と記憶装置２２に記憶された機器の識別情報とに基づいて、使用者の視界上に位置する機器を識別して認識する（ステップＳ５）。
【００５５】
このように機器の認識を行ったのち、情報処理装置２３は、引き続き上記のジェスチャーの識別処理を継続し（ステップＳ６，Ｓ７）、機器の仮選択を意味するジェスチャーを検出した場合には、このジェスチャーが示す機器を仮選択機器として決定する（ステップＳ８）。
【００５６】
ここで、本実施形態では、関連情報を表示する機器の認識開始を意味するジェスチャーと、機器の仮選択を意味するジェスチャーとが、同一のジェスチャーとされており、このジェスチャーが、使用者の眼前で仮選択したい機器に手をかざす動作とされている（図３参照）。
すなわち、本実施形態の情報表示装置１は、ステップＳ３からステップＳ８までの各ステップを同時に（または一連の動作として）実行する。
【００５７】
このように、関連情報を表示する機器の認識開始を意味するジェスチャー、すなわち情報表示装置１の動作開始を意味するジェスチャーを、眼前に手をかざすという、一般的な動作であるので、使用者が制御対象機器を制御するために新たな動作を覚える必要がない。
また、このジェスチャーは、仮選択したい機器を指差す動作に近いので、使用者は、情報表示装置１の操作をより直感的に行うことができる。
【００５８】
さらに、関連情報を表示する機器の認識開始を意味するジェスチャーと機器の仮選択を意味するジェスチャーとが同一のジェスチャーとされているので、使用者は、一つの動作で、画像表示装置１に、使用者の視界内に入っている機器のうちの任意の機器の識別処理から仮選択処理までを実行させることができる。
【００５９】
このように機器の仮選択を行ったのち、情報処理装置２３は、引き続き上記のジェスチャーの識別処理を継続し（ステップＳ９）、機器の決定を意味するジェスチャーを検出した場合には、仮選択機器を制御対象機器として決定する（ステップＳ１０，Ｓ１１）。
【００６０】
本実施の形態では、機器の決定を意味するジェスチャーが、前記使用者の眼前で手を握る動作とされている（図５（ａ）参照）。
この動作は、制御対象機器をつかむという動作に近いので、使用者は、情報表示装置１の操作をより直感的に行うことができる。
特に、本実施形態では、関連情報を表示する機器の認識開始及び機器の仮選択を意味するジェスチャーが、使用者の眼前で仮選択したい機器に手をかざす動作とされているので、機器の認識開始から機器の決定までの一連の操作が、機器に対して手を伸ばしてつかむという動作に酷似している。
このため、使用者は、情報表示装置１の操作をさらに直感的に行うことができる。
【００６１】
このように機器の決定を行ったのち、情報処理装置２３は、引き続き上記のジェスチャーの識別処理を継続し（ステップＳ１２）、機器の関連情報の表示を意味するジェスチャーを検出した場合には、制御対象機器の関連情報を表示装置４に表示させる（ステップＳ１３，Ｓ１４）。
【００６２】
本実施形態では、関連情報の表示を意味するジェスチャーが、使用者の眼前で、使用者に掌を向けるようにして掌を広げる動作とされている（図５（ｂ）参照）。
この動作は、何かを広げるという動作に近いので、使用者は、情報表示装置１の操作をより直感的に行うことができる。
【００６３】
ここで、情報処理装置２３は、関連情報が一つであるか、もしくは一つのグループにまとめられている場合には、図６に示すように、表示装置４を制御して、ジェスチャーを行っている手の、掌上に、関連情報Ｉを表示する。
なお、情報処理装置２３は、ジェスチャーを行っている手の掌の位置を、例えば画像マッチング技術によって検出する。
【００６４】
また、情報処理装置２３は、関連情報が５つ以下であるか、もしくは５つ以下のグループにまとめられている場合には、図７に示すように、撮像装置３によって得られた画像情報に基づいて、画像マッチング技術等を利用して、使用者の手の指を検出するとともに、表示装置４を制御して、各指に対応させて、前記各関連情報（もしくは関連情報のグループ）を表示する。
図７に示す例では、使用者の各指の延長線上には、親指側から順に、それぞれ異なる放送局の番組情報（例えば放送局名と番組表）Ｉ１，Ｉ２、Ｉ３，Ｉ４，Ｉ５が表示される。
なお、情報処理装置２３は、親指が左側であるか右側であるか（すなわちこの手が右手であるか左手であるか）を、例えば画像マッチング技術によって検出する。
【００６５】
以上説明したように、本実施形態の情報表示装置１によれば、制御対象機器の特定から制御対象機器の関連情報の表示までの各動作を、それぞれ直感的な操作で実行することができる。
【００６６】
ここで、上記実施の形態において、図８に示すように、情報処理装置２３が、機器の認識開始及び機器の仮選択を行う際に、表示装置４に、使用者の実視界上において機器の位置している領域に、目印Ｏを表示させてもよい。この場合には、使用者は、目印Ｏをつかむ動作をすることで、機器の認識開始及び機器の仮選択の動作指令を行うことができるので、情報表示装置１の操作をより直感的に行うことができる。
なお、目印Ｏは、使用者が掴むことができる程度の大きさとしてもよく、また、機器と同じ大きさ、形状としてもよい。
【００６７】
なお、各動作指令に対応するジェスチャーとしては、上記した以外のジェスチャーを用いることができる。
例えば、関連情報を表示する機器の認識開始を意味するジェスチャーを、使用者の視線方向前方に手をかざす動作としてもよく、機器の仮選択を意味するジェスチャーを、使用者が仮選択する機器を指差す動作としてもよい。
これらのジェスチャーも、一般的な動作であるので、使用者が制御対象機器を制御するために新たな動作を覚える必要がない。
【００６８】
また、関連情報を表示する機器の認識開始及び機器の仮選択を意味するジェスチャーを、使用者の眼前で機器に向かって手招きする動作としてもよい。
このジェスチャーも、一般的な動作であるので、使用者が制御対象機器を制御するために新たな動作を覚える必要がない。さらに、このジェスチャーは、仮選択したい機器を手招きするという、より直感的な動作であるので、使用者は、情報表示装置１の操作をより直感的に行うことができる。
【００６９】
［第二実施形態］
以下、本発明の第二実施形態について、図９から図１１を用いて説明する。
本実施形態の情報表示装置３１は、図９のブロック図に示すように、第一実施形態で示した情報表示装置１において、使用者のジェスチャーを検出するセンサ３２を設けたものであって、撮像装置３が撮像したジェスチャーの画像情報から使用者のジェスチャーを検出、認識する代わりに、このセンサ３２の出力に基づいて使用者のジェスチャーを認識するものである。
【００７０】
本実施形態では、センサ３２は、使用者の腕のうち、情報表示装置３１を保持する側とは反対側の腕の手首に装着される腕時計型の装具３３に設けられた光電センサとされている。
装具３３は、使用者の手首に装着されるバンド部３４と、このバンド部３４に設けられる筐体３５とを有している。
本実施形態では、筐体３５は、使用者の手首の外側（すなわち手の甲側）に設けられている。なお、筐体３５は、図１１に二点差線で示すように、使用者の手首の内側（すなわち掌側）に設けられていてもよい。
センサ３２は、検出方向を使用者の手先に向けられており、使用者が手Ｈを甲側に反らした場合にこれを検出するようになっている。
なお、この装具３３には、センサ３２以外の装置、例えば時計等を設けてもよい。
【００７１】
このように構成される情報表示装置３１は、使用者が手Ｈを反らせる動作を含むジェスチャー、例えば手招きを行うと、センサ３２がこの動作を検出する。ここで、使用者が各ジェスチャーを行った際のセンサ３２の出力パターンは、ジェスチャーの識別情報として、予め記憶装置２２に記憶されている。
【００７２】
情報処理装置２３は、このセンサ３２の出力と、記憶装置２２に記憶されたジェスチャーの識別情報とに基づいてジェスチャーを認識、識別し、このジェスチャーに対応した動作指令に従って、表示装置４の動作を制御する。
すなわち、この情報表示装置３１においても、使用者は、装具３３を装着してジェスチャーを行うだけで、使用者の視界内に入っている機器のうちの任意の機器について、その関連情報を画像情報として閲覧することができる。
【００７３】
ここで、本実施形態において、センサ３２として、光電センサの代わりに、筐体３３の姿勢を検出するジャイロ装置を設け、記憶装置２２に、使用者が各ジェスチャーを行った際のジャイロ装置の出力パターンを記憶させ、情報処理装置２３が、このジャイロ装置の出力と、記憶装置２２に記憶されたジェスチャーの識別情報とに基づいてジェスチャーを認識、識別するようにしてもよい。
【００７４】
また、制御対象機器が指向性の高い通信装置、例えば光通信装置を有している場合には、センサ３２として、光電センサを用いる代わりに、制御対象機器と通信を行う高指向性の通信装置を用いてもよい。なお、この構成を採用した場合には、通信装置が制御対象機器からその関連情報を受信して、この関連情報を他の通信手段によって情報処理装置２３に入力する構成としてもよい。また、装具３３には、通信装置が受信した制御対象機器の関連情報等を表示する画像表示装置を設けてもよい。
以下、高指向性通信装置として、光通信装置を用いた場合について説明する。なお、以下に示す例では、制御対象機器として、赤外光等の光信号を発する発光部Ｅを有する光通信装置を備えたテレビジョン受像機ＴＶを用いている。
【００７５】
この情報表示装置に用いられる光通信装置は、通信用の光信号を受信する受光部を有しており、この受光部は、検出方向を使用者の手先に向けられている。
このような構成の情報表示装置では、図１１に示すように、使用者が手先をテレビジョン受像機ＴＶの発光部Ｅに向けた状態で、手Ｈを反らせる動作を含むジェスチャーを行うことで、情報表示装置側の光通信装置の受光部と制御対象機器側の光通信装置の発光部Ｐとの間が使用者の手Ｈによって遮られて、これら光通信装置間の通信が遮断される。
ここで、使用者が各ジェスチャーを行った際のこれら光通信装置間の通信状態のパターンは、ジェスチャーの識別情報として、予め記憶装置２２に記憶されている。
【００７６】
このように構成される情報表示装置では、情報処理装置２３が、この光通信装置間の通信状態のパターンと、記憶装置２２に記憶されたジェスチャーの識別情報とに基づいてジェスチャーを認識、識別し、このジェスチャーに対応した動作指令に従って、表示装置４の動作を制御する。
なお、装具３３には、光通信装置間の通信状態に応じて音声を発する音声発生装置を設けることで、使用者がこれら光通信装置間の通信状態を把握することができる。
【００７７】
［第三実施形態］
以下、本発明の第三実施形態について、図１２を用いて説明する。
本実施形態では、本発明が適用される情報表示システムについて説明する。
この情報表示システムは、図１２のブロック図に示すように、使用者に装着される情報表示装置４１と、この情報表示装置４１の外部に設置される情報提供装置４２とを有している。
【００７８】
情報表示装置４１は、第一実施形態に示した情報表示装置１において、記憶装置２２をなくし、代わりに、情報提供装置４２と通信を行う第一通信装置４３を設けたものである。
情報提供装置４２は、機器の識別情報を記憶する記憶装置２２と、情報表示装置４１の第一通信装置４３と通信を行う第二通信装置４４とを備えている。
【００７９】
このように構成される情報表示システムでは、情報表示装置４１が、第一通信装置４３を介して、外部に設けられた情報提供装置４２から機器の関連情報を入手するので、情報表示装置４１に機器の関連情報を保持する構成を設ける必要がなく、その分、情報表示装置４１を小型、軽量とすることができる。これにより、使用者の負担が少なくて済み、使用者の自由度が向上する。
なお、第一、第二通信装置４３，４４は、有線通信装置と無線通信装置とのどちらであってもよいが、通信装置として無線通信装置を用いることで、使用者の自由度が向上する。
【００８０】
本実施形態において、情報提供装置４２が、情報表示装置４１の対称機器であってもよい。
【図面の簡単な説明】
【００８１】
【図１】本発明の第一実施形態に係る情報表示装置の構成を示す図である。
【図２】本発明の第一実施形態に係る情報表示装置の構成とその制御の流れを示すブロック図である。
【図３】本発明の第一実施形態に係る情報表示装置の操作の様子（機器の認識開始及び機器の仮選択を意味するジェスチャー）を示す図である。
【図４】本発明の第一実施形態に係る情報表示装置の情報処理装置の処理の流れを示すフローチャートである。
【図５】本発明の第一実施形態に係る情報表示装置の操作の様子を説明する図であって、（ａ）は機器の決定を意味するジェスチャーを示しており、（ｂ）は機器の関連情報の表示を意味するジェスチャーを示している。
【図６】本発明の第一実施形態に係る情報表示装置の表示例を示す図である。
【図７】本発明の第一実施形態に係る情報表示装置の表示例を示す図である。
【図８】本発明の第一実施形態に係る情報表示装置の表示例を示す図である。
【図９】本発明の第二実施形態に係る情報表示システムの構成とその制御の流れを示すブロック図である。
【図１０】本発明の第二実施形態に係る情報表示装置を構成する装具を示す図である。
【図１１】本発明の第二実施形態に係る情報表示装置の操作の様子を示す図である。
【図１２】本発明の第三実施形態に係る情報表示システムの構成とその制御の流れを示すブロック図である。
【符号の説明】
【００８２】
１，３１，４１  情報表示装置
３  撮像装置
４  表示装置
２２  記憶装置
２３  情報処理装置
２４  入力部
３２  センサ
４２  情報提供装置
４３  第一通信装置
４４  第二通信装置
【図１】
2006155244.tif 000003
【図２】
2006155244.tif 000004
【図３】
2006155244.tif 000005
【図４】
2006155244.tif 000006
【図５】
2006155244.tif 000007
【図６】
2006155244.tif 000008
【図７】
2006155244.tif 000009
【図８】
2006155244.tif 000010
【図９】
2006155244.tif 000011
【図１０】
2006155244.tif 000012
【図１１】
2006155244.tif 000013
【図１２】
2006155244.tif 000014