(57)【要約】【課題】機器の誤操作を防ぎ、暗い部屋であっても操作することができる機器遠隔操作システムを提供する。【解決手段】複数の機器を、機器操作信号で遠隔操作する機器遠隔操作システムにおいて、複数の機器の各機器操作信号に対応した複数の操作ボタン１０１を有する単一のリモートコントローラ１００と、ユーザに画像を視認させるヘッドマウントディスプレイ２００と、各機器に記載された機器識別記号を読み取り、遠隔操作する機器を識別する撮像装置１５１と、リモートコントローラの各操作ボタン１０１を、操作しようとする機器の各機器操作信号に適合させる適合手段１３ｂと、操作しようとしている機器の各機器操作信号に対応する各操作ボタン１０１の操作情報画像を生成し、ヘッドマウントディスプレイ２００に出力する操作情報画像生成手段１３ｄとを有する。【選択図】図６
2010130632.tif 000002
【特許請求の範囲】
【請求項１】
複数又は単一の機器を、無線信号である機器操作信号で遠隔操作する機器遠隔操作システムにおいて、
複数又は単一の機器の各機器操作信号に対応した複数の操作ボタンを有する単一のリモートコントローラと、
ユーザの頭部に装着され、当該ユーザに画像を視認させるヘッドマウントディスプレイと、
前記リモートコントローラで遠隔操作する機器を識別する機器識別手段と、
前記リモートコントローラの各操作ボタンを、前記機器識別手段が識別した機器の各機器操作信号に適合させる適合手段と、
前記機器識別手段が識別した機器の各機器操作信号に対応する各操作ボタンの操作情報画像を生成し、前記ヘッドマウントディスプレイに出力する操作情報画像生成手段とを有することを特徴とする機器遠隔操作システム。
【請求項２】
機器識別手段は、各機器に記載された機器識別記号を読み取る撮像装置であることを特徴とする請求項１に記載の機器遠隔操作システム。
【請求項３】
機器識別手段は、各機器に取り付けられたICタグの機器識別情報を読み取るタグリーダであることを特徴とする請求項１に記載の機器遠隔操作システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単一のリモートコントローラで複数の機器を遠隔操作する際に、遠隔操作する機器の操作情報をヘッドマウントディスプレイで表示する機器遠隔操作システムに関するものである。
【背景技術】
【０００２】
従来から、特許文献１や特許文献２に示されるように、複数の電子機器（テレビ受像器、DVDプレーヤ、オーディオ機器、エアコンディショナー等）を操作することができる所謂学習リモコンやマルチリモコンが知られている。これらは、単一のリモートコントローラで複数の電子機器を操作することができるため、それぞれの機器に対応したリモートコントローラが氾濫することがなく、便利である。
【０００３】
しかしながら、ユーザが操作しようとしている電子機器の操作に対応した操作ボタンがどれであるかを忘れてしまったり、現在ユーザが操作しようとしている電子機器がわかりにくいことから、ユーザが電子機器を誤操作してしまったりするという問題があった。例えば、ユーザがテレビ受像機のチャンネルを切り替える操作をしたつもりが、エアコンディショナーを作動させてしまう場合がある。また、暗い部屋では、リモートコントローラの操作ボタンを視認しづらいという問題があった。
【０００４】
【特許文献１】特開平５−５６４８４号公報
【特許文献２】特開平７−１２３４７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上記問題を解決し、機器の誤操作を防ぎ、暗い部屋であっても操作することができる機器遠隔操作システムを提供することを目的としてなされたものである。
【課題を解決するための手段】
【０００６】
上記課題を解決するためになされた請求項１に記載の発明は、複数又は単一の機器を、無線信号である機器操作信号で遠隔操作する機器遠隔操作システムにおいて、
複数又は単一の機器の各機器操作信号に対応した複数の操作ボタンを有する単一のリモートコントローラと、
ユーザの頭部に装着され、当該ユーザに画像を視認させるヘッドマウントディスプレイと、
前記リモートコントローラで遠隔操作する機器を識別する機器識別手段と、
前記リモートコントローラの各操作ボタンを、前記機器識別手段が識別した機器の各機器操作信号に適合させる適合手段と、
前記機器識別手段が識別した機器の各機器操作信号に対応する各操作ボタンの操作情報画像を生成し、前記ヘッドマウントディスプレイに出力する操作情報画像生成手段とを有することを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１に記載の発明において、機器識別手段は、各機器に記載された機器識別記号を読み取る撮像装置であることを特徴とする。
【０００８】
請求項３に記載の発明は、請求項１に記載の発明において、機器識別手段は、各機器に取り付けられたICタグの機器識別情報を読み取るタグリーダであることを特徴とする。
【発明の効果】
【０００９】
請求項１に記載の発明は、リモートコントローラで遠隔操作する機器を識別する機器識別手段と、リモートコントローラの各操作ボタンを、前記機器識別手段が識別した機器の各機器操作信号に適合させる適合手段と、前記機器識別手段が識別した機器の各機器操作信号に対応する各操作ボタンの操作情報画像を生成し、ヘッドマウントディスプレイに出力する操作情報画像生成手段とを有するので、機器の操作に対応した操作ボタンの操作内容を確認しつつ、操作ボタンを押下することができ、機器の誤操作を防止することが可能となる。また、操作情報画像が、ヘッドマウントディスプレイに表示されるので、暗い部屋であっても、機器を容易に操作することができる。
【００１０】
請求項２に記載の発明は、機器識別手段を、各機器に記載された機器識別記号を読み取る撮像装置で構成したので、ユーザが操作しようとしている機器を確実に識別することが可能となる。
【００１１】
請求項３に記載の発明は、機器識別手段を、各機器に取り付けられたICタグの機器識別情報を読み取るタグリーダで構成したので、ユーザが操作しようとしている機器を確実に識別することが可能となる。
【発明を実施するための最良の形態】
【００１２】
（本発明の概要）
図１に本発明の機器遠隔操作システムの概要図を示して、以下、本発明の概要を説明する。本発明の機器遠隔操作システムは、図２に示されるような、複数の操作ボタン１０１を有する単一のリモートコントローラ１００と、ユーザ５００の頭部に装着され、このユーザ５００に画像を視認させるヘッドマウントディスプレイ２００とから構成されている。本発明では、前記単一のリモートコントローラ１００が出力する無線信号である「機器操作信号」で、エアコンディショナー６００（機器Ａ）、テレビ受像器７００（機器Ｂ）、オーディオ機器８００（機器Ｃ）等の単一又は複数の機器を、操作することができるようになっている。このような機能を実現するため、本発明の機器遠隔操作システムは、操作しようとしている機器を識別する「機器識別手段」を有し、当該機器を操作する前に、リモートコントローラ５００の各操作ボタン１０１を、前記「機器識別手段」が識別した機器の各「機器操作信号」に適合させるようになっている。
【００１３】
ユーザが、操作したい機器にリモートコントローラ１００を向けて、機器選択ボタン１０２（図２に示す）を押下すると、前記「機器識別手段」が操作しようとしている機器を識別する。すると、リモートコントローラ５００の各操作ボタン１０１が、機器の各「機器操作信号」に適合されるとともに、図３や図４に示されるように、ユーザ５００が操作をしようとしている機器Ａ６００、または機器Ｂ７００の、リモートコントローラ１００の操作ボタン１０１及び当該操作ボタン１０１の操作の内容を表した操作情報画像９１０、または操作情報画像９２０が、ヘッドマウントディスプレイ２００に表示される。このため、ユーザ５００が当該操作情報画像９１０、９２０を確認しながら、機器Ａ６００、機器Ｂ７００を操作することができる。以下、図面を示しつつ、機器遠隔操作システムの詳細について説明をする。
【００１４】
（機器遠隔操作システムのブロック図）
図５に機器遠隔操作システムのブロック図を示して、以下、当該ブロック図について説明をする。図５に示される実施形態では、「機器識別情報」を読み取る機器識別手段１５０を、リモートコントローラ１００に設けている。機器識別手段１５０には、撮像装置１５１、タグリーダ１５２が含まれる。以下、機器識別手段１５０が撮像装置１５１である場合の実施形態について説明をする。
【００１５】
図１や図２、図４、図５に示されるように、各機器６００、７００、８００には、これらの機器を識別するための記号（機器識別情報）である機器識別記号６０１、７０１、８０１が記載されている。機器識別記号６０１、７０１、８０１には、バーコードや二次元コードが含まれる。
【００１６】
撮像装置１５１は、機器識別記号６０１、７０１、８０１を撮像する。撮像装置１５１は、メージセンサー及び結像光学系を有している。イメージセンサーは、光を検出して電荷を発生させるフォトダイオード（画素）を二次元に配置したものである。イメージセンサーには、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のセンサーが含まれる。結像光学系は、単一又は複数のレンズで構成され、入光した像を、イメージセンサー上で結像させる。なお、撮像装置１５１を所謂赤外線カメラで構成し、或いは、発光装置を設けると、暗い場所であっても、機器識別記号６０１、７０１、８０１を、確実に撮像することができる。
【００１７】
ユーザが、リモートコントローラ１００の撮像装置１５１を、機器識別記号６０１に近づけて、機器選択ボタン１０２を押下すると、撮像装置１５１が、機器識別記号６０１を撮像することにより、リモートコントローラ１００は、機器Ａ６００の「機器識別記号」を取得する（図５の（１））。
【００１８】
リモートコントローラ１００は、取得した「機器識別記号」により、ユーザが操作しようとしている機器が機器Ａ６００であることを認識する。リモートコントローラ１００の赤外線発光部１２０は、機器Ａ６００の赤外線受発光部に、「リモートコントローラ情報要求信号」を出力する（図５の（２））。
【００１９】
「リモートコントローラ情報要求信号」が入力された機器Ａ６００は、リモートコントローラ１００の赤外線受光部１１０に、「リモートコントローラ情報」を出力する（図５の（３））。
【００２０】
「リモートコントローラ情報」を取得したリモートコントローラ１００は、各操作ボタン１０１を、機器Ａ６００の各「機器操作信号」に適合させるとともに、「リモートコントローラ情報」を制御部５０に出力する（図５の（４））。
【００２１】
「リモートコントローラ情報」を取得した制御部５０は、「リモートコントローラ情報」に基づいて、操作情報画像９１０を生成し、ヘッドマウントディスプレイ２００に出力する（図５の（５））。操作情報画像９１０を取得したヘッドマウントディスプレイ２００は操作情報画像９１０を表示する（図３の状態）。
【００２２】
ユーザが、リモートコントローラ１００の操作ボタン１０１を押下すると、赤外線発光部１２０は、「機器操作信号」を機器Ａ６００の赤外線受発光部６０５に出力する。このようにして、ユーザは、操作情報画像９１０を見ながら、機器Ａ６００を操作することができる。
【００２３】
上述した機器Ａ６００を選択して操作する作業と同様に、ユーザは、撮像装置１５１を機器Ｂ７００や機器Ｃ８００の機器識別記号７０１、８０１に近づけて撮像することにより、機器Ｂ７００や機器Ｃ８００を、単一のリモートコントローラ１００で操作することができる。
【００２４】
なお、本実施形態では、制御部５０はリモートコントローラ１００に取り付けられている。
【００２５】
（制御部５０のブロック図）
図６に制御部５０のブロック図を示して、以下、制御部５０について説明する。制御部５０は、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、不揮発性メモリー１４、インターフェース２１、撮像装置コントローラ３１、撮像装置ＶＲＡＭ３２、ヘッドマウントディスプレイコントローラ４１、画像生成部ＶＲＡＭ４２から構成されている。ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、不揮発性メモリー１４、インターフェース２１、撮像装置コントローラ３１、撮像装置ＶＲＡＭ３２、ヘッドマウントディスプレイコントローラ４１は、相互にバス４５で接続されている。
【００２６】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略）１１は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略）１２、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙの略）１３と協動して、各種演算、処理を行うものである。
【００２７】
ＲＡＭ１２は、ＣＰＵ１１で処理されるプログラムや、ＣＰＵ１１が処理するデータを、そのアドレス空間に一時的に保存するものである。
【００２８】
ＲＯＭ１３には、制御部５０を制御する各種プログラムやパラメータが保存されている。当該各種プログラムが、ＣＰＵ１１で処理されることにより、各種機能を実現している。ＲＯＭ１３には、機器識別情報判別手段１３ａ、適合手段１３ｂ、操作ボタン操作検知手段１３ｃ、操作情報画像生成手段１３ｄ、発光コード発光手段１３ｅが保存されている。なお、不揮発性メモリー１４に、これらプログラムやデータを保存することにしても差し支えない。
【００２９】
機器識別情報判別手段１３ａは、撮像装置１５１が撮像した、「機器識別記号」に基づいて、ユーザが操作しようとしている機器を判別する。
【００３０】
適合手段１３ｂは、リモートコントローラ１００の各操作ボタン１０１を、機器識別情報判別手段１３ａが識別した機器の各「機器操作信号」に適合させる。
【００３１】
操作ボタン操作検知手段１３ｃは、ユーザが、操作ボタン１０１を半押し、若しくは、操作ボタン１０１に触れる、又は操作ボタン１０１を全押し（押下）の操作を検知する手段である。
【００３２】
操作情報画像生成手段１３ｄは、ヘッドマウントディスプレイ２００で表示する「操作情報画像」を生成する命令を、ヘッドマウントディスプレイコントローラ４１に出力する。
【００３３】
発光コード発光手段１３ｅは、操作ボタン１０１が押下された信号に基づき、当該操作ボタン１０１の対応する「機器操作信号」である「発光コード」を、不揮発性メモリー１４から読み出し、当該「発光コード」を、赤外線発光部１２０で赤外光として発光させる処理を行う。
【００３４】
なお、機器識別情報判別手段１３ａ、適合手段１３ｂ、操作ボタン操作検知手段１３ｃ、操作情報画像生成手段１３ｄ、発光コード発光手段１３ｅを、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）として構成することとしても差し支えない。
【００３５】
不揮発性メモリー１４は、リモートコントローラ１００の各種設定等のデータが保存されるようになっている。また、不揮発性メモリー１４には、機器識別データ１４ａ、発光コード１４ｂが保存されている。機器識別データ１４ａは、機器識別手段１５０が読み取った「機器識別情報」から、機器を識別するためのデータである。発光コード１４ｂは、図９に示されるように、リモートコントローラ１００の各操作ボタン１０１に対応する数字の羅列であり、機器Ａ６００、機器Ｂ７００及び機器Ｃ８００を操作するための「機器操作信号」である。
【００３６】
インターフェース２１は、信号の物理的、論理的な形式を変換する。インターフェース２１は、リモートコントローラ１００の操作ボタン１０１、機器選択ボタン１０２、電源ボタン１０５、赤外線受光部１１０、赤外線発光部１２０と接続している。操作ボタン１０１、機器選択ボタン１０２、電源ボタン１０５が押下されると、これらボタンに応じた信号にインターフェース２１で変換され、バス４５に出力されるようになっている。なお、機器選択ボタン１０２は、２段階スイッチとなっていて、ユーザが機器選択ボタン１０２を半押ししたことを検知することができるようになっている。或いは、機器選択ボタン１０２は、静電気センサーを備えていて、ユーザが機器選択ボタン１０２に触れたことを検出できるようになっている。
【００３７】
撮像装置コントローラ３１は、撮像装置１５１、撮像装置ＶＲＡＭ３２、バス４５と接続している。撮像装置コントローラ３１は、撮像装置１５１の各フォトダイオードが発生させた電荷を、ＲＧＢそれぞれの色について階調表現して「撮像画像」を生成し、撮像装置ＶＲＡＭ３２に保存する。
【００３８】
ヘッドマウントディスプレイコントローラ４１は、ヘッドマウントディスプレイ２００と通信する。図１に示される実施形態では、ヘッドマウントディスプレイコントローラ４１とヘッドマウントディスプレイ２００は、無線で通信しているが、有線で通信することにしても差し支えない。ヘッドマウントディスプレイコントローラ４１は、所謂ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を有し、操作情報画像生成手段１３ｄの命令を受けて、ピクセルデータである「操作情報画像」を生成し、画像生成部ＶＲＡＭ４２に保存するとともに、画像生成部ＶＲＡＭ４２に保存された「操作情報画像」を「画像信号」としてヘッドマウントディスプレイ２００に出力する。更に、ヘッドマウントディスプレイコントローラ４１は、ヘッドマウントディスプレイ２００に、「制御信号」を出力する。「制御信号」には、ヘッドマウントディスプレイ２００の電源の投入・遮断、画像位置の調整等の制御信号が含まれる。
【００３９】
ヘッドマウントディスプレイ２００は、図１に示されるように、ユーザの頭部に装着される頭部装着部２１０と、この頭部装着部２１０に取り付けられ、ユーザに視認させる画像を生成する画像生成部２２０とから構成されている。画像生成部２２０は、ヘッドマウントディスプレイコントローラ４０が出力する「画像信号」に基づいて「操作情報画像」を生成する。画像生成部２２０は、ＬＣＤを用いたものや、強度が画像に応じて変調されたレーザ光を２次元に走査した走査画像光をユーザの眼球に直接照射する構造のものが含まれる。走査画像光をユーザの眼球に直接照射する構造の画像生成部２２０でヘッドマウントディスプレイ２００を構成すると、ユーザが、画像生成部２２０が生成する画像を視認しつつ、外界を見ることができる（所謂シースルー型のヘッドマウントディスプレイ）ので、本発明には好ましい。
【００４０】
以上説明した実施形態では、撮像装置１５１が機器識別記号６０１、７０１、８０１を撮像して、ユーザが操作しようとしている機器を識別することにしているが、撮像装置１５１が、ユーザが操作しようとしている機器Ａ６００、機器Ｂ７００、機器Ｃ８００自体を撮像し、色彩や形状等の特徴点を抽出して、当該特徴点を、予め不揮発性メモリー１４に保存された各機器の特徴点データと照合し、所定の閾値を用いて判別し、ユーザが操作しようとしている機器を識別する構成にしても差し支えない。或いは、リモートコントローラ１００自体に、ユーザが操作しようとしている機器を識別するための機器識別ボタンを設け、ユーザが当該機器識別ボタンを操作することにより、ユーザが操作しようとしている機器を識別する構成にしても差し支えない。
【００４１】
図６に示した実施形態では、制御部５０をリモートコントローラ１００側に取り付けているが、制御部５０をヘッドマウントディスプレイ２００側に取り付けても差し支えない。
【００４２】
また、図７に示されるように、「機器識別手段」をヘッドマウントディスプレイ２００側に取り付ける構成であっても差し支えない。
【００４３】
図５や図７に示される実施形態では、リモートコントローラ１００が、「リモートコントローラ情報」を、操作をしようとしている機器から取得しているが、前記「リモートコントローラ情報」を、予め、不揮発性メモリー１４に保存した構成であっても差し支えない。
【００４４】
（本発明のフロー）
図８に本発明のフロー図を示して、以下、図５に示される実施形態について、本発明のフローの説明をする。ユーザが、電源ボタン１０５を押下することにより、リモートコントローラ１００に電源が投入されると、Ｓ１２「初期化の処理」に進む。Ｓ１２の処理において、ＣＰＵ１１は、ＲＡＭ１２の記憶領域をクリアにする等の初期化処理を行う。Ｓ１２の処理が終了すると、Ｓ１３「装置選択？」の判断処理に進む。
【００４５】
Ｓ１３「装置選択？」の判断処理において、機器識別情報判別手段１３ａは、撮像装置コントローラ３１が、「撮像データ」（機器識別情報）が生成されたか否かを判断する。ユーザが、機器選択ボタン１０２を押下することにより、撮像装置１５１が機器Ａ６００の機器識別記号６０１を撮像し、機器識別情報判別手段１３ａが、「撮像データ」が生成されたと判断した場合には（図５の（１））、当該「撮像データ」を撮像装置ＶＲＡＭ３２に保存し、Ｓ１４「機器識別記号判別」の処理に進む。
【００４６】
Ｓ１４「機器識別記号判別」の処理において、機器識別情報判別手段１３ａは、撮像装置ＶＲＡＭ３２に保存された「撮像データ」を読み取り、不揮発性発性メモリー１４に保存された機器識別データ１４と照合して判別し、ユーザが操作しようとしている機器を識別する。Ｓ１４の処理が終了すると、Ｓ１５「リモートコントローラ情報要求信号発信」の処理に進む。
【００４７】
Ｓ１５「リモートコントローラ情報要求信号発信」の処理において、リモートコントローラ１００の赤外線発光部１２０は、Ｓ１４の処理で識別された機器Ａ６００に、「リモートコントローラ情報要求信号」を発信する（図５の（２））。Ｓ１５の処理が終了すると、Ｓ１６「リモートコントローラ情報受信？」の判断処理に進む。
【００４８】
Ｓ１６「リモートコントローラ情報受信？」の判断処理において、適合手段１３ｂは、「リモートコントローラ情報」が機器Ａ６００から送信され、赤外線受光部１１０が当該「リモートコントローラ情報」を受信したか否かを判断する。適合手段１３ｂが、「リモートコントローラ情報」を受信したと判断した場合には（図５の（３）（４））、Ｓ１７「操作ボタン適合」の処理に進む。
【００４９】
Ｓ１７「操作ボタン適合」の処理において、適合手段１３ｂは、Ｓ１６の判断処理で受信した「リモートコントローラ情報」に基づいて、リモートコントローラ１００の各操作ボタン１０１を、Ｓ１４の処理で識別した機器Ａ６００の各機器操作信号に適合させる。Ｓ１７の処理が終了すると、Ｓ１８「操作情報画像表示」の処理に進む。
【００５０】
Ｓ１８「操作情報画像表示」の処理において、操作情報画像生成手段１３ｄは、Ｓ１６の判断処理で受信した「リモートコントローラ情報」に基づいて、「操作情報画像」を生成する命令を、ヘッドマウントディスプレイコントローラ４１に出力する。ヘッドマウントディスプレイコントローラ４１は、前記命令に基づいて、「操作情報画像」を生成し、画像生成部ＶＲＡＭ４２に保存するとともに、当該「操作情報画像」を「画像信号」として、ヘッドマウントディスプレイ２００に出力する（図５の（５））。ヘッドマウントディスプレイ２００は、図３に示されるように、操作情報画像９１０を表示する。Ｓ１８の処理が終了すると、Ｓ１９「別の装置選択？」の判断処理に進む。
【００５１】
Ｓ１９「別の装置選択？」の判断処理において、機器識別情報判別手段１３ａは、ユーザが機器選択ボタン１０２を押下することにより、別の機器を選択しようとしている否か判断する。機器選択ボタン１０２が押下された場合には、Ｓ１３の判断処理に戻る。一方で、機器選択ボタン１０２が押下されない場合には、Ｓ２０「操作ボタンを操作？」の判断処理に進む。
【００５２】
Ｓ２０「操作ボタンを操作？」の判断処理において、操作ボタン操作検知手段１３ｃは、ユーザが、操作ボタン１０１を半押し、若しくは、操作ボタン１０１に触れることにより、操作ボタン１０１を操作しようとしているか否かを判断する。操作ボタン操作検知手段１３ｃが、操作ボタン１０１が半押し状態、若しくは、操作ボタン１０１が触れられていることを検知した場合には、Ｓ２１「押下しようとしている操作ボタンを強調表示」の処理に進む。一方で、操作ボタン操作検知手段１３ｃが、操作ボタン１０１が半押し状態、若しくは、操作ボタン１０１が触れられていることを検知しない場合には、Ｓ１９の処理に戻る。
【００５３】
Ｓ２１「押下しようとしている機器選択ボタンを強調表示」の処理において、操作情報画像生成手段１３ｄは、Ｓ２０の判断処理で、半押し状態、若しくは、触れられていることを検知された操作ボタン１０１を強調表示した操作情報画像９１０を生成する命令を、ヘッドマウントディスプレイコントローラ４１に出力する。ヘッドマウントディスプレイ２００は、ユーザが半押し、若しくは、接触している操作ボタン１０１を強調表示した操作情報画像９１０を表示する。このように、ユーザが押下しようとしている操作ボタン１０１が、操作情報画像９１０上で強調表示されるので、ユーザがリモートコントローラ１００を見なくても手探りで、リモートコントローラ１００を操作することができ、特に部屋が暗く、リモートコントローラ１００を視認することができない場合に便利である。Ｓ２１の処理が終了すると、Ｓ２２「手が離れた？」の判断処理に進む。
【００５４】
Ｓ２２「手が離れた？」の判断処理において、操作ボタン操作検知手段１３ｃは、全ての操作ボタン１０１から手が離れたか否かを判断する。操作ボタン操作検知手段１３ｃが、全ての操作ボタン１０１から手が離れたと判断した場合には、Ｓ２３「一定時間以上経過？」の判断処理に進む。一方で、操作ボタン操作検知手段１３ｃが、全ての操作ボタン１０１から手が離れたと判断しない場合には、Ｓ２５「別の操作ボタンを操作？」の判断処理に進む。
【００５５】
Ｓ２３「一定時間以上経過？」の判断処理において、操作ボタン操作検知手段１３ｃは、全ての操作ボタン１０１から手が離れて一定時間以上経過したか否かを判断する。操作ボタン操作検知手段１３ｃが、全て操作ボタン１０１から手が離れて一定時間以上経過したと判断した場合には、Ｓ２４「操作情報画像表示を終了」の処理に進む。操作ボタン操作検知手段１３ｃが、全ての操作ボタン１０１から手が離れて一定時間以上経過する前に、再び、ユーザの手がある操作ボタン１０１に接触したと判断した場合には、Ｓ２５の処理に進む。
【００５６】
Ｓ２４「操作情報画像表示を終了」の処理において、操作情報画像生成手段１３ｄは、操作情報画像９１０の生成を終了する命令をヘッドマウントディスプレイコントローラ４１に出力し、ヘッドマウントディスプレイ２００での操作情報画像９１０の表示を終了させる。Ｓ２４の処理が終了すると、Ｓ１９の判断処理に戻る。
【００５７】
Ｓ２５「別の操作ボタンを操作？」の判断処理において、操作ボタン操作検知手段１３ｃは、ユーザが、Ｓ２０判断処理で認識された操作ボタン１０１と別の操作ボタン１０１を半押し、若しくは、操作ボタン１０１に触れることにより、前記別の操作ボタン１０１を操作しようとしているか否かを判断する。操作ボタン操作検知手段１３ｃが、前記別の操作ボタン１０１が半押し状態、若しくは、操作ボタン１０１が触れられていることを検知した場合には、Ｓ２６「押下しようとしている操作ボタンを強調表示」の処理に進む。一方で、操作ボタン操作検知手段１３ｃが、前記別の操作ボタン１０１が半押し状態、若しくは、操作ボタン１０１が触れられていることを検知しない場合には、Ｓ２７「操作ボタンを押下？」の判断処理に進む。
【００５８】
Ｓ２６「押下しようとしている操作ボタンを強調表示」の処理において、操作ボタン操作検知手段１３ｃは、Ｓ２５の判断処理で、ユーザが半押し、若しくは、接触していると判断した操作ボタン１０１を強調表示した操作情報画像９１０を生成する命令を、ヘッドマウントディスプレイコントローラ４１に出力する。ヘッドマウントディスプレイ２００は、前記操作情報画像９１０を表示する。Ｓ２６の処理が終了すると、Ｓ２２の判断処理に戻る。
【００５９】
Ｓ２７「操作ボタンを押下？」の判断処理において、操作ボタン操作検知手段１３ｃは、ユーザが、操作ボタン１０１を完全に押下したか否かを判断する。操作ボタン操作検知手段１３ｃが、ユーザが操作ボタン１０１を完全に押下したと判断した場合には、Ｓ２８「発光コードを発光」の処理に進む。一方で、操作ボタン操作検知手段１３ｃが、ユーザが操作ボタン１０１を完全に押下しない状態が一定時間以上経過したと判断した場合には、Ｓ２２の判断処理に戻る。
【００６０】
Ｓ２８「発光コードを発光」の処理において、発光コード発光手段1３ｅは、Ｓ２７の処理でユーザが押下した操作ボタン１０１に対応する「機器操作信号」である「発光コード」（図９の（Ｂ）に示す）を、赤外線発光部１２０で赤外光として発光させる（図５の（６））。Ｓ２８の処理が終了すると、Ｓ２９「操作ボタン押下終了？」の判断処理に進む。
【００６１】
Ｓ２９「操作ボタン押下終了？」の判断処理において、操作ボタン操作検知手段１３ｃは、操作ボタン１０１の押下が終了したか否かを判断する。ユーザが押下している操作ボタン１０１から手を離すことにより、操作ボタン操作検知手段１３ｃが、操作ボタン１０１の押下が終了したと判断した場合には、Ｓ２２の判断処理に戻る。
【００６２】
（機器識別手段としてタグリーダを用いた実施形態）
以下に、機器識別手段１５０として、タグリーダ１５２を使用した機器遠隔操作システムについて説明をする。タグリーダ１５２は、バス４５に接続している。この実施形態の場合には、図１、図３、図４に示されるように、操作する機器Ａ６００、機器Ｂ７００及び機器Ｃ８００には、「機器識別情報」が埋め込まれたＩＣタグ６０２、７０２、８０２が取り付けられている。ユーザが、タグリーダ１５２をＩＣタグ６０２、７０２、８０２に近づけると、タグリーダ１５２が、「機器識別情報」を読み取り、バス４５に引き渡されるようになっている。機器識別情報判別手段１３ａは、前記「機器識別情報」と、不揮発性メモリー１４に保存されている機器識別データ１４ａと照合して、ユーザが操作を使用としている機器を識別する。なお、ＩＣタグ６０２、７０２、８０２には、所謂パッシブタグ（タグリーダからの電波から電源を生成するＩＣタグ）とアクティブタグ（電源が供給されるＩＣタグ）の両方が含まれ、これらを読み取るタグリーダ１５２も、パッシブタグとアクティブタグに対応したものとなっている。
【００６３】
なお、本発明に用いられるリモートコントローラ１００は、図２に示されるような、物理的なボタンで構成されたリモートコントローラに限定されず、物理的なボタンの代わりに、ＬＣＤ等の画像表示部に接触検知膜を貼設した所謂タッチパネルを用いたリモートコントローラであっても差し支えない。
【００６４】
以上、現時点において、もっとも、実践的であり、かつ好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う機器遠隔操作システムもまた技術的範囲に包含されるものとして理解されなければならない。       
【図面の簡単な説明】
【００６５】
【図１】本発明の機器遠隔操作システムの概要図である。
【図２】リモートコントローラの説明図である。
【図３】エアコンディショナーを操作しようとしている場合のユーザの視界を表した図である。
【図４】テレビ受像器を操作しようとしている場合のユーザの視界を表した図である。
【図５】機器遠隔操作システムのブロック図である。
【図６】制御部のブロック図である。
【図７】機器識別手段をヘッドマウントディスプレイ側に取り付けた実施形態のブロック図である。
【図８】本発明のフロー図である。
【図９】発光コードの説明図である。
【符号の説明】
【００６６】
１１      ＣＰＵ
１２      ＲＡＭ
１３      ＲＯＭ
１３ａ    機器識別情報判別手段
１３ｂ    適合手段  
１３ｃ    操作ボタン操作検知手段
１３ｄ    操作情報画像生成手段
１３ｅ    発光コード発光手段
１４      不揮発性メモリー
１４ａ    機器識別データ
１４ｂ    発光コード
２１      インターフェース
３１      撮像装置コントローラ
３２      撮像装置ＶＲＡＭ
４１      ヘッドマウントディスプレイコントローラ
４２      画像生成部ＶＲＡＭ
４５      バス
５０      制御部
１００    リモートコントローラ
１０１    操作ボタン
１０２    機器選択ボタン
１０５    電源ボタン
１１０    赤外線受光部
１２０    赤外線発光部
１５０    機器識別手段
１５１    撮像装置
１５２    タグリーダ
２００    ヘッドマウントディスプレイ
２１０    頭部装着部
２２０    画像生成部
６００    機器Ａ（エアコンディショナー）
６０１    機器識別記号
６０２    ＩＣタグ
７００    機器Ｂ（テレビ受像器）
７０１    機器識別記号
７０２    ＩＣタグ
８００    機器Ｃ（オーディオ機器）
８０１    機器識別記号
８０２    ＩＣタグ
９１０    操作情報画像
９２０    操作情報画像
【図１】
2010130632.tif 000003
【図２】
2010130632.tif 000004
【図３】
2010130632.tif 000005
【図５】
2010130632.tif 000006
【図６】
2010130632.tif 000007
【図７】
2010130632.tif 000008
【図８】
2010130632.tif 000009
【図９】
2010130632.tif 000010
【図４】
2010130632.tif 000011