(57)【要約】【課題】複数の遠隔操作対象機器を容易に遠隔操作できる。【解決手段】眼鏡型装置１０は、外部撮影用カメラ１２、外部撮影用カメラ１２により撮影された画像に基づいて、遠隔操作対象機器１００の透かしパターン１０２に対応する透かし情報を検出する透かし情報検出部１４、透かし情報と遠隔操作対象機器１００の遠隔操作情報との対応関係を表す透かしデータベース１６と、投影用ハーフミラー２０Ｒと、透かしデータベース１６から取得した透かし情報に対応する遠隔操作情報に含まれる指令可能操作の一覧を投影用ハーフミラー２０Ｒに投影する投影部１８、利用者の視線方向を検出する視線検出部２２、利用者の眼の瞬きを検出する瞬き検出部３０、瞬きが予め定めた時間内に予め定めた回数検出された場合、指令可能操作の一覧のうち利用者の視線方向が指す指令可能操作に対応する赤外線信号を送信する赤外線信号送信部３４、が眼鏡に設けられた構成である。【選択図】図１
2016171402.tif 000002
【特許請求の範囲】
【請求項１】
外部撮影用カメラと、
前記外部撮影用カメラにより撮影された画像に基づいて、遠隔操作対象機器に設けられた透かしパターンに対応する透かし情報を検出する透かし情報検出部と、
前記透かし情報と、前記遠隔操作対象機器に対する指令可能操作及び前記指令可能操作に対応する赤外線信号の情報を含む遠隔操作情報と、の対応関係を表す透かしデータベースと、
投影用ハーフミラーと、
前記透かし情報に対応する前記遠隔操作情報を前記透かしデータベースから取得し、取得した前記遠隔操作情報に含まれる前記指令可能操作の一覧を前記投影用ハーフミラーに投影する投影部と、
利用者の視線方向を検出する視線検出部と、
利用者の眼の瞬きを検出する瞬き検出部と、
前記瞬き検出部により前記瞬きが予め定めた時間内に予め定めた回数検出された場合、前記投影用ハーフミラーに投影された前記指令可能操作の一覧のうち前記視線検出部により検出された前記視線方向が指す前記指令可能操作に対応する操作信号を送信する操作信号送信部と、
が眼鏡に設けられた
眼鏡型装置。
【請求項２】
前記操作信号送信部は、赤外線信号を送信する赤外線信号送信部であり、前記赤外線信号送信部から送信される赤外線信号が前記遠隔操作対象機器に向かうように前記赤外線信号送信部の向きを制御する方向制御部
を備えた請求項１記載の眼鏡型装置。
【請求項３】
前記操作信号送信部は、電磁波信号を送信する電磁波信号送信部である
請求項１記載の眼鏡型装置。
【請求項４】
前記遠隔操作対象機器から送信された赤外線を受信するための赤外線受信部
を更に備えた請求項１〜３の何れか１項に記載の眼鏡型装置。
【請求項５】
前記視線検出部は、利用者の眼球に赤外線を照射する赤外線ランプと、前記眼球からの反射光を撮影する眼球撮影用カメラと、前記眼球撮影用カメラにより撮影された前記眼球の反射光の撮影画像に基づいて、前記利用者の視線方向を演算する視線検出用演算部と、
を備えた請求項１〜４の何れか１項に記載の眼鏡型装置。
【請求項６】
前記瞬き検出部は、利用者の眼球に赤外線を照射する赤外線ランプと、前記眼球からの反射光を撮影する眼球撮影用カメラと、前記眼球撮影用カメラにより撮影された前記眼球の反射光の撮影画像に基づいて、前記利用者が瞬きしたか否かを演算する瞬き検出用演算部と、
を備えた請求項１〜４の何れか１項に記載の眼鏡型装置。
【請求項７】
前記視線検出部は、前記利用者の両眼の視線方向を検出し、検出した両眼の視線方向に基づいて判定した利き眼の視線方向を採用する
請求項１〜６の何れか１項に記載の眼鏡型装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、眼鏡型装置に係り、特に、遠隔操作対象機器を遠隔操作する眼鏡型装置である。
【背景技術】
【０００２】
例えばテレビ等の遠隔操作対象機器を操作するためには、赤外線リモートコントローラ（赤外線リモコン）を用いることが一般的である。また、特許文献１においては，有線リモートコントローラを用いているが、これも一般的である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−６４７８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、遠隔操作対象機器と赤外線リモコン又は有線リモートコントローラ（有線リモコン）とは１対１に対応しているため、複数の遠隔操作対象機器を操作するためには、遠隔操作対象機器の台数と同じ台数の赤外線リモコン又は有線リモコンが必要であり、煩雑であった。
【０００５】
本発明は、上記の事情に鑑みてなされたもので、複数の遠隔操作対象機器を容易に遠隔操作することができる眼鏡型装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の眼鏡型装置は、外部撮影用カメラと、前記外部撮影用カメラにより撮影された画像に基づいて、遠隔操作対象機器に設けられた透かしパターンに対応する透かし情報を検出する透かし情報検出部と、前記透かし情報と、前記遠隔操作対象機器に対する指令可能操作及び前記指令可能操作に対応する赤外線信号の情報を含む遠隔操作情報と、の対応関係を表す透かしデータベースと、投影用ハーフミラーと、前記透かし情報に対応する前記遠隔操作情報を前記透かしデータベースから取得し、取得した前記遠隔操作情報に含まれる前記指令可能操作の一覧を前記投影用ハーフミラーに投影する投影部と、利用者の視線方向を検出する視線検出部と、利用者の眼の瞬きを検出する瞬き検出部と、前記瞬き検出部により前記瞬きが予め定めた時間内に予め定めた回数検出された場合、前記投影用ハーフミラーに投影された前記指令可能操作の一覧のうち前記視線検出部により検出された前記視線方向が指す前記指令可能操作に対応する操作信号を送信する操作信号送信部と、が眼鏡に設けられた構成である。
【０００７】
また、前記操作信号送信部は、赤外線信号を送信する赤外線信号送信部であり、前記赤外線信号送信部から送信される赤外線信号が前記遠隔操作対象機器に向かうように前記赤外線信号送信部の向きを制御する方向制御部を備えてもよい。
【０００８】
また、前記操作信号送信部は、電磁波信号を送信する電磁波信号送信部である構成としてもよい。
【０００９】
また、前記遠隔操作対象機器から送信された赤外線を受信するための赤外線受信部を更に備えた構成としてもよい。
【００１０】
また、前記視線検出部は、利用者の眼球に赤外線を照射する赤外線ランプと、前記眼球からの反射光を撮影する眼球撮影用カメラと、前記眼球撮影用カメラにより撮影された前記眼球の反射光の撮影画像に基づいて、前記利用者の視線方向を演算する視線検出用演算部と、を備えた構成としてもよい。
【００１１】
また、前記瞬き検出部は、利用者の眼球に赤外線を照射する赤外線ランプと、前記眼球からの反射光を撮影する眼球撮影用カメラと、前記眼球撮影用カメラにより撮影された前記眼球の反射光の撮影画像に基づいて、前記利用者が瞬きしたか否かを演算する瞬き検出用演算部と、を備えた構成としてもよい。
【００１２】
また、前記視線検出部は、前記利用者の両眼の視線方向を検出し、検出した両眼の視線方向に基づいて判定した利き眼の視線方向を採用する構成としてもよい。
【発明の効果】
【００１３】
以上説明したように、本発明の眼鏡型装置によれば、複数の遠隔操作対象機器を容易に遠隔操作することができる、という効果が得られる。
【図面の簡単な説明】
【００１４】
【図１】眼鏡型装置の平面図である。
【図２】眼鏡型装置の側面図である。
【図３】眼鏡型装置の機能的な構成例を示すブロック図である。
【図４】透かしパターンの一例を示す図である。
【図５】遠隔操作処理ルーチンを示すフローチャートである。
【図６】透かし情報検出処理のフローチャートである。
【図７】操作表示及び決定のフローチャートである。
【図８】瞬き検出処理のフローチャートである。
【図９】視線方向の検出について説明するための図である。
【図１０】透かしデータベースの一例を示す図である。
【図１１】透かしデータベースの階層構造について説明するための図である。
【図１２】指令可能操作の一覧を示す図である。
【図１３】指令可能操作の一覧を示す図である。
【図１４】子項目の指令可能操作の一覧を示す図である。
【図１５】孫項目の指令可能操作の一覧を示す図である。
【図１６】赤外線の出射角について説明するための図である。
【図１７】キャリブレーションのフローチャートである。
【図１８】利き眼の設定について説明するための図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。
【００１６】
本実施の形態では、操作信号としての赤外線信号を受信する受信部を備え、受信した赤外線信号に応じた処理を実行する遠隔操作対象機器を、従来の赤外線リモコンを用いずに、眼鏡型装置を用いて操作する形態について説明する。
【００１７】
＜システム構成＞
【００１８】
図１には眼鏡型装置１０の平面図を、図２には眼鏡型装置１０の側面図を、図３には、眼鏡型装置１０のブロック図を示した。図１〜３に示すように、眼鏡型装置１０は、遠隔操作対象機器１００を遠隔操作するための装置である。
【００１９】
遠隔操作対象機器１００には、固有の透かし情報が埋め込まれた透かしパターン（電子透かし）１０２が設けられている。透かしパターン１０２は、例えば遠隔操作対象機器１００に塗装又は貼り付けてられている。透かしパターン１０２は、例えば図４に示すように、四辺形の枠の中に描かれた２次元の斜め市松模様状である（下記参考文献１の図３４も参照）。
【００２０】
（参考文献１）  特許第４２７９８３９号公報
【００２１】
なお、図４に示す透かしパターン１０２の模様のマス目の数は一例である。例えば透かしパターン１０２の黒色部分を灰色半透明の塗料を用いて遠隔操作対象機器１００に塗装する、または、透かしパターン１０２の黒色部分を灰色半透明とし、白色部分を透明とした半透明シールを作製して遠隔操作対象機器に１００に貼り付けておく。遠隔操作対象機器１００が、例えば天井灯の場合は天井灯を覆うシェードに、ホテルのドアの場合はドアの取っ手付近に、コインロッカーの場合はロッカーの扉に、列車指定席の場合は背もたれに、透かしパターン１０２を塗装または貼り付けておく。
【００２２】
図１〜３に示すように、眼鏡型装置１０は、眼鏡レンズ１１Ｌ、１１Ｒを備えた眼鏡Ｇに、外部撮影用カメラ１２、透かし情報検出部１４、透かしデータベース１６、投影部１８、投影用ハーフミラー２０Ｌ、２０Ｒ、視線検出部２２、瞬き検出部３０、赤外線信号送信部３４、及び方向制御部３６が設けられた構成である。各部には、動作用電池３８から電力が供給される。なお、透かし情報検出部１４、透かしデータベース１６、投影部１８、視線検出部２２、瞬き検出部３０、及び方向制御部３６は、制御部４０を構成する。
【００２３】
外部撮影用カメラ１２は、眼鏡型装置１０を装着した利用者の視界とほぼ同じ範囲を撮影する。撮影は常時行う。
【００２４】
透かし情報検出部１４は、外部撮影用カメラ１２により撮影された画像に基づいて、遠隔操作対象機器１００に設けられた透かしパターン１０２に対応する透かし情報を検出する。
【００２５】
透かしデータベース１６は、透かし情報検出部１４により検出された透かし情報と、遠隔操作対象機器１００に対する指令可能操作及び前記指令可能操作に対応する赤外線信号の情報を含む遠隔操作情報と、の対応関係を表すデータベースを記憶する。透かしデータベース１６の詳細については後述する。
【００２６】
投影部１８は、透かし情報検出部１４により検出された透かし情報に対応する遠隔操作情報を透かしデータベース１６から取得し、取得した遠隔操作情報に含まれる指令可能操作の一覧を本実施形態では一例として右眼用の投影用ハーフミラー２０Ｒに投影する。
【００２７】
視線検出部２２は、利用者の視線方向を検出する。視線方向の検出は常時行われる。視線検出部２２は、赤外線ランプ２４、眼球撮影用カメラ２６、及び視線検出用演算部２８を含む。赤外線ランプ２４は、本実施形態では一例として右眼の眼球に向けて赤外線を照射する。眼球撮影用カメラ２６は、右眼の眼球からの反射光を撮影する。視線検出用演算部２８は、眼球撮影用カメラ２６により撮影された右眼の眼球の反射光の撮影画像に基づいて、利用者の視線方向を演算する。
【００２８】
瞬き検出部３０は、利用者の眼の瞬きを検出する。瞬きの検出は常時行われる。瞬き検出部３０は、赤外線ランプ２４、眼球撮影用カメラ２６、及び瞬き検出用演算部３２を含む。瞬き検出用演算部３２は、眼球撮影用カメラ２６により撮影された右眼の眼球の撮影画像に基づいて、利用者が瞬きしたか否かを演算する。
【００２９】
操作信号送信部としての赤外線信号送信部３４は、瞬き検出部３０により瞬きが予め定めた時間内に予め定めた回数検出された場合、投影用ハーフミラー２０Ｒに表示された指令可能操作の一覧のうち視線検出部２２により検出された視線方向が指す指令可能操作に対応する赤外線信号を送信する。
【００３０】
方向制御部３６は、赤外線信号送信部３４から送信される赤外線信号が遠隔操作対象機器１００に向かうように赤外線信号送信部３４の向きを制御する。方向制御部３６は、例えばモーター等を備え、当該モーターを駆動することで赤外線信号送信部３４の向きを制御する。
【００３１】
眼鏡レンズ１１Ｌ、１１Ｒは、利用者が近視、遠視、乱視、老眼の場合は、これらを矯正する眼鏡レンズであり、利用者が近視、遠視、乱視、老眼でない場合は、これらを矯正しない眼鏡レンズでもよい。また、既存の眼鏡を利用者が装着した上に重ねて眼鏡型装置１０を装着できるように構成し、眼鏡レンズを省略してもよい。
【００３２】
制御部４０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）と、後述する遠隔操作処理ルーチンを実行するための遠隔操作処理プログラム及び透かしデータベース１６を記憶したＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）と、を備えたコンピュータにより実現される。なお、ＲＯＭに代えて不揮発性メモリを用いてもよい。
【００３３】
＜眼鏡型装置の作用＞
【００３４】
次に、図５〜８を参照して、本実施の形態に係る眼鏡型装置１０において実行される遠隔操作処理の処理ルーチンについて説明する。利用者は、眼鏡型装置１０の電源をオンし、眼鏡型装置１０を装着する。図５に示す処理ルーチンは、眼鏡型装置１０の電源をオンした場合に実行され、電源がオンされている間は繰り返し実行される。
【００３５】
ステップＳ１００では、視線検出部２２が、利用者の視線方向を検出する。具体的には、視線検出用演算部２８が、本実施形態では一例として右の眼球に向けて赤外光を照射するように、赤外線ランプ２４に指示する。これにより、図９に示すように、赤外線ランプ２４から出力された赤外光５０が、利用者の右の眼球５２の表面に照射される。また、視線検出用演算部２８が、右の眼球５２を撮影するように、眼球撮影用カメラ２６に指示する。眼球撮影用カメラ２６は、右の眼球を撮影した撮影画像を視線検出用演算部２８に出力する。
【００３６】
図９に示すように、眼球撮影用カメラ２６の撮像面２６Ａには、赤外光５０が利用者の右の眼球５２の表面で反射した角膜反射像５４及び瞳孔像５６が結像される。角膜反射像５４は、周りに比べて明るい点状の像となる。また、瞳孔像５６は、周りに比べて暗い円形の像となる。
【００３７】
視線検出用演算部２８は、撮影画像における角膜反射像５４の位置、撮影画像における瞳孔像５６の位置、赤外線ランプ２４の位置、及び眼球撮影用カメラ２６の位置に基づいて、利用者の視線がどの方向へ伸びているか、すなわち視線方向５８を演算する。なお、瞳孔像５６を精度良く検出するために、眼球５２の表面における赤外光５０の屈折を補正してもよい。この補正については、例えば下記参考文献２に記載された技術を用いることができる。
【００３８】
（参考文献２）  大野健彦他、「眼球形状モデルに基づく視線測定システム」、情報処理学会研究報告2001-HI-93, pp47-54, 2001.
【００３９】
ステップＳ１０２では、透かし情報検出部１４が、遠隔操作対象機器１００に設けられた透かしパターン１０２の透かし情報を検出する。具体的には、透かし情報検出部１４が、図６に示す透かし情報検出処理を実行する。
【００４０】
図６のステップＳ２００では、透かし情報検出部１４が、視線検出用演算部２８から利用者の視線方向を取得する。
【００４１】
ステップＳ２０２では、透かし情報検出部１４が、外部撮影用カメラ１２で撮影された撮影画像から透かしパターン１０２を検出する検出範囲を設定する。
【００４２】
具体的には、一例として視線方向が指す位置を中心として１辺がＭピクセルの正方形領域を透かしパターン１０２の検出範囲として設定する。Ｍは、透かし情報を検出するのに最低限必要な画像の大きさに設定され、一例として１００に設定される。
【００４３】
ステップＳ２０４では、透かし情報検出部１４が、透かし情報を検出できたか否かを判定し、透かし情報を検出できた場合はステップＳ２１２へ移行し、透かし情報を検出できなかった場合はステップＳ２０６へ移行する。
【００４４】
以下、透かし情報の検出方法について説明する。透かし情報検出部１４は、まず透かしパターン１０２の外周である四辺形を検出する。この検出方法については、下記参考文献３に記載された方法を用いることができる。
【００４５】
（参考文献３）  特許第４０２００９３号公報
【００４６】
次に、検出した四辺形を正方形に正規化し、正規化した透かしパターンから透かし情報を検出する。透かしパターンから透かし情報を検出する方法については、上記参考文献２に記載の方法を用いることができる。
【００４７】
透かし情報は、Ｎビットの数値データである。例えばＮ＝３２の場合は、２の３２乗＝約４２億個の遠隔操作対象機器を区別できる。
【００４８】
ステップＳ２０６では、透かし情報検出部１４が、透かしパターン１０２の検出範囲を拡大する。例えば、正方形の一辺を数ピクセル又は数十ピクセル程度拡大する。
【００４９】
ステップＳ２０８では、透かし情報検出部１４が、透かしパターン１０２の検出範囲が外部撮影用カメラ１２の撮影範囲を超過したか否かを判定し、透かしパターンの検出範囲が外部撮影用カメラ１２の撮影範囲を超過した場合はステップＳ２１０へ移行し、透かしパターンの検出範囲が外部撮影用カメラ１２の撮影範囲を超過していない場合は、ステップＳ２０４へ戻る。
【００５０】
ステップＳ２１０では、透かし情報の検出が不成功だったことを視線検出用演算部２８に通知する。
【００５１】
一方、ステップＳ２１２では、透かし情報の検出が成功したことを視線検出用演算部２８に通知する。
【００５２】
図５のステップＳ１０４では、視線検出用演算部２８が、透かし情報を検出できたか否か、すなわち透かし情報検出部１４から透かし情報の検出が成功したことを通知されたか否かを判定する。そして、透かし情報の検出が成功したことを透かし情報検出部１４から通知された場合はステップＳ１０６へ移行し、透かし情報の検出が不成功だったことを透かし情報検出部１４から通知された場合は、ステップＳ１０２へ戻る。
【００５３】
ステップＳ１０６では、投影部１８が、透かしデータベース１６から、ステップＳ１０２で検出した透かし情報に対応する遠隔操作情報を取得する。
【００５４】
図１０に示すように、透かしデータベース１６は、透かし情報と遠隔操作情報との対応関係を表すデータベースである。遠隔操作情報は、遠隔操作対象機器の操作に必要な情報であり、遠隔操作対象機器の種別、遠隔操作対象機器が受信可能な赤外線形式、遠隔操作対象機器の位置（経度、緯度、高度）、遠隔操作対象機器に対する指令可能操作及び当該指令可能操作に対応する赤外線信号の情報を含む。なお、図１０では省略しているが、遠隔操作対象機器に対する指令可能操作及び当該指令可能操作に対応する赤外線信号の情報は、階層構造となっている。すなわち、図１１に示すように、例えば親項目である「操作１」に対して子項目の「操作１１」、「操作１２」が存在し、これらの子項目に対する子項目、すなわち孫項目の「操作１１１」、「操作１１２」、「操作１２１」、「操作１２２」が存在する場合は、親項目から孫項目までの指令可能操作及び赤外線信号の情報が関連付けられて格納されている。
【００５５】
ステップＳ１０８では、投影部１８が、図７に示す操作表示及び決定処理を実行する。この処理では、投影用ハーフミラー２０Ｒに指令可能操作の一覧が表示され、利用者に一覧の中から所望の操作を選択させる。まず、操作の流れについて説明する。
【００５６】
図１２には、投影用ハーフミラー２０Ｒに表示される指令可能操作の一覧６０を示した。図１２に示す一覧６０には、一例として「操作１」〜「操作３」の３個の選択可能な指令可能操作が表示されている。また、図１３には、一例として遠隔操作対象機器１００が天井灯の場合における指令可能操作の一覧６２を示した。この場合、天井灯の指令可能操作として「点灯」６２Ａ及び「消灯」６２Ｂが選択可能である。また、図１３の例では、投影部１８は、指令可能操作の一覧６２に加えて、その他の操作として「取り消し」６４を投影用ハーフミラー２０Ｒに表示させている。この場合、詳細は後述するが、「取り消し」６４が選択された場合には、投影用ハーフミラー２０Ｒに表示されている内容、すなわち指令可能操作の一覧６２及び「取り消し」６４の表示が取り消される。
【００５７】
また、図１３の状態で「点灯」６２Ａが選択されると、例えば図１４に示すように、選択された親項目である「点灯」６２Ａに対応する子項目の一覧６８と、前の画面に戻るための操作である「戻る」７０が投影用ハーフミラー２０Ｒに表示される。子項目の一覧６８は、指令可能操作として「全点灯」６８Ａ及び「半点灯」６８Ｂを含む。ここで、「戻る」７０が選択された場合は、表示が１つ前の図１３の表示に戻る。
【００５８】
一方、例えば図１４の状態で「全点灯」６８Ａが選択されると、例えば図１５に示すように、選択された子項目の指令可能操作である「全点灯」６８Ａに対応する子項目、すなわち孫項目の一覧７２と、前の画面に戻るための操作である「戻る」７４が投影用ハーフミラー２０Ｒに表示される。孫項目の一覧７２は、指令可能操作として「昼光色」７２Ａ及び「白色」７２Ｂを含む。ここで、「戻る」７４が選択された場合は、表示が１つ前の図１４の表示に戻る。なお、図１５の例では、親項目から孫項目までを全て表示すると投影用ハーフミラー２０Ｒの表示範囲を超えてしまうため、選択された親項目の上に選択された子項目を重ね、選択された子項目の上に孫項目を重ねて表示している。
【００５９】
以下、具体的な処理の流れについて説明する。
【００６０】
図７のステップＳ３００では、投影部１８が、図５のステップＳ１０６で取得した遠隔操作情報に含まれる指令可能操作の一覧を投影用ハーフミラー２０Ｒに投影させる。
【００６１】
ステップＳ３０２では、瞬き検出用演算部３２が、図８に示す瞬き検出処理を実行する。図８に示す瞬き検出処理では、利用者が無意識に行った瞬きと、意図的に行った瞬き、すなわち遠隔操作対象機器１００を操作する意図を持って行った瞬きと、を区別するため、瞬きが２回連続して行われた場合のみを意図的な瞬きと判定する。瞬き検出用演算部３２は、十分に短い時間、本実施形態では一例として１秒以内に瞬きが２回行われた場合に、意図的な瞬きが行われたと判定する。利用者は、投影用ハーフミラー２０Ｒに表示された操作のうち、所望の操作が表示されている領域に視線を合わせて１秒以内に瞬きを２回行うことにより、視線方向が指し示す操作を選択することができる。
【００６２】
具体的には、図８に示すステップＳ４００では、瞬き検出用演算部３２が、眼球の撮影画像を取得する。具体的には、赤外線を右眼の眼球に照射するように赤外線ランプ２４を制御し、眼球からの反射光を撮影するように眼球撮影用カメラ２６を制御する。眼球撮影用カメラ２６は、眼球の撮影画像を瞬き検出用演算部３２に出力する。利用者の瞼が開いている場合は、眼球撮影用カメラ２６の撮像面２６Ａには、赤外光５０が利用者の右の眼球５２の表面で反射した角膜反射像５４及び瞳孔像５６が結像されるため、眼球の撮影画像から角膜反射像５４が消失している場合は、瞼を閉じたと判定できる。
【００６３】
従って、ステップＳ４０２では、瞬き検出用演算部３２が、眼球の撮影画像から角膜反射像５４が消失したか否か、すなわち利用者が瞼を閉じたか否かを判定する。
【００６４】
ステップＳ４０４では、瞬き検出用演算部３２が、内部のタイマーを１秒に設定して起動させる。
【００６５】
ステップＳ４０６では、瞬き検出用演算部３２が、ステップＳ４００と同様に眼球の撮影画像を取得する。
【００６６】
ステップＳ４０８では、瞬き検出用演算部３２が、１秒以内に、眼球の撮影画像から再度角膜反射像が消失したか否か、すなわち１秒以内に利用者が瞼を２回閉じたか否かを判定する。そして、１秒以内に利用者が瞼を２回閉じていない場合はステップＳ４１０へ移行する。
【００６７】
ステップＳ４１０では、タイマーを起動してから１秒経過したか否かを判定し、タイマーを起動してから１秒経過した場合はステップＳ４００へ移行し、タイマーを起動してから１秒経過していない場合はステップＳ４０６へ移行する。
【００６８】
一方、１秒以内に利用者が瞼を２回閉じた場合は本ルーチンを終了する。このように、１秒以内に利用者が瞼を２回閉じた場合に、投影用ハーフミラー２０Ｒに表示された操作のうち利用者の視線が指し示していた操作が、利用者が選択した操作となる。
【００６９】
図７のステップＳ３０４では、瞬き検出部３０が、利用者が選択した操作が「取り消し」であったか否かを判定し、利用者が選択した操作が「取り消し」の操作だった場合はステップＳ３０６へ移行し、利用者が選択した操作が「取り消し」以外の操作だった場合はステップＳ３０８へ移行する。ここで、例えば図１２に示すように、投影用ハーフミラー２０Ｒに指令可能操作の一覧６０のみ表示されており、その他の項目として「取り消し」の項目を表示させていない場合には、視線方向が指令可能操作の一覧６０以外の領域を指し示した状態で瞬きを１秒以内に２回行った場合に、「取り消し」の操作を選択したこととする。また、例えば図１３に示すように、指令可能操作の一覧６２の他に「取り消し」６４が投影用ハーフミラー２０Ｒに表示されている場合は、視線方向が「取り消し」６４を指し示している状態、又は、視線方向が指令可能操作の一覧６２及び「取り消し」６４以外の領域を指し示した状態で、瞬きを１秒以内に２回行った場合に「取り消し」の操作を選択したこととする。
【００７０】
ステップＳ３０６では、投影部１８が、投影用ハーフミラー２０Ｒへの表示を取り消す。
【００７１】
一方、ステップＳ３０８では、瞬き検出部３０が、利用者が選択した操作が「戻る」であったか否かを判定し、利用者が選択した操作が「戻る」の操作だった場合はステップＳ３００へ移行する。例えば図１４の状態で「戻る」７０が選択された場合は、１つ前の図１３の状態に戻る。また、図１５の状態で「戻る」７４が選択された場合は、１つ前の図１４の状態に戻る。
【００７２】
一方、利用者が選択した操作が「戻る」の操作ではなかった場合、すなわち指令可能操作の一覧から何らかの操作が選択された場合は、ステップ３１０へ移行する。
【００７３】
ステップＳ３１０では、瞬き検出部３０が、選択された操作に対応する遠隔操作情報を透かしデータベース１６から取得し、取得した遠隔操作情報に基づいて子項目が有るか否かを判定する。そして、子項目が有る場合はステップＳ３００へ移行して子項目を投影用ハーフミラー２０Ｒに表示させる。例えば図１３の状態で「点灯」６２Ａが選択された場合は、図１４に示すように子項目の指令可能操作の一覧６８及び「戻る」６４を投影用ハーフミラー２０Ｒに表示させる。
【００７４】
一方、子項目が無いと判定された場合、すなわち利用者が選択した操作が確定した場合は、ステップＳ３１２へ移行する。
【００７５】
ステップＳ３１２では、瞬き検出部３０が、確定した操作を赤外線信号送信部３４に通知して本ルーチンを終了する。具体的には、確定した操作に対応する赤外線信号の情報を透かしデータベース１６から取得して赤外線信号送信部３４に通知する。
【００７６】
図５のステップＳ１１０では、瞬き検出部３０が、利用者が選択した操作が「取り消し」であったか否かを判定し、利用者が選択した操作が「取り消し」であった場合はステップＳ１００へ戻り、利用者が選択した操作が「取り消し」でなかった場合、すなわち指令可能操作の一覧から何らかの操作が選択された場合は、ステップＳ１１２へ移行する。
【００７７】
ステップＳ１１２では、方向制御部３６が、赤外線信号送信部３４から送信される赤外線信号が遠隔操作対象機器に到達できるように、赤外線信号送信部３４の向きを制御する。具体的には、赤外線信号送信部３４から送信される赤外線信号の送信方向が、遠隔操作対象機器１００に向かうように、例えば、図５のステップＳ１００で検出した視線方向と平行となるように、赤外線信号送信部３４の向きを制御する。なお、図１６に示すように、赤外線信号送信部３４の出射角をθとした場合に、出射角θが１８０度以上ある場合は、赤外線信号送信部３４の向きによらず遠隔操作対象機器１００へ赤外線信号が到達する。従って、この場合は方向制御部３６を省略し、ステップＳ１１２の処理を省略してもよい。
【００７８】
ステップＳ１１４では、赤外線信号送信部３４が、瞬き検出部３０から通知された赤外線信号の情報に基づく赤外線信号を生成して送信する。これにより、遠隔操作対象機器１００は、赤外線信号送信部３４から送信された赤外線信号を受信すると、受信した赤外線信号に対応した処理を実行する。
【００７９】
このように、本実施形態では、眼鏡型装置１０を装着して遠隔操作対象機器１００を見て、投影用ハーフミラー２０Ｒに表示された操作から所望の操作を見て瞬きを１秒以内に２回するだけで、遠隔操作対象機器を操作できる。
【００８０】
また、本実施形態では、遠隔操作対象機器の検出に電子透かし技術を用いた透かしパターンを用いているため、見た目が同じ遠隔操作対象機器が複数存在する場合でも、各々の遠隔操作対象機器を識別することができる。例えば透かしパターンを用いるのではなく、遠隔操作対象機器を撮影した撮影画像に基づいて、画像認識技術を用いて遠隔操作対象機器を識別することも考えられる。しかしながら、画像認識技術では見た目の形が同じ操作対象を区別できない。例えば、天井に同じ形の天井灯が並んで設置されている場合、画像認識技術では、天井灯が存在していることは認識できるが、複数の天井灯の何れの天井灯が遠隔操作対象機器であるかは認識できない。この問題を解決するために、利用者の視線を検出する視線検出技術を併用することも考えられるが、視線検出技術を併用して撮影画像中の１つの天井灯を遠隔操作対象機器と認識できたとしても、その天井灯の操作用の赤外線形式が何であるかまでは認識できない。天井灯の個体を識別しない限り、操作用の赤外線形式を特定することはできない。これに対して、本実施形態のように、透かしパターンを用いて遠隔操作対象機器を識別する方法であれば、各天井灯に異なる透かし情報を対応させることができるので、透かし情報と、操作用の赤外線形式等を含む遠隔操作情報と、を対応つけた透かしデータベースを予め用意しておくことにより、利用者が選択した所望の天井灯の操作用の赤外線形式を特定し、所望の天井灯を遠隔操作することができる。
【００８１】
なお、本実施形態では、右眼の視線方向を検出し、右眼用の投影用ハーフミラー２０Ｒに指令可能操作の一覧を表示する場合について説明したが、視線方向の検出を両眼に対して実行し、両眼の視線方向に基づいて判定した利き眼の視線方向を採用して遠隔操作処理を行うようにしてもよい。この場合は、視線方向検出用の赤外線ランプ２４、眼球撮影用カメラ２６、及び投影部１８を右眼用と左眼用とで２組用意し、両眼についてそれぞれ視線方向の検出を行う。人間には利き眼が存在するため、両眼の視線方向が一致しない場合がある。そこで、以下の方法で図５の処理を実行する前に利き眼を判定しておき、利き眼の視線方向のみを遠隔操作対象機器１００の操作のために利用してもよい。
【００８２】
まず、利用者が最初に眼鏡型装置１０を装着したときに、キャリブレーション用目標点を両眼の投影用ハーフミラーに投影する。利用者には両眼で目標点を注視するよう促す。目標点の位置を少しずつ移動させながら、利用者の両眼の視線方向をそれぞれ検出する。目標点の示す座標により近い視線方向の眼を利き眼と判定する。
【００８３】
上記のキャリブレーションの処理について、図１７に示すフローチャートを参照して説明する。
【００８４】
ステップＳ５００では、右眼用の投影部が、例えば図１８に示すように、眼鏡型装置１０の前方空間内の仮想的な任意の１点を目標点８０として、右眼の眼球７８Ｒの中心と目標点８０とを結ぶ直線８２Ｒと右眼用の投影用ハーフミラー２０Ｒとが交わる位置を仮想点８４Ｒとして投影用ハーフミラー２０Ｒに表示し、左眼７８Ｌの中心と目標点８０とを結ぶ直線８２Ｌと左眼用の投影用ハーフミラー２０Ｌとが交わる位置を仮想点８４Ｌとして投影用ハーフミラー２０Ｌに表示する。
【００８５】
ステップＳ５０２では、視線検出用演算部２８が、右眼の視線方向５８Ｒ及び左眼の視線方向を検出する。
【００８６】
ステップＳ５０４では、視線検出用演算部２８が、左眼の眼球７８Ｌの中心と仮想点８４Ｌとを結んだ直線８２Ｌと、ステップＳ５０２で検出した左眼の視線方向５８Ｌとのなす角をＡ、右眼の眼球７８Ｒの中心と仮想点８４Ｒとを結んだ直線８２Ｒと、右眼の視線方向５８Ｒとのなす角をＢとして、２×Ａ＜Ｂを満たすか否かを判定する。そして、２×Ａ＜Ｂを満たすと判定した場合は、ステップＳ５０４へ移行し、２×Ａ＜Ｂを満たさないと判定した場合は、ステップＳ５０８へ移行する。
【００８７】
ステップＳ５０４では、視線検出用演算部２８が、左眼を利き眼に設定する。
【００８８】
ステップＳ５０８では、Ａ＞２×Ｂを満たすか否かを判定する。そして、Ａ＞２×Ｂを満たすと判定した場合は、ステップＳ５０８へ移行する。
【００８９】
ステップＳ５０８では、視線検出用演算部２８が、右眼を利き眼に設定する。
【００９０】
一方、ステップＳ５０８でＡ＞２×Ｂを満たさないと判定した場合は、ステップＳ５００へ戻り、目標点を変えて上記と同様の処理を繰り返す。
【００９１】
このような処理を図５の処理の前に実行し、利き眼の視線方向のみを遠隔操作対象機器１００の操作のために用いればよい。
【００９２】
なお、本実施形態では、操作信号送信部として赤外線を送信する赤外線信号送信部３４を用いた場合について説明したが、赤外線信号送信部３４に代えて電磁波信号を送信する電磁波信号送信部を操作信号送信部として備えても良い。電磁波信号は赤外線と比較して指向性を有さないので、方向制御部３６を省略できる。
【００９３】
また、本実施形態では、遠隔操作対象機器が天井灯の場合について説明したが、例えばホテルの部屋の鍵を遠隔操作対象機器としてもよい。この場合、ホテルの廊下から部屋のドアを見ると、どの部屋のドアも同じ形の場合が多いので、容易に区別できない。これは画像認識技術を用いても容易に区別できない点は同じである。ドアに電子透かし技術を用いた透かしパターン１０２を塗装又はシールによって貼り付けてあれば、ドアを個別に識別できる。電子透かし技術を用いることにより、本実施形態に係る眼鏡型装置１０により自分の部屋のドアの鍵だけを開け閉めすることができる。また、自分の部屋の位置や部屋番号を失念しまっていても、眼鏡型装置１０を用いて各ドアを見るだけで自分の部屋か否かを識別できる。すなわち、ドアを見たときに指令可能操作の一覧が投影用ハーフミラーに表示されれば、そのドアが自分の部屋のものであると識別できる。
【００９４】
また、コインロッカーの鍵を遠隔操作対象機器としてもよい。コインロッカーについても、同じ大きさのコインロッカーの扉は同じ形の場合が多いので容易に区別できない。この場合も、画像認識技術を用いても容易に区別できない。コインロッカーの扉に電子透かし技術を用いた透かしパターン１０２を塗装又はシールによって貼り付けてあれば、扉を見るだけで自分の荷物が入っているコインロッカーか否かが識別できる。また、投影用ハーフミラーに表示する指令可能操作の一覧にクレジットカードでの支払いの項目を設けることにより、支払いを現金ではなくクレジットカードで行うことも可能である。この場合、コインロッカーとの通信は、眼鏡型装置１０からコインロッカーへの一方通行ではなく、相互に認証情報等の送受信が必要となるため、眼鏡型装置１０には、コインロッカーからの赤外線を受信するための赤外線受信部を設け、コインロッカーには、眼鏡型装置１０からの赤外線を受信すると共に眼鏡型装置１０に赤外線を送信する赤外線送受信部を備えた構成とする。
【００９５】
また、列車の指定席を遠隔操作対象機器としてもよい。一部の列車では、指定席車両であっても、席が他者により指定されていなければ、自由席のように自由に座れるという規則がある。指定の有無は車両の壁に小さなパネルで表示するようになっている。しかしながら、パネルが小さいので、離れたところから座席を見渡しても指定されているか否かは容易には分からない。座席の背もたれに透かしパターン１０２を貼り付けておけば、眼鏡型装置１０で透かしパターン１０２眺めるだけで、指定されているか否かが離れた場所から分かる。この場合、透かし情報と指定の有無との対応関係は動的に変化するため、前記対応関係を記憶する透かしデータベースを外部に外部データベースとして設け、眼鏡型装置１０は、その外部データベースと通信できる通信器を備える必要がある。通信器は、電磁波により通信を行う送受信器が好ましい。
【００９６】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００９７】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体、例えばＣＤ−ＲＯＭやメモリーカード等に格納して提供することも可能である。
【符号の説明】
【００９８】
１０   眼鏡型装置
１１Ｌ、１１Ｒ       眼鏡レンズ
１２   外部撮影用カメラ
１４   透かし情報検出部
１６   透かしデータベース
１８   投影部
２０Ｌ、２０Ｒ       投影用ハーフミラー
２２   視線検出部
２４   赤外線ランプ
２６   眼球撮影用カメラ
２８   視線検出用演算部
３０   瞬き検出部
３２   瞬き検出用演算部
３４   赤外線信号送信部
３６   方向制御部
３８   動作用電池
４０   制御部
１００ 遠隔操作対象機器
１０２ 透かしパターン
【図１】
2016171402.tif 000003
【図２】
2016171402.tif 000004
【図３】
2016171402.tif 000005
【図４】
2016171402.tif 000006
【図５】
2016171402.tif 000007
【図６】
2016171402.tif 000008
【図７】
2016171402.tif 000009
【図８】
2016171402.tif 000010
【図９】
2016171402.tif 000011
【図１０】
2016171402.tif 000012
【図１１】
2016171402.tif 000013
【図１２】
2016171402.tif 000014
【図１３】
2016171402.tif 000015
【図１４】
2016171402.tif 000016
【図１５】
2016171402.tif 000017
【図１６】
2016171402.tif 000018
【図１７】
2016171402.tif 000019
【図１８】
2016171402.tif 000020