(57)【要約】【課題】操作対象の機器をより簡単に遠隔から操作することができるようにする。【解決手段】ユーザＵが携帯する情報処理装置１においては、カメラ１１により撮影された画像に基づいて、ユーザＵが見ている物体が何であるのかが物体認識により認識される。情報処理装置１には物体の認識用のデータが記憶されている。また、ユーザＵが操作対象機器２１を見ていることが検出された場合、操作対象機器２１のGUIデータに基づいて、ボタンなどの操作画像がディスプレイ１２に表示される。情報処理装置１には、機器の操作に用いられる操作画像を表示するためのGUIデータが記憶されている。ユーザは、ディスプレイ１２に表示されたボタンを仮想的に押すことによって、操作対象機器２１を操作することが可能になる。本発明は、携帯型のコンピュータに適用することができる。【選択図】図１
2011209965.tif 000002
【特許請求の範囲】
【請求項１】
操作対象機器の外観の特徴を表すデータと、前記操作対象機器の操作に用いられる操作画像のデータを記憶する記憶手段と、
カメラにより撮影された画像を取得する取得手段と、
前記画像に含まれる物体を、前記記憶手段に記憶されている前記特徴量のデータに基づいて認識する認識手段と、
前記画像に含まれる物体が前記操作対象機器であると前記認識手段により認識された場合、前記記憶手段に記憶されている前記操作画像のデータに基づいて前記操作画像を表示させる表示制御手段と
を備える情報処理装置。
【請求項２】
前記表示制御手段は、前記画像に含まれる前記操作対象機器の、前記画像上の位置に対応するディスプレイの位置に、前記操作画像を表示させる
請求項１に記載の情報処理装置。
【請求項３】
前記カメラにより撮影された前記画像に含まれる前記ユーザの指の前記画像上の位置を認識する指認識手段と、
前記指認識手段により認識された前記ユーザの指の前記画像上の位置が、ディスプレイに表示された前記操作画像の位置に対応する位置である場合、前記操作画像を用いた操作を指示するコマンドを前記操作対象機器に送信する制御手段と
をさらに備える請求項１に記載の情報処理装置。
【請求項４】
前記指認識手段は、前記画像に含まれる前記ユーザの指の前記画像上の大きさをさらに認識し、
前記制御手段は、前記ユーザの指の前記画像上の位置が、前記ディスプレイに表示された前記操作画像の位置に対応する位置にあり、その位置で、前記ユーザの指の前記画像上の大きさが、直前の大きさより小さくなり再度大きくなったタイミングで、前記コマンドを送信する
請求項３に記載の情報処理装置。
【請求項５】
前記指認識手段は、前記画像に含まれる前記ユーザの指の前記画像上の大きさをさらに認識し、
前記制御手段は、前記ユーザの指の前記画像上の位置が、前記ディスプレイに表示された前記操作画像の位置に対応する位置にあり、その位置で、前記ユーザの指の前記画像上の大きさが、直前の大きさより小さくなったタイミングで、前記コマンドを送信する
請求項３に記載の情報処理装置。
【請求項６】
前記操作画像の表示に関する設定の内容を表す設定情報を記憶する設定情報記憶手段をさらに備え、
前記表示制御手段は、前記設定情報の内容に従って前記操作画像の表示を制御する
請求項１に記載の情報処理装置。
【請求項７】
操作対象機器の外観の特徴を表すデータと、前記操作対象機器の操作に用いられる操作画像のデータを記憶し、
カメラにより撮影された画像を取得し、
前記画像に含まれる物体を、記憶している前記特徴量のデータに基づいて認識し、
前記画像に含まれる物体が前記操作対象機器であると認識した場合、記憶している前記操作画像のデータに基づいて前記操作画像を表示させる
ステップを含む情報処理方法。
【請求項８】
操作対象機器の外観の特徴を表すデータと、前記操作対象機器の操作に用いられる操作画像のデータを記憶し、
カメラにより撮影された画像を取得し、
前記画像に含まれる物体を、記憶している前記特徴量のデータに基づいて認識し、
前記画像に含まれる物体が前記操作対象機器であると認識した場合、記憶している前記操作画像のデータに基づいて前記操作画像を表示させる
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、操作対象の機器をより簡単に遠隔から操作することができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
家電製品などの機器を操作しようとする場合、その機器の本体に設けられるスイッチを押したり、操作しようとする機器が照明器具であるときには壁にあるスイッチを押したりすることが通常行われる。また、機器が遠隔にあるときには、リモートコントローラを使って操作することが行われる。
【０００３】
特許文献１には、メガネ型ビューワーに操作メニューを表示させ、操作メニューに対するユーザの操作を検出して、機器を遠隔操作する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−１５３０１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
スイッチを押して操作する場合、操作者は、スイッチを押すことができる場所に移動して操作する必要がある。また、操作しようとする機器毎に、操作者はスイッチの場所を覚える必要がある。
【０００６】
リモートコントローラを使って操作する場合、位置を移動する必要はないが、操作者は、リモートコントローラを探して手にとり、そのあと、スイッチ（ボタン）を探して押す必要がある。また、リモートコントローラの形状も変わることから、操作しようとする機器毎に、操作者はリモートコントローラ上のスイッチの場所を覚える必要がある。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、操作対象の機器をより簡単に遠隔から操作することができるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の一側面の情報処理装置は、操作対象機器の外観の特徴を表すデータと、前記操作対象機器の操作に用いられる操作画像のデータを記憶する記憶手段と、カメラにより撮影された画像を取得する取得手段と、前記画像に含まれる物体を、前記記憶手段に記憶されている前記特徴量のデータに基づいて認識する認識手段と、前記画像に含まれる物体が前記操作対象機器であると前記認識手段により認識された場合、前記記憶手段に記憶されている前記操作画像のデータに基づいて前記操作画像を表示させる表示制御手段とを備える。
【０００９】
前記表示制御手段には、前記画像に含まれる前記操作対象機器の、前記画像上の位置に対応するディスプレイの位置に、前記操作画像を表示させることができる。
【００１０】
前記カメラにより撮影された前記画像に含まれる前記ユーザの指の前記画像上の位置を認識する指認識手段と、前記指認識手段により認識された前記ユーザの指の前記画像上の位置が、ディスプレイに表示された前記操作画像の位置に対応する位置である場合、前記操作画像を用いた操作を指示するコマンドを前記操作対象機器に送信する制御手段とをさらに設けることができる。
【００１１】
前記指認識手段には、前記画像に含まれる前記ユーザの指の前記画像上の大きさをさらに認識させ、前記制御手段には、前記ユーザの指の前記画像上の位置が、前記ディスプレイに表示された前記操作画像の位置に対応する位置にあり、その位置で、前記ユーザの指の前記画像上の大きさが、直前の大きさより小さくなり再度大きくなったタイミングで、前記コマンドを送信させることができる。
【００１２】
前記指認識手段には、前記画像に含まれる前記ユーザの指の前記画像上の大きさをさらに認識させ、前記制御手段には、前記ユーザの指の前記画像上の位置が、前記ディスプレイに表示された前記操作画像の位置に対応する位置にあり、その位置で、前記ユーザの指の前記画像上の大きさが、直前の大きさより小さくなったタイミングで、前記コマンドを送信させることができる。
【００１３】
前記操作画像の表示に関する設定の内容を表す設定情報を記憶する設定情報記憶手段をさらに設けることができる。この場合、前記表示制御手段には、前記設定情報の内容に従って前記操作画像の表示を制御させることができる。
【００１４】
本発明の一側面の情報処理方法は、操作対象機器の外観の特徴を表すデータと、前記操作対象機器の操作に用いられる操作画像のデータを記憶し、カメラにより撮影された画像を取得し、前記画像に含まれる物体を、記憶している前記特徴量のデータに基づいて認識し、前記画像に含まれる物体が前記操作対象機器であると認識した場合、記憶している前記操作画像のデータに基づいて前記操作画像を表示させるステップを含む。
【００１５】
本発明の一側面のプログラムは、操作対象機器の外観の特徴を表すデータと、前記操作対象機器の操作に用いられる操作画像のデータを記憶し、カメラにより撮影された画像を取得し、前記画像に含まれる物体を、記憶している前記特徴量のデータに基づいて認識し、前記画像に含まれる物体が前記操作対象機器であると認識した場合、記憶している前記操作画像のデータに基づいて前記操作画像を表示させるステップを含む処理をコンピュータに実行させる。
【００１６】
本発明の一側面においては、操作対象機器の外観の特徴を表すデータと、前記操作対象機器の操作に用いられる操作画像のデータが記憶され、カメラにより撮影された画像が取得され、前記画像に含まれる物体が、記憶されている前記特徴量のデータに基づいて認識される。また、前記画像に含まれる物体が前記操作対象機器であると認識された場合、記憶されている前記操作画像のデータに基づいて前記操作画像が表示される。
【発明の効果】
【００１７】
本発明によれば、ユーザは、操作対象の機器をより簡単に遠隔から操作することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係る情報処理装置を用いたMRシステムの外観例を示す図である。
【図２】HMDを装着したユーザの見え方の例を示す図である。
【図３】ボタン操作時のユーザの見え方の例を示す図である。
【図４】操作画像の表示の例を示す図である。
【図５】情報処理装置のハードウェア構成例を示すブロック図である。
【図６】情報処理装置の機能構成例を示すブロック図である。
【図７】物体の認識について説明する図である。
【図８】情報処理装置の操作画像表示処理について説明するフローチャートである。
【図９】操作画像の表示位置について説明する図である。
【図１０】情報処理装置の制御処理について説明するフローチャートである。
【図１１】情報処理装置の制御処理について説明する、図１０に続くフローチャートである。
【図１２】指のサイズの変化の例を示す図である。
【図１３】操作対象機器の処理について説明するフローチャートである。
【図１４】情報処理装置の他の機能構成例を示すブロック図である。
【図１５】操作画像の表示の例を示す図である。
【図１６】操作画像の他の表示の例を示す図である。
【図１７】他のHMDの外観の例を示す図である。
【図１８】携帯端末の外観の例を示す図である。
【図１９】携帯端末の他の外観の例を示す図である。
【発明を実施するための形態】
【００１９】
＜第１の実施の形態＞
［MR(Mixed Reality)システム］
図１は、本発明の一実施形態に係る情報処理装置を用いたMRシステムの外観例を示す図である。
【００２０】
図１に示すように、ユーザＵは、携帯型のコンピュータである情報処理装置１を携帯している。また、ユーザＵは、ヘッドマウントディスプレイ（HMD(Head Mounted Display)）２を装着している。情報処理装置１とHMD２は、有線または無線で通信を行うことが可能になっている。
【００２１】
HMD２には、カメラ１１とディスプレイ１２が設けられる。
【００２２】
カメラ１１は、HMD２を装着したユーザＵの前方を撮影可能な位置に取り付けられる。カメラ１１の撮影範囲にはユーザＵの視線が含まれる。カメラ１１により撮影された画像は情報処理装置１に送信される。所定のフレームレートで画像（動画）の撮影がカメラ１１により続けられることにより、情報処理装置１には、ユーザＵが見ている風景の画像が提供されることになる。
【００２３】
ディスプレイ１２は、HMD２を装着したユーザＵの目の前方に取り付けられる。ディスプレイ１２は透過性のある部材により構成され、情報処理装置１から送信されてきたデータに基づいて画像などを表示する。ユーザＵは、風景をディスプレイ１２越しに見ることもできるし、ディスプレイ１２に表示された画像を見ることもできる。
【００２４】
例えばユーザＵが携帯する情報処理装置１においては、カメラ１１により撮影された画像に基づいて、ユーザＵが見ている物体が何であるのかが物体認識により認識される。情報処理装置１には、ユーザＵが見ている物体を認識するための、物体の認識用のデータが記憶されている。認識用のデータには、操作対象機器２１の外観の画像から抽出された、操作対象機器２１の外観の特徴を表すデータも含まれている。
【００２５】
すなわち、カメラ１１により撮影された画像にはユーザＵの視線が含まれるから、カメラ１１により撮影された画像に含まれる物体をユーザＵが見ている物体と仮定して認識が行われることになる。
【００２６】
また、情報処理装置１においては、ユーザＵが操作対象機器２１を見ていることが検出された場合、操作対象機器２１のGUI(Graphical User Interface)データに基づいて、ボタンなどの操作画像がディスプレイ１２に表示される。情報処理装置１には、操作対象機器２１を含む各種の機器と関連付けて、機器の操作に用いられる操作画像を表示するためのGUIデータが記憶されている。
【００２７】
図２は、HMD２を装着したユーザＵの見え方の例を示す図である。
【００２８】
図２の例においては、ユーザＵの視界の範囲を枠で囲んで示しているが、実際には、図に示す範囲より広い範囲の風景をユーザＵは見ている。
【００２９】
図２の左端に示すように、操作対象機器２１は、ユーザＵの位置から少し離れたテーブルの上に置かれている。操作対象機器２１を見た直後はディスプレイ１２には何も表示されていないから、ユーザＵは、前方の風景だけをディスプレイ１２越しに見ることになる。図２の左端に示すような風景がカメラ１１により撮影される。
【００３０】
カメラ１１により撮影された画像に基づいて、ユーザＵが操作対象機器２１を見ていることが検出された場合、操作対象機器２１の操作に用いられる操作画像がディスプレイ１２に表示される。操作画像がディスプレイ１２に表示されたときのユーザＵの見え方を白抜き矢印＃１の先に示す。
【００３１】
図２の例においては、操作画像Ｇは、電源オンを指示するときに操作されるオンボタンと電源オフを指示するときに操作されるオフボタンを含む画像とされている。オンボタンの画像とオフボタンの画像はそれぞれ同じ色で表示されている。
【００３２】
操作画像Ｇは所定の透明度を有するようにディスプレイ１２に表示される。目の位置を基準とするとディスプレイ１２の表示面は操作対象機器２１の位置より近い位置にあるから、ユーザＵの見え方としては、図２の中央に示すように、操作対象機器２１より手前にボタンがあるように見えることになる。操作画像Ｇのディスプレイ１２上の表示位置は、操作対象機器２１に重ねて見えるような位置とされる。
【００３３】
この状態で操作対象機器２１を見ながらユーザＵが場所を移動した場合、操作画像Ｇは、ユーザＵに正対したまま画像の形状と向きを変えることなく、ユーザＵの見え方の変化に追従し、操作対象機器２１に重ねて見え続けるように位置を変えて表示される。操作対象機器２１を異なる角度から見た場合のユーザＵの見え方を白抜き矢印＃２の先に示す。
【００３４】
ユーザＵは、このようにしてディスプレイ１２に表示された操作画像Ｇのボタンを仮想的に押すことによって、操作対象機器２１を操作することができる。
【００３５】
図３は、ボタン操作時のユーザＵの見え方の例を示す図である。
【００３６】
情報処理装置１は、ユーザＵの指を認識する機能を有している。例えば、図３の左側に示すように、操作画像Ｇのオンボタンに指を載せ、押し込むような動作がユーザＵにより行われた場合、情報処理装置１においてはオンボタンが押されたものとして判定される。情報処理装置１においては、矢印＃１１の先に示すように、オンボタンの色が変わるように操作画像Ｇの表示が制御される。図３の右側に示す操作画像Ｇのうちのオンボタンの部分に斜線を付していることは、その部分の色が変わっていることを表す。
【００３７】
なお、目の位置を基準とするとディスプレイ１２の表示面はユーザＵの指の位置より近い位置にあるから、実際には、ボタンの上にユーザＵの指が載せられることはない。
【００３８】
後述するように、情報処理装置１においては、カメラ１１により撮影された画像上の指の位置が、ディスプレイ１２上で、ボタンの表示位置に対応する位置にあるときに、ボタンの上にユーザＵの指が載せられているものとして判定される。また、その状態で、カメラ１１により撮影された画像上の指の大きさが小さくなったとき、ボタンを押す動作が行われたものとして判定される。
【００３９】
ボタンを押す動作が行われたものとして判定された場合、情報処理装置１から操作対象機器２１に対して、ボタンに割り当てられている処理を指示するコマンドが無線通信によって送信される。コマンドを受信した操作対象機器２１においては、コマンドに応じた処理が行われる。
【００４０】
これにより、ユーザＵは、離れた位置にある機器を操作する場合であっても、機器を見るだけで、機器を操作するためのボタンを表示させることができる。また、ユーザＵは、表示されたボタンを用いて機器を操作することができる。すなわち、ユーザＵは、機器を操作するためのスイッチを探したり、リモートコントローラを手に取ったりすることなく機器を容易に操作することができる。
【００４１】
物体認識に用いる認識用のデータとGUIデータが用意されていれば、どのような機器であっても操作することが可能である。
【００４２】
図４は、図１の操作対象機器２１とは異なる機器である、部屋の天井に埋め込まれている照明機器の操作に用いられる操作画像の表示の例を示す図である。
【００４３】
図４の左側に示す照明機器２２−１乃至２２−３の認識用のデータとGUIデータが情報処理装置１に用意されている場合について説明する。照明機器２２−１乃至２２−３は製品番号などが同じ機器である。操作対象機器が同じ種類の機器である場合、認識用のデータとGUIデータは１組だけ用意されていればよい。
【００４４】
カメラ１１により撮影された画像に基づいて、ユーザＵが照明機器２２−１乃至２２−３を見ていると認識された場合、矢印＃２１の先に示すように、照明機器２２−１乃至２２−３に重ねて見えるように、操作画像Ｇ１乃至Ｇ３が表示される。
【００４５】
操作画像の大きさが、操作対象機器とユーザＵの距離に応じて変わるようにしてもよい。図４の例においては、照明機器２２−１の操作に用いられる操作画像Ｇ１が、照明機器２２−１より遠くにある照明機器２２−２の操作に用いられる操作画像Ｇ２、および、照明機器２２−３の操作に用いられる操作画像Ｇ３より大きく表示されている。
【００４６】
ユーザＵは、操作画像Ｇ１のボタンを仮想的に押す動作を行うことによって照明機器２２−１を操作することができ、操作画像Ｇ２のボタンを仮想的に押す動作を行うことによって照明機器２２−２を操作することができる。また、ユーザＵは、操作画像Ｇ３のボタンを仮想的に押す動作を行うことによって照明機器２２−３を操作することができる。
【００４７】
以上のようにして操作画像を表示し、操作対象機器を制御する情報処理装置１の一連の処理については後述する。
【００４８】
［情報処理装置の構成］
図５は、情報処理装置１のハードウェア構成例を示すブロック図である。
【００４９】
CPU(Central Processing Unit)３１、ROM(Read Only Memory)３２、RAM(Random Access Memory)３３は、バス３４により相互に接続されている。
【００５０】
バス３４には、さらに、入出力インタフェース３５が接続されている。入出力インタフェース３５には、入力部３６、出力部３７、記憶部３８、通信部３９、およびドライブ４０が接続される。
【００５１】
入力部３６は、HMD２と通信を行い、HMD２のカメラ１１により撮影された画像を受信する。
【００５２】
出力部３７は、表示データをHMD２に送信し、操作画像をディスプレイ１２に表示させる。
【００５３】
記憶部３８は、ハードディスクや不揮発性のメモリなどよりなり、操作対象機器の認識用のデータやGUIデータを記憶する。
【００５４】
通信部３９は、無線LAN(Local Area Network)モジュールなどのネットワークインタフェースなどよりなり、ネットワークを介して接続されるサーバと通信を行う。記憶部３８に記憶されている操作対象機器の認識用のデータやGUIデータは、例えばサーバからダウンロードされることによって情報処理装置１に提供される。
【００５５】
ドライブ４０は、装着されたリムーバブルメディア４１に記憶されているデータを読み出したり、リムーバブルメディア４１にデータを書き込んだりする。
【００５６】
図６は、情報処理装置１の機能構成例を示すブロック図である。
【００５７】
情報処理装置１においては、画像取得部５１、認識部５２、表示制御部５３、モデルデータ記憶部５４、GUIデータ記憶部５５、通信制御部５６、指認識部５７、指データ記憶部５８、機器制御部５９、および機器情報記憶部６０が実現される。
【００５８】
図６に示す構成のうちの少なくとも一部は、図５のCPU３１により所定のプログラムが実行されることによって実現される。モデルデータ記憶部５４、GUIデータ記憶部５５、指データ記憶部５８、および機器情報記憶部６０は例えば記憶部３８に形成される。
【００５９】
画像取得部５１は、入力部３６において受信された、カメラ１１により撮影された画像を取得する。画像取得部５１は、取得した画像を認識部５２と指認識部５７に出力する。
【００６０】
認識部５２は、画像取得部５１から供給された画像をクエリ画像として、クエリ画像に含まれる物体を、モデルデータ記憶部５４に記憶されているモデルデータに基づいて認識する。モデルデータ記憶部５４には、操作対象機器の外観を含む画像から抽出された、操作対象機器の特徴を表すデータが記憶されている。認識部５２による物体認識については後述する。
【００６１】
認識部５２は、例えば、認識した物体（操作対象機器）のIDと、認識した物体とカメラ１１（ユーザＵ）の相対的な位置関係を表す姿勢情報とを認識結果として表示制御部５３に出力する。姿勢情報により、例えば認識された操作対象機器の位置を基準として、ユーザＵの位置までの距離、ユーザＵのいる方向が特定される。操作対象機器のIDは機器制御部５９にも供給される。
【００６２】
表示制御部５３は、認識部５２から供給されたIDに関連付けられているGUIデータをGUIデータ記憶部５５から読み出す。また、表示制御部５３は、GUIデータを、図５の出力部３７を制御してHMD２に送信し、操作画像をディスプレイ１２に表示させる。GUIデータ記憶部５５には、操作対象機器のIDとGUIデータが関連付けて記憶されている。表示制御部５３から出力されたGUIデータは指認識部５７にも供給される。
【００６３】
また、表示制御部５３は、ディスプレイ１２に表示されているボタンが押されたことに応じてボタンIDが指認識部５７から供給された場合、押されたボタンの色を変えるなどして操作画像の表示を制御する。
【００６４】
通信制御部５６は、通信部３９を制御してサーバ７１と通信を行い、操作対象機器の認識用のデータであるモデルデータと、操作対象機器のGUIデータをダウンロードする。サーバ７１は、例えば、操作対象機器を製造、販売するメーカが管理するサーバであり、モデルデータとGUIデータのデータベースを有している。通信制御部５６は、ダウンロードしたモデルデータをモデルデータ記憶部５４に記憶させ、GUIデータをGUIデータ記憶部５５に記憶させる。
【００６５】
指認識部５７は、指データ記憶部５８に記憶されているデータに基づいて、画像取得部５１から供給された画像に含まれるユーザＵの指の位置と大きさを認識する。指データ記憶部５８には、指の色や輪郭などの情報が、指の認識用のデータとして記憶されている。
【００６６】
指認識部５７は、認識したユーザＵの指の位置と大きさに基づいて、ディスプレイ１２に表示されているボタンが押されたと判定した場合、押されたボタンの識別情報であるボタンIDを表示制御部５３と機器制御部５９に出力する。操作画像として表示されるボタンにはそれぞれIDが割り当てられており、各ボタンのディスプレイ１２上の表示位置は、表示制御部５３から供給されたGUIデータにより特定される。
【００６７】
機器制御部５９は、指認識部５７からボタンIDが供給された場合、押されたボタンに割り当てられている処理を指示するコマンドを機器情報記憶部６０から読み出す。機器情報記憶部６０には、操作対象機器のIDと対応付けて、コマンドやネットワークアドレスなどの、操作対象機器に関する情報が記憶されている。
【００６８】
機器制御部５９は、例えば通信部３９を制御して操作対象機器２１と通信を行い、機器情報記憶部６０から読み出したコマンドを操作対象機器２１に送信する。
【００６９】
図６に示すように、操作対象機器２１においては通信制御部８１と制御部８２が実現される。
【００７０】
通信制御部８１は、情報処理装置１から送信されてきたコマンドを受信し、制御部８２に出力する。
【００７１】
制御部８２は、通信制御部８１から供給されたコマンドに従って、操作対象機器２１の各部を制御し、コマンドによって指示された処理を行う。
【００７２】
図７は、物体（操作対象機器）の認識について説明する図である。
【００７３】
認識部５２による物体認識のアルゴリズムとしては、例えば、RandomizedFernやSIFT(Scale Invariant Feature Transform)がある。RandomizedFernについては、”Fast Keypoint Recognition using Random Ferns  Mustafa Ozuysal, Michael Calonder, Vincent Lepetit and Pascal FuaEcole Polytechnique Federale de Lausanne (EPFL) Computer Vision Laboratory, &C Faculty CH-1015 Lausanne, Switzerland”に開示されている。SIFTについては、” Distinctive Image Features from Scale-Invariant Keypoints  David G. Lowe  January 5, 2004”に開示されている。
【００７４】
図７に示すように、学習装置であるサーバ７１においては、画像処理部９１、特徴点検出部９２、特徴量抽出部９３、および合成部９４が実現される。図７に示す各構成は、サーバ７１のCPUにより所定のプログラムが実行されることによって実現される。サーバ７１も図５に示すようなコンピュータにより構成される。
【００７５】
画像処理部９１は、モデル画像にアフィン変換などの処理を施し、処理を施すことによって得られたモデル画像を特徴点検出部９２に出力する。画像処理部９１に対しては、それぞれの操作対象機器の外観の画像が、モデル画像として順次入力される。モデル画像は特徴量抽出部９３にも入力される。
【００７６】
特徴点検出部９２は、画像処理部９１から供給されたモデル画像上の各点をモデル特徴点として決定し、モデル特徴点の位置を表す情報を特徴量抽出部９３に出力する。
【００７７】
特徴量抽出部９３は、モデル画像を構成する画素のうち、モデル特徴点の位置に対応する画素の情報をモデル特徴量として抽出する。特徴量抽出部９３により抽出されたモデル特徴量のデータは、特徴量の抽出元になったモデル画像に含まれる操作対象機器のIDと対応付けてモデル辞書Ｄ１に登録される。モデル辞書Ｄ１は、操作対象機器のIDと、操作対象機器を含む画像から抽出された各モデル特徴点のモデル特徴量のデータとを対応付けたデータとして構成される。
【００７８】
また、特徴量抽出部９３は、抽出したモデル特徴量のデータを合成部９４に出力する。
【００７９】
合成部９４は、入力された３Ｄモデルデータと、特徴量抽出部９３から供給されたモデル特徴量のデータを合成する。合成部９４に対しては、操作対象機器のそれぞれの三次元形状を表すデータが３Ｄモデルデータとして入力される。
【００８０】
例えば、合成部９４は、３Ｄモデルデータに基づいて、操作対象機器を様々な角度から見たときのそれぞれのモデル特徴点の３Ｄモデル上の位置を計算する。合成部９４は、計算したそれぞれのモデル特徴点の位置にモデル特徴量のデータを割り当てることによって、３Ｄモデルデータとモデル特徴量のデータを合成し、３ＤモデルデータＤ２を生成する。
【００８１】
モデル辞書Ｄ１と、合成部９４により生成された３ＤモデルデータＤ２は情報処理装置１に提供され、モデルデータ記憶部５４に記憶される。
【００８２】
図７に示すように、認識部５２は、画像処理部１０１、特徴点検出部１０２、特徴量抽出部１０３、マッチング部１０４、および姿勢推定部１０５から構成される。画像処理部１０１に対しては、カメラ１１により撮影され、画像取得部５１により取得された画像がクエリ画像として入力される。クエリ画像は特徴量抽出部１０３にも供給される。
【００８３】
画像処理部１０１は、画像処理部９１と同様にして、クエリ画像にアフィン変換などの処理を施し、処理を施すことによって得られたクエリ画像を特徴点検出部１０２に出力する。
【００８４】
特徴点検出部１０２は、画像処理部１０１から供給されたクエリ画像上の各点をクエリ特徴点として決定し、クエリ特徴点の位置を表す情報を特徴量抽出部１０３に出力する。
【００８５】
特徴量抽出部１０３は、クエリ画像を構成する画素のうち、クエリ特徴点の位置に対応する画素の情報をクエリ特徴量として抽出し、抽出したクエリ特徴量のデータをマッチング部１０４に出力する。
【００８６】
マッチング部１０４は、モデル辞書Ｄ１に含まれる特徴量のデータに基づいてK-NNなどの最近傍探索を行い、それぞれのクエリ特徴点の最近傍となるモデル特徴点を決定する。マッチング部１０４は、クエリ特徴点の最近傍となるモデル特徴点の数に基づいて、例えば最近傍となるモデル特徴点が最も多い操作対象機器を選択する。マッチング部１０４は、選択した操作対象機器のIDを認識結果として出力する。
【００８７】
マッチング部１０４から出力された操作対象機器のIDは、図６の表示制御部５３と機器制御部５９に供給されるとともに、姿勢推定部１０５に供給される。姿勢推定部１０５に対しては、各クエリ特徴点の位置を表す情報なども供給される。
【００８８】
姿勢推定部１０５は、マッチング部１０４により認識された操作対象機器の３ＤモデルデータＤ２をモデルデータ記憶部５４から読み出し、３ＤモデルデータＤ２に基づいて、それぞれのクエリ特徴点の最近傍であるモデル特徴点の３Ｄモデル上の位置を特定する。また、姿勢推定部１０５は、操作対象機器とユーザＵの位置関係を表す姿勢情報を出力する。
【００８９】
カメラ１１により撮影されたクエリ画像から検出されたクエリ特徴点の最近傍であるモデル特徴点の３Ｄモデル上の位置を特定することができれば、クエリ画像が操作対象機器をどの位置から撮影したものであるのか、すなわち、ユーザＵがどの位置にいるのかを特定することが可能である。
【００９０】
また、画像に含まれる操作対象機器の大きさと距離が予め対応付けられていれば、カメラ１１により撮影されたクエリ画像に含まれる操作対象機器の大きさから、操作対象機器の位置からユーザＵの位置までの距離を特定することが可能である。
【００９１】
ユーザＵが見ている操作対象機器と、操作対象機器とユーザＵの相対的な位置関係は以上のようにして認識される。
【００９２】
３ＤモデルデータＤ２には、操作対象機器を様々な角度から見たときのそれぞれのモデル特徴点の情報が含まれる。３ＤモデルデータＤ２を用いて物体認識が行われるようにすることにより、操作対象機器をどの方向から撮影した画像であっても、その画像をクエリ画像として、画像に含まれる操作対象機器を特定することが可能になる。
【００９３】
なお、単眼のカメラにより撮影された画像だけでなく、ステレオカメラにより撮影された画像をクエリ画像として物体認識が行われるようにしてもよい。
【００９４】
［情報処理装置の動作］
ここで、図８のフローチャートを参照して、操作画像を表示する情報処理装置１の処理について説明する。図８の処理は、例えば、カメラ１１により撮影が行われている間、繰り返し行われる。
【００９５】
ステップＳ１において、画像取得部５１は、カメラ１１により撮影された画像を取得する。
【００９６】
ステップＳ２において、認識部５２は、画像取得部５１により取得された画像を対象として物体認識を行う。
【００９７】
ステップＳ３において、カメラ１１により撮影された画像に操作対象機器が含まれているか否か、すなわち、ユーザＵが操作対象機器を見ているか否かを判定する。
【００９８】
ユーザＵが操作対象機器を見ていないとステップＳ３において判定された場合、ステップＳ４において、表示制御部５３は、操作画像をディスプレイ１２に表示させているか否かを判定する。
【００９９】
操作画像をディスプレイ１２に表示させているとステップＳ４において判定した場合、ステップＳ５において、表示制御部５３は、操作画像の表示を停止する。操作画像の表示が停止された場合、またはステップＳ４において操作画像を表示させていないと判定された場合、ステップＳ１に戻り、それ以降の処理が行われる。
【０１００】
一方、ユーザＵが操作対象機器を見ているとステップＳ３において判定された場合、ステップＳ６において、機器制御部５９は、ユーザＵが見ている操作対象機器のネットワークアドレスが取得されているか否かを判定する。ユーザＵが操作対象機器を見ているとステップＳ３において判定された場合、認識部５２から機器制御部５９に対して操作対象機器のIDが供給される。機器制御部５９においては機器情報記憶部６０を対象として検索が行われ、操作対象機器のIDに対応付けて、ネットワークアドレスが記憶されているか否かが確認される。
【０１０１】
操作対象機器のネットワークアドレスが取得されていないとステップＳ６において判定した場合、ステップＳ７において、機器制御部５９は、通信部３９を制御して図示せぬルータ機器に問い合わせるなどして操作対象機器のネットワークアドレスを取得する。機器制御部５９は、取得したネットワークアドレスを操作対象機器のIDと対応付けて機器情報記憶部６０に記憶させる。ネットワークアドレスは、操作対象機器にネットワーク経由でコマンドを送信するために用いられる。
【０１０２】
機器情報記憶部６０に既に記憶されていることから、ユーザＵが見ている操作対象機器のネットワークアドレスが取得されているとステップＳ６において判定された場合、ステップＳ７の処理はスキップされる。
【０１０３】
ステップＳ８において、表示制御部５３は、ユーザＵが見ている操作対象機器の操作画像をディスプレイ１２に表示させているか否かを判定する。
【０１０４】
操作対象機器の操作画像を表示させていないとステップＳ８において判定した場合、ステップＳ９において、表示制御部５３は、操作対象機器のGUIデータをGUIデータ記憶部５５から読み出し、操作画像をディスプレイ１２に表示させる。ディスプレイ１２には、カメラ１１の位置と操作対象機器の姿勢に応じて正対して操作画像が表示される。
【０１０５】
一方、操作対象機器の操作画像を表示させているとステップＳ８において判定した場合、ステップＳ１０において、表示制御部５３は、現在のカメラ１１の位置と操作対象機器の姿勢に応じて、操作画像のディスプレイ１２上の表示位置を変更する。
【０１０６】
ステップＳ９において操作画像の表示が開始された場合、またはステップＳ１０において操作画像の表示が変更された場合、ステップＳ１に戻り、それ以降の処理が繰り返される。
【０１０７】
図９は、操作画像の表示位置について説明する図である。
【０１０８】
図９の上段の画像はカメラ１１により撮影された画像であり、操作対象機器２１が含まれている。画像上の操作対象機器２１の位置（例えば操作対象機器２１の領域の中心位置）は位置ｐ１で表される。
【０１０９】
図９の中段はディスプレイ１２の表示領域を示している。ディスプレイ１２の表示領域を構成する各画素の位置は、カメラ１１により撮影された画像の各画素の位置と対応付けられている。操作画像Ｇは、カメラ１１により撮影された画像上の操作対象機器２１の位置である位置ｐ１に対応するディスプレイ１２上の位置である位置ｐ１１と、操作画像Ｇの例えば中心位置が一致するように表示される。
【０１１０】
これにより、図９の下段に示すように、ユーザＵの見え方としては、操作対象機器２１に重ねて操作画像Ｇが見えるようになる。
【０１１１】
ユーザＵが移動したことに応じて、カメラ１１により撮影された画像上の操作対象機器２１の位置や姿勢が移動した場合、操作画像Ｇの表示は、操作対象機器２１の画像上の位置に対応するディスプレイ１２上の位置と、例えば中心位置が一致し続けるようにして更新される。
【０１１２】
次に、図１０、図１１のフローチャートを参照して、操作対象機器を制御する情報処理装置１の処理について説明する。図１０、図１１の処理は、例えば、操作画像がディスプレイ１２に表示されている間、繰り返し行われる。
【０１１３】
ステップＳ２１において、指認識部５７は、指データ記憶部５８に記憶されているボタンIDと指サイズ情報をクリアするとともに、押し込みフラグにfalseを設定することによって初期化する。
【０１１４】
ボタンIDは、操作画像としてディスプレイ１２に表示されているボタンに割り当てられているIDである。例えば、ユーザＵの指が載せられているボタンのボタンIDが指データ記憶部５８に記憶される。
【０１１５】
指サイズ情報は、カメラ１１により撮影された画像に含まれる指の大きさを表す情報である。指の大きさは、例えば、カメラ１１により撮影された画像に含まれる指の領域の画素数などにより表される。
【０１１６】
押し込みフラグは、ボタンを指で押し込むような動作がユーザＵにより行われているか否かを表すフラグである。押し込みフラグにtrueが設定されていることは、ボタンを指で押し込むような動作が行われていることを表し、falseに設定されていることは、ボタンを指で押し込むような動作が行われていないことを表す。
【０１１７】
ステップＳ２２において、画像取得部５１は、カメラ１１により撮影された画像を取得する。
【０１１８】
ステップＳ２３において、指認識部５７は、画像取得部５１から供給された画像に基づいてユーザＵの指の位置を認識し、操作画像として表示されているボタンのうちのいずれかのボタンの上に指が載せられているか否かを判定する。
【０１１９】
例えば、カメラ１１により撮影された画像上の指の位置（例えば指の先端）に対応するディスプレイ１２上の位置が、ディスプレイ１２上のボタンの表示領域内の位置である場合、ボタンの上に指が載せられているとして判定される。
【０１２０】
ボタンの上に指が載せられていないとステップＳ２３において判定された場合、ステップＳ２２に戻り、それ以降の処理が繰り返される。
【０１２１】
一方、ボタンの上に指が載せられているとステップＳ２３において判定された場合、ステップＳ２４において、指認識部５７は、指が載せられているボタンのボタンIDが、指データ記憶部５８に記憶されているか否かを判定する。
【０１２２】
指が載せられているボタンのボタンIDが指データ記憶部５８に記憶されていないとステップＳ２４において判定した場合、ステップＳ２５において、指認識部５７は、押し込みフラグにtrueが設定されているか否かを判定する。
【０１２３】
押し込みフラグにtrueが設定されているとステップＳ２５において判定された場合、ステップＳ２１に戻り、それ以降の処理が繰り返される。押し込み動作を行った後に指を横にずらすような動作が行われることによって、指が載せられて直前に押し込み動作が行われたボタンと、いま指が載せられているボタンが異なる場合、押し込みフラグにtrueが設定されていると判定されることになる。
【０１２４】
falseが設定されていることから、押し込みフラグにtrueが設定されていないとステップＳ２５において判定した場合、ステップＳ２６において、指認識部５７は、指が載せられているボタンのボタンIDを指データ記憶部５８に記憶させる。
【０１２５】
指が載せられているボタンのボタンIDが指データ記憶部５８に記憶されているとステップＳ２４において判定された場合、ステップＳ２５，Ｓ２６の処理はスキップされる。
【０１２６】
ステップＳ２７において、指認識部５７は、カメラ１１により撮影された画像に含まれる指の領域の画素数などに基づいて指のサイズを計算する。
【０１２７】
ステップＳ２８において、指認識部５７は、指サイズ情報が指データ記憶部５８に記憶されているか否かを判定する。
【０１２８】
指サイズ情報が指データ記憶部５８に記憶されていないとステップＳ２８において判定された場合、ステップＳ２９において、ステップＳ２７で計算したサイズを表す指サイズ情報を指データ記憶部５８に記憶させる。その後、ステップＳ２２に戻り、それ以降の処理が行われる。
【０１２９】
一方、指サイズ情報が指データ記憶部５８に記憶されているとステップＳ２８において判定された場合、ステップＳ３０において、指認識部５７は、指データ記憶部５８に記憶されている指サイズ情報により表されるサイズと、ステップＳ２７で計算したサイズとの差を計算する。
【０１３０】
指データ記憶部５８に記憶されている指サイズ情報は、時間的に前にカメラ１１により撮影された画像から計算された指のサイズを表す。また、ステップＳ２７で計算したサイズは、時間的に後（現在）にカメラ１１により撮影された画像から計算された指のサイズを表す。
【０１３１】
従って、時間的に前の指のサイズと、時間的に後の指のサイズとの差が正であることは、図１２Ａに示すように、カメラ１１により撮影された画像上で指のサイズが小さくなったこと、すなわち、押し込む動作がユーザＵにより行われたことを表す。
【０１３２】
また、時間的に前の指のサイズと、時間的に後の指のサイズとの差が負であることは、図１２Ｂに示すように、カメラ１１により撮影された画像上で指のサイズが大きくなったこと、すなわち、押し込んだ状態から戻す動作がユーザＵにより行われたことを表す。以下、適宜、時間的に前の指のサイズと、時間的に後の指のサイズとの差を指サイズ差という。
【０１３３】
図１１の説明に戻り、ステップＳ３１において、指認識部５７は、ステップＳ３０で計算した指サイズ差が正で、かつ、指サイズ差が閾値より大きいか否かを判定する。
【０１３４】
指サイズ差が正で、かつ、指サイズ差が閾値より大きいとステップＳ３１において判定された場合、ステップＳ３２において、指認識部５７は、押し込みフラグにtrueを設定する。閾値以上の量だけ押し込む動作が行われたとき、押し込みフラグにtrueが設定されることになる。その後、ステップＳ２２に戻り、それ以降の処理が繰り返される。
【０１３５】
一方、指サイズ差が負である、または、正であるが閾値より小さいとステップＳ３１において判定された場合、ステップＳ３３において、指認識部５７は、指サイズ差が負で、かつ、指サイズ差の絶対値が閾値より大きいか否かを判定する。
【０１３６】
指サイズ差が負で、かつ、指サイズ差の絶対値が閾値より大きいとステップＳ３３において判定された場合、ステップＳ３４において、指認識部５７は、押し込みフラグがtrueに設定されているか否かを判定する。
【０１３７】
押し込みフラグがtrueに設定されているとステップＳ３４において判定された場合、ステップＳ３５において、機器制御部５９は、ボタンIDにより識別されるボタンに割り当てられている処理を指示するコマンドを機器情報記憶部６０から読み出す。押し込みフラグがtrueに設定されているとステップＳ３４において判定された場合、指データ記憶部５８に記憶されているボタンIDが機器制御部５９に供給される。また、機器制御部５９は、機器情報記憶部６０から読み出したコマンドを操作対象機器２１に送信する。
【０１３８】
指サイズ差が負で、かつ指サイズ差の絶対値が閾値より大きいと判定され、さらに、押し込みフラグがtrueに設定されていると判定されたタイミングは、ボタンの上に指を載せた状態で押し込む動作が行われ、押し込んだ状態から戻す動作が閾値以上の量だけ行われたタイミングである。
【０１３９】
イメージとしては、仮想的にボタンを押し込み、ボタンを戻したときにコマンドが送信されることになる。単に、仮想的にボタンを押し込む動作が行われたタイミングでコマンドが送信されるようにしてもよい。
【０１４０】
ステップＳ３５においてコマンドが送信された場合、ステップＳ２２に戻り、それ以降の処理が行われる。指サイズ差が負で、かつ指サイズ差の絶対値が閾値より大きくないとステップＳ３３において判定された場合、または押し込みフラグにtrueが設定されていないとステップＳ３４において判定された場合も、ステップＳ２２以降の処理が行われる。
【０１４１】
次に、図１３のフローチャートを参照して、情報処理装置１から送信されたコマンドを受信する操作対象機器２１の処理について説明する。
【０１４２】
ステップＳ５１において、操作対象機器２１の通信制御部８１は、情報処理装置１から送信されたコマンドを受信する。通信制御部８１により受信されたコマンドは制御部８２に供給される。
【０１４３】
ステップＳ５２において、制御部８２は、情報処理装置１から送信されてきたコマンドが実行可能なコマンドであるか否かを判定する。
【０１４４】
実行可能なコマンドではないとステップＳ５２において判定した場合、ステップＳ５３において、制御部８２は、通信制御部８１を制御して、実行できないコマンドであることを表す情報を情報処理装置１に送信する。
【０１４５】
一方、実行可能なコマンドであるとステップＳ５２において判定した場合、ステップＳ５４において、制御部８２は、コマンドを実行し、対応する処理を行う。例えば、図３のオンボタンが押されたことに応じて情報処理装置１からコマンドが送信されてきた場合、操作対象機器２１は、電源をオンにして起動する処理を、コマンドに対応する処理として行う。
【０１４６】
以上の処理により、ユーザＵは、操作対象機器をより簡単に遠隔から操作することができる。
【０１４７】
［変形例］
操作画像の表示をユーザＵが好みに応じてカスタマイズすることができるようにしてもよい。
【０１４８】
図１４は、情報処理装置１の他の機能構成例を示すブロック図である。
【０１４９】
図１４に示す構成のうち、図６に示す構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。図１４に示す構成においては、設定情報記憶部６１が追加して設けられている点で、図６に示す構成と異なる。
【０１５０】
設定情報記憶部６１は、ユーザＵにより入力された、操作画像の表示に関する設定の内容を表す情報である設定情報を記憶する。操作画像の表示に関する設定の入力も、例えば、上述したボタンの操作と同様にして仮想的なボタンを用いて行われる。
【０１５１】
例えば、操作画像として表示するボタンのサイズ、色、配置位置を表す情報が設定情報記憶部６１に記憶される。
【０１５２】
表示制御部５３は、操作画像を表示するとき、設定情報記憶部６１に記憶されている設定情報を読み出し、読み出した設定情報により表される設定に従って、操作画像を表示させる。
【０１５３】
これにより、ユーザＵは、好みのサイズや色でボタンを表示させたりすることが可能になる。
【０１５４】
また、ボタン上に表示される文字や記号のサイズを変えることができるようにしてもよい。例えば、子供向けのボタン、高齢者向けのボタンの文字や記号のサイズは、それ以外の人向けのボタンの文字や記号のサイズと較べて大きく表示される。この場合、どのサイズの文字や記号のボタンを表示させるのかを、ユーザは予め設定しておくことになる。
【０１５５】
ボタン上に表示される内容を変えることができるようにしてもよい。図４の例においては操作画像Ｇ１乃至Ｇ３上に「ON」、「OFF」の文字が表示されるものとしたが、「電気をつける」、「電気を消す」の文字が表示されるようにすることが可能である。
【０１５６】
さらに、同じ機器に関連付けて複数種類の操作画像が情報処理装置１に用意されている場合、どの種類の操作画像を表示させるのかをユーザが設定することができるようにしてもよい。例えば、ON/OFFボタンだけの単純な操作画像が表示されるように設定したり、機器の細かい操作も可能な複雑な操作画像が表示されるように設定したりすることができるようにしてもよい。
【０１５７】
図１５と図１６は、照明機器２２−１乃至２２−３の操作画像の例を示す図である。
【０１５８】
例えば、図１５の右側に示すような操作画像Ｇ１乃至Ｇ３のデータと、図１６の右側に示すような操作画像Ｇ１乃至Ｇ３のデータが用意されている場合、ユーザによる設定に応じて、照明機器２２−１乃至２２−３の操作画像の表示が切り替えられる。これにより、ユーザは、自分の好みの操作画像を用いて機器を操作することが可能になる。
【０１５９】
以上においては、操作対象機器の認識用のデータがサーバ７１からダウンロードされるものとしたが、カメラ１１により撮影された画像をモデル画像として、情報処理装置１により生成されるようにしてもよい。
【０１６０】
以上のような表示の設定を行うときに用いられるメニュー表示自体を、ユーザ毎、あるいは端末毎にカスタマイズすることができるようにしてもよい。
【０１６１】
また、以上においては、HMD２が、透過性のあるディスプレイ１２が設けられるいわゆる光学透過型のHMDである場合について説明したが、ビデオ透過型のHMDであってもよい。
【０１６２】
図１７は、ビデオ透過型のHMD２の外観の例を示す図である。
【０１６３】
ビデオ透過型のHMD２は例えばメガネ型の形状を有している。HMD２を装着したとき、ユーザＵの目の前には、HMD２の前方に向けて取り付けられたカメラ１１により撮影された画像が表示される。また、カメラ１１により撮影された画像に含まれる操作対象機器に重ねて、上述したようにして操作画像が表示される。
【０１６４】
カメラ１１により撮影された画像と操作画像の表示は、ハーフミラー等を利用して虚像を形成し、ユーザＵに認識させる虚像投影方式によって行われるようにしてもよいし、網膜に直接結像させる網膜投影方式によって行われるようにしてもよい。
【０１６５】
＜第２の実施の形態＞
図１８は、携帯端末の外観の例を示す図である。
【０１６６】
図１８の携帯端末１０１は、情報処理装置１と同様の機能を有している。携帯端末１０１の背面には、図１９に示すようにカメラ１１１が設けられている。カメラ１１１により撮影された画像は、携帯端末１０１の筐体表面に設けられたディスプレイ１１２に表示される。ディスプレイ１１２には例えばタッチパネルが積層されている。
【０１６７】
例えば、ユーザＵが携帯端末１０１を手に取り、撮影範囲に操作対象機器が含まれるようにカメラ１１１を向けた場合、携帯端末１０１においては、ディスプレイ１１２に操作対象機器が表示されるとともに、カメラ１１１により撮影された画像に基づいて物体認識が行われる。カメラ１１１は単眼のカメラではなく、ステレオカメラであってもよい。また、カメラ１０１は携帯端末１０１に直接設けられている必要はなく、携帯端末１０１と異なる筐体の機器に設けられているようにしてもよい。この場合、カメラ１０１により撮影された画像は、有線、または無線の通信によって携帯端末１０１に転送される。
【０１６８】
また、カメラ１１１により撮影された画像に操作対象機器が含まれていることが検出された場合、操作対象機器の操作画像が、ディスプレイ１１２に表示されている操作対象機器に重ねて表示される。ディスプレイ１１２には、例えば図２、図４を参照して説明したようにして操作画像が表示される。ユーザＵは、ディスプレイ１１２に表示された操作画像を指で直接押すことによって、操作対象機器を操作することができる。
【０１６９】
＜プログラムについて＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１７０】
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図５に示されるリムーバブルメディア４１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM３２や記憶部３８に、あらかじめインストールしておくことができる。
【０１７１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１７２】
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１７３】
１  情報処理装置，  ２  HMD，  １１  カメラ，  １２  ディスプレイ，  ２１  操作対象機器，  ５１  画像取得部，  ５２  認識部，  ５３  表示制御部，  ５４  モデルデータ記憶部，  ５５  GUIデータ記憶部，  ５６  通信制御部，  ５７  指認識部，  ５８  指データ記憶部，  ５９  機器制御部，  ６０  機器情報記憶部
【図１】
2011209965.tif 000003
【図２】
2011209965.tif 000004
【図３】
2011209965.tif 000005
【図４】
2011209965.tif 000006
【図５】
2011209965.tif 000007
【図６】
2011209965.tif 000008
【図７】
2011209965.tif 000009
【図８】
2011209965.tif 000010
【図９】
2011209965.tif 000011
【図１０】
2011209965.tif 000012
【図１１】
2011209965.tif 000013
【図１２】
2011209965.tif 000014
【図１３】
2011209965.tif 000015
【図１４】
2011209965.tif 000016
【図１５】
2011209965.tif 000017
【図１６】
2011209965.tif 000018
【図１７】
2011209965.tif 000019
【図１８】
2011209965.tif 000020
【図１９】
2011209965.tif 000021