(57)【特許請求の範囲】
【請求項１】
撮像装置において撮像された画像から対象物体の画像を背景画像として検出する背景画像検出手段と、
撮像装置において撮像された画像から前記対象物体に係る指画像を検出する指画像検出手段と、
前記対象物体に対する指示動作に係る指示位置を、前記背景画像として検出された対象物体の形状画像と、前記指画像と、の相対位置関係から算出する算出手段と、
前記背景画像として検出された対象物体の形状画像を表示装置に表示する形状画像表示手段と、
前記表示装置に表示されている物体の形状画像内に操作項目を表示する操作項目表示手段と、
前記算出手段において算出された指示位置に前記指画像に係る画像を表示する指示画像表示手段と、
前記操作項目表示手段で表示された前記操作項目に対して、所定時間、前記指示画像表示手段で表示された前記指画像に係る画像が滞留したか否かに応じて、対象機器の操作に係る操作項目が選択されたか否かを判定する判定手段と、
前記判定手段において操作項目が選択されたと判定された場合、選択された操作項目に係る制御コマンドを前記対象機器に送信するコマンド送信手段と、
を有することを特徴とする機器制御装置。
【請求項２】
前記撮像装置において撮像された画像から、前記撮像装置からの距離に対応して領域分割した画像を生成する距離画像生成手段を更に有し、
前記背景画像検出手段は、前記距離画像生成手段において生成された画像を用いて背景画像を検出する処理を行い、
前記指画像検出手段は、前記距離画像生成手段において生成された画像を用いて指画像を検出する処理を行うことを特徴とする請求項１に記載の機器制御装置。
【請求項３】
機器制御装置における制御方法であって、
撮像装置において撮像された画像から対象物体の画像を背景画像として検出する背景画像検出ステップと、
撮像装置において撮像された画像から前記対象物体に係る指画像を検出する指画像検出ステップと、
前記対象物体に対する指示動作に係る指示位置を、前記背景画像として検出された対象物体の形状画像と、前記指画像と、の相対位置関係から算出する算出ステップと、
前記背景画像として検出された対象物体の形状画像を表示装置に表示する形状画像表示ステップと、
前記表示装置に表示されている物体の形状画像内に操作項目を表示する操作項目表示ステップと、
前記算出ステップにおいて算出された指示位置に前記指画像に係る画像を表示する指示画像表示ステップと、
前記操作項目表示ステップで表示された前記操作項目に対して、所定時間、前記指示画像表示ステップで表示された前記指画像に係る画像が滞留したか否かに応じて、対象機器の操作に係る操作項目が選択されたか否かを判定する判定ステップと、
前記判定ステップにおいて操作項目が選択されたと判定された場合、選択された操作項目に係る制御コマンドを前記対象機器に送信するコマンド送信ステップと、
を含むことを特徴とする制御方法。
【請求項４】
前記撮像装置において撮像された画像から、前記撮像装置からの距離に対応して領域分割した画像を生成する距離画像生成ステップを更に含み、
前記背景画像検出ステップでは、前記距離画像生成ステップにおいて生成された画像を用いて背景画像を検出する処理を行い、
前記指画像検出ステップでは、前記距離画像生成ステップにおいて生成された画像を用いて指画像を検出する処理を行うことを特徴とする請求項３に記載の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機器制御装置及び制御方法に関する。
【背景技術】
【０００２】
家庭用機器や業務用機器を制御する制御装置として、赤外線を利用したワイヤレスリモートコントローラ（以下リモコンとする）がある。送信側の処理としては、機器制御用のコマンド信号を変調した赤外光信号を送信する。受信側の処理としては、その赤外光信号を受光して復調し、コマンドを実行する。
【０００３】
しかしながら、このリモコンが、使用したいときに見当たらない等の理由で操作者の手元に無い場合は、機器を制御するコマンドを送信することができない問題があった。また、リモコンは、電池による駆動の場合が多く、電池切れで、電池のストックが無い場合にもコマンドを送信することができない問題があった。
【０００４】
そこで、リモコンを用いてコマンドを送受信するのと同等の機能を実現する方法として、以下のような提案がなされている。
【０００５】
まず、ディスプレイ装置に、メニューと、カーソルとを表示する。そして、撮像装置では、ユーザーを含む画像を撮像し、動きベクトルを検出する。そして、制御装置では、その動きに対応してカーソルを移動させ、メニューの中のユーザーが所望する選択肢が選択されると、その選択肢に対応して、ディスプレイ装置を制御する（例えば、特許文献１参照）。
【０００６】
また、撮影手段と、撮影画像の動きや形状を認識する手段とを持つことにより、ユーザーの手等の動作を認識して機器を操作する技術がある（例えば、特許文献２参照）。
【０００７】
【特許文献１】特開平９−１２８１４１号公報
【特許文献２】特開２００１−５９７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１では、ユーザーが操作した動作を動きベクトルのみの検出（動きベクトルが最大のもの）で行なっている。そのため、複数の人が画像に含まれている場合や背景が動いている場合には、ユーザーが意図する動作か否かを判定するのが困難な問題がある。即ち、テレビを複数人で視聴している場合に誤動作が生じやすい問題があった。
【０００９】
また、特許文献２では、ユーザー操作への反応が操作結果の実動作のみである。よって、操作途中では、操作が機器に受け入れられているか否か、ユーザーがわかりづらいという問題があった。また、コマンドに係る動作や形状をユーザーが覚える必要があり、使いづらい問題があった。更には、コマンドとなる動作や形状をユーザーが覚えられる数には限りがあるため、コマンドの数が限定されるという問題もあった。
【００１０】
本発明はこのような問題点に鑑みなされたもので、リモコンが手元にない場合や故障等して使用できない場合でも操作性よく対象機器を制御することを目的とする。
【課題を解決するための手段】
【００１１】
そこで、本発明の機器制御装置は、撮像装置において撮像された画像から対象物体の画像を背景画像として検出する背景画像検出手段と、撮像装置において撮像された画像から前記対象物体に係る指画像を検出する指画像検出手段と、前記対象物体に対する指示動作に係る指示位置を、前記背景画像として検出された対象物体の形状画像と、前記指画像と、の相対位置関係から算出する算出手段と、前記背景画像として検出された対象物体の形状画像を表示装置に表示する形状画像表示手段と、前記表示装置に表示されている物体の形状画像内に操作項目を表示する操作項目表示手段と、前記算出手段において算出された指示位置に前記指画像に係る画像を表示する指示画像表示手段と、前記操作項目表示手段で表示された前記操作項目に対して、所定時間、前記指示画像表示手段で表示された前記指画像に係る画像が滞留したか否かに応じて、対象機器の操作に係る操作項目が選択されたか否かを判定する判定手段と、前記判定手段において操作項目が選択されたと判定された場合、選択された操作項目に係る制御コマンドを前記対象機器に送信するコマンド送信手段と、を有することを特徴とする。
【００１２】
また、本発明は、機器制御装置における制御方法であって、撮像装置において撮像された画像から対象物体の画像を背景画像として検出する背景画像検出ステップと、撮像装置において撮像された画像から前記対象物体に係る指画像を検出する指画像検出ステップと、前記対象物体に対する指示動作に係る指示位置を、前記背景画像として検出された対象物体の形状画像と、前記指画像と、の相対位置関係から算出する算出ステップと、前記背景画像として検出された対象物体の形状画像を表示装置に表示する形状画像表示ステップと、前記表示装置に表示されている物体の形状画像内に操作項目を表示する操作項目表示ステップと、前記算出ステップにおいて算出された指示位置に前記指画像に係る画像を表示する指示画像表示ステップと、前記操作項目表示ステップで表示された前記操作項目に対して、所定時間、前記指示画像表示ステップで表示された前記指画像に係る画像が滞留したか否かに応じて、対象機器の操作に係る操作項目が選択されたか否かを判定する判定ステップと、前記判定ステップにおいて操作項目が選択されたと判定された場合、選択された操作項目に係る制御コマンドを前記対象機器に送信するコマンド送信ステップと、を含むことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、リモコンが手元にない場合や故障等して使用できない場合でも操作性よく対象機器を制御することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態について図面に基づいて説明する。
【００１５】
＜機器制御装置１０１の構成の説明＞
図１は、機器制御装置１０１の構成を説明するための図である。
図１において、撮像装置１、撮像装置３は、ＣＣＤやＣＭＯＳカメラ等で構成される。フレームメモリ２は、撮像装置１で撮像された画像データを保存する。フレームメモリ４は、撮像装置３で撮像された画像データを保存する。制御機器５は、機器制御装置１０１全体を制御するためのマイクロコンピュータ等から構成される。
【００１６】
距離画像生成器６は、撮像装置１及び撮像装置３で得られた画像（画像データ、又は画像情報）から視差計測（ステレオ視）を用いて距離計測し、距離に応じて領域分割した画像（以下、距離画像という）を得る。
【００１７】
形状認識器７は、画像データから特徴点を抽出し、顔の画像等の人間の部分的な形状認識や、パターン認識による様々な物体の認識を行なう。動き検出器８は、撮像された画像の動きを検出し、動きのある部分を抽出する。モード判定器９は、機器制御装置１０１を有効にするモードか否かを画像データ等から判定する。
【００１８】
コマンド生成器１０は、機器制御装置１０１に接続された機器（操作対象機器）に対して送信する制御コマンドを生成する。操作対象機器１１は、機器制御装置１０１に接続され、機器制御装置１０１より制御コマンドを受信し、その制御コマンドに応じて制御を実行可能な機器である。指示位置合成器１２は、形状認識器７で認識された画像データに対して操作者が指示する指示位置に対応する画像を合成する。
【００１９】
表示装置１３は、指示位置合成器１２で合成された画像を表示する。なお、距離画像生成器６、形状認識器７、動き検出器８、モード判定器９は、例えば、画像処理を行なうＤＳＰやＦＰＧＡ等のプロセッサで構成される。ここで、ＤＳＰとは、Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒの略である。また、ＦＰＧＡとは、Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙの略である。
【００２０】
機器制御装置１０１は、操作者が選択した任意の物体を指示領域として、物体に対して指示する動作を撮像装置１、撮像装置３で捉えることにより、対象となる機器（操作対象機器）に制御コマンドを送信することができる。なお、機器制御装置１０１を用いて対象となる機器（操作対象機器）に制御コマンドを送信するモードを便宜上、仮想リモコンモードと呼ぶ。
【００２１】
図２は、機器制御装置１０１をテレビ２１に組み込んだ一例を示した図である。図２に示すように撮像装置１、撮像装置３は、テレビ２１の上部に所定距離の間隔をあけて２２、２３のように配置されている。これは、上述したように２つの撮像装置１、撮像装置３による視差画像を利用して距離画像を得るためである。また、テレビ２１に機器制御装置１０１を組み込んだ場合、操作対象機器１１及び表示装置１３もテレビ２１になる。
【００２２】
操作者は、仮想リモコンモードを使用する場合は、機器制御装置１０１（又はテレビ２１）に仮想リモコンモードに入るためのトリガとなる動作を行なう必要がある。なお、モードの判定は、上述したようにモード判定器９が行なう。モード判定器９は、仮想リモコンモードに入るトリガを検出する。このトリガとなる入力は、例えば操作者のジェスチャ入力によって行なわれる。ジェスチャの一例として、撮像装置１、撮像装置３に対して、操作者が手を振る等の動作が考えられる。このように、一定以上の動きベクトルの検出を行なった場合、モード判定器９は、仮想リモコンモードに入ると判定する。なお、動きベクトルの検出は、動き検出器８で検出された後、モード判定器９で処理される。
【００２３】
また、モード判定器９は、操作者の顔の横（或いは下等）で、顔画像に対して、距離画像生成器６で生成される距離画像が、所定距離範囲内の画像であり、これらの条件の下、物体のエッジが観測された場合には、仮想リモコンモードになるよう動作してもよい。
【００２４】
つまり、機器制御装置１０１は、顔と所定距離範囲内に所定以上の大きさの物体のエッジを検出した場合には、操作者が仮想リモコンを利用する動作をしたと判断する。そして、機器制御装置１０１は、画面にエッジ検出した対象物体（つまり、背景画像）の形状画像（対象物体形状画像）と、対象機器の操作メニュー（操作項目）とを表示するように動作する。
【００２５】
なお、上述したジェスチャ入力以外でも、操作者が意図的に仮想リモコンモードに切り替える動作を機器制御装置１０１側に伝えることができればよく、機器制御装置１０１は、例えば、操作者の音声により、トリガ信号を検出し、モードを切り替えてもよい。
【００２６】
仮想リモコンモードに入った場合、上述の撮像装置１、撮像装置３で得られた画像に対して、距離画像が距離画像生成器６で生成される。そして、その距離画像又は、距離画像に変換する前のオリジナルの画像情報について、様々な形状の認識処理が形状認識器７で実行される。
【００２７】
まず、機器制御装置１０１は、検出された画像の中から操作者を特定する必要がある。そして、機器制御装置１０１は、対象となる操作者が所持する物体の形状を認識し、更に操作者がこの物体に対して指示動作をした画像を認識する。機器制御装置１０１で検出された画像の一例を図３に示す。図３は、機器制御装置１０１が検出した画像の一例を示す図である。
【００２８】
なお、操作者は、操作対象機器１１と一体又は別体の表示装置１３に表示される前述の物体の形状（対象物体形状画像）と、操作対象機器の操作メニューと、更には、指示位置に係る指画像（又は指画像に係る画像）と、を見ながら指示動作を行なう。つまり、機器制御装置１０１は、指示位置が操作者に分かるように表示を行なう。図４は、表示装置１３に表示される画像の一例を示す図である。
【００２９】
＜操作者の特定に関する説明＞
機器制御装置１０１は、撮像装置１、撮像装置３で得られた画像情報から、操作者を特定する。より具体的に説明すると、機器制御装置１０１は、画像内から顔画像を抽出して画像内の人間の概略の位置を特定し、操作者を認識（特定）する。機器制御装置１０１は、顔の輪郭、目、鼻、口、耳等の距離間隔、肌の色情報等を取得し、人間の顔と認識する（図３の３２）。
【００３０】
なお、操作者を特定する精度を向上させる手法として、操作者は画面の方を向いていると考えられるので、撮像装置１、撮像装置３の近傍に近赤外線を発光可能な装置を配置（不図示）してもよい。そして、機器制御装置１０１は、瞳孔の反射を利用して、画像内の顔の位置を特定してもよい。機器制御装置１０１は、このようにして、人物を検知することによって、人間以外の動く物体の排除を行うことができる。なお、画像内に複数の人が存在する場合には、機器制御装置１０１は、先に検出したトリガ情報を用いて、動きベクトル領域の大きな画像領域に近い人間を操作者と特定する。
【００３１】
＜指示領域（背景画像）の切り出しに関する説明＞
操作者は任意の物体を対象物体と決定して、撮像装置１、撮像装置３に向けてその旨の動作行為をする。すると、機器制御装置１０１は、画像内から対象物体の画像を背景画像（図３の３４）として検出する処理を実行する。機器制御装置１０１は、この処理を、距離画像における顔画像に近接した領域における形状のエッジ（輪郭又は線成分）を検出することによって行う。なお、機器制御装置１０１は、顔画像から所定距離が離れているエッジ（図３の３３）は無視する。
【００３２】
ここで、機器制御装置１０１は、画像の不連続部分をエッジとして抽出し、このエッジを境界線として画像をいくつかの連続領域に分割する。つまり、機器制御装置１０１は、画像情報の輝度の変化点を抽出することにより対象物のエッジを検出する。より具体的な手法としては、２次微分処理、ハフ変換等がある。
【００３３】
つまり、上述したように、機器制御装置１０１は、操作者が任意に対象物体して選択した物体を一旦認識すると、認識対象物体を１つの塊として（背景画像の形状画像として）切り出す処理を実行する。機器制御装置１０１は、この認識対象物体を１つの塊として切り出す領域の特定に、領域の形状特徴情報と、領域内部の画像統計的特徴情報とを用いる。形状特徴情報は、幾何学的特徴（対象となる画像の距離、面積、重心、中心等）である。統計的特徴情報は、画像の輝度分布のパラメータ（平均輝度、分散値等）、カラー等である。
【００３４】
機器制御装置１０１は、対象物体（認識対象物体）の画像（形状画像）を、仮想リモコンモードの間はパターンマッチングの標準パターンとして例えば装置内のフレームメモリ等に保存する。そして、機器制御装置１０１は、撮像装置１のフレーム、撮像装置３のフレームごとに標準パターンと比較する。このことによって、機器制御装置１０１は、対象物体か否かの判定を行ない、仮想リモコンモードの間は、対象物体の追跡処理を行なう。
【００３５】
ここで、対象物体は、操作者の動きによっては、傾きや回転が生ずる場合がある。しかしながら、機器制御装置１０１は、標準パターンとして登録する際に所定のフレーム数の間で面積が最大となるエッジ領域を検出して、この背景画像の形状画像を標準パターンとして登録する。このことにより、機器制御装置１０１は、入力時の画像に対して、対象となる領域を回転等の補正をしてパターンマッチングを行なうことができる。よって、機器制御装置１０１は、対象物体（認識対象物体）の追跡処理を継続することができる。
【００３６】
なお、複雑な模様の対象物体等の場合には、エッジが多数検出されてしまう場合があるが、この場合、機器制御装置１０１は、距離画像による所定距離範囲内のものについて外側の境界を対象物体の形状の画像として検出するようにすればよい。
【００３７】
＜背景画像における指の認識に関する説明＞
次に、機器制御装置１０１は、対象物体のエッジ検出で検出した領域内の画像（背景画像）中の「指」（図３の３５）の位置を操作者の指示位置として認識する処理を実行する。機器制御装置１０１は、背景画像に対する指示位置を、背景画像に係る形状画像の頂点（基準点）に対する座標として算出する。
つまり、機器制御装置１０１は、対象物体に対する指示動作に係る指示位置を、対象物体の形状画像（より具体的には左上の頂点（基準点５２））と、指の画像（指画像）（より具体的には５３の位置）と、の相対的位置関係から算出する。なお、機器制御装置１０１は、予めデータベースとして幾つかのパターンの手の画像を取り込んでおくことによって、このパターンとのパターンマッチングで更に手（又は指）の認識の速度や精度等を向上させることができる。
【００３８】
＜操作メニューの画面表示に関する説明＞
指示位置合成器１２は、対象物体のエッジ画像（形状画像）と、操作対象機器の操作メニューと、指示位置に係る指画像と、を合成し、合成した画像を表示装置１３に出力する。なお、図４には、背景画像の形状画像と、操作メニュー（ボタン類）とが表示されている一例が示されている。
【００３９】
なお、対象物体の背景画像は、操作者が実際は動かしているが、画面に表示される形状画像は固定である。また、この形状画像の表示装置１３における表示は、操作者から見て鏡に写る向きと同じ向きに表示される。また、操作メニューのボタンの色は操作者に対して２段階（指示操作と、ボタンを押す操作と）で指示位置に対応してフィードバックされる（図４参照）（指示画像表示）。
【００４０】
なお、形状画像内において一定時間以上の間、所定範囲内に指示位置が滞留した場合、機器制御装置１０１は、該当するメニュー（操作メニュー、又は操作メニューに応じた処理）を実行するよう動作する。
【００４１】
また、形状画像内において一定時間以上の間、指画像が検出されない、即ち指示操作が行なわれない場合、機器制御装置１０１は、操作者が指示操作を終了したと判断して、表示装置１３における操作メニューの表示を終了する。
【００４２】
なお、機器制御装置１０１は、操作メニューの表示において、メニューボタンの配列として、形状画像に対応して配置を変更したり、拡大や縮小表示を行なったりしてもよい。また、操作メニューの表示位置は、図４では、表示装置１３の画面内で右下としたが、画面内のどこに表示してもよい。また、機器制御装置１０１は、操作者の動作に応じて操作メニューの表示位置を変更するようにしてもよい。また、機器制御装置１０１は、操作メニューに透過する形で指画像を表示してもよい。なお、背景画像が、操作メニューを表示する大きさとしては、小さすぎる場合や、背景画像を選択できない場合、機器制御装置１０１は、その旨を操作者に知らせるメッセージを表示装置１３に出力するようにしてもよい。
【００４３】
以上の動作は、機器制御装置１０１の制御機器５で制御され、各ブロックで処理が実行される。この制御機器５の動作を図６のフローチャートを用いて説明する。
【００４４】
図６は、制御機器５の動作の一例を説明するためのフローチャートである。
ステップＳ１０２において、制御機器５は、仮想リモコンモードに入るトリガの検出を行なう。このトリガ検出は上述したように、例えば、操作者のジェスチャを動き検出器８で検出処理することによって判断される。
【００４５】
そして、ステップＳ１０３において、制御機器５は、トリガを検出したか否かの判断処理を実行する。トリガが検出された場合は、ステップＳ１０４に進み、制御機器５は、検出された画像情報から顔画像を認識する等して人間を選択する動作を行なう。一方、トリガが検出されない場合には、ステップＳ１０２に進み、制御機器５は、再びトリガの検出を行なう。
【００４６】
ステップＳ１０５において、制御機器５は、画像から顔認識及び形状認識を実行し、画像の顔の位置に近接する物体のエッジ情報を検出する。続いて、ステップＳ１０６において、制御機器５は、形状認識したエッジ情報から背景画像の選択（背景画像検出）を行ない、例えば数フレームにおいて面積が最大となる背景画像の形状画像を標準パターンとして決定する。
【００４７】
ステップＳ１０７において、制御機器５は、画像内に存在する人間が１人か否かを、顔認識結果等に基づき判定する。そして、複数の候補が存在すると判定した場合には、ステップＳ１０８に進み、制御機器５は、複数の候補から１人を選択する処理を実行する。制御機器５は、例えば距離画像において、動きベクトルの最大の人を選択する。
【００４８】
ステップＳ１０９では、制御機器５は、ステップＳ１０６で選択した背景画像、即ち形状認識した対象物体の形状画像（エッジ情報の画像）を表示装置１３に出力する（形状画像表示）。そして、ステップＳ１１０において、制御機器５は、対象物体の形状画像（対象物体形状画像）に操作の対象となる機器の操作メニューを表示する（操作メニュー表示、又は操作項目表示）。
【００４９】
次にステップＳ１１１において、制御機器５は、ステップＳ１０６で決定された背景画像の標準パターンに係る追跡処理を実行する。そしてステップＳ１１２において、制御機器５は、背景画像と、標準パターンとの形状や輝度分布等の相関をとり、相関があると判断した場合には、ステップＳ１１４に進む。制御機器５は、相関がないと判断した場合には、ステップＳ１１３に進み、仮想リモコンモードを継続するか否かの判断を実行する。ここで、制御機器５は、予め決められた回数のフレーム数の間は、仮想リモコンモードを継続すると判断し、ステップＳ１１１に進み、背景画像の追跡処理が実行するが、それ以降は、仮想リモコンモードを終了すると判断し、ステップＳ１１７に進む。
【００５０】
次に、ステップＳ１１４において、制御機器５は、撮像装置１、撮像装置３で撮像された画像を検証し、指画像を認識する処理を実行する（指画像検出）。そして、ステップＳ１１５において、制御機器５は、対象物体の画像（背景画像）中に指画像が検出されたか否かの判断処理を実行する。指画像が検出されたと判断した場合には、制御機器５は、ステップＳ１１８に進む。一方、指画像が検出されないと判断した場合には、制御機器５は、ステップＳ１１６に進み、仮想リモコンモードを継続するか否かの判断処理を実行する。この判断処理は、ステップＳ１１３における判断処理と同様である。
【００５１】
続いて、ステップＳ１１８において、制御機器５は、指画像の位置（指示位置）を算出する。制御機器５は、上述したように、対象物体に対する指示動作に係る指示位置を、対象物体の形状画像と、指の画像（指画像）と、の相対的位置関係から算出する。なお、制御機器５は、背景画像を標準パターンに対して正規化し、背景差分法を用いて手を認識し、更に形状認識により指の位置を認識する。指の先端、即ち指示位置の算出処理を終えると、次にステップＳ１１９において、制御機器５は、対象物体形状画像と、操作メニューの画像と、ステップＳ１１８で計算した指示位置の画像（又は指画像）と、を合成させ、表示装置１３に表示させる。
【００５２】
ステップＳ１２０において、制御機器５は、操作者が操作メニューの選択動作をしたか検出する処理を実行する。制御機器５は、表示されている操作メニューのボタンに対して所定時間、指示位置（指画像）が滞留したか否かで判断する。
【００５３】
ステップＳ１２１において、制御機器５は、操作メニュー決定処理が実行されたか否かの判断処理を実行する。操作メニューが決定されたと判断した場合には、制御機器５は、ステップＳ１２２に進む。一方、操作メニューが決定されないと判断した場合には、制御機器５は、ステップＳ１１６に進み、リモコンモードを継続するか否かの判断処理を実行する。
【００５４】
ステップＳ１２２において、制御機器５は、選択された操作メニューに係るコマンドを送信する処理を実行する（コマンド送信）。そして、ステップＳ１１０に進み、制御機器５は、仮想リモコンモードを継続する間は、ステップＳ１１０以降の処理を繰り返す。
【００５５】
以上のように、本実施形態によれば、操作者が任意の物体に対して指示する動作の画像を認識し、機器のリモコンとして使用することができる。また、物体の形状画像と、指示動作に係る指示動作画像（指画像）と、の相対位置関係から物体に対する指示動作に係る指示位置を算出するため、認識率が向上する。また、更に、形状画像の画面表示により、ユーザーインターフェースが向上する。そのため操作性良く機器を制御することができる。
【００５６】
つまり、リモコンが手元にない場合や故障等して使用できない場合でも操作性よく対象機器を制御することができる。
【００５７】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【図面の簡単な説明】
【００５８】
【図１】機器制御装置１０１の構成を説明するための図である。
【図２】機器制御装置１０１をテレビ２１に組み込んだ一例を示した図である。
【図３】機器制御装置１０１が検出した画像の一例を示す図である。
【図４】表示装置１３に表示される画像の一例を示す図である。
【図５】指示位置の算出を説明するための図である。
【図６】制御機器５の動作の一例を説明するためのフローチャートである。
【符号の説明】
【００５９】
５      制御機器
１１    操作対象機器
１３    表示装置
１０１  機器制御装置
【図１】
0004968922.tif 000002
【図２】
0004968922.tif 000003
【図３】
0004968922.tif 000004
【図４】
0004968922.tif 000005
【図５】
0004968922.tif 000006
【図６】
0004968922.tif 000007