(57)【特許請求の範囲】
【請求項１】
撮像手段を備え、当該撮像手段により撮像される画像の状態により自身を遠隔操作する遠隔操作装置であって、
前記撮像手段により撮像される画像に基づいて、前記遠隔操作の実行の可否を決定するための第１の画像の状態と、前記遠隔操作を実行するための第２の画像の状態と、を検出する検出手段と、
前記検出手段により前記第１の画像の状態を検出した後、前記第２の画像の状態を検出すると、前記第２の画像の状態に対応付けられている所定の操作内容に応じて当該遠隔操作装置を動作させる前記遠隔操作の実行を可とする制御手段と、を備え、
前記制御手段は、前記検出手段により前記第１の画像の状態を検出した後、再度、前記第１の画像の状態を検出すると、前記遠隔操作の実行を否とすることを特徴とする遠隔操作装置。
【請求項２】
前記撮像手段により逐次生成される複数の画像フレームに基づいて、各画像フレームから、前記検出手段により検出された前記第２の画像の状態を追跡する追跡手段を更に備え、
前記追跡手段により追跡された前記第２の画像の状態の動作に基づいて、当該動作と対応する前記所定の操作内容に応じて当該遠隔操作装置を動作させることを特徴とする請求項１に記載の遠隔操作装置。
【請求項３】
前記第１の画像と第２の画像は、操作者の手であり、
前記操作者の手の状態の各々と前記所定の操作内容とが対応付けられていることを特徴とする請求項１又は２に記載の遠隔操作装置。
【請求項４】
前記撮像手段により逐次生成される複数の画像フレームのうち、一の画像フレームに係る画像領域内で前記第１の画像と第２の画像を入力可能な指示範囲を設定する指示範囲設定手段と、
前記撮像手段により撮像された画像内から操作者の顔を検出する第２検出手段と、
を更に備え、
前記指示範囲設定手段は、前記第２検出手段により検出された顔の位置を基準として前記指示範囲を設定することを特徴とする請求項１〜３の何れか一項に記載の遠隔操作装置。
【請求項５】
撮像手段を備え、当該撮像手段により撮像される画像の状態により自身を遠隔操作する遠隔操作装置の遠隔操作方法であって、
前記撮像手段により撮像される画像に基づいて、前記遠隔操作の実行の可否を決定するための第１の画像の状態と、前記遠隔操作を実行するための第２の画像の状態と、を検出する検出処理と、
前記検出処理により前記第１の画像の状態を検出した後、前記第２の画像の状態を検出すると、前記第２の画像の状態に対応付けられている所定の操作内容に応じて前記遠隔操作装置を動作させる前記遠隔操作の実行を可とする制御処理と、を含み、
前記制御処理は、前記検出処理により前記第１の画像の状態を検出した後、再度、前記第１の画像の状態を検出すると、前記遠隔操作の実行を否とすることを特徴とする遠隔操作方法。
【請求項６】
撮像手段を備え、当該撮像手段により撮像される画像の状態により自身を遠隔操作する遠隔操作装置のコンピュータを、
前記撮像手段により撮像される画像に基づいて、前記遠隔操作の実行の可否を決定するための第１の画像の状態と、前記遠隔操作を実行するための第２の画像の状態と、を検出する検出手段、
前記検出手段により前記第１の画像の状態を検出した後、前記第２の画像の状態を検出すると、前記第２の画像の状態に対応付けられている所定の操作内容に応じて前記遠隔操作装置を動作させる前記遠隔操作の実行を可とする制御手段、として機能させ、
前記制御手段は、前記検出手段により前記第１の画像の状態を検出した後、再度、前記第１の画像の状態を検出すると、前記遠隔操作の実行を否とすることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作対象を遠隔操作する遠隔操作装置、遠隔操作方法及びプログラムに関する。
【背景技術】
【０００２】
従来、撮像された動画像から被撮影者の所定の動きが検出されると、静止画像の撮影のためのシャッターをきる動作を行う撮像装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−７２１８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記特許文献１等では、被撮影者の一つの動作（ウィンク）が検出されたか否かに応じて一の動作（シャッター）を操作しているだけであり、各種の操作を複数実行することができないといった問題がある。
【０００５】
本願発明の課題は、複数の遠隔操作を適正に行うことができる遠隔操作装置、遠隔操作方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の遠隔操作装置は、
撮像手段を備え、当該撮像手段により撮像される画像の状態により自身を遠隔操作する遠隔操作装置であって、
前記撮像手段により撮像される画像に基づいて、前記遠隔操作の実行の可否を決定するための第１の画像の状態と、前記遠隔操作を実行するための第２の画像の状態と、を検出する検出手段と、
前記検出手段により前記第１の画像の状態を検出した後、前記第２の画像の状態を検出すると、前記第２の画像の状態に対応付けられている所定の操作内容に応じて当該遠隔操作装置を動作させる前記遠隔操作の実行を可とする制御手段と、を備え、
前記制御手段は、前記検出手段により前記第１の画像の状態を検出した後、再度、前記第１の画像の状態を検出すると、前記遠隔操作の実行を否とすることを特徴としている。
【０００７】
また、本発明の遠隔操作方法は、
撮像手段を備え、当該撮像手段により撮像される画像の状態により自身を遠隔操作する遠隔操作装置の遠隔操作方法であって、
前記撮像手段により撮像される画像に基づいて、前記遠隔操作の実行の可否を決定するための第１の画像の状態と、前記遠隔操作を実行するための第２の画像の状態と、を検出する検出処理と、
前記検出処理により前記第１の画像の状態を検出した後、前記第２の画像の状態を検出すると、前記第２の画像の状態に対応付けられている所定の操作内容に応じて前記遠隔操作装置を動作させる前記遠隔操作の実行を可とする制御処理と、を含み、
前記制御処理は、前記検出処理により前記第１の画像の状態を検出した後、再度、前記第１の画像の状態を検出すると、前記遠隔操作の実行を否とすることを特徴としている。
【０００８】
また、本発明のプログラムは、
撮像手段を備え、当該撮像手段により撮像される画像の状態により自身を遠隔操作する遠隔操作装置のコンピュータを、
前記撮像手段により撮像される画像に基づいて、前記遠隔操作の実行の可否を決定するための第１の画像の状態と、前記遠隔操作を実行するための第２の画像の状態と、を検出する検出手段、
前記検出手段により前記第１の画像の状態を検出した後、前記第２の画像の状態を検出すると、前記第２の画像の状態に対応付けられている所定の操作内容に応じて前記遠隔操作装置を動作させる前記遠隔操作の実行を可とする制御手段、として機能させ、
前記制御手段は、前記検出手段により前記第１の画像の状態を検出した後、再度、前記第１の画像の状態を検出すると、前記遠隔操作の実行を否とすることを特徴としている。
【発明の効果】
【０００９】
本発明によれば、操作対象に対する複数の遠隔操作を適正に行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明を適用した一実施形態の表示装置の概略構成を示すブロック図である。
【図２】図１の表示装置による設定処理に係る動作の一例を示すフローチャートである。
【図３】図２の設定処理にかかる画像の一例を模式的に示す図である。
【図４】図１の表示装置による操作処理に係る動作の一例を示すフローチャートである。
【図５】図４の操作処理の一例を説明するための図である。
【図６】図４の操作処理にかかる画像の一例を模式的に示す図である。
【図７】図４の操作処理の一例を説明するための図である。
【図８】図４の操作処理の一例を説明するための図である。
【図９】図４の操作処理の一例を説明するための図である。
【発明を実施するための形態】
【００１１】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の表示装置１００の概略構成を示すブロック図である。
【００１２】
本実施形態の表示装置１００は、例えば、卓上に設置されるデジタルフォトフレーム等であり、具体的には、図１に示すように、表示部１と、表示制御部２と、撮像部３と、画像処理部４と、顔検出部５と、操作制御部６と、記録制御部７と、操作入力部８と、メモリ９と、中央制御部１０とを備えている。
【００１３】
表示部１は、例えば、液晶表示パネルや有機ＥＬ表示パネルなどから構成されている。そして、表示部１は、表示制御部２の制御下にて、記録媒体Ｍに記録されている所定の画像（図３（ａ）参照）を表示画面１ａに表示する。
【００１４】
表示制御部２は、画像を表示部１に表示させる制御を行う。
即ち、表示制御部２は、記録制御部７により記録媒体Ｍから読み出され画像処理部４により復号された所定サイズの画像データを取得して、当該画像データを表示部１に出力することで、当該画像データを表示部１の表示画面１ａに表示させる制御を行う。また、所謂、スライドショー再生表示を行う場合には、表示制御部２は、複数の画像データを所定のタイミングで表示部１に出力して、これら複数の画像を所定の時間間隔で切り替えて表示画面１ａに表示する。
また、表示制御部２は、操作制御部６の第１設定部６ａ（後述）により設定された操作指示範囲Ｒの画像を表示画像Ｇに重畳させるように（ピクチャー・イン・ピクチャーの状態）、表示画面１ａの所定位置（例えば、向かって右上隅部等）に表示させても良い。
【００１５】
撮像部３は、レンズ部３ａと、電子撮像部３ｂと、ユニット回路部３ｃとを具備している。
レンズ部３ａは、例えば、表示部１に表示される画像の操作者Ｏを撮像可能となるように、表示部１の表示画面１ａと同じ方向に向けて露出されている（図３（ａ）参照）。
電子撮像部３ｂは、レンズ部３ａの光軸上に配置されている。また、電子撮像部３ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部３ａの各種レンズを通過した光学像を所定の周期毎に二次元の画像信号（ＲＧＢ画像データ）に変換して、ユニット回路部３ｃに出力する。
ユニット回路部３ｃは、例えば、図示は省略するが、ＣＤＳ（Correlated Double Sampling：相関二重サンプリング回路）、ＡＧＣ（Auto Gain Control：ゲイン調整アンプ）、ＡＤＣ（Analog to Digital Converter：アナログ／デジタル変換器）等を具備している。このユニット回路部３ｃは、電子撮像部３ｂから出力されて入力される被写体の光学像に応じたアナログの画像信号（画像フレーム）を撮像フレームレートに応じた所定の周期毎にＣＤＳにより保持し、当該画像信号をＡＧＣにより増幅した後、増幅された画像信号をＡＤＣによりデジタルの画像信号に変換する。そして、ユニット回路部３ｃは、デジタルの画像信号を画像処理部４に送信する。
【００１６】
このように、撮像部３は、撮像により画像フレームを逐次生成する撮像手段を構成している。
【００１７】
画像処理部４は、ユニット回路部３ｃから送られてきたＡ／Ｄ変換後の画像信号に対して、画素毎のＲ，Ｇ，Ｂの色成分データ（ＲＧＢデータ）を生成するＲＧＢ補間処理、ＲＧＢデータから輝度信号（Ｙ）と色差信号（Ｕ、Ｖ）からなるＹＵＶデータを画素毎に生成するＹＵＶ変換処理、さらに輪郭強調などの画品質向上のためのデジタル信号処理を行う。そして、画像処理部４は、変換後の各画像フレームのＹＵＶデータをメモリ９に順次出力し、当該メモリ９に格納させる。
【００１８】
また、画像処理部４は、記録媒体Ｍから読み出された表示対象に係る静止画像や動画像の画像データを対応する所定の符号化方式に従って復号して、表示制御部２に出力する。このとき、画像処理部４は、記録媒体Ｍから読み出された画像データを、例えば、表示部１の表示解像度等に基づいて所定サイズ（例えば、ＶＧＡサイズ等）に縮小して表示制御部２に出力しても良い。
【００１９】
顔検出部５は、撮像部３により連続して撮像された複数の画像の各々から顔領域を検出する。
即ち、顔検出部５は、撮像部３の画像処理部４により生成された被写体（例えば、操作者Ｏ）の各画像フレームの画像データ（ＹＵＶデータ）をメモリ９から取得して、当該画像データに対して所定の顔検出処理を行って顔領域を検出する。なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
ここで、顔検出部５は、撮像部３により撮像された画像内から操作者Ｏの顔を検出する第２検出手段を構成している。
【００２０】
操作制御部６は、第１設定部６ａと、第２設定部６ｂと、指示部検出部６ｃと、指示部追跡部６ｄと、動作制御部６ｅと、操作内容テーブルＴとを具備している。
【００２１】
第１設定部６ａは、当該装置本体を操作するための操作指示を入力可能な操作指示範囲Ｒを設定する。
即ち、第１設定部６ａは、撮像部３により逐次生成される複数の画像フレームのうち、一の画像フレームに係る画像領域内で操作指示範囲Ｒを設定する。具体的には、第１設定部６ａは、撮像部３による撮像によって画像処理部４により逐次生成される複数の画像フレームのＹＵＶデータのうち、一の画像フレームのＹＵＶデータをメモリ９から取得する。そして、第１設定部６ａは、当該画像フレームに係る画像領域内で、顔検出部５により検出された顔の位置を基準（例えば、中心）として、操作対象である当該装置本体を所定動作させるための操作指示を入力可能な操作指示範囲Ｒの４隅の座標を設定する。
つまり、画像フレームの画像領域のうち、操作者Ｏの顔の周囲の所定範囲内の空間を撮像した領域が操作指示範囲Ｒとなることから、操作者Ｏにとっては、自身の顔の周囲の所定範囲内の空間（少なくとも二次元の空間）が操作指示を入力可能な範囲となる。
このように、第１設定部６ａは、撮像部３により逐次生成される複数の画像フレームのうち、一の画像フレームに係る画像領域内で装置本体（操作対象）を操作するための操作指示を入力可能な操作指示範囲Ｒを設定する第１設定手段を構成している。
【００２２】
第２設定部６ｂは、装置本体の所定の操作を指示する操作指示部ｉの状態を設定する。
即ち、第２設定部６ｂは、装置本体の複数の操作内容とそれぞれ対応付けられた操作指示部ｉの状態を少なくとも二つ設定して、当該設定された内容を操作内容テーブルＴに記録する。
ここで、操作指示部ｉとは、操作者Ｏの手であり、当該手を握った状態（第１状態）ｉ１と手を開いた状態（第２状態）ｉ２とがある。
また、装置本体の複数の操作の内容としては、例えば、操作指示部（手）ｉによる操作の開始及び終了を指示する操作、表示画面１ａに表示されている画像の変倍（拡大及び縮小）を指示する操作、画像の切り替えを指示する操作、当該装置本体の電源のＯＦＦを指示する操作、動作モードの切り替えを指示する操作等が挙げられるが、一例であってこれらに限られるものではなく、適宜任意に変更可能である。
【００２３】
具体的には、例えば、第２設定部６ｂは、画像処理部４により逐次生成される各画像フレームのＹＵＶデータに基づいて、各状態の操作指示部（手）ｉの存しない画像フレームと各状態の操作指示部（手）ｉの存する画像フレームとの差分情報を生成し、エッジ検出処理等の各種の画像処理を施すことで、第１状態及び第２の操作指示部（手）ｉ１、ｉ２を特定する。そして、第２設定部６ｂは、特定された第１状態（握った状態）の手ｉ１と操作の開始及び終了を指示する操作とを対応付け、第２状態（開いた状態）の手ｉ２と表示画面１ａに表示されている画像の変倍（拡大及び縮小）を指示する操作とを対応付けて設定し、当該設定された内容を操作内容テーブルＴに記録する。
また、操作内容テーブルＴには、第１状態及び第２状態の各々について左右両方の手を設定しても良い。また。操作内容テーブルＴには、第２状態の操作指示部（開いた状態の手）ｉ２の動作の種類（例えば、互いに離れる動作や互いに近付く動作等）と、所定の操作内容（例えば、画像の拡大や縮小等）とを対応付けて設定しても良い。このとき、第２状態の操作指示部ｉの動作の大きさや速度と、所定の操作内容の程度（例えば、画像の拡大や縮小の比率等）とを対応付けても良い。例えば、第２状態の手ｉ２の移動速度や移動の大きさが相対的に大きい程、画像の拡大や縮小の比率を大きくする一方で、第２状態の手ｉ２の移動速度や移動の大きさが相対的に小さい程、画像の拡大や縮小の比率を小さくするようにしても良い。
【００２４】
なお、操作指示部（手）ｉの特定方法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、第２設定部６ｂは、顔と同系色の領域を探索して候補領域として抽出し、当該候補領域の中で所定の各状態の操作指示部（手）ｉのテンプレートを基準として、輪郭形状から第１状態及び第２の操作指示部（手）ｉ１、ｉ２を特定しても良い。
また、操作者Ｏの手の状態として、当該手を握った状態（第１状態）と手を開いた状態（第２状態）を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、じゃんけんの「グー」、「チョキ」、「パー」の各々の状態を第１〜第３状態としても良い。
このように、第２設定部６ｂは、装置本体（操作対象）の所定の操作内容と対応付けられ、当該操作を指示する操作指示部ｉの状態を少なくとも二つ設定する第２設定手段を構成している。
【００２５】
指示部検出部６ｃは、第１状態及び第２状態の操作指示部（手）ｉ１、ｉ２を検出する。
即ち、指示部検出部６ｃは、画像処理部４により逐次生成される各画像フレームのＹＵＶデータに基づいて、各画像フレームの操作指示範囲Ｒ内で、第１状態及び第２状態のうち、何れか一の状態の操作指示部ｉ（例えば、第１状態の操作指示部ｉ等）を検出する。具体的には、指示部検出部６ｃは、画像処理部４により逐次生成される各画像フレームから顔と同系色の領域を探索して候補領域として抽出し、当該候補領域の中で、第２設定部６ｂにより設定済みの各状態の操作指示部（手）ｉをテンプレートとして、輪郭形状から第１状態の操作指示部ｉ（或いは、第２状態の操作指示部ｉ）を検出する。
なお、操作指示部ｉの状態が３つ以上設定されている場合には、指示部検出部６ｃは、それぞれの状態の操作指示部ｉを検出するようにしても良い。また、指示部検出部６ｃは、二つの操作指示部ｉの状態のうち、何れか一方の状態を検出しても良い。
ここで、指示部検出部６ｃは、撮像部３により逐次生成される複数の画像フレームに基づいて、各画像フレームの操作指示範囲Ｒ内で、少なくとも二つの操作指示部ｉの状態の各々を検出する第１検出手段を構成している。
【００２６】
指示部追跡部６ｄは、指示部検出部６ｃにより検出された第２状態の操作指示部（手）ｉ２を追跡する。
即ち、指示部追跡部６ｄは、画像処理部４により逐次生成される各画像フレームのＹＵＶデータに基づいて、各画像フレームの操作指示範囲Ｒ内で第２状態の操作指示部ｉを追跡する。具体的には、指示部追跡部６ｄは、指示部検出部６ｃにより検出された第２状態の操作指示部ｉを追跡対象として設定し、当該追跡対象の第２状態の操作指示部ｉを隣合う画像フレーム間で動体解析により追跡する。
【００２７】
ここで、動体解析の一例について詳細に説明する。
指示部追跡部６ｄは、指示部検出部６ｃにより一の画像フレームから第２状態の操作指示部ｉが検出されると、当該第２状態の操作指示部ｉと重なるように追跡枠（例えば、矩形枠等；図示略）を設定する。また、指示部追跡部６ｄは、追跡枠の各角部の座標を取得し、取得された座標を追跡用座標としてメモリ９に記憶する。
そして、指示部追跡部６ｄは、追跡枠内の第２状態の操作指示部ｉの輝度情報や色情報等の画像情報をテンプレートとして、次の画像フレームの操作指示範囲Ｒ内にて追跡枠の角部の座標（追跡用座標）近傍の所定の動体探索範囲内を所定方向に走査してマッチングを行い、最も近似性の高い部分を第２状態の操作指示部ｉとする。その後、指示部追跡部６ｄは、最も近似性が高いと判定された第２状態の操作指示部ｉと重なるように追跡枠を設定した後、設定された追跡枠の各角部の座標を取得して当該座標によりメモリ９の追跡用座標を更新する。さらに、指示部追跡部６ｄは、追跡枠内の第２状態の操作指示部ｉの輝度情報や色情報等の画像情報をテンプレートとして更新する。
上記の処理を、指示部追跡部６ｄは、画像処理部４により逐次生成される複数の画像フレームの各々の操作指示範囲Ｒに対して逐次実行することにより、マッチングに用いるテンプレートが更新されていく。そのため、第２状態の操作指示部ｉの位置が経時的に変化しても当該第２状態の操作指示部ｉを動体として追跡することができる。
なお、一の画像フレームの操作指示範囲Ｒ内から第２状態の操作指示部ｉと近似する領域が検出されなかった場合には、指示部追跡部６ｄによる第２状態の操作指示部ｉの追跡は終了する。
【００２８】
なお、上記した動体解析の方法は一例であってこれに限られるものではなく、適宜任意に変更可能である。また、追跡処理として動体解析を適用したものを例示したが、これに限られるものではなく、適宜任意に変更可能である。
このように、指示部追跡部６ｄは、撮像部３により逐次生成される複数の画像フレームに基づいて、各画像フレームの操作指示範囲Ｒ内で、指示部検出部６ｃにより検出された状態の操作指示部ｉを追跡する追跡手段を構成している。
【００２９】
動作制御部６ｅは、各状態の操作指示部ｉと対応する所定の操作内容に応じて装置本体を動作させる。
即ち、動作制御部６ｅは、指示部検出部６ｃにより検出された各状態の操作指示部ｉや指示部追跡部６ｄにより追跡される操作指示部ｉの動作の各々と対応付けられている所定の操作内容の実行指示を生成して、当該実行指示に基づいて操作対象としての装置本体を所定動作させる。
具体的には、動作制御部６ｅは、指示部検出部６ｃにより第１状態の操作指示部（閉じた状態の手）ｉ１が検出された場合には、操作内容テーブルＴを参照して、当該第１状態の操作指示部ｉと対応付けられている当該装置本体の遠隔操作の開始及び終了を指示する実行指示を生成して、当該実行指示に基づいて装置本体の遠隔操作を開始させたり終了させる。また、動作制御部６ｅは、指示部検出部６ｃにより第２状態の操作指示部ｉが検出された場合には、指示部追跡部６ｄにより追跡される第２状態の操作指示部ｉの動作（例えば、互いに離れる動作や互いに近付く動作等）を特定した後、操作内容テーブルＴを参照して、当該第２状態の操作指示部ｉの動作と対応付けられている当該装置本体の遠隔操作の内容（例えば、画像の拡大や縮小等）を指示する実行指示を生成して、当該実行指示に基づいて装置本体を遠隔操作する。
【００３０】
このように、動作制御部６ｅは、指示部検出部６ｃにより検出された各状態の操作指示部ｉと対応付けられている所定の操作内容に応じて装置本体（操作対象）を動作させる制御手段を構成している。
【００３１】
記録制御部７は、記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。
即ち、記録制御部７は、所定の符号化方式（例えば、ＪＰＥＧ形式、モーションＪＰＥＧ形式、ＭＰＥＧ形式など）に従って符号化された静止画像の画像データや複数の画像フレームからなる動画像の画像データを記録媒体Ｍから読み出して画像処理部４に転送する。
なお、記録媒体Ｍは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
【００３２】
操作入力部８は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成される操作部を備え、これらの操作部の操作に応じて所定の操作信号を中央制御部１０に出力する。
【００３３】
メモリ９は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、表示制御部２、撮像部３、画像処理部４、顔検出部５、操作制御部６、記録制御部７、中央制御部１０等によって処理されるデータ等を一時的に記憶する。
【００３４】
中央制御部１０は、表示装置１００の各部を制御するものである。具体的には、中央制御部１０は、図示は省略するが、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を備え、表示装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００３５】
次に、表示装置１００による設定処理について、図２及び図３を参照して説明する。
図２は、設定処理に係る動作の一例を示すフローチャートである。また、図３（ａ）は、表示装置１００の表示部１に表示されている画像の一例を模式的に示す図であり、図３（ｂ）は、操作指示範囲Ｒ内の第１状態の操作指示部ｉを模式的に表し、図３（ｃ）は、操作指示範囲Ｒ内の第２状態の操作指示部ｉを模式的に表している。なお、図３（ｂ）及び図３（ｃ）にあっては、操作指示部ｉとして、手首から先の手のみを模式的に表している。
【００３６】
設定処理は、ユーザによる操作入力部８の所定操作に基づいて、表示部１に表示されたメニュー画面内の複数のモードの中から「設定処理モード」が選択指示された場合に実行される処理である。また、表示部１の表示画面１ａには、記録媒体Ｍから読み出された所定の画像Ｇが表示されているものとする。
【００３７】
図２に示すように、先ず、撮像部３は、被写体としての操作者Ｏを連続して撮像し、レンズ部３ａを通過した光学像を電子撮像部３ｂにより二次元の画像信号（ＲＧＢ画像データ）に逐次変換し、ユニット回路部３ｃは、電子撮像部３ｂから出力されて入力される二次元の画像信号（画像フレーム）を所定の周期毎にデジタルの画像信号に変換して画像処理部４に送信する（ステップＳ１）。画像処理部４は、各画像フレームのＹＵＶデータを生成してメモリ９に順次出力し、当該メモリ９に格納させる。
次に、顔検出部５は、メモリ９から各画像フレームの画像データ（ＹＵＶデータ）を取得して、当該画像データに対して所定の顔検出処理を行って、操作者Ｏの顔領域が検出されたか否かを判定する（ステップＳ２）。
ステップＳ２における判定は、顔領域が検出されたと判定されるまで（ステップＳ２；ＹＥＳ）、繰り返し実行される。
【００３８】
そして、ステップＳ２にて、顔領域が検出されたと判定されると（ステップＳ２；ＹＥＳ）、操作制御部６の第１設定部６ａは、当該画像フレームに係る画像領域内で、顔検出部５により検出された顔を基準として、操作対象である当該装置本体の所定の操作をするための操作指示を入力可能な操作指示範囲Ｒを設定する（ステップＳ３）。具体的には、第１設定部６ａは、操作者Ｏの顔の位置を基準（例えば、中心）として、当該顔のサイズから顔の周囲の所定範囲内の空間が操作指示を入力可能な範囲となるように操作指示範囲Ｒの４隅の座標を設定する。
操作指示範囲Ｒが設定されると、表示制御部２は、当該操作指示範囲Ｒの画像を表示画像Ｇに重畳させるように表示画面１ａの所定位置（例えば、向かって右上隅部等）に表示させる（図３（ａ）参照）。これにより、操作者Ｏに対して、当該操作者Ｏ自身の顔の周囲の所定範囲を操作指示を入力可能な範囲として把握させることができる。
【００３９】
続けて、第２設定部６ｂは、遠隔操作の開始及び終了の指示に係る操作指示部（手）ｉの第１状態を設定して操作内容テーブルＴに記録する（ステップＳ４）。具体的には、第２設定部６ｂは、画像処理部４により逐次生成される各画像フレームのＹＵＶデータに基づいて、第１状態の操作指示部ｉの存しない画像フレームと第１状態の操作指示部（握った状態の手）ｉ１の存する画像フレームとの差分情報を生成し、エッジ検出処理等の各種の画像処理を施すことで、第１状態である握った状態の手（図３（ｂ）参照）を特定して、当該第１状態の手ｉ１と操作の開始及び終了を指示する操作とを対応付けて操作内容テーブルＴに記録する。
その後、第２設定部６ｂは、表示画面１ａに表示されている画像の変倍（拡大及び縮小）の指示に係る操作指示部（手）ｉの第２状態を設定して操作内容テーブルＴに記録する（ステップＳ５）。具体的には、第２設定部６ｂは、画像処理部４により逐次生成される各画像フレームのＹＵＶデータに基づいて、第２状態の操作指示部ｉの存しない画像フレームと第２状態の操作指示部（開いた状態の手）ｉ２の存する画像フレームとの差分情報を生成し、エッジ検出処理等の各種の画像処理を施すことで、第２状態である開いた状態の手（図３（ｓ）参照）を特定して、当該第２状態の手ｉ２と画像の変倍（拡大及び縮小）を指示する操作とを対応付けて操作内容テーブルＴに記録する。このとき、第２設定部６ｂは、第２状態の操作指示部（開いた状態の手）ｉ２の動作の種類（例えば、互いに離れる動作や互いに近付く動作等）と、画像の変倍操作とを対応付けても良い。
【００４０】
その後、中央制御部１０のＣＰＵは、ユーザによる操作入力部８の所定操作に基づいて、設定処理の終了指示が入力されたか否かを判定する（ステップＳ６）。
ここで、設定処理の終了指示が入力されてないと判定されると（ステップＳ６；ＮＯ）、中央制御部１０のＣＰＵは、処理をステップＳ４に戻し、上記と同様に、ステップＳ４以降の処理の実行を制御する。
一方、設定処理の終了指示が入力されたと判定されると（ステップＳ６；ＹＥＳ）、中央制御部１０のＣＰＵは、当該設定処理を終了させる。
【００４１】
次に、表示装置１００による操作処理について、図４〜図６を参照して説明する。
図４は、操作処理に係る動作の一例を示すフローチャートであり、図５（ａ）〜図５（ｄ）は、操作処理を説明するための図である。また、図６（ａ）及び図６（ｂ）は、表示装置１００の表示部１に表示されている画像の一例を模式的に示す図であり、図６（ａ）は、図５（ｂ）の操作に対応する画像の一例を模式的に示す図であり、図６（ｂ）は、図５（ｃ）の操作に対応する画像の一例を模式的に示す図である。
なお、図５（ａ）〜図５（ｄ）並びに図６（ａ）及び図６（ｂ）にあっては、操作指示部ｉとして、手首から先の手のみを模式的に表している。
【００４２】
操作処理は、ユーザによる操作入力部８の所定操作に基づいて、表示部１に表示されたメニュー画面内の複数のモードの中から「操作処理モード」が選択指示された場合に実行される処理である。また、表示部１の表示画面１ａには、記録媒体Ｍから読み出された所定の画像Ｇが表示されているものとする。
【００４３】
図４に示すように、先ず、撮像部３は、被写体としての操作者Ｏを連続して撮像し、レンズ部３ａを通過した光学像を電子撮像部３ｂにより二次元の画像信号（ＲＧＢ画像データ）に逐次変換し、ユニット回路部３ｃは、電子撮像部３ｂから出力されて入力される二次元の画像信号（画像フレーム）を所定の周期毎にデジタルの画像信号に変換して画像処理部４に送信する（ステップＳ１１）。画像処理部４は、各画像フレームのＹＵＶデータを生成してメモリ９に順次出力し、当該メモリ９に格納させる。
次に、顔検出部５は、メモリ９から各画像フレームの画像データ（ＹＵＶデータ）を取得して、当該画像データに対して所定の顔検出処理を行って、操作者Ｏの顔領域が検出されたか否かを判定する（ステップＳ１２）。
ステップＳ１２における判定は、顔領域が検出されたと判定されるまで（ステップＳ１２；ＹＥＳ）、繰り返し実行される。
【００４４】
そして、ステップＳ１２にて、顔領域が検出されたと判定されると（ステップＳ２；ＹＥＳ）、操作制御部６の第１設定部６ａは、当該画像フレームに係る画像領域内で、顔検出部５により検出された顔を基準として、操作対象である当該装置本体の所定の操作をするための操作指示を入力可能な操作指示範囲Ｒを設定する（ステップＳ１３）。なお、操作指示範囲Ｒの設定方法は、上記設定処理における場合と同様であり、その詳細な説明は省略する。
操作指示範囲Ｒが設定されると、表示制御部２は、当該操作指示範囲Ｒの画像を表示画像に重畳させるように表示画面１ａの所定位置（例えば、向かって右上隅部等）に表示させる（図６（ａ）及び図６（ｂ）参照）。
【００４５】
続けて、指示部検出部６ｃは、画像処理部４により逐次生成される各画像フレームのＹＵＶデータに基づいて、各画像フレームの操作指示範囲Ｒ内で、第１状態の操作指示部ｉ（閉じた状態の手）を検出する処理を行って、第１状態の手ｉ１が検出されたか否かを判定する（ステップＳ１４；図５（ａ）参照）。具体的には、指示部検出部６ｃは、画像処理部４により逐次生成される各画像フレームから顔と同系色の領域を探索して候補領域として抽出し、当該候補領域の中で、第２設定部６ｂにより設定済みの第１状態の手ｉ１をテンプレートとして、輪郭形状から第１状態の手ｉ１を検出する。
ステップＳ１４にて、第１状態の手ｉ１が検出されていないと判定されると（ステップＳ１４；ＮＯ）、中央制御部１０のＣＰＵは、処理をステップＳ１２に戻し、上記と同様に、ステップＳ１２以降の処理の実行を制御する。
【００４６】
そして、第１状態の手ｉ１が検出されたと判定されると（ステップＳ１４；ＹＥＳ）、動作制御部６ｅは、操作内容テーブルＴを参照して、当該第１状態の手ｉ１と対応付けられている当該装置本体の遠隔操作の開始を指示する実行指示を生成して、当該実行指示に基づいて装置本体の遠隔操作を開始させる（ステップＳ１５）。
次に、指示部検出部６ｃは、画像処理部４により逐次生成される各画像フレームのＹＵＶデータに基づいて、各画像フレームの操作指示範囲Ｒ内で、第２状態の操作指示部（開いた状態の手）ｉ２を検出する処理を行って、第２状態の手ｉ２が検出されたか否かを判定する（ステップＳ１６；図５（ｂ）参照））。具体的には、指示部検出部６ｃは、画像処理部４により逐次生成される各画像フレームから顔と同系色の領域を探索して候補領域として抽出し、当該候補領域の中で、第２設定部６ｂにより設定済みの第２状態の手ｉ２をテンプレートとして、輪郭形状から第２状態の手ｉ２を検出する。
ステップＳ１６にて、第２状態の手ｉ２が検出されていないと判定されると（ステップＳ１６；ＮＯ）、中央制御部１０のＣＰＵは、処理をステップＳ１４に戻し、上記と同様に、ステップＳ１４以降の処理の実行を制御する。
【００４７】
そして、ステップＳ１６にて、第２状態の手ｉ２が検出されたと判定されると（ステップＳ１６；ＹＥＳ）、指示部追跡部６ｄは、画像処理部４により逐次生成される各画像フレームのＹＵＶデータに基づいて、各画像フレームの操作指示範囲Ｒ内で第２状態の手ｉ２を追跡する（ステップＳ１７）。具体的には、指示部追跡部６ｄは、指示部検出部６ｃにより検出された第２状態の手ｉ２を追跡対象として設定し、当該追跡対象の第２状態の手ｉ２を隣合う画像フレーム間で動体解析により追跡する。
続けて、動作制御部６ｅは、指示部追跡部６ｄにより追跡される第２状態の手ｉ２の動作（例えば、互いに離れる動作；図５（ｂ）及び図５（ｃ）参照）を特定した後、操作内容テーブルＴを参照して、当該第２状態の手ｉ２の動作と対応付けられている当該装置本体の遠隔操作の内容（例えば、画像の拡大）を指示する実行指示を生成して、当該実行指示に基づいて装置本体を遠隔操作する（ステップＳ１８）。即ち、図６（ｂ）に示すように、動作制御部６ｅは、表示部１に表示されている画像の拡大表示を指示する実行指示を生成して、表示制御部２に出力する。表示制御部２は、当該実行指示に基づいて、表示部１に表示されている画像を所定の比率で拡大表示させる。
ここで、動作制御部６ｅは、例えば、表示されている画像の所定位置（例えば、中心）を基準として拡大するような実行指示を生成しても良いし、また、操作指示範囲Ｒ内での第２状態の手ｉ２の位置を基準として、当該手の位置（例えば、右上隅部や左下隅部等）に応じて画像の所定位置（例えば、右上隅部や左下隅部等）を中心として拡大するような実行指示を生成しても良い。
【００４８】
次に、指示部検出部６ｃは、画像処理部４により逐次生成される各画像フレームのＹＵＶデータに基づいて、各画像フレームの操作指示範囲Ｒ内で、第１状態の操作指示部ｉ（閉じた状態の手）を検出する処理を行って、第１状態の手ｉ１が検出されたか否かを判定する（ステップＳ１９；図５（ｄ）参照）。ステップＳ１９における判定処理は、ステップＳ１４における判定処理と略同様であり、その詳細な説明は省略する。
ステップＳ１９にて、第１状態の手ｉ１が検出されていないと判定されると（ステップＳ１９；ＮＯ）、中央制御部１０のＣＰＵは、処理をステップＳ１６に戻し、上記と同様に、ステップＳ１６以降の処理の実行を制御する。
【００４９】
そして、第１状態の手ｉ１が検出されたと判定されると（ステップＳ１９；ＹＥＳ）、動作制御部６ｅは、操作内容テーブルＴを参照して、当該第１状態の手ｉ１と対応付けられている当該装置本体の遠隔操作の終了を指示する実行指示を生成して、当該実行指示に基づいて装置本体の遠隔操作を終了させる（ステップＳ２０）。
【００５０】
なお、上記実施形態では、開いた状態（第２状態）の手ｉ２を、表示画面１ａに表示されている画像の拡大及び縮小を指示する操作と対応付けて設定するようにしたが、一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、画像の切り替えを指示する操作（図７参照）や当該装置本体の電源のＯＦＦを指示する操作（図８参照）と対応付けても良い。
即ち、開いた状態（第２状態）の手ｉ２と、画像の切り替えを指示する操作とを対応付けた場合、操作処理のステップＳ１４にて、閉じた状態の手ｉ１（図７（ａ）参照）の検出により遠隔操作が開始された後、ステップＳ１６にて、開いた状態の手ｉ２（図７（ｂ）参照）が検出されると（ステップＳ１６；ＹＥＳ）、ステップＳ１７にて、指示部追跡部６ｄは、各画像フレームの操作指示範囲Ｒ内で第２状態の手ｉ２を追跡する。そして、ステップＳ１８にて、動作制御部６ｅは、指示部追跡部６ｄにより追跡される第２状態の手ｉ２の動作（例えば、操作者Ｏの右（向かって左）から左（向かって右）に移動する動作；図７（ｂ）及び図７（ｃ）参照）を特定した後、操作内容テーブルＴに当該第２状態の手ｉ２の動作と対応付けられている当該装置本体の遠隔操作の内容（例えば、次の画像に切り替え）を指示する実行指示を生成して、当該実行指示に基づいて装置本体を遠隔操作する。即ち、動作制御部６ｅは、表示部１に表示されている画像の次の画像への切り替え表示を指示する実行指示を生成して、表示制御部２に出力する。表示制御部２は、当該実行指示に基づいて、表示順序（例えば、ファイル名等）に従って次に表示される画像を記録媒体Ｍから取得して表示させる。
なお、第２状態の手ｉ２の動作が、例えば、操作者Ｏの左（向かって右）から右（向かって左）に移動する動作の場合には、一つ前の画像に切り替え表示するようにしても良い。また、第２状態の手ｉ２の移動速度や移動の大きさ（範囲）に応じて、切り替え枚数を変更するようにしても良い。例えば、第２状態の手ｉ２の移動速度や移動の大きさが相対的に大きい程、切り替える画像の枚数を多くする一方で、第２状態の手ｉ２の移動速度や移動の大きさが相対的に小さい程、切り替える画像の枚数を少なくするようにしても良い。
その後、ステップＳ１９にて、閉じた状態の手ｉ１（図７（ｄ）参照）の検出により遠隔操作が終了する。
【００５１】
また、開いた状態（第２状態）の手ｉ２と、装置本体の電源のＯＦＦを指示する操作とを対応付けた場合、操作処理のステップＳ１４にて、閉じた状態の手ｉ１（図８（ａ）参照）の検出により遠隔操作が開始された後、ステップＳ１６にて、開いた状態の手ｉ２（図８（ｂ）参照）が検出されると（ステップＳ１６；ＹＥＳ）、ステップＳ１７にて、指示部追跡部６ｄは、各画像フレームの操作指示範囲Ｒ内で第２状態の手ｉ２を追跡する。そして、ステップＳ１８にて、動作制御部６ｅは、指示部追跡部６ｄにより追跡される第２状態の手ｉ２の動作（例えば、操作者Ｏの顔の前で左右に移動する動作；図８（ｂ）及び図８（ｃ）参照）を特定した後、操作内容テーブルＴに当該第２状態の手ｉ２の動作と対応付けられている当該装置本体の遠隔操作の内容（例えば、装置本体の電源のＯＦＦ）を指示する実行指示を生成して、中央制御部１０に出力する。
ここで、当該実行指示は、その後に閉じた状態の手ｉ１（図８（ｄ）参照）が検出された場合に（ステップＳ１９；ＹＥＳ）、中央制御部１０のＣＰＵにより実行される指示である。即ち、ステップＳ１９にて、閉じた状態の手ｉ１（図８（ｄ）参照）の検出により遠隔操作の終了が指示されると、中央制御部１０のＣＰＵは、当該実行指示に基づいて、装置本体の各部への通電を停止させる。
【００５２】
以上のように、本実施形態の表示装置１００によれば、一の画像フレームに係る画像領域内で装置本体を操作するための操作指示を入力可能な操作指示範囲Ｒを設定して、操作者Ｏの撮像により逐次生成される複数の画像フレームに基づいて、各画像フレームの操作指示範囲Ｒ内から、操作対象の所定の操作内容と対応付けられた少なくとも二つの操作指示部ｉの状態のうちの何れか一の状態の操作指示部ｉが検出されると、検出された各状態の操作指示部ｉと対応付けられている所定の操作内容に応じて装置本体を動作させるので、装置本体の所定の操作内容と対応付けて当該操作を指示する操作指示部ｉの状態を複数設定しておくことで、検出される当該操作指示部ｉの状態に応じて装置本体を所定動作させることができる。つまり、装置本体の所定の操作内容と対応付けられた少なくとも二つの操作指示部ｉの状態の各々を検出することで、装置本体から離れた位置から当該装置本体の複数の動作を遠隔操作により行わせることができる。
また、操作指示を入力可能な操作指示範囲Ｒ内から何れか一の状態の操作指示部ｉが検出された場合に、当該装置本体を動作させるので、各状態の操作指示部ｉの誤検出を防止することができ、当該装置本体の誤動作を防止することができる。特に、顔検出処理により検出された操作者Ｏの顔の位置を基準として操作指示範囲Ｒを設定するので、操作者Ｏが操作指示を入力可能な範囲が当該操作者Ｏにとっては仮想的な範囲であっても、当該操作者Ｏ自身の顔の周囲の所定範囲に設定されているので、当該仮想的な範囲を感覚的に把握させることができ、装置本体の誤操作を防止することができる。
従って、操作対象である装置本体に対する複数の遠隔操作を適正に行うことができる。
【００５３】
また、各画像フレームの操作指示範囲Ｒ内で追跡された第２状態の操作指示部ｉの動作に基づいて、当該動作と対応する所定の操作内容に応じて装置本体を動作させるので、装置本体から離れた位置から当該装置本体に対してより複雑な動作を適正に実行させることができる。
【００５４】
また、操作者Ｏの手を握った第１状態及び手を開いた第２状態の各々と装置本体の所定の操作内容とが対応付けられているので、操作者Ｏの顔の一部（例えば、目）を利用して遠隔操作する場合に比べて検出対象を相対的に大きくすることができ、各状態の誤検出を防止することができる。
また、操作者Ｏに対しては、操作者Ｏ自身が手を動かすことで装置本体を遠隔操作することができるので、操作者Ｏの顔の一部（例えば、目）を利用する場合に比べて当該装置本体を直に操作しているような感覚をより強く持たせることができるだけでなく、遠隔操作に一種の遊戯性を持たせて当該遠隔操作に対する興趣性を向上させることができる。
【００５５】
また、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態では、手を握った状態を第１状態とし、手を開いた状態を第２状態とするようにしたが、当該装置本体側に手の甲を向けた状態を第１状態とし、手の平を向けた状態を第２状態としても良い（図９（ａ）〜図９（ｄ）参照）。即ち、操作処理のステップＳ１４にて、手の甲を向けた状態の手ｉ１（図９（ａ）参照）の検出により遠隔操作が開始され、その後、ステップＳ１９にて、手の甲を向けた状態の手ｉ１（図９（ｄ）参照）の再検出により遠隔操作が終了する。なお、ステップＳ１５〜Ｓ１８の処理は、上記実施形態と略同様であり、その詳細な説明は省略する。
また、手の甲を向けた状態の手ｉ１と手の平を向けた状態の手ｉ２の検出は、例えば、肌の色、指紋の形状、爪の有無、親指の向き等を基準として行われる。
【００５６】
なお、第２状態の手ｉ２の動作を、装置本体の所定の操作（例えば、画像の拡大及び縮小等）と対応付けるようにしたが、第２状態の手ｉ２自体を装置本体の所定の操作と対応付けて設定するようにしても良い。即ち、第２状態の手ｉ２が検出された場合には、当該手のその後の動作に関係なく、装置本体の所定の操作を設定して、その後、第１状態の手ｉ１が検出されると、設定されている装置本体の所定の操作を実行するようにしても良い。さらに、第２状態の手ｉ２が検出された場合には、当該手のその後の動作に関係なく、装置本体の所定の操作を設定して、その後、第２状態の手ｉ２が検出されなくなったら、設定されている装置本体の所定の操作を実行するようにしても良い。
【００５７】
また、上記実施形態にあっては、装置本体（操作対象）の所定の操作内容と対応付けられる操作指示部ｉを、顔検出部５により検出された顔の操作者Ｏの手に限定して、当該操作者Ｏの手の少なくとも二つの状態を当該操作者Ｏの顔と対応付けて設定するようにしても良く、これにより、操作者Ｏ以外の第三者の手の各状態が検出された場合に装置本体に対して所定の操作が行われてしまうといった誤動作を防止することができる。
【００５８】
さらに、上記実施形態にあっては、操作指示部ｉとして、操作者Ｏの手を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、操作指示部ｉとして、操作者Ｏの口や目などの各部を設定しておき、口や目を閉じた状態と開いた状態とを所定の操作内容と対応付けるようにしても良い。また、操作指示部ｉとしては、ヒトの身体のパーツ以外のもの、例えば、少なくとも一部分の形状を変化させることで複数の状態（形態）をとることができる指示部材等を適用しても良い。
【００５９】
また、撮像部３のレンズ部３ａに光学式のズーム機構を搭載して、顔検出処理や操作指示部（手）ｉの検出の際に、ズームレンズを望遠端側に移動させて撮像範囲を狭くすることで、顔や操作指示部のより高精細な画像を取得して、当該画像を操作者Ｏの顔や各状態の操作指示部ｉの検出に利用しても良く、これにより、操作者Ｏの顔や各状態の操作指示部ｉの誤検出を適正に防止することができる。
【００６０】
さらに、表示装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。即ち、所定位置に設置される表示装置１００を例示したが、これに限られるものではなく、例えば、出力された画像を表示する表示装置（図示略）と情報通信可能に接続して、当該表示装置に対して画像データを出力して当該画像を表示可能なものや、スクリーンや壁面（図示略）等に対して画像データを投影して当該画像を表示可能なものであれば如何なる構成であっても良い。
【００６１】
加えて、上記実施形態にあっては、第１設定手段、第２設定手段、第１検出手段、制御手段としての機能を、中央制御部１０の制御下にて、第１設定部６ａ、第２設定部６ｂ、指示部検出部６ｃ、動作制御部６ｅが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、第１設定処理ルーチン、第２設定処理ルーチン、第１検出処理ルーチン、制御処理ルーチンを含むプログラムを記憶しておく。そして、第１設定処理ルーチンにより中央制御部１０のＣＰＵを、撮像手段により逐次生成される複数の画像フレームのうち、一の画像フレームに係る画像領域内で操作対象を操作するための操作指示を入力可能な操作指示範囲Ｒを設定する第１設定手段として機能させるようにしても良い。また、第２設定処理ルーチンにより中央制御部１０のＣＰＵを、操作対象の所定の操作内容と対応付けられ、当該操作を指示する操作指示部ｉの状態を少なくとも二つ設定する第２設定手段として機能させるようにしても良い。また、第１検出処理ルーチンにより中央制御部１０のＣＰＵを、撮像手段により逐次生成される複数の画像フレームに基づいて、各画像フレームの操作指示範囲Ｒ内から、少なくとも二つの操作指示部ｉの状態の各々を検出する第１検出手段として機能させるようにしても良い。また、制御処理ルーチンにより中央制御部１０のＣＰＵを、この第１検出手段により検出された各状態の操作指示部ｉと対応付けられている所定の操作内容に応じて操作対象を動作させる制御手段として機能させるようにしても良い。
【００６２】
同様に、追跡手段、第２検出手段についても、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
【００６３】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【００６４】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
撮像手段により逐次生成される複数の画像フレームのうち、一の画像フレームに係る画像領域内で操作対象を操作するための操作指示を入力可能な操作指示範囲を設定する第１設定手段と、
前記操作対象の所定の操作内容と対応付けられ、当該操作を指示する操作指示部の状態を少なくとも二つ設定する第２設定手段と、
前記撮像手段により逐次生成される複数の画像フレームに基づいて、各画像フレームの前記操作指示範囲内から、前記少なくとも二つの前記操作指示部の状態の各々を検出する第１検出手段と、
この第１検出手段により検出された各状態の前記操作指示部と対応付けられている前記所定の操作内容に応じて前記操作対象を動作させる制御手段と、
を備えることを特徴とする遠隔操作装置。
＜請求項２＞
前記撮像手段により逐次生成される複数の画像フレームに基づいて、各画像フレームの前記操作指示範囲内で、前記第１検出手段により検出された状態の前記操作指示部を追跡する追跡手段を更に備え、
前記制御手段は、
前記追跡手段により追跡された前記操作指示部の動作に基づいて、当該動作と対応する前記所定の操作内容に応じて前記操作対象を動作させることを特徴とする請求項１に記載の遠隔操作装置。
＜請求項３＞
前記操作指示部は、操作者の手であり、
前記第２設定手段は、更に、
手を握った第１状態と手を開いた第２状態の各々と前記操作対象の所定の操作内容とを対応付けて設定することを特徴とする請求項１又は２に記載の遠隔操作装置。
＜請求項４＞
前記操作指示部は、操作者の手であり、
前記第２設定手段は、更に、
当該装置本体側に手の甲を向けた第１状態と手の平を向けた第２状態の各々と前記操作対象の所定の操作内容とを対応付けて設定することを特徴とする請求項１又は２に記載の遠隔操作装置。
＜請求項５＞
前記撮像手段により撮像された画像内から操作者の顔を検出する第２検出手段を更に備え、
前記第１設定手段は、前記第２検出手段により検出された顔の位置を基準として前記操作指示範囲を設定することを特徴とする請求項１〜４の何れか一項に記載の遠隔操作装置。
＜請求項６＞
前記第２設定手段は、更に、
前記第２検出手段により検出された顔の操作者の手を前記操作指示部として、この操作者の手の少なくとも二つの状態を当該操作者の顔と対応付けて設定することを特徴とする請求項５に記載の遠隔操作装置。
＜請求項７＞
遠隔操作装置を用いた遠隔操作方法であって、
撮像手段により逐次生成される複数の画像フレームのうち、一の画像フレームに係る画像領域内で操作対象を操作するための操作指示を入力可能な操作指示範囲を設定する処理と、
前記操作対象の所定の操作内容と対応付けられ、当該操作を指示する操作指示部の状態を少なくとも二つ設定する処理と、
前記撮像手段により逐次生成される複数の画像フレームに基づいて、各画像フレームの前記操作指示範囲内から、前記少なくとも二つの前記操作指示部の状態の各々を検出する処理と、
検出された各状態の前記操作指示部と対応付けられている前記所定の操作内容に応じて前記操作対象を動作させる処理と、
を含むことを特徴とする遠隔操作方法。
＜請求項８＞
遠隔操作装置のコンピュータを、
撮像手段により逐次生成される複数の画像フレームのうち、一の画像フレームに係る画像領域内で操作対象を操作するための操作指示を入力可能な操作指示範囲を設定する第１設定手段、
前記操作対象の所定の操作内容と対応付けられ、当該操作を指示する操作指示部の状態を少なくとも二つ設定する第２設定手段、
前記撮像手段により逐次生成される複数の画像フレームに基づいて、各画像フレームの前記操作指示範囲内から、前記少なくとも二つの前記操作指示部の状態の各々を検出する第１検出手段、
この第１検出手段により検出された各状態の前記操作指示部と対応付けられている前記所定の操作内容に応じて前記操作対象を動作させる制御手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００６５】
１００  表示装置
３      撮像部
５      顔検出部
６      操作制御部
６ａ    第１設定部
６ｂ    第２設定部
６ｃ    指示部検出部
６ｄ    指示部追跡部
６ｅ    動作制御部
１０    中央制御部
【図１】
0005879730.tif 000002
【図２】
0005879730.tif 000003
【図３】
0005879730.tif 000004
【図４】
0005879730.tif 000005
【図５】
0005879730.tif 000006
【図６】
0005879730.tif 000007
【図７】
0005879730.tif 000008
【図８】
0005879730.tif 000009
【図９】
0005879730.tif 000010