(57)【特許請求の範囲】
【請求項１】
遠隔操作によって制御が可能な電子機器であって、
予め決められた複数の異なる色を周期的に変化させながら順次表示するリモートコントロール機器を撮像する撮像手段と、
前記撮像手段により撮像された画像を順次取得する取得手段と、
前記取得手段により順次取得される画像内における、前記リモートコントロール機器により表示されている前記予め決められた複数の異なる色であって、周期的に変化させながら順次表示されている色を、順次識別しながらそのリモートコントロール機器の位置を順次検出する検出手段と、
前記検出手段により順次検出されたリモートコントロール機器の各位置に基づいてそのリモートコントロール機器の動きの種類を特定する特定手段と、
前記特定手段により特定された動きの種類に対応する処理を実行する処理制御手段と、
を備え、
前記リモートコントロール機器は、予め決められた複数の異なる色を、予め決められた時間ごとに、予め決められた順序で１色ずつ順次切り替える表示を１周期として、周期的に表示し、
前記検出手段は、前記取得手段により順次取得される画像の内の１画像内における色が、前記リモートコントロール機器により順次表示されている１色と同一であると１回判別されたことを契機として、その時点におけるリモートコントロール機器の位置を検出する、
ことを特徴とする電子機器。
【請求項２】
前記取得手段により順次取得される画像を基に、前記リモートコントロール機器に表示される複数の異なる色を登録する登録手段を更に備え、
前記検出手段は、前記リモートコントロール機器の複数の異なる色と前記登録手段により登録された複数の異なる色とを比較しながら各色を識別する、
ようにしたことを特徴とする請求項１に記載の電子機器。
【請求項３】
前記リモートコントロール機器の動きの種類と当該電子機器で実行する処理とを対応付けて記憶する記憶手段を更に備え、
前記処理制御手段は、前記特定手段により特定された動きの種類に対応付けて前記記憶手段に記憶されている処理を実行する、
ようにしたことを特徴とする請求項１あるいは請求項２に記載の電子機器。
【請求項４】
前記検出手段により順次検出されたリモートコントロール機器の各位置をリモートコントロール機器の動きに応じた移動軌跡として一時記憶する一時記憶手段を更に備え、
前記特定手段は、前記一時記憶手段内の移動軌跡に基づいてそのリモートコントロール機器の動きの種類を特定する、
ようにしたことを特徴とする請求項１〜請求項３のいずれか記載の電子機器。
【請求項５】
前記一時記憶手段に記憶されている移動軌跡に基づいて、前記リモートコントロール機器の次の動きを推測する推測手段と、
前記取得手段により取得された画像内のどの範囲を前記検出手段の検出対象とするかを示す検出範囲を、前記推測手段による推測結果を基に絞り込む絞込手段と、
を備える、
ようにしたことを特徴とする請求項４に記載の電子機器。
【請求項６】
複数の色を表示するリモートコントロール機器と、該リモートコントロール機器による遠隔操作によって制御が可能な電子機器とを備えた遠隔操作制御システムであって、
前記リモートコントロール機器は、
予め決められた複数の異なる色を表示する表示手段と、
前記表示手段に前記複数の異なる色を周期的に変化させながら順次表示させる表示制御手段と、
を備え、
前記電子機器は、
前記リモートコントロール機器を撮像する撮像手段と、
前記撮像手段により撮像された画像を順次取得する取得手段と、
前記取得手段により順次取得される画像内における、前記リモートコントロール機器に表示されている前記複数の異なる色であって、周期的に変化させながら順次表示されている色を、順次を識別しながらそのリモートコントロール機器の位置を順次検出する検出手段と、
前記検出手段により順次検出されたリモートコントロール機器の各位置に基づいてそのリモートコントロール機器の動きの種類を特定する特定手段と、
前記特定手段により特定された動きの種類に対応する処理を実行する処理制御手段と、
を備え、
前記リモートコントロール機器は、予め決められた複数の異なる色を、予め決められた時間ごとに、予め決められた順序で１色ずつ順次切り替える表示を１周期として、周期的に表示し、
前記検出手段は、前記取得手段により順次取得される画像の内の１画像内における色が、前記リモートコントロール機器により順次表示されている１色と同一であると１回判別されたことを契機として、その時点におけるリモートコントロール機器の位置を検出する、
ことを特徴とする遠隔操作制御システム。
【請求項７】
前記リモートコントロール機器は、
前記複数の異なる色を登録する登録手段を更に備え、
前記表示制御手段は、前記登録手段により登録された複数の異なる色を周期的に変化させながら順次前記表示手段に表示させる、
ようにしたことを特徴とする請求項６に記載の遠隔操作制御システム。
【請求項８】
前記電子機器は、
前記取得手段により取得された各画像を基に、前記リモートコントロール機器に表示される複数の異なる色を登録する登録手段を更に備え、
前記検出手段は、前記リモートコントロール機器の複数の異なる色と前記登録手段により登録された複数の異なる色とを比較しながら各色を識別する、
ようにしたことを特徴とする請求項６あるいは請求項７に記載の遠隔操作制御システム。
【請求項９】
予め決められた複数の異なる色を周期的に変化させながら順次表示するリモートコントロール機器を撮像する処理と、
前記撮像された画像を順次取得する処理と、
前記順次取得される画像内における、前記リモートコントロール機器に表示されている前記予め決められた複数の異なる色であって、周期的に変化させながら順次表示されている色を、順次を識別しながらそのリモートコントロール機器の位置を順次検出する処理と、
前記順次検出されたリモートコントロール機器の各位置に基づいてそのリモートコントロール機器の動きの種類を特定する処理と、
前記特定された動きの種類に対応する処理を実行する処理と、
を含み、
前記リモートコントロール機器は、予め決められた複数の異なる色を、予め決められた時間ごとに、予め決められた順序で１色ずつ順次切り替える表示を１周期として、周期的に表示し、
前記順次取得される画像の内の１画像内における色が、前記リモートコントロール機器により順次表示されている１色と同一であると１回判別されたことを契機として、その時点におけるリモートコントロール機器の位置を検出する、
ことを特徴とする遠隔操作制御方法。
【請求項１０】
コンピュータに対して、
予め決められた複数の異なる色を周期的に変化させながら順次表示するリモートコントロール機器を撮像する機能と、
前記撮像された画像を順次取得する機能と、
前記順次取得される画像内における、前記リモートコントロール機器に表示されている前記予め決められた複数の異なる色であって、周期的に変化させながら順次表示されている色を、順次を識別しながらそのリモートコントロール機器の位置を順次検出する機能と、
前記順次検出されたリモートコントロール機器の各位置に基づいてそのリモートコントロール機器の動きの種類を特定する機能と、
前記特定された動きの種類に対応する処理を実行する機能と、
を実現させ、
前記リモートコントロール機器は、予め決められた複数の異なる色を、予め決められた時間ごとに、予め決められた順序で１色ずつ順次切り替える表示を１周期として、周期的に表示し、
前記検出機能は、前記取得機能により順次取得される画像の内の１画像内における色が、前記リモートコントロール機器により順次表示されている１色と同一であると１回判別されたことを契機として、その時点におけるリモートコントロール機器の位置を検出する、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔操作によって制御が可能な電子機器、遠隔操作制御システム、遠隔操作制御方法及びプログラムに関する。
【背景技術】
【０００２】
一般に、デジタルスチルカメラやビデオカメラなどの撮像装置を、離れた場所から操作するのに通信機能を備えたリモートコントローラを使用する場合には、無線や赤外線通信用のハードウェアを撮像装置側にも用意する必要があるため、従来では、例えば、色の付いた目印（色タグ）を使用して撮像装置を操作する技術が提案されている（特許文献１参照）。すなわち、この特許文献の技術においては、撮像装置の撮像素子に目印（色タグ）をかざして、それを動かしながら決められたモーションを行うと、撮像装置は、撮像した画像（プレビュー画像）を順次解析することによりその色タグを順次識別しながら追従することによってその色の移動軌跡を検出し、この移動軌跡を色タグの動き（モーション）として認識するようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２７２５９８−号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１の技術にあっては、単一色の色タグを使用するものであり、例えば、被写体の色と色タグの色とが偶発的に一致していたり、背景の色と近似して背景の中に色タグが紛れてしまったりすることがある。このような場合、撮像装置は、色タグを識別することができなくなり、見失ってしまい、モーションを誤認識してしまうというおそれがあった。
【０００５】
本発明の課題は、色を使用した遠隔操作を的確に検出してその操作に応じた処理を実行できるようにすることである。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために本発明の電子機器は、
遠隔操作によって制御が可能な電子機器であって、
予め決められた複数の異なる色を周期的に変化させながら順次表示するリモートコントロール機器を撮像する撮像手段と、
前記撮像手段により撮像された画像を順次取得する取得手段と、
前記取得手段により順次取得される画像内における、前記リモートコントロール機器により表示されている前記予め決められた複数の異なる色であって、周期的に変化させながら順次表示されている色を、順次識別しながらそのリモートコントロール機器の位置を順次検出する検出手段と、
前記検出手段により順次検出されたリモートコントロール機器の各位置に基づいてそのリモートコントロール機器の動きの種類を特定する特定手段と、
前記特定手段により特定された動きの種類に対応する処理を実行する処理制御手段と、
を備え、
前記リモートコントロール機器は、予め決められた複数の異なる色を、予め決められた時間ごとに、予め決められた順序で１色ずつ順次切り替える表示を１周期として、周期的に表示し、
前記検出手段は、前記取得手段により順次取得される画像の内の１画像内における色が、前記リモートコントロール機器により順次表示されている１色と同一であると１回判別されたことを契機として、その時点におけるリモートコントロール機器の位置を検出する、
ことを特徴とする電子機器である。
【０００７】
上述した課題を解決するために本発明の遠隔操作制御システムは、
複数の色を表示するリモートコントロール機器と、該リモートコントロール機器による遠隔操作によって制御が可能な電子機器とを備えた遠隔操作制御システムであって、
前記リモートコントロール機器は、
予め決められた複数の異なる色を表示する表示手段と、
前記表示手段に前記複数の異なる色を周期的に変化させながら順次表示させる表示制御手段と、
を備え、
前記電子機器は、
前記リモートコントロール機器を撮像する撮像手段と、
前記撮像手段により撮像された画像を順次取得する取得手段と、
前記取得手段により順次取得される画像内における、前記リモートコントロール機器に表示されている前記複数の異なる色であって、周期的に変化させながら順次表示されている色を、順次を識別しながらそのリモートコントロール機器の位置を順次検出する検出手段と、
前記検出手段により順次検出されたリモートコントロール機器の各位置に基づいてそのリモートコントロール機器の動きの種類を特定する特定手段と、
前記特定手段により特定された動きの種類に対応する処理を実行する処理制御手段と、
を備え、
前記リモートコントロール機器は、予め決められた複数の異なる色を、予め決められた時間ごとに、予め決められた順序で１色ずつ順次切り替える表示を１周期として、周期的に表示し、
前記検出手段は、前記取得手段により順次取得される画像の内の１画像内における色が、前記リモートコントロール機器により順次表示されている１色と同一であると１回判別されたことを契機として、その時点におけるリモートコントロール機器の位置を検出する、
ことを特徴とする遠隔操作制御システムである。
【０００８】
上述した課題を解決するために本発明の遠隔操作制御方法は、
予め決められた複数の異なる色を周期的に変化させながら順次表示するリモートコントロール機器を撮像する処理と、
前記撮像された画像を順次取得する処理と、
前記順次取得される画像内における、前記リモートコントロール機器に表示されている前記予め決められた複数の異なる色であって、周期的に変化させながら順次表示されている色を、順次を識別しながらそのリモートコントロール機器の位置を順次検出する処理と、
前記順次検出されたリモートコントロール機器の各位置に基づいてそのリモートコントロール機器の動きの種類を特定する処理と、
前記特定された動きの種類に対応する処理を実行する処理と、
を含み、
前記リモートコントロール機器は、予め決められた複数の異なる色を、予め決められた時間ごとに、予め決められた順序で１色ずつ順次切り替える表示を１周期として、周期的に表示し、
前記順次取得される画像の内の１画像内における色が、前記リモートコントロール機器により順次表示されている１色と同一であると１回判別されたことを契機として、その時点におけるリモートコントロール機器の位置を検出する、
ことを特徴とする遠隔操作制御方法である。
【０００９】
上述した課題を解決するために本発明のプログラムは、
コンピュータに対して、
予め決められた複数の異なる色を周期的に変化させながら順次表示するリモートコントロール機器を撮像する機能と、
前記撮像された画像を順次取得する機能と、
前記順次取得される画像内における、前記リモートコントロール機器に表示されている前記予め決められた複数の異なる色であって、周期的に変化させながら順次表示されている色を、順次を識別しながらそのリモートコントロール機器の位置を順次検出する機能と、
前記順次検出されたリモートコントロール機器の各位置に基づいてそのリモートコントロール機器の動きの種類を特定する機能と、
前記特定された動きの種類に対応する処理を実行する機能と、
を実現させ、
前記リモートコントロール機器は、予め決められた複数の異なる色を、予め決められた時間ごとに、予め決められた順序で１色ずつ順次切り替える表示を１周期として、周期的に表示し、
前記検出機能は、前記取得機能により順次取得される画像の内の１画像内における色が、前記リモートコントロール機器により順次表示されている１色と同一であると１回判別されたことを契機として、その時点におけるリモートコントロール機器の位置を検出する、
ことを特徴とするプログラムである。
【発明の効果】
【００１０】
本発明によれば、色を使用した遠隔操作を的確に検出してその操作に応じた処理を実行することができ、遠隔制御の大幅な向上を期待することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】遠隔操作によって制御が可能な電子機器として撮像装置（デジタルカメラ）に適用した場合の遠隔操作制御システムを説明するための図。
【図２】デジタルカメラ１の基本的な構成を示したブロック図。
【図３】リモートコントロール機器２の基本的な構成を示したブロック図。
【図４】デジタルカメラ１側の動作テーブルＭ３を説明するための図。
【図５】。  （１）は、リモートコントロール機器２の表示色が変遷する様子を示した図、（２）は、リモコン機器２を指先で挟み持ちながらアルファベット文字の“Ｄ”を空中で描くように手を動かしている様子を示した図。
【図６】電源ボタンのオン操作に応じて実行開始されるリモコン機器２の全体動作の概要を示したフローチャート。
【図７】デジタルカメラ１がリモコンモードに切り換えられた際に実行開始される遠隔制御処理を示したフローチャート。
【図８】図７の動作に続くフローチャート。
【図９】色取得登録処理（図７のステップＢ４）を詳述するためのフローチャート。
【図１０】本発明の応用例において、リモートコントロール機器２の表示部２５に表示されるマス目状の色表示を説明するための図。
【発明を実施するための形態】
【００１２】
以下、図１〜図９を参照して本発明の実施形態を説明する。
図１は、遠隔操作によって制御が可能な電子機器として撮像装置（デジタルカメラ）に適用した場合の遠隔操作制御システムを説明するための図である。
撮像装置（デジタルカメラ）１は、静止画像のほかに動画像の撮影も可能なコンパクトカメラであり、撮像機能、計時機能などの基本的な機能のほかに、遠隔制御機能を備え、リモートコントロール機器２による遠隔操作に応じて所定の処理を実行可能となっている。なお、以下、デジタルカメラ１をカメラ１と略称し、リモートコントロール機器２をリモコン機器２と略称するものとする。
【００１３】
リモコン機器２は、色タグと呼ばれる携帯型表示装置で、その筐体の全体は指先で挟み持つことが可能な平板状を成し、例えば、ＬＥＤ（Light Emitting Diode）を使用した表示画面Ｄを有する発光型表示装置である。リモコン機器２は、その表示画面Ｄの全体領域に所定の色（後述する複数の異なる色）を１色毎に順次切り換え表示するようにしている。この場合、ユーザ（撮影者）は、リモコン機器（色タグ）２を指先で挟み持ちながら手を動かすと、カメラ１は、リモコン機器２の動きを認識し、その動きに応じた処理を実行するようにしている。
【００１４】
すなわち、カメラ１は、リモコン機器２による遠隔操作を受け付け可能な動作モード（リモコンモード）に切り換えられている状態において、リモコン機器２を含めて撮像した画像（プレビュー画像）を順次解析することによりリモコン機器２の表示画面Ｄに表示されている表示色を識別しながら追従することによってその表示色の移動軌跡を検出し、この移動軌跡をリモコン機器２の動きとして認識して、その動きに応じた処理を実行するようにしている。
【００１５】
図２は、カメラ１の基本的な構成を示したブロック図である。
制御部１１は、電源部（二次電池）１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じてこのカメラ１の全体動作を制御するもので、この制御部１１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部１３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、後述する図７〜図９に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリＭ１を有している。
【００１６】
更に、記憶部１３は、このカメラ１が動作するために必要となる各種の情報（例えば、フラグ、タイマ時間、上述の移動軌跡など）を一時的に記憶するワークメモリＭ２、後述する動作テーブルＭ３を有している。なお、記憶部１３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。
【００１７】
操作部１４は、図示省略したが、撮影が可能な動作モード（撮影モード）と撮影済み画像（保存画像）を再生する動作モード（再生モード）と遠隔操作による制御が可能な動作モード（リモコンモード）とを切り換えるモード変更キー、撮影開始を指示するレリーズキーのほかに、リモコンモードにおいてリモートコントロールの開始を指示するリモコン開始キーと、露出やシャッタスピードなどの撮影条件の設定操作、再生対象を選択する画像選択操作などを行う各種のキーを備えたもので、制御部１１は、この操作部１４からの入力操作信号に応じた処理として、例えば、モード変更処理、撮影処理、撮影条件の設定、画像選択処理などを行う。
【００１８】
撮像部１５は、図示省略したが、光学レンズからの被写体像が撮像素子（ＣＣＤやＣＭＯＳなど）に結像されることにより被写体を高精細に撮影可能なカメラ部を構成するもので、光学レンズ、撮像素子、ストロボ、各種のセンサ、アナログ処理部、デジタル処理部を有している。そして、撮像部１５は、静止画像のほかに動画像の撮影も可能なもので、光電変換された画像信号（アナログ値の信号）は、色分離やＲＧＢの色成分毎のゲイン調整などが行われた後、デジタル値のデータに変換される。デジタル変換された画像データは、色補間処理（デモザイク処理）が施されて表示部１６にフルカラー表示される。また、撮像部１５は、オートフォーカス処理（ＡＦ処理）、露出調整処理（ＡＥ処理）、オートホワイトバランス調整処理（ＡＷＢ）、画像圧縮処理、画像復元処理なども実行可能となっている。
表示部１６は、例えば、縦横比（横４：縦３）の異なる画面を有した高精細液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイで、撮像画像を表示するモニタ画面となったり、撮影済み画像を再生する再生画面となったりする。
【００１９】
図３は、リモコン機器２の基本的な構成を示したブロック図である。
リモコン機器２は、制御部２１、電源部（二次電池）２２、記憶部２３、操作部２４、表示部２５を有する構成で、制御部２１は、記憶部２３内のプログラムにしたがってリモコン機器２の全体動作を制御するもので、操作部２４の電源ボタン（図示省略）が操作されると、表示部２５から複数の色を１色毎に周期的（サイクリック）に順次切り換え表示させる色表示処理を行う。操作部２４は、電源ボタンのほか、複数の異なる色を登録する際にその登録対象を選択指定するための色指定ボタン（図示省略）を有し、この色指定ボタンを操作する毎に選択候補の色が表示部２５に順次切り換え表示される。なお、記憶部２３には、後述する図６に示した動作手順に応じて本実施形態を実現するためのプログラムが格納されている。
【００２０】
表示部２５は、ＬＥＤを使用した表示画面Ｄを有する発光型表示部であり、複数の異なる色が所定時間（例えば、１００msec）毎に１色ずつ表示画面Ｄの全体領域に順次切り換え表示される。なお、表示部２５は、発光型表示装置に限らず、反射型表示装置などであってもよい。図４（１）は、リモコン機器２の表示色が変遷する様子を示した図である。すなわち、複数の色（例えば、白色、黄色、赤色、紺色）が１色毎にサイクリックに順次表示される様子を示したもので、表示画面Ｄの全体領域に１色ずつ切り換え表示される。なお、表示色は、ユーザ操作により任意に入力指定されて登録されたもので、リモコン機器２は、その登録された順序にしたがって各色を所定時間に１色ずつ切り換え表示させる。
【００２１】
図５は、カメラ１側の動作テーブルＭ３を説明するための図である。
動作テーブルＭ３は、リモコン機器２の動作に応じて実行される処理を記憶するもので、「移動軌跡」、「処理」の項目を有し、この「移動軌跡」、「処理」の内容は、ユーザ操作により任意に変更可能となっている。「移動軌跡」は、リモコン機器２の表示色を順次識別（追跡）することによって検出される表示色の移動軌跡であり、本実施形態では、アルファベット文字の「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」、…が移動軌跡として記憶されている。この場合、撮影者は、リモコン機器２を使用してカメラ１を遠隔操作する際にリモコン機器２を指先で挟み持ちながら上述のアルファベット文字を空中で描くように手を動かすことにより遠隔操作を行う。「処理」は、リモコン機器２による遠隔操作に応じて実行可能な処理を示し、カメラ１は、表示色の移動軌跡に基づいて動作テーブルＭ３を参照し、その移動軌跡に該当する「処理」を実行するようにしている。
【００２２】
図示の例では、「移動軌跡」の“Ａ”に対応する「処理」として、撮影開始を指示する“撮影実行”が記憶され、“Ｂ”に対応する「処理」として、ストロボを発光させて撮影開始を指示する“ストロボ撮影実行”が記憶されている。また、“Ｃ”に対応する「処理」として、ズームアップ撮影を指示する“ズームアップ”が記憶され、“Ｄ”に対応する「処理」として、ズームダウン撮影を指示する“ズームズームダウン”が記憶されている。図４（２）は、リモコン機器２を指先で挟み持ちながらアルファベット文字の“Ｄ”を空中で描くように手を動かしている様子を示した図である。
【００２３】
次に、本実施形態におけるカメラ１及びリモコン機器２の動作概念を図６〜図９に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。
【００２４】
図６は、リモコン機器２の全体動作の概要を示したフローチャートであり、電源ボタンのオン操作に応じて実行開始される。
先ず、リモコン機器２の制御部２１は、任意の表示色を登録する表示色登録処理の実行がユーザ操作により指示されたかを調べたり（ステップＡ１）、登録された色を表示する色表示動作の開始がユーザ操作により指示されたかを調べたり（ステップＡ３）、電源ボタンのオフ操作が行われたかを調べたりする（ステップＡ７）。
【００２５】
いま、表示色登録処理の実行が指示されたときには（ステップＡ１でＹＥＳ）、表示色登録処理に移り（ステップＡ２）、例えば、撮影環境（被写体の色、背景の色など）を考慮してユーザの所望する色を新規登録したり、変更登録したりする。ここで、ユーザは、色指定ボタン（図示省略）を操作する毎に選択候補の色が表示部２５に順次切り換え表示されるので、所望の色が選択候補として表示されたタイミングで登録ボタン（図示省略）を操作する。このような登録操作を行うことにより、任意の色、例えば、白色、黄色、赤色、紺色が表示色としてそれぞれ登録される。
【００２６】
また、色表示動作の開始を指示する表示開始ボタン（図示省略）が操作されたときには（ステップＡ３でＹＥＳ）、登録されている複数の表示色（登録色）を所定時間毎に１色ずつ順次切り換え表示する表示動作を開始する（ステップＡ４）。ここで、複数の登録色が白色、黄色、赤色、紺色であれば、所定時間（例えば、１００msec）毎に白色、黄色、赤色、紺色がその順序にしたがってサイクリックに切り換え表示される。このようにして色表示動作を開始させた後、ユーザ（撮影者）は、リモコン機器２を指先で挟み持ちながらアルファベット文字を空中で描くように手を動かす遠隔操作を行う。そして、色表示動作の終了を指示する表示終了ボタン（図示省略）が操作されたときには（ステップＡ５でＹＥＳ）、色表示動作を終了させる（ステップＡ６）。以下、電源ボタンのオフ操作を検出するまで（ステップＡ７でＹＥＳ）、上述のステップＡ１に戻る。
【００２７】
図７及び図８は、カメラ１がリモコンモードに切り換えられた際に実行開始される遠隔制御処理を示したフローチャートである。
先ず、カメラ１の制御部１１は、色取得登録処理を指示するユーザ操作が行われたかを調べたり（図７のステップＢ１）、リモート開始を指示するユーザ操作が行われたかを調べたり（ステップＢ２）、リモコンモードを解除するユーザ操作が行われたかを調べたりする（ステップＢ３）。いま、リモコンモードを解除するユーザ操作が行われたときには（ステップＢ３でＹＥＳ）、図７及び図８のフローから抜けるが、色取得登録処理を指示する操作が行われたときには（ステップＢ１でＹＥＳ）、色取得登録処理を行う（ステップＢ４）。
【００２８】
図９は、色取得登録処理（図７のステップＢ４）を詳述するためのフローチャートである。
先ず、カメラ１の制御部１１は、リモコン機器２を撮像した画像（プレビュー画像）を取得して（ステップＢ４１）、その画像を解析することにより色相、輝度、彩度に応じた色識別を行い（ステップＢ４２）、前回の識別結果と比較して色変化があるかを調べる（ステップＢ４３）。いま、前回の識別色と今回の識別色が同一であれば、つまり色変化がなければ（ステップＢ４３でＮＯ）、上述のステップＢ４１に戻るが、前回の識別色と今回の識別色が異なれば、つまり色変化があれば（ステップＢ４３でＹＥＳ）、今回の識別色をワークメモリＭ２に一時記憶する（ステップＢ４４）。そして、このワークメモリＭ２に一時記憶されている色の数はＮ個（例えば、２０個）以上であるかを調べる（ステップＢ４５）。
【００２９】
いま、Ｎ個以上でなければ（ステップＢ４５でＮＯ）、上述のステップＢ４１に戻って上述の動作を繰り返す。その結果、上述の例では、白色、黄色、赤色、紺色、白色、…の順序で各色が順次記憶されることになる。ここで、一時記憶の色の数がＮ個以上となれば（ステップＢ４５でＹＥＳ）、ワークメモリＭ２内の各種の色の中から異なる複数の色の組み合わせを決定し、この複数の色の組み合わせを登録する（ステップＢ４６）。この場合、ワークメモリＭ２内において異なる複数の色の組み合わせが複数組（例えば、２組）以上記憶されていることを条件に、その色の組み合わせをその並び順どおりに登録する。これによって上述の例では、異なる複数の色の組み合わせとして“白色、黄色、赤色、紺色”がその並び順どおりに登録される。その後、ワークメモリＭ２に一時記憶されている識別色を全て消去する（ステップＢ４７）。
【００３０】
このようにして複数の異なる色が登録されている状態において、リモート開始を指示する操作が行われると（図７のステップＢ２でＹＥＳ）、タイマの計測動作をスタートさせる（ステップＢ５）。このタイマは、リモート開始が指示されてから所定時間（例えば、１０秒）が経過するまでの間に色の移動軌跡を検出することができたかを判定するためのソフトタイマである。次に、画像内のどの範囲を色識別の検出対象とするかを示す色検出範囲を初期化する処理を行うが（ステップＢ６）、最初は、初期化処理により画像の全体領域が色検出範囲となる。そして、登録されている複数の異なる色の中からその先頭の色（登録色）を識別対象として選択しておく（ステップＢ７）。
【００３１】
そして、撮像部１５から１フレームの画像を取得し（ステップＢ８）、色検出範囲内の画像を解析してその範囲内に含まれている色を識別し（ステップＢ９）、色変化があるかを調べる（ステップＢ１０）。いま、前回の識別色と今回の識別色が同一であれば、つまり色変化がなければ（ステップＢ１０でＮＯ）、上述のタイマはタイムアウトしたかを調べ（ステップＢ１１）、以下、タイムアウトになるまで（ステップＢ１１でＮＯ）、上述のステップＢ８に戻り、次の１フレームの画像を取得する。ここで、色変化がないままタイムアウトになったときには（ステップＢ１１でＹＥＳ）、図８のステップＢ２１に移り、エラーメッセージ（例えば、該当する処理はありません）を表示させた後、ワークメモリＭ２に一時記憶されている位置を全て消去して（ステップＢ２２）、図７の最初のステップＢ１に戻る。また、前回の識別色と今回の識別色が異なれば、つまり色変化があれば（ステップＢ１０でＹＥＳ）、選択されている登録色（選択色）と今回の識別色とは同一であるかを調べ（ステップＢ１２）、同一でなければ（ステップＢ１２でＮＯ）、タイムアウトかを調べるステップＢ１１に移る。
【００３２】
ここで、選択色と今回の識別色とが同一であれば（ステップＢ１２でＹＥＳ）、図８のフローに移り、今回識別した色の位置を検出してその検出位置を移動軌跡としてワークメモリＭ２に追加記憶（一時記憶）させる（図８のステップＢ１３）。そして、この一時記憶の移動軌跡からリモコン機器２の次の動き推測し（ステップＢ１４）、推測が可能であるかを調べる（ステップＢ１５）。ここで、移動軌跡からリモコン機器２の次の動きを推測することができなければ、例えば、位置の検出数が少なくて推測不能であれば（ステップＢ１５でＮＯ）、ステップＢ１７に移るが、推測が可能であれば（ステップＢ１５でＹＥＳ）、画像内のどの範囲を色識別の検出対象とするかを示す色検出範囲を、推測結果を基に絞り込む（ステップＢ１６）。
なお、色の位置を検出できない期間がある場合は、その間の位置をその前後の検出された位置から補間してもよい。
【００３３】
例えば、文字が完全に描かれていなくてもその半分近くが描かれていれば、それまでの移動軌跡から描こうとしている文字を予測することができるために、色検出範囲を狭めてその予測方向に移動させることにより色検出範囲の絞り込みを行う。そして、ステップＢ１７に移り、全ての登録色（上述の例では、白色、黄色、赤色、紺色の４色）を識別することができたかを調べ、全色を識別済みでなければ（ステップＢ１７でＮＯ）、図７のステップＢ８に戻り、次の画像を取得する。
【００３４】
また、全色を識別済みであれば（ステップＢ１７でＹＥＳ）、動作テーブルＭ３を参照し（ステップＢ１８）、該当する移動軌跡が登録されているかを調べる（ステップＢ１９）。例えば、文字を描いている途中であるために文字認識に必要な移動軌跡が揃っていない場合や動作テーブルＭ３に登録されていない文字が描かれた場合などでは、該当する移動軌跡が登録されていないので（ステップＢ１９でＮＯ）、上述のステップＢ２０に移り、タイムアウトになるまで（ステップＢ２０でＮＯ）、図７のステップＢ８に戻るが、タイムアウトになったときには（ステップＢ２０でＹＥＳ）、エラーメッセージ（例えば、該当する処理はありません）を表示（ステップＢ２１）させた後、ワークメモリＭ２に一時記憶されている位置を全て消去して（ステップＢ２２）、図７の最初のステップＢ１に戻る。
【００３５】
また、タイムアウトになる前に、該当する移動軌跡が登録されていることが検出されたときには（ステップＢ１９でＹＥＳ）、その移動軌跡に対して動作テーブルＭ３に登録されている「処理」を読み出し、その「処理」を実行する（ステップＢ２３）。例えば、移動軌跡が“Ａ”であれば、撮影が開始され、“Ｂ”であれば、ストロボ撮影が開始され、“Ｃ”であれば、ズームアップが行われ、“Ｄ”であれば、ズームダウンが行われる。そして、ワークメモリＭ２に一時記憶されている位置を全て消去して（ステップＢ２２）、図７の最初のステップＢ１に戻る。
【００３６】
以上のように、本実施形態においてカメラ１は、リモコン機器２を撮像した各画像を基に、リモコン機器２が表示している複数の異なる色を識別しながらそのリモコン機器２の動きに応じた各位置を順次検出すると共に、検出した各位置に基づいてそのリモコン機器２の動きの種類を特定し、この動きの種類に対応する処理を実行するようにしたので、被写体の色と偶発的に一致したり、背景の色と近似して紛れてしまったりする危険性を大幅に削減することができ、色を使用した遠隔操作がより的確なものとなり、遠隔制御の大幅な向上を期待することが可能となる。
【００３７】
カメラ１は、リモコン機器２を撮像した各画像を基に、リモコン機器２に表示されている複数の異なる色を登録するようにしたので、カメラ１側で色登録操作を行う必要はなく、リモコン機器２側の色に合わせることができる。
【００３８】
カメラ１は、リモコン機器２に複数の異なる色が順次表示される周期的な色の変化を識別しながらそのリモコン機器２の動きに応じた各位置を順次検出するようにしたので、色の周期的な変化からリモコン機器２の動きを検出することができる。
【００３９】
カメラ１は、リモコン機器２の表示部２５に複数の異なる色が順次表示される時系列的な色の変化を識別しながらそのリモコン機器２の動きに応じた各位置を順次検出するようにしたので、色の時系列的な変化からリモコン機器２の動きを検出することができる。
【００４０】
カメラ１は、動作テーブルＭ３を参照することにより、リモコン機器２の動きに応じた処理を実行するようにしたので、「移動軌跡」、「処理」の内容を変更したり、追加したり、削除したりすることが容易なものとなる。
【００４１】
カメラ１は、リモコン機器２の各位置をその動きに応じた移動軌跡として一時記憶しておき、この一時記憶の移動軌跡に基づいてそのリモコン機器２の動きの種類を特定するようにしたので、ユーザにあっては、リモコン機器２を動かすだけでカメラ１を遠隔操作することができる。
【００４２】
カメラ１は、一時記憶の移動軌跡に基づいて、リモコン機器２の次の動きを推測し、画像内のどの範囲を検出対象とするかを示す検出範囲を、その推測結果を基に絞り込むようにしたので、色識別から位置検出までの処理を大幅に軽減して効率良く処理することができる。
【００４３】
リモコン機器２の制御部２１は、複数の異なる色を登録すると共に、登録された複数の異なる色を表示部２５に順次表示させるようにしたので、背景色や被写体の色などを考慮してユーザの所望する色を新規登録したり、変更登録したりすることができる。
【００４４】
なお、上述した実施形態においてカメラ１は、どのような時間間隔で色が変化するかに関わらず、色の変化を検出した際に、表示された色が所定の色であることを条件にその位置を検出するようにしたが、色か変化する時間間隔を計測し、色か変化するタイミングになった際に、表示された色が所定の色であることを条件にその位置を検出するようにしてもよい。つまり、複数の異なる色が所定の時間間隔で順次表示される場合、その時間間隔で位置検出を行うようにしてもよい。
【００４５】
上述した実施形態においてカメラ１は、複数の異なる色を所定の時間間隔で順次表示するようにしたが、図１０に示すように複数の異なる色を同時に表示するようにしてもよい。図１０は、リモコン機器２の表示部２５に表示されるマス目状の色表示を説明するための図で、正方形をマス目状（縦４×横４）に複数の領域に区分し、領域毎に異なる色を配置した表示内容となっている。なお、図示の例では、白色、黄色、赤色、紺色の４色が隣り合わないように配置した表示内容となっている。
【００４６】
このようにリモコン機器２に複数の異なる色を同時に表示される場合、カメラ１には、どの領域にどの色が配色されているかの対応関係が予め登録されている。この対応関係を登録する場合、図９の色取得登録処理のように自動的に登録するようにしてもよいが、ユーザ操作により登録するようにしてもよい。カメラ１は、リモコン機器２の表示部２５に表示されているマス目状の色表示に対して、どの領域にどの色が配色されているかを領域毎にそれぞれ識別しながらそのリモコン機器２の動きに応じた各位置を順次検出するようにすればよい。このようにするカメラ１は、どの領域にどの色が配色されているかを領域毎にそれぞれ識別しながらそのリモコン機器２の動きに応じた各位置を順次検出するようにすれば、リモコン機器２に複数の異なる色が領域毎に表示されていても、それを識別しながらリモコン機器２の動きを検出することができる。
【００４７】
上述した実施形態においては、移動軌跡としてアルファベット文字を示したが、移動軌跡は、文字に限らず、例えば、記号などであってもよい。また、上述した実施形態においては、カメラ１の光軸に対して垂直な平面座標系上での移動軌跡を示したが、リモコン機器２をカメラ１に対して前後方向（遠ざける方向，近づける方向）に動かされた場合に、表示色のサイズを移動軌跡として検出するようにしてもよい。
【００４８】
上述した実施形態においては、複数の異なる色をリモコン機器２の表示部２５に表示させる場合を例示したが、複数の異なる色を印刷した印刷物をリモコン機器２に貼り付けるようにしてもよく、また、リモコン機器２の表面に複数の異なる色を直接印刷するようにしてもよい。
【００４９】
また、上述した実施形態においては、撮像装置をデジタルカメラに適用した場合を示したが、これに限らず、カメラ機能付きパーソナルコンピュータ・ＰＤＡ（個人向け携帯型情報通信機器）・音楽プレイヤー・タブレット端末などであってもよい。また、リモコン機器２２は、携帯端末装置、携帯型の電子ゲームなどであってもよい。
【００５０】
また、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
【００５１】
以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
遠隔操作によって制御が可能な電子機器であって、
予め決められた複数の異なる色を表示するリモートコントロール機器を撮像する撮像手段と、
前記撮像手段により撮像された画像を順次取得する取得手段と、
前記取得手段により取得された各画像を基に、前記リモートコントロール機器に表示されている前記予め決められた複数の異なる色を識別しながらそのリモートコントロール機器の各位置を順次検出する検出手段と、
前記検出手段により順次検出されたリモートコントロール機器の各位置に基づいてそのリモートコントロール機器の動きの種類を特定する特定手段と、
前記特定手段により特定された動きの種類に対応する処理を実行する処理制御手段と、
を備えることを特徴とする電子機器である。
（請求項２）
請求項２に記載の発明は、請求項１記載の電子機器において、
前記取得手段により取得された各画像を基に、前記リモートコントロール機器に表示される複数の異なる色を登録する登録手段を更に備え、
前記検出手段は、前記リモートコントロール機器の複数の異なる色と前記登録手段により登録された複数の異なる色とを比較しながら各色を識別する、
ようにしたことを特徴とする電子機器。
（請求項３）
請求項３に記載の発明は、請求項１あるいは請求項２に記載の電子機器において、
前記検出手段は、前記リモートコントロール機器の表示部に複数の異なる色が順次表示される周期的な色の変化を識別しながらそのリモートコントロール機器の各位置を順次検出する、
ようにしたことを特徴とする電子機器である。
（請求項４）
請求項４に記載の発明は、請求項１〜請求項３のいずれかに記載の電子機器において、
前記検出手段は、前記リモートコントロール機器の表示部に複数の異なる色が順次表示される時系列的な色の変化を識別しながらそのリモートコントロール機器の各位置を順次検出する、
ようにしたことを特徴とする電子機器である。
（請求項５）
請求項５に記載の発明は、請求項１あるいは請求項２に記載の電子機器において、
前記検出手段は、前記リモートコントロール機器の複数の領域に配色されている複数の異なる色を領域毎にそれぞれ識別しながらそのリモートコントロール機器の各位置を順次検出する、
ようにしたことを特徴とする電子機器である。
（請求項６）
請求項６に記載の発明は、請求項１〜請求項５のいずれかに記載の電子機器において、
前記リモートコントロール機器の動きの種類と当該電子機器で実行する処理とを対応付けて記憶する記憶手段を更に備え、
前記処理制御手段は、前記特定手段により特定された動きの種類に対応付けて前記記憶手段に記憶されている処理を実行する、
ようにしたことを特徴とする電子機器である。
（請求項７）
請求項７に記載の発明は、請求項１〜請求項６のいずれかに記載の電子機器において、
前記検出手段により順次検出されたリモートコントロール機器の各位置をリモートコントロール機器の動きに応じた移動軌跡として一時記憶する一時記憶手段を更に備え、
前記特定手段は、前記一時記憶手段内の移動軌跡に基づいてそのリモートコントロール機器の動きの種類を特定する、
ようにしたことを特徴とする電子機器である。
（請求項８）
請求項８に記載の発明は、請求項７に記載の電子機器において、
前記一時記憶手段に記憶されている移動軌跡に基づいて、前記リモートコントロール機器の次の動きを推測する推測手段と、
前記取得手段により取得された画像内のどの範囲を前記検出手段の検出対象とするかを示す検出範囲を、前記推測手段による推測結果を基に絞り込む絞込手段と、
を備える、
ようにしたことを特徴とする電子機器である。
（請求項９）
請求項９に記載の発明は、
複数の色を表示するリモートコントロール機器と、該リモートコントロール機器による遠隔操作によって制御が可能な電子機器とを備えた遠隔操作制御システムであって、
前記リモートコントロール機器は、
予め決められた複数の異なる色を表示する表示手段と、
前記表示手段に前記複数の異なる色を表示させる表示制御手段と、
を備え、
前記電子機器は、
前記リモートコントロール機器を撮像する撮像手段と、
前記撮像手段により撮像された画像を順次取得する取得手段と、
前記取得手段により取得された各画像を基に、前記リモートコントロール機器に表示されている前記複数の異なる色を識別しながらそのリモートコントロール機器の各位置を順次検出する検出手段と、
前記検出手段により順次検出されたリモートコントロール機器の各位置に基づいてそのリモートコントロール機器の動きの種類を特定する特定手段と、
前記特定手段により特定された動きの種類に対応する処理を実行する処理制御手段と、
を備えることを特徴とする遠隔操作制御システムである。
（請求項１０）
請求項１０に記載の発明は、請求項９に記載の遠隔操作制御システムにおいて、
前記リモートコントロール機器は、
前記複数の異なる色を登録する登録手段を更に備え、
前記表示制御手段は、前記登録手段により登録された複数の異なる色を前記表示手段に表示させる、
ようにしたことを特徴とする遠隔操作制御システムである。
（請求項１１）
請求項１１に記載の発明は、請求項９あるいは請求項１０に記載の遠隔操作制御システムにおいて、
前記電子機器は、
前記取得手段により取得された各画像を基に、前記リモートコントロール機器に表示される複数の異なる色を登録する登録手段を更に備え、
前記検出手段は、前記リモートコントロール機器の複数の異なる色と前記登録手段により登録された複数の異なる色とを比較しながら各色を識別する、
ようにしたことを特徴とする遠隔操作制御システムである。
（請求項１２）
請求項１２に記載の発明は、
予め決められた複数の異なる色を表示するリモートコントロール機器を撮像するステップと、
前記撮像された画像を順次取得するステップと、
前記取得された各画像を基に、前記リモートコントロール機器に表示されている前記予め決められた複数の異なる色を識別しながらそのリモートコントロール機器の各位置を順次検出するステップと、
前記順次検出されたリモートコントロール機器の各位置に基づいてそのリモートコントロール機器の動きの種類を特定するステップと、
前記特定された動きの種類に対応する処理を実行するステップと、
を含むことを特徴とする遠隔操作制御方法である。
（請求項１３）
請求項１３に記載の発明は、
コンピュータに対して、
予め決められた複数の異なる色を表示するリモートコントロール機器を撮像する機能と、
前記撮像された画像を順次取得する機能と、
前記取得された各画像を基に、前記リモートコントロール機器に表示されている前記予め決められた複数の異なる色を識別しながらそのリモートコントロール機器の各位置を順次検出する機能と、
前記順次検出されたリモートコントロール機器の各位置に基づいてそのリモートコントロール機器の動きの種類を特定する機能と、
前記特定された動きの種類に対応する処理を実行する機能と、
を実現させるためのプログラムである。
【符号の説明】
【００５２】
１  撮像装置（デジタルカメラ）
２  リモートコントロール機器（リモコン機器）
１１、２１  制御部
１３、２３  記憶部
Ｍ１  プログラムメモリ
Ｍ３  動作テーブル
１４、２４  操作部
１５  撮像部
１６、２６  表示部
【図１】
0005938960.tif 000002
【図２】
0005938960.tif 000003
【図３】
0005938960.tif 000004
【図４】
0005938960.tif 000005
【図５】
0005938960.tif 000006
【図６】
0005938960.tif 000007
【図７】
0005938960.tif 000008
【図８】
0005938960.tif 000009
【図９】
0005938960.tif 000010
【図１０】
0005938960.tif 000011