(57)【特許請求の範囲】
【請求項１】
電子機器において、
表示装置と、
前記表示装置の前に位置する操作者を撮影するビデオカメラと、
前記ビデオカメラで撮影された画像の鏡像変換を行う鏡像変換器と、
少なくとも１つの操作ボタンを含む操作用画像を生成する操作用画像生成器と、
前記鏡像変換された画像の画像信号と前記操作用画像の画像信号とを混合する混合器と、
前記混合器により混合された画像を前記表示装置の画面上に表示させた状態で、前記画面に表示された操作者が発光部を有する手元制御機器を用いて行った前記操作ボタンを選択する所定の選択動作を検出する検出器と、
前記検出器により前記所定の選択動作が検出された操作ボタンに対応する制御動作を行う制御器とを備えて構成したことを特徴とする電子機器。
【請求項２】
前記手元制御機器の前記発光部はＮ色（Ｎは２以上の整数）の光を発光する発光手段を有し、前記手元制御機器は前記Ｎ色に対応するＮ個の色選択ボタンを有するものであり、
前記検出器は、前記Ｎ色の色を識別する識別手段を有し、
前記制御器は、前記検出器の前記識別手段により識別された色に応じた制御動作を行うことを特徴とする請求項１記載の電子機器。
【請求項３】
前記手元制御機器は、前記所定の選択動作に対応する光を発光させるべく前記発光部を作動させるための作動ボタンと、前記所定の選択動作の選択確定を表す赤外線情報を発光出力する赤外線発光手段とを備え、前記作動ボタンの操作状態に応じて、前記発光部及び前記赤外線発光手段が作動するように構成されており、
前記電子機器は、赤外線情報を検出する赤外線検出器を有し、
前記制御器は、前記検出器が検出した前記所定の選択動作を前記赤外線検出器が検出した前記選択確定を表す赤外線情報に基づいて確定して前記制御動作を行うことを特徴とする請求項１記載の電子機器。
【請求項４】
前記手元制御機器は、Ｍ個（Ｍは１以上の整数）の空間周波数領域に対応した発光パターンで発光する自発光手段と、前記Ｍ個の空間周波数領域に対応した発光パターンに対応するＭ個の周波数領域選択ボタンとを有し、
前記検出器は、前記Ｍ個の空間周波数領域に対応した発光パターンを識別する識別手段を有し、
前記制御器は、前記検出器の前記識別手段によって識別された空間周波数領域に応じた制御動作を行うことを特徴とする請求項１記載の電子機器。
【請求項５】
前記手元制御機器は、Ｍ個（Ｍは１以上の整数）の空間周波数領域に対応した発光パターンでＮ色（Ｎは１以上の整数）の光を発光する自発光手段と、前記Ｍ個の発光パターンでＮ色の発光に対応する（Ｍ×Ｎ）個の周波数領域・色選択ボタンとを備え、
前記検出器は、前記（Ｍ×Ｎ）種類の発光状態を識別する識別する識別手段を有し、
前記制御器は、前記検出器の前記識別手段によって識別された発光状態に応じた制御動作を行うことを特徴とする請求項１記載の電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばテレビジョン受像機やパーソナルコンピュータのような表示装置を有する電子機器に係り、特に電子機器における遠隔操作の方法を改良した電子機器に関する。
【背景技術】
【０００２】
１９８０年代に赤外線リモートコントローラ（以下、リモコン）がテレビジョン受像機をはじめとする家電機器に付属するようになり、手元で制御できるユーザインターフェースが広く普及し、家電製品の利用形態を大きく変貌させた。現在においてもこの操作形態が主流であり、リモコンは１つの機能を１つのキー（ボタン）を押すことにより実行させる仕組みが基本となっており、例えばテレビジョン受像機では、「電源」「チャンネル」「音量」「入力切替」などのキーがそれに該当し、テレビジョン受像機にとって大変便利な遠隔の操作方法である。
【０００３】
しかしながら、最近始まったデータ放送は、所望のメニュー画面を選択するために、リモコンの「上」「下」「左」「右」や「決定」キーを何度も押下することになり、煩雑で使いづらくなっている。また、ＥＰＧ（電子プログラムガイド）は、マトリクスに配列された案内画面から所望の位置を選択してキーを押下するため、同様の課題を有していた。
【０００４】
特許文献１には、このような課題を解決するために、マウスまたはこれに類似する位置指定操作装置により得られる位置指定情報を、キー押下信号の時系列パターンであるキー押下時系列符号に符号化し、そのキー押下時系列符号をテレビジョン受像機に送信するようにした制御装置が提案されている。
【０００５】
【特許文献１】特開２００３−２８３８６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に示された制御装置は、パーソナルコンピュータ（パソコン）の操作と類似したポインティングの操作により、テレビジョン受像機を遠隔操作するものである。従って、パソコンを利用しない人にとっては使いづらいもので、情報リテラシー（情報を使いこなす能力）の観点から、パソコンの使い勝手をそのまま導入することは無理がある。遠隔操作が必要なテレビジョン受像機の利用形態に適合した新たな操作手段が必要になっている。
【０００７】
さらにネットワーク化の進展により、宅内のストレージメディアや宅外のインターネットから得られる多様な情報を、テレビジョン受像機やパソコンのディスプレイに表示するようになってきた。このようなネットワーク化された電子機器の操作形態はネットワークに接続された機器である情報源に依存するため、多様な操作形態に対応する必要があり、家電機器に付属する現状のリモコンでは充分な対応ができなかった。
【０００８】
以上説明したように、従来のリモコンでは、テレビジョン受像機などの機能の多様化と複雑化に対して、リモコンが肥大化する。データ放送などのメニュー画面の選択操作を従来のリモコンで行うと、ポインティング装置としての役割がより重要となるため、従来のリモコンでは使い勝手の面で難点が多い。またネットワーク化は、ネットワークにつながるあらゆる機器の機能を、表示装置を介して制御することになり、つながる機器の数に比例してリモコンの数が増える問題がある。リモコンの数が増えれば、テレビジョン受像機につながるＶＴＲ，ビデオディスク，その他オーディオ機器などを操作する際にどのリモコンが操作しようとする該当のリモコンであるか判別がつかなくなるという不具合を招く。さらにインターネットにおいては、種々のウェッブサイトの情報を選択制御することになり、もはや従来のリモコンの形態では限界に達していることは自明である。
【０００９】
これに対して本出願人は、上述した点に着目して、多様な電子機器に対する柔軟性と遠隔操作の利便性を両立させると共に、リモコンのような遠隔操作用機器を手元で利用することを不要とした電子機器の制御装置を提案している。この制御装置はユーザの手の動作をビデオカメラで撮影してその動作から操作内容を識別するものである。しかしながら、この装置では暗室においては機能を発揮できない問題があった。
【００１０】
本発明はこの点に着目してなされたものであり、電子機器に対する遠隔操作の柔軟性と利便性を両立させると共に、暗室においても遠隔操作を行うことができ、利便性をさらに向上させることができる電子機器を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、上述した従来の技術の課題を解決するため、電子機器において、表示装置（２３）と、前記表示装置の前に位置する操作者を撮影するビデオカメラ（２）と、前記ビデオカメラで撮影された画像の鏡像変換を行う鏡像変換器（１４）と、少なくとも１つの操作ボタンを含む操作用画像を生成する操作用画像生成器（１６）と、前記鏡像変換された画像の画像信号と前記操作用画像の画像信号とを混合する混合器（１７）と、前記混合器により混合された画像を前記表示装置の画面上に表示させた状態で、前記画面に表示された操作者が発光部を有する手元制御機器を用いて行った前記操作ボタンを選択する所定の選択動作を検出する検出器（３１〜３４，１１０〜１１６，１１０’，１２０〜１２３）と、
前記検出器により前記所定の選択動作が検出された操作ボタンに対応する制御動作を行う制御器（２０）とを備えて構成したことを特徴とする電子機器を提供する。
【００１２】
ここで、前記手元制御機器の前記発光部はＮ色（Ｎは２以上の整数）の光を発光する発光手段を有し、前記手元制御機器は前記Ｎ色に対応するＮ個の色選択ボタンを有するものであり、前記検出器は、前記Ｎ色の色を識別する識別手段を有し、前記制御器は、前記検出器の前記識別手段により識別された色に応じた制御動作を行うことが好ましい。
また、前記手元制御機器は、前記所定の選択動作に対応する光を発光させるべく前記発光部を作動させるための作動ボタンと、前記所定の選択動作の選択確定を表す赤外線情報を発光出力する赤外線発光手段とを備え、前記作動ボタンの操作状態に応じて、前記発光部及び前記赤外線発光手段が作動するように構成されており、前記電子機器は、赤外線情報を検出する赤外線検出器を有し、前記制御器は、前記検出器が検出した前記所定の選択動作を前記赤外線検出器が検出した前記選択確定を表す赤外線情報に基づいて確定して前記制御動作を行うことが好ましい。
【００１３】
さらに、前記手元制御機器は、Ｍ個（Ｍは１以上の整数）の空間周波数領域に対応した発光パターンで発光する自発光手段と、前記Ｍ個の空間周波数領域に対応した発光パターンに対応するＭ個の周波数領域選択ボタンとを有し、前記検出器は、前記Ｍ個の空間周波数領域に対応した発光パターンを識別する識別手段を有し、前記制御器は、前記検出器の前記識別手段によって識別された空間周波数領域に応じた制御動作を行うことが好ましい。
また、前記手元制御機器は、Ｍ個（Ｍは１以上の整数）の空間周波数領域に対応した発光パターンでＮ色（Ｎは１以上の整数）の光を発光する自発光手段と、前記Ｍ個の発光パターンでＮ色の発光に対応する（Ｍ×Ｎ）個の周波数領域・色選択ボタンとを備え、前記検出器は、前記（Ｍ×Ｎ）種類の発光状態を識別する識別する識別手段を有し、前記制御器は、前記検出器の前記識別手段によって識別された発光状態に応じた制御動作を行うことが好ましい。
【発明の効果】
【００１４】
本発明の電子機器によれば、電子機器に対する遠隔操作の柔軟性と利便性を両立でき、暗室においても遠隔操作を行うことができ、利便性をさらに向上させることができる。また、色選択ボタンを用いることにより、手元制御機器による電子機器の操作をより簡便なものとし、操作性を向上させることができる。さらに、赤外線発光手段から赤外線情報を検出する検出器を併用すれば、操作者が選択した制御動作をより確実にかつ短時間に確定することが可能となる。
さらにまた、所定の周波数領域の発光パターンを用いることにより、手元制御機器の操作をより簡便なものとし、操作性を向上させることができ、かつ操作者が選択した制御動作をより確実にすることができる。また、発光パターンと発光の色とを組み合わせることにより、手元制御機器で操作できる操作内容を大幅に増やすことができ、操作性を向上させることができる。
【発明を実施するための最良の形態】
【００１５】
＜第１実施形態＞
以下、図面を参照しながら本発明の第１実施形態を説明する。
図１は、従来のリモコン装置による操作形態と、本発明の操作形態との違いを説明するための図である。ユーザ（操作者）３が、テレビジョン受像機１を操作する場合、従来はユーザ３がリモコン装置４を手に持って所望の機能を働かせるキーをテレビジョン受像機１に向けて押下することによって操作する。
【００１６】
これに対し、第１実施形態では、テレビジョン受像機１にビデオカメラ２が設けられており、ビデオカメラ２によりユーザ３が撮影され、ビデオカメラ２の画像からユーザ３の動作を得て、テレビジョン受像機１及びそれに関連する機器の操作が行われる。ユーザ３の動作とは、具体的にはテレビジョン受像機１に表示されるメニュー画面から所望のボタンを選択する身体（手，足，顔など）の動きのことである。第１実施形態では後述するように最も実用的である手の動きで操作する手法が採用されている。またテレビジョン受像機１の周囲が暗いときは、自発光機能を具備した遠隔操作用機器（手元制御機器）を用いることにより、手の動作と同様の効果を得るようにしている。遠隔操作用機器については後に詳述する。
【００１７】
図２は、テレビジョン受像機１の構成を示すブロック図であり、テレビジョン受像機１は、基準同期発生器１１，タイミングパルス発生器１２，グラフィックス生成器１６，ビデオカメラ２，鏡像変換器１４，スケーラ１５，第１の混合器１７，画素数変換器２１，第２の混合器２２，表示装置２３，検出部１９，赤外線検出器２４，制御情報判断器（ＣＰＵ）２０を備えている。
【００１８】
基準同期発生器１１は、入力される同期信号に基づいて、テレビジョン受像機１の基準になる水平周期パルスと垂直周期パルスを発生する。ここで、同期信号は画素数変換器２１に入力される映像信号の水平及び垂直同期信号である。テレビジョン放送受信時や外部の機器から映像信号が入力されている場合は、基準同期発生器１１はその入力映像信号の同期信号に同期するパルスを生成する。タイミングパルス発生器１２は、図２に示す各ブロックで必要とする水平方向と垂直方向の任意の位相と幅を有するパルスを生成する。ビデオカメラ２は、図１に示すようにテレビジョン受像機１の前面に位置してユーザ３、またはテレビジョン受像機１の前方の映像を撮影する。ビデオカメラ２の出力信号は、輝度（Ｙ）信号、及び色差（Ｒ−Ｙ、Ｂ−Ｙ）信号であり、基準同期発生器１１から出力される水平周期パルス及び垂直周期パルスに同期している。また、第１実施形態では、ビデオカメラ２で撮像される画像の画素数は、表示装置２３の画素数と一致しているものとする。なお、画素数が一致していない場合は画素数変換器を挿入すればよい。
【００１９】
鏡像変換器１４は、ビデオカメラ２で撮影した被写体像を表示装置２３上に鏡と同じように左右を反転して表示するためのものである。従って、文字を表示する場合は鏡と同じように左右が反転することになる。第１実施形態では、メモリを利用して水平方向の画像を反転させる手法により鏡像変換が行われる。表示装置２３として陰極線管（ＣＲＴ（Cathode Ray Tube））を用いる場合には、水平偏向を逆に操作することで同様の効果が得られる。その場合には、グラフィックスやその他混合する側の画像をあらかじめ水平方向に左右逆転しておく必要がある。
【００２０】
スケーラ１５は、ビデオカメラ２により撮影した被写体像の大きさを調整するもので、制御情報判断器２０の制御で拡大率と縮小率を２次元で調整する。また、拡大縮小を行わずに、水平と垂直の位相調整を行うこともできる。
【００２１】
グラフィックス生成器１６は、制御情報判断器２０から転送されるメニュー画面を展開するもので、メモリ上の信号がＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号の原色信号で展開されていても、後段で映像信号と合成または混合される出力信号は、Ｙ（輝度）信号と色差信号（Ｒ−Ｙ，Ｂ−Ｙ）とする。また生成されるグラフィックスのプレーン数は限定するものではないが、第１実施形態では１プレーンでよい。メニュー画面を構成するグラフィックスの画素数は、第１実施形態では表示装置２３の画素数に一致させるようにしている。一致していない場合は、画素数変換器を挿入して一致させればよい。
【００２２】
第１の混合器１７は、グラフィックス生成器１６の出力信号Ｇｓと、スケーラ１５の出力信号Ｓ１とを、制御値α１により混合割合を制御して混合する。具体的には、下記式で出力信号Ｍ１oが表される。
Ｍ１o＝α１・Ｓ１＋（１−α１）・Ｇｓ
制御値α１は、「０」から「１」の間の値に設定され、制御値α１を大きくするとスケーラ出力信号Ｓ１の割合が大きくなり、グラフィックス生成器１６の出力信号Ｇｓの割合が小さくなる。混合器の例としてはこれに限らないが、第１実施形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。
【００２３】
検出部１９は、第１の検出器３１，第２の検出器３２，第３の検出器３３，第４の検出器３４，…を備える。検出部１９に含まれる検出器は数を特定するものではなく、グラフィックス生成器１６で生成されるメニュー画面と連携した制御内容を表すプッシュボタンの数に対応して変動する。なお、プッシュボタンとはパソコンにおいてマウスでクリック操作する操作ボタンに該当するものである。
【００２４】
制御情報判断器２０は、検出部１９から出力されるデータの解析を行い、各種制御信号を出力する。制御情報判断器２０は、入力されるデータに基づいて各部を制御する制御器である。制御情報判断器２０はソフトウェアで各種の処理を行うものであり、アルゴリズムについての詳細に後述する。第１実施形態では、ハードウェア（各機能ブロック）による処理と、ソフトウェア（制御情報判断器２０のＣＰＵ）による処理とが混在するが、特にここで示す区分けに限定するものではなく、ハードウェアとソフトウェアとをどのように用いてもよい。
【００２５】
画素数変換器２１は、入力される映像信号の画素数と表示装置２３の画素数を合わせるための画素数変換を行う。入力映像信号は、図示を省略している内蔵のチューナにて受信したテレビジョン信号（データ放送なども含む）による映像信号やビデオ（ＶＴＲ）入力などテレビジョン受像機１の外部から入力される映像信号である。ここでは図示を省略するが、入力映像信号から水平及び垂直同期信号を抽出して、基準同期発生器１１によって各部を入力映像信号の水平及び垂直同期信号に同期させるようにしている。
【００２６】
第２の混合器２２は、第１の混合器１７と同様の機能を有する。即ち、第１の混合器１７の出力信号Ｍ１oと、画素数変換器２１の出力信号Ｓ２とを制御値α２で混合割合を制御して混合する。具体的には、下記式で出力信号Ｍ２oが表される。
Ｍ２o＝α２・Ｍ１o＋（１−α２）・Ｓ２
制御値α２は、「０」から「１」の間の値に設定され、制御値α２を大きくすると第１の混合器出力信号Ｍ１oの割合が大きくなり、画素数変換器２１の出力信号Ｓ２の割合が小さくなる。混合器の例としてはこれに限らないが、第１実施形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。
【００２７】
表示装置２３は、ＣＲＴ，液晶ディスプレイ（ＬＣＤ），プラズマディスプレイ（ＰＤＰ）あるいはプロジェクションディスプレイなどを想定しているが、ディスプレイの表示方式を限定するものではない。表示装置２３の入力信号は、輝度信号Ｙと、色差信号Ｒ−Ｙ及びＢ−Ｙであり、表示装置２３の内部にてＲＧＢ原色信号にマトリクス変換されて表示される。
【００２８】
赤外線検出器２４は、赤外線リモコンの受光部によって赤外線リモコンからの制御情報を解読して、解読した情報を制御情報判断器２０に出力する。制御情報判断器２０では、赤外線リモコンからの情報と検出部１９から供給される情報を含めて制御情報（ユーザ３による操作内容）を確定する。
【００２９】
以上のように構成されたテレビジョン受像機１の動作を、ユーザ３の動作を交えて説明する。図３は、グラフィックス画像４１と、ビデオカメラ画像を鏡像変換し、スケーリングによりグラフィックス画像４１と画素数を一致させたスケーラ１５の出力画像（以下、スケーラ出力画像）４３とを示している。この２つの画像４１及び４３に対応する信号が第１の混合器１７で混合される。グラフィックス画像４１は、制御を行うためのメニュー画面を形成しており、矩形状の枠４２はプッシュボタン（操作ボタン）を表す。一方のスケーラ出力画像４３は、ユーザ３を撮影し、鏡と同じように表示するものである。スケーラ出力画像４３の中の破線で示す枠４４は、複数の検出器３１〜３４等からなる検出部１９で検出する検出エリアを表したもので、グラフィックス画像４１上のプッシュボタン４２と同一の位置に配置されている。
【００３０】
図４は、第１の混合器１７における混合処理を説明するための図である。図４（Ａ）はグラフィックス生成器１６で生成される制御メニュー画面を表したものであり、プッシュボタン（１−１）〜（１−８）が含まれている。図４（Ｂ）は、ビデオカメラ２でユーザ３を撮影した鏡像変換及びスケーラ処理済みの画面で、検出部１９の各検出器に対応する検出エリア（２−１）〜（２−８）が含まれている。第１の混合器１７にて、図４（Ａ）及び（Ｂ）に示す画面を制御値α１に対応する混合割合で混合した画面が図４（Ｃ）に示されている。なお、図４（Ｃ）に表示されるユーザ３の画像は、実際には、図４（Ｂ）に示される画像より、制御値α１に応じて輝度及びコントラストが低下したものとなる。
【００３１】
このように表示装置２３には、ユーザ３の画像が鏡と同様に表示されると共に、制御メニュー画面も重畳されて表示される。これによりユーザ３は、自分の動きと制御メニュー（プッシュボタン（１−１）〜（１−８））の位置を認識することができる。テレビジョン受像機１の制御は、ユーザ３が画面を見て、画面上のプッシュボタン（１−１）〜（１−８）に触れるように手（身体）を動かすことにより行う。なお、ここではプッシュボタン（１−１）〜（１−８）に触れると表現したが、ユーザ３が実際に画面に触れるということではなく、プッシュボタン（１−１）〜（１−８）に相当する位置に手をかざして、表示装置２３に表示されたユーザ３の映像がプッシュボタン（１−１）〜（１−８）に触れるということである。換言すれば、手をプッシュボタン（１−１）〜（１−８）上に位置するように画面を見てユーザ３が動作することにより、テレビジョン受像機１の制御を行う。
【００３２】
そして、手をかざしたプッシュボタン（１−１）〜（１−８）に対応して設けられている検出エリア（２−１）〜（２−８）内の手を検出すれば、該当するプッシュボタン（１−１）〜（１−８）を押したことが認識できる。従って、制御情報判断器２０から該当するプッシュボタンの制御内容に相当する制御信号を出力することができる。その際、メニュー画面の操作されたプッシュボタンの形状または色を変化させて、動作が認識されたことを画面上に表すことが好ましい。例えばプッシュボタンが押されたように画像を変化させる。
【００３３】
図５は、ビデオカメラ２からの画像上に設定している検出エリア（２−１）〜（２−８）と、検出部１９の検出器３１〜３４との対応関係を示し、さらに検出エリア（２−１）〜（２−８）の内、検出エリア（２−１）と（２−８）を特定する水平及び垂直のタイミングパルスを示している。
【００３４】
各検出器３１〜３４は、図６に示すように、オブジェクト抽出器５１と、タイミングゲート器５２と、オブジェクト特徴データ検出器５３とを備えている。タイミングゲート器５２は、図５に示したタイミングパルスでビデオカメラ２からの画像信号の通過を制御する。通過する領域は図５に破線の枠で示す検出エリア（２−１）〜（２−８）内である。この検出エリア（２−１）〜（２−８）内に限定した信号に対して種々のフィルタ処理を施して、ビデオカメラ２で撮影したユーザ３の手の画像を抽出する。
【００３５】
オブジェクト抽出器５１は、画像の特徴に対応したフィルタを備えており、第１実施形態ではユーザ３の手を検出するために、特に肌色に着目したフィルタ処理を行う。オブジェクト抽出器５１は、具体的には、図７に示すように、特定色フィルタ７１と、階調限定器７２と、合成器７３と、オブジェクトゲート器７４とを備えている。特定色フィルタ７１について図８を参照して説明する。図８は、色差平面図で、縦軸をＲ−Ｙ、横軸をＢ−Ｙとしたものである。テレビジョン信号の全ての色信号はこの座標上のベクトルで表すことができ、極座標で評価できる。特定色フィルタ７１は、色差信号で入力される色信号の色相と色の濃さ（飽和度）を限定するものである。これを特定するために色相は、第１象限のＢ−Ｙ軸を基準（０度）として左回りの角度で表現するものとする。また飽和度は、ベクトルのスカラ量となり、色差平面の原点が飽和度０で色がない状態となり、原点から離れるに従って飽和度が大きくなり色が濃いことを示す。
【００３６】
図８では、特定色フィルタ７１により抽出される範囲は、等色相線Ｌ１に対応する角度θ１より小さくかつ等色相線Ｌ２に対応する角度θ２より大きい範囲に設定され、また色の濃さは等飽和度線Ｓ２より小さくＳ１より大きい範囲に設定されている。第２象限のこの範囲は第１実施形態で抽出する人間の手の色である肌色の領域に相当するが、抽出する色の領域はこれに限定されるものではない。特定色フィルタ７１は、ビデオカメラ２から出力される色差信号（Ｒ−Ｙ，Ｂ−Ｙ）が等色相線と等飽和度線で囲まれた領域に入っているか否かを検出する。そのためには色差信号から角度と飽和度を算出して判定する。
【００３７】
角度算出は、一例として図９に示すような処理によって、入力画素それぞれについて、図８に示す色差平面上でなす角度を算出する。図９は、角度算出処理をフローチャートにて図示しているが、角度算出処理はソフトウェア、ハードウェアのいずれで実現してもよい。第１実施形態では、ハードウェアで実現するようにしている。図９はハードウェアで行われる角度算出処理の手順を示している。図９のステップＳ４０１にて、入力画素それぞれの色差信号Ｒ−Ｙ，Ｂ−Ｙ成分の符号より、入力画素の色相が、色差平面上の第何象限に位置しているかを検出する。ステップＳ４０２にて、色差信号Ｒ−Ｙ，Ｂ−Ｙ成分それぞれの絶対値の大きい方をＡ、小さい方をＢとして算出する。
【００３８】
そして、ステップＳ４０３にて、Ｂ／Ａより角度Ｔ１を検出する。この角度Ｔ１は、ステップＳ４０２の処理より明らかなように、０〜４５°となる。角度Ｔ１は、折れ線近似やＲＯＭテーブルによって算出することができる。ステップＳ４０４にて、Ａが｜Ｒ−Ｙ｜であるか、即ち、｜Ｒ−Ｙ｜＞｜Ｂ−Ｙ｜であるか否かを判定する。｜Ｒ−Ｙ｜＞｜Ｂ−Ｙ｜でなければ、そのままステップＳ４０６に進む。｜Ｒ−Ｙ｜＞｜Ｂ−Ｙ｜であれば、ステップＳ４０５にて、角度Ｔ１を、（９０−Ｔ１）に置き換える。これによって、ｔａｎ-1（（Ｒ−Ｙ）／（Ｂ−Ｙ））が求められる。
【００３９】
ステップＳ４０３において検出する角度Ｔ１を０〜４５°としているのは、ｔａｎ-1（（Ｒ−Ｙ）／（Ｂ−Ｙ））のカーブは４５°を超えると急激に勾配が大きくなり、角度の算出に不適であるからである。
さらに、ステップＳ４０６にて、ステップＳ４０１にて検出した象限のデータを用いて第２象限か否かを判定し、第２象限であれば、ステップＳ４０７にて、Ｔ＝１８０−Ｔ１を算出する。第２象限でなければ、ステップＳ４０８にて、第３象限か否かを判定し、第３象限であれば、ステップＳ４０９にて、Ｔ＝１８０＋Ｔ１を算出する。第３象限でなければ、ステップＳ４１０にて、第４象限か否かを判定し、第４象限であれば、ステップＳ４１１にて、Ｔ＝３６０−Ｔ１を算出する。第４象限でもない、即ち第１象限であるときは、角度ＴをＴ１とする（ステップＳ４１２）。そして、最終的に、ステップＳ４１３にて、入力画素それぞれの図８の色差平面上でなす角度Ｔを出力する。
【００４０】
以上の処理により、入力された色差信号Ｒ−Ｙ，Ｂ−Ｙの色差平面上での角度を０〜３６０°の範囲で求めることができる。ステップＳ４０４〜Ｓ４１１は、ステップＳ４０３にて検出した角度Ｔ１を角度Ｔに補正する処理である。また、ステップＳ４０４〜Ｓ４１１は、角度Ｔ１を、第１〜第４象限に応じて補正している。
【００４１】
次に、色の濃さである飽和度の算出は、下記の式により行われる。
Ｖｃ＝ｓｑｒｔ（Ｃｒ×Ｃｒ＋Ｃｂ×Ｃｂ）
但し、Ｃｒは、図８に示すように色信号の（Ｒ−Ｙ）軸成分であり、Ｃｂは（Ｂ−Ｙ）軸成分である。またｓｑｒｔ（  ）は平方根の演算を行う演算子である。
【００４２】
ここでの処理はソフトウェアまたはハードウェアを特定するものではないが、乗算と平方根はハードウェアでは実現が容易でなく、またソフトウェアでも演算のステップが多くなるので、以下のように近似することもできる。
Ｖｃ＝ｍａｘ（｜Ｃｒ｜，｜Ｃｂ｜）
＋０．４×ｍｉｎ（｜Ｃｒ｜，｜Ｃｂ｜）
但し、ｍａｘ（｜Ｃｒ｜，｜Ｃｂ｜）は、｜Ｃｒ｜と｜Ｃｂ｜のうち、大きい方を選択する演算処理であり、ｍｉｎ（｜Ｃｒ｜，｜Ｃｂ｜）は、｜Ｃｒ｜と｜Ｃｂ｜のうち、小さい方を選択する処理である。またＶｃはベクトルのスカラ量であり、ここでは飽和度を表す。
【００４３】
以上より求めた角度（色相）Ｔと飽和度Ｖｃが、等色相線の角度θ１からθ２の範囲、色の濃さは等飽和度線Ｓ２より小さくかつＳ１より大きい範囲に入っているか否かを評価する。範囲に入っている信号を通過させるのが、図７に示す特定色フィルタ７１の役割である。
【００４４】
図７の階調限定器７２は、図１０に示すように、輝度信号の特定の階調を限定するものである。８ビットデジタル信号の場合、０〜２５５までの２５６階調を有するが、この範囲の階調を限定する最大レベルＬｍａｘ及び最小レベルＬｍｉｎを設定し、レベルがその間にある輝度信号を出力する。
【００４５】
合成器７３は、特定色フィルタ７１と階調限定器７２から入力される信号を合成して領域パルスに変換する。即ち、特定色フィルタ７１を通過した信号と、階調限定器７２を通過した信号の両方が存在（ＡＮＤ）する場合に、高レベルとなるパルスを出力する。
合成器７３で生成された領域パルスは、オブジェクトゲート器７４に供給される。オブジェクトゲート器７４は、領域パルスが高レベルであるとき、輝度信号と色差信号を通過させる。領域パルス外の範囲（領域パルスが低レベルであるとき）、即ち入力信号を通過させない場合は、規定した値の信号を出力する。第１実施形態では、通過させない範囲では、黒レベルの輝度信号、及び飽和度０の色差信号を出力する。
【００４６】
このオブジェクト抽出器５１の働きは、特定色フィルタ７１で色信号の色相（角度）と飽和度を限定したものをさらに輝度信号レベルで限定するものである。特定色フィルタ７１で色相と飽和度を限定することによって人の肌色に絞ることができる。但し、人の肌は日焼け具合で変化し、また人種によっても異なる。肌色といってもさまざまであるが、特定色フィルタ７１に入力する制御信号によって、色相，飽和度，輝度信号の階調限定の範囲を調整すれば概ね人の手を検出することができる。色相，飽和度，階調を適切に調整すれば、パラメータを最適化することにより人の手と手以外のものとを区別することができる。
【００４７】
図１１（Ａ）及び図１２（Ａ）は、ビデオカメラ２から入力されてくる画像に対して破線にて示す検出エリア（２−１）〜（２−８）が設定されていることを表す。第１実施形態では、ユーザ３が表示装置２３に表示されたプッシュボタン（１−８）〜（１−８）に対応した検出エリア（２−１）〜（２−８）に手をかざすと、その動作が制御情報として判別される。図１１（Ｂ）及び図１２（Ｂ）は、その手の動きを示す。図１１（Ｂ）は、手の指を伸ばしてプッシュボタン（１−８）に対応した検出エリア（２−８）にかざした状態を示し、図１２（Ｂ）は、手の指を折り曲げた状態を示す。第１実施形態では、この指を折り曲げる動作を２度繰り返すことでプッシュボタン（１−１）〜（１−８）を押した（操作した）ことを認識するようにしている。プッシュボタン（１−１）〜（１−８）を押したことを認識させるのは、手をかざしただけとしてもよく、折り曲げ動作を１度または３度以上としてもよく、適宜設定すればよい。
【００４８】
次に、図１３（Ａ），（Ｂ）を参照して手の動作を時間軸に添って説明する。指を伸ばしている状態から折り曲げた状態までの経過時間をＴｍとする。図１３（Ａ），（Ｂ）では説明を分かり易くするために動作の最小単位としてＴ０，Ｔ１，…，Ｔ６と時間を区切っている。以下に時間経過に添って説明する。図１３（Ｂ）の左端部にはプッシュボタン（１−１）〜（１−８）または検出エリア（２−１）及び（２−８）の一部を概念的に図示している。
【００４９】
時刻Ｔ−１では、手が存在しない状態が示され、時刻Ｔ０では、所望のプッシュボタンに手をかざした状態が示され、時刻Ｔ１から、手を最低Ｔｍ期間保持し、時刻Ｔ２では、手の指を折り曲げた状態が示され、時刻Ｔ３では、手の指を折り曲げた状態から手の指を伸ばした状態が示されている。時刻Ｔ４では、再度手の指を折り曲げた状態が示され、時刻Ｔ５では、折り曲げた手の指を再度伸ばした状態が示され、時刻Ｔ６から、手の指を伸ばした状態を最低Ｔｍ期間保持し、時刻Ｔ７では、手が存在しない場合が示されている。
【００５０】
以上がプッシュボタン（１−１）〜（１−８）上での手の動きである。図１３（Ａ）の波形図は、図１３（Ｂ）にモデル化して描いたプッシュボタン上の手のひらの投影面積の変化を示す。この波形を解析することにより手の動きを特定することができる。
【００５１】
図１４に、オブジェクト抽出器５１の出力信号に対応する画像を示す。オブジェクト抽出器５１を通過した信号は、タイミングゲート器５２でプッシュボタン（１−１）〜（１−８）の領域が限定され、それ以外の領域は無視される。タイミングゲート器５２内は特定色フィルタ７１で色が特定され、ここでは手の肌色領域のみが通過となり、また階調限定器７２によって階調も限定され、限定された領域のみが通過となり、それ以外の領域が黒（輝度信号・色信号共に０）とされる。従って、図１４に示すように手の指以外がハッチングで示すように黒となる。図１４（Ａ）は指を伸ばしてかざした状態を示し、図１４（Ｂ）は指を折り曲げた状態を示している。ここで肌色領域以外の領域を黒に設定したのは、後段の検出部１９での検出精度を上げるためである。
【００５２】
この図１４からさらに画像の特徴を検出する。図６に示すオブジェクト特徴データ検出器５３は、画像からさまざまな特徴を検出する機能ブロック、即ち、ヒストグラム検出器６１，平均輝度（ＡＰＬ）検出器６２，高域頻度検出器６３，最小値検出器６４，最大値検出器６５を備える。この他にも画像を特徴付ける要件はあるが第１実施形態では、これらの内容にて手であることを判別すると共にその動作を認識する。なお、ヒストグラム検出器６１〜最大値検出器６５の全てを備えることは好ましいが、例えばヒストグラム検出器６１のみでも手の動作を認識することができるので、少なくともヒストグラム検出器６１を備えればよい。
【００５３】
これらの検出器６１〜６５は、第１実施形態ではハードウェアにて構成され、画面上の検出エリア（２−１）〜（２−８）内の各特徴を表すデータを画面単位（フィールド及びフレーム単位：垂直周期単位）で生成して、ＣＰＵバスを介して制御情報判断器２０ヘと送出する。制御情報判断器２０は、ソフトウェア上で検出器６１〜６５にて生成したデータを変数に格納し、後述するデータ処理を行う。
【００５４】
ヒストグラム検出器６１は、輝度信号の階調を例えば８ステップに区切って各ステップに存在する画素の数をカウントし、１画面（フィールドまたはフレーム画面）ごとに各ステップの頻度の値を制御情報判断器２０へ出力するものである。ＡＰＬ検出器６２は、同様に１画面内の輝度レベルを加算し、画素数で割った１画面の平均輝度値を制御情報判断器２０へ出力する。高域頻度検出器６３は、空間フィルタ（２次元フィルタ）にて高域成分を抽出し、その高域成分の頻度を１画面単位で制御情報判断器２０に出力する。最小値検出器６４は、１画面の輝度信号の最小階調値を、また最大値検出器６５は１画面内の輝度信号の最大階調値を制御情報判断器２０へ出力する。
【００５５】
制御情報判断器２０は、受け取ったデータを変数に格納し、ソフトウェアにてデータを処理する。ここから以降は手の動作を検出する処理となるが、第１実施形態ではこれ以降は後述するソフトウェアによる処理となる。
【００５６】
ところで、テレビジョン受像機１が設置された部屋が暗い状態、即ち暗室状態ではビデオカメラ２からの映像は鮮明でなく、ユーザ３の手の動作の識別が困難となるおそれがある。そこで第１実施形態では、民生用テレビジョン受像機が使われるさまざまな環境下で確実に遠隔操作を可能とするために、ユニバーサルリモコンを用いる。このユニバーサルリモコンは、暗室状態での問題を解決すると共に、ネットワーク化に対応したあらゆる機器の操作に活用できる汎用性のあるリモコンであり、かつユーザ３の手の動作と互換性を有し、さらに機能を拡張することで、使い勝手がよく、さまざまな機器に対して操作の柔軟性を有する新たな概念のリモコンである。
【００５７】
第１実施形態で用いるユニバーサルリモコン４０１の構成例を図１５（Ａ）〜（Ｅ）に示す。図１５（Ａ）はユニバーサルリモコン４０１を操作するユーザ３に面する表面を示す平面図、図１５（Ｂ）は側面図である。ユニバーサルリモコン４０１は、本体３０１と、開閉可能な蓋３０２とからなる。図１５（Ａ），（Ｂ）には、蓋３０２が閉じられた状態が示されており、図１５（Ｂ）の破線は、蓋３０２が開いた状態を示す。蓋３０２は、閉じた状態で露出する面に矩形の発光部３０３と、発光部３０３の四隅に位置する円形の発光部３０４とを有する。本体３０１には、無彩色または特定色のボタン（以下「特定色ボタン」という）３１０と、赤色に着色されたＲボタン３１１と、緑色に着色されたＧボタン３１２と、青色に着色されたＢボタン３１３と、シアン色に着色されたＣボタン３１４と、マゼンダ色に着色されたＭボタン３１５と、黄色に着色されたＹボタン３１６が設けられている。特定色ボタン３１は蓋３０２を開けると露出する。３１１〜３１６を色選択ボタンと称する。
【００５８】
図１５（Ｃ）は蓋を開けた状態の平面図であり、ユーザ３に面している面を示してしている。図１５（Ｄ）は蓋を開けた状態を裏面から見た平面図で、発光部３０３及び３０４が裏面に位置している状態が示されている。図１５（Ｅ）は蓋を開けた状態の側面図であり、蓋が少し角度を付けた状態となっている。図１５（Ｅ）に示す矢印は発光部３０３及び３０４から出る光を概念的に示している。このユニバーサルリモコン４０１の発光部３０３，３０４をテレビ受像機１の方向に向け、ボタン３１０〜３１６を押下して光を発生させることにより、手の動作の代用をさせ、発光部３０３，３０４をビデオカメラ２で撮影することにより、操作内容が識別される。
【００５９】
ユニバーサルリモコン４０１の操作について図１６を用いて説明する。なお、図１６ではプッシュボタンを３行×３列の９個としている。ユニバーサルリモコン４０１は、手の動作によって検出部１９で検出される波形と同じ波形になるように、発光部３０３の発光状態を変化させて手の動作を代用させるものである。ユーザ３は画面に映し出されているユニバーサルリモコン４０１のポジションをグラフィックスに描かれたプッシュボタン上に移動させ、次にユニバーサルリモコン４０１の所定のボタンを押下し、プッシュボタンに与えられた機能をテレビジョン受像機１に実行させる。
【００６０】
これにより手の動作と互換性を持たせてリモコンで操作ができ、しかもユニバーサルリモコン４０１は自発光であるので、暗室に近い状態でも利用が可能である。発光部３０３，３０４を発光させることにより、ユニバーサルリモコン４０１を移動させてもユニバーサルリモコン４０１のポジションが認識できるようにしている。発光部３０４を設けることなく、発光部３０３に発光素子としてテレビ画面などに利用されているディスプレイ素子を用いて発光部３０３の周辺のみを光らせるようにしてもよい。なお、以下の説明では、メニュー画面のプッシュボタンを画面ボタンと呼称し、ユニバーサルリモコン４０１のボタンをリモコンボタンと呼称して区別する。
【００６１】
次に、発光部３０３の点灯内容について説明する。
図１７（Ａ）は、図１３（Ａ）に示す波形図と同一の波形図であり、手の動作の投影面積の変化、即ち図６のＡＰＬ検出器６２の検出結果を表している。図１７（Ｂ），（Ｃ），（Ｄ）は、縦軸が画面の垂直方向を表しており、横軸が時間の経過を表している。また四角枠の図形は発光部３０３の発光部分の形状を模して描いており、時間経過と共に発光内容が変化している様子が示されている。この図１７では、クロスハッチングが最も低い輝度を表し、ハッチングが中間的な輝度を表している。また、四角の図形の時間毎の変化を都合上、重ねて描いており、理解を容易にするため、垂直方向に少しずつずらして描いている。実際にユニバーサルリモコン４０１を操る場合、この程度のずれは許容できる。
【００６２】
図１７（Ｂ）は、発光部３０３の発光領域の面積を変化させることにより、図６のヒストグラム検出器６１とＡＰＬ検出器６２の検出結果が、図１７（Ａ）の波形になるようにした場合を示す。図１７（Ｃ）は発光部３０３の全体を発光させ、階調を変化させることにより、平均輝度検出結果が図１７（Ａ）の波形になるようにした場合を示す。図１７（Ｄ）は、発光部３０３の発光強度を変化させることにより、平均輝度検出結果が図１７（Ａ）の波形になるようにした場合を示す。
【００６３】
発光部３０３に使用される発光素子は、発光面積を変化させることができるものか、または発光強度（明るさ）を変化させることが可能な素子であり、電球，発光ダイオード（ＬＥＤ），ＬＣＤ，エレクトロルミネセンス素子（ＥＬ）などの種々の発光素子や蓄光塗料などの蓄光材を用いることができる。またこれらと同様の発光機能を有する携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assistants）の表示装置も、図１７（Ａ）の波形に対応する光を出力させる機能を持たせることにより、ユニバーサルリモコン４０１の役目をさせることができる。このように、ユニバーサルリモコン４０１はテレビジョン受像機１を操作する専用のものであっても、携帯電話のように他の装置と兼用のものであってもよい。さらに、発光素子を設けたユニバーサルリモコンを手袋のような形状とし、
ユーザがユニバーサルリモコンを手に装着して電子機器を操作するという形態も考えられる。なお、発光面積や発光強度を変化させること自体は周知の技術で実現できるので、ユニバーサルリモコン４０１における発光面積や発光強度を変化させるための具体的な構成については説明を省略することとする。
【００６４】
次に、ユニバーサルリモコン４０１の発光色の種類を増やし、ユーザ３が選択した発光色の違いで画面ボタンを制御する方法について説明する。これは図７の色差平面上の特定の領域の色のみを通過させる特定色フィルタ７１の等色相線を調整し、ユニバーサルリモコン４０１の異なる発光色のそれぞれに対応させた特性色フィルタを用いて、ユーザ３が選択したユニバーサルリモコン４０１の発光色が何色であるか検出するものである。第１実施形態では、ユニバーサルリモコン４０１の発光色を肌色と以下の６色とするが色の数はこの６色に限るものではない。
【００６５】
図１８は色差平面図で、３６０度平面を等間隔に６つの色領域に分割した例であり、第１〜第６の色領域は、それぞれ青，マゼンタ，赤，イエロー，グリーン，シアンに対応している。図１９は、第１から第６までのそれぞれの色領域の幅を狭くしたものである。発光部３０３で任意の色の発光をさせるようにすれば、ユニバーサルリモコン４０１は決められた色を正確に発光させることができ、このようにフィルタ７１の通過領域の設定を相当狭くすることが可能である。外光の影響による誤検出の可能性を考慮して最適な幅で領域を設定すればよい。
【００６６】
図２０は、図７のオブジェクト抽出器５１を発展させた、色識別機能を有するオブジェクト抽出器５１−Ｎの構成を示すブロック図である。図７に示すオブジェクト抽出器５１の特定色フィルタ７１を第Ｎの色領域フィルタ７１−Ｎに変更し、さらに第Ｎの色領域頻度算出器７５を追加したものである。第Ｎの色領域フィルタ７１−Ｎは、図１９に示した６つの色領域の第Ｎの色領域に対応するよう設定してある。従って、Ｎは１から６までの整数であり、色領域別にオブジェクト抽出器５１−Ｎが６つ存在する。
【００６７】
第Ｎの色領域頻度算出器７５は、第Ｎの色領域フィルタの出力が１であるとき、または２値でない場合は特定の値以上のときにカウンタ（図示せず）をカウントアップして第Ｎの色領域の色差信号が入力された頻度を出力するものである。これは後段の処理でユニバーサルリモコン４０１が発光した色が何色であるかを判別するために使われる。入力された輝度信号と色差信号は合成器７３の出力によりオブジェクトゲート器７４でゲートされる。合成器７３は第Ｎの色領域フィルタ７１−Ｎ及び階調限定器７２の出力を論理合成するものであり、ここでの処理は第１実施形態では、１，０の２値で行われる。これに代えて、色の飽和度や輝度レベルに応じて数ビットの階調を有する信号を合成器７３で加減乗除し、オブジェクトゲート器７４において合成器７３の出力の階調に応じてゲートすることも可能である。
【００６８】
図２１は、色識別可能な検出器１１０の構成を示すブロック図である。この検出器１１０は図６に示す検出器３１〜３４の構成を色識別可能な構成に発展させたものであり、第１〜第６の色識別オブジェクト抽出器５１−１〜５１−６と、タイミングゲート器５２−１〜５２−６と、オブジェクト特徴データ検出器５３−１〜５３−６と、色識別検出器５４とを備えている。
【００６９】
それぞれ６つの異なる色領域に対応した第Ｎの色識別オブジェク抽出器５１−Ｎ（Ｎ：１〜６）内のオブジェクトゲート器７４の出力がタイミングゲート器５２−Ｎ（Ｎ：１〜６）に入力され、第Ｎの色領域頻度算出器７５−Ｎ（Ｎ：１〜６）の出力が、色識別検出器５４に入力される。色識別検出器５４は、各（第Ｎの）色領域の頻度の最大値を算出する。これはユニバーサルリモコン４０１が画面ボタンに対して発光した色が最も高い頻度になるからである。色識別検出器５４は、最大値を出力している色領域を示す値をＣＰＵバスを介して制御情報判断器２０へ転送する。色識別検出器５４から制御情報判断器２０へと供給する色領域を示す値は、制御情報判断器２０でどの色が有効か、換言すればどの画面ボタンが有効で制御すべき内容が何であるかを判断する情報となる。
【００７０】
６つのタイミングゲート器５２−Ｎは、同一の画面ボタン領域で色領域識別しているので、同一のタイミングでゲート処理される。ゲートされた信号は、色領域ごとに設けられたオブジェクト特徴データ検出器５３−Ｎ（Ｎ：１〜６）に出力され、ヒストグラムなどのデータを、ＣＰＵバスを介して制御情報判断器２０へと転送する。制御情報判断器２０は、色識別検出器５４から入力される情報からどの色領域が有効であるかが判断できるので、オブジェクト特徴データ検出器５３−Ｎから１つの有効な領域のデータを制御情報判断器２０内に設けられている後述する補償器２２１〜２２５及び動作検出器２０１〜２０５に供給する。
【００７１】
次に、色識別オブジェクト抽出器５１−Ｎの第Ｎの色領域頻度算出器７５−Ｎで算出された各領域の頻度をどのように処理するかについて説明する。
図２２は、図１６と同様にユーザ３による操作を説明するための図であり、グラフィックスで描かれたメニュー画面は、一つの無彩色ボタン１１０Ｂと６色に色分けされた６つの色ボタン、即ち、赤ボタン１１１Ｂ，緑ボタン１１２Ｂ，青ボタン１１３Ｂ，シアンボタン１１４Ｂ，黄ボタン１１５，マゼンタボタン１１６Ｂからなる点が異なっている。
ユニバーサルリモコン４０１のボタンには通常のリモコンのようなボタンの機能を表す表示、例えば「電源」「チャンネル」「音量」「入力切替」などは記載されていない。そのような操作を選択するための表示は画面のグラフィックメニュー上の６つのボタン１１１Ｂ〜１１６Ｂに記載されており、ユーザ３はこれを見て所望の画面上のボタンを選択する。
【００７２】
ここで、ユーザ３は、画面上の６つの色ボタン１１１Ｂ〜１１６Ｂを操作する場合には、画面上に映し出された図１５のユニバーサルリモコン４０１を所望のボタン上に移動させて特定色ボタン３１０を押下する。図２２に示す矢印Ｙ１１がその操作を示している。画面上の色ボタン１１１Ｂ〜１１６Ｂにはボタンの機能が記載され、ユーザ３はその機能を確認してユニバーサルリモコン４０１を所望のボタン上に移動させて特定色ボタン３１０を押下すればよい。この場合は、色ボタン１１１Ｂ〜１１６Ｂによって機能ごとに色分けされているので、色ボタン１１１Ｂ〜１１６Ｂのいずれを操作する場合でも特定色ボタン３１０のみを押下すればよいことになる。
【００７３】
他の手法として、色ボタン１１１Ｂ〜１１６Ｂは単に色ごとの機能のみを説明する情報とし、それぞれの機能を選択するためのボタンを画面の左下の無彩色ボタン１１０Ｂとしてもよい。無彩色ボタン１１０Ｂを操作する場合には、画面上に映し出された図１５のユニバーサルリモコン４０１を無彩色ボタン１１０Ｂ上に移動させ、ユニバーサルリモコン４０１上の６色の色選択ボタン３１１〜３１６のいずれか１つを押下する。図２２に示す矢印Ｙ１２がその操作を示している。この場合は、押下するボタンは無彩色ボタン１１０Ｂのみであるので、テレビジョン受像機１はどの色に対応する機能を選択したかを判別しなければならない。そこで、ユニバーサルリモコン４０１における６色の色選択ボタン３１１〜３１６のいずれか１つを押下する。
【００７４】
ユニバーサルリモコン４０１が発光する光は図１８にある６種類の色と無彩色または特定色（ここでは手と同じ肌色）である。上記のように、画面上の６つの色ボタン１１１Ｂ〜１１６Ｂに対しては特定色ボタン３１０の押下によって所望の機能が選択され、無彩色ボタン１１０Ｂに対してはユニバーサルリモコン４０１の６つの色選択ボタン３１１〜３１６の押下によって所望の機能が選択される。
以上の２種類の操作は画面上のボタンを選択するか、ユニバーサルリモコン４０１のボタンを選択するかの違いであり、適宜使い分ければよい。なお、色ボタン１１１Ｂ〜１１６Ｂを用いて機能を選択する場合には、無彩色ボタン１１０Ｂは必ずしも必要はないので削除可能である。
【００７５】
このユーザ３の２種類の選択操作が、どのように検出部１９で検出されるかについて図２３に示す第１の応用例に添って説明する。図２３（Ａ）は、テレビジョン受像機１のメニューとビデオカメラ系信号を混合した画面を示す。図２３（Ｂ）は、ユニバーサルリモコン４０１のボタン内容を示す。図２３（Ｃ）は、図２３（Ａ）に描かれたメニュー画面に対応する検出部１９と制御情報判断器２０を示す。ここでの検出部１９は、図２の検出器３１〜３４の代わりに検出器１１０〜１１６を備えている。
図２３（Ａ）におけるメニュー画面の内容は図２２と同様であり、６つの色領域を示す画面上の色ボタン１１１Ｂ〜１１６Ｂと、無彩色ボタン１１０Ｂとが示されている。理解を容易にするため、図２３（Ａ）の無彩色ボタン１１０Ｂと６つの色ボタン１１１Ｂ〜１１６Ｂには、図２３（Ｃ）の検出器１１０〜１１６に対応する符号１１０Ｂ〜１１６Ｂが付されている。また図２３（Ｂ）には、ユニバーサルリモコン４０１の各ボタンと、対応する検出器の番号が示され、さらに図２３（Ａ）の画面ボタン１１０Ｂ〜１１６Ｂと検出器１１０〜１１６の番号との対応関係が示されている。
【００７６】
図２３（Ｃ）に示す第１の検出器１１０は、図２３（Ａ）の無彩色ボタン１１０Ｂに対応している。前述のように、無彩色ボタン１１０Ｂはユニバーサルリモコン４０１の６つの色選択ボタン３１１〜３１６のいずれかによって操作する。検出器１１０はビデオカメラ２を通じて６種類の色による情報を受けることになるので、検出器１１０は色を識別する必要がある。従って、検出器１１０は図２１の色判別が可能な色識別オブジェクト抽出器５１−Ｎを有する色識別可能な検出器である。従って、検出器１１０からは図２１における色識別検出器５４からの検出出力とオブジェクト特徴データ検出器５３−Ｎからの出力とが得られる。一方、色ボタン１１１Ｂ〜１１６Ｂに対応して設けられた検出器１１１〜１１６は、画面位置により６種類の制御の判別を行えばよいので、図７と同様のオブジェクト抽出器５１を備えればよい。但し、特定色フィルタ７１は無彩色にも対応するものとする。
【００７７】
色識別オブジェクト抽出器５１−Ｎを具備した検出器１１０は、タイミングゲート器５２−Ｎで画面ボタンの位置の範囲だけ光を通過させて、その範囲のヒストグラム，ＡＰＬ，高域頻度検出，最小値，最大値などのデータを制御情報判断器２０に転送する。検出器１１０では色識別オブジェクト抽出器５１−Ｎから信号に応じて、図２１に示す色識別検出器５４からどの色が有効であるかの情報が制御情報判断器２０に転送される。制御情報判断器２０は、有効な色領域のオブジェクト特徴データ検出器５３−Ｎからのデータを評価して、ユニバーサルリモコン４０１による操作を検出する。
【００７８】
図２４は、色識別によるユニバーサルリモコン４０１の第２の応用例を説明するための図である。図２４（Ａ）は、テレビジョン受像機１の画面を示し、説明のために付加した破線の下側には、ビデオカメラ系信号がグラフィックスのメニュー画面と混合されて表示されている。破線の上側に位置する部分には、グラフィックスの画像や場合によってはグラフィックス画面の背景に放送やビデオ入力などの信号が混合されたものが表示されている。
【００７９】
破線上側の６つの色を持った旗（Banner）は、図２３（Ａ）に示すような画面ボタンではなく、色識別するための色に対する機能を知らせるための標識である。この旗をユニバーサル情報と称することとする。図２４（Ａ）に示すように、画面ボタン１１０Ｂ１及び１１０Ｂ２は、画面下側の左右に配置されている。図２４（Ｂ）にはユニバーサルリモコン４０１が示されており、図２４（Ｃ）には、第１の検出器１１０’及び制御情報判断器２０が示されている。画面ボタン１１０Ｂ１及び１１０Ｂ２に対応する図２４（Ｃ）の第１の検出器１１０’は、図２３（Ｃ）の第１の検出器１１０と同じ機能を有する。第１の検出器１１０’にタイミングパルスが２つ入力されるのは、検出器１１０’が動作する位相が画面ボタン１１０Ｂ１，１１０Ｂ２の２箇所あることを示している。第１の検出器１１０’も色識別オブジェクト抽出器５１−Ｎを備える。
【００８０】
図２４に示すユニバーサルリモコン４０１の操作方法は次の通りである。ユーザ３は、テレビジョン受像機１の画面を見て操作情報の「赤（Ｒ）：１チャンネル、緑（Ｇ）：２チャンネル、青（Ｂ）：３チャンネル、黄（Ｙ）：４チャンネル、マゼンタ（Ｍ）：５チャンネル、シアン（Ｃ）：６チャンネル」を確認して、ユニバーサルリモコン４０１を画面ボタン１１０Ｂ１，１１０Ｂ２いずれかにかざして色選択ボタン３１１〜３１６のいずれかを押下して発光部３０３を所定の色で発光させる。なお、１チャンネル〜６チャンネルの操作情報は単なる例である。
【００８１】
このように色識別操作を加えたユニバーサルリモコン４０１は、この第１実施形態では１の動作で６つの選択操作ができる。２箇所の画面ボタン１１０Ｂ１，１１０Ｂ２を設けているのは、ユーザが好みで使いやすい方を選択できるようにするためである。図２３のように１箇所としてもよい。ユーザは、画面ボタン１１０Ｂ１または１１０Ｂ２にユニバーサルリモコン４０１を移動させればよいので使い勝手がよい。
【００８２】
ユニバーサルリモコン４０１は手の動作による選択操作を、発光部３０３を使用した選択操作に置き換えたもの、即ち、検出部１９の出力に手の動作と同様の波形が出力されるようにしたものである。第１実施形態では、無彩色または肌色のような特定色の光を発光することによって手の動作と同様の効果が得られるようにした方式と、色識別による手元選択操作によってユニバーサルリモコン４０１をかざす位置を固定することが可能な方式の２通りを示している。この２つの方式は検出部１９の各検出器３１〜３４，１１０〜１１６，１１０’のオブジェクト抽出器５１を通過後は同様の構成で処理が可能である。
【００８３】
図２５及び図２６は、ヒストグラム検出器６１及びＡＰＬ検出器６２の出力データを示す図である。これは階調のヒストグラムと、平均輝度（ＡＰＬ）を示し、ＡＰＬについては大きさを感覚的に分かるように矢印で示している。これらの図においては、縦紬に頻度を示し、横軸に階調（明るさ）を８段階に区切って示している。ケース１とケース２は手の明るさが異なるもので、ケース１が特定の階調（ここでは階調“５”）に手の明るさの頻度が集中している場合であり、ケース２は２つの階調（ここでは階調“５”と“６”）に渡って手の明るさの頻度が分布している場合を表している。
【００８４】
図２５は、図１３に示した各時刻Ｔ０，Ｔ１，Ｔ３，Ｔ５，Ｔ６に対応したヒストグラムであり、図２６は時刻Ｔ２及びＴ４に対応したヒストグラムである。オブジェクト抽出器５１によって特定色の肌色または無彩色に限定してオブジェクト（対象物）を抽出し、色識別機能を有するオブジェクト抽出器５１−Ｎによって６つの色に限定してオブジェクトを抽出して、特定色フィルタ７１や第Ｎの色領域フィルタ７１−Ｎで阻止された部分を黒とするので、ヒストグラム上の頻度は黒の部分（階調“０”）と階調を限定した部分（階調“４”〜“７”）に分布する。
【００８５】
ヒストグラムのデータに基づいて手（指）がどのような状態であるか、またはユニバーサルリモコン４０１の発光がどのような状態であるかを判別する方法は種々考えられる。例えば、階調を限定した範囲である階調“４”〜“７”の頻度を合計して、手の動作またはユニバーサルリモコン４０１の発光の状態を判別することができる。また、図２５と図２６とを比較すれば分かるように、指を伸ばした状態と指を折り曲げた状態とでは黒の部分である階調“０”の頻度が異なる。これは、図１４より分かるように、オブジェクト抽出器５１，５１−Ｎの出力信号に含まれる階調“０”の部分の量が異なるからである。従って、階調“０”の頻度のみに基づいて手の動作またはユニバーサルリモコン４０１の発光の状態を判別することも可能である。このような階調“０”の頻度のみに基づいた判別では、制御情報判断器２０における判別動作の処理が簡略化されるので都合がよい。
【００８６】
ヒストグラムの合計値の変動はＡＰＬの変動と近い内容になり、値のスケールが異なるのみであるので、ＡＰＬに基づく解析はヒストグラムの解析と同様の方法で行うことができる。従って、ＡＰＬに基づいて手の動作またはユニバーサルリモコン４０１の発光の状態を判別することができる。判別の精度を上げるために、異なる検出手段を用いて評価し判定することは好ましい。図６に示す高域頻度検出器６３，最小値検出器６４，最大値検出器６５からの検出データも同様に評価し、より多くの異なる検出データから判別を行うことで判別の精度を向上させることができる。
高域頻度検出器６３は、指と背景の黒とのエッジ成分の頻度を検出するものであり、図１４より分かるように指を折り曲げたときはエッジ成分が少なくなり、その変動はヒストグラムやＡＰＬと同様である。上記の例ではオブジェクト抽出範囲から外れた部分を黒にしているが、ビデオカメラ２で捉える対象物の色や階調によっては黒ではなく白にした方がよい場合もある。このような場合には最小値検出器６４や最大値検出器６５を用いると判別の精度を向上させることが可能となる。
【００８７】
制御情報判断器２０における手の動作またはユニバーサルリモコン４０１の発光の状態の判別は、オブジェクト特徴データ検出器５３，５３−Ｎにおけるいずれの検出項目でもアルゴリズムの基本は同じであり、検出項目によってスケールが異なる。オブジェクト特徴データ検出器５３，５３−Ｎの出力は、ＣＰＵバスを介して制御情報判断器２０に転送される。制御情報判断器２０は、手の動作またはユニバーサルリモコン４０１の発光の状態を判別して、適切な制御信号を出力する。
【００８８】
図２７は制御情報判断器２０の動作を説明するための機能ブロック図である。制御情報判断器２０は、選択器２３０と、第１〜第５のスケール補償器２２１〜２２５と、第１〜第５の動作検出器２０１〜２０５と、制御情報発生器２１０とを備えている。第１〜第５のスケール補償器２２１〜２２５と第１〜第５の動作検出器２０１〜２０５は、図２７より分かるように、オブジェクト特徴データ検出器５３内のヒストグラム検出器６１，ＡＰＬ検出器６２，高域頻度検出器６３，最小値検出器６４，最大値検出器６５それぞれに対応して設けられている。図２７に示すようにオブジェクト特徴データ検出器５３が色領域毎に設けたオブジェクト特徴データ検出器５３−Ｎの場合には、選択器２３０はオブジェクト特徴データ検出器５３−Ｎの出力から所望の色領域に対応したデータを選択する。選択器２３０には図２１の色識別検出器５４からから得られる色領域を示すデータが入力され、選択器２３０はこのデータに基づいてオブジェクト特徴データ検出器５３−Ｎのいずれかの出力を選択する。
【００８９】
ここでは６つのオブジェクト特徴データ検出器５３−Ｎを設けてオブジェクト特徴データ検出器５３−Ｎの後段でオブジェクト特徴データ検出器５３−Ｎの出力を選択するようにしているが、オブジェクト特徴データ検出器５３を１つのみとし、オブジェクト特徴データ検出器５３の前段で色領域を選択するという構成も考えられる。このようにすると構成は簡略化されるが、１つの画面内の異なる画面ボタンでオブジェクト特徴データ検出器５３の動作を異ならせる必要が生じ、煩雑となる。そこで第１実施形態では、６つのオブジェクト特徴データ検出器５３−Ｎを設けて制御情報判断器２０内でオブジェクト特徴データ検出器５３−Ｎの出力を選択するようにしている。
【００９０】
第１〜５のスケール補償器２２１〜２２５は、ヒストグラムやＡＰＬといったオブジェクト特徴データ検出器５３−Ｎ内の検出器６１〜６５の内容に応じて、また色識別する場合は色ごとに対して入力されたデータのスケールを調整する。これは後段の動作検出器２０１〜２０５に対して一定のスケールの信号を供給するための正規化の役割を果たす。ここで色については第１〜５のスケール補償器２２１〜２２５において補正の値が明確に定められている。図２８（Ａ）はＩＴＵ−ＲＢＴ６０１カラリメトリに対応する輝度信号の各色に対する振幅を示し、図２８（Ｂ）は各色に対する振幅に基づいた輝度振幅順のカラーバー信号を示している。
【００９１】
図２８から分かるように色ごとに輝度信号振幅が異なるため、ヒストグラムやＡＰＬ信号などを評価する上で補正が必要である。各色の輝度振幅の逆数が補正値となる。第１〜５のスケール補償器２２１〜２２５は極力色ごとデータの振幅を揃えて動作検出器２０１〜２０５に供給する。なお、ここでは標準的なテレビジョン放送規格ＢＴ６０１で説明したが、ＨＤＴＶ（ハイビジョン）ではＢＴ７０９であり、規格よって係数値が異なり補正値も異なる。
【００９２】
動作検出器２０１〜２０５は、対応する検出器６１〜６５の検出結果に応じて検出フラグを出力し、制御情報発生器２１０に供給する。制御情報発生器２１０は、入力される検出フラグの内容を評価し、所定の制御情報を出力する。ここでの評価は、コンピュータ言語の演算子、例えば、論理和，論理積，排他的論理和，＞，＜などを活用して行われ、制御情報発生器２１０は、これらの演算子を含む演算式による演算結果に基づいて制御信号を出力する。第１実施形態では、全ての動作検出器２０１〜２０５の出力の論理和、即ち、少なくとも１つの動作検出器が検出フラグを出力したときに制御情報を出力するようにしている。
【００９３】
動作検出器２０１〜２０５について詳しく説明する。ここではヒストグラムの限定された範囲の階調における頻度の合計データから動作を検出する場合を説明する。図２９は、ヒストグラムから得られるデータの変動を示している。この図２９に示す時刻Ｔ０〜Ｔ６は、図１３に示す時刻Ｔ０〜Ｔ６に対応している。図２９（Ａ）は、ヒストグラムの階調“４”〜“６”における頻度を合計した値の変動を示しており、手が占める面積またはユニバーサルリモコン４０１の発光部３０３の平均輝度を表している。図２９（Ｂ）は図２９（Ａ）の波形からＤＣ（直流）成分を除去したもので、Ｔｍ期間中変化がない場合に値が０となる。図２９（Ｃ）は、図２９（Ａ）の波形を積分したもので、手の動き及びユニバーサルリモコン４０１を判別するためのゲートパルスを矢印で表したものである。図２９（Ｄ）は、図２９（Ｂ）の波形にデジタルフィルタで相互相関をかけて、手の動きとの相関を示したものである。図２９（Ｃ），（Ｄ）は、ユーザが画面ボタンを操作またはユニバーサルリモコン４０１の所定の操作をしたと制御情報判断器２０が判定を確定するまでの過程を表している。
【００９４】
以下、図２９について詳細に説明する。図２９（Ａ）は、図１３で手の動作に対応させて表した波形と同じ波形を示す。特に判別に寄与しない部分は省いている。ここで手を伸ばしている状態から折り曲げた状態とするまでにかかる期間をＴｍとして、手の動作の基準期間（時間間隔）とする。時刻Ｔ０からＴ１までの約Ｔｍ期間は手をかざした期間であり、該当する画面ボタンが活性化されるかどうかを検出する期間である。なお、画面ボタンが活性化されるとは、画面ボタンが操作されている（画面ボタンに対応した検出エリアに手またはユニバーサルリモコン４０１がかざされている）状態をいう。
【００９５】
時刻Ｔ１からＴ２は手の指を折り曲げていく過程を表している。時刻Ｔ２からＴ３は手の指を伸ばしていく過程を表している。時刻Ｔ３〜Ｔ４は、再び手の指を折り曲げていく過程を表している。時刻Ｔ４〜Ｔ５は再び手の指を伸ばしていく過程を表している。時刻Ｔ５〜Ｔ６は指が伸び、伸びた指を約Ｔｍ期間保持している状態を表している。この一連の動作は、マウスのダブルクリックの動作と類似しており、人にとって無理なく動作ができるものである。ユニバーサルリモコン４０１は、この手の動作と全く同じ波形が得られるように発光素子３０３を発光させるものであり、手の動作との互換性を有する入力手段である。
【００９６】
図３０は、図２９（Ａ）の波形からＤＣ成分を除去して図２９（Ｂ）の波形を得るためのフィルタ８０の構成例を示している。フィルタ８０は動作検出器２０１〜２０５に設けられている。このフィルタ８０は、時間Ｔｍだけ入力信号を遅延させる遅延器８１と、遅延器８１の出力信号から入力信号を減算する減算器８２と、信号レベルを１／２に減衰させる減衰器８３とからなり、Ｔｍ期間前後で（−１／２，１／２）のタップ係数を有する高域通過のデジタルフィルタである。Ｔｍ期間の遅延は、手の動作の波形を通過させるためのものである。デジタルフィルタの形態は特にこれに限定されるものではなく、ここでは簡易な構成であり絶対遅延量が小さいものを示した。
【００９７】
図３１（Ｃ）には、図２９（Ｂ）の波形に相互相関をかけて図２９（Ｄ）の波形を得るための相互相関デジタルフィルタ９０を示している。相互相関デジタルフィルタ９０は動作検出器２０１〜２０５に設けられている。図３１（Ａ），（Ｂ）は図２９（Ａ），（Ｂ）と同じものである。相互相関デジタルフィルタ９０を構成するＤと記載しているブロックは１垂直周期のディレイ回路であり、Ｄフリップフロップ（以下、ＤＦＦ）に相当する。ｋ０，ｋ１，…，ｋ８は相互相関デジタルフィルタ９０のタップ係数である。×と記載しているブロックは乗算器であり、Σと記載しているブロックは乗算器の出力の総和演算を行う演算器である。この演算器からは相互相関計算値Ｙ（ｎτ）が出力される。タップ係数ｋ０，ｋ１，…，ｋ８として図３１（Ｂ）の波形に相当する値を設定しているので、相互相関デジタルフィルタ９０から出力される相互相関計算値Ｙ（ｎτ）は、相互相関デジタルフィルタ９０に入力される波形と図３１（Ｂ）の波形との一致度が高いほど大きな値となる。両者が完全一致すれば、相互相関計算値Ｙ（ｎτ）は最大値となる。
【００９８】
図３１に示すデジタルフィルタによる演算処理を以下の数式で表すことができる。図３１の構成例では、Ｎは「９」である。
【数１】
0004544195.tif 000002
【００９９】
図３１に示す相互相関デジタルフィルタ９０には、図の右側から図３１（Ｂ）の波形が入力されるように図を描いている。これは、図３１（Ｂ）の波形の各値と、その各値が入力されるＤＦＦ，乗算器との対応関係が理解しやすいためである。タップ係数ｋ０，ｋ１，…，ｋ８は検出しようとする手の動作またはユニバーサルリモコン４０１の発光内容との相関を計算するものであるので、検出しようとするものが上記のダブルクリックの如くの動作と異なる場合には、それぞれの動作に対応したタップ係数とすればよい。また、互いに異なる複数のタップ係数を有する相互相関デジタルフィルタを複数機能させれば、異なる複数の動作を検出することが可能となる。
【０１００】
ところで、図３１の例では、相互相関デジタルフィルタ９０は９タップであるので、相互相関をとる期間は９垂直周期となる。１秒に６０垂直周期有するビデオ信号の場合には、約１／７秒になる。実際には１／７秒の間にダブルクリックの如くの手の動作を行うことは難しいので、タップ数をさらに増やして相互相関をとる期間を長くすればよい。ユニバーサルリモコン４０１を用いる場合には、手の動作よりも短時間でダブルクリックの如くの手の動作を行うことができるので、タップ数をさほど増やす必要はない。
【０１０１】
第１実施形態では図３１（Ｂ）の波形に相互相関をかける構成としたが、図３１（Ａ）に示す波形を用いてもよい。但し、図３１（Ｂ）の波形を用いた方がより精度が高くなる。さらに精度をよくするため図３１（Ｂ）の波形を２乗した波形を用いてもよい。
【０１０２】
図２９に戻り、図２９（Ｄ）の波形９０１について説明する。図２９（Ｄ）は相互相関デジタルフィルタ９０より出力される相互相関計算値Ｙ（ｎτ）の波形９０１をモデル化して表したものである。時刻が進行するに従って手の動作に基づいて得られる波形とタップ係数との一致度が増加してピークが大きくなる。図２９（Ｄ）の波形を絶対値化して積分し、この積分波形の包絡線を示したものが波形９０２である。波形９０２が閾値ＴＨ４を上回った時点で手またはユニバーサルリモコン４０１によって所定の操作がなされたと確定する。図３２に示すように、波形９０１を２乗して積分し、この積分波形の包絡線を示す波形９０３に基づいて手またはユニバーサルリモコン４０１の操作を確定させるという構成にしてもよい。
【０１０３】
図２９（Ｃ）の波形は図２９（Ａ）のヒストグラムからのデータを時間軸に添って積分したものである。時刻Ｔ１までの期間は手またはユニバーサルリモコン４０１をかざした期間であり、図２９（Ｂ）の波形は図２９（Ａ）の波形の高域成分のみを抽出したものであるので、図２９（Ａ）の波形が変化しないとき０になる。これは手またはユニバーサルリモコン４０１をかざしているときは静止状態であることを意味する。当然ながら手またはユニバーサルリモコン４０１を静止させても若干の動きはあるが、若干の動きを無視して静止とみなすことができる。従って、図２９（Ｂ）の波形が閾値ＴＨ１ａ，ＴＨ１ｂ間にあり、かつ図２９（Ａ）の波形が閾値ＴＨ０以上のとき積分されて積分値Ｉｎが大きくなっていき、図２９（Ｃ）となる。図２９（Ａ）の波形が閾値ＴＨ０以下のときに初期化が行われ、積分を始める初期状態となる。図２９（Ｃ）に示す積分値Ｉｎが、閾値ＴＨ２を越えると画面ボタンが活性化される。ここまでの動作検出領域を検出領域と称する。積分値Ｉｎを、図２９（Ｂ）が閾値ＴＨ１ａ，ＴＨ１ｂ間にあるとき、または図２９（Ａ）が閾値ＴＨ０以上のときに算出するようにしてもよい。
【０１０４】
図２９（Ｃ）に示す積分値Ｉｎが、閾値ＴＨ２を越えてから矢印Ｙ１のように特定の時定数を持った期間を設定し、その後の判定領域に至るまでが活性領域となる。活性領域とは相互相関計算している領域でもある。判定領域は相関計算の結果に基づいて手またはユニバーサルリモコン４０１の動作を判定するための領域であり、相互相関デジタルフィルタ９０の出力を絶対値化して積分した値（波形９０２）が閾値ＴＨ４を越えた時点から始まる。図２９（Ｃ）の閾値ＴＨ３は閾値ＴＨ２よりも小さな値であり、その閾値ＴＨ３を越えた矢印Ｙ２−１で示す期間を判定領域として用いる。手の指の折り曲げ動作は最後に指を伸ばして終了する。ユニバーサルリモコン４０１についても同様の波形が得られるように発光部３０３を点灯させる。閾値ＴＨ３はその最後の動作を確認するためのものである。矢印Ｙ２−１で示す期間を除く矢印Ｙ２−２の期間は判定を禁止する期間であり、この矢印Ｙ２−２の禁止期間を設けることにより、誤認識を避けることができる。そして、動作検出器２０１〜２０５は、矢印Ｙ１，矢印Ｙ２−１，矢印Ｙ３が揃った時点で画面ボタンが操作されたと確定する。
【０１０５】
図２９（Ｄ）に示す検出領域で、画面ボタンを構成するグラフィックスの色や形状を変えたり音声を発生させたりして、ユーザ３に検出領域に至ったことを知らしめるようにすることが好ましい。また、活性領域の最終時点や判定領域で操作を確定した時点で同様にグラフィックスの色や形状を変えたり音声を発生させたりして、ユーザ３に操作を確定したことを認識させることが好ましい。検出領域に至った場合と操作を確定した場合とでグラフィックスの色や形状または音声を異ならせることが好ましい。これにより、ユーザ３は操作が確実に行われていることを認識でき、誤操作を回避することができる。
【０１０６】
次に、閾値ＴＨ３，ＴＨ４の絶対レベルについて説明する。相互相関デジタルフィルタ９０の出力値は手をかざす領域の範囲によって大きさが変わる。閾値ＴＨ２までの積分にかかる時間Ｔｒに応じて閾値ＴＨ３を適宜設定すればよい。時間Ｔｒは手をかざす面積が大きければ大きいほど時間が短くなり、逆に面積が小さいときは時間が長くなる。従って、時間Ｔｒが大きいときは閾値ＴＨ３とＴＨ４を大きくし、時間Ｔｒが小さいときは閾値ＴＨ３とＴＨ４を小さくする。また、相関デジタルフィルタ９０の利得を補正することによっても閾値ＴＨ３，ＴＨ４の調整と同様の効果がある。このように、閾値ＴＨ３，ＴＨ４を適切に設定することにより画面ボタンに対して手をかざす面積にばらつきがあっても正確な認識を行うことが可能となる。ユニバーサルリモコン４０１についても全く同様であり、画面ボタンの位置から少々ずれてもその誤差を吸収することができる。
【０１０７】
第１実施形態によれば、一般的なリモコンが備える「電源」，「チャンネル」，「音量」，「入力切替」，「上」，「下」，「左」，「右」，「決定」などのボタンを全てユニバーサルリモコン４０１によって操作する画面ボタンに置き換えることが可能である。テレビジョン受像機１がネットワークで他の機器と接続され、他の機器をテレビジョン受像機１を介して操作する場合でも、他の機器を操作するための画面ボタンをテレビジョン受像機１の画面に表示させて他の機器を操作することが可能となる。他の機器の操作内容に対応させて画面ボタンを設定すればよいので、種々の機器を操作することが可能となる。
ユニバーサルリモコン４０１は手元操作機器であり、自発光のためテレビジョン受像機１が設置されている部屋が暗室状態であってもテレビジョン受像機１を操作することが可能となる。色識別機能を利用すれば、ユニバーサルリモコン４０１をかざす位置を特定の箇所に固定してユニバーサルリモコン４０１の色ボタンで機能を選択することができる。
【０１０８】
本発明の操作対象となる電子機器は、テレビジョン受像機に限るものではなく、パーソナルコンピュータや、テレビジョン受像機とビデオディスク録画装置の組み合わせや、テレビジョン受像機とビデオテープレコーダとの組み合わせなど、表示装置を有するものであればよい。
【０１０９】
＜第２実施形態＞
第２実施形態はユニバーサルリモコン４０１の操作に対するテレビジョン受像機１の応答速度を速くすることができる実施形態である。第２実施形態において第１実施形態との相違点を中心に説明し、共通部分の説明を省略する。第２実施形態は、発光部３０３として光量を可変できない蓄光材を用いた場合に特に好適である。勿論、発光部３０３として蓄光材以外を用いた場合でも採用することができる。
図３３は、上述した第１実施形態のユニバーサルリモコン４０１の機能と、広く使われている赤外線リモコンの機能とを混載した第２実施形態で用いるユニバーサルリモコン４０２を説明するための図である。
【０１１０】
図３３（Ａ）はユニバーサルリモコン４０２の表面の平面図で、中央に設けたボタン３２０はユニバーサルリモコンボタン４０２の無彩色または特定色を発光させるためのボタンと、従来の赤外線リモコンボタンの「決定」または「ＯＫ」と称されているボタンの機能とを共用したもので、このボタン３２０をユニバーサル決定ボタン（作動ボタン）と称して説明する。
図３３（Ｂ）はユニバーサルリモコン４０２の裏面の平面図で、裏面には、特定色発光部３０５が設けられ、特定色発光部３０５の近傍には赤外線リモコン用の赤外線発光部３０６が設けられている。特定色発光部３０５及び赤外線発光部３０６は、特定色の光と赤外線が同一方向に発光できるように構成されている。
【０１１１】
図３３（Ｃ）はユニバーサルリモコン４０２の側面図で、ユニバーサルリモコン４０２を手で持ってテレビジョン受像機１の方向に発光部３０５，３０６をかざしたときの角度を想定して描いたものである。第１の発光はユニバーサルリモコン４０２の特定色発光部３０５からの光であり、その発光は第１実施形態で説明した手の動作の代わりに用いるものである。第２の発光は赤外線リモコン発光部３０６からの赤外線である。第１と第２の発光はユニバーサル決定ボタン３２０を押下することで同時にまたは所定のタイミングでなされる。
【０１１２】
第２実施形態の理解を容易にするために現在一般的に使われている赤外線リモコンによる操作について説明する。図３４は、赤外線リモコンによる操作形態を説明するための図である。図３４（Ａ）はテレビ画面１ａを正面から見た図で、メニュー画面が表示されており、操作のための画面ボタン１−１から１−２０が描かれている。図３４（Ａ）に描かれているメニュー画面を操作するための赤外線リモコンのボタンには２種類ある。その１つが図３４（Ｂ）に示されており、「上」「下」「左」「右」「決定」がそれぞれ独立したボタンで構成され、それぞれのボタンを押すことによりボタンに書かれている制御機能の赤外線が発光される。もう１つが、図３４（Ｃ）に示されており、「上」「下」「左」「右」「決定」の機能が１つのボタンで構成されており、ボタンの縁を押しボタンの方向を傾けることにより「上」「下」「左」「右」それぞれの制御機能の赤外線が発光され、ボタンの中央を垂直に押すことにより「決定」の制御機能の赤外線が発光される。
【０１１３】
図３４（Ｂ），（Ｃ）に示すボタンは、その押し方に違いはあるが、どちらもユーザ３が選択した赤外線の発光でメニュー画面を操作する点は同じである。このような一般的な赤外線リモコンで図３４（Ａ）の画面メニューを操作する場合、今カーソルの位置が画面ボタン１−１にあり、制御したい画面ボタンが１−１３であるとき、例えば第１の矢印と第２の矢印で示した経路でカーソルを移動させる場合、「右」ボタンを２回押下してカーソルを１−１から１−６へと、１−６から１−１１へと移動させ、次に「下」ボタンを２回押下してカーソルを１−１１から１−１２、１−１２から１−１３へと移動させることになる。さらに「決定」ボタンを押下して制御を確定させる。従って、リモコンボタンを合計５回押下することになる。
【０１１４】
次に、図３５を参照して、ユニバーサルリモコン４０２による操作について説明する。図３５（Ａ）はテレビ画面１ａを正面から見た図であり、画面の上側にビデオカメラ２、下側に赤外線リモコン受光部６が取り付けられている。ここで、カーソルが画面ボタン１−１に位置しており、画面ボタン１−２０に記載されている機能を選択する場合、従来の赤外線リモコンでは画面ボタン１−１から画面ボタン１−２０までのカーソル移動と「決定」のためリモコンボタンを８回押下しなければならない。
一方、ユニバーサルリモコン４０２を使用した場合、ユーザ３は画面に映し出されているユニバーサルリモコン４０２の映像を画面ボタン１−２０の上に移動させ、ユニバーサル決定ボタン３２０を押下するのみでよい。なお、４０２Ｉｍはカメラ２にて撮影されたユニバーサルリモコン４０２の画像を示している。これにより、図３５（Ｂ）に示すように、ユニバーサルリモコン４０２の第１の発光と第２の発光が所定のタイミングでなされる。このときの第１の発光と第２の発光の発光タイミングについては後述する。
【０１１５】
第１の発光は特定色の発光であり、画面ボタン１−２０に記載されている機能を選択するためのものである。赤外線受光部６は第２の発光で送られる赤外リモコンの「決定」ボタンのコードを読みとることによって、選択した画面ボタンの機能を実行させることを決定させるまでの時間を短時間かつ確実なものとしている。
【０１１６】
図３６は、赤外線リモコン送受信機のコードの内容を説明するための図である。リモコンコードのフォーマットについては、財団法人家電製品協会（Association for Electric Home Appliances）フォーマットリモコンと呼ばれている標準的なコード基準や各メーカで定めたコード基準がある。ここではその中の一例を示して説明する。
ヘッダは、赤外線の受信回路（図２の赤外線検出器２４）を安定化させるために送信開始時に出力され、続いて１ワード１６ビットで構成された第１のコードが出力され、同じ内容のコードが第２のコード以降複数回出力される。１ワード１６ビットのビット構成は、メーカコード４ビット、テレビやビデオといった機器コード４ビット、チャンネル選択などの機能動作コード８ビットからなる。
【０１１７】
上記のコード基準の規格書には、赤外線を用いたキャリア波形やパルスの「１（Ｈｉ）」「０（Ｌｏ）」の波形などが規定されている。受信には上記の１６ビットのコードの少なくとも２ワードの一致を読み取る必要があり、受信にかかる最短時間はヘッダを合わせて約９４ｍｓ（ミリ秒）である。４ワードの一致を読み取る場合には、受信時間は約１８６ｍｓ必要になる。受信開始から操作確定までに要する時間はコードを解読する時間を含めて２ワードの一致を読み取る場合で約１００ｍｓ、４ワードの一致を読み取る場合で約２００ｍｓとなる。
この赤外線リモコンの受信から操作確定までの時間を映像信号の垂直周期に換算すると、毎秒６０フィールドの映像信号で考えれば１垂直周期が１６．６ｍｓであるので、６垂直周期から１２垂直周期となる。
【０１１８】
図３７はユニバーサルリモコン４０２が発光してから操作確定までの処理を説明するための第１のタイムチャートである。図３７（Ａ）はユニバーサル決定ボタン３２０が時刻ｔｓからｔｅまでの間押下されていることを示しており、時刻ｔｓで第１の発光と第２の発光が同時に始まっている。図３７（Ｂ）は第１の発光である特定色の発光をビデオカメラ２で撮影し、検出部１９で特徴抽出した波形を示す。この波形は手の動作を特徴抽出したものと同じ波形である。
図３７（Ｃ）には活性領域を示すパルスが示されており、検出領域である第１の矢印で示す期間でユニバーサルリモコン４０２が所定の画面ボタンにかざされたことが判定される。これによりどの画面ボタンが選択されたかが判明する。そして、選択された画面ボタンは第２の矢印に示す通り特定の期間だけパルスを出力する活性領域となる。活性領域は、ユニバーサルリモコン４０２による手の折り曲げ動作と等価な動作を相互相関デジタルフィルタ９０で評価している期間である。活性領域の後、第３の矢印にて示す判定領域で操作が確定される。
【０１１９】
図３７（Ｄ）は、時刻ｔｓにおいて赤外線発光部３０６が発光した赤外線のコード内容を受信して解読し、制御内容が確定するまでの期間を表している。上記の通り、リモコンコードの受信から判定までの時間は垂直周期で最短６周期程度であり、その期間をパルスとして描き、その後の第４の矢印は赤外線リモコンによる操作を確定する赤外線リモコン確定領域である。第１の発光と第２の発光とを同時に行った場合でも、第１，第２の発光の受光後の情報処理過程で時間的な差があるため、最終的に制御を確定する時点は、図３７（Ｅ），（Ｆ），（Ｇ）のいずれかである。
【０１２０】
図３７（Ｅ）に示す例は、図３７（Ｄ）の赤外線リモコン確定領域にあり、かつ図３７（Ｃ）に示す活性領域のパルスが立ち上がる時点で確定するものである。図３７（Ｆ）に示す例は、赤外線リモコン確定領域にあり、かつ第２の矢印との重なりが特定の期間（例えば第５の矢印で示す５垂直周期）に達したときに確定するものである。図３７（Ｇ）に示す例は、図３７（Ｆ）で仮に確定させて図３７（Ｂ）の発光の変化を評価して第３の矢印の開始時点で最終確定とするものである。
【０１２１】
速い応答を求める場合は図３７（Ｅ）に示す時点または図３７（Ｆ）の第５の矢印の期間を短く設定した時点を採用し、より誤検出を避けるのであれば図３７（Ｆ）に示す時点を採用すればよい。また操作内容によってこの３つの判定時点を使い分けることもできる。例えば録画装置のメニュー画面で、再生や一時停止などは速い応答の図３７（Ｅ），（Ｆ）に示す時点で確定し、録画に関する制御は図３７（Ｆ）に示す時点で確定するようにしてもよい。図３７（Ｂ）に示すＴｍを１０フレーム、即ち約１／６秒とすると図３７（Ｅ），（Ｆ）に示す判定は、図３７（Ｇ）に示す特定色の発光を利用した判定より１秒ほど応答が速い。またユニバーサル決定ボタン３２０を押下してから操作が確定されるまでは約０．４秒である。
【０１２２】
図３８は、図３７と同様に、ユニバーサルリモコン４０２が発光してから操作確定まで処理を説明するための第２のタイムチャートである。この図に示す例では、図３７の場合に比べてユニバーサル決定ボタン３２０を押下している時間が長くなっており、また第１の発光と第２の発光の開始時刻が異なっている。図３７に示す例では、先に赤外線での「決定」コードが伝わり、その後ユニバーサルリモコン４０２が画面ボタン上から動いて活性領域に達しないことも考えられるが、図３８に示す例では、ユーザ３が活性領域に達したことを認識した上で赤外線リモコンの決定コードを送ることができる。
【０１２３】
図３８（Ａ）はユニバーサル決定ボタン３２０が第６の矢印にて示す時刻ｔｓからｔｅまでの期間押下されていることを表している。ユーザ３はテレビ画面に映し出されているユニバーサルリモコン４０２の映像を確認してユニバーサルリモコン決定ボタン３２０を押下する。まず第１の発光である特定色の発光が始まり、押下が終了するｔｅまでの期間は、特定色の発光は変化せず継続している。この間ユーザ３は所望の操作を行うための画面ボタンを選び、ユニバーサルリモコン４０２の画像を該当する画面ボタンに重ね合わせる。図３８（Ｂ）に示す第８の矢印の期間がこの期間に当たる。
【０１２４】
図３８（Ｃ）は、第８の矢印の期間の後、所定の時間（第１の矢印の期間）を経過して選ばれた画面ボタンが活性したことを表しており、第２の矢印の活性領域の始まりがパルスの立ち上がりとなっている。このとき画面ボタンの色や形などが変わるため、ユーザ３は画面ボタンの変化を確認して押下していたユニバーサル決定ボタン３２０を離す。押下していたユニバーサル決定ボタン３２０を離した時刻ｔｅを起点として、第２の発光である赤外線が発光し、赤外線の「決定」コードが送り出される。
図３８（Ｄ）は、時刻ｔｅにおいて赤外線発光部３０６が発光した赤外線のコード内容を受信して解読し、操作が確定するまでの赤外線リモコン確定領域を表している。また図３８（Ｂ）に示しているように時刻ｔｅを起点とし第１の発光である特定色の発光変化が開始され、図３８（Ａ）の第７の矢印で示す期間に、発光部３０５によって手の動作の検出結果とほぼ同じになるような発光変化がなされる。
【０１２５】
最終的に操作を確定する時点は、図３８（Ｅ），（Ｆ），（Ｇ）のいずれかである。図３８（Ｅ）に示す例は、選ばれた画面ボタンが活性化（第２の矢印）し、その後送られた赤外線コードの解読が終了した時点を最終的な操作の確定時点としたものである。
図３８（Ｆ）に示す例は、選ばれた画面ボタンが活性化（第２の矢印）し、その後送られた赤外線コードの解読が終了し、第５の矢印で示した特定の期間（例えば５垂直周期）が経過した時点を、最終的な操作の確定時点としたものである。
【０１２６】
図３８（Ｇ）に示す例は、さらに図３８（Ｅ），（Ｆ）のいずれかで仮確定し、図３８（Ｂ）の発光の変化を評価して第３の矢印の開始時点で最終確定とするものである。図３８（Ｅ），（Ｆ）に示す確定時点は、図３８（Ｇ）に示す確定時点に比べて早くなる。なお、図３７の場合には約１秒応答の差があるが、図３８の場合にはそれよりも差は小さい。
【０１２７】
以上の第２実施形態を実現するため、図２において、赤外線検出器２４はユニバーサルリモコン４０２の赤外線リモコン発光部３０６から発せられた赤外線情報を検出する。赤外線検出器２４の検出出力は制御情報判断器２０に供給される。制御情報判断器２０は、検出部１９によってユニバーサルリモコン４０２の特定色発光部３０５からの第１の発光によって所定の画面ボタンが選択されていることが検出され、赤外線検出器２４から画面ボタンの選択確定を表す検出出力が入力された場合に、選択された画面ボタンに対応した制御動作を行う。
【０１２８】
図３７，図３８の場合、従来のリモコンでの「上」「下」「左」「右」ボタンの操作がユニバーサルリモコン４０２を画面ボタン上にかざす操作に置き換わるので、所望の画面ボタンを即座に選択することができ、使い勝手がよい。例えば図３８の場合、第１の発光である特定色の発光を図３８（Ｂ）の時刻ｔｅまでとしそれ以降の発光はさせず、この第１の発光を画面ボタンの選択のためだけに使用し、赤外線コードによって制御の最終確定を行わせることにより、ユニバーサルリモコン４０２の発光時間を短縮させることができる。ユニバーサルリモコン４０２の発光部３０３として蓄光材を用いた場合には、ダブルクリックに相当する波形を得ることが困難であるので、赤外線コードによって制御の最終確定を行うように構成することは好ましい。
【０１２９】
以上説明した第２実施形態によれば、ユニバーサルリモコン４０２のボタンを従来の赤外線リモコンの「決定」ボタンと共用し、操作確定に決定ボタンの赤外線コードを解読した結果を利用することで、操作確定までに要する期間を大幅に短縮できる。
【０１３０】
＜第３実施形態＞
第３実施形態において第１実施形態と同一部分の説明を省略し、相違点を中心に説明する。上述した図１〜図３２に関する説明は第３実施形態にも適宜適用される。
【０１３１】
第３実施形態のユニバーサルリモコン４０３の形態を図３９（Ａ）〜（Ｅ）に示す。図３９（Ａ）はユーザ３に面してユーザ３が操作する表面を示す平面図、図３９（Ｂ）は側面図である。ユニバーサルリモコン４０３は、本体３０１と開閉可能な蓋３０２とからなる。図３９（Ａ），（Ｂ）には、蓋３０２が閉じられた状態が示されており、図３９（Ｂ）には破線で蓋３０２を開いた状態を示している。蓋３０２には、蓋３０２を閉じた状態で露出する面に矩形の発光部３０３と発光部３０３の四隅に位置する円形の発光部３０４とを有する。図３９（Ｃ）は蓋３０２を開けた状態の平面図であり、ユーザ３に面している面を示している。本体３０１には、無彩色または特定色のボタン（以下「特定色ボタン」という）３１０、周波数領域選択ボタン３１７，３１８，３１９が設けられている。
【０１３２】
図３９（Ｄ）は蓋３０２を開けた状態を裏面から見た平面図であり、発光部３０３，３０４が裏面に位置している状態が示されている。図３９（Ｅ）は蓋３０２を開けた状態の側面図であり、蓋３０２は本体３０１に対して若干の角度を設けた状態となっている。図３９（Ｅ）に示す矢印は発光部３０３，３０４から出射される光を表している。このユニバーサルリモコン４０３の発光部３０３，３０４をテレビジョン受像機１の方向に向け、ボタン３１０，３１７〜３１９を押下して光を発生させることにより、手の動作の代用をさせ、発光部３０３，３０４をビデオカメラ２で撮影することにより、操作内容が識別される。
【０１３３】
次に発光部３０３の点灯内容について説明する。
図４０（Ａ）は、図１３（Ａ）に示す波形図と同一の波形図であり、手の動作の投影面積の変化、即ち図６のＡＰＬ検出器６２の検出結果を表している。図４０（Ｂ），（Ｃ），（Ｄ）は、縦軸が画面の垂直方向を表しており、横軸が時間の経過を表している。また四角枠の図形は発光部３０３の発光部分の形状を模して描いており、時間経過と共に発光内容が変化している様子が示されている。図４０（Ｂ）〜（Ｄ）では、クロスハッチングが全く発光していない状態を表し、図４０（Ｃ）の縦方向の太いハッチングは発光している領域と全く発光していない領域とが横方向に交互に並んだ状態を表し、図４０（Ｄ）の横方向の太いハッチングは発光している領域と全く発光していない領域とが縦方向に交互に並んでいる状態を表している。また、四角の図形の時間毎の変化を都合上、重ねて描いており、理解を容易にするため、垂直方向に少しずつずらして描いている。
【０１３４】
図４０（Ｂ）〜（Ｄ）の発光は全て発光部３０３の発光領域の面積を変化させることにより、図６のヒストグラム検出器６１とＡＰＬ検出器６２の検出結果が図４０（Ａ）の波形になるようにしている。第３実施形態のユニバーサルリモコン４０３は、空間（水平，垂直）周波数領域識別機能を用いたもので発光部３０３は空間周波数領域で識別可能な発光内容を変化させることができる。図４０（Ｃ）の発光パターンを縦筋発光、図４０（Ｄ）の発光パターンを横筋発光と称することとする。空間周波数領域の観点から、図４０（Ｂ）の発光は検出する画面ボタンの領域において周波数０のＤＣ（直流）近傍にスペクトルが集中する特徴を有し、図４０（Ｃ）の縦筋発光は水平の高域にスペクトルが集中する特徴を有し、図４０（Ｄ）の横筋発光は垂直の高域にスペクトルが集中する特徴を有している。
【０１３５】
図４１は、発光部３０３の発光の発光強度（明るさ）が時間の経過に従って変化することにより、図６のヒストグラム検出器６１とＡＰＬ検出器６２の検出結果が図４１（Ａ）の波形になることを示している。図４１では、クロスハッチングが全く発光していない状態を表し、右斜めハッチングが中間的な輝度の発光を表している。図４１（Ｃ）の縦筋発光と図４１（Ｄ）の横筋発光は図４０（Ｃ），（Ｄ）と同様である。
【０１３６】
図４２は発光部３０３の発光領域が市松格子状になっている場合の発光内容の変化を示している。図４２でもクロスハッチングが全く発光していない状態を表し、右斜めハッチングが中間的な輝度を表している。図４２（Ｂ）の右斜めハッチングを付した部分が中間輝度部分である。図４２（Ｂ）は時間とともに発光部３０３の発光面積が変化し、図４２（Ｃ）は発光強度が変化することにより、図６のヒストグラム検出器６１とＡＰＬ検出器６２の検出結果が図４２（Ａ）の波形になることを示している。図４２に示す市松格子状の発光は空間周波数領域上で縦筋発光や横筋発光と容易に区別することができる。以下、この発光パターンを格子発光と称することとする。
【０１３７】
次に、ユニバーサルリモコン４０３の異なる発光パターンが有する空間周波数領域の違いで画面ボタンを制御する方法について説明する。図４３は画像の空間内（水平と垂直）での相関関係を説明するための図である。図４３（Ａ）は画像の水平方向の波形例で、２水平周期（ライン）分を第１のラインと第２のラインに分けて描いている。縦軸は振幅を表し、全レンジに対して中央値を０、最大値＋１、最小値−１としている。ここで隣り合う画素の振幅を乗算したものがこの画像の水平の相関値になる。また、第１のライン上と第２のライン上の同じ位置の画素の振幅を乗算したものが垂直の相関値になる。
【０１３８】
図４３（Ｂ）は画像の空間内の相関値をプロットした相関マップで、横軸は水平相関値（−１〜＋１）、縦軸は垂直相関値（−１〜＋１）を示している。ビデオカメラ２で撮影された一般的な画像は、水平相関値、垂直相関値とも相関性が高く、図４３（Ｂ）の領域Ａに含まれる。これに対して上記の縦筋発光は水平相関値が低い特徴を持っており、その相関値は図４３（Ｂ）の領域Ｂに含まれる。また、上記の横筋発光は垂直相関値が低い特徴を持っており、その相関値は図４３（Ｂ）の領域Ｃに含まれる。同様に上記の格子発光は水平相関値、垂直相関値ともに低い特徴を持っており、その相関値は図４３（Ｂ）の領域Ｄに含まれる。このように特定の繰り返しパターンは繰り返す方向に対して相関性がなく、図４３（Ｂ）に示す相関マップにおいてそれぞれの分布領域は一般の画像の分布と区別することができる。
【０１３９】
換言すれば、特定のパターンの発光である縦筋発光、横筋発光、格子発光は一般画像に存在することが少なく、ユニバーサルリモコン４０３の発光に縦筋発光、横筋発光、格子発光を採用することで、リモコン操作における誤認識を低減させることができる。また、一般画像の周波数スペクトルは高域ほど弱くなる特徴がある。そこでユニバーサルリモコン４０３の発光では特に周波数スペクトルの高域成分を強く発光させることにより検出部１９における検出をより確実なものにすることができる。
ところで、ユニバーサルリモコン４０３の発光部３０３の発光面積や発光強度を変化させたり、縦筋発光，横筋発光，格子発光のような発光パターンとしたりすること自体は周知の技術で実現できるので、それらの具体的な構成については説明を省略することとする。
【０１４０】
図４４は、縦筋発光するユニバーサルリモコン４０３とビデオカメラ２を備えたテレビジョン受像機１との位置関係によって、ビデオカメラ２で撮影した画面ボタン上の信号波形がどのように変化するかを示している。図４４（Ａ）は、ユニバーサルリモコン４０３がテレビジョン受像機１に比較的近い距離である位置Ｐ１に位置している状態と、ユニバーサルリモコン４０３がテレビジョン受像機１に対して位置Ｐ１よりも遠い距離である位置Ｐ２に位置している状態とを示している。
図４４（Ｂ）に示す波形はユニバーサルリモコン４０３が位置Ｐ１で縦筋発光した光をビデオカメラ２で撮影した信号パターンを示し、図４４（Ｃ）の波形はユニバーサルリモコン４０３が位置Ｐ２で縦筋発光した光をビデオカメラ２で撮影した信号パターンを示している。ビデオカメラ２からのユニバーサルリモコン４０３の距離が遠くなるほど信号パターンの繰り返し周期が短くなる。図４４（Ｄ）は信号パターンの波形を空間周波数平面にモデル化して表したものである。
【０１４１】
縦筋発光の場合、水平周波数軸上にスペクトルが分布し、ユニバーサルリモコン４０３とテレビジョン受像機１の距離が遠い位置Ｐ２でのスペクトルは高域成分側に、その距離がより近い位置Ｐ１でのスペクトルはその逆の低域側に分布する。また、横筋発光の場合には、同様にユニバーサルリモコン４０３とテレビジョン受像機１との距離の違いに対応して垂直周波数軸上にスペクトルが分布する。このようにユニバーサルリモコン４０３を操作するポジションでスペクトルの分布が変わるため、スペクトルの判別のためにはスペクトル分布の範囲を想定しておくことが必要である。
【０１４２】
次に、ユニバーサルリモコン４０３を画面ボタンに添って正確に水平にかざさない場合のスペクトル分布について説明する。図４５（Ｂ）は縦筋発光するユニバーサルリモコン４０３が右に傾いた場合、図４５（Ｃ）は縦筋発光するユニバーサルリモコン４０３が左に傾いた場合、図４５（Ａ）は図４５（Ｂ），（Ｃ）それぞれが画面に鏡像変換されてメニュー画面のボタンの上に重ねて映し出された様子を描いたものである。図４５（Ｄ）は空間周波数平面にユニバーサルリモコン４０３を傾けた場合のスペクトル分布を描いたものである。スペクトルの分布は空間周波数平面上で傾いた方向にスペクトル軸が移動する。スペクトル軸は周波数０のＤＣを原点としてユニバーサルリモコン４０３の左右の傾きに対して回転する。従って、第３実施形態ではこの傾きの許容範囲を考慮することが好ましい。
【０１４３】
図４６はユニバーサルリモコン４０３の発光が横筋発光の場合を示しており、ユニバーサルリモコン４０３の左右への傾きでスペクトル軸は垂直周波数軸を中心に回転する。図４７はユニバーサルリモコン４０３の発光が格子発光の場合を示しており、水平、垂直ともに高域成分である斜め方向にスペクトル軸が位置する。左右にユニバーサルリモコン４０３を傾けた場合、市松格子の形や大きさにも左右されるが縦筋発光や横筋発光ほどスペクトルの分布軸の変動は起きない。
【０１４４】
以上をまとめると、図４４にて説明したように、ユニバーサルリモコン４０３とビデオカメラ２との距離と、空間周波数平面でのスペクトルの位置とは比例の関係にあり、ユニバーサルリモコン４０３をビデオカメラ２に近づけるとスペクトル分布は空間周波数平面の原点であるＤＣに近づく。また、ユニバーサルリモコン４０３を傾けると空間周波数平面上のスペクトル分布は原点を中心にその分布軸が回転する場合がある。従って、周波数領域を識別するためにはこれらのスペクトル変動を考慮し、空間周波数平面上で原点を中心とした扇形にフィルタリングする必要がある。
【０１４５】
ここで、縦筋発光と横筋発光を区別するための扇形のフィルタリングについて設計例を用いて説明する。原点を中心とする扇形のフィルタは一般にファンフィルタ（fan filter）または速度フィルタ（velocity filter）と呼ばれている。図４８は水平方向を通過域とする９０度ファンフィルタの設計例を示している。図４９は垂直方向を通過域とする９０度ファンフィルタの設計例を示している。
【０１４６】
図４８，図４９に示すいずれのフィルタも最平坦特性を有する２次元ハーフバンドＦＩＲフィルタからなるもので、デジタルフィルタのタップ数が少なくハードウェアの規模が抑えられ、かつ波形応答もリンギングが少ない特徴を有している。このため、ユニバーサルリモコン４０３の周波数領域を識別するための有効なフィルタ方式である。これらのフィルタの通過域をユニバーサルリモコン４０３の発光のスペクトルと合わせることで周波数領域による発光の識別が可能となる。なお、周波数領域を識別するためのフィルタはファンフィルタに限定されるものではない。ユニバーサルリモコン４０３の水平度（傾き）とユニバーサルリモコン４０３の位置（ユニバーサルリモコン４０３とビデオカメラ２との距離）による空間周波数平面でのスペクトルの分布帯域とフィルタの通過域とが一致していればよい。
【０１４７】
図４８，図４９における［ｒａｄ］は、離散信号の水平及び垂直周波数の単位ラジアン（radian）で表したものであり、２πがサンプリング周波数、πがナイキスト限界周波数である。ユニバーサルリモコン４０３をテレビジョン受像機１から遠く離れて操作した場合、ビデオカメラ２が有する分解能で縦筋発光や横筋発光を捉えることができない場合があるが、ナイキスト限界を超えた折り返し成分が２次元平面上でフィルタの通過域であれば同様に検出ができる。但し、これには条件があり、連続信号部分での折り返しを許容する領域通過があり、２次元周波数平面上で異なる周波数領域に折り返さないことが条件である。
【０１４８】
図５０は、空間周波数領域識別機能を有するオブジェクト抽出器５１−Ｍ（Ｍ：２１〜２３）の構成を示すブロック図である。図７に示すオブジェクト抽出器５１の特定色フィルタ７１を第Ｍの周波数領域フィルタ７６−Ｍ（Ｍは正の整数）に変更し、さらに第Ｍの周波数領域頻度算出器７７−Ｍを追加したものである。ここではＭは１〜３である。
【０１４９】
第Ｍの周波数領域フィルタ７６−Ｍは、輝度信号の空間周波数領域を分割する上述したファンフィルタなどの２次元デジタルフィルタからなる。Ｍは空間周波数領域を分割する数であり、ここでは空間周波数領域を３つに分けている。第Ｍの周波数領域頻度算出器７７−Ｍは、第Ｍの周波数領域フィルタ７６−Ｍを通過したスペクトルの頻度を算出する。この通過したスペクトルがＤＣ成分を含まない高域成分の場合はスペクトルの振幅が正負に振れるので、第Ｍの周波数領域頻度算出器７７−Ｍは、振幅値の絶対値が特定の値以上になったときにカウンタ（図示せず）をカウントアップして第Ｍの周波数領域フィルタ７６−Ｍを通過したスペクトルの頻度を算出する。またスペクトルの強度、即ち波形の振幅の大きさを評価して頻度を算出してもよい。ＤＣ成分が含まれる場合は単にスペクトルの振幅値が特定の値以上になったときにカウンタをカウントアップして、第Ｍの周波数領域に入った頻度を算出する。
【０１５０】
階調限定器７２は、輝度信号の階調を限定するもので、ここではユニバーサルリモコン４０３を利用する場合なので振幅方向の諧調の領域は広くても問題はないが、高域成分を除去した階調の平均値が所望の階調の範囲にあるか否かを評価するものである。入力された輝度信号と色差信号は合成器７３の出力に応じてオブジェクトゲート器７４でゲートされる。合成器７３は第Ｍの周波数領域フィルタ７６−Ｍ及び階調限定器７２の出力を論理合成するもので、それぞれの出力が１のときにＡＮＤをとりオブジェクトゲート器７４をゲートする。ここでの処理は例えば１，０の２値で行われるが、これに代えて、スペクトルの強度や輝度信号の階調に応じて、合成器７３で第Ｍの周波数領域フィルタ７６−Ｍと階調限定器７２の出力を加減乗除し、オブジェクトゲート器７４において合成器出力の階調に応じてゲートすることも可能である。
【０１５１】
図５１は、空間周波数領域識別可能な検出器１２０の構成を示すブロック図である。この検出器１２０は図２の検出部１９内に設けられるものであり、それぞれの画面ボタンに対応して設けられる。この検出器１２０は、３つの異なる周波数領域を通過域とするフィルタがそれぞれ搭載されている第１〜第３の周波数識別オブジェクト抽出器５１−２１〜５１−２３と、タイミングゲート器５２−１〜５２−３と、オブジェクト特徴データ検出器５３−１〜５３−３と、周波数領域識別検出器５５とを備えている。
【０１５２】
３つの異なる周波数領域に対応した第Ｍの周波数識別オブジェクト抽出器５１−２Ｍ（Ｍ：１〜３）内のオブジェクトゲート器７４の出力がタイミングゲート器５２−Ｍ（Ｍ：１〜３）に入力され、第Ｍの周波数領域頻度算出器７７−Ｍ（Ｍ：１〜３）の出力は周波数領域識別検出器５５に入力される。周波数領域識別検出器５５は、それぞれの周波数領域のスペクトルの頻度の最大値を算出する。これはユニバーサルリモコン４０３が画面ボタンに対して発光した周波数成分が最も高い頻度を示すからである。周波数領域識別検出器５５は、最大値を出力している周波数領域を示す値を制御情報判断器２０へと転送する。これは制御情報判断器２０でどの周波数領域が有効か、換言すればどの画面ボタンが有効で制御すべき内容が何であるかを判断する情報となる。
【０１５３】
３つのタイミングゲート器５２−Ｍ（Ｍ：１〜３）は、同一のタイミングでゲート処理される。これは、１つの画面ボタンの領域に対して３つの周波数領域を識別しているからである。ゲートされた信号は、周波数領域ごとに設けられたオブジェクト特徴データ検出器５３−Ｍ（Ｍ：１〜３）へと供給される。オブジェクト特徴データ検出器５３−Ｍにおけるヒストグラムなどの各検出器６１〜６５で得られたデータはＣＰＵバスを介して制御情報判断器２０へと転送される。制御情報判断器２０は、周波数領域識別検出器５５から入力される情報からどの周波数領域が有効であるかが判断できるので、オブジェクト特徴データ検出器５３−Ｍ（Ｍ：１〜３）の内から１つの有効な領域のデータを処理する。
【０１５４】
次に、空間周波数領域識別機能を有するオブジェクト抽出器５１−Ｍ内の第Ｍの周波数領域頻度算出器７７−Ｍで算出された各周波数領域の頻度をどのように処理するかについて説明する。図５２は、図１６と同様にユーザ３による操作を説明するための図であり、グラフィックスで描かれたメニュー画面は、１つの無彩色ボタン１２０Ｂと３つの模様ボタン、即ち、一様なグレーボタン１２１Ｂ，縦筋ボタン１２２Ｂ，横筋ボタン１２３Ｂからなる点が図１６と異なっている。ユニバーサルリモコン４０３のボタンには通常のリモコンのようなボタンの機能を表す表示、例えば「電源」「チャンネル」「音量」「入力切替」などは記載されていない。そのような操作を選択するための表示は画面のグラフィックメニュー上の３つのボタン１２１Ｂ〜１２３Ｂに記載されており、ユーザ３はこれを見て所望の画面上のボタンを選択する。
【０１５５】
ここでユーザ３は画面上の３つの模様ボタン１２１Ｂ〜１２３Ｂに対しては、画面上に映し出された図３９のユニバーサルリモコン４０３を所望のボタン上に移動させて特定色ボタン３１０を押下する。図５４に示す矢印Ｙ１１がその操作を示している。また画面の左下の無彩色ボタン１２０Ｂに対しては、画面上に映し出された図３９のユニバーサルリモコン４０３を無彩色ボタン１２０Ｂ上に移動させ、ユニバーサルリモコン４０３上の３つの周波数領域選択ボタン３１７〜３１９の１つを押下することで対応する。図５４に示す矢印Ｙ１２がその操作を示している。
【０１５６】
ユーザ３は、画面上の模様ボタン１２１Ｂ〜１２３Ｂに記載された機能の中から所望の機能を確認し、その機能が書かれている画面ボタンの模様を確認し、その模様が振り当てられているユニバーサルリモコン４０３のボタンを選択して押下する。画面上のそれぞれのボタンが認識される原理は、手をかざした場合と同様であり、ユニバーサルリモコン４０３が発光する光は図４０（Ｂ），（Ｃ），（Ｄ）もしくは図４１（Ｂ），（Ｃ），（Ｄ）または図４２（Ｂ），（Ｃ）に示す通りである。画面上の３つの模様ボタン１２１Ｂ〜１２３Ｂに対してはニバーサルリモコン４０３の特定色ボタン３１０を押下することによって発せられた無彩色または特定色が作用し、画面上の無彩色ボタン１２０Ｂに対しては３つの周波数領域選択ボタン３１７〜３１８を押下することによって選択的に発光された発光パターンが作用する。以上の２種類の操作は画面上のボタンを選択するか、ユニバーサルリモコン４０３のボタンを選択するかの違いである。
【０１５７】
図５２では周波数領域を選択するという操作の理解を容易とするため、３つの模様ボタンをグレーボタン１２１Ｂ，縦筋ボタン１２２Ｂ，横筋ボタン１２３Ｂとしたが、模様の代わりに１，２，３のような番号を付してもよい。
【０１５８】
このユーザ３の２種類の選択操作が、どのように検出器１２１で検出されるかについて図５３に示す例に添って説明する。図５３（Ａ）は、テレビジョン受像機１のメニューとビデオカメラ系信号を混合した画面を表す。図５３（Ｂ）は、ユニバーサルリモコン４０３のボタン内容を示す。図５３（Ｃ）は、図５３（Ａ）に描かれたメニュー画面に対応する検出部１９と制御情報判断器２０を示す。メニュー画面の内容は、図５２に描いた内容と同様であり、３つの周波数領域を示す画面上の模様ボタン１２１Ｂ〜１２３Ｂと、無彩色ボタン１２０Ｂとが示されている。図５３（Ａ）の無彩色ボタン１２０Ｂと３つの周波数領域を示す模様ボタン１２１Ｂ〜１２３Ｂの符号はそれぞれ検出器１２０〜１２３に対応している。また図５３（Ｂ）には、ユニバーサルリモコン４０３の各ボタン３１０，３１７〜３１９と対応する検出器の番号が示され、さらに図５３（Ａ）の無彩色ボタン１２０Ｂ，模様ボタン１２１Ｂ〜１２３Ｂと検出器１２０〜１２３の番号との対応関係が示されている。
【０１５９】
無彩色ボタン１２０Ｂはユニバーサルリモコン４０３の３つの周波数領域選択ボタン３１７〜３１９のいずれかで操作するので、無彩色ボタン１２０Ｂに対応して設けられた検出器１２０はビデオカメラ２を通じて３種類の模様（発光パターン）による情報を受けることになり、検出器１２０は模様を識別する必要がある。従って、検出器１２０は図５１に示す空間周波数領域の判別が可能な周波数識別オブジェクト抽出器５１を備えた空間周波数領域識別可能な検出器である。図５１の第１の周波数識別オブジェクト抽出器５１−２１が備える周波数領域フィルタは図５４に示すようにスペクトルの通過域がＤＣ近傍部分とする特性を有するフィルタである。図５１の第２の周波数識別オブジェクト抽出器５１−２２が備える周波数領域フィルタは図５５に示すようにスペクトルの通過域が水平周波数の高域とする特性を有するフィルタである。図５１の第３の周波数識別オブジェクト抽出器５１−２３が備える周波数領域フィルタは図５６に示すようにスペクトルの通過域が垂直周波数の高域とする特性を有するフィルタである。このスペクトルの通過域の違いによって無彩色ボタン１２０Ｂで３種類の制御情報を区別することができる。
【０１６０】
一方、３つの模様ボタン１２１Ｂ〜１２３Ｂに対しては、ユーザ３は画面に映し出されたユニバーサルリモコン４０３のポジションを所望の画面ボタン上に移動させ、ユニバーサルリモコン４０３の特定色ボタン３１０を押下する。この場合は画面位置により３種類の制御の判別が行われるので、検出器１２１〜１２３は、図５０と同様のオブジェクト抽出器５１−Ｍを備えたものでよい。
【０１６１】
周波数識別オブジェクト抽出器５１を具備した検出器１２０は、タイミングゲート器５２−Ｍで画面ボタンの位置の範囲だけ光を通過させて、その範囲のヒストグラム，ＡＰＬ，高域頻度検出，ＭＩＮ，ＭＡＸなどのデータを制御情報判断器２０へと転送する。制御情報判断器２０は前述のように入力されたデータに基づいて評価した検出領域，活性領域，判定領域により制御動作を確定する。検出器１２０内の周波数領域識別検出器５５は周波数識別オブジェクト抽出器５１から信号に応じてどの周波数領域が有効であるかの情報を生成して制御情報判断器２０へと転送する。制御情報判断器２０は、有効な周波数領域のオブジェクト特徴データ検出器５３−１〜５３−３のいずれかからのデータを評価して、制御動作を検出する。
【０１６２】
以上説明したように、第３実施形態においては、ユニバーサルリモコン４０３発光部３０３によって特定の空間周波数領域に対応した発光パターンの光を発光させることにより、一般画像との区別を確実に行うことができ、検出部１９における誤認識を防ぐことができる。なお、光パターンは上述した縦筋発光，横筋発光，格子発光，グレー発光に限定されるものではなく、発光パターンの数は任意である。
【０１６３】
＜第４実施形態＞
第４実施形態は、第３実施形態の空間周波数領域識別機能に対して色識別機能を追加したものである。
図５７は、図５０に示す空間周波数領域識別機能を有するオブジェクト抽出器５１−Ｍに対して色識別機能を組み合わせたオブジェクト抽出器５１’−Ｌを示すブロック図である。ＬはＭの最大値とＮの最大値とを掛け合わせた数である。図５７において図５０と同一部分には同一符号が付してある。ユニバーサルリモコン４０３には図１５と同様、例えば６色の発光色を発光させるボタンを設ける。図５７の第Ｎの色識別フィルタ７１−Ｎは図７の特定色フィルタ７１の等色相線を調整し、ユニバーサルリモコン４０３の異なる発光色のそれぞれに対応させた特定色フィルタである。
【０１６４】
図５７において、第Ｎの色領域頻度算出器７５−Ｎは、第Ｎの色識別フィルタ７１−Ｎの出力が２値の場合で１であるとき、または２値でない場合は特定の値以上のときにカウンタ（図示せず）をカウントアップして第Ｎの色領域に入った頻度を出力する。合成器７３ａは第Ｍの周波数領域フィルタ７６−Ｍと第Ｎの色識別フィルタ７１−Ｎと階調限定器７２の出力を論理合成するもので、それぞれの出力が１のときにＡＮＤをとりオブジェクトゲート器７４をゲートする。ここでの処理は例えば１，０の２値で行われるが、２値ではなく階調を持たせた場合は論理演算だけでなく入力される３つの値を加減乗除してオブジェクトゲート器７４を連続的にゲートする。
このように空間周波数領域識別と色識別を組み合わせることでユニバーサルリモコン４０３の選択可能なボタンの数を増やすことができるほか、一般画像にはない相関性のない模様や色の発光で誤認識を防ぐことができる。
【０１６５】
図５８は、図５７に示している空間周波数領域識別と色識別が可能なオブジェクト抽出器５１’−Ｌを搭載した検出器１２５の構成を示すブロック図である。この検出器１２５は図２の検出部１９内に設けられるものであり、それぞれの画面ボタンに対応して設けられる。この検出器１２５は、周波数と色識別検出器５６と、第Ｌの周波数と色識別オブジェクト抽出器５１−Ｌ（Ｌ：１〜１２）と、タイミングゲート器５２−Ｌ（Ｌ：１〜１２）と、ヒストグラム検出器他の検出器６１〜６５で構成されているオブジェクト特徴データ検出器５３−Ｌ（Ｌ：１〜１２）とを備えている。
【０１６６】
そして、第１〜６の周波数と色識別オブジェクト抽出器５１−１〜６と、タイミングゲート器５２−１〜６と、オブジェクト特徴データ検出器５３−１〜６とからなる群をクラスＡ、第７〜１２の周波数と色識別オブジェクト抽出器５１−７〜１２と、タイミングゲート器５２−７〜１２と、オブジェクト特徴データ検出器５３−７〜１２とからなる群をクラスＢとしている。クラスＡは通過させる光の空間周波数領域が水平高域成分を有するもので、これはユニバーサルリモコン４０３の縦筋発光に対応している。第１〜６の周波数と色識別オブジェクト抽出器５１−１〜５１−６はユニバーサルリモコン４０３の発光する異なる６色にそれぞれ対応している。
クラスＢは通過させる光の空間周波数領域が垂直高域成分を有するもので、これはユニバーサルリモコン４０３の横筋発光に対応している。そして第７〜１２の周波数と色識別オブジェクト抽出器５１−７〜５１−１２はユニバーサルリモコン４０３の発光する異なる６色にそれぞれ対応している。
【０１６７】
それぞれの周波数と色識別オブジェクト抽出器５１’−Ｌ内のオブジェクトゲート器７４の出力がタイミングゲート器５２−Ｌに入力され、第Ｍの周波数領域頻度算出器７７−Ｍと第Ｌの色識別領域頻度算出器７５−Ｎとの出力が、周波数と色識別検出器５６に入力される。周波数と色識別検出器５６は、それぞれの周波数と色の頻度の最大値を算出する。これはユニバーサルリモコン４０３が画面ボタンに対して発光した周波数成分と色が最も高い頻度を示すからである。周波数と色識別検出器５６は、最大値を出力している周波数領域と色を示す値を制御情報判断器２０へと転送する。これは制御情報判断器２０でどの周波数領域と色が有効か、換言すればどの画面ボタンが有効で制御すべき内容が何であるかを判断する情報となる。
【０１６８】
１２個のタイミングゲート器５２−Ｌは、同一のタイミングでゲート処理される。ゲートされた信号は、それぞれに設けられたオブジェクト特徴データ検出器５３−Ｌに供給され、ヒストグラムなどのデータをＣＰＵバスを介して制御情報判断器２０へと転送する。制御情報判断器２０は、周波数と色識別検出器５６から入力される情報からどの周波数領域とどの色が有効であるかが判断できるので、オブジェクト特徴データ検出器５３−Ｌから１つの有効な領域のデータを処理する。周波数と色識別オブジェクト抽出器５１−Ｌから出力される周波数領域と色領域の頻度値が、周波数と色識別検出器５６において評価され、１２個のオブジェクト抽出器５１−Ｌから該当するものを識別する。周波数領域と色領域の頻度がともに最大値であるオブジェクト抽出器５１−Ｌが該当し、そのデータをＣＰＵバスへと転送する。
【０１６９】
この検出器１２５は周波数領域を２分割、色領域を６分割して合計１２通りの識別機能を有しており、ここでは周波数領域分割をクラスＡ，Ｂと称している。
さらに多くの分割をすることも可能であるが、ユーザ３が画面を見て制御項目を選択して、ユニバーサルリモコン４０３の所定のボタンを押下する操作を考えると、使い勝手の面で自ずと限界がある。適切な分割数は、メニュー画面のデザイン上の問題と、ユーザ３のボタン選択の手間と、認識率の問題を総合的に評価して決めればよい。周波数領域と色領域とを組み合わせることにより多様な選択肢を与えることが利点である。
【０１７０】
図５９は、第４実施形態による空間周波数領域及び色識別によるユニバーサルリモコン４０３の例を説明するための図である。ここではユニバーサルリモコン４０３’と称することとする。図５９（Ａ）は、テレビジョン受像機１の画面を示し、説明のために付加した破線の下側には、ビデオカメラ系信号がグラフィックスのメニュー画面と混合されて表示されている。破線の上側に位置する部分には、グラフィックスの画像や場合によってはグラフィックス画面の背景に放送やビデオ入力などの信号が混合されたものが表示されている。
【０１７１】
破線上側のクラスＡとクラスＢのそれぞれにある６つの色（Ｒ：赤，Ｇ：緑，Ｂ：青，Ｙ：黄，Ｍ：マゼンタ，Ｃ：シアン）を持った旗（Banner）は、図５３に示すような画面ボタンではなく、色識別及び空間周波数領域識別のためにそれぞれの色に対する機能及びそれぞれの周波数に対する機能（クラスＡ，Ｂ）を知らせるための標識である。画面ボタン１２５Ｂ１及び１２５Ｂ２は、下側の左右に配置されている。画面ボタン１２５Ｂ１，１２５Ｂ２それぞれに対応して設けられる。
【０１７２】
図５９（Ｂ）には、ユニバーサルリモコン４０３’が示されており、図５９（Ｃ）には、検出器１２５及び制御情報判断器２０が示されている。検出器１２５には２つのタイミングパルスが入力される。これは、検出器１２５が働く位相が２箇所あることを示している。２箇所の位相とは下側左右２つの画面ボタン１２５Ｂ１，１２５Ｂ２に対応する位相である。検出器１２５は図５８で説明したように構成されており、周波数と色識別オブジェクト抽出器５１’−Ｌを備えている。検出器１２５はユニバーサルリモコン４０３’の２つの発光パターンである縦筋発光及び横筋発光と、６色の発光色の組み合わせによる１２通りの発光状態を識別することができる。
【０１７３】
図５９（Ｂ）はユニバーサルリモコン４０３’のボタンの配置を示している。クラスＡに属するボタン３１１Ａ〜３１６Ａに対応する発光パターンは縦筋発光であり、ボタン３１１Ａから３１６Ａそれぞれの発光色は赤，緑，青，黄，マゼンタ，シアンの６色である。クラスＢに属するボタン３１１Ｂ〜３１６Ｂに対応する発光パターンは横筋発光であり、ボタン３１１Ｂから３１６Ｂのそれぞれの発光色は赤，緑，青，黄，マゼンタ，シアンの６色である。図６０はこの周波数（２分割）と色（６分割）による１２通りの機能識別のボタンへの割り振りを示している。
【０１７４】
図５９に示すユニバーサルリモコン４０３’の操作方法は次の通りである。ユーザ３は、テレビジョン受像機１の画面を見て操作情報のクラスＡとして「赤（Ｒ）：制御例１チャンネル、緑（Ｇ）：制御例２チャンネル、青（Ｂ）：制御例３チャンネル、黄（Ｙ）：制御例４チャンネル、マゼンタ（Ｍ）：制御例５チャンネル、シアン（Ｃ）：制御例６チャンネル」、クラスＢとして「赤（Ｒ）：制御例７チャンネル、緑（Ｇ）：制御例８チャンネル、青（Ｂ）：制御例９チャンネル、黄（Ｙ）：制御例１０チャンネル、マゼンタ（Ｍ）：制御例１１チャンネル、シアン（Ｃ）：制御例１２チャンネル」を確認する。そして、ユーザ３は、ユニバーサルリモコン４０３’を画面ボタン１２５Ｂ１，１２５Ｂ２のいずれかにかざして、いずれかのボタン３１１Ａ〜３１６Ａ，３１１Ｂ〜Ｂ３１６を押下する。
【０１７５】
このように空間周波数領域識別と色識別操作を加えたユニバーサルリモコン４０３’は、この図５９に示す例では１つの動作で１２の選択操作ができ、画面ボタン１２５Ｂ１，１２５Ｂ２のいずれかにユニバーサルリモコン４０３’を移動させればよいので使い勝手がよい。
【０１７６】
以上説明したように、第４実施形態においては、ユニバーサルリモコン４０３’の発光部３０３の発光によって空間周波数領域及び色を変化させることにより、画面ボタンの選択操作の選択肢を第１〜第３実施形態よりも増やすことができる。
【０１７７】
本発明は以上説明した第１〜第４実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲で適宜変更可能である。また、第２実施形態の構成と第３，第４実施形態の構成とを組み合わせるなど、複数の実施形態を適宜に組み合わせることも可能である。
【図面の簡単な説明】
【０１７８】
【図１】本発明の電子機器操作方法の概要を説明するための図である。
【図２】本発明の各実施形態にかかる電子機器（テレビジョン受像機）の要部の構成を示すブロック図である。
【図３】操作者の画像と操作用画像とを示す図である。
【図４】操作者の画像と操作用画像とを混合した状態を説明するための図である。
【図５】図２に示す検出器と表示装置の画面上の検出エリアとの対応を説明するための図である。
【図６】図２に示す検出器の構成を示すブロック図である。
【図７】図６に示すオブジェクト抽出器の構成を示すブロック図である。
【図８】オブジェクト抽出器で抽出する対象物の色相及び飽和度を説明するための図である。
【図９】色差信号から色相を算出する処理のフローチャートである。
【図１０】オブジェクト抽出器で抽出する対象物の輝度信号レベルを示す図である。
【図１１】画面上の操作ボタンに手をかざした状態を示す図である。
【図１２】画面上の操作ボタンの上で指を曲げた状態を示す図である。
【図１３】指を曲げる動作を２回行った場合における、手の画面上への投影面積の変化を示すタイムチャートである。
【図１４】操作ボタンと手の画像とが重なった状態を示す図である。
【図１５】第１実施形態で用いるユニバーサルリモコンの構成例を示す図である。
【図１６】ユニバーサルリモコンを用いた操作の概要を説明するための図である。
【図１７】ユニバーサルリモコンの発光素子の発光内容を説明するためのタイムチャートである。
【図１８】色領域フィルタの通過領域の一例を説明するための色差平面図である。
【図１９】色領域フィルタの通過領域の他の例を説明するための色差平面図である。
【図２０】色識別オブジェクト抽出器の構成を示すブロック図である。
【図２１】色識別オブジェクト抽出器を含む検出器の構成を示す図である。
【図２２】色識別機能を活用するユニバーサルリモコンによる操作の概要を説明するための図である。
【図２３】テレビジョン受像機の画面上のボタン、ユニバーサルリモコンのボタン、及び検出器の関係を説明するための図である。
【図２４】ユニバーサルリモコンの他の応用例を説明するため図である。
【図２５】図１３に示す時刻Ｔ０，Ｔ１，Ｔ３，Ｔ５，Ｔ６における明るさの頻度分布及び平均輝度レベル（ＡＰＬ）を示す図である。
【図２６】図１３に示す時刻Ｔ２，Ｔ４における明るさの頻度分布及び平均輝度レベル（ＡＰＬ）を示す図である。
【図２７】図２に示す制御情報判断器（ＣＰＵ）の動作を説明するための機能ブロック図である。
【図２８】ＢＴ６０１規格に基づく輝度信号振幅値を示す図である。
【図２９】操作ボタンを選択する動作を確定するためのデータ処理を説明するためのタイムチャートである。
【図３０】ＤＣ成分を除去するためのデジタルフィルタの構成を示すブロック図である。
【図３１】図３０に示すデジタルフィルタの具体的な構成と処理波形との関係を説明するための図である。
【図３２】所定選択動作との相互相関計算値の推移を示すタイムチャートである。
【図３３】第２実施形態で用いるユニバーサルリモコンの構成例を示す図である。
【図３４】従来の赤外線リモコンの操作を説明するための図である。
【図３５】第２実施形態で用いるユニバーサルリモコンによる操作を説明するための図である。
【図３６】赤外線リモコン制御コードの内容を示す図である。
【図３７】第２実施形態で用いるユニバーサルリモコンを操作をした場合の処理を説明するための第１のタイムチャートである。
【図３８】第２実施形態で用いるユニバーサルリモコンを操作した場合の処理を説明するための第２のタイムチャートである。
【図３９】第３実施形態で用いるユニバーサルリモコンの構成例を示す図である。
【図４０】第３実施形態で用いるユニバーサルリモコンの発光素子の発光内容を説明するためのタイムチャートである。
【図４１】第３実施形態で用いるユニバーサルリモコンの発光素子の発光内容を説明するためのタイムチャートである。
【図４２】第３実施形態で用いるユニバーサルリモコンの発光素子の発光内容を説明するためのタイムチャートである。
【図４３】画像の相関マップを示す図である。
【図４４】第３実施形態で用いるユニバーサルリモコンの位置とビデオカメラ信号の波形と空間周波数との関係を示す図である。
【図４５】縦筋発光をさせた場合のユニバーサルリモコンの傾きと空間周波数の関係を示した図である。
【図４６】横筋発光をさせた場合のユニバーサルリモコンの傾きと空間周波数の関係を示した図である。
【図４７】格子発光をさせた場合のユニバーサルリモコンと空間周波数の関係を示した図である。
【図４８】水平方向通過域９０度ファンフィルタの設計例を示す図である。
【図４９】垂直方向通過域９０度ファンフィルタの設計例を示す図である。
【図５０】周波数識別オブジェクト抽出器の構成を示すブロック図である。
【図５１】周波数識別オブジェクト抽出器を含む検出器の構成を示すブロック図である。
【図５２】第３実施形態で用いるユニバーサルリモコンによる操作の概要を説明するための図である。
【図５３】テレビジョン受像機の画面上のボタン、第３実施形態で用いるユニバーサルリモコンのボタン、及び検出器の関係を説明するための図である。
【図５４】低域通過フィルタの設計例を示す図である。
【図５５】水平高域通過型フィルタの設計例を示す図である。
【図５６】垂直高域通過型フィルタの設計例を示す図である。
【図５７】周波数と色識別オブジェクト抽出器の構成を示すブロック図である。
【図５８】周波数と色識別オブジェクト抽出器を含む検出器の構成を示すブロック図である。
【図５９】テレビジョン受像機の画面上のボタン、第４実施形態で用いるユニバーサルリモコンのボタン、及び検出器の関係を説明するための図である。
【図６０】第４実施形態で用いるユニバーサルリモコンボタンに振り当てた周波数と色の組合せの表である。
【符号の説明】
【０１７９】
１  テレビジョン受像機（電子機器）
２  ビデオカメラ
３  ユーザ（操作者）
１２  タイミングパルス発生器
１４  鏡像変換器
１５  スケーラ
１６  グラフィックス生成器
１７  第１の混合器
１９  検出部
２０  制御情報判断器（制御部）
２３  表示装置
３０３  発光部
３０６  赤外線発光部
３２０  ユニバーサルリモコン決定ボタン（決定ボタン）
４０１，４０２，４０３，４０３’  ユニバーサルリモコン（手元制御機器）
【図１】
0004544195.tif 000003
【図２】
0004544195.tif 000004
【図３】
0004544195.tif 000005
【図４】
0004544195.tif 000006
【図５】
0004544195.tif 000007
【図６】
0004544195.tif 000008
【図７】
0004544195.tif 000009
【図８】
0004544195.tif 000010
【図９】
0004544195.tif 000011
【図１０】
0004544195.tif 000012
【図１１】
0004544195.tif 000013
【図１２】
0004544195.tif 000014
【図１３】
0004544195.tif 000015
【図１４】
0004544195.tif 000016
【図１５】
0004544195.tif 000017
【図１６】
0004544195.tif 000018
【図１７】
0004544195.tif 000019
【図１８】
0004544195.tif 000020
【図１９】
0004544195.tif 000021
【図２０】
0004544195.tif 000022
【図２１】
0004544195.tif 000023
【図２２】
0004544195.tif 000024
【図２３】
0004544195.tif 000025
【図２４】
0004544195.tif 000026
【図２５】
0004544195.tif 000027
【図２６】
0004544195.tif 000028
【図２７】
0004544195.tif 000029
【図２８】
0004544195.tif 000030
【図２９】
0004544195.tif 000031
【図３０】
0004544195.tif 000032
【図３１】
0004544195.tif 000033
【図３２】
0004544195.tif 000034
【図３３】
0004544195.tif 000035
【図３４】
0004544195.tif 000036
【図３５】
0004544195.tif 000037
【図３６】
0004544195.tif 000038
【図３７】
0004544195.tif 000039
【図３８】
0004544195.tif 000040
【図３９】
0004544195.tif 000041
【図４０】
0004544195.tif 000042
【図４１】
0004544195.tif 000043
【図４２】
0004544195.tif 000044
【図４３】
0004544195.tif 000045
【図４４】
0004544195.tif 000046
【図４６】
0004544195.tif 000047
【図４７】
0004544195.tif 000048
【図４８】
0004544195.tif 000049
【図４９】
0004544195.tif 000050
【図５０】
0004544195.tif 000051
【図５１】
0004544195.tif 000052
【図５２】
0004544195.tif 000053
【図５３】
0004544195.tif 000054
【図５４】
0004544195.tif 000055
【図５５】
0004544195.tif 000056
【図５６】
0004544195.tif 000057
【図５７】
0004544195.tif 000058
【図５８】
0004544195.tif 000059
【図５９】
0004544195.tif 000060
【図６０】
0004544195.tif 000061
【図４５】
0004544195.tif 000062