(57)【要約】【課題】表示装置に表示された操作ボタンに手などをかざして操作ボタンを操作する電子機器において、操作ボタンなどの操作用画像を見易くして、その操作性を向上させる。【解決手段】鏡像変換部１３により、ビデオカメラ２によって撮影した画像信号の鏡像変換を行い、操作ボタンを含む一つ以上の操作用ウインドウを有する操作用画像を操作用画像生成部１５により生成し、鏡像変換部１３を経た画像信号と、操作用画像の画像信号とを、それらの面積、形状及び座標位置がほぼ等しくなるように、混合部１６において混合して混合画像を形成し、この混合画像を表示装置２１の画面上に表示させ、混合された画像を画面上に表示させた状態において、ビデオカメラによって撮影され、画面に表示された操作者が操作ボタンを選択する所定の選択動作を検出部１７により検出し、検出された操作ボタンに対応する制御動作を行う。【選択図】  図４
2009089068.tif 000002
【特許請求の範囲】
【請求項１】
表示装置を有する電子機器の制御装置であって、
操作者を撮影するビデオカメラと、
前記ビデオカメラによって撮影した画像の鏡像変換を行う鏡像変換器と、
少なくとも１つの操作ボタンを含む一つ以上の操作用ウインドウを有する操作用画像を生成する操作用画像生成部と、
前記一つ以上の操作用ウィンドウのうち、前記操作ボタンの操作が可能な一つの操作用ウィンドウの面積及び形状が前記鏡像変換器を経た画像の面積及び形状とほぼ等しく、且つこれらの座標位置がほぼ一致するように、前記鏡像変換器を経た画像と、前記操作用画像とを混合して形成した混合画像を、前記表示装置の画面上に表示させる画像信号混合部と、
前記画像信号混合部により混合された画像を前記表示装置の画面上に表示させた状態において、前記ビデオカメラによって撮影され、該画面に表示された操作者が前記操作ボタンを選択する所定の選択動作を検出する動作検出部と、
前記検出部により前記所定選択動作が検出された操作ボタンに対応する制御動作を行う機器制御部と
を備えることを特徴とする電子機器の制御装置。
【請求項２】
前記操作ボタンの操作が可能な一つの操作用ウィンドウには、その外縁に枠が描画されていることを特徴とする請求項１に記載の電子機器の制御装置。
【請求項３】
前記一つ以上の操作用ウィンドウにそれぞれ含まれる前記操作ボタンは、その属性に従って前記操作用ウィンドウ毎にグループ分けにされており、
前記操作用画像に含まれる一つ以上の操作用ウィンドウは、少なくともその操作用ウィンドウの一部がそれぞれ表示されるとともに、操作者の選択操作に応じて、前記操作ボタンの操作が可能な状態である活性化又は操作ボタンの操作が不可能な状態である非活性化が切り替えられ、
前記活性化された操作用ウィンドウの表示範囲内には、その操作用ウィンドウにグループ分けされた操作ボタンが全て表示され、
前記非活性化された操作用ウィンドウの表示範囲内には、少なくともその操作用ウィンドウに含まれる操作ボタンの属性に関する情報が表示される
ことを特徴とする請求項１又は２に記載の電子機器の制御装置。
【請求項４】
前記操作用画像生成部は、前記動作検出部による前記選択動作の検出に基づいて、操作に関する情報を図形又は文字により表示するガイダンスアイコンを含んだ操作用画像を生成する機能を有することを特徴とする請求項１乃至３のいずれかに記載の電子機器の制御装置。
【請求項５】
前記操作用画像生成部は、前記ガイダンスアイコン内、又はその周辺に、そのガイダンスアイコンに対応する操作ボタンの機能に関する詳細情報を含んだ操作用画像を生成する機能を有することを特徴とする請求項４に記載の電子機器の制御装置。
【請求項６】
操作者を撮影するビデオカメラと、表示装置とを有する電子機器の制御方法であって、
鏡像変換部により、前記ビデオカメラによって撮影した画像信号の鏡像変換を行う鏡像変換ステップと、
少なくとも１つの操作ボタンを含む一つ以上の操作用ウインドウを有する操作用画像を生成する操作用画像生成ステップと、
前記一つ以上の操作用ウィンドウのうち、前記操作ボタンの操作が可能な一つの操作用ウィンドウの面積及び形状が前記鏡像変換器を経た画像の面積及び形状とほぼ等しく、且つこれらの座標位置がほぼ一致するように、前記鏡像変換器を経た画像と前記操作用画像とを画像信号混合部において混合して形成した混合画像を、前記表示装置の画面上に表示させる画像信号混合ステップと、
前記画像信号混合部により混合された画像を前記表示装置の画面上に表示させた状態において、前記ビデオカメラによって撮影され、該画面に表示された操作者が前記操作ボタンを選択する所定の選択動作を動作検出部により検出する動作検出ステップと、
前記動作検出部により前記所定選択動作が検出された操作ボタンに対応する制御動作を機器制御部により行う機器制御ステップと
を含むことを特徴とする電子機器の制御方法。
【請求項７】
画像信号混合ステップで混合される前記操作ボタンの操作が可能な一つの操作用ウィンドウには、その外縁に枠が描画されていることを特徴とする請求項６に記載の電子機器の制御方法。
【請求項８】
操作用画像生成ステップで生成され、前記一つ以上の操作用ウィンドウにそれぞれ含まれる前記操作ボタンは、その属性に従って前記操作用ウィンドウ毎にグループ分けにされており、
前記操作用画像生成ステップで生成される前記操作用画像では、前記操作用画像に含まれる一つ以上の操作用ウィンドウは、少なくともその操作用ウィンドウの一部がそれぞれ表示されるとともに、操作者の選択操作に応じて、前記操作ボタンの操作が可能な状態である活性化又は操作ボタンの操作が不可能な状態である非活性化が切り替えられ、
画像信号混合ステップにおいて、前記活性化された操作用ウィンドウの表示範囲内には、その操作用ウィンドウにグループ分けされた操作ボタンが全て表示されるとともに、前記非活性化された操作用ウィンドウの表示範囲内には、少なくともその操作用ウィンドウに含まれる操作ボタンの属性に関する情報が表示される
ことを特徴とする請求項６又は７に記載の電子機器の制御方法。
【請求項９】
動作検出ステップにおいて、前記操作用画像生成部は、前記動作検出部による前記選択動作の検出に基づいて、操作に関する情報を図形又は文字により表示するガイダンスアイコンを含んだ操作用画像を生成する機能を有することを特徴とする請求項６乃至８のいずれかに記載の電子機器の制御方法。
【請求項１０】
前記操作用画像生成ステップは、前記ガイダンスアイコン内、またはその周辺に、そのガイダンスアイコンに対応する操作ボタンの機能に関する詳細情報を含んだ操作用画像を生成する機能を有することを特徴とする請求項９に記載の電子機器の制御方法。
【請求項１１】
操作者を撮影するビデオカメラと、表示装置とを有する電子機器の制御をコンピュータを用いて行わせる制御プログラムであって、前記コンピューターに、
鏡像変換部により、前記ビデオカメラによって撮影した画像信号の鏡像変換を行う鏡像変換ステップと、
少なくとも１つの操作ボタンを含む一つ以上の操作用ウインドウを有する操作用画像を生成する操作用画像生成ステップと、
前記一つ以上の操作用ウィンドウのうち、前記操作ボタンの操作が可能な一つの操作用ウィンドウの面積及び形状が前記鏡像変換器を経た画像の面積及び形状とほぼ等しく、且つこれらの座標位置がほぼ一致するように、前記鏡像変換器を経た画像と前記操作用画像とを画像信号混合部において混合して形成した混合画像を、前記表示装置の画面上に表示させる画像信号混合ステップと、
前記画像信号混合部により混合された画像を前記表示装置の画面上に表示させた状態において、前記ビデオカメラによって撮影され、該画面に表示された操作者が前記操作ボタンを選択する所定の選択動作を動作検出部により検出する動作検出ステップと、
前記動作検出部により前記所定選択動作が検出された操作ボタンに対応する制御動作を機器制御部により行う機器制御ステップと
を実行させることを特徴とする電子機器の制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビジョン受像機やパーソナルコンピュータのように表示装置を有する電子機器の遠隔操作を行うための電子機器の制御装置、制御方法及び制御プログラムに関する。
【背景技術】
【０００２】
テレビジョン受像機をはじめとする家電機器を手元で制御するためのユーザインターフェースが広く普及し、家電製品の利用形態を大きく変貌させた。現在においてもこの操作形態が主流であるが、リモコンは１機能を１押しで実行する仕組みが基本となっており、例えばテレビジョン受像機では、「電源」「チャンネル」「音量」「入力切替」などのキーがそれに該当し、これまでのテレビジョン受像機にとって大変便利な遠隔の操作方法であった。
【０００３】
ところで、最近始まったデータ放送は、所望のメニュー画面を選択するために、リモコンの「上下左右」や「決定」キーを何度も押下することになり、煩雑で使いづらくなっている。また、ＥＰＧ（電子プログラムガイド）は、マトリクスに配列された案内画面から所望の位置を選択してキーを押下するため、同様の課題を有していた。
【０００４】
本出願人による先願である特開２００６−０９１９４８号公報（特許文献１）では、多様な電子機器に対する柔軟性と遠隔操作の利便性を両立させるとともに、リモコンのような遠隔操作用機器を手元で利用することを不要とした電子機器が提案されている。特許文献１に記載の電子機器はユーザの手の動作をビデオカメラで撮影し、そのユーザーの映像を、画面上の操作ボタンと重ね合わせて表示し、その重ね合わせられた画面内におけるユーザーの動作から、操作ボタンに対する操作内容を識別するものである。
【特許文献１】特開２００３−２８３８６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に記載の電子機器においては、ユーザーの映像を、画面上の操作ボタンに、単に重ね合わせて表示するものであるため、表示装置の画面内に、ユーザーの背後にある雑多な風景が移り込んでしまい、操作用画像と、その周縁の通常の画面との境界に視覚的な段差が生じ、グラフィックが見づらくなるうえ、違和感を与え、操作性が低下する惧れがあった。
【０００６】
本発明はこの点に着目してなされたものであり、表示装置に表示された操作ボタンに手などをかざして操作ボタンを操作する電子機器において、操作ボタンなどの操作用画像を見易くして、その操作性を向上させることのできる電子機器の制御装置、制御方法及び制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１に係る発明は、表示装置を有する電子機器の制御装置であって、操作者を撮影するビデオカメラと、前記ビデオカメラによって撮影した画像の鏡像変換を行う鏡像変換器と、少なくとも１つの操作ボタンを含む一つ以上の操作用ウインドウを有する操作用画像を生成する操作用画像生成部と、前記一つ以上の操作用ウィンドウのうち、前記操作ボタンの操作が可能な一つの操作用ウィンドウの面積及び形状が前記鏡像変換器を経た画像の面積及び形状とほぼ等しく、且つ座標位置がほぼ一致するように、前記鏡像変換器を経た画像と前記操作用画像とを混合して形成した混合画像を、前記表示装置の画面上に表示させる画像信号混合部と、前記画像信号混合部により混合された画像を前記表示装置の画面上に表示させた状態において、前記ビデオカメラによって撮影され、該画面に表示された操作者が前記操作ボタンを選択する所定の選択動作を検出する動作検出部と、前記検出部により前記所定選択動作が検出された操作ボタンに対応する制御動作を行う機器制御部とを備えることを特徴とする。
【０００８】
このような発明によれば、操作者の画像と、操作ボタンを含む一つ以上の操作用ウインドウを有する操作用画像とを混合した混合画像を表示させ、画面内における操作者の操作ボタンに対する動作を検出して電子機器に対する制御動作を実行する際に、操作用ウィンドウと操作者の画像とが、面積、形状がほぼ等しく、且つ座標位置がほぼ一致するように混合されるため、操作用画像と、その周縁の表示部分との境界における視覚的な段差による違和感を解消することができる。
【０００９】
ここで、上記操作用ウインドウとしては、単一色の半透明な画像とすることができ、その色や透明度は、その背後にある通常映像（テレビ放送や外部入力画像等）の輝度や色調、表示モード、操作者の背後にある風景の輝度や色調に応じて適宜選択するようにしてもよい。また、視覚的な段差による違和感を和らげる手法としては、操作用ウインドウの背景色や透明度を調整することにより、操作者画像と通常映像との輝度や色調の格差を低減したり、逆に、格差を強調することにより操作者画像を見やすくするなどが挙げられる。
【００１０】
請求項２に係る発明は、請求項１に係る発明において、前記操作ボタンの操作が可能な一つの操作用ウィンドウに、その外縁に枠が描画されていることを特徴とする。
【００１１】
この場合には、操作用ウィンドウと通常映像との境界に、枠（フレーム画像）を積極的に表示させることにより、視覚的段差による違和感をより自然に解消することができる。この枠（フレーム画像）としては、例えば直線によるシンプルな枠組や、額縁のような画像、その他の飾り枠など、境界を強調する処理の他、ぼかしなど境界を和らげる処理であってもよい。
【００１２】
請求項３に係る発明は、請求項１又は２に係る発明において、前記一つ以上の操作用ウィンドウにそれぞれ含まれる前記操作ボタンが、その属性に従って前記操作用ウィンドウ毎にグループ分けにされており、前記操作用画像に含まれる一つ以上の操作用ウィンドウは、少なくともその操作用ウィンドウの一部がそれぞれ表示されるとともに、操作者の選択操作に応じて、前記操作ボタンの操作が可能な状態である活性化又は操作ボタンの操作が不可能な状態である非活性化が切り替えられ、前記活性化された操作用ウィンドウの表示範囲内には、その操作用ウィンドウにグループ分けされた操作ボタンが全て表示され、前記非活性化された操作用ウィンドウの表示範囲内には、少なくともその操作用ウィンドウに含まれる操作ボタンの属性に関する情報が表示されることを特徴とする。
【００１３】
この場合には、例えば、地上波放送や衛星放送（BSやCS等）、入力端子などの放送方式や入力種別に応じて操作ボタンがグルーピングされることから、ユーザーが所望する操作ボタンへのアクセスが容易となる。また、グルーピングの表示に際し、操作可能なグループの操作用ウィンドウを活性化（アクティブ化）させ、そこに操作者画像を混合することから、操作者は操作可能な操作ボタンを直感的に把握することができる。一方、他のグループの操作用ウィンドウについては非活性化（非アクティブ化）するが、少なくともその非活性化されている操作用ウィンドウの属性情報については表示されているため、操作者は、現在操作できないまでも他の選択肢としてのグループが存在することを直感的に把握することができる。
【００１４】
請求項４に係る発明は、請求項１乃至３のいずれかに係る発明において、前記操作用画像生成部が、前記動作検出部による前記選択動作の検出に基づいて、操作に関する情報を図形又は文字により表示するガイダンスアイコンを含んだ操作用画像を生成する機能を有することを特徴とする。
【００１５】
この場合には、操作者の操作ボタンに対する動作が検出された際に、次の操作（動作）に関する情報（ガイダンスやヒント）を表示することができるため、操作者の円滑な操作を誘導することができ、操作性を向上させることができる。
【００１６】
請求項５に係る発明は、請求項４に係る発明において、前記操作用画像生成部は、前記ガイダンスアイコン内、又はその周辺に、そのガイダンスアイコンに対応する操作ボタンの機能に関する詳細情報を含んだ操作用画像を生成する機能を有することを特徴とする。
【００１７】
この場合には、ガイダンスアイコンとともに、操作ボタンの機能に関する詳細情報が表示させるため、操作者は、操作ボタンに対する操作のヒントともに、その操作ボタン自体の機能を知ることができ、より操作性を向上させることができる。
【００１８】
請求項６に係る発明は、操作者を撮影するビデオカメラと、表示装置とを有する電子機器の制御方法であって、鏡像変換部により、前記ビデオカメラによって撮影した画像信号の鏡像変換を行う鏡像変換ステップと、少なくとも１つの操作ボタンを含む一つ以上の操作用ウインドウを有する操作用画像を生成する操作用画像生成ステップと、前記一つ以上の操作用ウィンドウのうち、前記操作ボタンの操作が可能な一つの操作用ウィンドウの面積及び形状が前記鏡像変換器を経た画像の面積及び形状とほぼ等しく、且つ座標位置がほぼ一致するように、前記鏡像変換器を経た画像と前記操作用画像とを画像信号混合部において混合して形成した混合画像を、前記表示装置の画面上に表示させる画像信号混合ステップと、前記画像信号混合部により混合された画像を前記表示装置の画面上に表示させた状態において、前記ビデオカメラによって撮影され、該画面に表示された操作者が前記操作ボタンを選択する所定の選択動作を動作検出部により検出する動作検出ステップと、前記動作検出部により前記所定選択動作が検出された操作ボタンに対応する制御動作を機器制御部により行う機器制御ステップとを含むことを特徴とする。
【００１９】
このような発明によれば、操作者の画像と、操作ボタンを含む一つ以上の操作用ウインドウを有する操作用画像とを混合した混合画像を表示させ、画面内における操作者の操作ボタンに対する動作を検出して電子機器に対する制御動作を実行する際に、操作用ウィンドウと操作者の画像とが、面積、形状がほぼ等しく、且つ座標位置がほぼ一致するように混合されるため、操作用画像と、その周縁の表示部分との境界における視覚的な段差による違和感を解消することができる。
【００２０】
請求項７に係る発明は、請求項６に係る発明において、画像信号混合ステップで混合される前記操作ボタンの操作が可能な一つの操作用ウィンドウに、その外縁に枠が描画されていることを特徴とする。
【００２１】
この場合には、操作用ウィンドウと通常映像との境界に、枠（フレーム画像）を積極的に表示させることにより、視覚的段差による違和感をより自然に解消することができる。この枠（フレーム画像）としては、例えば直線によるシンプルな枠組や、額縁のような画像、その他の飾り枠など、境界を強調する処理の他、ぼかしなど境界を和らげる処理であってもよい。
【００２２】
請求項８に係る発明は、請求項６又は７に係る発明において、操作用画像生成ステップで生成され、前記一つ以上の操作用ウィンドウにそれぞれ含まれる前記操作ボタンが、その属性に従って前記操作用ウィンドウ毎にグループ分けにされており、前記操作用画像生成ステップで生成される前記操作用画像では、前記操作用画像に含まれる一つ以上の操作用ウィンドウは、少なくともその操作用ウィンドウの一部がそれぞれ表示されるとともに、操作者の選択操作に応じて、前記操作ボタンの操作が可能な状態である活性化又は操作ボタンの操作が不可能な状態である非活性化が切り替えられ、画像信号混合ステップにおいて、前記活性化された操作用ウィンドウの表示範囲内には、その操作用ウィンドウにグループ分けされた操作ボタンが全て表示されるとともに、前記非活性化された操作用ウィンドウの表示範囲内には、少なくともその操作用ウィンドウの属性に関する情報が表示されることを特徴とする。
【００２３】
この場合には、例えば、地上波放送や衛星放送（BSやCS等）、入力端子などの放送方式や入力種別に応じて操作ボタンがグルーピングされることから、ユーザーが所望する操作ボタンへのアクセスが容易となる。また、グルーピングの表示に際し、操作可能なグループの操作用ウィンドウを活性化（アクティブ化）させ、そこに操作者画像を混合することから、操作者は操作可能な操作ボタンを直感的に把握することができる。一方、他のグループの操作用ウィンドウについては非活性化（非アクティブ化）するが、少なくともその非活性化されている操作用ウィンドウの属性情報については表示されているため、操作者は、現在操作できないまでも他の選択肢としてのグループが存在することを直感的に把握することができる。
【００２４】
請求項９に係る発明は、請求項６乃至８のいずれかに係る発明において、動作検出ステップで、前記操作用画像生成部が、前記動作検出部による前記選択動作の検出に基づいて、操作に関する情報を図形又は文字により表示するガイダンスアイコンを含んだ操作用画像を生成する機能を有することを特徴とする。
【００２５】
この場合には、操作者の操作ボタンに対する動作が検出された際に、次の操作（動作）に関する情報（ガイダンスやヒント）を表示することができるため、操作者の円滑な操作を誘導することができ、操作性を向上させることができる。
【００２６】
請求項１０に係る発明は、請求項９に係る発明において、前記操作用画像生成ステップにおいて、前記ガイダンスアイコン内、またはその周辺に、そのガイダンスアイコンに対応する操作ボタンの機能に関する詳細情報を含んだ操作用画像を生成する機能を有することを特徴とする。
【００２７】
この場合には、ガイダンスアイコンとともに、操作ボタンの機能に関する詳細情報が表示させるため、操作者は、操作ボタンに対する操作のヒントともに、その操作ボタン自体の機能を知ることができ、より操作性を向上させることができる。
【００２８】
請求項１１に係る発明は、操作者を撮影するビデオカメラと、表示装置とを有する電子機器の制御をコンピュータを用いて行わせる制御プログラムであって、前記コンピューターに、鏡像変換部により、前記ビデオカメラによって撮影した画像信号の鏡像変換を行う鏡像変換ステップと、少なくとも１つの操作ボタンを含む一つ以上の操作用ウインドウを有する操作用画像を生成する操作用画像生成ステップと、前記一つ以上の操作用ウィンドウのうち、前記操作ボタンの操作が可能な一つの操作用ウィンドウの面積及び形状が前記鏡像変換器を経た画像の面積及び形状とほぼ等しく、且つ座標位置がほぼ一致するように、前記鏡像変換器を経た画像と前記操作用画像とを画像信号混合部において混合して形成した混合画像を、前記表示装置の画面上に表示させる画像信号混合ステップと、前記画像信号混合部により混合された画像を前記表示装置の画面上に表示させた状態において、前記ビデオカメラによって撮影され、該画面に表示された操作者が前記操作ボタンを選択する所定の選択動作を動作検出部により検出する動作検出ステップと、前記動作検出部により前記所定選択動作が検出された操作ボタンに対応する制御動作を機器制御部により行う機器制御ステップとを実行させることを特徴とする。
【００２９】
このような発明によれば、汎用のコンピューターや専用コンピューターを用いて、上述した装置や方法を実施することが可能となるとともに、このプログラムをコンピューター読み取り可能な記録媒体に記録することにより、プログラムの保存、運搬及びインストールを容易に行うことができる。
【発明の効果】
【００３０】
本発明によれば、表示装置に表示された操作ボタンに手などをかざして操作ボタンを操作する電子機器において、操作ボタンなどの操作用画像を見易くして、その操作性を向上させることができる。
【発明を実施するための最良の形態】
【００３１】
（電子機器の制御方法の概要）
図１は、本実施形態において、電子機器（テレビジョン受像機１）を制御する方法を示す説明図である。
【００３２】
本実施形態の操作方法では、テレビジョン受像機１に、ビデオカメラ２が設けられており、ビデオカメラ２によりユーザ３が撮影され、ビデオカメラ２の画像からユーザ３の動作を認識し、その認識された動作に応じてテレビジョン受像機１及びそれに関連する機器の操作が行われる。ここで、ユーザ３の動作とは、具体的にはテレビジョン受像機１に表示されるメニュー画面から所望のボタンを選択する身体（手、足、顔など）の動きのことである。本実施形態では、後述するように最も実用的である手の動きで操作する手法を採用している。またテレビジョン受像機１の周囲が暗いときは、自発光機能を具備した遠隔操作用機器（手元制御機器）を用いることにより、手の動作と同様の効果を得るようにしてもよい。
【００３３】
図２及び図３は、テレビジョン受像機１の画面構成を示す説明図である。同図に示すように、本実施形態に係る画面は、通常の映像信号Ｓ２上に、第１の混合画像Ｍ１ｏを混合して生成した第２の混合画像Ｍ２ｏを表示したものである。第１の混合画像Ｍ１ｏは、ユーザーインターフェースである操作用画像Ｇｓに、ビデオカメラ２で撮影した操作者画像Ｓ１を混合して形成される。ここで、通常の映像信号Ｓ２は、例えば地上波放送や衛星放送、外部入力端子から入力されたビデオデッキやＤＶＤプレイヤー等からの映像信号であり、操作者画像は、ビデオカメラ２で撮影されたユーザ３及びその背後にある風景である。
【００３４】
操作用画像Ｇｓは、テレビのチャンネルやページ遷移、メディア（放送方式）の切り替えを操作するための操作ボタン４０，４１が配列されている。この画面内において、操作者は、認識対象物Ｏｂｊである手を、操作ボタン４０，４１中の任意の操作ボタン（任意の放送局など）上にかざし、所定の動作（例えば、指を折り曲げたり、手を開いたり閉じたり等のサイン）をすることによって、所望する操作ボタンに対する操作を行うことができる。
【００３５】
（制御装置の構成）
図４は、テレビジョン受像機１の制御装置の構成を示すブロック図であり、テレビジョン受像機１は、ビデオカメラ２、基準同期発生器１１、タイミングパルス発生器１２、鏡像変換器１３、スケーラ１４、グラフィックス生成器１５、第１の混合器１６、検出部１７、制御情報判断器（ＣＰＵ）１８、画素数変換器１９、第２の混合器２０、及び表示装置２１を備えている。なお、説明中で用いられる「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。
【００３６】
基準同期発生器１１は、入力される同期信号に基づいて、テレビジョン受像機１の基準になる水平周期パルスと垂直周期パルスを発生するモジュールである。ここで、同期信号は画素数変換器１９に入力される映像信号の水平及び垂直同期信号である。テレビジョン放送受信時や外部の機器から映像信号が入力されている場合は、基準同期発生器１１はその入力信号の同期信号に同期するパルスを生成する。タイミングパルス発生器１２は、各モジュールで必要とする水平方向と垂直方向の任意の位相と幅を有するパルスを生成する。
【００３７】
ビデオカメラ２は、図１に示すようにテレビジョン受像機１の前面に位置してユーザ３、またはテレビジョン受像機１の前の映像を撮影する装置であり、例えばＣＣＤカメラなどを採用することができる。ビデオカメラ２の出力信号は、輝度（Ｙ）信号、及び色差（Ｒ−Ｙ、Ｂ−Ｙ）信号であり、基準同期発生器１１から出力される水平周期パルス及び垂直周期パルスに同期している。
【００３８】
鏡像変換器１３及びスケーラ１４は、ビデオカメラによって撮影した画像信号を鏡像変換するとともに、後述する認識対象物情報に応じて、表示装置の画面上に表示された操作者の拡大、縮小又は位置の調整を行う鏡像画像調整部を構成するモジュールである。
【００３９】
鏡像変換器１３は、ビデオカメラ２で撮影したユーザ３の画像（被写体像）を表示装置２１上に鏡と同じように左右を反転して表示するためのモジュールである。従って、文字を表示する場合は鏡と同じように左右が反転することになる。本実施形態では、メモリを活用して水平方向の画像を反転させる方法により鏡像変換が行われる。表示装置２１として陰極線管（ＣＲＴ（CathodeRayTube））を用いる場合には、水平偏向を逆に操作することで同様の効果が得られる。その場合には、グラフィックスやその他混合する側の画像をあらかじめ水平方向に左右逆転させておく必要がある。
【００４０】
スケーラ１４は、例えばデジタル処理等により、図８及び図９に示すように、ビデオカメラ２により撮影した被写体像の大きさを拡大又は縮小したり、表示位置を調整する画像調整器で、制御情報判断器１８の制御で拡大率と縮小率を２次元で調整するモジュールである。また、このスケーラ１４は、拡大縮小を行わずに、水平と垂直の位相調整を行うこともできる。
【００４１】
なお、本実施形態では、図４に示すようにスケーラ１４は鏡像変換器１３の後段に設け、鏡像変換器１３により鏡像変換された画像を調整するが、ビデオカメラ２と鏡像変換器１３の間にスケーラ１４を設け、ビデオカメラ２より出力された画像を調整させてもよい。
【００４２】
グラフィックス生成器１５は、制御情報判断器１８から供給されるメニュー画面（操作用画像）を生成するための認識対象物情報に基づいてメニュー画面を生成する操作用画像生成部であり、メモリ上の信号がＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号の原色信号で展開されていても、後段で映像信号と合成または混合される出力信号は、輝度（Ｙ）信号と色差（Ｒ−Ｙ、Ｂ−Ｙ）信号とする。また生成されるグラフィックスのプレーン数は限定するものではないが、本実施形態では１プレーンでよい。
【００４３】
なお、メニュー画面を構成するグラフィックスの画素数（解像度）は、本実施形態では表示装置２１の画素数（解像度）に一致させるようにしている。一致していない場合は、グラフィックス生成器１５内またはグラフィックス生成器１５の後段に画素数変換器を設けて、互いの画素数を一致させればよい。
【００４４】
また、本実施形態に係るグラフィックス生成器１５は、操作用画像制御部１５ａを備えており、この操作用画像制御部１５ａは、前記認識対象物情報に応じて、操作用画像の操作ボタンの表示位置又は範囲を調整するモジュールである。この操作ボタンの表示切り替えとしては、図２や図９（ａ）に示すように、認識対象物情報に含まれる認識対象物の属性が操作者の手であり、且つ、手の個数が一つである場合には、画面上に表示された片手の周囲に操作ボタンを集合させて配置させ、図９（ｂ）に示すように、手の個数が２個以上である場合には、画面上に表示された両手のそれぞれの周囲に、前記操作用画像を分散させて配置する。また、認識対象物情報に含まれる認識対象物の属性が操作者の顔である場合に、図９（ｃ）や（ｄ）に示すように、画面上に表示された１つ又は複数の顔の周囲（両側や円状）に操作ボタンを配置してもよい。さらには、前記グラフィックス生成器１５は、認識対象物の属性及び個数を判断し、より確実に認識が可能な対象物を優先させて認識したり、ユーザー操作で任意の認識対象物を選択したりするなど、適宜認識対象物を切り替える動作を行い、その切り替えられた認識対象物の種別や位置に応じて操作ボタンの配置形態を適宜切り替えるようにしてもよい。
【００４５】
さらに、グラフィックス生成器１５で生成される操作用画像において、前記操作ボタンは、その属性（地上波放送や衛星放送（BSやCS等）、入力端子などの放送方式や入力種別）に従ってグループ分けされ、グループ単位で表示されるとともに、操作者の選択操作に応じて、グループ単位で活性化（アクティブ化）又は非活性化（非アクティブ化）が切り替えられるようになっている。具体的には、図１０に示すように、操作用画像において、グループ毎に、操作ボタンが各操作用ウィンドウにまとめられ、その操作用ウィンドウはページのように捲れるイメージで表現されており、最前面にあるページ（操作用ウィンドウ）Ｗ１がアクティブ化され、操作者画像が混合されるとともに、操作ボタンが操作可能となる。一方、最前面の背後にある他のページＷ２〜Ｗ５は、ページの枠組とそのグループの属性に関する情報を表示するタグのみとしてもよい。
【００４６】
また、グラフィックス生成器１５は、検出部１７による選択動作の検出に基づいて、図１１及び１２（ａ）及び（ｂ）に示すような、操作に関する情報を図形又は文字により表示するガイダンスアイコンを生成する機能を有する。
【００４７】
第１の混合器１６は、スケーラ１４の出力信号（操作者画像Ｓ１）とグラフィックス生成器１５の出力信号（操作用画像Ｇｓ）とを、制御値α１により混合割合を制御して混合する画像信号混合部である。具体的には、下記（１）式で出力信号（第１の混合画像Ｍ１ｏ）が表される。
Ｍ１ｏ＝α１×Ｓ１＋（１−α１）×Ｇｓ…（１）
制御値α１は、「０」から「１」の間の値に設定され、制御値α１を大きくするとスケーラ１４の出力信号（操作者画像Ｓ１）の割合が大きくなり、グラフィックス生成器１５の出力信号（操作用画像Ｇｓ）の割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。なお、既述したようにビデオカメラ２と鏡像変換器１３の間にスケーラ１４を設けた場合には、鏡像変換器１３から出力される信号を出力信号（操作者画像Ｓ１）とすればよい。
【００４８】
また、本実施形態に係る第１の混合器１６は、図３にも示したように、鏡像変換器１３及びスケーラ１４を経た操作者画像Ｓ１の面積及び形状と、操作用画像Ｇｓのうちの最前面にありアクティブ化されているページＷ１の面積及び形状とをほぼ等しくし、さらにその座標位置をほぼ一致させた状態で混合する。そして、これにより生成された混合画像は、第２の混合器２０において、通常の映像信号とさらに混合され、表示装置２１の画面上に表示される。
【００４９】
検出部１７は、第１の混合器１６，第２の混合器２０により混合された画像を表示装置２１の画面上に表示させた状態において、画面に表示された操作者が操作ボタンを選択する所定の選択動作を検出する動作検出部であり、第１の検出器１７１、第２の検出器１７２、…第ｎの検出器１７ｎを備える。これらの検出部１７に含まれる検出器は数を特定するものではなく、グラフィックス生成器１５で生成されるメニュー画面と連携した制御内容を表す後述する操作ボタンの数に対応して変動する。なお、操作ボタンとはパソコンにおいてマウスでクリック操作する操作ボタンに該当するものである。
【００５０】
制御情報判断器１８は、検出部１７から出力されるデータ（検出信号）の解析を行い、各種制御信号を出力する。制御情報判断器１８は、入力されるデータに基づいて操作された操作ボタンに対応する制御信号を生成し、自機各部及び外部の電子機器の制御動作を行う。制御情報判断器１８はソフトウェアで各種の処理を行うモジュールである。本実施形態では、ハードウェア（各機能ブロック）による処理と、ソフトウェア（制御情報判断器１８のＣＰＵ）による処理とが混在するモジュールとして取り扱われ、特にここで示す区分けに限定するものではなく、ハードウェアとソフトウェアとをどのように用いてもよい。
【００５１】
特に、本実施形態において制御情報判断器１８は、前記ビデオカメラによって撮影された対象物を認識し、認識された対象物の属性、個数、画面内における位置、又は画面内に占める面積の割合のうちの少なくとも一つを含む認識対象物情報を生成する認識情報生成部２３を備えている。
【００５２】
具体的には、図６に示すように、認識情報生成部２３は、例えば手や顔の形状や色などの認識特徴を記憶する認識特徴記憶部２３１と、画像信号中から前記認識特徴を検出する認識対象検出部２３２と、検出された認識特徴に基づいて、その属性や位置・サイズ、個数を判別する属性判別部２３３，位置・サイズ判別部２３４，個数判別部２３５とを有している。そして、この認識情報生成部２３による対象物の認識は、ビデオカメラによって撮影された映像の中から、認識特徴記憶部２３１に記憶されている手や顔の形状や色などの特徴に基づいて対象物を抽出し、その属性等のデータは、認識対象物情報としてグラフィックス生成器１５及びスケーラ１４に送出される。
【００５３】
なお、この制御情報判断器１８には、マイク等の音声入力デバイスから入力される音声を認識する音声認識部２２が接続されており、ビデオカメラ２からの映像による操作と併せて、例えば、命令音声や拍手、その他の音響による操作を取入れることができるようになっている。
【００５４】
画素数変換器１９は、入力される映像信号の画素数（解像度）と表示装置２１の画素数（解像度）を合わせるための画素数変換を行う。入力映像信号は、図示を省略している内蔵のチューナにて受信したテレビジョン信号（データ放送なども含む）による映像信号やビデオデッキからの映像信号などテレビジョン受像機１の外部から入力される映像信号である。ここでは図示を省略するが、入力映像信号から水平及び垂直同期信号を抽出して、基準同期発生器１１によって各部を入力映像信号の水平及び垂直同期信号に同期させるようにしている。
【００５５】
第２の混合器２０は、第１の混合器１６と同様の機能を有する。すなわち、第１の混合器１６の出力信号（第１の混合画像Ｍ１ｏ）と、画素数変換器１９の映像信号Ｓ２とを制御値α２で混合割合を制御して混合する。具体的には、下記（２）式で出力信号Ｍ２ｏが表される。
Ｍ２ｏ＝α２×Ｍ１ｏ＋（１−α２）×Ｓ２…（２）
制御値α２は、「０」から「１」の間の値に設定され、制御値α２を大きくすると第１の混合器１６の出力信号Ｍ１ｏの割合が大きくなり、画素数変換器１９の出力信号Ｓ２の割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。
【００５６】
表示装置２１は、ＣＲＴ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ（ＰＤＰ）あるいはプロジェクションディスプレイなどを想定しているが、ディスプレイの表示方式を限定するものではない。表示装置２１の入力信号は、輝度信号Ｙと、色差信号Ｒ−Ｙ及びＢ−Ｙであり、表示装置２１の内部にてＲＧＢ原色信号にマトリクス変換されて表示される。
【００５７】
各検出器１７１〜１７ｎは、図５（ａ）に示すように、オブジェクト抽出器３０と、タイミングゲート器３１と、オブジェクト特徴データ検出部３２とを備えている。オブジェクト抽出器３０は、画像の特徴に添ったフィルタを備えており、フィルタ処理をした画像信号をタイミングゲート器３１に出力する。
【００５８】
タイミングゲート器３１は、タイミングパルスに基づいてビデオカメラ２からの画像信号の通過を制御する。通過する領域は後述する検出エリア内である。この検出エリア内に限定した信号に対して、オブジェクト特徴データ検出部３２は種々のフィルタ処理を施してビデオカメラ２で撮影したユーザ３の手の画像を抽出する。
【００５９】
オブジェクト特徴データ検出部３２は、抽出されたユーザ３の手（対象物）の画像信号から、様々な特徴を検出し検出信号を発生するための機能ブロックを備える。本実施形態では、ヒストグラム検出器３３、平均輝度（ＡＰＬ）検出器３４、高域発生量検出器３５、最小値検出器３６、最大値検出器３７を備える。この他にも画像を特徴づける要件はあるが、本実施形態ではこれらの検出器より発生される検出信号を用い、制御情報判断器１８によって手であることを判別すると共にその動作を認識する。
【００６０】
図５（ｂ）に、オブジェクト抽出器３０の詳細ブロック図を示す。本実施形態ではユーザ３の手を検出するために、特に肌色に着目したフィルタ処理を行う。すなわち、本実施形態のオブジェクト抽出器３０は、特定色フィルタ７１と、階調限定器７２と、時間差分フィルタ７５と、合成器７３と、オブジェクトゲート器７４とを備えている。
【００６１】
特定色フィルタ７１、階調限定器７２及び時間差分フィルタ７５は、それぞれオブジェクトを特定するフィルタである。特定色フィルタ７１は、色差信号で入力される色信号の色相と色の濃さ（飽和度）を限定し、階調限定器７２は、輝度信号の特定の階調の範囲を限定する。時間差分フィルタ７５は、人の手の背景が肌色であっても、わずかな輝度の差などを基に手の領域を抽出し、人の手を識別する。本実施形態では人の手を、後述する操作ボタンを操作する対象物としているが、パラメータである色相や階調を調整し最適化することにより、オブジェクト抽出器３０は手以外の対象物も検出することができる。
【００６２】
合成器７３は、特定色フィルタ７１と階調限定器７２と時間差分フィルタ７５から入力される信号を合成し、領域パルスに変換する。本実施形態では、特定色フィルタ７１を通過した信号と階調限定器７２を通過した信号と時間差分フィルタ７５を通過した信号とが全て存在（ＡＮＤ）する場合に、ハイレベルとなる領域パルスを出力する。なお、特定色フィルタ７１と階調限定器７２と時間差分フィルタ７５のうち１つまたは２つを通過した信号が存在すれば、ハイレベルとなる領域パルスを出力するようにしてもよい。
【００６３】
特定色フィルタ７１と階調限定器７２と時間差分フィルタ７５のうちの、２つを通過した信号が存在すればハイレベルとなるようにすれば誤検出しにくく、３つを通過した信号が存在すればハイレベルとなるようにすれば更に誤検出しにくくなる。
【００６４】
合成器７３で生成された領域パルスは、オブジェクトゲート器７４に供給される。オブジェクトゲート器７４は、領域パルスがハイレベルであるとき、輝度信号と色差信号を通過させる。領域パルスがローレベル（領域パルス外の範囲）であるときは、輝度信号も色差信号も通過させず、規定した値の信号を出力する。本実施形態では、黒レベルの輝度信号及び飽和度０の色差信号を出力する。
【００６５】
（電子機器の制御方法）
以上の構成を有する制御装置を動作させることによって、本発明の制御方法を実施することができる。図７は、本実施形態に係る制御装置の動作を示すフローチャート図である。
【００６６】
先ず、ビデオカメラ２による操作者画像Ｓ１を、鏡像変換器１３で鏡像変換し、スケーラ１４により拡大・縮小及び位置調整を行う（Ｓ１０１〜Ｓ１０３）。これと並行して通常の映像信号の受信若しくは入力を行う（Ｓ１１２）。
【００６７】
そして、この操作者画像Ｓ１について、認識情報生成部２３により、認識対象物Ｏｂｊを認識し、認識された対象物Ｏｂｊの属性、個数、前記表示装置の画面内における位置、又は該画面内に占める面積の割合のうちの少なくとも一つを含む認識対象物情報を生成する（Ｓ１０４）。この認証対象物情報により、操作者が画像中において小さすぎたり、大きすぎたり、又は偏った位置にいるようなときには、操作者画像の調整要と判断し、拡大・縮小、位置調整をやり直す（Ｓ１０５における”Ｙ”）。例えば、ビデオカメラの撮影の画角に対して、人の位置によっては手の大きさが小さかったり、プッシュボタンの位置まで届かなかったりすることが考えられる。この場合は、スケーラ１４で画像を「拡大」「縮小」「位相（位置）」を調整して人を画面上に適切な大きさにする。すなわち、図８（ａ）や（ｂ）に示すように、操作者が遠方（或いは近距離）にいたり、画面の端にいる場合、スケーラ１４を制御して「拡大」（或いは「縮小」）し、画面の中心に人が位置するように「位相」を調整することにより、図８（ｂ）の（Ｅ）のように適切な大きさで適切な位置にユーザを表示させる。
【００６８】
また、認証対象物情報に基づいて、操作用画像の操作ボタンの配置位置などの調整が必要か否か判断し（Ｓ１０６）、調整要と判断した場合は（Ｓ１０６における”Ｙ”）、対象物の位置や属性に応じて、操作ボタンの表示形態を決定し（Ｓ１０７）、この決定に基づいて操作用画像Ｇｓを生成（変更）する（Ｓ１０８）。なお、本実施形態における装置のデフォルト設定では、図２に示すように、ユーザーの手を認識対象とし、認識された手が画面中央に位置するように、操作者画像が調整され、その中央に表示された手に整合させるように、操作ボタンが画面中央に配置されるように、操作用画像が生成・変更されるようになっている。
【００６９】
次いで、このようにして生成された操作用画像Ｇｓが、操作者画像Ｓ１と、第１の混合器１６で混合され、第２の混合器２０で、映像信号Ｓ２と混合される。かかる第１の混合器１６における混合処理は、操作用画像Ｇｓと、操作者画像Ｓ１との混合画像であるＭ１ｏを制御値α１に対応する混合割合で混合して生成し、また、第２の混合器２０における混合処理は、混合画像Ｍ１ｏと、映像信号Ｓ２とを制御値α２に対応する混合割合で混合して生成する（Ｓ１０９）。
【００７０】
操作用画像Ｇｓは、制御を行うためのメニュー画面を形成しており、四角形のプッシュボタン式に操作される操作ボタンが配列されている。一方の操作者画像Ｓ１は、ユーザが撮影され鏡像変換され、鏡と同じように表示される。
【００７１】
操作者画像Ｓ１の中の操作ボタンには、複数の検出器１７１〜１７ｎ等からなる検出部１７の検出エリアが対応づけられており、各検出エリア上で動作を行うことによって、検出器１７１〜１７ｎがその動作を検出し、対応した操作ボタンに対する操作であることを判別する。
【００７２】
このようにして表示装置２１には、ユーザの画像が鏡と同様に映ると共に、制御のメニュー画面も重畳されて表示される。これによりユーザ本人は、自分の動きと制御メニューの位置を認識することができる。制御は、ユーザが画面を見て、画面上の操作ボタンに触れるように手（身体）を動かすことにより行う。言い換えれば手を操作ボタン上に位置するように画面を見てユーザが動作することにより、制御を行うことができる。
【００７３】
具体的には、各検出器１７１〜１７ｎは、ビデオカメラ２からの画像信号の通過を制御し、通過する領域は、各操作ボタンに対応した検出エリア内である。この検出エリア内に限定した信号を、さらに様々なフィルタ処理してビデオカメラ２で捉えたユーザの手を抽出し、その動作を検出する（Ｓ１１０）。
【００７４】
オブジェクト抽出器３０は、画像の特徴に添ったフィルタを備えており、本実施形態ではユーザの手を検出するために、特に肌色に着目したフィルタ処理を行う。また、このオブジェクト抽出器３０では、特定色フィルタ７１で色信号の色相（角度）と飽和度を限定したものをさらに輝度信号レベルで限定する。特定色フィルタ７１で色相と飽和度を限定することで人の肌色に絞ることができ、日焼け具合や人種によって異なる人の肌の色相、飽和度、輝度信号の階調限定の範囲で調整し、ユーザーの手を検出する。本実施形態では人（ユーザー）の手を対象にしているが、その他の色相と階調を適切に調整すれば、本実施形態におけるパラメータの変更の範疇で同様にして他のものと区別することができる。
【００７５】
そして、手を触れた（該当する）操作ボタンに対応する検出エリア内の手の動作を検出し、該当する操作ボタンが押されたことを認識する（Ｓ１１０における”Ｙ”）。本実施形態では、かざした手の指を折り曲げる動作を２度繰り返すことで操作ボタンが押されたことを認識するようにしている。
【００７６】
なお、この操作ボタンに手を触れた段階で、本実施形態では、触れられたボタンの色を変えるなどして強調表示するとともに、図１１及び図１２に示したガイダンスアイコンを表示させ、ユーザーに対して次の動作（操作）を誘導する。例えば、図１２（ａ）に示した例では、ユーザーの手が操作ボタンに触れたときに、吹出しが表示され、手の形をしたガイダンスアイコンが、指を折り曲げる動作をするようにしている。また、図１２（ｂ）に示すように、吹出しではなく、ユーザーの手が触れてアクティブとなった操作ボタン上に直接、ガイダンスアイコンを表示させてもよい。
【００７７】
さらに、このガイダンスアイコン内またはその周辺に、対応する操作ボタンの機能に関わる詳細情報を表示してもよい。詳細情報としては、例えば、番組名や番組内容等の番組情報などが考えられる。
【００７８】
この動作の認識により、該当操作ボタンの制御内容に相当する制御信号を制御情報判断器（ＣＰＵ）１８から出力し、動作制御を行う（Ｓ１１１）。その際グラフィック状のメニュー画面の操作ボタンは形状及び／または色を変化させて、動作を認識したことを表示上に表す。例えば操作ボタンが押されたように画像を変化させてもよい。
【００７９】
また、ユーザーの操作動作としては、画面に表示したメニュー（操作ボタン群）の表示形態の切り替えも含まれる。例えば、図１０に示したような、操作ボタンがグルーピングされて表示され、そのグループ毎にアクティブと非アクティブが切り替えられるようなときには、ページをめくる操作を行うことにより、アクティブになっているページ（操作ボタンのグループ）を順次切り替えていくことができる。
【００８０】
（電子機器の制御プログラム）
上述した本実施形態係る電子機器の制御装置及び制御方法は、所定の言語で記述されたプログラムをコンピュータ上で実行することにより実現することができる。すなわち、このプログラムを、ユーザー端末やＷｅｂサーバ等のコンピュータやＩＣチップにインストールし、ＣＰＵ上で実行することにより、上述した各機能を有する制御装置を容易に構築することができる。このプログラムは、例えば、通信回線を通じて配布することが可能であり、またスタンドアローンの計算機上で動作するパッケージアプリケーションとして譲渡することができる。
【００８１】
そして、このようなプログラムは、汎用コンピュータで読み取り可能な記録媒体に記録することができる。具体的には、フレキシブルディスクやカセットテープ等の磁気記録媒体、若しくはＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光ディスクの他、ＲＡＭカードなど、種々の記録媒体に記録することができる。
【００８２】
そして、このプログラムを記録したコンピュータ読み取り可能な記録媒体によれば、汎用のコンピュータや専用コンピュータを用いて、上述した装置や方法を実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。
【００８３】
（変更例）
なお、上述した実施形態では、表示装置に映されたグラフィックス上に展開される操作用画像を、それに重ね合わされた自分の鏡像を見ながら操作するものであるが、画像を重ね合わせるので見にくい場合がある。その場合は、検出器の画面上の領域を特定するタイミングパルス（水平垂直）で、第１の混合器１６または第２の混合器２０の混合割合を制御して見やすいようにする。例えば制御画像である操作ボタンを見やすくするためには第１の混合器１６にて、制御値α１の値を小さくするようにタイミングパルスで制御すればよい。このように混合器をきめ細かく制御することによって視聴者と、制御画像（操作ボタン）の関係を分かり易くすることができる。
【００８４】
また、本実施形態の操作方法は、人の手を使って対称となるグラフィックス上に描かれた操作ボタンを触れるように操作するものであり、その対象となる操作内容は、「電源」「チャンネル」「音量」「入力切替」「上」「下」「左」「右」「決定」など従来のリモコンが備えていたものはすべて置き換えることが可能である。
【００８５】
なお本発明は上述した実施形態に限るものではなく、種々の変形が可能である。例えば、図４に示した第１の混合器１６及び第２の混合器２０の混合割合を、レベル方向、空間方向、時間方向に効果的に組み合わせるようにしてもよい。これにより、ビデオカメラ２からの画像と生成されるグラフィックスのメニュー画面と、放送番組の映像の多様な組み合わせ方が可能となり、同時に多様な情報のやり取りが出来る。  また本発明の操作対象となる電子機器は、テレビジョン受像機に限るものではなく、パーソナルコンピュータや、テレビジョン受像機とビデオディスク録画装置の組み合わせや、テレビジョン受像機とビデオテープレコーダとの組み合わせなど、表示装置を有するものであればよい。
【００８６】
（作用・効果）
以上のような操作方法を用いることにより、リモコンのような制御機器を用いることなく制御対象の制御が可能となる。したがって電池切れや接点不良などのリモコンに関するトラブルが解消される。また複数の機器のリモコンがある場合、被制御機器のリモコンを探さなければならなかったが、本発明の操作方法では、人の身体があればよく、このような問題も解消される。
【００８７】
また画面上に制御内容が示されるので、様々な制御機器の取り扱いが可能となる。これはネットワーク化された環境では重要であり、表示装置を有する機器を通じてネットワーク機器を制御する、言い換えれば、ネットワークにつながる機器の制御画面をネットワークを通じて表示装置を有する機器に転送することにより、表示装置の画面が制御画面になるため、どのような制御画面であっても対応できる。
【００８８】
そして特に、本実施形態では、操作者画像Ｓ１と、操作ボタンを含む操作用画像Ｇｓとを混合した混合画像Ｍ１ｏを表示させ、画面内における操作者の操作ボタンに対する動作を検出して電子機器に対する制御動作を実行する際に、対象物の属性、個数、測定領域内における位置、又は所定の面積に占める面積の割合に応じて、画面上の操作者の大きさや位置、操作ボタンの表示位置や範囲を調整するため、操作（動作）を行う操作者の手や顔などの表示位置に合わせて、適切な位置や範囲に操作ボタンを表示することができ、操作性を向上させることができる。
【００８９】
また、本実施形態では、操作者画像Ｓ１と操作用画像Ｇｓのうちの最前面にあるアクティブ化されているページＷ１とを、面積及び形状、さらに座標位置をほぼ一致させて混合するため、操作用画像Ｇｓのうちの最前面にあるアクティブ化されているページＷ１と、その周縁の映像Ｓ２との境界における視覚的な段差による違和感を解消することができる。
【００９０】
さらに、本実施形態では、操作ボタンが、その放送方式や放送局などの属性に従ってグループ分けにされており、ページをめくるように、グループ単位で活性化又は非活性化が切り替えることができるため、ユーザーが所望する操作ボタンへのアクセスが容易となり、操作者は操作可能な操作ボタンを直感的に把握することができる。一方、他のグループについては非活性化（非アクティブ化）するとともに、局のタイトルなどの属性情報については表示されているため、操作者は、現在操作できないまでも他の選択肢としてのグループが存在することを直感的に把握することができる。
【００９１】
また、本実施形態では、操作者の操作ボタンに対する動作が検出された際に、次の操作（動作）に関する情報（ガイダンスやヒント）を表示するため、操作者の円滑な操作を誘導することができ、操作性を向上させることができる。
【図面の簡単な説明】
【００９２】
【図１】実施形態に係る電子機器（テレビジョン受像機１）を制御する方法を示す説明図である。
【図２】実施形態に係るテレビジョン受像機１の画面構成を示す説明図である。
【図３】実施形態に係るテレビジョン受像機１の画面構成を分解して示す説明図である。
【図４】実施形態に係るテレビジョン受像機１の構成を示すブロック図である。
【図５】（ａ）は、実施形態に係る検出器１７１〜１７ｎの構成を示すブロック図であり、（ｂ）は、オブジェクト抽出器３０の構成を示すブロック図である。
【図６】実施形態に係る認識情報生成部２３の構成を示すブロック図である。
【図７】実施形態に係る制御装置の動作を示すフローチャート図である。
【図８】実施形態に係る操作者画像の調整（拡大・縮小・位置）についての説明図である。
【図９】実施形態に係る操作用画像の調整についての説明図である。
【図１０】実施形態に係る操作用画像における操作ボタンのグルーピングについての説明図である。
【図１１】実施形態に係る操作用画像におけるガイダンスアイコンの説明図である。
【図１２】実施形態に係るガイダンスアイコンの動作を示す説明図である。
【符号の説明】
【００９３】
Ｏｂｊ…認識対象物
α１，α２…制御値
Ｇｓ…操作用画像
Ｍ１ｏ…第１の混合画像
Ｍ２ｏ…第２の混合画像
Ｓ１…操作者画像
Ｓ２…通常の映像信号
Ｗ１〜Ｗ５…ページ
１…テレビジョン受像機
２…ビデオカメラ
３…ユーザー
１１…基準同期発生器
１２…タイミングパルス発生器
１３…鏡像変換器
１４…スケーラ
１５…グラフィックス生成器
１５ａ…操作用画像制御部
１６…第１の混合器
１７…検出部
１８…制御情報判断器
１９…画素数変換器
２０…第２の混合器
２１…表示装置
２２…音声認識部
２３…認識情報生成部
３０…オブジェクト抽出器
３１…タイミングゲート器
３２…オブジェクト特徴データ検出部
３３…ヒストグラム検出器
３４…平均輝度検出器
３５…高域発生量検出器
３６…最小値検出器
３７…最大値検出器
４０，４１…操作ボタン
２３１…認識特徴記憶部
２３２…認識対象検出部
２３３…属性判別部
２３４…位置・サイズ判別部
２３５…個数判別部
７１…特定色フィルタ
７２…階調限定器
７３…合成器
７４…オブジェクトゲート器
７５…時間差分フィルタ
１７１〜１７ｎ…検出器
【図１】
2009089068.tif 000003
【図２】
2009089068.tif 000004
【図３】
2009089068.tif 000005
【図４】
2009089068.tif 000006
【図５】
2009089068.tif 000007
【図６】
2009089068.tif 000008
【図７】
2009089068.tif 000009
【図８】
2009089068.tif 000010
【図９】
2009089068.tif 000011
【図１０】
2009089068.tif 000012
【図１１】
2009089068.tif 000013
【図１２】
2009089068.tif 000014