(57)【特許請求の範囲】
【請求項１】
表示装置を制御する遠隔制御装置であって、
上記表示装置に対する遠隔制御装置の相対的な動きを検出する方向決め手段、
を含み、
上記方向決め手段は、画像センサと、上記画像センサに像を投影する撮像光学装置とを含み、
上記方向決め手段は、投影される像の動きから上記相対的な動きを推測するようにされ、
上記遠隔制御装置は更に、上記画像センサに像が投影される対象までの距離を測定する距離測定手段を含み、
上記方向決め手段は上記距離に対して上記相対的な動きを調節するようにされる、
ことを特徴とする装置。
【請求項２】
ユーザの命令又は所定のイベントに応答して、上記方向決め手段を動作させる動作手段、
を更に含む請求項１記載の遠隔制御装置。
【請求項３】
上記方向決め手段は更に、上記表示装置の像を認識するようにされる、
ことを特徴とする請求項１又は２記載の遠隔制御装置。
【請求項４】
上記方向決め手段は更に、上記表示装置のプロパティ（寸法、リフレッシュ率）を記憶するようにされる、
ことを特徴とする請求項３記載の遠隔制御装置。
【請求項５】
上記方向決め手段は、上記表示装置の表示スクリーン上の、所定のプロパティを有するアイコンを認識するようにされる、
ことを特徴とする請求項３又は４記載の遠隔制御装置。
【請求項６】
上記所定のプロパティは、所定のパラメータ（例えば、色、明るさ）の周期的変更を含む、
ことを特徴とする請求項５記載の遠隔制御装置。
【請求項７】
上記遠隔制御装置は、上記周期的変更から上記表示装置に関連した状態情報をデコードするようにされる、
ことを特徴とする請求項６記載の遠隔制御装置。
【請求項８】
上記方向決め手段は更に、上記表示装置に対する上記遠隔制御装置の相対位置を上記表示装置の投影される像から推測することにより、上記相対位置を決めるようにされる、
ことを特徴とする請求項３乃至７のうちいずれか一項記載の遠隔制御装置。
【請求項９】
表示装置と、請求項３乃至８に記載される遠隔制御装置の特徴を有する遠隔制御装置とを含むシステムであって、
上記表示装置は、上記遠隔制御装置の上記画像センサ上に投影されるときに、上記表示装置の像の認識性が高められるように所定のプロパティを有するアイコンを表示するようにされる、
ことを特徴とするシステム。
【請求項１０】
請求項９に記載されるシステムの表示装置の特徴を有する表示装置。
【発明の詳細な説明】
【０００１】
［発明の属する技術分野］
本発明は、表示装置に対する遠隔制御装置の相対的な動きを検出する方向決め手段を含む、表示装置を制御する遠隔制御装置に係る。
【０００２】
本発明は更に、表示装置と上記の遠隔制御装置のシステムに係る。
【０００３】
本発明は更に、上記のシステムにおいて使用される表示装置に係る。
【０００４】
［発明の背景］
インターネットブラウジング、ホームショッピング、及びゲームなどテレビジョンの進歩した特徴が出現するにつれて、ユーザはテレビジョンを見る通常の距離からこれらの新しい特徴を制御できるようにならなければならない。この理由から、従来の遠隔制御装置とコンピュータのマウスのようなポインタ装置の機能を統合した遠隔制御装置が必要となる。この統合のために様々な解決策が提案されている。そのうちの幾つかは、ライトペンで応用される技術に基づいており、表示装置の陰極線によってもたらされた光点の検出モーメントは同期信号と比較される。この解決策は、表示スクリーンから制限された距離内でのみ適用可能である。他の解決策は、表示装置から送信され、遠隔制御装置によって受信される赤外線信号に基づいている。例えば、米国特許第５６４４１２６号では、表示装置及び遠隔制御装置のシステムが開示される。表示装置は、例えば光ダイオードのような光源を有し、そこからの光は遠隔制御装置によって受け取られ、導かれて格子を通過する。結果として生じる干渉縞は、アレイセンサに投影される。遠隔制御装置が移動すると、干渉縞もシフトし、これはアレイセンサによって検出される。この動きは次に、例えばスクリーン上のディスプレイメニュからメニュ選択肢を選択するといった表示装置の機能を制御する適当な命令に変換される。
【０００５】
公知のシステムの不利点は、遠隔制御装置と表示装置の両方が望ましい機能性を達成するために適応されなくてならないということである。従って、それらは従来の表示装置に付加装置として適用される遠隔制御装置を提供するものではない。更に、米国特許第５６４４１２６号では相対的な動きのみが検出される。
【０００６】
［本発明の目的及び説明］
本発明は、従来技術の遠隔制御装置の不利点が回避される、冒頭部に定義された種類の遠隔制御装置を提供することを目的とする。この目的のために、本発明の遠隔制御装置では、方向決め手段は画像センサと、画像センサ上に像を投影する撮像光学装置を含み、更に投影される像の動きから相対的な動きを推測するよう適応されることを特徴とする。投影される像は、例えば表示スクリーン、窓、又はランプなどの任意の対象の投影像である。ユーザが遠隔制御装置を動かすと、投影される像もそれに従って動く。投影される像の動きは、例えば画像センサから得られる連続したフレームを比較することによって検出される。投影される像の動きを検出及び分析するソフトウェアアルゴリズムは既知であり、本発明の開示に関連がある場合にのみ説明する。例えば以下のような文献から背景情報が得られる。
【０００７】
Andrew Houghton, Graham Rees及びPeter Iveyによる「A method for processing laser speckle images to extract high-resolution motion」Measurement Science & Technology no.8 (1997), IOP Publishing Ltd.（６１１−６１７頁）。
【０００８】
Ichirou Yamagouchi及びTadashige Fujitaによる「Liner and rotary encoders using electronic speckle correlation」Optical Engineering / December 1991 / vol. 30 No.12（１８６２−１８６８頁）。
【０００９】
投影される像の動きは次に、例えばカーソル位置などのディスプレイ装置の機能を制御する適当な命令に変換される。本発明の付加的な利点は、回転も検出されることである。
【００１０】
本発明の遠隔制御装置の実施例では、遠隔制御装置は更に、ユーザの命令又は所定のイベントに応答して方向決め手段を動作させる動作手段を含むことを特徴とする。動作手段は、遠隔制御装置が取り上げられたイベントを検出するグリップ、又はチルトセンサを含む場合がある。或いは、動作手段は、方向決め手段を動作させるために意図的に押されなければならないボタンを含む場合もある。遠隔制御装置は動作すると、例えば省略時のカーソル位置を供給するために初期化行動を行なう。これに続く全ての動きは、それに対応するカーソルの動きに変換される。
【００１１】
本発明の更なる実施例では、遠隔制御装置は、像が画像センサに投影される対象までの距離を測定する距離測定手段を更に含み、方向決め手段は距離に対して相対的な動きを調節するように適応されることを特徴とする。例えば、遠隔制御装置は自己焦点ユニットが設けられる場合もある。自己焦点ユニットは、一方で投影される対象への距離に関係なく、画像センサ上に鋭い投影画像を保証し、他方で遠隔制御装置と対象の間の距離に関する情報を提供し、その情報は、方向決め手段の感度を決める際に考慮される。例えば、遠隔制御装置を付近の対象に向ける場合、遠隔制御装置の動きは、投影される像の比較的大きな動きをもたらす。この場合、動きは、遠隔にある対象に向けられている状態と比較して、比較的小さなカーソルの動きに変換される。自己焦点の技術は公知であり、例えば、以下のような文献を参照する。
【００１２】
Adolf W. Lohmann, David Mendiovic及びZeev Zalevskyによる「Digital method for measuring the focus error」APPLIED OPTICS / vol. 36 No. 28 / 1 October 1997（７２０４−７２０９頁）。
【００１３】
G. E. Hege, H. J. Tizianiによる「Speckle techniques for absolute distance measurement」Tech. Messen５４（６）, 1987（２３７−２４２頁）。
【００１４】
本発明の更なる実施例では、方向決め手段は更に、表示装置の像を認識するよう適応されることを特徴とする。上記に説明されたように、表示装置自体が投影される対象として好都合に使用される。一般的に、表示スクリーンはテレビジョンを見る環境において、光を発生しているので突出している。表示スクリーンに表示された対象を制御するために、表示スクリーンの特定のプロパティが有利に考慮に入れられる場合がある。例えば、スクリーンの寸法及び／又は画像リフレッシュ率が、環境からスクリーンを区別するために使用される。
【００１５】
本発明の更なる実施例では、方向決め手段は更に、表示装置のプロパティ（寸法、リフレッシュ率）を記憶するよう適応されることを特徴とする。これらのプロパティを例えば、ボタンによってダウンロード又は入力して、明確に記憶することによって、方向決め手段は表示装置の投影される像について事前知識を有する。従って、例えばランプのちらつき、又は窓の寸法などによってもたらされる混乱を避けることが可能となる。
【００１６】
本発明の更なる実施例では、方向決め手段は、表示装置の表示スクリーン上にある所定のプロパティを有するアイコンを認識するよう適応されることを特徴とする。これにより、アイコンは特定の形状又は色の組合わせによって独自のものとして形成されるので、表示スクリーンが明確に認識されることが達成される。アイコンは固定された場所に配置される場合もあり又はスクリーンカーソルともなる。
【００１７】
本発明の更なる実施例では、上記の所定のプロパティは、所定のパラメータ（例えば、色、明るさ）の周期的変更を含む。これにより、表示装置の明確な認識が更に単純化される。
【００１８】
本発明の更なる実施例では、遠隔制御装置は上記の周期的変更から、表示装置に関連する状態情報をデコードするよう適応されることを特徴とする。先の実施例における周期的変更は状態情報を示す信号と変調される。状態情報は、感度設定、表示装置等のプロパティを含む。
【００１９】
本発明の更なる実施例では、方向決め手段は更に、表示装置の投影された像から表示装置に対する遠隔制御装置の相対位置を推測することによって、その相対位置を決めるよう適応される。これにより、表示スクリーンを認識した後、方向決め手段はスクリーン寸法などの必要なプロパティが利用可能なので、相対位置のみならず、絶対位置も得られる。
【００２０】
本発明は、テレビジョン受像機、モニタ、（ゲーム）コンピュータ及び表示装置に特に好適である。
【００２１】
［発明の実施の形態］
本発明の上記及び他の面は、以下に説明される実施例を参照し、制限されない例によって説明され明らかになる。
【００２２】
図１は、表示スクリーン２を含むテレビジョン受像機１と、遠隔制御装置３を示す。遠隔制御装置３は、回路板４と、コンピュータマウスのボタンと同様の機能を有するボタン５を含む。従来の遠隔制御装置のボタンには更に、例えば数字で表されたキー、テレテキストキーなどが設けられる。遠隔制御装置３は更に、遠隔制御装置がユーザによって取り上げられることを検出するグリップセンサ６を含む。撮像光学装置８は、例えばテレビジョン受像機１のような遠隔にある対称の像を、回路板４上に置かれた画像センサ７に投影することができる。ＬＥＤ（発光ダイオード）９は、回路板４上に設けられ、テレビジョン受像機１に赤外線光信号を送信する。画像センサ７上に鋭い投影を確立するために、更に、投影される対象までの距離を測定するために自己焦点ユニット１０が設けられる。
【００２３】
図２は、遠隔制御装置３の当該要素を示すブロック図である。表示スクリーン２の像が、例えば光ダイオード又は統合光電セルのような感光セルのマトリクスである画像センサ７上に投影される。感光セル（画素）は、画素アドレッシングユニット１３によってセルをアドレッシングすることにより周期的に走査される。結果として得られる電気信号はＡ／Ｄ変換器１４によって変換され、デジタル形式で信号プロセッサ１２に送信される。信号プロセッサ１２は、制御される表示装置に対する相対的な動きを検出する方向決め手段を含み、利用可能な情報から突出した顕著な要素を抽出することができる。そのような要素を検出するソフトウェアアルゴリズムは周知である。例えば、信号プロセッサ１２は、寸法とコントラスト比がある一定の閾値を超える、明るい領域と暗い領域の間の移行を検索する場合がある。信号プロセッサ１２が探す好適な要素は、表示スクリーン２のコーナー、カーソル又は表示された内容の他の要素である。或いは、突出した要素を抽出するために、相関技術が用いられる場合もある。これらの技術も周知である。
【００２４】
上記要素の座標は、メモリ（図示せず）に記憶される。少なくとも2つの要素の座標を記憶することにより、2つの座標軸に沿った並進及び回転の両方が検出される。測定された並進及び回転は、例えば、フレーム毎又は多数のフレームの平均された回数毎で周期的に、テレビジョン受像機１を制御する適当な命令に変換され、ＬＥＤ９によって発生された赤外線信号又は別の送信手段によって、テレビジョン受像機１に送信される。信号プロセッサ１２又は別の専用回路は、ボタン５の状態とグリップセンサ６とともに、計算された並進及び回転から送信されるコードを発生させる。
【００２５】
グリップセンサは、遠隔制御装置３がユーザによって動作されると信号プロセッサ１２を動作する。動作されると、初期化ルーチンが始動され、以下の機能を行なう。
―初期化コードをテレビジョン受像機１に送信し、それによりカーソル及び／又はメニュが作動する。
―画像センサから像を捕捉する。
―画像の突出した要素の座標を決定し、相関技術によって相対的な並進又は相対的な回転を計算する。
【００２６】
像の要素を認識するために、全ての画素を考慮する必要はない。上記のような要素の近くにある画素のみを記憶及び処理する必要があり、これにより処理電力を節約する。要求される応答時間に依存して、検出された動きは、それに対応する命令をテレビジョン受像機１に送信する前に、多数の測定量から平均化される場合がある。
【００２７】
表示スクリーン２の認識は、表示スクリーン２の特定のプロパティを考慮することによって高められる。一般的に、表示スクリーンは２５Ｈｚ（標準的なＴＶ）から１６０Ｈｚの範囲である特定のリフレッシュ率によって特徴付けられる。このリフレッシュ率が検出されうり、これを画像センサ７上のどの情報が表示スクリーン２から得られたものであるかを決めるために使用できる。この情報から突出した要素が抽出され得る。上記要素は、ある一定のコントラストと寸法を有する明暗移行からなる。信頼度の高い認識のために、少なくとも幾つかの画素が含まれるべきである。
【００２８】
2つの要素の時間ｔにおける位置が（ｘ０,ｙ０）（ｔ）及び（ｘ１,ｙ１）（ｔ）とそれぞれされた場合、点（ｘ０,ｙ０）についての並進及び回転は、2つの連続する時点ｔ０及びｔ１における2つの要素の座標を決めることにより計算される。つまり、それぞれ（ｘ０,ｙ０）（ｔ０）、（ｘ１,ｙ１）（ｔ０）及び（ｘ０,ｙ０）（ｔ１）、（ｘ１,ｙ１）（ｔ１）である。
【００２９】
従って、並進は以下のように定義される。
【００３０】
ｄｘ＝ｘ０（ｔ１）−ｘ０（ｔ０）
ｄｙ＝ｙ０（ｔ１）−ｙ０（ｔ０）
回転は以下のように定義される。
【００３１】
Θ＝逆タンジェント（（ｘ１（ｔ１）−ｘ１（ｔ０）−ｄｘ）／（ｙ１（ｔ１）−ｙ１（ｔ０）−ｄｙ））
図３に、遠隔制御装置３の様々な自由度を示す。
【００３２】
上記された全ての方法を、制御される表示装置のソフトウェア及びハードウェアを適応させることなく適用することができる。表示スクリーン２上の表示された内容を所定の方法で適応させることによって、付加的な信頼性及び機能性が得られる。例えば、表示された画像の予測不可能な内容内ではカーソルを検出することは困難である。この問題は、カーソルの幾つかのプロパティ、例えばその密度を周期的に変更することによって解決される。カーソルを、例えば1回のリフレッシュサイクルおきに、規則的にオンオフして切替えることにより、検出器は表示された画像からカーソルを明確に区別することが可能となる。ある一定の時間に亘ってフィルタリングすることにより、カーソルの位置は確実に決められる。
【００３３】
表示スクリーン２に関する絶対位置は、更なる要素の固定された位置と比較することによって決められる。図４は位置（Ｘｃ,Ｙｃ）にあるカーソル１５と、位置（Ｘ２,Ｙ２）にある要素１６と位置（Ｘ１,Ｙ１）にある要素１８を示す。位置（Ｘ０,Ｙ０）にある第3の要素１７の存在によって、計算の信頼度が高められる。例えば表示スクリーンのコーナーのような更なる要素の固定された位置を選択することにより、信号プロセッサ１２はスクリーンの直径を推測することができる。カーソル１５の絶対位置（Ｘ,Ｙ）は以下のように決められる。
【００３４】
Ｘ＝ｘｃ／（ｘ２−ｘ１）
Ｙ＝ｙｃ／（ｙ２−ｙ１）
カーソルのプロパティの周期的な変更は、表示装置１から遠隔制御装置３に情報を送信するために変調される。例えば、表示装置１の状態に関する情報、又は遠隔制御装置３の感度の望ましい変更は遠隔制御装置３に運ばれる。カーソルの変調は、送信される情報を示すコードとともに周期的変更を制御することによって達成される。
【００３５】
これは図４に示される。階段関数１９はフレームのサイクルを示し、高いレベルは偶数フレームを示し、低いレベルは数のフレームを示す。階段関数２０はカーソル信号を示し、高いレベルはカーソルがオンの状態にあることを示し、低いレベルはカーソルがオフの状態にあることを示す。情報をコード化する技術は周知である。
【００３６】
まとめとして、本発明は、表示装置を制御する遠隔制御装置に係る。遠隔制御装置は、画像センサ、例えば表示スクリーンの像を画像センサに投影する撮像光学装置を含む。ユーザが遠隔制御装置を動かすと、投影される像もそれに従って動く。投影される像の動きから、表示装置に対する遠隔制御装置の相対的な動きが推測され、表示装置に送信される制御命令に変換される。
【００３７】
本発明は、特定の実施例を参照して説明されたが、発明概念の範囲内の変形及び変更は可能である。
【００３８】
「含む」という表現は、請求項に列挙された要素又は段階以外の要素又は段階の存在を排除するものではない。
【図面の簡単な説明】
【図１】  本発明の遠隔制御装置と表示装置を示す図である。
【図２】  本発明の遠隔制御装置の当該要素を示すブロック図である。
【図３】  本発明の遠隔制御装置によって検出される様々な種類の動きを示す図である。
【図４】  本発明の遠隔制御装置によってカーソルの絶対位置を示す図である。
【図５】  表示装置から本発明の遠隔制御装置への情報の伝達の例を示す図である。
【図１】
0004547096.tif 000002
【図２】
0004547096.tif 000003
【図３】
0004547096.tif 000004
【図４】
0004547096.tif 000005
【図５】
0004547096.tif 000006