(57)【特許請求の範囲】
【請求項１】
装置の姿勢を追跡することにより表示画面への入力を制御する方法であって、上記装置に光センサの２次元アレイを配置するステップと、周囲環境の特徴的部分の画像を上記光センサ上に投射する光学的手段を上記装置に取り付けるステップと、上記２次元アレイを活用して上記アレイの視界の範囲内で特徴的部分の第１の画像を取得するステップと、上記第１の画像を記憶するステップと、上記２次元アレイを活用して、上記第１の画像を取得するステップに続く一定時間後に、上記２次元アレイの視界の範囲内で、第２の画像が上記第１の画像と共通の特徴的部分を持つような形態で第２の画像の領域の大部分が第１の画像に重ね合うように上記特徴的部分の第２の画像を取得するステップと、上記第１の画像と第２の画像の相関関係を調べて、上記第１の画像と第２の画像の範囲内の上記共通の特徴的部分の位置的相違を検出するステップと、上記位置的相違を検出するステップに基づいて、上記第１の画像の取得と上記第２の画像の取得の間のインターバルにおける上記装置の傾きの変化を示す姿勢信号を形成するステップと、当該姿勢信号を上記装置から表示画面に関連する遠隔受信機へ伝送するステップと、を含み、
上記光学的手段は、上記２次元アレイによる画像形成のための焦点を提供するレンズ系を備え、上記レンズ系は、上記２次元アレイに、画像の曲線型歪曲を誘引する性質を備え、上記２次元アレイは、上記曲線型歪曲を補償する形状を備え、上記補償を行うために弓形の辺を備える、方法。
【請求項２】
入力制御ステップが、上記姿勢信号に応答して、表示画面上のカーソル位置を制御するステップを含む、請求項１に記載の方法。
【請求項３】
上記装置から遠隔受信機へ無線形態で上記姿勢信号を伝送することによって上記カーソル位置が制御される、請求項２に記載の方法。
【請求項４】
光センサの２次元アレイを配置する上記ステップが、手持ち式部材に上記アレイを取り付けるステップである、請求項１から３のいずれか一項に記載の方法。
【請求項５】
上記第１の画像を取得するステップおよび第２の画像を取得するステップが、上記表示画面が存在する環境領域の画像のデータを形成するステップである、請求項１から４のいずれか一項に記載の方法。
【請求項６】
定期的に標本画像を取得し、各標本画像と既に取得した画像との相関をとり、上記標本画像の範囲内の共通の特徴的部分の位置的相違を検出するステップを更に含む、請求項１から５のいずれか一項に記載の方法。
【請求項７】
上記光センサが、複数の行および複数の列に配置され、上記光センサが上記２次元アレイに関する光軸を規定するように組み合わされ、隣接列および隣接行が弓形の境界によって間隔をあけられている、請求項１から６のいずれか一項に記載の方法。
【請求項８】
姿勢を追跡し表示画面に姿勢情報を伝送するシステムであって、格納装置と、特徴的部分の画像を形成するため上記格納装置に配置された光センサの２次元アレイと、特徴的部分の画像を上記２次元アレイ上に投射する光学的手段と、各々が特定の時間に特定の光センサにおいて受け取られる光エネルギーを示す複数ピクセル値からなる基準フレームを記憶するため、上記アレイに接続された記憶手段と、上記アレイおよび上記記憶手段に接続され、上記基準フレームの上記ピクセル値の配置と、上記特定時間の後に上記アレイにおいて受け取られる光エネルギーに応答して形成されるピクセル値の少なくとも１つの標本フレームと、の相関をとる相関器と、上記相関器による相関関係の検出に応答して、上記基準フレームの上記ピクセル値に対する上記少なくとも１つの標本フレームのピクセル値の縦揺れおよび偏揺れすなわち上記格納装置の縦揺れおよび偏揺れを表す姿勢信号を生成する計算手段と、姿勢信号を、表示画面の入力部を構成する遠隔受信機へ供給する手段と、を備え、
上記光学的手段は、上記２次元アレイによる画像形成のための焦点を提供するレンズ系を備え、上記レンズ系は、上記２次元アレイに、画像の曲線型歪曲を誘引する性質を備え、上記２次元アレイは、上記曲線型歪曲を補償する形状を備え、上記補償を行うために弓形の辺を備える、システム。
【請求項９】
上記受信機からの上記姿勢信号が、表示画面上のカーソルを制御するように構成される請求項８に記載のシステム。
【請求項１０】
上記受信機からの上記姿勢信号を受け取るように接続され、表示画面上のカーソルを動かすカーソル制御信号を形成する復調器をさらに含む請求項９に記載のシステム。
【請求項１１】
上記格納装置が手持ち式である、請求項８から１０のいずれか一項に記載のシステム。
【請求項１２】
上記光センサが、複数の行および複数の列に配置され、上記光センサが上記２次元アレイに関する光軸を規定するように組み合わされ、隣接列および隣接行が弓形境界によって間隔をあけられている、請求項８から１１のいずれか一項に記載のシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、一般的には、装置の姿勢を追跡する方法およびシステムに関するもので、特に、ビデオ・ディスプレイのカーソルのような装置またはプロセスを制御するため装置の姿勢を追跡することに関するものである。
【０００２】
【従来の技術】
ビデオ・システムにおいて表示画面上に提示される情報と人がやりとりしなければならないアプリケーションがある。時には、人が表示画面から距離をおいている時にそのようなやりとりが発生することがある。詳細は後述するが、そのようなやりとりを実施する種々の形態の１つとして、遠隔地点から画面を制御する方法がある。やりとりには、表示画面メニューとして提示される選択肢を選択することや表示装置のキーボードを使用してテキストを「タイプ」することが含まれる。遠隔対話式ビデオ・システム(Remote Interactive Video Systemの頭文字をとって以下ＲＩＶＳと略称する)の例には、対話式テレビ(Interactive TVの頭文字をとって以下ＩＴＶと略称する)、テレビ型インターネット・ブラウザおよびビデオ会議室ビデオ・プロジェクタ等が含まれる。
【０００３】
ＲＩＶＳの１つの重要なコンポーネントは、画面上のカーソルを制御するための「ポインティング」デバイスである。ポインティング・デバイスは、マウス、トラック・ボールおよび図形タブレットがコンピュータのため実行する機能と同等の機能を果たす。しかし、ＲＩＶＳに関連するシステム環境は、一般的にコンピュータの操作において出会うことのないような困難さを示す。例えば、ＲＩＶＳオペレータは、一般的に、コンピュータ・オペレータと比較して制御する装置から一層遠隔の地点で操作を行う。別の例としては、ＲＩＶＳのオペレータは、例えばＩＴＶオペレータがリビング・ルームでテレビジョン受信機から離れて座っている場合のように設備が整っていない環境にいることが多い。多くの状況において、マウスのような既存のコンピュータ・ポインティング・デバイスを使用できる環境ではない。更に、ＲＩＶＳはキーボードを備えてないことが多いので、ポインティング・デバイスがテキスト入力の役割を果たすという余分な負荷を負わなければならない。
【０００４】
ＲＩＶＳのために多数の既知のポインティング・デバイスがある。大部分の既知のポインティング・デバイスは、若干のバリエーションはあるが基本的には手持式コントローラ上で４キー式カーソル・パッドを実装したものである。４キー式カーソル・パッドは、種々のメニュー選択を行うため画面カーソルを上下左右に移動させるように取り扱われる。そのようなインターフェースは、旧式なテキスト・インターフェースを使用したコンピュータ・キーボードのカーソル・キーをエミュレートする。しかし、これらのインターフェースは、一般的には、最近のグラフィック・ソフトウェア・インターフェースのために開発されたコンピュータ・マウスおよびその他のポインティング・デバイスに比較して動きが遅く反応が鈍い。
【０００５】
ＲＩＶＳ環境内のカーソル制御を改善する努力の１つとして、マウスおよびトラックボールという先進的コンピュータ・ポインティング・デバイスが応用された。１つの応用例では、ミニチュア・トラックボールがコントローラの上部に装備され、トラックボールは人の親指で操作される。トラックボール・コントローラは、カーソル・キーを使用した場合より速く、斜めの移動を実現する。あいにく、トラックボールは、カーソルの大幅な移動を行う場合、ストロークを繰り返す必要があり、一般的には親指制御はユーザの機敏な親指の動作を必要とする。例えば、表示画面上の円の中のカーソルを追跡することは難しい。ＩＴＶカーソル制御のためマウスを使用することは既に実施されている。マウスの利点は、それが、反応の速いすぐれたカーソル制御を提供する点である。問題は、オペレータにとって都合のよい、平らな操作面がない可能性があることである。
【０００６】
ＲＩＶＳポインティング技術における一層の改良は、コントローラを用いて単に身振りをすることによってカーソルの制御を可能にするデバイスの使用である。これらのデバイスは、コントローラの姿勢、すなわち、縦揺れ(pitch)、偏揺れ(yaw)、およびおそらく横揺れ(roll)を測定する。このようなアプローチの第１のカテゴリは、光ビームを使用して姿勢を測定するものである。PCT International Publication Number WO 95/19031には、固定された基本ユニットに相対する遠隔ユニットのポインティング方向を決定するシステムが記載されている。この固定された基本ユニットには、光ビームを発するための１つまたは複数の光源が含まれる。発射された光は、少なくとも１つのあらかじめ決められた方向に収束される。可動遠隔ユニットには収束された光を検出する光検出器が備えられる。可動遠隔ユニットの姿勢は、種々の方向から受け取られる光の強度を測定することによって決定される。
【０００７】
姿勢を測定するため発射された光を使用するカテゴリーの別の実施例は、赤外線信号がビデオ・ディスプレイの領域から放射される形態である。この場合、赤外線信号は散乱され、コントローラの４式フォトダイオード・アレイ上に照射される。４個のフォトダイオードの相対的信号振幅を使用して、ディスプレイから引かれる線に対するコントローラの相対的方向が決定される。このシステムに関する問題の１つは、システムが望ましくない強さの赤外線の洪水を部屋にまき散らし、近くにある(ＶＣＲコントローラのような)他の赤外線応用装置を誤動作させるかもしれない点である。第２の問題は、コントローラがビデオ・ディスプレイから離れている場合、散乱された赤外線信号の限られた伝逹範囲が、この姿勢測定システムの信頼性を損なわせることがある点である。
【０００８】
コントローラの姿勢を測定するデバイスの第２のカテゴリは、慣性航法原理が使われているものである。ジャイロスコープまたは符号化ジンバル式装置が、姿勢変化測定対象のコントローラに慣性系を確立する。次に、ビデオ・ディスプレイの上部に装着された小型ダイポール・アンテナへの無線周波伝送経路を介して、姿勢情報がビデオ・ディスプレイに伝送される。
【０００９】
第３のカテゴリは、第１のカテゴリに関連する。カーソル制御を提供する手持式物体が、その１つの表面上に装備される多数の光源を持つ。単一の電子カメラが、手持式物体上に装備された光源の像を捕捉するように向けられる。複数光源の像の位置が各カメラ像の形態で検出され、コンピュータを使用して、光を発する手持式物体の姿勢が決定される。そのような装置は、DeMenphon氏に付与の米国特許第5,338,059号に記述されている。
【００１０】
仮想現実(virtual reality)の分野にも、上述の分野に密接に関連した必要性が存在する。ゲーム、シミュレーションおよびその他の映像分野において、ユーザの頭またはその他の身体部分の姿勢を符号化することがしばしば必要とされる。多くのケースにおいて、頭の左右上下の揺れを符号化するシステムがＲＩＶＳコントローラに適用され、またその逆の場合もある。１つの既知の仮想現実システムでは、計器を取り付けたコンパスおよび重力計という手段によって揺れが符号化される。
【００１１】
既知のカーソル制御装置および姿勢決定システムがそれらの意図された目的のため適切に作動するとはいえ、それぞれ懸念または問題を持っている。操作が迅速にできなかったりまたは退屈であったり、あるいは特定の操作面を使用する必要がある。赤外線放射を含む装置およびシステムは、他の装置の動作に悪影響を及ぼすかもしれない。重力に基づく姿勢検知装置は、横方向の加速と傾きを識別することが困難で、従って制御を誤る可能性がある。この最後の問題は、ジャイロ安定化によって概念的には解決できるかもしれないが、コストおよび消費電力がこの解決策の魅力を失わせる。光検出を利用する既知のシステムは、ディスプレイ上に第２の仕掛けを追加することを必要とし、このためまた追加コストを必要とする。
【００１２】
【発明が解決しようとする課題】
従って、装置の姿勢を高い信頼度を持って追跡する方法およびシステムが必要とされる。また、そのような方法およびシステムは、画面カーソルを制御するために使用される場合または他の遠隔対話式映像アプリケーションにおいて使用される場合、コスト効率の高いものでなければならない。
【００１３】
【課題を解決するための手段】
光センサの２次元アレイ手段によって取得される連続した画像の相関関係が、該アレイが接続される装置の姿勢を追跡する基礎として使用される。本発明の好ましい実施形態において、上記装置は、ビデオ・セットの表示画面上でカーソルを取り扱うためのコントローラのような手持式部材である。連続する画像に共通の画像の特徴的部分の位置的相違を検出するため複数の画像の相関をとる処理段階に基づいて、本発明のシステムは、画像取得の時間的インターバルにおける傾きの変化を標示する姿勢信号を生成する。すなわち、姿勢信号は、光センサのアレイを備える装置の縦揺れ、偏揺れ、およびオプションとして横揺れによって決定される。取得される画像が制御されているもの（例えば画面カーソル）に関係づけられる必要がないので、本発明の上記装置は、制御プロセスの間、どの方向にも向くことができる。更に、装置の角度変位と制御されているものの動きの間に１対１の対応関係を設ける必要はない。例えばカーソル制御の範囲内でコントローラを任意の方向に向けることができるし、上下左右の揺れ角度とカーソル移動距離の関係はユーザによって調節可能である。
【００１４】
光センサの２次元アレイを使用して装置の姿勢を追跡するため基準フレームが取得される。基準フレームは記憶され、アレイの視界の範囲内で特徴的部分の第２の画像が取得される。第２の画像は標本画像と見なされ、２つの画像の視界は大部分重ね合わされるため、基準フレームと標本フレームは多数の共通の特徴的部分を含む。必須のものではないが、該装置は、公称上無限の焦点を提供する光学部品を含み、それによって、光センサのアレイに対し意図的にボケた画像を送る。画面カーソルを制御する装置の応用において、代表的な画像の特徴的部分には、窓、ランプ、家具および表示画面それ自体が含まれる。本発明のいかなる応用においても、相関の目的で固定された光の連続的画像を使用するため、１つまたは複数の静止光源を、画像が作成される環境の範囲内に特に追加することができる。そのような実施形態の１つにおいて、光源は赤外線エミッタであり、装置の姿勢を追跡するため、赤外線フィルタを用いた画像作成アレイ（光センサ・アレイまたはセンサ・アレイとも呼称する）が装置に備えられる。
【００１５】
基準フレームと標本フレームとの相関をとるステップは、概念的に、次の通りである。すなわち、フレームの１つが位置的に固定され、別のフレームが反復的にシフトされ、どのシフトされた位置が２つのフレームに共通の画像の特徴的部分の位置を合わせた状態に最も近いかを判定し、それによって、２つの画像を取得する特定の時間の間の時間的インターバルの間の縦揺れおよび偏揺れを判断することが可能となる。実際問題として、シフトはコンピュータの計算によって実行される。シフトはピクセル値のシフトであって、この場合ピクセル値の各々は特定の時間に特定の光センサで受け取られる光エネルギーを示す。相関は、最隣接ピクセル相関の場合のようにただ１つのピクセルの計算シフトに限定することも、あるいは、多数ピクセル計算シフトであることもできる。計算上さほど複雑でなく、オリジナルの位置および８つの計算シフトだけが必要であるにすぎないので、最隣接ピクセル相関プロセスが望ましい場合が多い。移動が１ピクセル長より小さい場合、補間が実行され、１ピクセル長より少ない角度変位が判別される。水平軸に対する装置の角度変位（すなわち縦揺れ）によって、上方または下方へ動かされている基準フレームのピクセル値が構成される。垂直軸に対する装置の角度変位（すなわち偏揺れ）によって、左方向または下方向へ動かされている基準フレームのピクセル値が構成される。システムは、縦揺れ、偏揺れおよびその組み合わせを検出する。本発明のシステムによって生成される姿勢信号は、そのような角度変位の検出に対応するものである。オプションとして横揺れもまた考慮に入れることができる。
【００１６】
姿勢信号が画面カーソルを制御するために生成されるアプリケーションにおいては、本装置は、好ましくは、カーソル制御信号の無線送信を行うための送信機を含む。例えば、信号は赤外線ビームの形で送信される。手持ち装置の縦揺れの変化が、画面カーソルの垂直方向の動きに変換され、一方装置の偏揺れ変化が画面カーソルを横方向に移動させる。この実施形態において、装置の垂直または水平の動きを画面カーソルの対応する垂直または水平の動きに変換するように、装置の動きを検出し利用することができる。
【００１７】
上記方法およびシステムの実施上の懸念の１つは、レンズ設計において曲線のひずみ（曲線型歪曲）として知られている現象の影響である。曲線のひずみは、また、糸巻き型(pin-cushion)、樽型(barrel)および遠近(perspective)ひずみとも呼ばれる。視界の外周部において、直線細部がそのようなひずみによって圧縮される。曲線のひずみは、（本発明での使用を考慮しているレンズのような）広い視界を持つ単体レンズにおいて特に顕著である。本発明において、視界は好ましくは約６４°であるので、曲線のひずみの発生は避けがたい。
【００１８】
好ましい実施形態において、アレイの光センサの寸法仕様は、曲線すなわち弓形の外周を持つアレイを定義するため可変的である。曲線のアレイの寸法は、レンズ・システムが誘引する曲線のひずみを補正するために必要な仕様にされる。光によって作成される像が曲線のひずみを特性化するように評価され、次に当該アレイがひずみを相殺するようにその形態を定められる。このようにして、光センサ・アレイ（以下、センサ・アレイとも呼称する）および光学部品の配置は、曲線のひずみの悪影響を減少させる。
【００１９】
本発明の利点は、信頼性が高くコスト効率のよい形態で装置姿勢を追跡することができる点にある。アレイを内包する装置が手持ち式装置であるアプリケーションについては、画面カーソルまたは同等機構の制御は、器用な手さばきを必要とすることなく経済的に達成される。更に、本装置は、その面を適切な方向に向けるような操作を必ずしも必要としない。
【００２０】
発明の課題を解決するための手段として、本発明は、装置に光センサの２次元アレイを配置するステップ、周囲環境の特徴的部分の画像を上記光センサ上に投射する光学的手段を上記装置に取り付けるステップ、上記２次元アレイを活用して上記アレイの視界の範囲内で上記特徴的部分の第１の画像を取得するステップ、上記第１の画像を記憶するステップ、上記２次元アレイを活用して、上記第１の画像を取得するステップに続く一定時間後に、上記アレイの視界の範囲内で、第２の画像が上記第１の画像と共通な特徴的部分を持つような形態で第２の画像の領域の大部分が第１の画像に重ね合うように上記特徴的部分の第２の画像を取得するステップ、上記第１の画像と第２の像の相関関係を調べて、上記第１の画像と第２の画像の範囲内の上記共通の特徴的部分の位置的相違を検出するステップ、および上記位置的相違を検出するステップに基づいて、上記第１の画像の取得と上記第２の画像の取得の間のインターバルにおける上記装置の傾きの変化を示す姿勢信号を形成するステップからなる装置の姿勢を追跡する方法を含む。
【００２１】
【発明の実施の形態】
図１に示されるように、手持ち式コントローラ装置１０は、画像データを取得し処理するためのＩＣパッケージ１２を含む。該パッケージの表面上に、光センサの２次元アレイ１６および処理回路１８を備えた光電子集積回路チップ１４が装着される。上記アレイおよび処理回路は、画像データの連続したフレームを取得することによって装置の姿勢を追跡することを可能にするために使用される。このようにして、水平軸２０に対する角度変位（すなわち縦揺れ）および垂直軸２２に対する角度変位（すなわち偏揺れ）が決定される。オプションとして、装置１０の縦方向軸２４に対する横揺れを監視することもできる本発明は、主として、例えばビデオ・ディスプレイの画面カーソルのような遠隔エレメントの制御を行うことに関連して記述される。しかしながら、装置に装備された光センサ・アレイによって形成される画像の相関をとる手段によって姿勢を追跡するアプローチは、画面カーソルまたは同等の機能を制御する以外の分野にも応用されることができる点は理解されるべきであろう。
【００２２】
センサ・アレイ１６および処理回路１８は、アレイの面が外側に向けられる形態で、コントローラ装置１０の前面に取り付けられる。レンズ２６は、図１に示されるように、アレイおよび回路を露出させるように部分的に切り出された形をしている。レンズは、ＩＣパッケージ１２に取り付けられる低コストのプラスチック・レンズでよい。レンズの焦点は名目上無限に設定される。レンズは周囲の環境領域にある画像をセンサ・アレイ１６に送る。姿勢を追跡するため環境内の多数の画像の特徴的部分を捕捉し姿勢追跡のためにそれらを使用することができるので、短焦点距離レンズが望ましい。画像品質要求はさほど厳しくなく、従って光学的構成に対する要求は緊要でない。実際には、画像は若干のボケが望ましいので、画像の空間周波数がアレイ・エレメントのサイズより粗くなるようにする。
【００２３】
環境の画像を作成するための視界の幅は、可能な限り視認可能な詳細を捕捉する要求と過度のひずみを回避する要求をバランスさせる問題である。６４°の視界は上記２つの要求の合理的な妥協を図るものである。図１の点線２８はセンサ・アレイ１６に関する視界を表す。本発明の姿勢追跡アプローチに対する曲線ひずみの悪影響を減少させるように、光学部品およびセンサ・アレイの配置を選択することが可能である。光学部品およびセンサ・アレイの配置の詳細は後述される。
【００２４】
コントローラ装置１０の上面に、カーソル制御キー３０およびリターン・キー３２が備えられる。操作の際、ビデオ・ディスプレイの画面カーソルは、制御キー３０を押すことによって捕捉できる。制御キーが押された場合、装置１０の角度変位がディスプレイ画面上のカーソルの動きに変換される。例えば、対話型テレビ・システムによって提示された映画のメニューから特定の映画を選択する際、キー３０を押し、本装置を左右上下に揺らすことによって、画面のカーソルが所望の映画にドラッグされる。次に、画面カーソルの制御をやめるため制御キー３０が解かれる。カーソルが所望のメニュー選択を示している場合、リターン・キー３２を押すことによって選択が起動される。代替形態として、コンピュータ・マウスの操作に類似した単一の選択キーを使用して、連続的カーソル制御を可能にすることもできる。
【００２５】
遠隔通信は、エミッタ３４を介して赤外線を用いた伝送によって提供される。赤外線の放射は当業界において周知のものである。カーソル制御のため、信号ベクトルが生成され送信される。データ・バイトをより短くすることによって赤外線通信チャネルの負荷を減らすため、信号ベクトルは増分値として送られる。信号ベクトルの伝送速度は、必要なカーソル応答を達成するために十分な速さでなければならないが、赤外線接続経路の限定的帯域幅の負担を制御されるセットに負わせる程速くなくてもよい。詳細は後述するが、本発明の１つの実施形態において、必要に応じて、４０ｍｓ(ミリ秒)毎に発信される１０ビット・ワードが伝送される。キー３０および３２のいずれも押されない場合伝送は発生しない。これは、カーソルに関連しない事象の間赤外線エミッタを他の機能のため使用することを可能にする。このように、コントローラ装置１０は、テレビ・チャンネルの変更のような他の事象を制御するキーを含むこともできる。
【００２６】
次に図１および図２を用いて説明すれば、制御クロック３６は、コントローラ装置１０に関する動作のタイミングを決定する。画像捕捉速度は、作像されるべき特徴的部分によって、少なくとも部分的に決定される。視界２８がＩＴＶシステムの操作にたずさわる人のリビング・ルームである場合、画像捕捉速度は、画像データが連続した画像の間の相関を可能にする程十分明瞭であることを保証できる十分な速さでなければならない。図２の回路は、５μｓの最小露出および５ｍｓの最大露出を示す露出制御３８を含む。電子的には、「露出時間」は、個々の光センサによって生成される電荷を、連続的に画像を捕捉する間の５ｍｓ間に積分することができるインターバルである。露出制御は手動で調節できるが、自動利得制御を確立するため画像相関器回路４２からのフィードバック・ライン４０を設けることが望ましい。従って、画像データが相関処理を実行するため整合性を保ちながら大きくなりすぎた場合でも、露出制御３８が光センサによる電荷を積分するためインターバルを増加させる。
【００２７】
上述のように、視界２８は約６４°であるように考慮される。３２×３２光センサからなるセンサ・アレイにおいて、１つのピクセルは、約２°の視界(６４°／３２ピクセル）を持つ。以下に記述の好ましい実施形態において、相関は最隣接ピクセル相関プロセスに限定される。これによって、コントローラ装置１０の動きに関する最大速度が規定される。好ましい実施形態において、最大速度は、連続して画像を捕捉する間に１ピクセル長を越えてはならない。画像データの１フレームが、相関器４２において５ｍｓ毎に取得されるべきであれば、最大速度は、秒当たり２００ピクセルである。各ピクセルの視界は２°であるので、最大速度は毎秒４００°である。
【００２８】
相関器４２の動作の詳細は後述される。相関器の基本機能は、画像データの最初のフレームにおけるピクセル値の配置を後続のフレームの同様の配置の位置と比較することである。センサ・アレイ１６は、３２×３２ピクセル値のフレームを取得するために使用される。最初に取得されるフレームは基準フレームと呼ばれる。最初の基準フレームは、図１におけるカーソル制御キー３０の押し下げとともに取得される。引き続き取得される、ピクセル値からなるフレームは、標本フレームと呼ばれ、基準フレームと比較してコントローラ装置１０の姿勢の変化を検出する。次に、新しい基準フレームが取得される。それぞれの相関計算の後、標本フレームを基準フレームとすることも可能である。代替的形態として、しきい値に達する毎に標本フレームを基準フレームとしてもよい。この場合、しきい値は、しきい時間でも、装置の動きに基づくしきい値でもよい。
【００２９】
相関の詳細は後述されるが、概念的には、相関プロセスは、位置的に基準フレームを固定して、標本フレームを基準フレームの上で透過的に種々の位置でシフトさせて２つのフレームの共通の特徴的部分の位置合せを検出するステップと見なされる。上記の相関プロセスは、図５に示される通りであり、図６に示されるピクセル・セルのようなセル・アレイによってその計算が実行される。
【００３０】
相関処理は、コントローラ装置１０の傾きのいかなる変化をも示す姿勢信号を生成する。図２に示されるように、相関器４２は、Ｘ軸に沿った変化が＋０.７５ピクセルで一方Ｙ軸に沿った変化が−０.３１ピクセルである信号を生成する。図１において、Ｘ軸に沿った正の運動は、視界２８が矢印４４の方向に動かされるような装置１０の角度変位の結果として示され、一方、Ｘ軸に沿った負の運動は、視界２８の変位成分が矢印４６によって示される方向にある場合のものである。Ｙ軸に関しては、姿勢信号の正の値が視界を矢印４８によって示される方向に回転させる装置１０の取り扱いを示し、一方、ΔＹの負の値が矢印５０によって示される方向への変位を示す。
【００３１】
相関器４２の動作に関する好ましいアプローチは、コントローラ装置１０の姿勢変化を追跡するため最隣接ピクセルのシフトを実行するものである。このアプローチは図４、図５および図６参照して詳述されるが、姿勢追跡は、代替的に、１ピクセルを越えるシフトを必要とする相関を使用して実施することも可能である。いずれのアプローチでも、端数のピクセル値を識別するため補間計算を実行することができる。画像相関における端数のピクセル値を識別するための補間計算は当業者には理解されるものであろう。
【００３２】
相関器４２からの出力は、カーソル制御の感度を増加させる乗算器５２で受け取られる。図２の実施形態において、乗算器は相関器からのΔＸおよびΔＹ値を２倍にする。次に、信号はアキュムレータ５４へ導かれる。「８による除算」回路５６がアキュムレータ５４の動作を指示する。アキュムレータ５４がモジュロ関数回路５８へ標本を出力する前に、８個の標本が乗算器５２から受け取られる。モジュロ関数回路の出力は、乗算器５２からの８個の標本の累積の整数部分である。上述のように、コントローラ装置１０は、赤外線エミッタ３４という手段によってカーソル制御信号を伝送する。赤外線伝送経路は、制限されたバンド幅を持つ。アキュムレータ５４の使用は、通信経路に関する要求を減少させる。
【００３３】
図２のアキュムレータ５４から出力される標本の例は、ΔＸ＝＋１５.２ピクセルおよびΔＹ＝−３.３ピクセルである。モジュロ関数回路５８は、パルス符号変調装置６０に整数のみを渡す。ΔＸ値およびΔＹ値の各々は５ビットに収納され、その４ビットは数値に関連し、残りはその数値の正負符号を表す。
【００３４】
モジュロ関数回路５８からパルス符号変調装置６０へ出力される値は整数値であるが、アキュムレータ５４からの標本の残余は残余回路６２へ導かれる。残余値は残余回路に保存され、アキュムレータ５４からの後続の値に加算される。
【００３５】
コンポーネントの残りの構成は、当業者に周知のものである。１０ビット・ワードがパルス符号変調装置６０から増幅器６４へ４０ｍｓ毎に出力される。このように、エミッタ３４からの赤外線伝送は毎秒２５ワードにすぎない。赤外線伝送は、ＲＩＶＳのようなディスプレイ・システムのセンサ６６によって受け取られる。赤外線センサ６６からの信号は、復調器６８によって復号され、ビデオ画面７２のカーソルを取り扱うためカーソル制御回路７０に送られる。単に例示の目的のためであるが、画面は６４×６４カーソル・アドレスを持ち、画面カーソルは、毎秒１５×２５＝３７５のアドレス状態を動くことができる。図１の視界２８が６４°である上述の例において、画面は０.１７秒（６４／３７５）で横切られる。
【００３６】
図２のコンポーネントの配置および相互作用によって、図１のコントローラ装置１０の姿勢の追跡に基づくカーソル制御が可能となる。コントローラ装置１０は、装置が存在する環境の画像の、明らかな動きを追跡することによって、装置の揺れを符号化する。エミッタ３４とセンサ６６の間の赤外線伝送経路を確立するため以外には、コントローラ装置１０が１つの方向を指し示すようにさせる必要はない。相関器４２については例外であるかもしれないが、図２の個々のコンポーネントは、当業者に容易に理解されるものであるから、詳細の説明は必要とされない。相関器４２の好ましい実施形態は以下に記述される。２次元センサ・アレイ１６および光学機構２６の好ましい構成もまた以下に記述される。
【００３７】
光センサ信号の列伝送
上述のように、図１および図２の実施形態は、３２列および３２行のセンサ・アレイ１６を含む。図３には、３２列の光センサの中の５列７４、７５、７６、７７およびと７８が示されている。また、３２行のうちの６行７９、８０、８１、８２、８３および８４も示されている(各光センサは図３においてＰ.Ｅ.と表示されている)。各列は別々の伝送増幅器８５に接続している。ある列の光センサは、読み取りスイッチ８６を閉じるため対応する伝送増幅器に接続される。図３の回路の動作において、２つの光センサが同時に同一伝送増幅器に接続されることはない。各伝送増幅器８５は、固定電圧源に接続される入力８７を含む。第２の入力８８は、伝送コンデンサ８９によって伝送増幅器の出力９０に接続される。
【００３８】
図３の回路の動作において、各伝送コンデンサ８９が第１行において光センサにおける光エネルギーに対応する電荷を受け取るように、光センサの第１行７９の読み取りスイッチ８６が閉じられる。このように、伝送増幅器８５および伝送コンデンサ８９は積分器としての役目を果たす。受け取られた電荷は、出力ライン９０を通して次の処理回路へ伝送される。第１行の読出しに続いて、第１行の読み取りスイッチが開かれ、伝送増幅器がリセットされる。次に、第２行８０の読み取りスイッチが、第２行の光センサから信号を伝送するため、閉じられる。光センサの各行が読み取られるまでプロセスは繰り返される。伝送増幅器８５の動作によって、光センサ信号は、行から行へという形態で後続の回路へ伝送される。
【００３９】
相関プロセス
図４は、装置の姿勢追跡のために相関処理を実行する手順を示している。要約すれば、相関は、連続フレームにおける作像された特徴的部分の位置を比較して、時間間隔の間におけるフレーム間の傾きの変化に関連した情報を作成する。最初のステップ２００で、基準フレームが取得される。上述のように、基準フレームの取得は、図１の装置１０の上面のカーソル制御キー３０の押し下げによって始動される。光センサからの信号の行毎の伝送は、アレイ１６における光センサの各々が読み取られるまで続く。基準フレームは、１,０２４個の（すなわち３２×３２＝１,０２４の）ピクセル値からなるフレームである。
【００４０】
コントローラ装置１０の姿勢追跡はコンピュータによる計算によって実行されるが、相関処理の概念は図４および図５を参照して説明することができる。基準フレーム２０２は、図示されているように例えばＴ形の画像化された特徴的部分２０４を持つ。画像の特徴的部分は、ＩＴＶシステムを操作している人の部屋の窓であることもある。一定時間(ｄｔ)経過後、図１ないし図３のセンサ・アレイを使用して、図５に示されるように、標本フレーム２０６が取得される。標本フレームの取得の際のコントローラ装置１０の視界２８の大部分は、基準フレーム２０２取得時点の視界と重ね合う。この結果、（例えば窓のような）画像化された特徴的部分２０４は、両方のフレームの範囲内に含まれる。装置の動きの持続時間ｄｔと速度は、共通の特徴的部分２０４が基準フレームから標本フレームへピクセル１個未満移動する程度であることが望ましい。図５において、特徴的部分は上方および右方へ１ピクセル分シフトしたように示されている。１ピクセル分のシフトは表示を単純化するためにのみ仮定されている。
【００４１】
図４において、基準フレーム取得ステップ２００の後、ステップ２０８で標本フレームが取得される。次に、計算ステップ２１０が実行される。相関ステップは、標本フレーム２０４および２つの最隣接ピクセル・セルのピクセル値の配置をシフトさせる動作である。シフト動作は、図５の２１２にその構成ピクセルが示されている８個の最隣接ピクセル・セルの各々について実行される。
【００４２】
図５の２１２を参照して説明すれば、シフト「０」は、標本フレーム２０６におけるピクセル値のシフトを含まず、シフト「１」は、上方および左方への斜めのシフトであり、シフト「２」は、標本フレームの上方へのシフトであり、その他も同様である。２１２の構成ピクセルで表現される基準フレームの８個のシフトは１度に発生するが、すべてのピクセル値のシフトは統一した様態をしている。このように、８個の、ピクセルがシフトした標本フレームが基準フレームと組み合わされ、複数位置フレームからなるフレーム・アレイ２１４が作成される。「位置０」と名付けられた位置フレームはシフトを含まず、従って、フレーム２０２および２０６の単なる組合せの結果である。
【００４３】
フレーム・アレイ２１４の中では、「位置７」が最も高い相関関係を持つ。相関の結果に基づいて、標本フレーム２０６のＴ形の特徴的部分２０４の位置は、以前に取得された基準フレーム２０２における同じ特徴的部分の位置に対して上方向および右方向へシフトしていると判断される。特徴的部分の動きは、図１において示されるように、左方向への矢印４４および下方向への矢印５０の動きによって示されるコントローラ装置１０の揺れの組合せの結果である。
【００４４】
他の相関手法も使用することができるが、「差の自乗和」相関は、許容できる手法である。図４および図５の実施形態に関して、それぞれ２１２からのオフセット値で形成される９つの相関係数(Ｃk ＝ Ｃ0, Ｃ1 ...Ｃ8)がある。
【００４５】
相関は、コントローラ装置１０の傾きを追跡するため連続して補足されるフレーム２０２および２０６の共通の特徴的部分２０４の位置を定めるために使用される。フレーム毎の角度変位を総和または積分することによって、画面カーソルを制御するための姿勢信号を生成することが可能となる。
【００４６】
ステップ２０８で取得された標本フレームに対して相関ステップ２１０が実行された後、基準フレームを維持すべきか、置き換えるべきかの判断がステップ２１６で行われる。実施形態によっては、基準フレームは置き換えられない。同一の基準フレームが後続の相関計算のために使用されるべき場合は、プロセスはステップ２０８へ戻り、新しい標本フレームが取得される。一方、基準フレームの置き換えが行われるアプリケーションに関しては、新しい標本フレームを取得するステップ２０８へ戻る前に、ステップ２１８で、以前に取得された標本フレームを新しい基準フレームとして使用する。
【００４７】
画面上のカーソルを移動させるプロセスを通して同一の基準フレームが使用されるべき場合、基準フレームの取得後共通の特徴的部分が１ピクセル長を越えて移動したことを検知したならば基準フレームをシフトさせることもできる。このように、基準フレームを装置の揺れに伴って動かすこともある。基準フレームを動かすプロセスは、高い相関的一致を実現するが、基準フレームが定期的に置き換えられないならば、発生する誤差が累積する。従って、好ましい実施形態では、このような「ランダム移動」誤差の増加に対し制約を設けるため、ステップ２１８が含まれる。
【００４８】
計算型セル
図６は、図５の２１２の最隣接ピクセルのシフトを実行し、図４の種々のステップを実行するために使用される個々のピクセル・セルすなわち計算型セル９４を示すブロック図である。しかし、当業者によって理解されるように、図４および図５に示される処理を実行するため他の回路を使用することは可能である。
【００４９】
図６中の計算型セル９４は、計算型セル・アレイの中の１つである。計算型セルと光センサの１対１の対応関係がある場合、図１ないし図３の実施形態は、１,０２４の計算型セルを持つ。基準フレームに関して、特定のセル９４に対応する光センサからのピクセル値がＲＥＦＤＡＴＡノード１４８に記憶され、一方、標本フレームのピクセル値はＮＮ(０)ノード１０８に記憶される。自乗差回路１４６のＮＮＩＮＰＵＴ入力１５０への信号接続を変更することによって、図５のフレーム・アレイ２１４を形成するためにシフトされた標本フレームが作成される。回路１４６の出力１５２は、コントローラ装置１０の姿勢を追跡するために他の１,０２３の計算型セルの出力と組み合わせられる。
【００５０】
ＷＲ(ｊ)信号の制御の下で電荷補充トランジスタ・スイッチ９８の手段によって、ライン９６において計算型セル９４に対応する光センサからイメージ・データＷＤＡＴＡ(ｉ)が受け取られる。ＷＲ(ｊ)信号がオフにされた後、新しいデータがコンデンサ１００に保持され、増幅器１０２によってバッファリングされる。１,０２４の計算型セルのアレイ全体において、ＣＤＡＴＡノード１０４のアレイは、プロセスのタイミングに従って、集合的に「基準フレーム」または「標本フレーム」と見なされる。制御入力ＣＤＯＵＴ１０６は、ＣＤＡＴＡ信号、比較データを選択するか、または、最隣接出力ノードＮＮ(０)１０８のためにＲＥＦＯＵＴを選択する。
【００５１】
最隣接入力ＮＮ(０)ないしＮＮ(８) １１０、１１２、１１４、１１６、１１８、１２０、１２２、１２４および１２６は、ライン１２８上のスイッチ制御信号Ｓ(０)ないしＳ(８)によって、別々に選択される。ＮＮ(０)ないしＮＮ(８)入力１１０−１２６は、図５のデータ・セル・マップ２１２に従う最隣接セルの出力である。スイッチ制御信号は、図示されていないが、計算型セル・アレイの外部にある４−９符号化器によって生成される。符号化器への４ビット入力が最隣接アドレスとして解釈され、００００(０)から１０００(８)までのバイナリ値を形成する。
【００５２】
最隣接入力ノード１３０は、ＲＥＦＬＤ１３２をパルス化することによってサンプルが採取され、それによって、ノードＲＥＦＨ１３４上にＮＮＩＮＰＵＴが記憶される。同様に、ＲＥＦＳＥＴ１４０をパルス化することによって、ＲＥＦＤＡＴＡ１３６のサンプルがとられＲＥＦＳＨ１３８上に記憶される。
【００５３】
テストのため、ＲＯＷＴＳＴＢ１４２がオンにされ、ＮＮ(０)信号がＴＥＳＴ出力１４４へ送られる。計算型セル・アレイにおいて、セルの行の各セルからのＴＥＳＴ信号が、各列の共通垂直バスへ接続し、計算型セル・アレイの底部においてマルチプレックスされ、チップから送り出される。計算型セル・アレイの左辺に沿った標準的復号器が、テストのための特定行の選択を可能にする。しかし、テスト機構は本発明にとって不可欠なものではない。
【００５４】
各計算型セル９４は、相関値を決定する回路１４６を持つ。第１の入力１４８は基準データをＲＥＦＤＡＴＡノード１３６から受け取る。第２の入力１５０は、ライン１２８においてスイッチ制御信号によって選択される適切な最隣接入力ＮＮＩＮＰＵＴを提供する。相関セルの出力１５２は電流である。計算型セル・アレイ中の相関出力のすべては、追跡回路１５４の単一の総和レジスタに合計される。総和レジスタに対して生成される電圧は図４の相関値として参照される。
【００５５】
図６の実施形態において、回路１４６は、自乗差計算に基づくものである。計算型セル９４は、計算型セル・アレイの基本設計を修正することなく、製品に対応した相関を提供するように修正することは可能である。制御入力Ｓ(０)−Ｓ(８)、ＲＥＦＬＤ、ＲＥＦＳＦＴおよびＣＤＯＵＴは、標本フレームが計算型セル・アレイの範囲内ですべて同様に取り扱われ、シフトされるように、計算型セル・アレイ全体にわたる共通値である。
【００５６】
図５の２１４によって表された関係は単一計算型セルおよび計算型セル・アレイ全体に関するものであることを理解することは重要である。画像の位置０は画像の現在位置を指す。画像が位置０から位置１へ移動するということは、計算型セル・アレイの計算型セルのすべての画像データが、左および上にある隣接セへ移動されることを表す。すなわち、動きは計算型セル・アレイの中の１つの計算型セルに関するものであるとともに、計算型セル・アレイの中のあらゆる計算型セルに関するものである。
【００５７】
計算型セル・アレイの機能は、画像取得、基準画像ロード、相関計算および基準画像移動という４つの基本的動作の観点から説明できる。画像取得は、各計算型セル９４のＷＤＡＴＡライン９６を経由して新しい画像データをロードすることを意味する。本発明の実施形態においては、５０ｍｓ毎にピクセル値の新しいフレームが、センサ・アレイから列伝送増幅器を経由して取得される。新しい基準画像をロードするプロセスは、「フレーム転送」と呼ばれる。後述される計算型セル・アレイの動作は、フレーム転送信号(ＦＴＢ)を観察しそれと同期化することによってフレーム転送プロセスと調整される。新しい標本画像の妥当性は、ＦＴＢ信号の下降エッジによって示される。５８乃至６３段落に記述の動作はＦＴＢがオンとなっていない時にのみ適正である。
【００５８】
画像相関を計算することができるようになる前に、ピクセル値の基準フレームをロードすることが必要である。基準フレームをロードするためには、計算型セル・アレイのＣＤＡＴＡノード１０４における電圧のすべてがＲＥＦＨノード１３４へ転送されなければならない。これは、ＣＤＯＵＴ１０６およびＳ(０)を高レベルに設定して、ライン１３２上でＲＥＦＬＤ信号をパルス化することによって達成される。基準フレームも、また、Ｓ(０)の代わりにＳ(１)−Ｓ(８)入力の中の１つをオンにすることによって別の最隣接位置からロードされる。増幅器１５６は、ＲＥＦＤＡＴＡノード１３６からの信号をＲＥＦＨノード１３４に対してバッファリングする。計算型セル・アレイの範囲内のＲＥＦＤＡＴＡノード１３６の２次元アレイは集合的に基準フレームを意味する。
【００５９】
基準フレームがロードされた後、計算型セル・アレイは相関を計算する準備ができている。ピクセル値の基準フレームおよび後続の標本フレームの間の相関は、最隣接アドレスを所望の値にセットし、姿勢追跡回路１５４の総和レジスタに発生する電圧を記録することによって、計算される。基準フレームが取得された位置から１ピクセル距離センサ・アレイが移動した時、高い相関が最隣接位置の１つに検出される。図５において、そのような相関はフレーム・アレイ２１４の位置７にあるものとして検出される。端数ピクセルの動きは、２次元相関空間において補間を行うことによって決定することができる。
【００６０】
基準フレームと基準フレームの間の相関はＣＤＯＵＴ１０６を低レベルに設定し、ＲＥＦＳＦＴ１４０をパルス化することによって計算されることができる点注意する必要がある。これによって、最隣接入力は標本フレームでなくむしろ基準フレームから行われるようになる。
【００６１】
図４のステップ２１８において基準フレームが置き換えられた。しかし、最隣接セルを越えて参照できることを許容することによって、同一の基準フレームを複数回のピクセルの動きに使用することは可能である。装置の傾きの変化が視界を１ピクセル以上の距離シフトさせたことを検出すると、基準フレームは、計算型セル・アレイの範囲内の新しい位置にシフトされる。新しい位置へのシフトは、装置の傾きの変化によって指示される。新しい位置における基準フレームによって、最隣接相関が、移動された基準フレームと新たに取得された標本フレームの間の相関になる。基準フレームのピクセル値を新しい位置に移動することによって、姿勢追跡の正確度について妥協することなく、計算型セル間の接続が最低限に維持される。
【００６２】
基準フレームの移動は計算型セル・アレイの個々の計算型セルの範囲内で達成される。図６の計算型セル９４を参照して説明すれば、最初のステップは、ＲＥＦＳＦＴ１４０を高レベルでパルス化してＲＥＦＳＨ１３８においてＲＥＦＤＡＴＡ信号１３６を標本採取して保持する。第３のバッファ増幅器１５８がＲＥＦＳＨ信号を用いてＲＥＦＯＵＴ１６０を駆動する。ＣＤＯＵＴ１０６は低レベルに駆動され、そのためＲＥＦＯＵＴ１６０がＮＮ(０)ノード１０８において計算型セル９４の出力となることができる。
【００６３】
次に、最隣接アドレスが、スイッチ制御信号ライン１２８から適切なＳ(０)−Ｓ(８)入力を選択するように設定される。例えば、図５のＴ形の特徴的部分２０４が、基準フレーム２０２が取得された時点から標本フレーム２０６が取得される時間までに右上方へ移動したことが検出されると、基準フレームを構成するピクセル値が、セルごとに、右上方へシフトされなければならない。Ｓ(０)−Ｓ(８)信号がセル入力ＮＮＩＮＰＵＴ１３０のアドレスを切り換えるので、図５の２１２の中の位置０から位置７へピクセル値が移動することが可能となるように、Ｓ(７)は高レベルにされなければならない。このことは計算型セル・アレイの各計算型セルにおいて起こる。ＲＥＦＯＵＴ１６０が該当する隣接セルのＮＮＩＮＰＵＴ１３０上に定まると、ＲＥＦＬＤ１３２が高レベルにされ、移動された基準値がＲＥＦＨ１３４において標本採取され保持される。この動作が計算型セル・アレイの計算型セルの各々において発生した後、計算型セル・アレイは再び相関を計算する準備ができる。
【００６４】
センサ／光学部品配置
本発明のもう一つの側面は、レンズ設計技術において周知の「曲線のひずみ」の悪影響を減少させる機器の配置である。このひずみは、ピンクッション、軸および透視ひずみとも呼ばれる。ひずみは、視界の外周において直線の細部を圧縮する。
【００６５】
曲線のひずみは、視界の広い単体レンズについて顕著である。図１のレンズ２６はそのようなレンズである。ひずみのために、特徴的部分が視界を横切るに際に、特徴的部分の見かけの形状が変化するので、ひずみは問題である。特性の明白な形状の変化は、図４ないし図６を参照して記述した相関をとるプロセスに悪影響を及ぼす。
【００６６】
図７は、ひずみのない光学部品で３２×３２ピクセル・アレイ２２０上へ画像化されたＴ形の特徴的部分を示す。そのような光学部品を使用すれば、特徴的部分の形状は、ピクセル・アレイ全体にわたって変化せず、従って、高品質の相関および揺れの追跡が可能とされる。
【００６７】
一方、図８は、単体レンズを使用してピクセル・アレイ２２２上へ作像された同一の特徴的部分を示す。特徴的部分がレンズの光軸から離れる程ひずみが増加することが観察される。図９は、図５の相関処理を実行するため特徴的部分が計算型セル・アレイによって解読される仕方を示す。図９のアレイ２２４の各ピクセルは、図６で示されたような計算型セル９４の１つを表す。明らかに、計算型セル・アレイの範囲内で位置を変える毎に、特徴的部分の形状が変わる。これは、相関の質および装置姿勢の追跡の正確度を低減させる。同様に、特徴的部分の動きが位置とともに変わり、更に装置姿勢の追跡の正確性を低下させる。例えば、大きく軸をはずれた動きの細部は、同一の動きが軸上で起きた場合より少ない動きとして測定されるであろう。その結果、システムの姿勢追跡の正確性は低下する。悪影響は、多数のピクセルにわたって基準画像を適用しないことによって少なくすることはできるかもしれないが、基準フレームを通常より頻繁に「リセットする」オプションによって、増分誤差の数が増加し、追跡の不正確性が増す。
【００６８】
図１０には、レンズのひずみに合致するように構成された光センサの２次元アレイ２２６が示されている。すなわち、曲線のひずみの誘引に関するレンズ・システムの特徴が判断され、光センサの２次元アレイはひずみを補正するように構成されている。図１０において、３つの異なる位置のＴ形の特徴的部分が曲線アレイに投影されている。特徴的部分の画像はなお歪んでいるが、ひずみによって画像はピクセル内にうまくおさまっていることが認められる。このように、各特徴的部分は、計算型セル・アレイ・レベルで直線をなすように見える。すなわち、図１０で示されるように、隅の画像２２８はセンサ・レベルで歪んでいるが、図１１の計算型セル・アレイにおいて、その隅の画像２３０はひずみのない「Ｔ」として認識される。
【００６９】
以下に光センサ・アレイ要素の曲線様態を確認する方法を記述する。概念的には、その方法は、直線の（曲線ではない）セルの３２×３２アレイを（１平方フィートの大きさに）拡大投射することから始まる。次に、選択したレンズを使用してこの３２×３２アレイの像を作成する。この小さく曲線的像はレンズのひずみを捕捉し、理想的なアレイ形態を求めるための合理的な近似を表す。このプロセスによって、どのような視界を持つレンズを用いても正確に作像を行うことができ、位置航法のような多くの応用分野に適用される。しかし、本発明のポインティング・デバイスの分野では、距離でなく角度を変換することが目的である。狭い視界のレンズの場合、光軸から離れて動くほど、角度は一層圧縮される傾向がある。
【００７０】
球形のセグメントが前述の平らなアレイの代わりに使用されるように設計を変更することによって、この望ましくない角度圧縮は避けられる。球形のセグメントの中心は、ほぼレンズの節点の位置に重ね合わされる。セグメントは、緯度および経度共に２度の間隔で線引きされる。球形セグメント上に形成された各セグメントは、作像され変換されると、アレイ・セルの輪郭であるとみなされる。曲線アレイを生成するこの方法は、実際、コンピュータによる放射線追跡を使用して最もうまく実施される。多数の市販の光学設計プログラムが当業者にとって利用可能でありまたよく知られている。
【００７１】
曲線アレイの利点の１つは、像がセンサ・アレイの軸からどれほど離れているかに関係なく、それが一層正確な自己相関を提供する点である。第２の利点は、距離が正しいもので圧縮されてないため、像がセンサ・アレイ上で投影された位置に関係なく、大幅な動きに対する姿勢追跡が正確である点である。曲線のアレイの利点のそれぞれが正確な追跡に貢献する。相関がより強くしかもノイズが少ないため、各移動区間の終端点を測定する正確性は一層高い。更に、より長い区間において像を追跡することができるので、基準フレームをリセットする頻度が減らされ、累積される再リセット化誤差が少なくなる。最後に、曲線アレイは軸外れの移動を圧縮しないので、距離測定の正確性も増加する。
【００７２】
本発明には、例として次のような実施様態が含まれる。
（１）装置の姿勢を追跡する方法であって、上記装置に光センサの２次元アレイを配置するステップと、周囲環境の特徴的部分の画像を上記光センサ上に投射する光学的手段を上記装置に取り付けるステップと、上記２次元アレイを活用して上記アレイの視界の範囲内で上記特徴的部分の第１の画像を取得するステップと、上記第１の画像を記憶するステップと、上記２次元アレイを活用して、上記第１の画像を取得するステップに続く一定時間後に、上記アレイの視界の範囲内で、第２の画像が上記第１の画像と共通な特徴的部分を持つような形態で第２の画像の領域の大部分が第１の画像に重ね合うように上記特徴的部分の第２の画像を取得するステップと、上記第１の画像と第２の画像の相関関係を調べて、上記第１の画像と第２の画像の範囲内の上記共通の特徴的部分の位置的相違を検出するステップと、上記位置的相違を検出するステップに基づいて、上記第１の画像の取得と上記第２の画像の取得の間のインターバルにおける上記装置の傾きの変化を示す姿勢信号を形成するステップと、を含む装置姿勢追跡方法。
（２）上記姿勢信号に応答して、表示画面上のカーソル位置を制御するステップを更に含む、上記（１）に記載の装置姿勢追跡方法。
（３）上記カーソル位置を制御するステップが、上記装置から遠隔受信機へ無線形態で上記姿勢信号を伝送することを含む、上記（２）に記載の装置姿勢追跡方法。
（４）光センサの２次元アレイを配置する上記ステップが、手持ち式部材に上記アレイを取り付けるステップである、上記（１）に記載の装置姿勢追跡方法。
（５）上記第１の画像を取得するステップが、傾きの上記変化を決定するため一連の標本フレームと比較を行う基準フレームを規定するステップを含む、上記（１）に記載の装置姿勢追跡方法。
（６）上記光センサの焦点が公称上無限である、上記（１）に記載の装置姿勢追跡方法。
（７）上記第１の画像を取得するステップおよび第２の画像を取得するステップが、上記表示画面が存在する環境領域の画像のデータを形成するステップである、上記（３）に記載の装置姿勢追跡方法。
（８）定期的に標本画像を取得し、各標本画像を既に取得した画像に相関させ、上記標本画像の範囲内の共通の特徴的部分の位置的相違を検出するステップを更に含む、上記（７）に記載の装置姿勢追跡方法。
【００７３】
（９）姿勢を追跡するシステムであって、格納装置と、特徴的部分の画像を形成するため上記格納装置に配置された光センサの２次元アレイと、各々が特定の時間に特定の光センサにおいて受け取られる光エネルギーを示す複数ピクセル値からなる基準フレームを記憶するため、上記アレイに接続された記憶手段と、上記アレイおよび上記記憶手段に接続され、上記特定時間の後に上記アレイにおいて受け取られる光エネルギーに応答して、上記基準フレームの上記ピクセル値の配置と少なくとも１つの標本フレームのピクセル値との相関をとる相関手段と、上記相関手段による相関関係の検出に応答して、上記基準フレームの上記ピクセル値に対する上記少なくとも１つの標本フレームのピクセル値の上下左右の揺れすなわち上記格納装置の上下左右の揺れを表す姿勢信号を生成する計算手段と、を備える姿勢追跡システム。
（１０）上記格納装置が手持ち式である、上記（９）に記載の姿勢追跡システム。
（１１）ビデオ・ディスプレイと、上記ビデオ・ディスプレイのカーソルを取り扱うカーソル制御信号を形成するため上記姿勢信号を受け取る復調器手段と、を更に備える上記（１０）に記載の姿勢追跡システム。
（１２）上記カーソル制御信号を上記ビデオ・ディスプレイに無線送信する送信手段を更に備える、上記（１１）に記載の姿勢追跡システム。
（１３）公称無限の焦点距離を持つ光学手段を備え、上記光学手段によって誘引されるひずみを補正するために選択される曲線を持った弓形の辺を上記アレイが持つ、上記（９）に記載の姿勢追跡システム。
【００７４】
（１４）ビデオ・ディスプレイのカーソルの動きを制御する方法であって、光センサの２次元アレイを持つ手持ち式装置を準備するステップと、上記装置が存在する環境領域に対する上記装置の動きを追跡するステップと、を含み、装置の動きを追跡する上記ステップが、大部分が重ね合う上記アレイの視界の複数の画像を定期的に形成するサブステップと、第１の画像を基準画像として記憶するサブステップと、連続した画像の範囲内の上記領域の特徴的部分の位置的変化が計算上認識されるように上記複数の画像の相関をとるサブステップと、上記位置的変化の認識に対応するカーソル制御信号を形成するサブステップと、上記カーソル制御信号を上記ビデオ・ディスプレイに送信するサブステップとを含む、方法。
（１５）相関させる上記サブステップが、上記手持ち式装置の上下左右の揺れを示す姿勢信号を形成することを含む、上記（１４）に記載の方法。
（１６）上記カーソル制御信号を送信するサブステップが、上記信号を無線形式で上記ビデオ・ディスプレイに送信することを含む、上記（１４）に記載の方法。
【００７５】
（１７）センサおよび光学機器の配置機構であって、光センサのアレイと、上記アレイによって像を作成するために必要な焦点を提供するレンズ・システムとを備え、上記レンズ・システムが上記アレイに像の曲線的ひずみを誘引する特徴を持ち、上記アレイが、上記曲線のひずみの補正を行うため、弓形の辺を含む形状を持つ、配置機構。
（１８）上記光センサが、複数の行および複数の列に配置され、上記光センサが上記アレイに関する光軸を規定するように組み合わされ、隣接列が弓形境界によって間隔をあけられ、上記光軸から離れるほど上記弓形境界の曲率半径が増大する、上記（１７）に記載の配置機構。
（１９）隣接行が第２の弓形境界によって間隔をあけられ、上記光軸から離れるほど上記第２の弓形境界の曲率半径が増大する、上記（１８）に記載の配置機構。
【００７６】
【発明の効果】
本発明は、装置の姿勢を高い信頼度を持って追跡するシステムおよび方法を実現し、また、特に画面カーソルを制御するアプリケーションまたはその他の遠隔対話式映像アプリケーションにおいて、コスト効率のすぐれた装置姿勢追跡システムおよび方法を利用できるという効果を奏する。
【図面の簡単な説明】
【図１】本発明に従って装置の姿勢追跡を可能にする手持ち式装置の透視図である。
【図２】本発明に従って画面カーソルを制御するコンポーネントのブロック図である。
【図３】光センサ・アレイおよび図２の相関器の伝送増幅器のブロック図である。
【図４】本発明に従って連続した像を相関させるプロセスの流れ図である。
【図５】図４のプロセスの概念図である。
【図６】図４のプロセスを実行するためのセル・アレイの計算型セルの実施形態を示すブロック図である。
【図７】曲面ひずみを処理する光センサおよび計算型セルのアレイを示す図である。
【図８】曲面ひずみを処理する光センサおよび計算型セルのアレイを示す図である。
【図９】曲面ひずみを処理する光センサおよび計算型セルのアレイを示す図である。
【図１０】曲面ひずみを処理する光センサおよび計算型セルのアレイを示す図である。
【図１１】曲面ひずみを処理する光センサおよび計算型セルのアレイを示す図である。
【符号の説明】
１０    手持ち式コントローラ装置
１２    ＩＣパッケージ１２
１４    光電子集積回路チップ
１６    光センサの２次元アレイ
１８    処理回路
２０    水平軸
２２    垂直軸
２４    縦方向軸
２６    レンズ
２８    視界
３０    カーソル制御キー
３２    リターン・キー
３４    エミッタ
３６    制御クロック
３８    露出制御回路
４２    相関器
５２    乗算器
５４    アキュムレータ
５６    除算器
５８    モジュロ回路
６０    パルス符号変調器
６４    増幅器
６６    赤外線センサ
６８    復調器
７０    カーソル制御回路
７２    表示画面
７４、７５、７６、７７、７８      光センサ列
７９、８０、８１、８２、８３、８４      光センサ行
８５    伝送増幅器
８６    読み取りスイッチ
８７、８８    入力
８９    伝送コンデンサ
９０    出力
９８    電荷補充トランジスタ・スイッチ
１００  コンデンサ
１０２、１５６、１５８  増幅器
１４６  相関値決定回路
１５４  追跡回路
２０２  基準フレーム
２０４  Ｔ型特性
２０６  標本フレーム
２１２  位置０から位置７
２１４  最隣接位置
２２０、２２２、２２４、２２６、２３２    ２次元ピクセル・アレイ
２２８、２３０    隅のＴ型特性
【図１】
0003958390.tif 000002
【図２】
0003958390.tif 000003
【図３】
0003958390.tif 000004
【図４】
0003958390.tif 000005
【図５】
0003958390.tif 000006
【図６】
0003958390.tif 000007
【図７】
0003958390.tif 000008
【図８】
0003958390.tif 000009
【図９】
0003958390.tif 000010
【図１０】
0003958390.tif 000011
【図１１】
0003958390.tif 000012