(57)【要約】【課題】粒子汚染の影響を受けにくい画面ポインタ位置制御装置を提供する。【解決手段】画面ポインタの位置を制御する装置１００、５００は、撮影表面１２４を照射することによって反射画像を生成する少なくとも部分的にコヒーレントな光源１１８を含んでいる。又、この装置は、反射画像に基づいてデジタル画像を生成し、デジタル画像に基づいて移動演算を実行し、移動演算に基づいて、撮影表面と装置との間における相対的な動きを示す移動データを生成するナビゲーションセンサ１０２、５０２を含み、この場合に、この移動演算は、粒子汚染によるデジタル画像に対する作用の影響を受けにくくなっている。【選択図】図１
2005276202.tif 000002
【特許請求の範囲】
【請求項１】
画面ポインタの位置を制御する装置であって、
撮影表面を照射して反射画像を生成する少なくとも部分的にコヒーレントな光源と、
前記反射画像に基づいてデジタル画像を生成し、該デジタル画像に基づいて移動演算を実行し、該移動演算に基づいて、前記撮影表面と前記装置との間における相対的な動きを示す移動データを生成するナビゲーションセンサであって、前記移動演算は、粒子汚染による前記デジタル画像に対する作用の影響を受けにくくなっている、ナビゲーションセンサと、
を備えている装置。
【請求項２】
前記光源がレーザー光源である、請求項１に記載の装置。
【請求項３】
前記デジタル画像が、それぞれ、アクティブピクセルの組とスペアピクセルの組とを含み、前記ナビゲーションセンサが、前記デジタル画像内の不良ピクセルを検出するよう構成されており、前記移動演算が、前記デジタル画像の前記アクティブピクセルの組の相関を有し、前記デジタル画像内の不良ピクセルは、前記相関に含まれていない、請求項１に記載の装置。
【請求項４】
前記ナビゲーションセンサは、不良ピクセルを検出した場合に、スペアピクセルをアクティブピクセルにするよう構成されており、前記ナビゲーションセンサは、ピクセルが不良であることを検出した場合に、該ピクセルを無効にするよう構成されている、請求項３に記載の装置。
【請求項５】
前記ナビゲーションセンサは、前記デジタル画像内の不良ピクセルを検出し、不良ピクセルを含んでいない前記デジタル画像内のピクセルのサブアレイを識別するよう構成されており、前記移動演算は、前記デジタル画像の前記ピクセルのサブアレイの相関を有し、前記デジタル画像内の前記サブアレイ以外のピクセルは、前記相関に含まれていない、請求項１に記載の装置。
【請求項６】
前記移動演算は、前記デジタル画像の組における時間的な差分の相関を有している、請求項１に記載の装置。
【請求項７】
前記デジタル画像の組は、４つの連続したデジタル画像を含み、前記移動演算は、該４つのデジタル画像の中の２つからなる第１の組を減算して第１の差分画像を生成する段階と、前記４つのデジタル画像の中の２つからなる第２の組を減算して第２差分画像を生成する段階と、前記第１の差分画像を前記第２の差分画像と相関させる段階と、を有している、請求項６に記載の装置。
【請求項８】
前記移動演算は、前記デジタル画像の中の第１のもののピクセル値を合計して、第１の複数の合計を生成する段階と、前記デジタル画像の中の第２のもののピクセル値を合計して、第２の複数の合計を生成する段階と、前記第１の複数の合計を前記第２の複数の合計と相関させる段階と、を有している、請求項１に記載の装置。
【請求項９】
前記移動演算は、前記デジタル画像を相関させて、少なくとも１つの相関ピークを生成する段階を有し、前記ナビゲーションセンサは、前記相関によって、不良ピクセルによって引き起こされるゼロ変位に対応する偽の相関ピークが生じているかどうかを判定するよう構成されている、請求項１に記載の装置。
【請求項１０】
光学式ポインティング装置によって移動データを生成する方法であって、
撮影表面を少なくとも部分的にコヒーレントな光源によって照射して、反射画像を生成する段階と、
前記反射画像に基づいてデジタル画像を生成する段階と、
前記デジタル画像に基づいて移動データを生成する段階であって、該移動データは、粒子汚染による画像に対する作用の影響を受けにくい移動計算に基づいて生成される、段階と、
を含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、表示画面上のポインタを制御する装置に関し、更に詳しくは、粒子汚染の影響を受けにくい画面ポインタ位置制御装置に関するものである。
【背景技術】
【０００２】
コンピュータ及びそのディスプレイと共に使用する手で操作するタイプのポインティング装置の使用が、ほとんど普遍的なものになっている。様々なタイプのポインティング装置の一形態が、協力し合っているマウスパッドと共に使用する従来型の（機械式）マウスである。機械式マウスには、通常、マウスの移動に伴ってマウスパッド上で回転する表面がゴムで被覆された鋼製のボールが含まれている。マウスの内部には、このボールの赤道部分と接触し、この回転をマウスの動きの直交成分を表す電気信号に変換するローラ（又は、ホイール）が存在している。そして、これらの電気信号はコンピュータに接続されており、この信号に対してソフトウェアが応答して、マウスの移動に伴ってポインタ（カーソル）の表示位置をΔＸ及びΔＹだけ変更することになる。
【０００３】
従来の機械式マウスなどの機械的なタイプのポインティング装置に加えて、光学式のポインティング装置も既に開発されている。光学式ポインティング装置の一形態によれば、ボールなどの機械的な可動要素を使用するのではなく、指や卓上などの撮影表面（imaging surface）と、光学式ポインティング装置内の画像センサとの間における相対的な移動を光学的に検知し、移動情報に変換する。
【０００４】
光学式ポインティング装置に通常使用されるものなどの電子的な画像センサには、主に、ＣＣＤ（電荷結合素子）とＣＭＯＳ−ＡＰＳ（ＣＭＯＳ−Ａｃｔｉｖｅ  Ｐｉｘｅｌ  Ｓｅｎｓｏｒ（アクティブピクセルセンサ））という２つのタイプが存在する。いずれのタイプのセンサも、通常、パターンに配列された光検出器（例：ピクセル）のアレイを含んでいる。それぞれの個々の光検出器は、その光検出器の領域上に入射する光の強度に比例した大きさを有する信号を出力するべく動作する。そして、次にこれらの出力信号を処理及び操作することにより、複数の個々のピクチャ要素（ピクセル）を含む画像が生成されることになる（この画像内のそれぞれのピクセルは、画像センサ内の光検出器の中の１つと対応している）。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
製造プロセスの進歩にも拘らず、デジタル画像センサには、不純物による汚染などの雑音や製造エラーの結果として、いくつかの不良ピクセルが含まれていることが多い。又、製造プロセスの後や、顧客による使用の際に、不良ピクセルが発生することもある。入射光に対する不良ピクセルの応答は不適切なものであるため、不正確なセンサ値が生成されることになる。不良ピクセルのタイプには、主に、スタックハイ（Stuck High）、スタックロー（Stuck Low）、及び異常感度という３つのものが存在する。スタックハイピクセルは、非常に大きな（又は、フルスケールに近い）出力を具備しており、スタックローピクセルは、非常に小さな（又は、ゼロに近い）出力を具備している。そして、異常感度ピクセルは、同一の光条件に露出した際に、隣接ピクセルとは異なる（特定の量だけ上回る）センサ値を生成する。
【０００６】
光学式ポインティング装置の画像センサに、スタックハイ又はスタックローピクセルなどの不良ピクセルが含まれていると、これらのピクセルからの値が一切変化せず、この結果、ナビゲーション演算がバイアスされて誤差が生じる可能性がある。一方、異常感度ピクセルの場合には、値は変化可能ではあるが、このようなピクセルは、予想通りに動作しないため、この場合にも誤差が生じる可能性がある。このような不良ピクセルは、（１）シリコンの不良、（２）外部汚染（例：アレイに付着した埃や粉塵、繊維、「ばり（flash）」などの粒子）、及び（３）不適切な照射（例：照射スポットが中心からずれたために、アレイの部分が「暗く」なり過ぎる）という原因の中の１つ又は複数のものによって生じる。尚、「ばり」とは、成形品から突出し、製造や顧客による使用の際に成形品から遊離して、アレイの粒子汚染を引き起こす成形コンパウンドのことである。
【０００７】
通常のＬＥＤに基づいた装置などの非コヒーレント照明を使用する光学式ポインティング装置の場合には、埃やその他の粒子汚染は、非合焦状態に留まっているため、性能に対するその影響は無視することができる。しかしながら、これとは対照的に、レーザー光などのコヒーレント照明を使用する光学式ポインティング装置の場合には、照明源や合焦光学素子に付着した埃粒子の影響をより受けやすい。埃の粒子やその他の粒子汚染にコヒーレント光を照射すると、生成画像内に目に見える縞が生じて、性能に悪影響を与えることになる。しかしながら、光学式ポインティング装置において、粒子汚染を完全に除去することは困難である。
【課題を解決するための手段】
【０００８】
本発明の一形態によれば、画面ポインタの位置を制御する装置が提供される。この装置は、撮影表面を照射することによって反射画像を生成する少なくとも部分的にコヒーレントな光源を含んでいる。又、この装置は、反射画像に基づいてデジタル画像を生成し、デジタル画像に基づいて移動演算を実行し、移動演算に基づいて、撮影表面と装置間における相対的な動きを示す移動データを生成するナビゲーションセンサを含み、この場合に、この移動演算は、粒子汚染によるデジタル画像に対する作用の影響を受けにくくなっている。
【発明を実施するための最良の形態】
【０００９】
好適な実施例に関する以下の詳細な説明においては、添付の図面を参照しており、これらの図面は、本明細書の一部を構成すると共に、一例として、本発明を実施可能な特定の実施例を示している。本発明の範囲を逸脱することなく、その他の実施例を利用することも可能であり、構造的及び論理的な変更を加えることも可能であることを理解されたい。従って、以下の詳細な説明は、制限を意図するものではなく、本発明の範囲は、添付の請求項に定義されているとおりである。
【００１０】
「背景技術」の節において前述したように、粒子汚染は、コヒーレント照明を使用する光学式ポインティング装置の性能に悪影響を与える。そして、これらの光学式ポインティング装置において、粒子汚染を完全に除去することは困難である。従って、本発明の一形態によれば、存在する埃やその他の粒子汚染に対処するための補償メカニズムが提供される。一実施例においては、この補償は、画像を取得した後にナビゲーションプロセッサによって実行される画像のデジタル処理に含まれている。本発明の一形態においては、ナビゲーションプロセッサによって実行されるこのデジタル処理又は演算は、取得したデジタル画像に対する粒子汚染による作用の影響を受けにくくなっている（即ち、これに対する大きな耐性を具備している）。本発明の一実施例に従って実行されるこの埃に対する耐性を有するデジタル処理の重要な一側面は、埃又はその他の粒子汚染が、一旦撮影表面に付着してコヒーレント照射された場合に、取得画像内において固定パターンを形成する点にある。従って、本発明の一形態によれば、光学式ポインティング装置によって取得されたデジタル画像内の固定パターンを除去又は抑圧する方法が提供される。
【００１１】
（Ｉ．光学式ポインティング装置）
図１は、本発明の一実施例による光学式ポインティング装置１００の主要構成要素を示すブロック図である。光学式ポインティング装置１００は、光学ナビゲーションセンサ集積回路（ＩＣ）１０２、光源１１８、及びレンズ１２０を含んでいる。光学ナビゲーションセンサ１０２は、デジタル入出力回路１０６、ナビゲーションプロセッサ１０８、アナログ／デジタル変換器（ＡＤＣ）１１２、光検出器アレイ（フォトアレイ）１１４、及び光源ドライバ回路１１６を含んでいる。一実施例においては、光学式ポインティング装置１００は、デスクトップパーソナルコンピュータ、ワークステーション、携帯型コンピュータ、又はその他の装置用の光学式マウスである。別の実施例においては、光学式ポインティング装置１００は、光学指紋検知ポインティング装置、又はその他のポインティング装置として構成されている。
【００１２】
動作の際には、一実施例によれば、光源１１８が、机の上やその他の好適な撮影表面であるナビゲーション表面１２４上に光１２２を放射することにより、反射画像を生成する。一実施例においては、光源１１８は、コヒーレントな光源、又は少なくとも部分的にコヒーレントな光源である。一実施例においては、光源１１８は、レーザーである。本発明の一形態においては、光源１１８は、垂直共振器面発光レーザー（ＶＣＳＥＬ）ダイオードである。本発明の別の形態においては、光源１１８は、端面発光レーザーダイオードである。光源１１８は、ドライバ回路１１６によって制御されており、この回路は、制御ライン１１０を介してナビゲーションプロセッサ１０８によって制御されている。一実施例においては、ナビゲーションプロセッサ１０８は、制御ライン１１０を使用してドライバ回路１１６の電源をオン／オフさせ、これに相応して、光源１１８の電源をオン／オフさせる。
【００１３】
表面１２４において反射された光は、レンズ１２０によって光検出器アレイ１１４上に案内される。光検出器アレイ１１４内のそれぞれの光検出器は、その光検出器に入射する光の強度に基づいて大きさが変化する信号を供給する。そして、この光検出器アレイ１１４からの信号は、アナログ／デジタル変換器１１２に出力され、ここで、信号は、適切な分解能（例：８ビット）のデジタル値に変換される。これらのデジタル値は、光学式ポインティング装置１００下方の卓上又はその他のナビゲーション表面部分のデジタル画像又はデジタル表現を表している。このアナログ／デジタル変換器１１２によって生成されたデジタル値は、ナビゲーションプロセッサ１０８に出力される。そして、ナビゲーションプロセッサ１０８によって受信されたデジタル値は、メモリ１１１内にフレームとして保存されることになる。
【００１４】
光検出器アレイ１１４の全体サイズは、好ましくは、複数の特徴を具備する画像を取得するのに十分な大きさになっている。このような空間的特徴を有する画像により、ナビゲーション表面１２４上における光学式ポインティング装置１００の移動に伴って、変換されたピクセル情報パターンが生成される。表面上における追跡可能な状態での光学式ポインティング装置１００の移動速度は、アレイ１１４内の光検出器の数と、それらの内容を取得及びデジタル化するフレームレートの両方の影響をうけることになる。この追跡は、新しく取得したサンプルフレームを以前に取得した基準フレームと比較して移動の方向及び量を確認することにより、ナビゲーションプロセッサ１０８によって遂行される。
【００１５】
一実施例においては、ナビゲーションプロセッサ１０８は、連続フレームの相互相関を実行し、動きに関する情報を判定する。本発明の一形態においては、ナビゲーションプロセッサ１０８により、１つのフレームの内容全体が、１ピクセルオフセット試行シフトによって許容されている８つの方向（１つ横、１つ横及び１つ下、１つ下、１つ上、１つ上及び１つ横、他の方向に１つ横など）のそれぞれに、連続的に１ピクセル距離だけシフトされる。この結果、試行は合計８つとなる。更に、動きが発生しない場合もあるため、９番目の試行である「シフトなし」も使用されている。それぞれの試行シフトの後に、互いにオーバーラップするフレームの部分をピクセルごとにナビゲーションプロセッサ１０８によって減算し、この結果生成される差を、好ましくは、二乗した後に合算して、オーバーラップ領域内における類似性（相関）の尺度を形成する。別の実施例においては、更に大きな試行シフト（例：２つ横及び１つ下）を使用可能である。そして、最小の差（最大の相関）を有する試行シフトを２つのフレーム間における動きの標識として取得することができる。即ち、この結果、生の移動情報が提供されることになり（これを拡大縮小及び／又は蓄積することにより、便利な刻みの移動情報を適切な情報交換のレートで供給可能である）、この情報は、データ／制御ライン１０４上のデジタル入出力回路１０６によってホスト装置に出力される。又、光学式ポインティング装置１００は、データ／制御ライン１０４を介してホスト装置からデータ及び制御信号を受信するべく構成されてもいる。
【００１６】
（ＩＩ．不良に対する耐性を有する変位計算）
本発明の一形態においては、前述のように連続デジタル画像の相関を実行して移動情報を判定するのではなく、ナビゲーションプロセッサ１０８は、取得したデジタル画像に対する埃などの粒子汚染による作用の影響を受けにくい移動演算又は変位計算を実行するべく構成されている。装置１００によって取得されるデジタル画像内のピクセルは、粒子汚染のために、不適切なピクセル値を具備することになる。本明細書においては、このような粒子汚染の影響を受けるピクセルを不良ピクセルと呼ぶことにする。不良ピクセルは、粒子汚染以外に、シリコンの不良などのその他の問題によっても発生する。不良ピクセルは、「オン」又は「オフ」状態のみを示すピクセル、望ましい強度を下回る又は上回る強度を生成するピクセル、一貫性のない、又は、ランダムな動作を有するピクセルなどの異常な、又は、動作不能なピクセルを含むべく定義されるものである。そして、不良ピクセルは、その不良の原因とは無関係には、取得デジタル画像内に固定パターンを形成する。本発明の一形態によれば、不良の原因とは無関係に、全般的に不良ピクセルの影響を受けにくい移動データを生成するための方法が提供される。以下、図２〜図４を参照し、本発明の様々な実施例に従ってナビゲーションプロセッサ１０８によって実行される不良に対する耐性を有する変位計算について説明する。
【００１７】
図２は、本発明の一実施例による時間的な差分を使用して光学式ポインティング装置１００によって移動データを生成する方法２００を示すフローチャートである。まず、段階２０２において、時間をずらせた画像のペアをフォトアレイ１１４によって取得する。そして、この取得した画像をアナログ／デジタル変換器１１２によってデジタル画像に変換し、このデジタル画像をナビゲーションプロセッサ１０８に出力する。段階２０４において、ナビゲーションプロセッサ１０８は、２つのデジタル画像（段階２０２において取得したもの）をピクセルごとに減算し、これにより、差分画像を生成する（これを、基準差分画像と呼ぶ）。段階２０６において、時間をずらせた画像の別のペアをフォトアレイ１１４によって取得する。そして、この取得した画像をアナログ／デジタル変換器１１２によってデジタル画像に変換し、このデジタル画像をナビゲーションプロセッサ１０８に出力する。段階２０８において、ナビゲーションプロセッサ１０８は、２つのデジタル画像（段階２０６において取得したもの）をピクセルごとに減算し、これにより、別の差分画像を生成する（これを、サンプル差分画像と呼ぶ）。
【００１８】
段階２１０において、ナビゲーションプロセッサ１０８は、基準差分画像（段階２０４において生成したもの）をサンプル差分画像（段階２０８において生成したもの）と相関させ、この相関に基づいて移動の大きさと方向を判定する。段階２１２において、ナビゲーションプロセッサ１０８は、段階２１０において実行した相関に基づいて移動情報を生成し、この移動情報をデジタル入出力回路１０６を介してホスト装置に出力する。段階２１４において、基準差分画像（段階２０４において生成したもの）をサンプル差分画像（段階２０８において生成したもの）によって置き換え、今度は、これが、方法２００の次の繰り返しにおける基準差分画像となる。そして、段階２０６において、時間をずらせた画像の別のペアを取得し、段階２０６から方法２００を反復することになる。尚、方法２００は、所望の回数だけ、何回でも反復実行可能である。
【００１９】
この方法２００における時間的な差分計算により、ナビゲーションプロセッサ１０８によって実行される演算は、固定パターンの影響を受けにくくなる。一実施例においては、それぞれの画像間ごとに等しい時間間隔で４つの連続した画像を取得する。そして、２つの画像からなる第１の組と２つの画像からなる第２の組との間の差分を相関させて移動情報を判定する。別の実施例においては、取得する画像間の時間間隔を変化させて、例えば、４つの連続した画像の組の場合に、第３及び第４画像間の時間間隔とは異なる時間間隔を第１及び第２画像間に提供する。
【００２０】
図３は、本発明の一実施例による行合計及び列合計の相互相関を使用する光学式ポインティング装置１００によって移動データを生成する方法３００を示すフローチャートである。まず、段階３０２において、基準画像をフォトアレイ１１４によって取得する。そして、この取得した画像をアナログ／デジタル変換器１１２によってデジタル画像に変換し、この基準デジタル画像をナビゲーションプロセッサ１０８に出力する。段階３０４において、ナビゲーションプロセッサ１０８は、この基準デジタル画像のそれぞれの行のピクセル値を合計することによって複数の行合計を生成すると共に、基準デジタル画像のそれぞれの列のピクセル値を合計することによって複数の列合計を生成する。
【００２１】
段階３０６において、サンプル画像をフォトアレイ１１４によって取得する。そして、この取得した画像をアナログ／デジタル変換器１１２によってデジタル画像に変換し、このサンプルデジタル画像をナビゲーションプロセッサ１０８に出力する。段階３０８において、ナビゲーションプロセッサ１０８は、このサンプルデジタル画像のそれぞれの行のピクセル値を合計することによって複数の行合計を生成すると共に、サンプルデジタル画像のそれぞれの列のピクセル値を合計することによって複数の列合計を生成する。
【００２２】
段階３１０において、ナビゲーションプロセッサ１０８は、基準デジタル画像（段階３０２において取得したもの）の複数の行合計をサンプルデジタル画像（段階３０６において取得したもの）の複数の行合計と相関させると共に、基準デジタル画像の複数の列合計をサンプルデジタル画像の複数の列合計と相関させ、これらの相関に基づいて移動の大きさと方向を判定する。段階３１２において、ナビゲーションプロセッサ１０８は、段階３１０において実行した相関に基づいて移動情報を生成し、この移動情報をデジタル入出力回路１０６を介してホスト装置に出力する。段階３１４において、基準デジタル画像（段階３０２において取得したもの）をサンプルデジタル画像（段階３０６において取得したもの）によって置き換え、今度は、これが、方法３００の次の繰り返しにおける基準デジタル画像となる。そして、段階３０６において、別のサンプル画像を取得し、段階３０６から方法３００を反復することになる。尚、方法３００は、所望の回数だけ、何回でも反復実行可能である。
【００２３】
個別のピクセル値ではなく、ピクセル値の行及び列の合計（これは、投影とも呼ばれる）に対して相互相関を実行することにより、ナビゲーションプロセッサ１０８によって行われる演算は、固定パターンの影響を受けにくくなる。即ち、投影によれば、本質的にピクセル値が平均化されるため、固定パターンの影響を受けにくくなるのである。
【００２４】
図４は、本発明の一実施例による偽相関ピークの検出を使用して光学式ポインティング装置１００によって移動データを生成する方法４００を示すフローチャートである。まず、段階４０２において、基準画像をフォトアレイ１１４によって取得する。そして、この取得した画像をアナログ／デジタル変換器１１２によってデジタル画像に変換し、この基準デジタル画像をナビゲーションプロセッサ１０８に出力する。段階４０４において、サンプル画像をフォトアレイに１１４によって取得する。そして、この取得した画像をアナログ／デジタル変換器１１２によってデジタル画像に変換し、このサンプルデジタル画像をナビゲーションプロセッサ１０８に出力する。
【００２５】
段階４０６において、ナビゲーションプロセッサ１０８は、基準デジタル画像のピクセル値とサンプルデジタル画像のピクセル値の相互相関を実行し、これにより、少なくとも１つの相関ピークを生成する。相関させた画像内の固定パターンの結果として、ゼロ（０，０）変位に対応する場所に偽の相関ピークが発生する。これらのピークは、２つの画像間に実際に移動が発生している場合にも、移動が発生していないことを示すことから、これらのピークを「偽」の相関ピークと呼ぶ。一実施例においては、以下に詳述するように、動きが発生しているという証拠がある場合に、これらの偽の相関ピークを無視する。
【００２６】
段階４０８において、ナビゲーションプロセッサ１０８は、段階４０６において実行した相関により、ゼロ変位に対応する場所に相関ピークが生じているかどうかを判定する。そして、相関によって、ゼロ変位に対応する場所に相関ピークが生じていない場合には、方法４００は、段階４１６（後述する）に進む。一方、相関によって、ゼロ変位に対応する場所に相関ピークが生じている場合には、方法４００は、段階４１０に進む。
【００２７】
段階４１０において、ナビゲーションプロセッサ１０８は、段階４０６において実行した相関によって、非ゼロ変位に対応する場所に相関ピークが生じているかどうかを判定する。そして、相関によって、非ゼロ変位に対応する場所に相関ピークが生じていない場合には、方法４００は、段階４１４（後述する）に進む。一方、相関によって、非ゼロ変位に対応する場所に相関ピークが生じている場合には、方法４００は、段階４１２に進む。
【００２８】
段階４１２において、ナビゲーションプロセッサ１０８は、基準画像の取得段階（段階４０２）とサンプル画像の取得段階（段階４０４）間に、動きが発生しているかどうかを判定する。一実施例においては、ナビゲーションプロセッサ１０８は、この段階４１２において、基準画像及びサンプル画像内の単一のピクセル、又は、複数のピクセルを監視し、その単一のピクセル（又は、複数のピクセル）の値が、動きの発生を示す閾値の量だけ、変化しているかどうかを判定することにより、動きが発生しているかどうかを判定する。又、本発明の一形態においては、ナビゲーションプロセッサ１０８は、この段階４１２において、１つの相関計算又は複数の相関計算のいずれかにおいて、強力な第２ピーク（例：所与の閾値を上回る大きさを有するピーク）が非ゼロ変位に対応する場所に生じているかどうかを判定することにより、動きが発生しているかどうかを判定する。そして、この段階４１２において、動きが発生していないとナビゲーションプロセッサ１０８が判定した場合には、方法４００は、段階４１４に進む。一方、段階４１２において、動きが発生しているとナビゲーションプロセッサ１０８が判定した場合には、方法４００は、段階４１６に進む。
【００２９】
段階４１４において、ナビゲーションプロセッサ１０８は、ゼロ変位に対応する場所に発生している相関ピークは偽の相関ピークではなく、且つ基準画像とサンプル画像間の変位はゼロであると判定する。そして、この段階４１４の後に、方法４００は、段階４１８（後述する）に進む。
【００３０】
一方、段階４１６においては、ナビゲーション１０８は、ゼロ変位に対応する場所に発生している相関ピークが偽の相関ピークであると判定し、ナビゲーションプロセッサ１０８は、非ゼロ変位に対応する場所に発生している相関ピークに基づいてその変位を判定する。そして、この段階４１６の後に、方法４００は、段階４１８（後述する）に進む。
【００３１】
段階４１８において、ナビゲーションプロセッサ１０８は、段階４１４において判定した変位に基づいて、又は、段階４１６において判定した変位に基づいて移動情報を生成し、この移動情報をデジタル入出力回路１０６を介してホスト装置に出力する。
【００３２】
そして、段階４２０において、基準デジタル画像（段階４０２において取得したもの）をサンプルデジタル画像（段階４０４において取得したもの）によって置き換え、今度は、これが、方法４００の次の繰り返しにおける基準デジタル画像となる。次いで、段階４０４において、別のサンプル画像を取得し、段階４０４から方法４００を繰る返すことになる。尚、方法４００は、所望の回数だけ、何回でも反復実行可能である。
【００３３】
（ＩＩＩ．不良ピクセル検出器）
図５は、本発明の一実施例による不良ピクセル検出器５１１を有する光学式ポインティング装置５００の主要構成要素を示すブロック図である。この図５に示されている実施例における光学式ポインティング装置５００は、光学ナビゲーションセンサ集積回路５０２内に不良ピクセル検出器５１１が含まれていることを除き、図１に示されている光学式ポインティング装置１００と同一の要素を含み、同一の方式で構成されている。
【００３４】
光学式ポインティング装置１００と同様に、光学式ポインティング装置５００内のアナログ／デジタル変換器１１２は、フォトアレイ１１４によって供給されるアナログ信号に基づいてデジタル画像を生成する。そして、このデジタル画像は、不良ピクセル検出器５１１に出力される。一実施例においては、不良ピクセル検出器５１１は、受信したデジタル画像内の悪い又は不良ピクセル（例：埃やその他の粒子汚染のために正しく応答しないピクセルなど）を識別し、「良好」な（即ち、不良ではない）ピクセルのみを有するデジタル画像データをナビゲーションプロセッサ１０８に出力する。そして、この不良ピクセル検出器５１１によって出力される良好なデジタル値は、ナビゲーションプロセッサ１０８のメモリ１１内にフレームとして保存される。
【００３５】
不良ピクセル検出器５１１が不良ピクセルを識別するべく使用可能な技法には、いくつかのものが存在しており、これには、２００４年３月８日付けで出願された代理人整理番号第１００４００７７−１号の「ＡＰＰＡＲＡＴＵＳ  ＦＯＲ  ＣＯＮＴＲＯＬＬＩＮＧ  ＴＨＥ  ＰＯＳＩＴＩＯＮ  ＯＦ  Ａ  ＳＣＲＥＥＮ  ＰＯＩＮＴＥＲ  ＴＨＡＴ  ＤＥＴＥＣＴＳ  ＤＥＦＥＣＴＩＶＥ  ＰＩＸＥＬＳ」という名称の同時係属出願である米国特許出願第１０／７９５，６８８号明細書に記述され後述される技法や、その他の技法が含まれる。一実施例においては、不良ピクセル検出器５１１は、フォトアレイ１１４内のピクセルのそれぞれの適応ピクセル履歴５２８を保存するメモリ５２６を含んでいる。本発明の一実施例においては、この適応履歴５２８には、それぞれのピクセルごとに、そのピクセルの値が最後に変化した以降の時間が含まれている。一実施例においては、検出器５１１は、閾値の期間（不良ピクセルの閾値）にわたって値が変化していないピクセルを不良であると識別し、これらのピクセルをナビゲーションプロセッサ１０８によるナビゲーション演算に使用しないようにすることにより、相関から不良ピクセルを効果的に除去している。
【００３６】
一実施例においては、個別のピクセル値の変化対フォトアレイ１１４全体の平均値、又は、ピクセルの局所的な隣接ピクセルの平均値の変化を監視することにより、不良ピクセルの閾値として適切な値を判定している。この実施例においては、不良ピクセルの閾値は適応可能であり、集合としてのアレイ１１４、又は、アレイ１１４のサブセットの動作によって左右されることになる。
【００３７】
通常、デジタル画像センサに伴う問題の１つが雑音である。不良ピクセル検出器５１１の一形態においては、雑音に強い不良ピクセル識別方法を使用している。本発明の一実施例による雑音耐性を有する方法は、取得したそれぞれのデジタル画像（入力フレームＩと呼ぶ）に基づいて「スムーズ」なフレームＳを再帰的に更新することにより、それぞれのピクセルごとの適応履歴を維持している。本発明の一形態によるスムーズフレームは、連続する入力フレームに発生する変化と比べて相対的に低速で変化するフレームである。一実施例によるスムーズフレームは、過去のフレームの平均を表している。本発明の別の実施例においては、スムーズフレームを使用するのではなく、いくつかの過去のフレームを保存し、保存されているそれらのフレームから平均値を算出している。一実施例においては、不良ピクセル検出器５１１は、次の式１を使用し、それぞれの取得デジタル画像（入力フレーム）に基づいてスムーズフレームを更新する。
【００３８】
Ｓ＝ａ＊Ｓ＋（１−ａ）＊Ｉ      （式１）
【００３９】
ここで、Ｓ＝スムーズフレームであり、ａ＝一定の値であり、Ｉ＝入力フレームである。
【００４０】
一実施例においては、スムーズフレームのピクセル値は、不良ピクセル検出器５１１内のメモリ５２６内に保存される。定数ａの値が１．０近傍の場合には、スムーズフレームは、それぞれの入力フレームＩによって低速で変化することになり、この結果、小さな雑音変動には応答しない。本発明の一形態においては、式１の定数ａの値として０．７５を使用している。別の実施例においては、定数ａの値として、その他のものが使用される。
【００４１】
一実施例においては、ピクセル履歴５２８はカウンタの組を含んでおり、これらのカウンタは、入力フレームＩ内のそれぞれのピクセルがスムーズフレームＳ内の対応するピクセルの閾値Ｔ内に収まる連続フレームの数を追跡している。一実施例においては、入力フレームＩ内のピクセルの強度が、連続するＮ個のフレームにわたって、スムーズフレームＳ内の対応するピクセルの絶対値における閾値Ｔを下回った場合に、不良ピクセル検出器５１１は、そのピクセルを不良であると識別する。本発明の一形態においては、スムーズフレームＳのピクセル値の変化が、Ｎ個の連続フレームのいずれかのフレームにおいて、閾値Ｔを上回った場合に、不良ピクセル検出器５１１は、そのピクセルがアクティブ（即ち、良好）であると判断する。一実施例においては、変数Ｎは、１を上回る整数を表している。一実施例においては、変数Ｎには、値「１０」が使用される。一実施例においては、変数Ｎには、その他の値が使用される。
【００４２】
本発明の一形態においては、メモリ５２６内のデジタル画像５３０などのアナログ／デジタル変換器１１２によって生成されたデジタル画像は、ナビゲーション演算に使用されるアクティブピクセル５３２Ａの組と、ナビゲーション演算には使用されないスペアピクセル５３２Ｂの組を含んでいる。一実施例においては、不良ピクセル検出器５１１が、デジタル画像内のアクティブピクセル５３２Ａの中の１つが不良であることを検出した場合に、不良ピクセル検出器５１１は、その不良ピクセルを無効とし、スペアピクセル５３２Ｂの１つを有効にする。そして、不良ピクセル検出器５１１は、この新しく有効になったスペアピクセルを含み、無効になった不良ピクセルを含んでいないアクティブピクセル５３２Ａの組を相関のためにナビゲーションプロセッサ１０８に供給する。以下、図６を参照し、このアクティブピクセル５３２Ａの組に基づいて移動データを生成する方法の一実施例について説明する。
【００４３】
図６は、本発明の一実施例によるアクティブピクセル５３２Ａの組に基づいて図５に示されている光学式ポインティング装置５００によって移動データを生成する方法６００を示すフローチャートである。まず、段階６０２において、基準画像をフォトアレイ１１４によって取得する。そして、この取得した画像をアナログ／デジタル変換器１１２によってデジタル画像に変換し、この基準デジタル画像を不良ピクセル検出器５１１に出力する。段階６０４において、サンプル画像をフォトアレイ１１４によって取得する。そして、この取得した画像をアナログ／デジタル変換器１１２によってデジタル画像に変換し、このサンプルデジタル画像を不良ピクセル検出器５１１に出力する。尚、これらの基準デジタル画像及びサンプルデジタル画像のそれぞれは、アクティブピクセル５３２Ａの組とスペアピクセル５３２Ｂの組を含んでいる。
【００４４】
段階６０６において、不良ピクセル検出器５１１は、基準デジタル画像（段階６０２において取得したもの）とサンプルデジタル画像（段階６０４において取得したもの）内の不良ピクセルを識別し、無効にする。段階６０８において、不良ピクセル検出器５１１は、段階６０６において識別した不良ピクセルに基づいて、基準デジタル画像とサンプルデジタル画像内のスペアピクセル５３２Ｂを有効にする。一実施例においては、不良ピクセル検出器５１１は、無効になったそれぞれの不良ピクセルごとに、１つのスペアピクセル５３２Ｂを有効にする。段階６１０において、不良ピクセル検出器５１１は、基準デジタル画像及びサンプルデジタル画像のアクティブピクセル５３２Ａの組をナビゲーションプロセッサ１０８に出力する。一実施例においては、ナビゲーションプロセッサ１０８に供給されるアクティブピクセルの組は、新しく有効になったスペアピクセル５３２Ｂ（即ち、段階６０８において有効になったピクセル）を含み、無効になった不良ピクセル（即ち、段階６０６において無効になったピクセル）は含んでいない。従って、本発明の一形態においては、不良ではないピクセルのみが、相関のためにナビゲーションプロセッサ１０８に供給されることになる。
【００４５】
段階６１２において、ナビゲーションプロセッサ１０８は、受信した基準デジタル画像（段階６０２において取得したもの）のアクティブピクセル５３２Ａの組をサンプルデジタル画像（段階６０４において取得したもの）のアクティブピクセル５３２Ａの組と相関させ、この相関に基づいて移動の大きさと方向を判定する。段階６１４において、ナビゲーションプロセッサ１０８は、段階６１２において実行した相関に基づいて移動情報を生成し、この移動情報をデジタル入出力回路１０６を介してホスト装置に出力する。段階６１６において、基準デジタル画像（段階６０２において取得したもの）をサンプルデジタル画像（段階６０４において取得したもの）によって置き換え、今度は、これが、方法６００の次の繰り返しにおける基準デジタル画像となる。そして、段階６０４において、別のサンプル画像を取得し、段階６０４から方法６００を反復することになる。尚、方法６００は、所望の回数だけ、何回でも反復実行可能である。
【００４６】
一実施例においては、メモリ５２６内のデジタル画像５３４などのアナログ／デジタル変換器１１２によって生成されたデジタル画像は、ピクセルのアレイ５３６Ａを含んでいる。本発明の一形態においては、前述のように不良ピクセルの識別に伴ってスペアピクセル５３２Ｂを有効にするのではなく、不良ピクセル検出器５１１は、不良ではないピクセルのサブアレイ５３６Ｂを識別し、これがナビゲーション演算において使用される。一実施例においては、サブアレイ５３６Ｂ以外のピクセル５３６Ａは、ナビゲーション演算には使用されない。以下、図７を参照し、ピクセルのサブアレイ５３６Ｂに基づいて移動データを生成する方法の一実施例について説明する。
【００４７】
図７は、本発明の一実施例によるピクセルのサブアレイ５３６Ｂに基づいて図５に示されている光学式ポインティング装置５００によって移動データを生成する方法７００を示すフローチャートである。まず、段階７０２において、基準画像をフォトアレイ１１４によって取得する。そして、この取得した画像をアナログ／デジタル変換器１１２によってデジタル画像に変換し、この基準デジタル画像を不良ピクセル検出器５１１に出力する。段階７０４において、サンプル画像をフォトアレイ１１４によって取得する。そして、この取得した画像をアナログ／デジタル変換器１１２によってデジタル画像に変換し、このサンプルデジタル画像を不良ピクセル検出器５１１に出力する。
【００４８】
段階７０６において、不良ピクセル検出器５１１は、基準デジタル画像（段階７０２において取得したもの）とサンプルデジタル画像（段階７０４において取得したもの）内の不良ピクセルの場所を識別し、フラグを付加する。段階７０８において、不良ピクセル検出器５１１は、デジタル画像内の良好なピクセルの場所のサブアレイ５３６Ｂを識別する。本発明の一形態においては、このサブアレイ５３６Ｂには、良好な（例：不良ではない）ピクセルのみが含まれており、不良ピクセルは含まれていない。一実施例においては、この良好なピクセルの場所のサブアレイ５３６Ｂは、例えば、４０ｘ４０ピクセルのデジタル画像内の２２ｘ２２のピクセルブロックなどの、デジタル画像内に含まれているピクセルのアレイ５３６Ａ全体のサブセットから構成されている。不良ピクセル検出器５１１は、基準デジタル画像及びサンプルデジタル画像の良好なピクセルのサブアレイ５３６Ｂをナビゲーションプロセッサ１０８に供給する。
【００４９】
段階７１０において、ナビゲーションプロセッサ１０８は、基準デジタル画像の良好なピクセルのサブアレイ５３６Ｂをサンプルデジタル画像の良好なピクセルのサブアレイ５３６Ｂと相関させ、この相関に基づいて移動の大きさと方向を判定する。段階７１２において、ナビゲーションプロセッサ１０８は、段階７１０において実行した相関に基づいて移動情報を生成し、この移動情報をデジタル入出力回路１０６を介してホスト装置に出力する。段階７１４において、基準デジタル画像（段階７２０において取得したもの）をサンプルデジタル画像（段階７０４において取得したもの）によって置き換え、今度は、これが、方法７００の次の繰り返しにおける基準デジタル画像となる。そして、段階７０４において、別のサンプル画像を取得し、段階７０４から方法７００を反復することになる。尚、方法７００は、所望の回数だけ、何回でも反復実行可能である。
【００５０】
一実施例においては、不良ピクセル検出器５１１は、デジタルロジック及び回路によって実施されている。尚、当業者であれば、不良ピクセル検出器５１１を含む光学式ポインティング装置１００及び５００によって実行される機能は、ハードウェア、ソフトウェア、ファームウェア、及びこれらの組み合わせによって実施可能であることを理解するであろう。この実施は、マイクロプロセッサ、プログラム可能なロジックデバイス、又は状態機械によるものであってよい。本発明の構成要素は、１つ又は複数のコンピュータ可読媒体内に収容可能である。尚、本明細書において使用するこの「コンピュータ可読媒体」という用語は、フロッピー（登録商標）ディスク、ハードディスク、ＣＤ−ＲＯＭ、フラッシュメモリ、読み出し専用メモリ（ＲＯＭ）、及びランダムアクセスメモリなどの揮発性及び不揮発性のあらゆる種類のメモリを含むべく定義されている。
【００５１】
以上、好適な実施例を説明するべく、特定の実施例について図示及び説明したが、当業者であれば、本発明の範囲を逸脱することなしに、これらの図示及び説明した特定の実施例を様々な代替及び／又は等価な実施によって置換可能であることを理解するであろう。機械、電気機械、電気、及びコンピュータ技術分野における知識を有する者であれば、様々な実施例において本発明を実施可能であることを容易に理解するであろう。本出願は、本明細書において説明した好適な実施例のあらゆる適合又は変形を含むことを意図するものである。従って、本発明が添付の請求項及びその等価物のみによって制限されることは、明らかである。
【図面の簡単な説明】
【００５２】
【図１】本発明の一実施例による光学式ポインティング装置の主要構成要素を示すブロック図である。
【図２】本発明の一実施例による時間的な差分を使用して図１に示されている光学式ポインティング装置によって移動データを生成する方法を示すフローチャートである。
【図３】本発明の一実施例による行合計及び列合計の相互相関を使用して図１に示されている光学式ポイティング装置によって移動データを生成する方法を示すフローチャートである。
【図４】本発明の一実施例による偽の相関ピークの検出を使用して図１に示されている光学式ポインティング装置によって移動データを生成する方法を示すフローチャートである。
【図５】本発明の一実施例による不良ピクセル検出器を有する光学式ポインティング装置の主要構成要素を示すブロック図である。
【図６】本発明の一実施例によるアクティブピクセルの組に基づいて図５に示されている光学式ポインティング装置によって移動データを生成する方法を示すフローチャートである。
【図７】本発明の一実施例によるピクセルのサブアレイに基づいて図５に示されている光学式ポインティング装置によって移動データを生成する方法を示すフローチャートである。
【符号の説明】
【００５３】
１００、５００：画面ポインタの位置を制御する装置
１０２、５０２：ナビゲーションセンサ
１１８：光源
１２４：撮影表面
５３２Ａ：アクティブピクセル
５３２Ｂ：スペアピクセル
５３６Ｂ：ピクセルのサブアレイ
【図１】
2005276202.tif 000003
【図２】
2005276202.tif 000004
【図３】
2005276202.tif 000005
【図４】
2005276202.tif 000006
【図５】
2005276202.tif 000007
【図６】
2005276202.tif 000008
【図７】
2005276202.tif 000009