(57)【要約】撮像子（402）が、対象物の連続画像をキャプチャーする。その後にひとつの画像を別の画像から減算して、差分画像を生成する。そうしてから、差分画像のそれぞれと、それ自体との相関をとるか、または、差分画像のそれぞれと、差分画像を生成するために用いた画像のうちのひとつとの相関をとることによって、撮像子（402）と対象物との相対運動を算定する。【選択図】図４
2008524696.tif 000002
【特許請求の範囲】
【請求項１】
デバイスのナビゲーションベクトルを算定するための方法であって、
対象物の第一の画像をキャプチャーするステップと、
前記対象物の第二の画像をキャプチャーするステップと、
前記第一の画像を前記第二の画像から減算して、差分画像を生成するステップと、
前記差分画像を用いて相関をとるステップと、
前記相関の結果から、前記ナビゲーションベクトルを算定するステップと
を含み、前記ナビゲーションベクトルが、前記デバイスと前記対象物との間の相対運動を表す
ことを特徴とする、方法。
【請求項２】
前記差分画像を用いて相関をとるステップが、
前記差分画像を用いて自己相関をとるステップ
を含むことを特徴とする、請求項１記載の方法。
【請求項３】
前記ナビゲーションベクトルを算定する前に、自己相関の結果に対して閾値による選択をするステップ
をさらに含むことを特徴とする、請求項２記載の方法。
【請求項４】
前記差分画像を用いて相関をとるステップが、
前記差分画像と、前記第一の画像もしくは前記第二の画像のいずれか一方との相関をとるステップ
を含むことを特徴とする、請求項１記載の方法。
【請求項５】
前記ナビゲーションベクトルを算定する前に、前記相関の結果に対して閾値による選択をするステップ
をさらに含むことを特徴とする、請求項４記載の方法。
【請求項６】
デバイスの相対運動を算定するためのシステムであって、
複数の画像をキャプチャーするよう構成された撮像子（402）と、
相関器（410）と、
前記撮像子（402）および前記相関器（410）と電気的に接続されており、また、キャプチャーした画像の対を用いて差分画像を生成するよう構成されている、差分画像生成器（408）と
を含むことを特徴とする、システム。
【請求項７】
前記相関器（410）が、前記差分画像を受信するよう構成されており、また、前記相関器（410）が、差分画像のそれぞれについて自己相関をとるよう構成されていることを特徴とする、請求項６記載のシステム。
【請求項８】
前記相関器（410）の出力に電気的に接続された処理回路（412）をさらに含み、前記処理回路（412）が、前記自己相関の結果のそれぞれに基づいて、前記デバイスの相対運動を算定するよう構成されている
ことを特徴とする、請求項７記載のシステム。
【請求項９】
前記相関器（410）が、差分画像のそれぞれと、差分画像のそれぞれを生成するために用いた前記キャプチャーした画像のうちのひとつとを受信するよう構成されており、また、前記相関器（410）が、前記受信したキャプチャーした画像と、その差分画像の各々との相関をとるよう構成されている
ことを特徴とする、請求項６記載のシステム。
【請求項１０】
前記相関器（410）の出力に電気的に接続された処理回路（412）をさらに含み、前記処理回路（412）が、前記相関の結果のそれぞれに基づいて、前記デバイスの相対運動を算定するよう構成されている
ことを特徴とする、請求項９記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
（原文に記載無し）
【背景技術】
【０００２】
ナビゲーションデバイスは、コンピュータや他のコンピュータ制御システムの類と組み合わせて、長年に亘り使われている。コンピュータ用のマウスは、ナビゲーションデバイスの一例である。コンピュータ用機械式マウスには、マウスを動かすとマウスパッドの上を転がるボールが付いている。マウスの内部には、ボールと接触するホイールが在り、このホイールの回転が、運動の直交成分を表す電気信号へと変換される。
【０００３】
別の種類のコンピュータ用マウスとしては、光学式マウスがある。図１は、従来技術に係る光学式マウスの一部分の概略図である。マウス 100 は、光源 102 と撮像子（イメージャ） 104 を含む。光源 102 は発光ダイオードとして実装されるのが普通であり、また、光源 102 が、光 106 を表面 108 へと照射する。撮像子 104 は、表面からの画像をキャプチャーして、この画像を処理回路 110 へと送信する。処理回路 110 は、画像の相関をとることで、画像中の対象物の運動を追跡し、マウス 100 が表面 108 上を過った速度および距離を算定する。
【０００４】
表面 108 と撮像子 104 との間の光路内に夾雑物が存在した場合には、処理回路 110 の、運動を算定する機能が低下してしまう可能性がある。塵埃・糸屑・結露などの夾雑物は、画像から画像に亘っての変化が乏しい背景ノイズとして顕出するため、相関エンジンの効率を低下させてしまう。夾雑物が経時増加する場合には、背景ノイズによって相関エンジンが出す信号が他の信号を蔽い匿してしまい、処理回路 110 が光学式マウス 100 が動いていないと誤認識してしまうことになる。
【発明の開示】
【０００５】
本発明では、差分画像の相関に基づいて運動を算定するための、方法およびシステムを提供する。撮像子は、対象物の連続画像をキャプチャーする。その後にひとつの画像を別の画像から減算して、差分画像を生成する。そうしてから、差分画像のそれぞれと、それ自体との相関をとるか、または、差分画像のそれぞれと、差分画像を生成するために用いた画像のうちのひとつとの相関をとることによって、撮像子と対象物との相対運動を算定する。
【発明を実施するための最良の形態】
【０００６】
以下の記述は、当業者が、本発明の実施形態を作成し使用できるようにするためのものであって、且つ、特許出願の文章とそれの要請物の裡で提供されるものである。開示した実施形態からはさまざまな変形例を得られるということは、当業者には至極明らかなことであって、また、ここに示す総括的な原則を他の実施形態に適用することも可能である。したがって、本発明は開示した実施形態に束縛されることを意図してはおらず、本発明は、付随する請求項と矛盾しない広い範囲と調和し、且つ本明細書中に記載する原則および特徴と調和するべきものである。
【０００７】
図面、特に図２を参照すると、本発明に係る或る実施形態における、差分画像相関に基づいたナビゲーションベクトルの算定のための第一の方法を表すフローチャートが示されている。まず最初に数 n を 1 に設定して、対象物の画像（画像 I(n) ）を撮像子でキャプチャーする（段階 200, 202 ）。そうして、画像 I(n) をバッファ内に格納する。本発明に係る或る実施形態においては、画像 I(n) を、直列接続された二つのバッファのうちの先のバッファ内に格納する。
【０００８】
次に段階 204 では、画像 I(n+1) を撮像子でキャプチャーして、別のバッファ内に格納する。本発明に係る或る実施形態においては、画像 I(n+1) を、直列接続された二つのバッファのうちの後のバッファ内に格納する。したがって、直列接続された二つのバッファが、イメージがキャプチャーされて処理されるにつれて画像が或るバッファから他のバッファへと移行するようなキューを形成している。本発明ことデバイス（device the invention）に係る或る実施形態においては、第一のバッファにデータを伝送することにより、このような移行が電気的に発生する。本発明に係る別の実施形態においては、バッファへのポインタもしくはアドレスを再割当することによって、こうした移行を論理的に起こす。
【０００９】
その後、段階 206 では、画像 I(n) を画像 I(n+1) から減算して、差分画像を生成する。画像 I(n) のグレイスケール値を、画像 I(n+1) のグレイスケール値から減算する。したがって、差分画像は、二つの画像の間のグレイスケール値の差を表すことになる。或る画像を他の画像から減算することで、二つの画像中に一定量もしくはほぼ一定量で存在している背景ノイズを、軽減または消失させることができる。背景ノイズを軽減もしくは消失させることによって、信号のノイズに対する比を向上させ、運動の検出効率を改善できるようになる。
【００１０】
その後、段階 208 に示したように、差分画像について自己相関をとる。自己相関の結果に対して、閾値による選択（thresholding）を行って、画像 I(n) がキャプチャーされた時刻と、画像 I(n+1) がキャプチャーされた時刻との間に、運動が発生したかどうかを確認する（段階 210 ）。本発明に係る或る実施形態においては、次に段階 212 で、画像 I(n+1) を第一のバッファへと伝送する。本発明に係る別の実施形態においては、バッファへのポインタもしくはアドレスを再割当することによって、こうした移行を論理的に起こす。
【００１１】
そうしてから、数 n をひとつ加算して（段階 214 ）、自己相関の結果からナビゲーションベクトルを算定する（段階 216 ）。このナビゲーションベクトルが、対象物の相対運動の基準となる。「相対運動」（"relative motion"）とは、撮像子と対象物との間の運動のことである。本発明に係る或る実施形態においては、撮像子は、光学ナビゲーションデバイスなどのデバイスの中に含まれていて、撮像子が動くがその一方で対象物は静止している。本発明に係る別の実施形態においては、対象物が動くが、撮像子は静止している。本発明に係るなおも別の実施形態においては、撮像子と対象物の双方が互いに相対的に運動する。
【００１２】
本発明に係る或る実施形態においては、ナビゲーションベクトルは、原点から自己相関の結果の最大値に至るベクトルとして定義される。この最大値は、最大の値を持つピクセルを選択することによっても算出でき、あるいは、所定の形状を最大値のピクセルの領域にフィットさせることで補間を行い、より精確な算定値を得るようにしても算出でき、あるいは、採取した画像中の最大値の位置を得るための他の数学的手法を使っても算出できる。最大値が原点でしか得られなかった場合には、ゼロ運動ベクトルを報知する。
【００１３】
図２の実施形態においては、ナビゲーションベクトルは、ベクトルの符号（±）に関する両義性を以って算定される。これは段階 208 で自己相関を実施した結果である。本発明に係る或る実施形態においては、そうしてから処理が段階 204 に戻って引き続きくりかえされる。本発明に係る他の実施形態においては、相対運動を反復法では算定しない。本発明に係る他の実施形態においては、例えば、要求を承けた際、もしくは事象が発生した際に、ナビゲーションベクトルが算定される。
【００１４】
図３は、本発明に係る或る実施形態における、差分画像相関に基づいたナビゲーションベクトルの算定のための第二の方法を表すフローチャートを示している。数 n が 1 に設定されて、対象物の画像（画像 I(n) ）を撮像子でキャプチャーする（段階 300, 302 ）。そうして、その画像すなわち画像 I(n) をバッファ内に格納する。本発明に係る或る実施形態においては、画像 I(n) を、直列接続された二つのバッファのうちの先のバッファ内に格納する。
【００１５】
続いて段階 304 では、画像 I(n+1) をキャプチャーして、別のバッファ内に格納する。本発明に係る或る実施形態においては、画像 I(n+1) を、直列接続された二つのバッファのうちの後のバッファ内に格納する。したがって、直列接続された二つのバッファが、イメージがキャプチャーされて処理されるにつれて画像が或るバッファから他のバッファへと移行するようなキューを形成している。本発明に係る或る実施形態においては、第一のバッファにデータを伝送することにより、このような移行が電気的に発生する。本発明に係る別の実施形態においては、バッファへのポインタもしくはアドレスを再割当することによって、こうした移行を論理的に起こす。
【００１６】
その後、段階 306 では、画像 I(n) を画像 I(n+1) から減算して、差分画像を生成する。画像 I(n) のグレイスケール値を、画像 I(n+1) のグレイスケール値から減算する。したがって、差分画像は、二つの画像の間のグレイスケール値の差を表すことになる。
【００１７】
その後、差分画像と、差分画像を生成するために用いた画像のひとつとの相関をとる（段階 308 ）。本発明に係る或る実施形態においては、例えば、差分画像と画像 I(n) との相関をとる。本発明に係る別の実施形態においては、差分画像と画像 I(n+1) との相関をとる。
【００１８】
相関の結果に対して、閾値による選択を行って、画像 I(n) がキャプチャーされた時刻と、画像 I(n+1) がキャプチャーされた時刻との間に、運動が発生したことを確認する（段階 310 ）。本発明に係る或る実施形態においては、次に段階 312 で、画像 I(n+1) を第一のバッファへと伝送する。本発明に係る別の実施形態においては、バッファへのポインタもしくはアドレスを再割当することによって、こうした移行を論理的に起こす。
【００１９】
そうしてから、数 n をひとつ加算して（段階 316 ）、図２の実施形態に関して記載した手法のいずれかと同様の手法を使って、段階 316 でナビゲーションベクトルを算出する。図３の実施形態においては、ナビゲーションベクトルは、相対運動の大きさおよび方向の双方の基準になり、且つ符号の両義性は持たない。その後、処理は段階 304 に戻る。図３に示した方法は、反復式であって連衍と続いてゆく。本発明に係る他の実施形態においては、差分画像に基づくナビゲーションベクトルの算定方法は、反復法では無い。
【００２０】
ここで図４を参照すると、本発明に係る或る実施形態における図２の方法を実施するためのシステムを表す概略図が示されている。システム 400 は、撮像子 402 と、バッファ 404, 406 とを含む。撮像子 402 は、対象物の画像をキャプチャーして、その画像（画像 I(n) ）をバッファ 404 へと送信する。その後、撮像子 402 は次の画像すなわち画像 I(n+1) をキャプチャーする。画像 I(n) がバッファ 404 から伝送されてバッファ 406 内に格納された後に、画像 I(n+1) が伝送されてバッファ 404 内に格納される。本発明に係る別の実施形態においては、画像 I(n) がバッファ 406 内に格納されてから、画像 I(n+1) がキャプチャーされる。本発明に係るなおも別の実施形態においては、バッファへのポインタもしくはアドレスを再割当することによって、こうした移行を論理的に起こす。
【００２１】
その後、画像が差分画像生成器 408 に入力されて、差分画像が生成される。本発明に係る或る実施形態においては、差分画像生成器 408 が加算回路で実現される。相関器 410 は、差分画像の自己相関をとり、その結果を処理回路 412 へと伝送する。その後、処理回路 412 が、自己相関の結果に対して閾値による選択処理（thresholding operation）を行い、自己相関の結果に基づいて相対運動を算定する。
【００２２】
本発明に係る或る実施形態においては、撮像子 402 が、相補型金属酸化膜半導体（CMOS）撮像子と、フィールドプログラマブルゲートアレイ（FPGA）を備えたシステム 400 とによって実現される。本発明に係る他の実施形態においては、撮像子を、他の種の画像キャプチャーデバイスで実現できる。また、システム 400 を、例えば分散型構成部のような別のものを使って実施することも可能である。
【００２３】
本発明に係る或る実施形態においては、クロック 414 は、撮像子 402 に接続される。クロック 414 により、撮像子 402 の行うキャプチャーと、バッファ 404, 406 への画像の伝送とを同期させることが可能となる。本発明に係る或る実施形態においては、このことによって、システム 400 が絶対的な大きさの参照を算定できるようになる。本発明に係る他の実施形態においては、クロック 414 がシステム 400 内には含まれないようにすることもできる。
【００２４】
図５は、本発明に係る或る実施形態における図３の方法を実施するためのシステムを表す概略図を示している。システム 500 は、例えばフィールドプログラマブルゲートアレイ（FPGA）を備えたものとして実施できる。撮像子 402 は、対象物の画像をキャプチャーし、画像（画像 I(n) ）をバッファ 404 へと伝送する。その後、撮像子 402 は次の画像すなわち画像 I(n+1) をキャプチャーする。画像 I(n) がバッファ 404 から伝送されてバッファ 406 内に格納された後に、画像 I(n+1) が伝送されてバッファ 404 内に格納される。本発明に係る別の実施形態においては、画像 I(n) がバッファ 406 内に格納されてから、画像 I(n+1) がキャプチャーされる。本発明に係るなおも別の実施形態においては、バッファへのポインタもしくはアドレスを再割当することによって、こうした移行を論理的に起こす。
【００２５】
その後、画像が差分画像生成器 408 に入力されて、差分画像が生成される。差分画像と、差分画像を生成するために用いられた画像のうちのひとつとの相関を、相関器 502 がとる。図５の実施形態においては、バッファ 404 内に格納された画像 I(n+1) と、差分画像との相関をとる。本発明に係る別の実施形態においては、バッファ 406 内に格納された画像 I(n) と、差分画像との相関をとる。その後、処理回路 412 が、相関の結果に対して閾値による選択処理を行い、相関の結果に基づいて相対運動を算定する。
【００２６】
本発明に係る或る実施形態においては、図４の実施形態において、クロック 414 が撮像子 402 に接続される。クロック 414 により、撮像子 402 の行うキャプチャーと、バッファ 404, 406 への画像の伝送とを同期させることが可能となる。本発明に係る或る実施形態においては、このことによって、システム 500 が絶対的な大きさの参照を算定できるようになる。本発明に係る他の実施形態においては、クロック 414 が、システム 500 内には含まれないようにすることもできる。
【図面の簡単な説明】
【００２７】
本発明に係る実施形態についての以下の詳細な記述を参照し、付図と併せて読むことで、本発明をよりよく理解できるであろう。
【図１】図１は、従来技術に係る光学式マウスの一部分の概略図である。
【図２】図２は、本発明に係る実施形態における差分画像相関に基づいた運動算定のための、第一の方法を示すフローチャートである。
【図３】図３は、本発明に係る実施形態における差分画像相関に基づいた運動算定のための、第二の方法を示すフローチャートである。
【図４】図４は、本発明に係る実施形態における、図２の方法を実施するためのシステムを表したブロック図である。
【図５】図５は、本発明に係る実施形態における、図３の方法を実施するための第一のシステムを表したブロック図である。
【図１】
2008524696.tif 000003
【図２】
2008524696.tif 000004
【図３】
2008524696.tif 000005
【図４】
2008524696.tif 000006
【図５】
2008524696.tif 000007
【国際調査報告】
2008524696.tif 000008
2008524696.tif 000009