"スキャニング装置によりシーケンスで取り込んだ画像フレームの複数のペアの位置合わせで蓄積されたエラーをプロセッサーを用いて補正する画像処理方法であって、第1画像フレームが第2画像フレームと重なる個所で閉鎖ループを特定するステップであって、前記第2画像フレームは前記シーケンスにおいて前記第1画像フレームの前に取り込まれるステップと、前記第1フレームを前記第2画像フレームと位置合わせするステップと、グローバルな制約を用いてグローバルな最適化を適用し、閉鎖ループ内における前記画像フレームの複数のペアの位置合わせに対する位置合わせパラメーターを調節するステップと、を有する画像処理方法。前記位置合わせパラメーターを調節するステップは、複数のグローバルな制約を含むエラー測定を計算するステップを有する請求項1に記載の画像処理方法。前記グローバルな制約は3つの独立したスカラー制約を有する請求項2に記載の画像処理方法。前記複数のペアの位置合わせに合致した特徴点のペアを抽出するステップをさらに有する請求項2に記載の画像処理方法。前記エラー測定を計算するステップは合致した特徴点のエラーを含む請求項4に記載の画像処理方法。前記閉鎖ループにおいて位置合わせの中断を特定するステップであって、前記位置合わせの中断は前記シーケンスにおいて2つの連続フレームiおよびi1の間にあるステップと、前記閉鎖ループにおけるすべての位置合わせエラーをフレームiおよびi1間のペアの位置合わせに割り当てるステップと、前記フレームiおよびi1の変換行列に従いペアの変換パラメーターを更新するステップと、をさらに有する請求項1に記載の画像処理方法。画像フレームのすべてのペアの位置合わせを固定されたものとしてマークするステップをさらに有する請求項1に記載の画像処理方法。前記閉鎖ループ内において固定されたものとしてマークされた画像フレームのペアの位置合わせに対する位置合わせパラメーターはグローバルな最適化の際調節されない請求項7に記載の画像処理方法。スキャニング装置によりシーケンスで取り込んだ画像フレームの複数のペアの位置合わせで蓄積されたエラーを補正する画像処理装置であって、プロセッサーを有し、前記プロセッサーは、第1画像フレームが第2画像フレームと重なる個所で閉鎖ループを特定するステップであって、前記第2画像フレームは前記シーケンスにおいて前記第1画像フレームの前に取り込まれるステップと、前記第1フレームを前記第2画像フレームと位置合わせするステップと、グローバルな制約を用いてグローバルな最適化を適用し、閉鎖ループ内における前記画像フレームの複数のペアの位置合わせに対する位置合わせパラメーターを調節するステップと、を実行する、画像処理装置。前記位置合わせパラメーターを調節するステップは、複数のグローバルな制約を含むエラー測定を計算するステップを有する請求項9に記載の画像処理装置。前記グローバルな制約は3つの独立したスカラー制約を有する請求項10に記載の画像処理装置。前記プロセッサーは、前記複数のペアの位置合わせに合致した特徴点のペアを抽出するステップをさらに実行する請求項10に記載の画像処理装置。前記エラー測定を計算するステップは合致した特徴点のエラーを含む請求項12に記載の画像処理装置。前記プロセッサーはさらに、前記閉鎖ループにおいて位置合わせの中断を特定するステップであって、前記位置合わせの中断は前記シーケンスにおいて2つの連続フレームiおよびi1の間にあるステップと、前記閉鎖ループにおけるすべての位置合わせエラーをフレームiおよびi1間のペアの位置合わせに割り当てるステップと、前記フレームiおよびi1の変換行列に従いペアの変換パラメーターを更新するステップとを実行する請求項9に記載の画像処理装置。前記プロセッサーはさらに、前記画像フレームのすべてのペアの位置合わせを固定されたものとしてマークするステップを実行する請求項9に記載の画像処理装置。前記閉鎖ループ内において固定されたものとしてマークされた画像フレームのペアの位置合わせに対する位置合わせパラメーターはグローバルな最適化の際調節されない請求項15に記載の画像処理装置。プロセッサーにより実行されるとスキャニング装置によりシーケンスで取り込んだ画像フレームの複数のペアの位置合わせで蓄積されたエラーを補正するコンピューター読み取り可能な命令を有する1つ以上の有形の非一時的なコンピューター読み取り可能な媒体であって、前記プロセッサーは、第1画像フレームが第2画像フレームと重なる個所で閉鎖ループを特定するステップであって、前記第2画像フレームは前記シーケンスにおいて前記第1画像フレームの前に取り込まれるステップと、前記第1フレームを前記第2画像フレームと位置合わせするステップと、グローバルな制約を用いてグローバルな最適化を適用し、閉鎖ループ内における前記画像フレームの複数のペアの位置合わせに対する位置合わせパラメーターを調節するステップとを実行する、コンピューター読み取り可能な媒体。前記位置合わせパラメーターを調節するステップは、複数のグローバルな制約を含むエラー測定を計算するステップを有する請求項17に記載のコンピューター読み取り可能な媒体。前記プロセッサーはさらに、前記複数のペアの位置合わせに合致した特徴点のペアを抽出するステップを実行することを有する請求項18に記載のコンピューター読み取り可能な媒体。前記プロセッサーは前記複数のペアの位置合わせに合致した特徴点のペアを抽出する請求項18に記載のコンピューター読み取り可能な媒体。前記エラー測定を計算するステップは合致した特徴点のエラーを含む請求項20に記載のコンピューター読み取り可能な媒体。前記プロセッサーはさらに、前記閉鎖ループにおいて位置合わせの中断を特定するステップであって、前記位置合わせの中断は前記シーケンスにおいて2つの連続フレームiおよびi1の間にあるステップと、前記閉鎖ループにおけるすべての位置合わせエラーをフレームiおよびi1間のペアの位置合わせに割り当てるステップと、前記フレームiおよびi1の変換行列に従いペアの変換パラメーターを更新するステップと、を実行する、請求項17に記載のコンピューター読み取り可能な媒体。前記プロセッサーはさらに画像フレームのすべてのペアの位置合わせを固定されたものとしてマークする請求項17に記載のコンピューター読み取り可能な媒体。前記閉鎖ループ内において固定されたものとしてマークされた画像フレームのペアの位置合わせに対する位置合わせパラメーターはグローバルな最適化の際調節されない請求項23に記載のコンピューター読み取り可能な媒体。文書上を手で動かされるこの種の小型スキャナーに見られる問題のいくつかに粗悪な画質およびスキャンされた複数部分の粗悪な位置合わせが挙げられる。本発明の画像処理方法は、スキャニング装置によりシーケンスで取り込んだ画像フレームの複数のペアの位置合わせで蓄積されたエラーをプロセッサーを用いて補正する画像処理方法であって、第1画像フレームが第2画像フレームと重なる個所で閉鎖ループを特定するステップであって、前記第2画像フレームは前記シーケンスにおいて前記第1画像フレームの前に取り込まれるステップと、前記第1フレームを前記第2画像フレームと位置合わせするステップと、グローバルな制約を用いてグローバルな最適化を適用し、閉鎖ループ内における前記画像フレームの複数のペアの位置合わせに対する位置合わせパラメーターを調節するステップと、を有することを特徴とする。また、本発明の画像処理方法において、前記位置合わせパラメーターを調節するステップは、複数のグローバルな制約を含むエラー測定を計算するステップを有することを特徴とする。また、本発明の画像処理方法において、前記グローバルな制約は3つの独立したスカラー制約を有することを特徴とする。また、本発明の画像処理方法において、前記複数のペアの位置合わせに合致した特徴点のペアを抽出するステップをさらに有することを特徴とする。また、本発明の画像処理方法において、前記エラー測定を計算するステップは合致した特徴点のエラーを含むことを特徴とする。また、本発明の画像処理方法において、前記閉鎖ループにおいて位置合わせの中断を特定するステップであって、前記位置合わせの中断は前記シーケンスにおいて2つの連続フレームiおよびi1の間にあるステップと、前記閉鎖ループにおけるすべての位置合わせエラーをフレームiおよびi1間のペアの位置合わせに割り当てるステップと、前記フレームiおよびi1の変換行列に従いペアの変換パラメーターを更新するステップと、をさらに有することを特徴とする。また、本発明の画像処理方法において、画像フレームのすべてのペアの位置合わせを固定されたものとしてマークするステップをさらに有することを特徴とする。また、本発明の画像処理方法において、前記閉鎖ループ内において固定されたものとしてマークされた画像フレームのペアの位置合わせに対する位置合わせパラメーターはグローバルな最適化の際調節されないことを特徴とする。ここで、本発明の画像処理装置は、スキャニング装置によりシーケンスで取り込んだ画像フレームの複数のペアの位置合わせで蓄積されたエラーを補正する画像処理装置であって、プロセッサーを有し、前記プロセッサーは、第1画像フレームが第2画像フレームと重なる個所で閉鎖ループを特定するステップであって、前記第2画像フレームは前記シーケンスにおいて前記第1画像フレームの前に取り込まれるステップと、前記第1フレームを前記第2画像フレームと位置合わせするステップと、グローバルな制約を用いてグローバルな最適化を適用し、閉鎖ループ内における前記画像フレームの複数のペアの位置合わせに対する位置合わせパラメーターを調節するステップと、を実行することを特徴とする。また、本発明の画像処理装置において、前記位置合わせパラメーターを調節するステップは、複数のグローバルな制約を含むエラー測定を計算するステップを有することを特徴とする。また、本発明の画像処理装置において、前記グローバルな制約は3つの独立したスカラー制約を有することを特徴とする。また、本発明の画像処理装置において、前記プロセッサーは、前記複数のペアの位置合わせに合致した特徴点のペアを抽出するステップをさらに実行することを特徴とする。また、本発明の画像処理装置において、前記エラー測定を計算するステップは合致した特徴点のエラーを含むことを特徴とする。また、本発明の画像処理装置において、前記プロセッサーはさらに、前記閉鎖ループにおいて位置合わせの中断を特定するステップであって、前記位置合わせの中断は前記シーケンスにおいて2つの連続フレームiおよびi1の間にあるステップと、前記閉鎖ループにおけるすべての位置合わせエラーをフレームiおよびi1間のペアの位置合わせに割り当てるステップと、前記フレームiおよびi1の変換行列に従いペアの変換パラメーターを更新するステップと、を実行することを特徴とする。また、本発明の画像処理装置において、前記プロセッサーはさらに、前記画像フレームのすべてのペアの位置合わせを固定されたものとしてマークするステップを実行することを特徴とする。また、本発明の画像処理装置において、前記閉鎖ループ内において固定されたものとしてマークされた画像フレームのペアの位置合わせに対する位置合わせパラメーターはグローバルな最適化の際調節されないことを特徴とする。さらに、本発明のコンピューター読み取り可能な媒体は、プロセッサーにより実行されるとスキャニング装置によりシーケンスで取り込んだ画像フレームの複数のペアの位置合わせで蓄積されたエラーを補正するコンピューター読み取り可能な命令を有する1つ以上の有形の非一時的なコンピューター読み取り可能な媒体であって、前記プロセッサーは、第1画像フレームが第2画像フレームと重なる個所で閉鎖ループを特定するステップであって、前記第2画像フレームは前記シーケンスにおいて前記第1画像フレームの前に取り込まれるステップと、前記第1フレームを前記第2画像フレームと位置合わせするステップと、グローバルな制約を用いてグローバルな最適化を適用し、閉鎖ループ内における前記画像フレームの複数のペアの位置合わせに対する位置合わせパラメーターを調節するステップと、を実行することを特徴とする。また、本発明のコンピューター読み取り可能な媒体は、前記位置合わせパラメーターを調節するステップは、複数のグローバルな制約を含むエラー測定を計算するステップを有することを特徴とする。また、本発明のコンピューター読み取り可能な媒体は、前記プロセッサーはさらに、前記複数のペアの位置合わせに合致した特徴点のペアを抽出するステップを実行することを有することを特徴とする。また、本発明のコンピューター読み取り可能な媒体は、前記プロセッサーは前記複数のペアの位置合わせに合致した特徴点のペアを抽出することを特徴とする。また、本発明のコンピューター読み取り可能な媒体は、前記エラー測定を計算するステップは合致した特徴点のエラーを含むことを特徴とする。また、本発明のコンピューター読み取り可能な媒体は、前記プロセッサーはさらに、前記閉鎖ループにおいて位置合わせの中断を特定するステップであって、前記位置合わせの中断は前記シーケンスにおいて2つの連続フレームiおよびi1の間にあるステップと、前記閉鎖ループにおけるすべての位置合わせエラーをフレームiおよびi1間のペアの位置合わせに割り当てるステップと、前記フレームiおよびi1の変換行列に従いペアの変換パラメーターを更新するステップと、を実行することを特徴とする。また、本発明のコンピューター読み取り可能な媒体は、前記プロセッサーはさらに画像フレームのすべてのペアの位置合わせを固定されたものとしてマークすることを特徴とする。また、本発明のコンピューター読み取り可能な媒体は、前記閉鎖ループ内において固定されたものとしてマークされた画像フレームのペアの位置合わせに対する位置合わせパラメーターはグローバルな最適化の際調節されないことを特徴とする。本発明の概要は以下のとおりとなる。すなわち、文書を画像フレームのシーケンスとしてスキャンする場合、例としてマウススキャナーまたは他の画像取り込み装置を例えば文書を左から右に横断させ、次に下に動かし、その後右から左に横断させる場合、各フレームは通常その右および/または左のフレーム、ならびにその上および/または下のフレームと重なる。シーケンスにおいて以前に取り込んだ直前のフレームの前に取り込まれたフレームに戻ると、現在のフレームをこの以前に取り込んだフレームと位置合わせできる場合ループ閉鎖状態が検出され、これは例えば現在のフレームの上または下にある画像部分であり得る。ペアの位置合わせはシーケンスにおける1つのフレームと次に取り込まれたフレームとの位置合わせである。画像のシーケンスが縫合され文書の合成画像が形成されると、各ペアの位置合わせはそれ自体が成功してもいくらかのエラーを蓄積する。この数ピクセル程度であり得る小さなエラーは1つの画像フレームがスキャンシーケンスにおいて次の画像フレームと位置合わせされた場合は目立たない。しかしこのエラーはより多くの画像が縫合されると蓄積する。画像のシーケンスで後の方に来る画像がシーケンスではるかに前の画像と重なると、このエラーは見えるようになり、縫合された画像において中断や不一致を作り出す可能性がある。本発明は画像のいくつかのペアの位置合わせをグローバルな制約で最適化することにより蓄積されたエラーを低減し補正する。グローバルな制約はループを閉鎖し、それにより、より古い画像と重なる新しい画像間の可視的な差を打ち消す。ペアの位置合わせから蓄積エラーのために、縫合された画像はループに遭遇するとぼやけたり、隙間ができたりする可能性がある。蓄積エラーを取り除くために1つのループにおけるペアの位置合わせすべてをグローバルな最適化でループを補正するので、ペアの位置合わせエラーのみならずループ閉鎖制約を有するグローバルな位置合わせエラーも最小化し、それにより蓄積エラーは逆方向のエラー補正後最小化される。エラー関数はグローバルな制約ループ閉鎖制約エラーベクターに取り入れ、蓄積エラーとともにペアの位置合わせエラーを最小化できるようにする。発明のより完全な理解とともに他の目的および成果は以下の説明および添付図面と併せて以下の説明およびクレームにより明らかになり理解されよう。以下に実施の形態を説明する。図1および2は本発明のマウススキャナー10およびシステムの概略図である。ハウジング12は典型的なコンピューターマウスのような形であることが好ましい。ハウジング12内にはカメラ14がある。カメラ14は特にデジタル画像化に適したCMOSセンサー型であることが好ましい。しかし、CCD電荷結合素子型の画像取り込み装置など、スキャンされた区域をデジタル化する他の種類の装置を用いることができる。マウススキャナー10の画像取り込み部分はマウススキャナー10が文書上で動かされる際その下にある文書の部分を照らすよう配置されるLEDを含むことができる。LEDが好ましい光源であるが、マウススキャナー10のサイズおよび構成により白色光または蛍光灯など他の種類も可能な代替として考慮することができる。照明を増強または向上させるために光反射鏡も備えることができる。画像はマウススキャナーのハウジング12の底に形成されたスキャニング窓28を通して取り込まれる。本発明は本明細書において理解のし易さの目的から特定の装置、すなわちマウススキャナー、に関して説明されるが、本発明の態様はデジタルカメラ、ビデオカメラ、スキャナー、およびX線機器またはMRI装置など他の検出装置などの、入力データを取得する他の装置に適用されることが理解されよう。また、画像の用語も同様にこのような装置により取得された入力データに適用される。一旦スキャンボタンがオペレーターにより押されると、マウススキャナー10は文書にわたり動かされ、マウススキャナー10の位置は4個のレーザーの運動センサー22により示される。スキャンボタンはスキャニングプロセスを制御する単なる1つの選択肢で、自動的に制御することもできる。これらのレーザーの運動センサー22はマウススキャナー10の底に位置し、図1においてセンサーS1、S2、S3、およびS4として図示される。これらのレーザーの運動センサー22は1つの取り込み画像フレームの次に対する相対的位置を表す位置指示データを提供する。各取り込みフレームはタイルとみなすこともできる。フレームまたはタイルは少なくとも最初はレーザーの運動センサー22により示される相対的位置に基づき縫合される。合成画像は例えば合成画像を形成する隣接縫合画像間の対応を測定する画像処理を用いて形成精緻化される。位置検出にレーザーの運動センサーを用いることが好ましいが、代わりの位置センサーには速度、加速、および/またはジャイロセンサーが含まれる。マウススキャナー10はさらにFPCフレキシブルプリント回路のメインボード24を含む。メインボード24はマウススキャナー10における活動および処理を制御し、例えばUSBコネクターポート経由で外付けのPCと通信する。図2はメインボードとその外付けPCホストコンピューターへの接続の概略的表示である。メインボード24は介在インターフェイス202によりホストコンピューター250PCとデータを交換する。アプリケーションプログラムおよび画像取り込み装置ドライバーもアクセス用にホストコンピューター250に記憶することができる。ドライバーはメインボード24からのさまざまな信号およびデータを受信し解釈し、ホストコンピューター250からユーザーに必要な情報を提供することができる。ホストコンピューター250によりデータが送信されると、インターフェイス202はデータを受信し、RAM204の一部を形成する受信バッファーに記憶する。RAM204は例えばアドレス化によりいくつかの部分に分割し、受信バッファーまたは送信バッファーなど異なるバッファーとして割り当てることができる。デジタル画像データなどのデータもカメラ14、フラッシュEEPROM210、またはROM208により取得することができる。例えば、カメラ14は本のページまたは写真など文書の一部分をスキャンすることによりデジタル画像を生成することができる。このデジタル画像は次にRAM204の受信バッファーまたは送信バッファーに記憶することができる。プロセッサー206が例えばROM208またはフラッシュEEPROM210に記憶されるコンピューター実行可能な命令を用いて本発明の方法など特定の機能または機能のグループを実施する。RAM204の受信バッファーにおけるデータが例えばデジタル画像である場合、プロセッサー206または恐らくコンピューター250における1つ以上のプロセッサーはデジタル画像に本発明の行為を実施し、例えば位置情報および特徴対応に基づきデジタル画像を他のデジタル画像と縫合しページまたは写真全体を表す合成画像を作成することができる。次に例えば追加処理、プリンター202での印刷、プロジェクター264での投影、またはハードディスク260への記憶のためにホストコンピューター250に画像を転送する前に撮像パイプラインにおいてさらにデジタル画像に処理を実施することができる。本発明の方法および本明細書に開示されるその変形はコンピューター実行可能な命令またはデータ構造を搭載し、または有する有形の非一時的なコンピューター読み取り可能な媒体を用いて実施することができる。このようなコンピューター読み取り可能な媒体は汎用または特殊用途のコンピューターのプロセッサーでアクセスできる任意の利用可能な媒体であって良い。限定ではなく例として、このようなコンピューター読み取り可能な媒体はRAM、ROM、EEPROM、CD‐ROMもしくは他の光ディスク記憶装置または他の磁気記憶装置、またはコンピューター読み取り可能な命令またはデータ構造の形でプログラムコードを搭載または記憶するために用い得、汎用または特殊用途のコンピューターのプロセッサーによりアクセスできる他の任意の媒体であって良い。上述の組み合わせもコンピューター読み取り可能な媒体の範囲に含まれるべきである。コンピューター読み取り可能な命令は例えば、汎用または特殊用途のコンピューターのプロセッサーに特定の機能または機能のグループを実施される命令およびデータからなる。本明細書において主題は方法行為に固有の言葉で説明されるが、添付クレームに定義される主題は必ずしも本明細書において説明される具体的な行為に限定されないことが理解されよう。逆に、本明細書において説明される具体的な行為はクレームを実施するための形態の例として開示される。上述のように、マウススキャナー10は4個のレーザーの運動センサーおよびCMOSセンサー型カメラ14を含み、マウススキャナーハウジング12の下にある画像を取り込む。スキャナーボタンがオペレーターにより押されるとまたは自動的スキャニングプロセスが開始されると、メインボード24により例えばROM208もしくはフラッシュEEPROM210に記憶される命令を実施するプロセッサー206により実施される画像取得機能はカメラ14から生の画像データおよびレーザーの運動センサー22からセンサー座標および状態を戻す。レーザーの運動センサーの状態は持ち上げビットを含む。持ち上げビットはセンサーが表面から持ち上げられた、すなわち正確な位置情報を提供するにはスキャンされている文書の表面あら離れ過ぎている、ことを示す。これは折られたり曲げられたりしたページ、または本の背など文書表面が平坦でない場合に起こり得る。持ち上げビットが設定されると、そのセンサーからの位置データはマウススキャナーの動きを正確に表さないかも知れず、無効で本発明において関連フレームまたはタイルの位置合わせに用いられないかも知れない。カメラ14の解像度は例えば300dpiである。オペレーターによりマウススキャナー10がページの横に下にと動かされるにつれ画像は例えば1秒当たり10回取得される。通常オペレーターによるマウススキャナー10の動きは1行横方向に、1列下に、次の行を逆方向に横断し、以下同様である。処理の負荷がピークにある際フレームの脱落を避けるために、画像の取得は別のスレッドで実行することができ、または実施形態によってはより高い優先順位でも良い。05秒を超える遅延は受け入れられないので、主スレッドに画像を送信するFIFOのサイズは5を超えるべきでない。一実施形態において画像取得手順はマウスが動かないとフレームを落とす。これはCPUが画像処理に使う時間を節約しループ補正の負荷を削減する。しかし、4つの持ち上げビットがすべて設定されているフレームは落とすべきでなく、オペレーターによりマウススキャナー10がページから完全に持ち上げられるそれによりスキャニングを停止すべきことを示すとアプリケーションが画像取得手順を停止できるように処理されるべきである。図3は本発明の画像取得手順の全般的な流れ図である。手順はステップ710で始まり、マウススキャナー10がスキャンされる文書上に置かれる。オペレーターがスキャンボタン20を押しステップ712において新フレームがカメラ14により取り込まれるとスキャニングが開始される。新フレームが取り込まれると同時にステップ714においてレーザーの運動センサー22からの位置データ入力によりそのフレームの位置が示される。そのフレームの生の画像VGAが例えばコンピューター250に記憶されステップ716、レーザーの運動センサー22からのその位置データ入力と相関される。マウススキャナー10において、不均一な照明およびカメラ14のレンズが安価であると生の画像において目立つ影をもたらし得る。本発明の実施形態において、生の画像VGAに対し影補正が適用されステップ718、補正された画像VGAが形成され生の画像の代わりにコンピューター250に記憶されるステップ720。次に補正された画像の歪み除去およびモザイク除去がステップ722において行なわれる。ルックアップ表に基づく歪み除去が用いられる。ルックアップ表は較正ファイルに記憶されている。優良なモザイク除去アルゴリズムは計算コストが高い。処理時間の方が画質より優先順位が高いようで、異なる色のピクセルを特別に位置合わせすることで充分と判断される。図4はベイヤーモザイクのピクセルクワッドであるが、出力カラー画像において各クワッドに対し1ピクセルを生成する必要がある。この結果、元のVGA画像の最大解像度の4分の1QVGAとなるステップ724。緑のピクセル値は生の画像における2つの緑ピクセルを平均化することにより得られるステップ726。色チャンネル間のオフセットに対応するために、歪み除去のルックアップ表の座標は赤および青ピクセルについて各々-14,14および14,-14だけ変更される。歪み除去されたカラー画像を得るには双一次補間が充分のはずである。他方、位置合わせに用いられる画像の画質は重要である。生の画像事実上320×480における緑チャンネルのピクセルを取り欠けたピクセルを補間してVGAサイズの画像を得ることが可能である。歪み除去において双三次補間が好ましい。従って、補間はこのシナリオにおいて2回行なわれる。あるいは、生の画像における元の緑ピクセルに双三次補間を適用することができる。この場合、走査線は45°回転されたように見える。図5は歪み除去における選択肢を図示する。好ましい実施形態は位置合わせ用にQVGAサイズの緑チャンネル画像ステップ726よりを用いる。その画像におけるピクセルは各クワッドの2つの緑ピクセルを平均化することにより得られる。本発明において画像処理の各ステップが実施されて行くにつれ、得られた画像はさらに処理、位置合わせ、または表示するためにコンピューター250に記憶される。得られた各画像フレームはその対応位置データといっしょに記憶される。前述のとおり、レーザーの運動センサー22の位置データはレーザーの運動センサー22がスキャンされる文書から持ち上げられるとマウススキャナー10のファームウェアにより例えばEEPROM210において設定される持ち上げビットを含む。持ち上げられたセンサーは有効な位置座標を生成しないので、これらはステップ728において検出され、変換推定ステップ730の1段階において無視される。位置合わせの一部または準備行為として、隣接フレーム間の相対的変換は双方の画像にとって有効なセンサー座標に基づき推定される。変換推定図3におけるステップ730が以下の部分で詳細に説明される。変換推定ステップ730変換推定プロセスは図6の流れ図に全般的に示される。プロセスはスキャンボタン20が押されることで始まるステップ1210。一旦スキャンボタン20が押されると、画像取り込み装置、すなわちカメラ14、はマウススキャナー10がオペレーターによりページを横に下にと動かされるにつれフレーム、すなわちフレームi、フレームi1、フレームi2、等々を例えば1秒当たり10回で取り込み始める。前述のとおり、新フレームが取り込まれるのと同時にそのフレームの位置はレーザーの運動センサー22からの位置データ入力により示されるステップ1212。2つのフレームより2個から4個のセンサーの位置データが与えられると、変換パラメーターを推定することができるステップ1214。周知のとおり、変換パラメーターは1つのフレームにおけるピクセル位置を別のフレームの画像空間、または共通の画像空間、に変換またはマップすることを可能にする。一旦変換パラメーターが得られると、2つのフレームを縫合または融合して合成画像を形成することができる。本発明が対処する問題の1つは1フレームを別のフレームに関連付ける要石である位置データが必ずしも正確でないということである。各フレームの位置データを正確に推定する必要がある。そうするために、パラメーター推定に使用する位置データの正確さの信頼測定を開発したステップ1216。センサーがページ落ちまたは無効正しくない位置データを報告であるかの判定はページ落ちの検出と題する下記の部分に詳細に説明される。これは図6において一般的にステップ1218として示される。一般的に、各センサーはセンサーが位置データを報告するにはページから離れ過ぎていることを示す持ち上げビットを報告する。しかし、時々センサーが持ち上げられてもページ落ちこの状態は報告されない。従って本発明において、位置合わせエラーを用い経験的に判定された閾値と比較して少なくとも1つのセンサーが実際ページ落ちおよび/または無効であるかを決める。加えて、センサー位置の幾何学的特性を検討するのに重みが用いられる。4個のセンサーが正方形に形成されていない場合、精度を向上させるために水平および垂直のペアからのエラーは異なって加重される。例えば、図1に示される実施形態において、4個のセンサーS1‐S4は矩形に形成されているので、水平および垂直ペアからのエラーは異なって加重される。本発明の一実施形態において、持ち上げられたセンサーに対し重みがゼロである場合エラー要素を取り除く図6のステップ1220。その結果、ヤコビ行列JはK×3となる。K2mで、mm3であることは必要なので少なくとも2つの有効なセンサーの読み出しが必要となる。一旦無効なセンサーデータを除外すると、上記に要約したように変換パラメーターを再推定しステップ1222、センサーデータのエラーを再計算し、変換パラメーターが真であるという信頼を再測定するステップ1224。一旦変換パラメーターが再推定されるとプロセスのこの部分は終了しステップ1226、プロセスはフレームの位置合わせに進む図3のステップ732。しかし、位置合わせに進む前に以下の部分で信頼測定およびページ落ちの検出を考察する。信頼測定上述のようにセンサーの位置合わせエラーを取り除いた上、次に変換パラメーターの信頼測定を実施する。分散行列分散-共分散行列とも呼ばれる、Qxx、はQxx=JtWJ1と定義される。分散行列、Qxx、は各未知数の分散と各未知数のペアの共分散を含む。任意の量のセットについて、エラー楕円を計算することができる。楕円の寸法および配向は分散行列の係数から計算される。エラー楕円は任意の信頼水準について計算できる。選択された信頼に対しフィッシャー分布を計算する必要がある。ここで95信頼水準のエラー楕円を計算することができる。95信頼のエラー楕円は真のパラメーターが楕円で指定された面積内にある確率が95あることを意味する。予想通り、計算により多くのセンサーが使用されると楕円の面積はより小さくなる。推定値が真のパラメーターにより近い場合も楕円面積を減らす。ページ落ちの検出図6のステップ1218レーザーセンサー22がページ落ちしていることは、特にセンサーが正しく持ち上げビットを報告しない場合、位置合わせの精度に影響するので大きな問題である。センサー推定の信頼測定に関し上述のように、Tx,Tyのエラー楕円を推定することができる。分散行列分散-共分散行列とも呼ばれる、Qxx、はQxx=JtWJ1と定義される。位置合わせエラーが大きいと、少なくとも1つのセンサーはページ落ちしていると結論される。エラーを閾値と比較して、このような結論を得る。特定の装置に対し閾値は1つ以上のセンサーをページ落ちさせさまざまな条件の下で1つ以上の画像をスキャンし、これらのテスト条件の各々についてエラーを測定することにより経験的に決められる。ページ落ちのセンサーの検出および再推定センサーはページ落ちしていると位置値を増やさなくなるのでページ落ちしたセンサーは運動長がより短いという仮定に基づきセンサーを無効と設定する。以下にプロセスステップを要約する。ステップ1:最初にすべて持ち上げられていないセンサーを用いて変換を推定し、パラメーター推定からSe値を計算する。ステップ2:SeがThigh例えば5など経験的に決められた閾値を超え、持ち上げを報告していないセンサーがTlow例えば3など経験的に決められた閾値を超えてある場合、有効なセンサーの運動ベクターを計算する。ステップ3:平均未満の運動長を有するセンサーを無効として選択する。次に図3においてステップ732として一般的に示される本発明の位置合わせの態様を説明する。位置合わせ図3のステップ732本発明において画像のペアを縫合する方法が提供される。本発明の縫合アルゴリズムは2つの画像の画像データからの位置合わせエラーとともにセンサーのセットからの推定エラーからなるコスト関数の最小化が関わる。コスト関数における重み関数は持ち上げおよびページ落ちとともにセンサー読み取りの精度尺度を含むセンサーエラーを考慮してセンサー推定の信頼値から引き出される。本発明のアルゴリズムは重みを用いてセンサー精度に対し画像位置合わせ精度を調節し2つの画像を最も良く縫合する位置合わせパラメーターのセットを生み出す。この結果、少ない内容の区域ではセンサーデータが画像データより重きがある一方、豊富な内容の区域では画像データがセンサーデータより重きがある。従って、ペアの画像位置合わせはセンサーデータおよび画像データ双方からの情報を融合することで、より高い精度を達成できる。初期位置合わせパラメーター用に大きなエラーを扱い最小化プロセスにおいて極小を避けるために、画像ペアはより低い解像度で位置合わせした後高解像度に精緻化することができる。詳細な説明を以下に提供する。角の一致に基づくペアの画像位置合わせは画像のペアの重なる区域内に顕著な角がないか少ない場合失敗するか、正確でないかもしれない。この結果、特徴に基づく方法またはセンサーデータを用いて初期の位置合わせから位置合わせを精緻化する必要があるかもしれない。本発明において、位置合わせは画像データとセンサーデータを統合することにより行なわれる。鋼体変換モデルに基づくペアの画像位置合わせ図7はフレームiおよびフレームi1の2フレームとフレームiにおけるピクセル点p’およびフレームi1における対応ピクセル点pとの関係を図示する。2つのフレームは共通のxーy座標空間において互いにθの角度で配置され、その中の黒点で特定される重なり区域を有する。センサーデータを用いた位置合わせセンサーデータからの位置合わせパラメーター推定は前述の変換推定の考察において説明される。RAM204において例えばpt1とpt2と称するアレーに記憶される有効なセンサー座標のマッチされたペアが抽出される。センサーデータから、エラーtx,ty,thetaを最小化する反復方法に基づく推定パラメーターおよび転換STran用のエラー楕円の半軸に基づき信頼測定を得る。画像データを用いた位置合わせ画像データを用いた位置合わせは最小化問題として定式化される。2つのフレームを位置合わせするために、センサーデータから推定された位置合わせパラメーターに基づき重なり区域を抽出することができる。図8はマウススキャナー10でスキャンされ位置をレーザーセンサー22で記録されたフレーム16および17の2フレームを図示する。センサーデータに基づき、位置合わせパラメーターの初期推定は前述部分に説明したとおり、Tx=182946、Ty=-20619、およびTheta=-00320で得られる。転換用のエラー楕円の半軸は07281で、95の信頼水準にある。重なり区域はテンプレートとして用いられる第2フレーム、フレーム17、から抽出される。tmplt=SecondImgy1:y2,x1:x2。図9は重なり区域を図示する。tmpltの矩形の4点は、[x1,y1],[x2,y1],[x1,y2],[x2,y2]である。画像データに基づく位置合わせにはテンプレート画像第2フレームにおけるピクセルを基準画像第1フレームにおけるピクセルに合致させることが関わる。Tをn×mの画像テンプレートとすると、これは行列とみなすことができる。Iを基準画像とし、IWx;pは現在の位置合わせパラメーターpによりテンプレート画像におけるピクセルxに対応するマップされた点Wx;pの強度であるとする。照明が一定であると仮定すると、テンプレート画像Txにおけるピクセルxの強度は位置合わせパラメーターpが正しい場合基準画像においてマップされたピクセルの強度IWx;pと整合しまたは同じとなる。最小化問題を解くために、ガウスニュートン、ニュートン、最急降下、またはESM法を用いることができる。好ましい実施形態はルーカス-金出アルゴリズムこれはガウスニュートン勾配降下非線形最適化アルゴリズムであるに基づいている。センサーデータまたはいくつかの整合した角のペアからの初期パラメーターは最適な解に近いと仮定するので勾配最小二乗最適化が面積に基づく位置合わせに用いられる。画像およびセンサーデータを統合した重み関数EIおよびEsからの2つのエラー関数を融合するために、正しい重み関数を見出す必要がある。重みを調節することにより、EIとEsをどのようにバランスするかを調節することができる。センサーデータが信頼できる場合、センサーデータをより信頼する。センサーデータが信頼できない場合、画像データからの強度に基づく位置合わせをより信頼する。STranを用いてセンサーの信頼を評価するので、STranはエラー楕円の半軸である。STranがより大きいことはセンサーデータがより信頼できないことを意味する。センサーデータが信頼できる場合、エラー楕円の半軸、STran、は0に近い。重みは非常に大きくなる。その結果、センサーデータをはるかに多く信頼できる。センサーデータが信頼できない場合、エラー楕円の半軸、STran、は非常に大きい。重みは非常に小さくなる。その結果、センサーデータへの信頼ははるかに少なくなる。加えて、2つのセンサーのみからSTranを推定する場合すべてのセンサーペアを同等に扱う。予備的知識から、2つのセンサーのより長いペアから推定されたエラーは2つのセンサーのより短いペラから推定されたエラーよりはるかに小さい。その結果、STranの計算は特定のセンサー形状に適合するよう修正する必要があるかもしれない。位置合わせの低解像度から高解像度への精緻化上述の手順における仮定はセンサーからの初期パラメーターが最適または真の値に近いということである。センサーデータが信頼できない場合、位置合わせパラメーターの初期推定は真の値とはかけ離れている。その結果、収束、または極小に収束、しないかもしれない。エラー楕円の半軸に基づき、真の値が何であるべきか95の信頼水準で分かる。センサーが信頼できる場合、STranは典型的には1ピクセル未満と小さく、より低い解像度における位置合わせは必要ない。本発明の方法は初期の推定が真の値より5から8ピクセル離れている場合でも画像を位置合わせすることが示されている。センサーが信頼できない場合、STranは通常3から10ピクセルであるので、12の低解像度において当方法を用いて位置合わせをすることができる。非常に大きいエラーがある場合、STranは20ピクセルを超えるかも知れないので、14とさらに低い解像度で当方法を用いて位置合わせをすることができる。図10は全般的な流れを図示する。ステップ2210において、上述の変換推定ステップ730と題する部分でまとめたようにセンサーデータ、推定された変換パラメーター、およびセンサーの信頼が得られる。センサーの信頼が高い、すなわちSTranが典型的には数ピクセル未満と小さい場合ステップ2212ではいが戻される、上述のようにフレームを高解像度で位置合わせするステップ2214。センサーの信頼が低い、すなわちSTranが典型的には数ピクセルを超えるほど大きい場合ステップ2212でいいえが戻される、基準およびテスト画像すなわち第2および第1フレームをダウンサンプルしてより低い解像度を達成しステップ2218、上述のようにフレームをまず低解像度で位置合わせする。選ばれる低解像度、14または12、はエラーの程度に依存する。この初期位置合わせの後、次により高い解像度の画像フレームを用いて上述の位置合わせステップを繰り返すことにより再度フレームの位置合わせを精緻化する。ループ補正図3のステップ738以下は本発明のループ補正態様の考察である。ペアの位置合わせに基づくペアの画像縫合は各フレームがその前のフレームのみと重なる場合エラーの蓄積をもたらす可能性がある。画像をスキャンする場合、マウススキャナー10は例えば文書を左から右に横断し、次に下に動かされ、その後右から左に横断する。各フレームは通常その右および/または左のフレーム、ならびにその上および/または下のフレームと重なる。以前に取り込んだ直前のフレームの前に取り込まれたフレームに戻ると、これは例えば現在のフレームの上または下にある画像部分であり得るが、現在のフレームをこの以前に取り込んだフレームと位置合わせできる場合ループ閉鎖状態が検出される。一般的にペアの位置合わせはすべて成功すると仮定する。しかし、中断が起こった場合ペアの位置合わせは利用できなくなる。中断後の新しいフレームは、閉鎖ループが特定されるまでセンサーデータからの変換行列に従い新しい位置に割り当てられる。ループ閉鎖補正はエラーを中断が起こったフレームに割り当てる。中断はフレームiおよびi1の間に起こったと仮定する図11。この場合、以前にフレームiの前に取り込まれたフレームnがフレームi1と位置合わせされ閉鎖ループを形成しなければならない図12。一旦Tiが計算されると、閉鎖ループは固定される。ペアの位置合わせが閉鎖ループで補正された場合、ペアの位置合わせは図12において示されるように固定と設定される。一旦固定されるとペアの位置合わせはそれ以上変更されない。新しいループの特定に注意する場合がいくつかある。例えば、閉鎖ループに螺旋スキャニングに対する閉鎖ループが含まれる場合、または閉鎖ループ内に新しい閉鎖ループがある場合である。2つの可能な事例を記述する。事例1、新しいループは1つ以上の閉鎖ループを含む場合図13。図13に示すように、新しいループは補正された閉鎖ループを含んでいる。1からNのフレームが新しいループ外側ループ用に抽出されるが、フレームKからL内側ループは既に補正されている。新しいループはフレーム1からNより抽出される。抽出されたフレームを図14の下の行に示すように1からnと呼ぶことができる。固定されないフレーム番号のみを含むインデックスベクターを得る。上記例について、フレーム番号[1,...K,L1...N]を含むサイズN‐L‐Kのインデックスベクターが得られる。事例2、新しいループは閉鎖ループ内にある場合図15。新しいループはフレームKからNより抽出される図16。抽出されたフレームを図17の下の行に示すように1からnと呼ぶことができる。固定されないフレーム番号のみを含むインデックスベクターを得る。上記例について、フレーム番号[L1...N]または[k1n]を含むサイズN‐Lまたはn‐kのインデックスベクターが得られる。グローバルな最適化が次に抽出されたループを処理するが、これはインデックスベクターに記録される固定されないペアの位置合わせを補正するのみである。以下は特定の状況に対するアルゴリズムの修正の考察である。中断フレームを有する単独ループの補正以下はフレームiおよびi1の間に中断を有する閉鎖ループに対する補正の考察である。一旦、フレームiからi1のペアの位置合わせが更新されると、i1からフレームnまでの画像フレームの表示が更新され、1からnのペアの位置合わせはすべて固定に設定される。固定されたペアの位置合わせに対するエラー測定は含まれない。この結果、固定されないペアの位置合わせおよび3つのグローバルな制約に対するエラー測定が得られる。eエラー測定はKの要素を有する。本発明によりループ補正を行ない、フレーム座標を更新することにより、スキャンされた画像は再引き寄せされる、すなわちスキャンされた個々のフレームは元の画像に近似するように引き締め合わされる。スキャンされた画像は次に表現され図3のステップ742、画像は例えば表示、投影、または印刷することができる図3のステップ744。あるいは、またはさらに、スキャンされた画像に隣接フレーム間の目立つ重なり部分を減らすような既知の融合アルゴリズムを課すことができる図3におけるステップ746。融合の後、画像は例えば表示、投影、または印刷することができ図3のステップ748、プロセスは終了する図3のステップ750。ループ閉鎖エラー最小化のグローバルな最適化上述のように、ペアの位置合わせに基づくペアの画像縫合は各フレームがその前のフレームのみと重なる場合エラーの蓄積をもたらす可能性がある。より以前のフレームに戻るとループ閉鎖が検出される。しかし蓄積されたエラーのため、ループは閉鎖されないかもしれない。本発明において、グローバルな最小化ストラテジーを用いてすべてのフレーム位置合わせに対し逆方向補正を行なう。ループ閉鎖は現在のフレームおよびより以前のフレームの間で相当な重なりがあるかを調べることにより検出することができる。以下に逆方向補正を用いたループ閉鎖エラー最小化のグローバルな最適化を説明する。各エラーに対する重みはaペアの位置合わせに対する推定の不確実さ-解像度または特徴点の数などの要素に基づき信頼測定を加重することができる、b特徴点の抽出エラー-エラーの強度を加重することができる、および/または、c持ち上げ、傾斜、またはカメラ較正による歪み-レーザーデータの信頼性を加重することができる、などの不確定要素に基づき導入することができる。選択された要素またはエラー源およびそれに帰属する重みは各々の特定システムに依存し、エラー源およびそれらのグローバルな最適化に与える影響を理解するには経験的な試験が必要である。発明はいくつかの具体的な実施形態と併せて説明されたが、当業者であれば前述の説明に照らしさらに多数の代替、修正、および変更が明らかになることが明白であろう。従って本明細書において説明される発明は添付クレームの精神および範囲に入るそのような代替、修正、応用、および変更すべてを包含することを意図する。"