(57)【特許請求の範囲】
【請求項１】
イメージ捕捉手段に接続されたプロセッサを含む撮像システムを使用して非平坦の可展面を撮像する方法であって、
i)前記非平坦の面に対応するゆがみを持つ、面の少なくとも一つのイメージを捕捉するステップと、
ii)前記イメージから、平坦な基準面に対する前記非平坦な面の三次元プロファイルを表す第１のポイントセットを生成するステップと、
iii)可展のメッシュをあらわす第２のポイントセットを前記第１のポイントセットに適合させるステップと、
iii)可展のメッシュをあらわす第２のポイントセットを前記第１のポイントセットに適合させるステップと、
iv)該第２のポイントセットを使用して、前記イメージのゆがみ取りをするために該イメージをテクスチャ・マッピングするステップと、を含み、
前記ステップiii)は、
可展面である初期面を前記第１のポイントセットに適合させるステップと、
前記メッシュを前記初期面に適合ささせるステップと、
前記第２のポイントセットのうち少なくともいくつかを、前記第１のデータポイントのセットのうち対応する一つに近づくよう移動させて、その間に前記メッシュが可展でなくなる程度まで変形するステップと、
前記変形されたメッシュを可展の状態まで弛緩させるステップと、を含む撮像方法。
【請求項２】
前記メッシュの前記弛緩は、前記第２のポイントセットが該第２のポイントセットにおけるポイント間の距離が等しくなるまで増分されて調整される繰り返しプロセスで起こる、請求項１に記載の方法。
【請求項３】
第２のポイントセットのポイントが前記第１のポイントセットのポイントの何れかと十分近くに対応していない場合は、前記第２のポイントセットの前記ポイントは前記第１のポイントセットに適合されない、請求項１に記載の方法。
【請求項４】
前記非平坦な可展面は丸みのついたドキュメントである請求項１に記載の方法。
【請求項５】
前記ドキュメントの大きさは、長方形を前記第１のポイントセットのうち末端のポイントを囲むように適合させて推定する、請求項４に記載の方法。
【請求項６】
前記イメージ捕捉手段は非平坦な可展面を横切って分離した光ストライプを形成する構造光を投影し、前記第１のポイントセットは前記光ストライプから生成される、請求項４に記載の方法。
【請求項７】
前記ステップii)は、
a）前記ストライプと共に捕捉されたイメージおよび前記ストライプなしで捕捉されたイメージの間の差を取って差分イメージを作成するステップと、
b）前記差分イメージをしきい値処理してしきい値以下の部分を破棄するステップと、
c）個々のストライプを識別するために前記差分イメージに沿って検出されたストライプをカウントするステップと、
d）識別されたストライプに対応するポイントで前記非平坦な面の前記イメージを三角形分割して前記第１のポイントセットを生成するステップと、
を含む、請求項６に記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、可展の丸みのついた面を含む可展面のイメージ、特に丸みのついた文書のイメージのゆがみ取りをするシステムおよび方法に関する。
【０００２】
【従来の技術】
丸みのついた（curled）面から捕捉されるイメージは、一般に、イメージの遠近、傾斜および圧縮に起因する歪曲（ディストーション）や、平坦でない面あるいは丸みのついた面に起因する伸びが見られる。面の捕捉されたイメージから面プロファイルを計算するため、標準的三角形分割手法を含むいくつかの手段を使用することができる。例えば、プラテンのない文書撮像システムにおいて、カメラを構造光パターンと共に使用して、該構造光パターンから推定することができる奥行き情報と共に、ページのイメージまたは装丁本のイメージを捕捉することができる。
【０００３】
オフィスの撮像アプリケーションにおいて、デスクトップ型フラットベッド・スキャナが非常に普及している。これらスキャナは、比較的廉価でよく動作するとはいえ、貴重なデスクスペースのかなりの部分を常に占有するという欠点がある。
【０００４】
デジタル・カメラ製品が多くの静止画像および動画像写真分野において普及してきており、その結果価格は次第に安くなりつつある。しかしながら、そのようなカメラはもっぱら人物または場所の写真だけに使用されており、オフィス撮像アプリケーションでの使用にはまだ適用されていない。その１つの理由は、支持面に上向きに置かれた１枚の紙または開いた本のような文書は、フラットベッド・スキャナの場合のように透明プラテンに対して保持されていないため、一般的に平らでないという点にある。
【０００５】
また、文書がカメラに対して終始一貫同じ角度で置かれることはない。本の場合では、本の背はカメラ・レンズの光軸に対して様々な角度で傾斜して置かれる。
【０００６】
従って、カメラを基にした文書の捕捉は、イメージの遠近、傾斜および圧縮による捕捉イメージの歪曲、あるいはシートや装丁本の平坦でない表面およびページの丸まりにより起こる伸びという問題を提起する。
【０００７】
【発明が解決しようとする課題】
ページの丸まりは、カメラで文書を捕捉する際に遭遇する最も大きい問題のうちの１つである。文書の丸みがついた部分は画面およびプリンタにうまく表現されず陰になる。また、そのような「ゆがんだ（warped）」イメージのステッチングや光学文字認識は困難である。
【０００８】
ページの丸まりの修復すなわち「ゆがみ取り（de-warping）」は一般的に解決の困難な問題である。陰影、テクスチャおよびテキスト行の全体の輪郭から形状を推定することを含むいくつかの方法が知られている。現在までのところ、これらの方法は脆弱であり、多大なコンピュータ処理能力を必要とすることの多いことが判明している。
【０００９】
この問題を解く１つの手法は、構造光を使用して、カメラの光軸に対して直角な平面からのページの距離のような奥行き情報を取得するものである。そのような手法の１つが米国特許第5,760,925号に開示されている。該特許において、文書はその下に横たわる支持面に支持され、カメラは支持面の片側の上方に設置され、光ストライプ投影器が支持面の反対側に設置される。光ストライプ投影器は文書上に光ストライプのペアを投影する。光ストライプは文書の部分に対して平行で基準面(すなわち支持面)に対する高さは同じである。文書はその丸まりの大部分が光ストライプと同じ方向にあるように向けられるが、文書が横方向に平らでないこともあるので、文書の形状は光ストライプ間で線形に内挿される。
【００１０】
このシステムは原理的には文書のイメージを捕捉し、光ストライプを横切る方向の丸まりがない場合に限ってページの丸まりについて文書のイメージを補正することができる。横切る方向の丸まりの情報をさらに取得するために、さらに多くの並行な光ストライプを追加することは原理的にまたコストを増やせば可能ではあるが、実際問題として、コストおよび速度の観点から商業的に魅力のある製品において文書の丸まりを捕捉して補正するために利用可能な処理能力および処理時間に重い負担がかかる。
【００１１】
このような問題に対処することが本発明の目的である。
【００１２】
【発明を解決するための手段】
従って、本発明は非平面の可展（developable）面を撮像するための撮像システムを提供する。該システムは、非平坦な面に対応するゆがみを有する、少なくとも１つの面のイメージを捕捉し、該イメージから平坦な基準面に対して非平坦な面の三次元プロファイルを表す第１のポイントセットを生成することができるイメージ捕捉手段と接続されるプロセッサを備え、該プロセッサは、可展のメッシュを表す第２のポイントセットを第１のポイントセットに適合し、第２のポイントセットを使用してイメージのゆがみ取りをするために該イメージをテクスチャ・マッピングするように構成されている。
【００１３】
丸みのついた紙は、平面に対して等尺（isometric）である性質を有する可展面によって数学的に表現できる。実用的な観点から、これは紙の丸みを取り、および／または引き裂くことなく平面状に広げることができることを意味する。丸みのついた可展面を表す測定された三次元データポイントのセットは散らばった、および／またはノイズの多いデータからなることがあり、２つの三次元（bicubic）スプラインのような一般の平均化面をデータに適合させ、面全体にゆがみを生じさせることなく面を平面に「テクスチャ・マッピング」することができる。本発明を用いると、テクスチャ・マッピング前にメッシュは可展であり、従って少なくともある程度まで、非平坦な面の元の可展の面プロファイルを復元することができる。文書撮像システムの場合、これにより文書のイメージのゆがみを取ることができる。
【００１４】
本発明に従って、イメージ捕捉手段に接続されるプロセッサを含む撮像システムを使用して非平坦で可展の面を撮像する方法が提供され、該方法は、
i）非平坦な面に対応するひずみを有する、少なくとも１つの面のイメージを捕捉するステップ、
ii）前記イメージから平坦な基準面に対する非平坦な面の三次元プロファイルを表す第１のポイントセットを生成するステップ、
を有し、
iii）可展のメッシュを表す第２のポイントセットを第１のポイントセットに適合させるステップ、
iv）第２のポイントセットを使用してイメージのゆがみを取るためにイメージのテクスチャ・マッピングを行うステップ、
からなる方法を特徴とする。
【００１５】
第２のポイントセットはメッシュノードを含むか、またはメッシュノードから構成される。
【００１６】
本発明の好ましい実施形態では、ステップiii）において、第２のポイントセットが第１のポイントセットに適合されるとき、メッシュが可展でなくなる程度までメッシュは変形され、続いて変形されたメッシュは可展の状態に弛緩される。これによりメッシュは第１のポイントセットにおける可展状態からの差分を平均化して取ることができ、結果として散らばったおよび／またはノイズの多いデータから元の可展面をより良く復元することができる。
【００１７】
ステップiii）の前に、「初期」面が第１のポイントセットに適合され、ステップiii）において、メッシュが初期面に適合されるのが好ましい。例えば、初期面は二つの三次元スプラインであることができる。これは一般に可展面ではないが、この場合、初期面に適合されるときにメッシュは変形される。
【００１８】
しかしながら、好ましい実施形態では、第２のポイントセットが第１のポイントセットにより良く適合されるように、メッシュの変形は二つの段階により行われる。ここで、初期面は平面のような可展面であり、第１のポイントセットに最小二乗法により適合する。メッシュは初期面に適合される第１段階では変形されず、代わりに、メッシュが初期面に適合した後に、第２のポイントセットのうち少なくともいくつかのポイントが第１のポイントセットの対応するポイントへ近づくように移動される第２の段階で変形され、その間にメッシュは変形される。
【００１９】
第２のポイントセットにおけるいくつかのポイントが第１のポイントセットにおけるポイントのいずれに対しても近くに対応しない場合、これらのポイントは第１のポイントセットに適合される必要はない。
【００２０】
本発明の好ましい実施形態では、メッシュの弛緩は、第２のポイントセットにおけるポイント間の距離が等しくなるまで増分して調整される繰り返しプロセスにおいて行われ、これによって変形した文書の物理的に有効なモデルを近似する可展面が表される。
【００２１】
イメージ捕捉手段は非平坦の可展面を横切る分離した光ストライプを形成する構造光パターンを投影することができ、第１のポイントセットは光ストライプから生成される。ステップii）は、
a）ストライプと共に捕捉されたイメージおよびストライプなしで捕捉されたイメージ間の差分を取ることにより、差分イメージを作成するステップ、
b）該差分イメージをしきい値処理してしきい値以下の部分を破棄するステップ、
c）個々のストライプを識別するために差分イメージに沿って検出されたストライプをカウントするステップ、
d）識別されたストライプに対応するポイントで非平坦な面のイメージを三角形分割して第１のポイントセットを生成するステップ、
を含むことができる。
【００２２】
以下に本発明を例示のみを目的として詳細に添付の図面を参照して説明する。
【００２３】
【発明の実施の形態】
図１は、電子カメラ２を有する文書撮像システム１を示している。電子カメラ２の下方部分には、Lasiris, Inc.社(所在地St. Laurent, Quebec, Canada)製モデル番号51SLの光ストライプ投影器４が格納されている。カメラ２は、作業面１２の縁１０にクランプされ（８）上方に伸びる支持柱６の頂部に取り付けられている。カメラ２は、作業面１２を横切って上から見下ろすように向けられる光軸１６を持つ主レンズ１４を持つ。レンズ１４は、カメラ２内の２次元ＣＣＤ検出器アレイ２２上へ作業面１２の領域２０を撮像する視野１８を持つ。
【００２４】
検出器アレイは、例えば拡張カードを持つパーソナル・コンピュータであるプロセッサ・ユニット２５へ接続２３される。プロセッサ・ユニット２５は、カメラ２および光ストライプ投影器４を制御し、検出器アレイ２２からデータを受け取って処理する。
【００２５】
理想的には、領域２０は少なくともＡ４文書サイズである。同様に、光ストライプ投影器４は、撮像対象領域２０にほぼ一致する構造光パターン２６を作業面領域２８に投影する投影レンズ２４を持つ。詳細は後述されるが、構造光パターンは作業面１２上でカメラ・レンズ軸１６とほぼ一致する中心軸２９の周囲に広がる。構造光パターンの広がりは約３００mmの距離でＡ４サイズ領域をカバーするのに十分なものである。
【００２６】
文書３０はカメラ・レンズ１４および構造光パターン２６によって画定される領域２０、２８の範囲内に置かれる。文書は作業面１２によっておおむね水平方向に支持されるが、わずかに丸まっている。従って、検出器アレイ２２によって捕捉されるイメージは、カメラ光軸１６と文書３０の間の斜角のため遠近的に短縮しているだけではなく、文書の丸まりに起因するゆがみ歪曲を含む可能性がある。
【００２７】
そのようなゆがみ歪曲が図２に示されている。図２はカメラ２によって検出器アレイ２２上に形成されるときの開いた本３２のイメージ３１を示す。ゆがみ歪曲の量は、背３４の近くで最も大きい。
【００２８】
図３は、本３２の上に別個の１５本の光ストライプ３５を生成するように構造光パターン２６が本３２に向かって投影される際の開いた本３２のイメージ３３を示している。光ストライプ３５が背３４を横切るように本が向けられている。
【００２９】
次に、光ストライプを検出するため、光ストライプパターン３５がある場合のイメージ３３と光ストライプパターン３５がない場合の同じイメージ３１との間の差分が取られる。
【００３０】
図１および図３から認められるように、光ストライプ投影器をカメラの下にカメラと一緒に取り付けることの利点は、ストライプがたとえ本の最も遠い端を越えて投影されたとしても、最も遠いストライプ３６が常にカメラの視野にあることである。
【００３１】
図４は構造光パターン２６がどのように生成されるかを示している。固定７ｍＷレーザ３８が、光線４０を垂直に向いたストライプ４４に回折する第１の光学回折エレメント４２に光線４０を投射する。次に垂直ストライプ４４は、第２の光学回折エレメント４６によって１５枚の拡がっていく別個の交差しない光の層から構成される構造光パターン２６に回折される。
【００３２】
構造光パターン２６は、その投影軸２９が光ストライプ３５の三角形分割が文書の丸まりを特性化することができるような角度５０でオフセットされるように、文書３０に投影される。
【００３３】
これら回折エレメント４２、４４は、中心の平面の光の層５２の両側にそれぞれ７枚の円錐状光層５１、５３からなるセットを生成する。中心の平面の光層５２は、光ストライプ投影器軸２９上に位置する中央線４９を含む。
【００３４】
光の層５１、５３の各セットは、中心の平面の光の層５２の方向へ内側にくぼむようにたわみ、その結果、隣接する光の層との間の拡がりが光の層４８の中央で最小となる。光の層は、平面の層５２を横切り平面の層５２の中央線を含む１つの平面について対称である。
【００３５】
図５に示されるように、円錐状光層５１、５３は、一般的に、光ストライプ３５を中央で横切る１つの線に沿って光ストライプが集中する形態で、曲がった非平行の光ストライプを文書上に生成する。光ストライプの集中は、隣接する光層との間の拡がりが最小である部分に対応する。図３においては、本の背３４の周囲に光ストライプが集中している。この例では、背３４の周囲への光ストライプの集中が、最も大きな文書の丸まりの領域において強化された丸まり情報を提供する。
【００３６】
しかしながら、円錐状光層の三角形分割（triangulation）は簡単な問題ではない。従って、この三角形分割問題に対する解決法が以下に記述される。この解決法は、一般的に、文書の丸まりを特性化するため上記のような構造光パターンを用いて適用される閉じた形の（closed-form）解決手段である。また、閉じた形の三角形分割により、カメラ２および光ストライプ投影器４からなるシステムの初期較正を実行するために標準的な最適化法を使用できるようになる。
【００３７】
複数線の構造光パターンの使用は、コスト、イメージの捕捉時間、および検流計またはステッパー・モーターのような動く部品がないという意味での従来技術のレーザ走査法に対する機械的複雑性という観点から利点があるが、１方向における線の数に制限されるので、三次元解像度は小さいという欠点がある。この欠点は、丸まりの最も大きい領域に光線を集中させることによって、また後述するようにイメージの丸まりを特性化してゆがみ取りするための新たな方法を使用することによって、部分的に緩和される。
【００３８】
三角形分割は次のように行われる。最初に光ストライプ４８が対象となるオブジェクトに投影され、検知器アレイ２２のカメライメージ平面上に投影される。当座の仮定として、レーザは、カメラ基準系における対応する既知の式によって定義される既知の形状の単一の光の層を投影するとする。この光の層は、オブジェクトに投影されカメラによって撮像されるときイメージ平面上に単一の曲線(すなわちストライプ)を生成する。ストライプの所与の１つのポイントは、カメラ光軸からイメージを通る空間に線を定義する。この線と光の層との間の交点が、オブジェクトの面上にカメラ基準系における三次元のポイントを定義する。ストライプのポイントの各々について上記手順を繰り返すことによって、投影された光の層とオブジェクト面との交線によって定義される曲線上にあるすべてのオブジェクトのポイントを効果的に取り出すことができる。
【００３９】
本発明は、オブジェクトのより大きい部分をカバーし、従って三次元のスナップショットを取得するため、単一の光の層ではなく相互に若干変位させた複数の光層のセットを使用する。光層が１つの場合は、任意のイメージストライプポイントが既知のストライプの三次元ポイントの投影に対応することがわかっており、これは三角形分割を確実に実行できることの理由である。反対に、光層が複数の場合は、どの特定の光層がその投影を生成したかがわからないので、特定の光層によってどのイメージストライプが生成されたのかを判断できるようにするため、ある種のストライプラベル付けつまりストライプの識別が必要である。
【００４０】
カメラ２および光ストライプ発生器４のシステムが、(便宜的に支持面１２である)基準面を測定することによって初期的に較正される。基準面上の歪んでいない投影と丸みのついた文書上の歪んだ投影との間の垂直変位は、基準面に対する丸まった文書の奥行きつまり高さの一意の関数である。
【００４１】
回折光ストライプ投影器４は、各々がその長手方向に沿って周期的な輝度変動を持つ光ストライプ４８からなる構造光パターンを生成する。第１の近似として、構造光パターンの光の強度のピークは光ストライプ投影器を中心にする球面上で次式によって表すことができるポイントにおいて発生するとする。
【数１】
0004623898.tif 000002
ただし、(x,y)=(0,0)は投影軸２９上にあり、Dは光ストライプ投影器４からの距離であり、λはレーザ波長であり、Λ1は、回折エレメント４２の格子周期であり、Λ2は、回折エレメント４６の格子周期である。
【００４２】
図５は、光ストライプ投影器から０.５ｍ離れ、光層の投影軸２９に対して直角をなす平面の交線によって形成される１５の光ストライプを示している。中心の平面の光の層５２が直線の光ストライプ５４を生成し、中心光ストライプ５４の両側にある光ストライプ５５、５７は中心光ストライプ５４方向に内側にたわんでいる。従って、これら光ストライプは、中心の光ストライプ５４を横切る中心線５６に沿って集中している。
【００４３】
投影された光ストライプパターンに閉じた形式で三角形分割を実行するためには、このパターンすなわち各光層４８を数学的形式で表現することが必要である。従って、図６に示されるように、各光ストライプ５０に沿った副次的局大値（subsidiary maxima）に対応する５つのポイント５８を使用して、所与の距離にある直交平面上の投影されたストライプの２次多項式Γが生成される。厳密に言えば、ストライプは２次ではないが、多項式が２次式の時データからのずれは０.０１%未満であることが確認されている。多項式Γはパラメタリック形式で次のように表すことができる。
【数２】
0004623898.tif 000003
ただし、添え字Nはストライプの数を表し、uは図７に図式的に示されている自由パラメータである。上式から、vを円錐長を掃引するパラメータとして、投影軸２９を中心とする円錐状体７０を構築することができる。円錐状体７０は次式によって表される。
【数３】
0004623898.tif 000004
【００４４】
後述するように、次のような消去によって得られる光の各円錐状体の代数形式が特に関心のあるものである。
【数４】
0004623898.tif 000005
【００４５】
閉じた形式の三角形分割を実行するためには、カメラ・レンズ軸１６と光ストライプ投影器軸２９の相対的な向きを知ることが必要である。この相対的向きは、本明細書において、カメラ２と光ストライプ投影器４との間の回転並進(roto-translation)ＲOLと呼ばれる。
【００４６】
本発明において使用される固有カメラ・モデルは、従来の５つのパラメータのセットによって記述される。それらパラメータは、焦点距離f、水平および垂直方向におけるメートルあたりのピクセル数αxおよびαy、(イメージの中心にあると仮定される)「貫通点」(X0 Y0)およびラジアルディストーションパラメータKである。
【００４７】
カメラ・パラメータf、αx、αy、「貫通点」(X0 Y0)の較正は、R. Y. Tsai著「IEEE Transactions on Robotics and Automation, No.4 pp. 323-344, 1987」に記載されている方法で推定することができる。
【００４８】
回転並進ＲOLの推定は、最適化プロセスを一部手直しした方法によって達成される。先ず、平面のオブジェクトのまばらな三次元データの捕捉から始まる。次に、ＲOLのおおまかな初期推定が行われる。ＲOLを表す６つのパラメータ（すなわち３つのオイラー回転角および３つの並進運動）を調整するため、三角形分割されたデータポイントが実質的に平坦になるまで、図８に示される反復プロセスが使用される。誤差の最小化はLevenberg-Marquard法の実施によって実行される。
【００４９】
図９のＡおよびＢは、ＲOLのおおまかな初期推定を使用して平坦な面を測定する際の誤差を図示する２つのグラフを示している。図１０のＡおよびＢは、図８の最適化プロセスの後のＲOLの最終的推定を使用した２つの同様のグラフを示している。これらのグラフは、平面の測定における誤差の標準偏差が２０ｍｍから１ｍｍ未満へ減少していることを示している。残存誤差は測定ノイズによるものである。
【００５０】
文書撮像の分野において、ラジアルディストーションの補正は一般に無視されている。しかしながら、十分に正確な結果を得るためにはこの補正が重要であることが判明している。歪曲した座標と非歪曲座標の対応付けは次式の通りである。
【数５】
0004623898.tif 000006
【００５１】
表現を簡単にするため、以下の説明においては、これらの新しい座標は実際のイメージ座標として処理される(ただし、これら座標は上記対応関係から導出される修正された座標である点は留意される必要がある)。
【００５２】
本例において使用されるカメラ２は、K=0.004ピクセル/mm2というラジアルディストーションパラメータを持つ。図１１のＡは、ＲOLが較正された時でも、ラジアルディストーションが考慮されなければ、誤差がいかに大きくなるかを示している。このディストーションが考慮されると、ディストーションは図１１のＢに示すようになる。
【００５３】
２つ以上の光ストライプが存在するので、三角形分割が実行される前に、各光ストライプを識別することが必要とされる。このプロセスには、第１のストライプ検出、第２のストライプラベル付けという２つの独立した部分が含まれる。
【００５４】
三次元文書イメージ捕捉は、図３に示されるように、レーザ・パターンを短く発光し、検出器アレイ２２を用いて光ストライプパターンを含む文書イメージを同期的に検出することによって行われる。このプロセスの前か後のいずれかにおいて、図２に示されるように、文書は光ストライプパターンなしで撮像される。このように、光ストライプパターンのあるものとないものという２つの一部重複するイメージがあるので、イメージの差分を使用して、光ストライプを容易に際立たせることができる。
【００５５】
しかしながら、光ストライプ方向の強度値は、例えば前記方程式(1)の場合のように副次的ピークのため、または、不均一な環境照度または不均一な紙の反射率のため、一般に不均一である。従って、光のイメージが処理される。広く行き渡った水平線（複数）を所与として、第１のステップとして、ｙ(垂直)方向にのみ適用される１次元ラプラス演算子(２次導関数)が使用される。この演算子の適用は、光ストライプの中心に大きな負の値を与える。この値は、バイナリ・イメージを得るためのしきい値となる。このプロセスは強力で迅速であるが、単一のしきい値を使用すると、図１２に示されるように、検出されたストライプの連続の中にいくつかのギャップが入ることが避けられない。
【００５６】
光ストライプを識別するために使用される方法は次の通りである。最初に、光ストライプは１ピクセルの厚さに薄くされ、連結されたピクセルが１つのストリングに接合される。次に、短かすぎるストリングは、ノイズとみなされて分類から除去される。その結果、図１２に示されるように、ストリングのセグメント８０の間にギャップ８２が点在するピクセルのデータセットが生成される。
【００５７】
次に、各ストリングに関して、発見的「強度」測定値が次式によって計算される。
S=0.5*Length+0.5*Abs（Avg(Top30% of Laplacian value)
これは、ラプラス演算子値の絶対値の上位３分の１の平均と長さとを等しく加重した和である。光ストライプの輝度が一様に分布しておらず一部の弱いセクションが平均に悪影響を及ぼす可能性があるので、ストリングに沿ったラプラス演算子のすべての値を平均することは行わない。
【００５８】
次に、イメージのピクセルの各列ごとに最上行から始めて、上述の観点から、最も強いストライプポイントに対してのみ連続的に増加するラベル番号が割り当てられる。ストライプの番号付けは、予定した最大数(本例では１５)に達すると終了する。最後に、各ストリングについて、そのストリングのすべてのポイントに割り当てられた中で最も頻度の多いラベルに等しいラベルがそのストリングに割り当てられる。図１２は、結果としてすべての光ストライプが正しく識別されたラベル付けを示している。
【００５９】
この手法は、本質的には投票する方法であって、一般的状況において非常に強力で、ギャップに円滑に対処することができる。これは、また、廉価なハードウェアを用いても比較的迅速に実行できる。この方法は、光ストライプを個別に識別できないとしても一連の光ストライプをカウントすることによって個別の光ストライプを識別することができるという利点を持つ。
【００６０】
この方法が光ストライプに正しくラベルをつけることができない状況、すなわち、基礎としている前提が満たされない場合がある。例えば、本の縁が厚いためストライプが完全にまたはほとんど見えないまたは閉じられている場合、ラベル割当ては無意味となる。従って、１つの代替実施形態(図示されていない)において、光ストライプは空間変調（spatial modulation）によって個別に識別可能とされる。
【００６１】
そうであるとしても、そのような状況は、光ストライプ投影器がカメラに対して正しく配置されているとき、例えば、光ストライプ投影器が文書のカメラと同じ側でかつカメラ位置より下に取り付けられるとき、実際に発生するはずのない状況である。
【００６２】
光ストライプを識別するための上述の手法は、光ストライプを時間変調したりあるいは例えばカラー符号化によって個別に識別するような他の手法と比較して迅速で簡単である。
【００６３】
次に、三次元ポイントが三角形分割を通して取得される。三角形分割は、図１３に示されるように、投影された光ストライプ８８上の所与のポイント８６および検出器平面９４における検出されたイメージ９２上の対応するポイント９０を通過する光線８４と光の層４８との交点を検出することからなる。
【００６４】
図１３を参照して、OP=(X,Y,Z)をカメラ基準系Ｏにおける三次元ポイントであり、OP=(x,y)をイメージ平面におけるストライプポイントであり、LΣを光ストライプ投影器基準系Ｌにおける円錐状光層４８を表す円錐状面であるとし、４×４マトリックスによって表される２つの基準系の間の変換ＲOLを次のように表す。
【数６】
0004623898.tif 000007
【００６５】
三角形分割の問題は、一般的な楕円錐と空間上の線との間の交点を見つけることにある。最初に、Ｌに変換された基準系Ｏにおけるポイントに関して円錐ポイントを表すことによってＲOLを介して円錐状体がカメラの基準系に変換される。
【００６６】
【数７】
0004623898.tif 000008
ただし、光学線のパラメタリック形式は
Ox=txi
Oy=tyi
Oz=tf
であり、ここでfは焦点距離であり、xおよびyはイメージ座標で表されている。次に、この円錐と光学線との交点を表す系が次のように表される。
【数８】
0004623898.tif 000009
単純な代入によって、光学線tをパラメータとする次のような２次方程式を得る。
At2+Bt+C=0→[t1,t2]
上式の解t1およびt2は、円錐状体と光学線との２つの交点を表わす。この方程式は解析的に解くことができ、やや難解な解が導かれるが明快さのためここでは省略する。
【００６７】
上記交点のうち、円錐状体を構築した方法のため、基準系LのZ軸に近い側の半円錐状体上の最小パラメータuに対応しているただ１つの交点だけが本発明にとって関心のある交点である。
【００６８】
従って、２つの解は次のような変換によって光ストライプ投影器基準系Lへ戻される。
【数９】
0004623898.tif 000010
また、２つの対応するuを得るため式２の２番目が次のように使用される。
【数１０】
0004623898.tif 000011
【００６９】
最後に、三次元交点が次のように与えられる。
【数１１】
0004623898.tif 000012
【００７０】
こうして、オブジェクトと光層の交点に属しその投影がイメージの特定のストライプピクセルである空間ポイントが見出された。
【００７１】
このプロセスは１５の各光ストライプのピクセルごとに(選択的にサブピクセルの解像度で)繰り返されなければならない。三角形分割プロセスは非常に迅速ではあるが、必要であれば、各線に沿ったサブサンプリングも可能である。その結果は、図１４に示されているような三次元ポイントの「雲」となる。
【００７２】
こうして紙の表面を表す三次元データポイント９５が取得された。問題は、丸まりの歪曲を戻す、すなわち「ゆがみ取り」するためこれらのポイント９５をどのように使用するかである。
【００７３】
丸みがある文書のイメージをゆがみ取りするのは一般に困難である。主な問題は、紙が一般の面ではなく、「可展（developable）」面、すなわち、引き裂きや伸張をせずに１つの平面上へ広げることができる面であるという点にある。可展面S(u,v)のガウス曲率Kはいずれのポイントにおいてもゼロ、すなわちK(u,v)=Oである。
【００７４】
本発明ではこの面を再構築するだけでなく平面へ展開する必要があるため、若干の不連続を持つ可能性がある面を適合し調整する従来技術の面再構築手法をこの問題に適用することはできない。これは、再構築される面が第一に可展でなければすることはできない。従って、適合される面は可展すなわちあらゆるポイントでガウス係数がゼロであるように制約する必要がある。これは簡単な操作ではない。
【００７５】
図１５および図１６は、単純な手法が一般的に機能しない理由を示している。図１４の三次元データは平滑化され、２つの三次元スプライン９６が適合されている。データにはノイズがなく、光ストライプ投影器／カメラ系が完全に較正される理想的なケースでは、適合される表面は可展であるはずだが、実際に得られる表面はそうではない。例えば、一部の位置９８に小さな隆起が観察される。
【００７６】
ページの丸まりを戻すとすれば、元のイメージからパッチを平面のパッチにテクスチャ・マッッピングしなければならない。このマッピングは、図１６に示されるように、メッシュした表面９６における有限差分の積分によって計算される。
【００７７】
しかしながら、定義上、非可展面は引き裂きか伸張のいずれかで平面上へ広げることができるだけであり、このため、広げられた文書１００には不自然な歪曲が発生する。これは、局所的に小さい誤差が集まって歪曲になりやすい面を広げる積分の性質のためである。図１６は、図１５における再構築された平面メッシュの遠い側における不規則性によって引き起こされるテクスチャにおける歪曲を示している。
【００７８】
従って、ページを広げる問題は、ノイズの多いデータ上に可展面を適合させる問題と言い換えることができる。
【００７９】
第２の問題は、光ストライプがページ全体をカバーしない、あるいはページ/本の端のすぐ近くにギャップが存在する可能性があることである。この場合は、三次元データが利用できないので、これらの領域を広げる方法がない。
【００８０】
簡略に述べれば、本発明に使用される方法は、データに適合し同時に弛緩プロセスによって平面と等尺(すなわち可展)であるようにデータを制約する三角メッシュとして表される有限要素モデルを使用する。
【００８１】
最初に、図１７に示されているような二次元で問題を考察する。ここには、長手に沿った曲線のノイズの多い測定を表すデータポイントのセット１０２がある。このセットは本明細書において「第１のポイントセット」と呼ばれる。別のポイントセット１０４が第１のセット１０２への最小二乗法の適合によって得られ、これは本明細書において「第２のポイントセット」と呼ばれる。それぞれの部分について一次元の曲線１０６を接続して、第２のポイントセット１０４を通るように構築することができる。一次元の曲線は１つの線分に対して等尺であるので、第２のポイントセット１０４は、常に線分１０８に「戻される」ことができる。このような特性が、本のページの丸まりを元に戻す方法の多くが丸まりの１次元モデルを使用して、文書の丸まりが本質的に円筒状の時に良好な結果を生み出すことができる理由を説明している。しかしながら、一般的な三次元の場合では、ノイズまたはポイントにおけるその他の不正確さのため、丸みのついた文書を表す２次元のポイントセットを簡単に広げることはできない。
【００８２】
地図制作において使用される直交イメージ投影と呼ばれる古い手法がある。この方法は、ページの丸まりを基本的に補正するが、単にテキストを平面に直角に投影する。この方法は、単純で局所的な歪曲を起こしにくいが、文書を広げるのではなくむしろ「押し下げる」ので、本来的に割れが生じる。
【００８３】
シート状の文書または紙は任意に変形することができない。むしろ、面の任意のポイントの間の弧の長さが保存されるようにそれらは変形する。換言すれば、面は等尺に変形し可展面によって数学的に表すことができる。本発明は、文書変形のための一般的モデルとしてそのような面を利用する。該モデルにおいて、まばらに分散した三次元データが可展面に適合され、次に、その可展面が適切に広げられ(すなわちテクスチャ・マッピングされ)、その結果文書の調整されたイメージが生成される。また、物理的かつ自己矛盾のない紙モデルを使用することによって、丸まりの補正における歪曲の除去が確実になる。
【００８４】
面は、そのガウス曲率があらゆるポイントで消滅する時、可展面と呼ばれる。可展面は、伸張または引き裂きを行うことなく平面上へ平らにすることができる。同じように、可展面は平面を曲げることによって得られる面である。ただし、この場合の曲げとは弧の長さを保存する変換を意味している。
【００８５】
すべての線織面が可展面であるわけではない点に注意する必要がある。可展面は線織面の特殊なサブクラスであり、空間において直線を移動させることによって生成される面である。
【００８６】
可展面の解析的な形式は、各線織に沿って同じものである接平面という制約を持った、線織面のパラメトリック式である。この定義は本質的に非実用的であり、主として対話型モデル化または表示に適している。
【００８７】
例えば、図１８に示すような三角形タイル１１１を有するメッシュ１１０のような可展面を表すため、有限要素モデル(ＦＥＭ)を使用することができる。このようなメッシュは変形して（１１２）可展面に近似させる（１１４）ことができる。メッシュ１１０が変形されるとき、タイルは変化しないままである。
【００８８】
可展面は、メッシュが変形されてもメッシュノード１１７間のメッシュの辺１１６の長さが一定を保つと仮定することによって、三角メッシュを用いてモデル化することができる。もちろん、メッシュをさらに細かくすることによって、いかなる近似誤差をも任意に小さくすることができる。しかしながら、一度メッシュの変形が開始した後、例えば高曲率の領域の誤差を減少させるため、三角形を分割しメッシュを局所的に細分化することは一般にできないことに注意すべきである。
【００８９】
そのような変形可能なワイヤフレームメッシュを用いて折り目もモデル化することができる。実際、メッシュの解像度を増加させることによって、任意の可展面を、従って任意に変形されたどのような紙をもさらに正確にモデル化することができる。
【００９０】
上述された文書の丸まり特性化プロセスは、一般的に、図１４に示されるようなノイズのある、まばらなデータを生成する。面の大きさは知ることができない。図１９は、面の大きさを推定する１つの方法を示している。「第１のポイントセット」９５のすべてのポイントを内包する凸閉包すなわち長方形１１８(または同等に四辺形)が支持面１２に投影される。次に、投影された線分１２６、１２８の端点から長方形１２４が導出される。図１９において、Ｂスプラインがデータポイント９５に適合し、選択されたいくつかの曲線１２０、１２２に沿った積分によってその大きさを推定する。
【００９１】
代替的方法として、文書走査システムがユーザに文書のサイズを選択させるようにすることもできる。別の方法として、カメラ２に関する位置およびカメラ較正パラメータのような既知のシステム配置情報を使用して、イメージから範囲を直接決定することもできる。
【００９２】
この後者の方法は、また、三次元データ９５の一部が同じ可展面に属していないために発生する可能性のある不整合の問題の克服に寄与する。このようなケースは、データが厚い本かまたは丸まりのある小さな文書のものであって、構造光パターンが文書の領域より大きい場合に起こる。この場合、何が文書に属していて何が属していないかを知る方法が必要である。これは、大きな曲率または奥行きの変化についての調査を用いてデータに適合される一般的な面を解析することによって達成することができる。このような急な変化の外側のポイントは破棄することができる。別の方法は、プロセスが収束しない限り、後述する「弛緩」プロセスの間にメッシュが壊れることを可能にするものである。
【００９３】
面１１８の大きさおよび対応する平面の投影１２４がわかると、メッシュ１１０はノイズのあるポイントセット９５に適合される。プロセスは、２次元的なアナロジーである「初期設定」プロセスを明示のために示す図２０のＡ、ＢおよびＣを参照することによって理解することができる。
【００９４】
最初に、ノイズのある三次元のデータポイントセット９５に対して最小二乗偏差を用いて「初期」面(ここでは平面１３０)が適合される。次に、この平面１３０と面１１８の推定された大きさ１２４が一致するように、平面メッシュ１１０が回転および並進される。次に、各メッシュノード１１７が、最小二乗法適合平面１３０に対して直角に、最も近いポイント９５方向に垂直に並進される。一定の半径内にポイント９５が存在しない場合、最も近くに隣接するノード１１７までの距離の３分の１が取られ、ついで、図２０のＣに示されている１つのノード１３４の場合のように、そのノードはその位置のままにされる。結果は、本例においてメッシュノードから構成される「第２のポイントセット」１１７によって表される歪曲したメッシュ１３３である。
【００９５】
この段階において、メッシュ１３３はもはや可展ではない。すなわち初めの平面１３０との等尺性は失われている。しかながら、おおまかではあるが、この時点でメッシュは面１１８を近似している。次の段階はメッシュ１３３を調整して再び可展にすることであり、これは「弛緩（relaxation）」プロセスで実行される。
【００９６】
最初に、使用する用語を定義する。以下の数１２を直交系の座標軸のベクトルとして定義されるメッシュノードとする。
【数１２】
0004623898.tif 000013
また、以下の数１３をメッシュノードのセットとする。
【数１３】
0004623898.tif 000014
また、eijを２つのノードxiおよびxjをつなぐメッシュの辺とし、以下の数１４をメッシュのすべての辺のセットとする。
【数１４】
0004623898.tif 000015
従って、メッシュは、M={X,E}によって表される。また、ノードxiの近隣をノードセットNi={xj:eij∈E}で定義する。
【００９７】
以下の数１５によって２つのノードの間のユークリッド距離が示される。
【数１５】
0004623898.tif 000016
また、以下の数１６によってメッシュが元の平らな状態であるときに持っていた基準距離が示される。
【数１６】
0004623898.tif 000017
【００９８】
データを近似しながらメッシュを可展状態に変換するため、理想的な可展状態からのメッシュの偏差を最小にする最適化手法が使用される。図２１は、機械的類似性として、ばね１４２からなるメッシュ１４０を示している。弛緩状態において、メッシュ１４０はノード１４４において相互に接続している上記数１６で示される長さの弛緩したばね１４２を持つ。従って、すべてのばねが数１６で示される長さを持つとき、この網状構造１４０は安定状態において最小のエネルギー状態にあり、これが起こるときメッシュ１４０は平面に対して等尺である。
【００９９】
かくして、問題は、次式のように系の総弾性エネルギーを最小にする問題と等しい。
【０１００】
【数１７】
0004623898.tif 000018
これは、最終的に最小エネルギーに到達するまでノードの位置を反復的に調整する既知の勾配降下(gradient descent)法を使用して行われる。最小化プロセスの間、弾性定数Ｋは無視することができることに注意されたい。
【０１０１】
ノード座標は、次のルールに従って更新される。
【０１０２】
【数１８】
0004623898.tif 000019
因子ｗについては後述する。
【０１０３】
すべての変位がしきい値以下になると収束に達する。
【０１０４】
導関数は次のように簡単に計算される。
【数１９】
0004623898.tif 000020
これらの導関数は、各特定ノードに接続されたばね１４２のすべてによってノード１４４のそれぞれに及ぼされる力の合力として書き換えられることに注意されたい。
【０１０５】
反復的最適化手法の収束特性に関しては、wxi=w/(∂2U/∂xi)で(yiについても同様)および0<w<2であるときに収束することを示すことができる。適合実験によってこの点は確認されている。
【０１０６】
上述の弛緩プロセスはうまく動作し、非常に正確に表面を近似することが示された。この点はやや驚くべきことである。なぜならメッシュ弛緩の間ポイントセット９５は使用されないからである。このような驚くべき結果の基礎は、各ノードiについてdij=定数という制約を持つメッシュ１１０のような可展面またはその離散的な近似という高度に制約された性質にある。メッシュがデータ上へ初期設定される時、ノードはこの制約を満たしていない。しかしながら、弛緩手法によってノードは直交に変位され、その結果制約は満たされる。面の形状は、変位が接平面（tangent）であった場合のように、劇的に変化しない。この重要な観察は、データを必要とすることなく弛緩されるメッシュが表面に近似することができる要因を示している。
【０１０７】
メッシュが三次元データに適切に適合されたなら、次の段階は、初期平面メッシュをテクスチャ・マップすることである。前述のように、この手法では、広げられた表面から開始したのであるから、適合された表面を広げる必要はない。
【０１０８】
丸みのついた文書をゆがみ取りするテクスチャ・マッピングは、図２２に示されるように、３つの段階を持つ。最初に、平面メッシュ１１０におけるすべてのタイル１１１が等尺性を維持するように、特性化された文書面１５２に対して初期設定され、弛緩される(１５０)。既知の撮像位置を使用して、この時点で三次元面１５２上にあるタイル１１１がイメージ平面１５６に投影され(１５４)、それに対応するイメージからテクスチャ１５８が取得される。最終段階では、タイル・テクスチャ１５８をその対応する平面タイル１１１へゆがませて（warp）、それによって、元々平らな状態で捕捉されたかのようにテクスチャが復元される。
【０１０９】
タイルのマッピングが上記のように計算されると、ゆがみ段階１６０は標準的なプロセスであり、多数のすぐれたアルゴリズムがGeorge Wolberg著「Digital Image Warping(IEEE Computer Society Press, 1991)」に記載されている。
【０１１０】
上述の文書丸まり特性化手法は、紙の種類および文書の複雑さに関係なく適切に機能する。本発明は、ページの丸まりを特性化し、ゆがみ取りする実用的で廉価な手段を提供する。特に、既知の２次元構造光パターンを投影してカメラによって捕捉されたパターンのイメージについて三角形分割することによって、撮像された文書のプロファイルが決定される。２次元パターンの使用は、高価な動く部品(およびそれらの駆動機構)を必要とせず、ページ上へ単一の光線を掃引せずに１ショットでページの丸まりを迅速に特性化することができるので、単一のストライプまたはポイントと比較して、特にこのアプリケーションにおいては望ましい。
【０１１１】
この例では、システム・コストを大幅に上昇させるような、検出器アレイまたは光ストライプ投影器の移動、あるいは、いかなる時間的または空間的変調手段をも必要とすることなく、光ストライプが平面ストライプのイメージだけから識別される。
【０１１２】
文書の丸まりを特性化する上記方法は、実用的で迅速であり、プラテンのない文書撮像システムを使用する文書撮像アプリケーションのための比較的安いハードウェアで実施することができる。しかしながら、写真複写機およびフラットベッド・スキャナのようなプラテン型装置などのその他の種類の撮像システムに本発明を使用することも可能である。
【０１１３】
本発明の好ましい実施形態を、平坦な基準面に対する非平坦な面の三次元プロファイルを表す第１のポイントセットを生成する特定の手法を参照して説明したが、例えば、焦点検出あるいはステレオビジョンを用いた他の手法を代替的に使用することができる。
【０１１４】
【発明の効果】
上記の文書の丸まり補正方法は、紙の数学的モデルを使用し、歪曲のないイメージを自然に生成するようにこのモデルをデータに適合させる効果的な初期設定／弛緩プロセスを使用する。まばらでノイズの多いデータに関して満たされる必要がある多数の自由度および多数の制約が存在するという事実にもかかわらず、上記方法は達成される。この方法は、データが失われるどのような箇所においても、内挿、外挿および自己完結する能力を有する。この方法は、紙の変形を物理的に現実的な形態でモデル化することによって丸みのついた文書の高品質のゆがみの取れたイメージを生成する。
【図面の簡単な説明】
【図１】撮像される文書を見渡す柱に検出器アレイを有するカメラを光ストライプ投影器と共に設置する本発明の好ましい実施形態に従った文書撮像システムの概観を示す模式図である。
【図２】カメラによって撮像されるときの開いた本の図である。
【図３】光ストライプパターンが投影された開いた本の図である。
【図４】中心の平面の光の層へ向かって内側にくぼむようにたわんだ拡がっていく光の層を示す、光ストライプ投影器によって生成される構造光パターンの概観を示す模式図である。
【図５】図３の構造光パターンと光の層を横切る平面との交差によって形成される光ストライプの図である。
【図６】図５の光ストライプの１つから得られる５つの点に適合された多項式の図である。
【図７】図６のような多項式から構築されるパラメトリックな光の層の円錐状体の図である。
【図８】カメラと光ストライプ投影器との間の回転並進の較正プロセスを示す流れ図である。
【図９】ＡおよびＢは、回転並進の初期推定値が使用されるときの文書撮像システムを使用した平坦な面のプロファイルの検出における誤差を示す図である。
【図１０】ＡおよびＢは、図８の流れ図に従った回転並進の較正の後の平坦な面のプロファイルの検出における誤差を示す図である。
【図１１】ＡおよびＢは、それぞれラジアルディストーション補正のない場合とある場合の平坦な面の検出における誤差を示す図である。
【図１２】光ストライプ検出プロセスおよびラベル付けプロセスの結果を示す図である。
【図１３】光の層と光ストライプとの交点を計算するための三角形分割プロセスで使用される光の層および用語を示す図である。
【図１４】文書撮像システムで生成された開いた本の測定データポイントのセットを示す図である。
【図１５】従来技術の丸まりのゆがみ取り法に従った、測定データポイントに２つの三次元スプラインを適合させた面のプロファイルを示す図である。
【図１６】平面上に２つの三次元スプラインを広げた従来技術の結果を示す図である。
【図１７】適合された面に適用される場合の丸まりのゆがみを取る従来技術の直交イメージ法を示す模式図である。
【図１８】可展面を近似するために使用される三角メッシュを示す模式図である。
【図１９】丸まりのある文書をゆがみ取りする際の測定データポイントからおおよその大きさを推定する方法を示す模式図である。
【図２０】Ａ、ＢおよびＣは、それ以上展開できないようにメッシュを伸ばすプロセスにおいてメッシュが測定データポイントに初期的に適合される様態の二次元のアナロジーを示す図である。
【図２１】測定データポイントに最適に適合される可展状態にメッシュが弛緩される様態をばねメッシュに類似させて示した模式図である。
【図２２】文書の丸まったイメージのゆがみ取りを行うため弛緩されたメッシュをテクスチャ・マッピングするプロセスを示す図である。
【符号の説明】
１          ゆがみ取りシステム
２          イメージ捕捉手段
１２        基準面
２５        プロセッサ
３０        面
【図１】
0004623898.tif 000021
【図２】
0004623898.tif 000022
【図３】
0004623898.tif 000023
【図４】
0004623898.tif 000024
【図５】
0004623898.tif 000025
【図６】
0004623898.tif 000026
【図７】
0004623898.tif 000027
【図８】
0004623898.tif 000028
【図９】
0004623898.tif 000029
【図１０】
0004623898.tif 000030
【図１１】
0004623898.tif 000031
【図１２】
0004623898.tif 000032
【図１３】
0004623898.tif 000033
【図１４】
0004623898.tif 000034
【図１５】
0004623898.tif 000035
【図１６】
0004623898.tif 000036
【図１７】
0004623898.tif 000037
【図１８】
0004623898.tif 000038
【図１９】
0004623898.tif 000039
【図２０】
0004623898.tif 000040
【図２１】
0004623898.tif 000041
【図２２】
0004623898.tif 000042