(57)【要約】  さまざまな実施形態において、モバイル装置によって取込まれたデジタル画像を処理するための方法、システム、およびコンピュータプログラムプロダクトが開示される。非常に多くの特徴が、そうでなければ技術的に不可能または非現実的な、モバイル装置を用いたこのようなデジタル画像の処理を、可能におよび／または容易にするとともに、従来のフラットベッドスキャナ、給紙スキャナ、または多機能周辺装置ではなくカメラを用いて取込まれた画像が示す固有の課題に対処する。特に、ここに開示されるシステムおよび技術は、モバイル装置のカメラを用いて取込まれた画像に示されているオブジェクトの三次元再構成を可能にする。再構成により、カメラによる取込みによって生じる透視歪みを補正または補償する。
2016536837.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像を再構成する方法であって、前記方法は、
四角形で囲まれたオブジェクトのデジタル表現を含むデジタル画像を受けるステップと、
前記四角形の湾曲を補正して四辺形を形成するステップと、
前記四辺形における射影効果を補正して矩形を形成するステップとを含む、方法。
【請求項２】
前記四辺形は平行四辺形である、請求項１に記載の方法。
【請求項３】
前記湾曲を補正するステップは、前記四角形の１つ以上の部分を、固有の四角形座標に少なくとも一部基づいて変換するステップを含む、請求項１に記載の方法。
【請求項４】
前記射影効果を補正するステップは、４点アルゴリズムを用いて前記四角形を変換するステップを含む、請求項１に記載の方法。
【請求項５】
前記デジタル画像は、前記オブジェクトに対する法線から約３０度以上ずれた取込み角度によって特徴付けられる、請求項１に記載の方法。
【請求項６】
前記射影効果を補正するステップは特異値分解（ＳＶＤ）を含む、請求項１に記載の方法。
【請求項７】
前記射影効果を補正するステップは直接線形変換（ＤＬＴ）を含む、請求項１に記載の方法。
【請求項８】
前記射影効果を補正するステップは、ホモグラフィ変換Ｈを推定するステップを含む、請求項１に記載の方法。
【請求項９】
前記Ｈを推定するステップは、１つ以上の点対応
【数１】
2016536837.tif 000036
請求項８に記載の方法。
【請求項１０】
前記Ｈを推定するステップは、４つの点対応を検出するステップを含み、
【数２】
2016536837.tif 000037
請求項９に記載の方法。
【請求項１１】
Ｈは、式λｐｉ＝ＨＰ′ｉを満たし、
λ＝三次元基準座標位置（Ｘ，Ｙ，Ｚ）と、取込み装置の対応する基準座標位置との間の焦点距離であり、
ｐｉ＝（ｘｉ，ｙｉ，１）Ｔであり、
Ｐ′ｉ＝（Ｘｉ，Ｙｉ，１）Ｔであり、
ｉは、対応する画像における点ｐまたはＰ′のそれぞれの指数特徴である、請求項８に記載の方法。
【請求項１２】
前記射影効果を補正するステップは、非線形リファインメントを実行するステップを含む、請求項１に記載の方法。
【請求項１３】
再構成されたデジタル画像を出力するステップをさらに含み、
前記再構成されたデジタル画像は、前記オブジェクトに対して垂直である取込み角度を用いて取込まれた前記オブジェクトのスキャンされた５００ＤＰＩ画像と比較して約５画素以下の画素位置誤差によって特徴付けられる、請求項１に記載の方法。
【請求項１４】
前記四角形の少なくとも一辺は、二次以上の多項式によって特徴付けられる、請求項１に記載の方法。
【請求項１５】
前記四角形の各辺は、二次以上の多項式によって特徴付けられる、請求項１４に記載の方法。
【請求項１６】
前記射影効果を補正するステップは、前記デジタル画像と再構成された画像との点対応の座標を正規化するステップを含む、請求項１に記載の方法。
【請求項１７】
前記オブジェクトは、既知の高さと幅の比率によって特徴付けられる文書である、請求項１に記載の方法。
【請求項１８】
システムであって、
ロジックを実行するように構成されたプロセッサと、
四角形で囲まれたオブジェクトのデジタル表現を含むデジタル画像を受けるように構成されたロジックと、
前記四角形の湾曲を補正して四辺形を形成するように構成されたロジックと、
前記四辺形における射影効果を補正して矩形を形成するように構成されたロジックとを含む、システム。
【請求項１９】
コンピュータ読取可能なプログラムコードが格納されたコンピュータ読取可能な記録媒体を含むコンピュータプログラムプロダクトであって、前記コンピュータ読取可能なプログラムコードは、
四角形で囲まれたオブジェクトのデジタル表現を含むデジタル画像を受けるように構成されたコンピュータ読取可能なプログラムコードと、
前記四角形の湾曲を補正して四辺形を形成するように構成されたコンピュータ読取可能なプログラムコードと、
前記四辺形における射影効果を補正して矩形を形成するように構成されたコンピュータ読取可能なプログラムコードとを含む、コンピュータプログラムプロダクト。
【発明の詳細な説明】
【技術分野】
【０００１】
発明の分野
本発明は、デジタル画像データの取込みおよび処理に関し、より具体的には、カメラを用いた画像の取込みに固有の歪み効果を原因とする画像アーティファクトの修正に関する。
【背景技術】
【０００２】
発明の背景
書簡、勘定書、請求書、納品伝票等の文書が示されているデジタル画像は、従来、ラップトップまたはデスクトップコンピュータ等のコンピュータワークステーションに接続されたスキャナまたは多機能周辺装置を用いて取込まれて処理されてきた。このような取込みおよび処理を実行することが可能な方法およびシステムは、当該技術では周知であり、これら方法およびシステムが採用されるタスクに十分適応している。
【０００３】
しかしながら、日々の活動、計算、および仕事をモバイル装置を用いて行なうことが増している時代においては、スマートフォン、デジタルカメラ、タブレットコンピュータ等のモバイルプラットフォームに導入して使用するための、同様の文書取込みおよび処理システムを提供することが、非常に有益であろう。
【０００４】
従来の文書取込みおよび処理技術からの移行における主な課題は、モバイル装置内の現在利用できるハードウェアを用いたときに得られる処理能力および画像解像度には限界があることである。これらの限界は重要な課題を示している。なぜなら、一般的には従来のスキャナで得られる解像度よりも遥かに低い解像度で取込まれた画像を処理することは、不可能または非現実的であるからである。結果として、従来のスキャナに基づく処理アルゴリズムは一般的に、モバイル装置を用いて取込まれたデジタル画像に対しては上手く機能しない。
【０００５】
加えて、モバイル装置上で利用できる処理およびメモリには限界があるので、スキャナに対して採用される従来の画像処理アルゴリズムは、計算コストが極端に高くなる。従来のスキャナに基づく画像処理アルゴリズムを処理しようとすると、時間がかかりすぎて、現代のモバイルプラットフォーム上のアプリケーションとしては非実用的である。
【０００６】
さらに他の課題が、モバイル取込み部品（たとえば携帯電話、タブレット等のカメラ）の性質によって示される。従来のスキャナは、デジタル画像内の物理的文書を忠実に表現し、このデジタル画像内の物理的文書のアスペクト比、寸法、および形状を正確に維持することが可能であるが、モバイル取込み部品ではこのような結果をもたらすことができないことが多い。
【０００７】
具体的には、カメラによって取込まれた文書の画像は、スキャナによって取込まれた画像を扱うときには生じない、新たな種類の処理上の問題を示す。その原因の一部は、文書画像の取得方法にも装置の構成方法にも、本質的な相違があることにある。一部のスキャナは、紙と直線的に配列されたセンサとの間の相対運動を生じさせる搬送機構を使用して機能する。これらセンサは、文書を通過するときにこの文書の画素値を生成し、取込まれた一連のこれら画素値が１つの画像を形成する。したがって、一般的にはセンサ自体のノイズまでは水平または垂直方向の一貫性があり、その列のすべての画素を提供するのは同じセンサである。
【０００８】
これに対し、カメラには、たとえば典型的には矩形に配置された、非直線的な配列のより多くのセンサがある。このため、これら個々のセンサはすべて独立しており、典型的には水平方向にも垂直方向にも一貫性がない画像データを提供する。加えて、カメラは、撮像角度の関数である射影効果を導入する。たとえば、スキャナのように直線配列の場合は、紙の搬送がセンサの並びに対して完全に垂直でなくいくらかのスキューが導入されたとしても、カメラのような射影効果は生じない。加えて、カメラによる取込みの場合は、カメラの光学部品が原因で非線形歪みが導入されることがある。
【０００９】
上記課題に鑑み、モバイル装置を用いた画像の取込みおよび処理に関連する問題を取除くおよび／または修正する一方で、効率的な処理方法によって計算コストを低く保つことが可能な、画像取込みおよび処理アルゴリズムならびにそのアプリケーションを提供することが有益であろう。
【発明の概要】
【課題を解決するための手段】
【００１０】
発明の概要
ある実施形態において、デジタル画像を再構成する方法は、四角形で囲まれたオブジェクトのデジタル表現を含むデジタル画像を受けるステップと、この四角形の湾曲を補正して四辺形を形成するステップと、この四辺形における射影効果を補正して矩形を形成するステップとを含む。
【００１１】
システムは、ロジックを実行するように構成されたプロセッサと、四角形で囲まれたオブジェクトのデジタル表現を含むデジタル画像を受けるように構成されたロジックと、この四角形の湾曲を補正して四辺形を形成するように構成されたロジックと、この四辺形における射影効果を補正して矩形を形成するように構成されたロジックとを含む。
【００１２】
コンピュータプログラムプロダクトは、コンピュータ読取可能なプログラムコードが格納されたコンピュータ読取可能な記録媒体を含む。コンピュータ読取可能なプログラムコードは、四角形で囲まれたオブジェクトのデジタル表現を含むデジタル画像を受けるように構成されたコンピュータ読取可能なプログラムコードと、この四角形の湾曲を補正して四辺形を形成するように構成されたコンピュータ読取可能なプログラムコードと、この四辺形における射影効果を補正して矩形を形成するように構成されたコンピュータ読取可能なプログラムコードとを含む。
【図面の簡単な説明】
【００１３】
【図１】ある実施形態に従うネットワークアーキテクチャを示す。
【図２】ある実施形態に従う、図１のサーバおよび／またはクライアントに関連付けることができる代表的なハードウェア環境を示す。
【図３Ａ】ある実施形態に従う、文書のデジタル表現を含むデジタル画像の概略図である。
【図３Ｂ】ある実施形態に従う、文書のデジタル表現および複数のページ検出解析ウィンドウを含むデジタル画像の概略図である。
【図３Ｃ】ある実施形態に従う、複数の候補エッジポイントによって特徴付けられる文書のデジタル表現を含むデジタル画像の概略図である。
【図３Ｄ】ある実施形態に従う、デジタル画像の複数の画素を含む大解析ウィンドウとこの大解析ウィンドウの中の小解析ウィンドウの概略図である。
【図４】ある実施形態に従う、目標の四角形によって囲まれた文書のデジタル表現を含むデジタル画像の概略図である。
【図５Ａ】ある実施形態に従う、ページ矩形化アルゴリズムの一回目の繰返しの図形表現である。
【図５Ｂ】ある実施形態に従う、ページ矩形化アルゴリズムに対する入力の図形表現である。
【図６Ａ】ある実施形態に従う、取込み角度を測定するための座標系を示す、単純化した模式図である。
【図６Ｂ】ある実施形態に従う、オブジェクトに対して垂直な取込み角度を用いて取込まれた矩形のオブジェクトの典型的な模式図を示す。
【図６Ｃ】ある実施形態に従う、オブジェクトに対してわずかに傾斜した取込み角度を用いて取込まれた矩形のオブジェクトの典型的な模式図を示す。
【図６Ｄ】ある実施形態に従う、オブジェクトに対して大きく傾斜した取込み角度を用いて取込まれた矩形のオブジェクトの典型的な模式図を示す。
【図７】ある実施形態に従う方法のフローチャートである。
【発明を実施するための形態】
【００１４】
詳細な説明
以下の説明は、本発明の一般的な原理を例示することを目的としてなされ、本明細書においてクレームされる発明の概念を限定することを意図しているのではない。さらに、本明細書に記載の特定の特徴は、可能なさまざまな組合せおよび置換え各々において、記載されている他の特徴と組合わせて使用することができる。
【００１５】
本明細書において特に指定しない限り、すべての用語は、明細書において示される意味および当業者によって理解されるおよび／または辞書、論文等において定義される意味を含む、可能な最も広い解釈が与えられるべきものである。
【００１６】
また、本明細書およびそれに続く請求項において使用される単数形「ａ」、「ａｎ」および「ｔｈｅ」は、特に指定しない限り複数のものを含むことに注意しなければならない。
【００１７】
本願は画像処理に関連する。特に、本願は、デジタル画像に示されたオブジェクトを非矩形形状から実質的に矩形の形状、または好ましくは矩形の形状に変換するように構成された、システム、方法、およびコンピュータプログラムプロダクトを開示する。さらに好ましくは、これは、最初にオブジェクトの湾曲を補正し次に画像の射影効果を補正する二段階のプロセスを採用することによって実現される。
【００１８】
以下の定義は、さまざまな実施形態に従う本明細書に記載の発明の概念の理解に役立つであろう。以下の定義は、典型的なものとみなされるべきもので、この開示をより明確にするための説明を目的として提供されるが、本明細書に開示される発明の概念の範囲を限定するものとみなされてはならない。
【００１９】
以下における「四辺形」は、（１）各辺が直線であり、（２）隣合う辺がこれら辺の交点で頂点を形成する、四辺の図形である。例示としての２つの実施形態に従う、典型的な四辺形が、以下の図６Ｃおよび図６Ｄに示される。
【００２０】
「平行四辺形」は、特殊な種類の四辺形である、すなわち、（１）各辺が直線であり、（２）対向する辺が平行で、（３）隣合う辺が必ずしも垂直でなくしたがって隣合う辺の交点における頂点がなす角度の値が必ずしも９０度でない、四辺の図形である。
【００２１】
「矩形」または「矩形形状」は、特殊な種類の四辺形であり、これは、（１）各辺が直線であり、（２）対向する辺が平行で、（３）隣合う辺が垂直でありしたがって隣合う辺で構成される辺の対各々において、これら隣合う辺が頂点でなす内角が直角すなわち９０度の角度である、四辺の図形であると定義される。例示としてのある実施形態に従う典型的な矩形が図６Ｂに示される。
【００２２】
加えて、本明細書における「矩形」および「矩形形状」は、「実質的に矩形の形状」を含むとみなされる。「実質的に矩形の形状」は、（１）各辺の大部分が直線であり（たとえば、さまざまな実施形態において、各辺の長さの少なくとも９０％、９５％、または９９％が（ｙ＝ｍｘ＋ｂ等の）一次多項式で特徴付けられる）、（２）隣合う辺で構成される各対が値Θの内角をなし、Θが、（ａ）隣合う２つの辺の間の頂点、（ｂ）１つの辺の、大部分が直線である部分の延長線と、その隣の辺との間の頂点、または（ｃ）１つの辺の、大部分が直線である部分の延長線と、その隣の辺の、大部分が直線である部分の延長線との間の頂点、のいずれかにおいて、およそ９０°である（たとえばΘが８５°＜Θ＜９５°という関係を満たす）、四辺の形状でとして定義される。典型的な「実質的に矩形の形状」が以下の図７に示されている（なお、示されている運転免許証の角は湾曲しているので、隣合う辺で形成される独立した頂点はないが、隣接する辺の延長線がそれら延長線の交点でおよそ９０°である角度Θを有する頂点をなす）。
【００２３】
本明細書における「非矩形形状」は、上記のように定義される「矩形」でも「実質的に矩形形状」でもない、いかなる形状も含む。好ましい実施形態において、「非矩形形状」は、本明細書において四辺の図形と呼ばれ、（１）各辺の全体または一部が、選ばれた関数のクラスから選択された（たとえば、好ましくはゼロ次から五次の範囲の多項式、より好ましくは一次から三次の多項式、さらに好ましくは一次から二次の多項式のクラスから選択された）等式によって特徴付けられ、かつ（２）この図形の隣合う辺がこれら辺の交点で頂点をなす、「四角形」である。ある実施形態に従う、本明細書における代表的な四角形が図４に示されている。
【００２４】
本明細書に開示される発明の概念の、ある一般的な実施形態において、デジタル画像を再構成する方法は、四角形で囲まれたオブジェクトのデジタル表現を含むデジタル画像を受けるステップと、この四角形の湾曲を補正して四辺形を形成するステップと、この四辺形における射影効果を補正して矩形を形成するステップとを含む。
【００２５】
別の一般的な実施形態において、システムは、ロジックを実行するように構成されたプロセッサと、四角形で囲まれたオブジェクトのデジタル表現を含むデジタル画像を受けるように構成されたロジックと、この四角形の湾曲を補正して四辺形を形成するように構成されたロジックと、この四辺形における射影効果を補正して矩形を形成するように構成されたロジックとを含む。
【００２６】
他の一般的な実施形態において、コンピュータプログラムプロダクトは、コンピュータ読取可能なプログラムコードが格納されたコンピュータ読取可能な記録媒体を含む。コンピュータ読取可能なプログラムコードは、四角形で囲まれたオブジェクトのデジタル表現を含むデジタル画像を受けるように構成されたコンピュータ読取可能なプログラムコードと、この四角形の湾曲を補正して四辺形を形成するように構成されたコンピュータ読取可能なプログラムコードと、この四辺形における射影効果を補正して矩形を形成するように構成されたコンピュータ読取可能なプログラムコードとを含む。
【００２７】
米国特許出願第１３／７４０，１２７号（２０１３年１月１１に出願）に記載されているような以前の矩形化方法は、カメラで取込まれた画像において観察される湾曲効果を上手く補正する。しかしながら、カメラのピッチおよび／またはロールが十分に大きい（たとえば約３０度以上）ときは、画像の中の射影効果／アーティファクトが非常に大きいので、この技術の射影効果補正能力は不十分であることが多い。
【００２８】
以前に説明されている湾曲補正方法と本明細書に記載の射影効果補正方法を組合わせて、２つの目的を兼ねた１つの手順にすると、これら手法それぞれの強みが効果的に組合わされることになる。ある実施形態において、これら手法は次のように組合わせてもよい。第１に、湾曲補正要素が、オブジェクトを取囲む湾曲した四角形を、角は同一であるが辺が直線である（すなわち線形または一次多項式によって特徴付けられる）四角形にマッピングすることにより、湾曲を補正する。第２に、この（辺が直線になった）四角形を、以下で説明するような４ポイント法を用いて、目標とする矩形にマッピングする。
【００２９】
重要な利点として、この二重目的の手順は、矩形表現をより正確に再構成するが、座標の２段マッピングにしか作用せず、その一方で、画像の実際の変換が一度しか生じないことが、挙げられる。処理時間のほとんどが、メモリにおいて２つの大きな画像を操作することと、何らかの方法で正しい座標を計算するのではなく非整数（ｘ，ｙ）座標を囲む４つの画素を組合わせることに費やされるので、この二重目的の方法は、従来のフラットベッドスキャナまたは同様の装置から得られる対応する画像と比較して再構成画像における相対的な画素位置の精度が改善されているにもかかわらず、計算コストしたがって実行時間が、元来の方法よりもわずかに約３％しか高くならない。
【００３０】
実験のテストは、湾曲が著しくかつ射影歪みが大きい写真において、上記二重目的の方法が、座標誤差（矩形化された画素から、同一解像度の同一文書のスキャンされた画像における同一画素までの最大距離）を、座標ベースの方法のみの場合の誤差と比較して、約３分の１にすることを、示している。ある実施形態において、残留誤差は、分解能５００ＤＰＩで約５画素、または約１００分の１インチであった。
【００３１】
画像（たとえば絵、数字、略図、映画、ビデオ、フィルム、クリップの１コマ等）は、好ましくはカメラ、特にモバイル装置のカメラによって取込まれたデジタル画像である。本明細書では、モバイル装置が、物理的な接続（たとえばワイヤ、コード、ケーブル等）を介した電力供給なしでデータを受信することが可能で、かつ、物理的なデータ接続（たとえばワイヤ、コード、ケーブル等）なしでデータを受信することが可能な任意の装置であることが理解される。本開示の範囲に含まれるモバイル装置は、携帯電話、スマートフォン、タブレット、携帯情報端末、ｉＰｏｄ（登録商標）、ｉＰａｄ（登録商標）、ＢＬＡＣＫＢＥＲＲＹ（登録商標）装置等の代表的な装置を含む。
【００３２】
しかしながら、さまざまな機能の説明から明らかになるように、ここで開示されているモバイル画像処理アルゴリズムは、時には何らかの修正が施されて、スキャナおよび多機能周辺装置（ＭＦＰ）からの画像に適用することができる。同様に、いくつかのアプローチでは、ここで開示されている処理アルゴリズムを用いて処理された画像を、従来のスキャナ処理アルゴリズムを用いてさらに処理してもよい。
【００３３】
当然、本明細書に記載のさまざまな実施形態は、ハードウェア、ソフトウェア、またはその所望の組合わせを用いて実現し得る。そのために、本明細書に記載のさまざまな機能を実現することが可能な何らかの種類のロジックを使用してもよい。
【００３４】
モバイル装置の使用における１つの利点は、データプランを用いて、取込まれた画像に基づく画像処理および情報処理を、スキャナの存在に頼る以前の方法よりも、一層便利で能率的で統合されたやり方で、行なうことができる点である。しかしながら、モバイル装置を文書取込みおよび／または処理装置として使用することは、さまざまな理由から今までは不可能であると考えられてきた。
【００３５】
あるアプローチでは、画像をモバイル装置のカメラによって取込んでもよい。「カメラ」という用語は、一枚の紙等の装置の外部にある物理的なオブジェクトの画像を取込むことができるいずれの種類の装置も含むものとして広く解釈されねばならない。「カメラ」という用語は、周辺装置としてのスキャナまたは多機能装置は包含しない。どのような種類のカメラを使用してもよい。好ましい実施形態は、解像度が高い、たとえば８ＭＰ以上、理想的には１２ＭＰ以上のカメラを使用することがある。画像の取込みは、カラーで、無彩色で、白黒で、またはそれ以外の光学効果を利用して行なってもよい。本明細書に記載の「画像」という用語は、生のデータ、処理済みのデータ等を含む、カメラの出力に相当するどの種類のデータも包含することを意図している。
【００３６】
本明細書の記載は、当業者が本発明を実施し使用することを可能にするために示され、本発明の特定の用途およびその必要条件という文脈においてなされる。開示されている実施形態のさまざまな変形は、当業者には直ちに明らかになるであろう。また、本明細書において定義される一般的な原理は、本発明の精神および範囲から外れることなく他の実施形態および用途に応用し得る。このように、本発明は、示されている実施形態に限定されることを意図しているのではなく、本明細書に開示される原理および特徴に従う最も広い範囲に一致するものである。
【００３７】
特に、本明細書に記載の発明のさまざまな実施形態は、複数のコンピュータシステム間の通信手段としてインターネットを用いて実現される。本発明が通信媒体としてのインターネットの使用に限定されないこと、および、本発明の代替方法が、私用イントラネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、またはそれ以外の通信手段の使用に適応し得ることを、当業者は理解するであろう。加えて、有線、無線（たとえば無線周波数）および光通信リンクをさまざまに組合わせたものを利用してもよい。
【００３８】
本発明のある実施形態を実行し得るプログラム環境は、例示として、汎用コンピュータ、またはハンドヘルドコンピュータ等の専用機器を、１つ以上含む。このような機器（たとえばプロセッサ、メモリ、データ記憶装置、入力および出力装置）の詳細は、周知であり、わかりやすくするために、ここでは示さない。
【００３９】
本発明の技術がさまざまな科学技術を用いて実現し得ることも理解されるはずである。たとえば、本明細書に記載の方法は、コンピュータシステムで実行されるソフトウェアにおいて実現してもよく、または、方法の動作を実行するための１つ以上のプロセッサおよびロジック（ハードウェアおよび／またはソフトウェア）、特定用途向け集積回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等のプログラマブルロジックデバイス、および／またはこれらをさまざまに組み合わせたものを利用するハードウェアにおいて実現してもよい。例示としてのあるアプローチにおいて、本明細書に記載の方法は、物理的な（たとえば一時的でない）コンピュータ読取可能な媒体等の記録媒体にある、コンピュータによる実行が可能な一連の命令によって、実現してもよい。加えて、本発明の特定の実施形態は、オブジェクト指向ソフトウェアプログラミングコンセプトを採用し得るが、本発明はそのように限定される訳ではなく、コンピュータの動作の他の指示形態の採用に容易に適応する。
【００４０】
本発明は、計算装置（たとえばプロセッサ）および／またはシステムによって実行し得るコンピュータコードを有するコンピュータ読取可能な記録または信号媒体を含むコンピュータプログラムプロダクトの形態で提供することもできる。コンピュータ読取可能な記録媒体は、読取専用のおよび書込可能なＣＤおよびＤＶＤ等の光媒体、磁気メモリまたは媒体（たとえばハードディスクドライブ、テープ）、半導体メモリ（たとえばフラッシュメモリおよびその他のポータブルメモリカード等）、チップにおいて符号化されたファームウェア等を含む、計算装置またはシステムが使用する、コンピュータ符号を格納することが可能な任意の媒体を含み得る。
【００４１】
コンピュータ読取可能な信号媒体は、上記記録媒体の部類には入らないものである。たとえば、例示としてのコンピュータ読取可能な信号媒体は、システム内で、システム間で、たとえば物理または仮想ネットワーク等を介して一時的な信号を伝達するかそうでなければ転送する。
【００４２】
図１は、ある実施形態に従うアーキテクチャ１００を示す。図１に示されるように、第１の遠隔ネットワーク１０４および第２の遠隔ネットワーク１０６を含む複数の遠隔ネットワーク１０２が与えられている。ゲートウェイ１０１は、遠隔ネットワーク１０２と近接ネットワーク１０８との間に接続されていてもよい。このネットワークアーキテクチャ１００の文脈において、ネットワーク１０４、１０６は各々、インターネット、公衆電話交換網（ＰＳＴＮ）、内部電話網等のＬＡＮ、ＷＡＮを含むがこれに限定されない形態を取り得る。
【００４３】
使用時、ゲートウェイ１０１は、遠隔ネットワーク１０２から近接ネットワーク１０８への入口のポイントとして機能する。このため、ゲートウェイ１０１は、ゲートウェイ１０１に到達した所与のデータパケットを導くことができるルータとして、および、所与のパケットに対してゲートウェイ１０１に出入りする実際の経路を与えるスイッチとして機能し得る。
【００４４】
ゲートウェイ１０１を介して遠隔ネットワーク１０２からアクセスすることが可能な、近接ネットワーク１０８に接続された少なくとも１つのデータサーバ１１４がさらに含まれる。なお、データサーバ１１４は、いずれかの種類の計算装置／グループウェアを含み得る。各データサーバ１１４に接続されているのは複数のユーザ装置１１６である。このようなユーザ装置１１６は、デスクトップコンピュータ、ラップトップコンピュータ、ハンドヘルドコンピュータ、プリンタ、またはその他の種類のロジックを含み得る。なお、ある実施形態において、ユーザ装置１１１もネットワークのいずれかに直接接続されていてもよい。
【００４５】
１つの周辺装置１２０または一連の周辺装置１２０、たとえば、ファクシミリ機、プリンタ、ネットワークされた記憶ユニット等が、ネットワーク１０４、１０６、１０８のうちの１つ以上に接続されてもよい。なお、データベース、サーバ、および／またはその他構成要素が、ネットワーク１０４、１０６、１０８に接続された何らかの種類のネットワーク要素とともに使用されてもよく、またはこれに組込まれてもよい。本明細書の文脈において、ネットワーク要素は、ネットワークのいずれかの構成要素を意味し得る。
【００４６】
いくつかのアプローチに従うと、本明細書に記載の方法およびシステムは、仮想システム、および／または１つ以上の他のシステムをエミュレートするシステム、たとえばＭＡＣ  ＯＳ環境をエミュレートするＵＮＩＸ（登録商標）システム、ＭＩＣＲＯＳＯＦＴ  ＷＩＮＤＯＷＳ（登録商標）環境を事実上ホストするＵＮＩＸシステム、ＭＡＣ  ＯＳ環境をエミュレートするＭＩＣＲＯＳＯＦＴ  ＷＩＮＤＯＷＳシステム等とともに実現されてもよく、および／またはそのシステム上で実現されてもよい。この仮想化および／またはエミュレートは、いくつかの実施形態ではＶＭＷＡＲＥのソフトウェアの使用を通して向上させてもよい。
【００４７】
さらに他のアプローチにおいて、１つ以上のネットワーク１０４、１０６、１０８は、一般的に「クラウド」と呼ばれているシステムのクラスタを表わしていてもよい。クラウドコンピューティングでは、処理能力、周辺機器、ソフトウェア、データ処理および／または記憶、サーバ等の共有リソースが、クラウド内の任意のシステムに、好ましくはオンデマンドの関係で与えられることにより、多数の計算システム全体におけるアクセスおよびサービスの分配が行なえるようにしている。クラウドコンピューティングは、典型的にはクラウド内で動作するシステム間のインターネットまたはその他高速接続（たとえば４Ｇ  ＬＴＥ、光ファイバー等）を必要とするが、システムの他の接続技術を使用してもよい。
【００４８】
図１は、ある実施形態に従うアーキテクチャ１００を示す。図１に示されるように、第１の遠隔ネットワーク１０４および第２の遠隔ネットワーク１０６を含む複数の遠隔ネットワーク１０２が与えられている。ゲートウェイ１０１は、遠隔ネットワーク１０２と近接ネットワーク１０８との間に接続されていてもよい。このアーキテクチャ１００の文脈において、ネットワーク１０４、１０６は各々、インターネット、公衆電話交換網（ＰＳＴＮ）、内部電話網等のＬＡＮ、ＷＡＮを含むがこれに限定されない形態を取り得る。
【００４９】
使用時、ゲートウェイ１０１は、遠隔ネットワーク１０２から近接ネットワーク１０８への入口のポイントとして機能する。このため、ゲートウェイ１０１は、ゲートウェイ１０１に到達した所与のデータパケットを導くことができるルータとして、および、所与のパケットに対してゲートウェイ１０１に出入りする実際の経路を与えるスイッチとして機能し得る。
【００５０】
ゲートウェイ１０１を介して遠隔ネットワーク１０２からアクセスすることが可能な、近接ネットワーク１０８に接続された少なくとも１つのデータサーバ１１４がさらに含まれる。なお、データサーバ１１４は、いずれかの種類の計算装置／グループウェアを含み得る。各データサーバ１１４に接続されているのは複数のユーザ装置１１６である。このようなユーザ装置１１６は、デスクトップコンピュータ、ラップトップコンピュータ、ハンドヘルドコンピュータ、プリンタ、またはその他の種類のロジックを含み得る。なお、ある実施形態において、ユーザ装置１１１もネットワークのいずれかに直接接続されていてもよい。
【００５１】
１つの周辺装置１２０または一連の周辺装置１２０、たとえば、ファクシミリ機、プリンタ、ネットワークされたおよび／またはローカル記憶ユニットまたはシステム等が、ネットワーク１０４、１０６、１０８のうちの１つ以上に接続されてもよい。なお、データベースおよび／またはその他構成要素が、ネットワーク１０４、１０６、１０８に接続された何らかの種類のネットワーク要素とともに使用されてもよく、またはこれに組込まれてもよい。本明細書の文脈において、ネットワーク要素は、ネットワークのいずれかの構成要素を意味し得る。
【００５２】
いくつかのアプローチに従うと、本明細書に記載の方法およびシステムは、仮想システム、および／または１つ以上の他のシステムをエミュレートするシステム、たとえばＭＡＣ  ＯＳ環境をエミュレートするＵＮＩＸ（登録商標）システム、ＭＩＣＲＯＳＯＦＴ  ＷＩＮＤＯＷＳ（登録商標）環境を事実上ホストするＵＮＩＸシステム、ＭＡＣ  ＯＳ環境をエミュレートするＭＩＣＲＯＳＯＦＴ ＷＩＮＤＯＷＳシステム等とともに実現されてもよく、および／またはそのシステム上で実現されてもよい。この仮想化および／またはエミュレートは、いくつかの実施形態ではＶＭＷＡＲＥのソフトウェアの使用を通して向上させてもよい。
【００５３】
さらに他のアプローチにおいて、１つ以上のネットワーク１０４、１０６、１０８は、一般的に「クラウド」と呼ばれているシステムのクラスタを表わしていてもよい。クラウドコンピューティングでは、処理能力、周辺機器、ソフトウェア、データ処理および／または記憶、サーバ等の共有リソースが、クラウド内のシステムに、好ましくはオンデマンドの関係で与えられることにより、多数の計算システム全体におけるアクセスおよびサービスの分配が行なえるようにしている。クラウドコンピューティングは、典型的にはクラウド内で動作するシステム間のインターネットまたはその他高速接続（たとえば４Ｇ  ＬＴＥ、光ファイバー等）を必要とするが、システムの他の接続技術を使用してもよい。
【００５４】
図２は、ある実施形態に従う、図１のユーザ装置１１６および／またはサーバ１１４に関連する代表的なハードウェア環境を示す。この図は、システムバス２１２を介して相互に接続されたマイクロプロセッサ等の中央処理装置２１０およびそれ以外の多数の装置を有するワークステーションの典型的なハードウェア構成を示す。
【００５５】
図２に示されるワークステーションは、ランダムアクセスメモリ（ＲＡＭ）２１４と、読取専用メモリ（ＲＯＭ）２１６と、ディスク記憶ユニット２２０等の周辺装置をバス２１２に接続するためのＩ／Ｏアダプタ２１８と、キーボード２２４、マウス２２６、スピーカ２２８、マイク２３２、および／またはタッチスクリーンおよびデジタルカメラ（図示せず）等の他のユーザインターフェイス装置をバス２１２に接続するためのユーザインターフェイスアダプタ２２２と、ワークステーションを通信ネットワーク２３５（たとえばデータ処理ネットワーク）に接続するための通信アダプタ２３４と、バス２１２をディスプレイ装置２３８に接続するためのディスプレイアダプタ２３６とを含む。
【００５６】
ワークステーションには、Ｍｉｃｒｏｓｏｆｔ  Ｗｉｎｄｏｗｓ（登録商標）のオペレーティングシステム（ＯＳ）、ＭＡＣ  ＯＳ、ＵＮＩＸ  ＯＳ等のオペレーティングシステムが常駐していてもよい。好ましい実施形態は、上記のもの以外のプラットフォームおよびオペレーティングシステム上でも実現し得ることが理解されるであろう。好ましい実施形態は、オブジェクト指向プログラミング技法とともに、ＪＡＶＡ（登録商標）、ＸＭＬ、Ｃ、および／またはＣ＋＋言語、またはその他のプログラミング言語を用いて記述されてもよい。複雑なアプリケーションの開発のために使用されることが増えているオブジェクト指向プログラミング（ＯＯＰ）を用いてもよい。
【００５７】
モバイル画像取込みおよび処理アルゴリズムのさまざまな実施形態
モバイル画像取込みおよび処理アルゴリズムのさまざまな実施形態、ならびに本開示の範囲に含まれるこのようなアルゴリズム処理を使用し易くするように構成されたいくつかのモバイルアプリケーションについて、以下で説明する。以下の各セクションに記載される機能は、本明細書に記載の機能のうちのいずれかまたはすべてを含むその他のセクションに開示される機能と組合わせて使用し得ることが、理解されるはずである。加えて、いくつかのアプローチでは、処理アルゴリズムの実施形態の機能とモバイルアプリケーションの実施形態を、組合わせてもよく、および／またはさまざまな計算リソースおよび／またはシステム全体に、何らかのやり方で分散させてもよい。
【００５８】
アプリケーションは、モバイル装置にインストールされてもよく、たとえばモバイル装置の不揮発性メモリに格納されてもよい。あるアプローチにおいて、このアプリケーションは、モバイル装置上で画像処理を実行することを指示する命令を含む。別のアプローチにおいて、このアプリケーションは、１つ以上の非モバイル装置、たとえばネットワークサーバ等の遠隔サーバ、遠隔ワークステーション、クラウドコンピューティング環境等に画像を送ることを指示する命令を含むが、当業者はこのことを本明細書の記載を読んで理解するであろう。さらに他のアプローチにおいて、このアプリケーションは、モバイル装置上で一部またはすべての処理を実行するか否か、および／または画像を遠隔場所に送るか否かを判断することを指示する命令を含み得る。如何にして画像を処理し得るかについての例を、以下でより詳細に示す。
【００５９】
ある実施形態において、モバイル装置上で実行し得る処理と、遠隔サーバ上で実行し得る処理との間に、処理速度、利用できるメモリに対する制約等を除いて、違いがない場合がある。加えて、たとえばモバイルアプリケーションの一部としての、モバイル装置上にあるさまざまなユーザインターフェイスと、非モバイル装置と通信するディスプレイ上にある対応するユーザインターフェイスとの間に、何らかの相違がある、または相違がない場合がある。
【００６０】
他の実施形態において、遠隔サーバは、より高い処理能力、より多くの機能、より多くの処理アルゴリズム等を有し得る。さらに他の実施形態において、モバイル装置は、画像を遠隔サーバに送信するのに必要なもの以外、このアプリケーションに関連する画像処理機能を有さない場合がある。さらに別の実施形態において、遠隔サーバは、処理された画像を遠隔サーバから受信するのに必要なもの以外、本明細書に示されるプラットフォームに関連する画像処理能力を有さない場合がある。したがって、画像は、部分的にもしくは全体的にモバイル装置上で処理されてもよく、および／または部分的にもしくは全体的に遠隔サーバ上で処理されてもよく、および／または部分的にもしくは全体的にクラウドで処理されてもよく、および／または部分的にもしくは全体的に、間にあるアーキテクチャ全体のうちのいずれかの部分において処理されてもよい。加えて、いくつかの処理工程は別々の装置上で繰返されてもよい。
【００６１】
どの装置が処理のどの部分を実行するかについては、たとえば、ユーザによって規定されてもよく、予め定められていてもよく、実行中に決定されてもよい。加えて、いくつかの処理工程は、たとえばユーザからの要求を受けて、再度実行されてもよい。したがって、生の画像データ、部分的に処理された画像データ、または完全に処理された画像データは、モバイル装置から、たとえば無線データネットワークを用いて、遠隔システムに送信されてもよい。遠隔システムで処理された画像データは、出力のためにおよび／またはさらに処理するために、モバイル装置に戻されてもよい。
【００６２】
さらに他のアプローチにおいて、画像は分割されてもよく、画像のさまざまな部分の処理がさまざまな装置に割当てられてもよく、たとえば、１／２がモバイル装置に割当てられ１／２が遠隔サーバに割当てられて、その後、処理されたこれら１／２の部分が組合される。
【００６３】
ある実施形態において、処理を実行する装置の選択は、モバイル装置上のローカルな処理速度と、サーバとの通信速度との比較に、少なくとも一部基づいていてもよい。
【００６４】
あるアプローチにおいて、処理機能のライブラリがあってもよく、モバイル装置上のアプリケーションまたは遠隔サーバ上のアプリケーションは、このライブラリに対する呼出しを行なうだけでよく、実際、この呼出しの意味が、実行する処理の種類を定める。次に、装置はその処理を実行し、処理された画像を、おそらくは何らかの対応するメタデータとともに出力する。
【００６５】
さまざまな実施形態において、当該技術において周知のおよび／または本明細書で新たに示される、どのような種類の画像処理も、任意に組合わせて実行し得る。
【００６６】
次に、例示としての画像処理を説明する。カメラは、画像を取込むエリアセンサとみなすことができ、この画像には、いくつかの射影効果がある場合があり、場合によっては非線形効果がある場合がある。画像を処理してこのような効果を補正することができる。加えて、処理中に、画像内の文書の位置と境界線、たとえば紙の１つ以上の実際のページを囲む背景の中にある、この（これらの）ページの境界線を、検出してもよい。さまざまな実施形態のモバイルの性質のため、この紙は、ほとんどどのようなものの上にも載っている可能性がある。このことは、スキャナを用いて生成される文書の画像の処理と比較して、画像の解析を複雑にする。なぜなら、スキャナの背景特性は一定であって典型的には既知であるのに対し、モバイル取込みの背景は、文書がある場所および画像背景に取込まれた周囲の対応するテクスチャに応じて、また、変動し得る照明条件が原因で、ほぼ無限に変化する可能性があるからである。
【００６７】
したがって、カメラによる取込みのために１枚の紙が置かれるであろう表面の背景が一様でないことが、１つの課題を示し、非線形効果および射影効果が、さらに他の課題を示す。さまざまな実施形態はこれら課題を克服する。このことはまもなく明らかになるであろう。
【００６８】
ある代表的な動作モードにおいて、モバイル装置上のアプリケーションは、たとえばアプリケーションを開くことを指示するユーザ要求に応じて、開始されてもよい。たとえば、このアプリケーションを表わすアイコンをユーザが選択したことが検出されてもよい。
【００６９】
いくつかのアプローチにおいて、ユーザ認証が要求されおよび／または実行されることがある。たとえば、ユーザＩＤおよびパスワード、またはその他の認証情報が、要求されるおよび／またはユーザから渡される。
【００７０】
さらに他のアプローチにおいて、アプリケーションのグラフィカルユーザインターフェイスを介してさまざまなタスクが可能にされてもよい。たとえば、タスクのリストが示されてもよい。このような場合、ユーザによるこのようなタスクのうちの１つの選択が検出されてもよく、その他の選択肢がユーザに示されてもよく、予め定められたタスクが開始されてもよく、カメラが起動されてもよい。
【００７１】
画像は、モバイル装置のカメラによって、好ましくは、何らかの種類のユーザ入力を受けたことに応じて、たとえばモバイル装置の画面上のタップ、モバイル装置上のボタンの押下、音声コマンド、ジェスチャー等を受けたことに応じて、取込まれてもよい。可能性があるもう１つのシナリオは、たとえばビデオストリームからの連続フレームの何らかのレベルの解析を伴ない得る。シーケンシャルフレーム解析の次に、高解像度の１つの画像フレームの取込みに切換えられてもよく、これは、いくつかのアプローチにおいて、自動的にまたはユーザによってトリガされてもよい。加えて、このトリガは、１つ以上のモバイル装置センサから受けた情報に基づいていてもよい。
【００７２】
たとえば、ある実施形態において、モバイル装置内のまたはモバイル装置に接続された加速度計が、カメラの安定度を示してもよく、アプリケーションは、文書の低解像度のビデオフレームを解析してもよい。文書が検出されると、アプリケーションは、焦点合わせ動作を実行し、検出された文書の高解像度の画像を取得してもよい。
【００７３】
さらに処理するのは低解像度の画像であっても高解像度の画像であってもよいが、好ましい実施形態は、さらに処理する対象として高解像度の画像を使用する。さらに他のアプローチにおいて、先に述べたようなシングルフレームモードへの切換えは、特に名刺および領収書のようなより小さな文書の場合、不要である場合がある。処理速度を高めるとともに処理リソースの消費を減じるために、文書の種類の識別によって、シングルフレームモードに切換えるか否かおよび／または処理の対象として高解像度の画像を取込むか否かを判断し易くしてもよい。ここでは１つ以上の文書の画像が取り込まれると想定する。
【００７４】
一般的にモバイル装置には従来の非モバイル装置の処理能力がないと想定して、あるアプローチでは、モバイル装置に対して何らかの限定された処理を実行することによって、たとえばページが正しく検出されたこと、画像が不鮮明でないこと、および／または照明が十分であること、たとえばある種のプレビューを、ユーザに確認させてもよい。
【００７５】
あるアプローチにおいて、カメラによって取込まれた画像の中の文書が検出されてもよい。
【００７６】
文書の１本以上の境界線を検出する他の方法も本明細書に示される。画像の中の文書が非線形性を有しているかまたは矩形でない場合に、補正処理を適用してもよい。
【００７７】
画像の中のページが検出されると、ある実施形態は、当然元の一枚の紙が矩形であると想定して、このページを矩形にするために、スムーズな変換を実行する。画像に対するもう１つの有効な補正は、照明のムラの緩和であってもよい。
【００７８】
ある代表的なアプローチにおいて、ページ検出および矩形化は、実質的に下記のように実行し得る。
【００７９】
モバイルページ検出のさまざまな実施形態
次に、ページ検出を実行するための代表的な方法体系を示す代表的な実施形態を、図３Ａ〜図４を参照しながら説明する。これらの説明を参照すると、本明細書に記載のモバイル処理アルゴリズムに対して実現される利点が、如何にして、エリアセンサ（カメラ）によって取込まれた画像を扱いそのために現われる固有の障害を取除くかが、より明らかになるであろう。
【００８０】
あるアプローチでは、特に図３Ａ〜図３Ｂを参照すると、エッジ検出アルゴリズムは、デジタル画像３００の境界線から、背景の特性に関してわかっているものと十分に異なるポイントを探して、画像３００の中心領域に向かって進む。特に、同じモバイル装置で取込まれていても、画像の背景３０４は毎回異なる場合があるので、画像の中の文書を識別するための新たな技術を提供する。
【００８１】
本開示に従う、カメラで取込まれた画像の中のページのエッジを発見することにより、たとえばスキャナとは対照的に、モバイル装置を用いて取込まれた画像の特性の重要な相違に対応し易くなる。たとえば、射影効果が原因で、写真の中の矩形の文書の画像は、実際矩形に見えない場合があり、この画像内の文書の対向する辺の長さが同一でない場合がある。第２に、最高のレンズであっても何らかの非線形性はあるので、結果として、オブジェクトの中の直線、たとえば実質的に矩形の文書の直線の辺が、このオブジェクトの取込まれた画像ではわずかに湾曲して見えることになる。第３に、カメラを用いて取込んだ画像は、取込んだ画像に、ムラのある照明効果を導入する傾向が極めて高い。この照明ムラが原因で、文書を置くことができる面の背景が完全に均質であっても、画像の中では、輝度にばらつきがあるように見え、特にページが完全に平坦でない場合はページのエッジの周りに影があることが多い。
【００８２】
代表的なアプローチにおいて、背景の中の変化を間違ってページのエッジとみなすのを避けるために、現在のアルゴリズムは、下記機能のうちの１つ以上を利用する。
【００８３】
さまざまな実施形態において、画像のフレームは、文書３０２のデジタル表現を、その周囲の背景３０４である余白とともに含む。好ましい実装例において、個々のページエッジ３０６の探索は、画像の行と列を外側から内側に向かって解析するステップオーバー手法で実行してもよい。ある実施形態において、ステップオーバー手法は、図３Ａ〜図３Ｂに示されるような複数の解析ウィンドウ３０８をデジタル画像３００の中に画定してもよい。本明細書では、解析ウィンドウ３０８は、１つ以上の「背景ウィンドウ」、すなわちデジタル画像３００の背景３０４を示す画素のみを含むウィンドウと、１つ以上の「テストウィンドウ」、すなわちデジタル画像３００の背景３０４、文書３０２のデジタル表現、または双方を示す画素を含むウィンドウを、含み得ると理解される。
【００８４】
好ましい実施形態において、文書のデジタル表現を、デジタル画像の中で、文書が置かれた面の、背景３０４に対応する画像の余白に、第１の解析ウィンドウ３０８すなわち背景解析ウィンドウを画定することによって、検出してもよい。第１の解析ウィンドウ３０８では、複数の小解析ウィンドウ（たとえば図３Ｄに示されるようなテストウィンドウ３１２）が第１の解析ウィンドウ３０８の中に画定されていてもよい。複数のテストウィンドウ３１２を利用して、背景３０４を記述する１つ以上の統計的特性の１つ以上の分布を推定してもよい。
【００８５】
引続き上記好ましい実施形態について説明する。文書のデジタル表現の境界線の検出における次のステップは、デジタル画像の中に複数のテストウィンドウ３１２を画定することと、このデジタル画像の対応する領域を解析することとを含み得る。テストウィンドウ３１２ごとに、この画像の対応する領域を記述する１つ以上の統計値を計算してもよい。さらに、これら統計値を、背景３０４を記述する、対応する統計値の分布と比較してもよい。
【００８６】
好ましいアプローチにおいて、上記複数のテストウィンドウ３１２は、経路、特に直線の経路に沿って画定してもよい。とりわけ好ましいアプローチにおいて、複数のテストウィンドウ３１２は、水平方向および／または鉛直方向に、たとえばデジタル画像の行と列に沿って、画定してもよい。加えて、段階的進行を採用して、上記経路に沿い、および／または行および／または列の間に、テストウィンドウ３１２を画定してもよい。いくつかの実施形態では、段階的進行を利用すると有利に文書検出プロセスの計算効率を高めることができる。当業者はこのことを本明細書の記載を読んで理解するであろう。
【００８７】
加えて、いくつかの実施形態では、開始段の大きさを、画像の解像度または画素サイズに基づいて推定してもよいが、この段は、以下でさらに説明するように、文書の辺の確実な検出に好都合であれば、小さくしてもよい。
【００８８】
さらに他の実施形態において、上記アルゴリズムは、文書を囲む背景の中に置かれた大解析ウィンドウ３０８の中において発見された、画像特性を記述する統計値の分布を、推定する。あるアプローチにおいて、複数の小さなウィンドウ３１２を、大解析ウィンドウ３０８の中に画定してもよく、小さなテストウィンドウ３１２を記述する統計値の分布を推定してもよい。ある実施形態において、大解析ウィンドウ３０８は、デジタル画像の背景領域、たとえば画像の左上の角に画定される。
【００８９】
背景画素を記述する統計値は、最小値、最大値、中央値、値の範囲の広がり、分散、標準偏差等の、デジタル画像データから生成することができる統計値を含み得る。当業者はこのことを本明細書の記載を読んで理解するであろう。デジタル画像３００を記述するデータから、１つ以上のカラーチャネル、たとえば赤、緑、青すなわちＲＧＢ、シアン、マゼンタ、イエロー、ブラックすなわちＣＭＹＫにおける輝度値、色相飽和値すなわちＨＳＶ等の値を、サンプリングしてもよい。当業者はこのことを本明細書の記載を読んで理解するであろう。
【００９０】
図３Ｄに示されるように、小解析ウィンドウ３１２は各々、大解析ウィンドウ３０８の中の複数の画素のサブセットを含み得る。加えて、小解析ウィンドウ３１２は、大解析ウィンドウ３０８の境界線の中に嵌めることができるどのようなサイズおよび／または形状であってもよい。好ましい実施形態において、小解析ウィンドウ３１２は、矩形形状で特徴付けられてもよく、より好ましくは、第１の方向の長さ（たとえば高さ）が３画素で、第２の方向の長さ（たとえば幅）が７画素であることを特徴とする矩形によって特徴付けられてもよい。もちろん、これ以外の小解析ウィンドウのサイズ、形状、および寸法も、本明細書に開示される処理アルゴリズムで実現するのに適している。
【００９１】
ある実施形態において、テストウィンドウを用いることにより、画像を解析するとともに、この画像内に示されている文書のデジタル表現の境界線を検出してもよい。背景ウィンドウは、背景の当初の統計的特性の推定、および／または背景の局所的な統計的特性の再推定に使用される。照明ムラおよび／または背景テクスチャのばらつき等のアーティファクトに対処するためには、再推定が必要および／または好都合であろう。
【００９２】
好ましくは、いくつかのアプローチにおいて、文書ページの外側にある余白の中の大解析ウィンドウ３０８の中にある複数の小解析ウィンドウ３１２のうちのいくつかまたはすべてに対して、統計的推定を行なってもよい。このような推定は、大解析ウィンドウ３０８の中で小解析ウィンドウ３１２を段階的に移動させることを利用して実行してもよく、所与の画素に対して取るサンプルの数を変えるために、段階的な移動の増分を適切な増分にしてもよい。たとえば、計算効率を高めるために、解析プロセスは、各画素３１８が一回サンプリングされることを保証するのに十分な、大解析ウィンドウ３０８内の小解析ウィンドウ３１２の数を定めてもよい。このように、この高計算効率アプローチにおいて定めた複数の小解析ウィンドウ３１２は、境界線を共有するが重なり合うことはない。
【００９３】
統計的推定のロバスト性を高めるように設計された別のアプローチにおいて、解析プロセスは、たとえば、段を小さくして、連続して画定される小解析ウィンドウ３１２間の所与の方向におけるシフトを１画素のみにすることにより、各画素３１８が最大回数サンプリングされることを保証するのに十分な、多数の小解析ウィンドウ３１２を、大解析ウィンドウ３０８の中に画定してもよい。もちろん、本明細書に開示される処理アルゴリズムのさまざまな実施形態において採用する段の増分は、どのような増分であってもよい。当業者はこのことを本明細書の記載を読んで理解するであろう。
【００９４】
デジタル画像内の局所的背景の統計値を再推定するのに利用される大解析ウィンドウ３０８と、テストウィンドウは、望ましい任意の方法で、デジタル画像内に配置できることを、当業者は理解するであろう。
【００９５】
たとえば、図３Ａに示されるある実施形態に従うと、所与の行ｉにおける左側のエッジの探索は、所与の行ｉを中心とする画像の左辺上のフレーム境界線に隣接する大解析ウィンドウ３０８の中の上記統計値を計算することから始まる。
【００９６】
さらに他の実施形態において、上記アルゴリズムが画像の外側領域から画像の内側領域に向かって進行するときに起こり得る、背景でないテストウィンドウ（たとえば推定された統計値が、最後にわかった局所背景の統計的特徴の分布と似ていないテストウィンドウ）との遭遇が生じたとき、このアルゴリズムは、いくつかの実施形態において、以前求めた背景領域に後戻りし、新たな大解析ウィンドウ３０８を形成し、背景の統計値の分布を再推定して、小解析ウィンドウ３１２の中の選択された統計値と、大解析ウィンドウ３０８の中の対応する統計値の局所分布との違いの妥当性を再評価してもよい。
【００９７】
当業者が本明細書の記載を読んで理解するように、このアルゴリズムは、画像３００の外側領域から、画像３００の内側領域まで、さまざまな態様で進行し得る。たとえば、あるアプローチにおいて、このアルゴリズムは、実質的に螺旋のパターンでテストウィンドウ３１２を画定することから始まる。他のアプローチにおいて、このパターンは、鉛直方向または水平方向いずれかに沿って実質的に蛇行してもよい。さらに他のアプローチにおいて、このパターンは実質的に屋根板状のパターンであってもよい。このパターンはまた、デジタル画像３００の一部または全面に置かれた、チェッカー盤パターン、鉛直、水平、または対角線方向のストライプのパターン、同心円形状等の、「シーケンスマスク」によって画定されてもよい。当業者はこのことを本明細書の記載を読んで理解するであろう。他の実施形態において、大解析ウィンドウ３０８および／または小解析ウィンドウ３１２等の解析ウィンドウを、何らかの規定された手順に従って、ランダム、疑似ランダム、確率論的等のやり方で、デジタル画像３００全体に画定してもよい。当業者はこのことを本明細書の記載を読んで理解するであろう。このアルゴリズムは、経路が既知の背景に後戻りできる経路でありかつこの経路が望ましい粒度の画像全体をカバーする限り、何らかの望ましいやり方で一連のテストウィンドウを続けることができる。
【００９８】
好都合なことに、このように統計値を再計算すると、デジタル画像３００および／または背景３０４に固有の照度のドリフトに対処し易くなる。さもなければ画像内の背景でないポイントであると間違って識別することになり得る（たとえば図３Ｃに示されるアウトライアー候補エッジポイント３１６）。
【００９９】
さらに他の実施形態において、違いが統計上有効であるとき、このアルゴリズムは、木目、表面上の擦り傷、表面の模様、小さな影等の、背景３０４のテクスチャの小さな変化を再び確認して迂回するために、その経路に沿って特定距離だけさらに飛越してもよい。当業者はこのことを本明細書の記載を読んで理解するであろう。
【０１００】
追加のおよび／または代替の実施形態において、背景でない可能性があるポイントを発見した後に、このアルゴリズムは、このポイントが影のエッジ上にあるか否か判断し（特にページのエッジが背景面よりも高い場合に起こり得る）、実際のページのエッジに到達しようと試みる。このプロセスは、通常影は実際のエッジに向かって濃くなりそれに続いて画像が突然明るくなるという観察に基づいている。
【０１０１】
上記ページエッジ検出のアプローチが使用されたのは、いくつかの理由から、標準的なエッジ検出器の使用が不要でありそれどころか望ましくないからである。第１に、最も標準的なエッジ検出器は、時間がかかる動作を必要とし、第２に、このアルゴリズムは、エッジがどれほど細いか、どの方向に沿っているか等をモニタリングすることのような、その他の要件とは無関係である。より重要なのは、ページのエッジ３０６を探すときにエッジ検出そのものは必ずしも必要でないことである。すなわち、本開示に従うページエッジ検出は、文書の境界線（たとえばページエッジ３０６）を探索するのではなく、背景から文書への移行に関連する画像の特徴を探索するやり方で、実行し得るものである。たとえば、この移行は、光沢紙の中のオフホワイトの輝度レベルが平坦になること、すなわち、平均グレーレベルまたはカラーレベルではなくテクスチャの変化によって、特徴付けられる場合がある。
【０１０２】
その結果、格子上の各行および列における、実質的に最初と最後の非背景画素である、候補エッジポイント（たとえば図３Ｃに示される候補エッジポイント３１４）を得ることができる。ランダムなアウトライアー（たとえば図３Ｃに示されるアウトライアー候補エッジポイント３１６）を排除し、どの候補エッジポイント３１４がページの各辺に対応するか判断するためには、あるアプローチにおいて、近隣の候補エッジポイントを解析することが有効である。
【０１０３】
ある実施形態において、「ポイント」は、画素、画素間の位置（たとえば２画素×２画素の正方形の中心のような、分率座標を有するポイント）、画素の小さなウィンドウ等の、デジタル画像の中のいずれかの領域とみなすことができる。当業者はこのことを本明細書の記載を読んで理解するであろう。好ましい実施形態において、候補エッジポイントは、局所的背景を記述する統計値の分布と異なると判断された統計値によって特徴付けられることがわかっている、テストウィンドウ（たとえば３画素×７画素のウィンドウ）の中心と関連付けられる。
【０１０４】
本明細書では、「近隣の」候補エッジポイントまたは「近隣の」画素はそれぞれ、対象ポイントまたは画素（たとえば画素３１８）の近くまたは隣りのポイントまたは画素であり、たとえば、対象ポイントまたは画素の境界線に少なくとも一部が沿って位置するポイントまたは画素、対象ポイントまたは画素からしきい値距離以内（対象ポイントまたは画素の１つの行の中、対象ポイントまたは画素の１つの列の中の、所与の方向における２画素、１０画素、６４画素以内等）に位置するポイントまたは画素等であるとみなされると理解される。当業者はこのことを本明細書の記載を読んで理解するであろう。好ましいアプローチにおいて、「近隣の」ポイントまたは画素は、特定方向、たとえば水平方向および／または鉛直方向に沿って、対象ポイントに最も近い候補エッジポイントであってもよい。
【０１０５】
各「優良」エッジポイントは、理想的には少なくとも２つの隣接ポイントが（両側に１つずつ）あり、これら隣接ポイントを結ぶ直線の線分から大きく離れておらず、「優良」エッジポイント、たとえば、候補エッジポイントと、少なくとも２つの隣接ポイントは、線形回帰に適していてもよく、その結果が、０．９５以上の決定係数（Ｒ２）によって特徴付けられてもよい。この線分の、デジタル画像の１本以上の境界線に対する角度は、その相対位置とともに、このエッジポイントが割当てられているのが、ページの上の辺なのか、左の辺なのか、右の辺なのか、または下の辺なのかを、決定する。好ましい実施形態において、候補エッジポイントと、２つの近隣エッジポイントを、三角形のそれぞれの角に割当ててもよい。この三角形の、候補エッジポイントにおける角度が、１８０度に近い場合、この候補エッジポイントは「優良な」エッジポイントであるとみなし得る。この三角形の、候補エッジポイントにおける角度が、しきい値を上回る角度（２０度以上等）分、１８０度から大きくずれている場合、この候補エッジポイントは、一組の「優良な」エッジポイントから除外してもよい。この発見的問題解決法の背後にある論理的根拠は、行と列の中の最初と最後の非背景画素の判断におけるランダム誤差を解消したいという希望にある。これら画素が存在する線が不変であることはありえないので、距離と方向という観点から近隣を調べることは、いくつかのアプローチにおいて特に好都合である。
【０１０６】
速度のためには、この格子の段を３２等の大きな数から初めてもよいが、これを２分の１に減じ、エッジポイントの探索を、ページの辺の最小二乗平均（ＬＭＳ）に基づく等式を求めるのに十分なエッジポイントが得られるまで繰返してもよい（下記を参照）。画像内のすべての行と列を使用した後になってもこのプロセスによって確実に辺を求めることができなければ、断念して画像全体をページとして扱う。
【０１０７】
ある実施形態において、ページの辺の等式は次のようにして求められる。最初に、このアルゴリズムは、最良のＬＭＳ直線を各辺に適合させる。そのときに使用する手法は、ＬＭＳ直線からの距離が小さい範囲の中に、残りのサポートエッジがすべて入るまで、最悪のアウトライアーを捨てるという手法である。たとえば、文書の特定の境界線に沿う複数の候補エッジポイントを結ぶ実質的に真直ぐな線から最大の距離のポイントを、「最悪の」アウトライアーと指定してもよい。この手順を繰返すことによって、複数の候補エッジポイントから、１つ以上の「最悪の」アウトライアーを指定および／または削除すればよい。いくつかのアプローチにおいて、候補エッジポイントが、複数のエッジポイントを結ぶ線から離れているであろう距離は、デジタル画像のサイズおよび／または解像度に少なくとも一部基づく。
【０１０８】
上記直線が、この直線の範囲全体に沿って十分にサポートされていない場合、このアルゴリズムは、最良の二次多項式（放物線）を、同じ当初の候補ポイントに適合させようと試みる場合がある。このアルゴリズムにおける、最良の放物線の発見と、最良の直線の発見の違いは、重要ではない。すなわち、直線の方向とオフセットを決める２つの未知の係数の代わりに、放物線の曲率、方向、およびオフセットと決める３つの係数がある。しかしながら、ある実施形態において、その他の点ではこのプロセスは本質的には同じである。
【０１０９】
放物線のサポートが直線のサポートよりも強力である場合、特に、候補エッジの範囲の端部により近い場合、結論として、このアルゴリズムでは、放物線の方が、画像の中のページの辺のより優れたモデルとして、好ましいはずである。それ以外の場合は、さまざまなアプローチにおいて、線形モデルが採用される。
【０１１０】
発見された文書の４つの辺の交点を計算することにより、四角形（たとえば図４に示され以下でより詳しく説明される四角形４００）の角（わずかに湾曲している可能性がある）を発見してもよい。好ましい実装例では、そうするために、３つのケースを考慮することが必要である。すなわち、２つの直線の交点の計算、直線と放物線の交点の計算、および２つの放物線の交点の計算である。
【０１１１】
第１のケースでは、解は１つであり（なぜなら、上側と下側のページエッジ３０６は大部分が水平方向に延び、左側と右側のページエッジ３０６は大部分が鉛直方向に延び、対応するＬＭＳ直線は平行になり得ないからである）、この解が、対応するページの角の座標を決定する。
【０１１２】
第２のケースの、直線と放物線の交点の計算は、もう少し複雑である。すなわち、結果として得られる二次方程式の解は、ゼロ、１つ、または２つの可能性がある。交点がないということは、ページ検出の致命的な問題を示すかもしれず、その結果は採用されない可能性がある。解が１つということは、どちらかと言えばありえないが、さらに他の問題は示さない。交点が２つの場合は、選択肢を示し、その場合、フレームの対応する角により近い交点が、より優良な候補ということになる。実際、方程式の他方の解は、画像フレームの座標範囲から非常に遠い可能性がある。
【０１１３】
第３のケースの、２つの放物線の交点の計算は、結果として、（原則として）解析的に解き得る四次多項式である。しかしながら、実際は、解を得るのに必要な計算の数が、所望のサブピクセル精度も保証する近似反復アルゴリズムよりも多い。
【０１１４】
以下では、この目的のために使用される代表的な手順について、あるアプローチに従う、文書３０２のデジタル表現の矩形化について述べながら、詳細に説明する。
【０１１５】
結果として得られる、目標の四角形（たとえば図４に関連して以下でさらに詳しく説明する四角形４００）の妥当性には、いくつかの制約がある。すなわち、この四角形は小さすぎる（たとえば画像の総面積の２５％といった所望の値の予め定められたしきい値未満）ことがないのが好ましく、この四角形の角は画像のフレームの外側に大きく離れすぎていない（たとえば１００画素以下離れている）ことが好ましく、角そのものが、左上、右上、左下、および右下の角であると解釈でき、対角線が四角形の内側で交差することが好ましい等である。これらの制約が満たされていなければ、いくつかの実施形態において、所与のページ検出結果は採用されない場合がある。
【０１１６】
文書３０２のデジタル表現の検出された四角形が妥当である、例示としての実施形態において、このアルゴリズムは、目標の矩形を求めてもよい。目標の矩形の幅と高さはそれぞれ、四角形の上側の辺と下側の辺の平均と、左側の辺と右側の辺の平均に設定してもよい。
【０１１７】
ある実施形態において、スキュー補正を行なう場合、目標の矩形のスキューの角度をゼロに設定して、ページの辺が水平方向および鉛直方向になるようにしてもよい。そうでなければ、スキュー角度を、水平軸に対する上側の辺と下側の辺の角度の平均と、鉛直軸に対する左側の辺と右側の辺の平均に設定してもよい。
【０１１８】
同様に、クロップ補正を行なわない場合、目標の矩形の中心を指定して四角形の４つの角の座標の平均に一致するようにしてもよい。そうでなければ、他の実施形態において、目標の矩形が画像フレームの左上になるように中心を計算してもよい。
【０１１９】
いくつかのアプローチにおいて、ページ検出結果が何らかの理由で採用されない場合、本明細書に記載のプロセスのいくつかまたはすべてのステップを、段の増分を小さくして繰返すことにより、より多くの候補エッジポイントを取得し、好都合に、より妥当な結果を得てもよい。最悪のケースのシナリオでは、許容される最小の段にしても問題が解消せず、検出されたページを画像フレーム全体に設定してもよく、元の画像には触れないままであってもよい。
【０１２０】
次に、本明細書に記載の発明のページ検出の実施形態の代表的な実装例を特に参照すると、あるアプローチにおいて、ページ検出は、下記のような方法を実行することを含む。この方法は、本明細書に記載され本明細書に開示される図面のいずれかに示されるものを含む、任意の環境で実行し得る。当業者はこのことを本明細書を読んで理解するであろう。
【０１２１】
ある実施形態において、この方法は、デジタル画像の背景から文書のデジタル表現に移行する部分に対応する複数の候補エッジポイントを定める動作を含む。
【０１２２】
さまざまな実施形態において、動作時に複数の候補エッジポイントを定めることは、以下で説明するような動作を含む、１つ以上の他の動作を含み得る。
【０１２３】
ある動作では、ある実施形態に従うと、大解析ウィンドウ（たとえば図３Ａ〜図３Ｂおよび図３Ｄに示される大解析ウィンドウ３０８）がデジタル画像３００の中に画定される。好ましくは、第１の大解析ウィンドウは、非背景部分（たとえば、動作を参照しながら以下でより詳しく説明する背景統計値等の、文書３０２のデジタル表現）に特有の情報との比較対象のための、デジタル画像の背景３０４に特有の情報を取得するために、デジタル画像の背景３０４の複数の画素を示すが非背景部分は示さない領域に、画定される。たとえば、第１の大解析ウィンドウ３０８は、デジタル画像３００の角（左上の角等）に画定されてもよい。当然、第１の大解析ウィンドウは、本開示の範囲から外れることなく、デジタル画像３００のいずれの部分にも画定し得る。
【０１２４】
加えて、大解析ウィンドウ３０８は、どのようなサイズであってもよく、および／またはどのような適切な寸法で特徴付けられてもよいが、好ましい実施形態において、大解析ウィンドウ３０８は、高さが約４０画素で幅が約４０画素である。当業者はこのことを本明細書を読んで理解するであろう。
【０１２５】
特に好ましいアプローチにおいて、大解析ウィンドウ３０８は、デジタル画像の角領域に画定されてもよい。たとえば、図３Ａを参照すると、デジタル画像３００が示されており、デジタル画像３００は、複数の辺３０６を有する文書３０２のデジタル表現３０２と、背景３０４とを含む。動作に関して先に述べたように、大解析ウィンドウ３０８は、複数の背景画素を含むが文書３０２のデジタル表現に対応する画素は含まない領域に画定されてもよい。加えて、大解析ウィンドウ３０８は、いくつかのアプローチにおいて、デジタル画像３００の角に画定されてもよい。
【０１２６】
別の動作において、ある実施形態に従い、複数の小解析ウィンドウ３１２が、デジタル画像３００の中、たとえば、大解析ウィンドウ３０８の中に、画定されてもよい。小解析ウィンドウ３１２は、他の１つ以上の小解析ウィンドウ３１２と、少なくとも一部が重なり合って、図３Ｄに示されるように１つ以上の重畳領域３２０を含むことによって特徴付けられてもよい。好ましいアプローチにおいて、可能なすべての小解析ウィンドウ３１２が、大解析ウィンドウ３０８の中に画定される。当然、図３Ｂに示されるように、小解析ウィンドウはデジタル画像のどの部分の中に画定されてもよく、好ましくは、小解析ウィンドウは、各小解析ウィンドウが１つの中心画素によって特徴付けられるように、画定されてもよい。
【０１２７】
さらに他の動作において、ある実施形態に従い、１つ以上の小解析ウィンドウ３１２（たとえば大解析ウィンドウ３０８内の１つ以上の小解析ウィンドウ３１２）について１つ以上の統計値が計算され、対応する統計値の１つ以上の分布が推定される（たとえば複数の小解析ウィンドウ３１２全体について推定される統計値の分布）。別の実施形態において、１つ以上の大解析ウィンドウ３０８全体について統計値の分布が推定され、任意でマージされてもよい。
【０１２８】
加えて、値は、デジタル画像の背景に関連する何らかの特徴を記述するものであればよく、たとえば、背景輝度の値、背景カラーチャネルの値、背景テクスチャの値、背景明度の値、背景コントラストの値、背景鮮鋭度の値等である。当業者はこのことを本明細書を読んで理解するであろう。さらにまた、統計値は、大解析ウィンドウ３０８内の複数の小解析ウィンドウ３１２全体のデジタル画像背景３０４を示す複数の画素の、１つ以上のカラーチャネルにおける輝度値の、最小値、最大値、および／または範囲を含み得る。
【０１２９】
さらに他の動作において、再び代表的なある実施形態に従うと、背景統計値の１つ以上の分布が推定される。統計値の分布を推定することにより、たとえば、大解析ウィンドウ３０８内のデジタル画像３００の背景３０４の特性を特徴付ける記述的分布を得ることができる。
【０１３０】
この分布は、好ましくは小解析ウィンドウごとに計算された背景統計値に対応し、たとえば、輝度最小値の分布、輝度最大値の分布等を含み得る。この分布から、最小輝度値の最小値および／または最大値、最小輝度値の最小値および／または最大値、輝度値の最小および／または最大の広がり、最小カラーチャネル値の最小値および／または最大値、最大カラーチャネル値の最小値および／または最大値、カラーチャネルの最小および／または最大の広がりといった、分布の統計的記述子が得られる。当業者はこのことを本明細書を読んで理解するであろう。当然、計算された背景統計値（たとえば輝度の値、カラーチャネルの値、コントラストの値、テクスチャの値、明度の値、鮮鋭度の値等）を集めて１つの分布にしてもよく、分布を記述する任意の値を本開示の範囲から外れることなく採用することができる。
【０１３１】
さらに他の動作では、ある実施形態に従い、図３Ａ〜図３Ｂに示されるような解析ウィンドウ３０８等の大解析ウィンドウが、デジタル画像３００内に画定される。
【０１３２】
加えて、ウィンドウの形状は、デジタル画像３００の一部としてウィンドウの境界線をポジティブに設定することによって画定されてもよく、たとえばマスクをデジタル画像３００に与えマスクされていないデジタル画像３００の領域を解析ウィンドウとして画定することによってネガティブに画定されてもよい。加えて、特にマスクをデジタル画像３００に与えることによってウィンドウがネガティブに画定される実施形態では、ウィンドウはパターンに従って画定されてもよい。当然、本開示の範囲から外れることなく、ウィンドウを画定する他の方法が採用されてもよい。
【０１３３】
さらに他の実施形態において、この方法は、解析ウィンドウ３１２について１つ以上の統計値が算出される動作を実行することを含み得る。加えて、好ましい実施形態において、各解析ウィンドウ統計値は、動作において大解析ウィンドウ３０８について推定された背景統計値の分布に対応する。たとえば、ある実施形態において、最大輝度は背景輝度最大値の分布に対応し、最小輝度は背景輝度最小値の分布に対応し、輝度の広がりは背景輝度の広がりの分布に対応する等である。当業者はこのことを本明細書を読んで理解するであろう。
【０１３４】
さらに他の実施形態において、この方法は、少なくとも１つの解析ウィンドウ統計値と、対応する背景統計値の分布との間に、統計上重要な相違が存在するか否か判断することを含む。当業者が本明細書を読んで理解するように、統計上重要な相違が存在するか否かの判断は、ｐ値、ｚ検定、カイ二乗相関等の、周知の統計上重要な評価方法または評価基準を用いて行なわれてもよい。当業者はこのことを本明細書を読んで理解するであろう。
【０１３５】
追加のおよび／または代替のアプローチにおいて、この方法は、画素３１８を記述する値と、対応する背景統計値の分布との間に統計上重要な相違がある解析ウィンドウにおける、１つ以上のポイント（たとえば最も中心にある画素３１８またはポイント）を、候補エッジポイントとして指定することを含む。この指定は、この画素に対応するフラグを設定すること、この画素の座標を記憶すること、画素座標のアレイを作成すること、画素３１８を記述する１つ以上の値（輝度、明度、コントラスト等）を変更すること、またはその他の適切な手段といった、当該技術では周知の適切な方法によって、行なってもよい。
【０１３６】
動作時には、ある実施形態に従い、動作のうちの１つ以上を一回以上繰返してもよい。好ましい実施形態において、このような繰返しを複数行なってもよく、各繰返しはデジタル画像の異なる部分に対して実行される。好ましくは、繰返しは、文書のデジタル表現の各辺の評価が完了するまで行なわれてもよい。さまざまなアプローチにおいて、解析ウィンドウ３０８、３１２の画定により、結果として、一本以上の境界線を共有する、全体または一部が重なり合う、および／または共有する境界線がなく重なり合わない、複数の解析ウィンドウ３０８、３１２が得られるであろう。当業者はこのことを本明細書を読んで理解するであろう。
【０１３７】
特に好ましい実施形態において、複数の繰返しは、非背景ウィンドウの可能性があるウィンドウ（たとえば、候補エッジポイントを含むウィンドウ、または、照明ムラ、背景テクスチャのばらつき等のアーティファクトを含むウィンドウ）を検出したときに、局所的な背景統計値を再推定することに関連したやり方で、行なわれてもよい。
【０１３８】
動作時に、ある実施形態に従うと、四角形４００の４つの辺が、複数の候補エッジポイントに基づいて画定される。好ましくは、四角形４００の辺は、デジタル画像３００内の文書のデジタル表現３０２のエッジ３０６を取囲む。四角形４００の辺を画定することは、あるアプローチにおいて、１以上の最小二乗平均（ＬＭＳ）近似を実行することを含み得る。
【０１３９】
さらに他のアプローチにおいて、四角形４００の辺を画定することは、１つ以上のアウトライアー候補エッジポイントを識別し、１つ以上のアウトライアー候補エッジポイントを複数の候補エッジポイントから取除くことを含み得る。さらに、四角形４００の辺を画定することは、上記１つ以上のアウトライアー候補エッジポイントを除外する少なくとも１つの追加のＬＭＳ近似を実行することを含み得る。
【０１４０】
またさらに、ある実施形態において、四角形４００の各辺は、関数のクラスから選択された等式によって特徴付けられ、少なくとも１つのＬＭＳ近似を実行することは、等式ごとに、好ましい実装例における二次多項式の最良の係数といった、１つ以上の係数を求めることを含む。これらのアプローチに従うと、四角形４００の辺を画定することは、文書のデジタル表現の各辺が、二次多項式または二次多項式の代わりに線形関数等のより単純な関数といった、所与のクラスの関数に含まれるか否か判断することを含み得る。
【０１４１】
好ましいアプローチにおいて、方法を実行することによって、文書の４つの主要な辺の周りに四角形を正確に画定する一方で、図３Ａ〜図３Ｃおよび図４に示されるリップ３１０および／またはタブ３２０のような、文書の主要な辺からの１つ以上のずれは無視する。
【０１４２】
本明細書に開示される四角形４００の、他のおよび／または代替の実施形態は、各辺が上記多項式関数のような１つ以上の等式によって特徴付けられる、４つの辺を有することを特徴とし得る。たとえば、四角形４００の辺が２つ以上の等式によって特徴付けられる実施形態は、１つ以上の辺を、各線分が上記多項式関数のような等式によって特徴付けられる、複数の線分に分割することを含み得る。
【０１４３】
さまざまな実施形態において、四角形４００を画定することは、代わりにおよび／または加えて、四角形４００の１つ以上の角を画定することを含む。たとえば、四角形４００の角は、四角形４００の隣合う辺と辺の１つ以上の交点を計算し、複数の交点が計算された場合は計算された１つ以上の交点から適切な交点を指定することによって、画定し得る。さらに他の実施形態において、角を画定することは、１つ以上の等式を解くことを含み得る。この場合の各等式は、Ｎ次多項式等の選ばれた関数のクラスに属することを特徴とする。当業者はこのことを本明細書を読んで理解するであろう。
【０１４４】
さまざまな実施形態において、四角形４００の角は、四角形４００の隣合う２つの湾曲した辺と辺の交点、実質的に直線である２つの線の交点、および、実質的に直線である一本の線と実質的に湾曲している一本の線の交点、のうちの、１つ以上によって画定されてもよい。
【０１４５】
さらに他の実施形態において、この方法は、文書のデジタル表現３０２および四角形４００がモバイル装置のディスプレイに出力される、追加のおよび／または代替の動作を含み得る。出力は、どのようなやり方で行なわれてもよく、モバイル装置のハードウェアおよび／またはソフトウェアの構成に応じて決まるであろう。
【０１４６】
加えて、出力は、さまざまなアプローチにおいて、さらに他の処理および／またはこの出力とユーザの対話を容易にするように行なわれてもよい。たとえば、ある実施形態において、四角形４００を、たとえば四角形４００の辺を、特定の色、パターン、照明モチーフ、アニメーション等で表示することにより、四角形４００をデジタル画像３００の他の特徴から区別するように設計されたやり方で、表示してもよい。当業者はこのことを本明細書を読んで理解するであろう。
【０１４７】
またさらに、いくつかの実施形態において、四角形４００と文書のデジタル表現３０２を出力することにより、ユーザが何らかの適切なやり方で四角形４００を手動で調整および／また画定することを容易にしてもよい。たとえば、ユーザは、モバイル装置のディスプレイと対話することにより、四角形４００を変換してもよい、すなわち四角形４００のアスペクト比、形状、エッジの長さ、面積等は維持したままで、四角形４００の位置を１つ以上の方向に移動させてもよい。これに加えておよび／またはこれに代えて、ユーザは、モバイル装置のディスプレイと対話することにより、四角形４００の角の位置を手動で画定または調整してもよく、たとえば、四角形４００の角をタッピングしこの角をデジタル画像３００内の所望の位置、たとえば文書のデジタル表現３０２の角に、ドラッグしてもよい。
【０１４８】
再び図４を参照すると、ページ検出の理想的な結果の具体的な一例が示されており、デジタル画像３００の中にある文書のデジタル表現３０２が示され、四角形４００が文書のデジタル表現３０２のエッジを取囲んでいる。
【０１４９】
いくつかのアプローチにおいて、上述のようなページ検出方法は、以下で説明するような１つ以上の追加のおよび／または代替の動作を含み得る。
【０１５０】
あるアプローチにおいて、ページ検出は、文書のデジタル表現とこの文書のデジタル表現に関連する音声データとを含む画像データのうちの１つ以上を取込むことをさらに含み得る。取込みは、マイク、カメラ、加速度計、センサ等の、モバイル装置に接続された１つ以上の取込み装置を用いて行なえばよい。当業者はこのことを本明細書を読んで理解するであろう。
【０１５１】
別のアプローチにおいて、ページ検出は、新たな大解析ウィンドウ３０９を画定することと、この新たな大解析ウィンドウ３０９の背景統計値の分布を、統計上重要な相違が存在すると判断したときに、再推定することとを含み得る。すなわち、動作１９０８および／または１９１０を、非背景点の可能性がある点に近い点、たとえば文書のエッジ３０６のうちの１つに近い点が識別された場合に、その点に近い、デジタル画像３００の異なる領域において、実質的に繰返すことを含み得る。
【０１５２】
いくつかの代表的な実施形態において、大解析ウィンドウ３０８を、ある行の左端の非背景画素またはその近くに配置してもよく、ある行の右端の非背景画素またはその近くに配置してもよく、ある列の上端の非背景画素またはその近くに配置してもよく、または、ある列の下端の非背景画素またはその近くに配置してもよい。
【０１５３】
このような再推定を含むアプローチはさらに、少なくとも１つの小解析ウィンドウ（たとえばテストウィンドウ）統計値と、大解析ウィンドウ統計値の対応する再推定された分布との間に、統計上重要な相違が存在するか否か判断することを含み得る。このようにして、統計上重要な相違が存在するか否かについて、より信頼性が高い判断を得ることができ、したがって、たとえばデジタル画像内のテクスチャのばらつき、照明の異常、および／またはその他のアーティファクトの場合とは異なり、デジタル画像の背景から文書のデジタル表現への真の移行をより良く識別することができる。
【０１５４】
加えて、上述の再推定を実行してもしなくても、デジタル画像内の照明および／または背景テクスチャのばらつき等といった１つ以上のアーティファクトを回避する方法を容易にし得る。このアーティファクトは、デジタル画像の背景から文書のデジタル表現への真の移行に対応しないものである。いくつかのアプローチにおいて、アーティファクトの回避は、デジタル画像の１つ以上の領域（たとえばテクスチャ、ばらつき等によって特徴付けられる領域であって、このテクスチャ、ばらつき等は領域を真の背景から区別する）を迂回する形態を取ってもよい。
【０１５５】
いくつかのアプローチにおいて、大解析ウィンドウ３０８について推定された統計分布と小解析ウィンドウ３１２について計算された対応する統計値との間に統計上重要な相違が存在すると判断し、この小解析ウィンドウの近くに新たな大解析ウィンドウを画定し、この新たな大解析ウィンドウについて統計値の分布を再推定し、この再推定された統計分布と小解析ウィンドウ３１２について計算された対応する統計値との間に統計上重要な相違がないと判断したときは、１つ以上の領域を迂回してもよい。
【０１５６】
他のアプローチにおいて、迂回は、経路に沿ってさらに別の解析ウィンドウ３１２を検査し、この検査したウィンドウの統計値が、たとえば統計上の重要性のテストによって示されるように、背景の既知の統計特性と大きく変わらないと判断したときには、非背景領域への移行部の探索を再開することによって、実現されてもよい。
【０１５７】
迂回は、経路に沿ってさらに別の解析ウィンドウを検査することによって実現されてもよく、当業者はこのことを本開示を読んで理解するであろう。
【０１５８】
さらに他のアプローチにおいて、ページ検出は、さらにおよび／または代替的に、四角形４００が１つ以上の品質管理メトリクスを満たすか否か判断することと、四角形４００が品質管理基準のうちの１つ以上を満たさないと判断されると四角形４００を採用しないこととを含み得る。加えて、品質管理メトリクスは、ＬＭＳサポートメトリクス、最小の四角形４００の面積のメトリクス、四角形４００の角の位置のメトリクス、および四角形４００の対角線の交点の位置のメトリクス等の尺度を含み得る。
【０１５９】
実際、四角形４００がこれらメトリクスのうちの１つ以上を満たすか否かの判断は、方法の実施についての検査の役割を果たす。たとえば、検査は、四角形４００がデジタル画像全体の面積の少なくともしきい値をカバーするか否か、たとえば、四角形４００が画像の総面積の少なくとも２５％を含むか否かの判断を含み得る。
【０１６０】
さらに、検査は、四角形４００の対角線が四角形４００の境界の内側で交差するか否か判断すること、ＬＭＳ近似のうちの１つ以上が、そこから得られる統計値のロバストな信頼度を得るのに十分なデータから計算されたか否かを判断すること、すなわち、ＬＭＳ近似に十分な「サポート」（さまざまなアプローチにおいて少なくとも５つのデータポイント、または、データポイントの総数の少なくとも四分の一から計算された近似等）があるか否か判断すること、および／または（四角形４００の各辺を特徴付ける等式によって定められる）四角形４００の角の位置がデジタル画像のエッジのしきい値距離内に存在するか否か判断すること、たとえば、四角形４００の角が所与の方向においてデジタル画像のエッジから１００画素を超える画素離れているか否か判断することを、含み得る。当然ながら、これら開示の範囲から逸脱することなく、他のメトリクスおよび／または検査を使用してもよく、当業者はこのことを本明細書を読んで理解するであろう。
【０１６１】
あるアプローチにおいて、品質メトリクスおよび／または検査により、最適ではない四角形４００の定義を不採用にすることを容易にすることができ、さらに、四角形４００の辺の定義を改善することを容易にすることができる。たとえば、あるアプローチは、複数の候補エッジポイントに基いて四角形４００の四辺を画定したがこれは有効な四角形４００を画定していない、すなわち品質管理メトリクスのうちの１つ以上を満たさないという表示を受けることと、複数の候補エッジポイントを再度画定することとを含む。特に、この実施形態において、複数の候補エッジポイントを再度画定することは、デジタル画像内の、失敗した先の試みでサンプリングしたポイントの数よりも多い数のポイントをサンプリングすることを含む。これは、あるアプローチでは、デジタル画像の行または列のうちの１つ以上に対するステップを減じ、より多くの数の候補エッジポイントを解析するためにアルゴリズムのステップすべてを繰返すことによって、可能であろう。このステップは、垂直方向において減じてもよく、水平方向において減じてもよく、または両方の方向において減じてもよい。当然ながら、候補エッジポイントを再度画定するおよび／またはデジタル画像内のポイントを再度サンプリングするための他の方法を、本開示の範囲から逸脱することなく利用してもよい。
【０１６２】
さらに、特に方法を複数回繰返しデジタル画像解析全体において進行のステップを大幅に小さくしても有効な四角形４００が画定されない場合、ページ検出は、デジタル画像全体を文書のデジタル表現として指定することを含み得る。あるアプローチにおいて、デジタル画像全体を文書のデジタル表現として指定することは、画像の角を文書の角として定めること、画像の辺を文書の辺として定めること等を含み得る。当業者はこのことを本明細書を読んで理解するであろう。
【０１６３】
本明細書に記載の、四角形４００の対角線は、四角形４００の計算された左上の角と四角形４００の計算された右下の角とを結ぶ第１の直線と、四角形４００の計算された右上の角と四角形４００の計算された左下の角とを結ぶ第２の直線によって特徴付けてもよい。加えて、第１の直線と第２の直線は好ましくは四角形４００の内部で交差する。
【０１６４】
さまざまなアプローチにおいて、上記動作のうちの１つ以上をプロセッサを用いて実行してもよく、プロセッサは、モバイル装置、特に一体化されたカメラを有するモバイル装置の一部であってもよい。
【０１６５】
湾曲補正
本明細書に記載の発明の概念は、デジタル画像における湾曲を補正すること、より具体的には文書のデジタル表現の辺の湾曲を補正することを含む。以下では、代表的に図５Ａ〜図５Ｂを参照して湾曲の補正についてのさまざまなアプローチを詳細に説明する。
【０１６６】
ある実施形態において、湾曲補正アルゴリズムの目的は、四角形４００を四辺形にスムーズに変換することである。特に、四角形４００は複数の等式によって特徴付けられ、各等式は、四角形４００の一辺に対応し、選ばれたクラスの関数から選択される。たとえば、四角形４００の各辺は、一次多項式、二次多項式、三次多項式等によって特徴付けられてもよく、当業者はこのことを本明細書を読んで理解するであろう。
【０１６７】
あるアプローチにおいて、四角形４００の辺は等式によって説明してもよく、好ましい実施形態において、四角形４００の左辺は二次多項式ｘ＝ａ２＊ｙ２＋ａ１＊ｙ＋ａ０によって特徴付けられ、四角形４００の右辺は二次多項式ｘ＝ｂ２＊ｙ２＋ｂ１＊ｙ＋ｂ０によって特徴付けられ、四角形４００の上辺は二次多項式ｙ＝ｃ２＊ｘ２＋ｃ１＊ｘ＋ｃ０によって特徴付けられ、四角形４００の下辺は二次多項式ｙ＝ｄ２＊ｘ２＋ｄ１＊ｘ＋ｄ０によって特徴付けられる。
【０１６８】
本明細書に示す湾曲補正の説明では、四角形の中の、複数の四角形ベースの固有座標対（ｐ，ｑ）の定義を利用する。各固有座標対（ｐ，ｑ）は、左辺と右辺の等式から、上下方向の曲線の係数比におけるすべての対応する係数ｐ〜１−ｐを組み合わせることによって得られる等式によって特徴付けられる上下方向の曲線と、上辺と下辺の等式から、左右方向の曲線の係数比におけるすべての対応する係数ｑ〜１−ｑを組み合わせることによって得られる等式によって特徴付けられる左右方向の曲線との交点に対応し、０≦ｐ≦１、０≦ｑ≦１である。
【０１６９】
四角形４００の辺が二次多項式によって特徴付けられる好ましい実施形態において、固有座標ｐに対応する上下方向の曲線は、等式ｘ＝（（１−ｐ）＊ａ２＋ｐ＊ｂ２）＊ｙ２＋（（１−ｐ）＊ａ１＋ｐ＊ｂ１）＊ｙ＋（（１−ｐ）＊ａ０＋ｐ＊ｂ０）によって特徴付けられ、固有座標ｑに対応する左右方向の曲線は、等式ｙ＝（（１−ｑ）＊ｃ２＋ｑ＊ｄ２）＊ｙ２＋（（１−ｑ）＊ｃ１＋ｑ＊ｄ１）＊ｙ＋（（１−ｑ）＊ｃ０＋ｑ＊ｄ０）によって特徴付けられる。当然ながら、当業者が本明細書を読めば理解するように、他の等式によって上記辺および／または曲線を特徴付けてもよい。
【０１７０】
平行四辺形の場合、固有座標は特に単純になる。平行四辺形の中で、各固有座標対（ｐ，ｑ）は、平行四辺形の左辺および平行四辺形の右辺各々に平行な線、たとえばｐ〜１−ｐの部分において上辺および下辺双方を分割する線と、平行四辺形の上辺および平行四辺形の下辺各々に平行な辺、たとえばｑ〜１−ｑの部分において上辺および下辺双方を分割する辺との交点に対応し、０≦ｐ≦１、０≦ｑ≦１である。別の特殊なケースにおいて、四角形が単位正方形、すなわち長さｌの辺を有する正方形のとき、座標は通常のデカルト座標そのものであり、座標（ｐ，ｑ）のポイントは、鉛直線ｘ＝ｐと水平線ｙ＝ｑの交点である。
【０１７１】
下記湾曲補正アルゴリズムの目的は、湾曲補正された画像内の各ポイントを、元の画像内の対応するポイントにマッチングし、このマッチングを、四角形４００の四辺各々を、現在の四角形の角を結ぶ実質的に真直ぐな線に変換するように、行なうことである。しかしながら、同じ技術によって、その四辺の等式によって表わされる四角形を、他のこのような四角形にスムーズに変換することができる。
【０１７２】
下記座標マッピングアルゴリズムの主な意図は、この目的を、第１に、目標とする画像内の各ポイントＰ（図示せず）の固有座標（ｐ，ｑ）を計算し、第２に、これらを、元の画像の固有座標の同じ対（ｐ，ｑ）にマッチングし、第３に、これら固有座標にそれぞれ対応する左右湾曲および上下湾曲の交点の座標を計算し、最後に、元の画像において発見されたポイントの色またはグレー値をこのポイントＰに割当てることによって、達成することである。
【０１７３】
次に、ある実施形態に従うページ湾曲補正アルゴリズムの第１の反復を図示する図５Ａを参照する。図５Ａに示されるように、デジタル画像５００内の各ポイントは、ポイントに関連付けられた（上記のような）固有座標に対応する、上下曲線５０４と左右曲線５０６との交点に対応し得る（曲線は、真直ぐな線、湾曲した線、たとえば放物線等を含み得るものであり、当業者はこのことを本明細書を読んで理解するであろう）。
【０１７４】
この説明から明らかになるように、湾曲補正は、複数のこのような左右方向の線５０６と上下方向の線５０４を定めることを含み得る。
【０１７５】
加えて、湾曲補正は、目標とする固有座標を、文書のデジタル表現５０２の元のの固有座標にマッチングすることを含み得る。
【０１７６】
図５Ａに示されるように、このマッチングは、所与の左右曲線５０６と所与の上下曲線５０４との交点を繰返し探索することを含み得る。図５Ａは、本開示の範囲に含まれる代表的な反復探索の第１の反復を示す。
【０１７７】
以下でさらに詳細に説明するあるアプローチに従うと、反復探索は、座標（ｘ０，ｙ０）を有する起点５０８を指定することを含む。起点５０８は、文書のデジタル表現５０２内のどこに位置していてもよいが、好ましくは目標とする四角形の中心または中心近くに位置する。
【０１７８】
反復探索は、交差する２つの曲線５０４、５０６のうちの一方の上に起点５０８を射影することを含み得る。起点はこれら曲線５０４、５０６のうちいずれに射影してもよいが、あるアプローチにおいて、反復探索における第１の探索の前半は、起点５０８を上下曲線上に射影することにより、次の点のｘ座標（ｘ１）を得ることを含み、この射影の結果を図５Ａにおける点５１０で表わすとその座標は（ｘ１，ｙ０）である。同様に、いくつかの実施形態において、反復探索の第１の反復の後半は、この点５１０を左右曲線５０６上に射影することにより、次の点のｙ座標（ｙ１）を得ることを含み、この射影の結果を図５Ａにおける点５１２で表わすとその座標は（ｘ１，ｙ１）である。
【０１７９】
図５Ｂは、ある実施形態に従い、文書のデジタル表現５０２を、複数の上下曲線５０４と複数の左右曲線５０６によって定められた同じサイズの複数の区画に分割した後の、ページ湾曲補正アルゴリズムの基点を図示する。
【０１８０】
いくつかの実施形態において、以下でさらに詳細に説明する同様の手法を用いてさらに反復を行なってもよい。
【０１８１】
引続き図５Ａ〜図５Ｂを参照して、ある実施形態に従う、デジタル画像内の文書のデジタル表現の１つ以上の空間特性を修正する方法は、以下の動作のうちの１つ以上を含み得る。当業者が本明細書を読めば理解するように、この方法は、図面および本開示の対応する説明において示されおよび／または記載されるものを含む、何らかの適切な環境で実行し得る。
【０１８２】
ある実施形態において、この方法は、四角形４００を四辺形に変換する動作を含む。特に、四角形４００は複数の等式によって特徴付けられ、各等式は四角形４００の一辺に対応し、選ばれたクラスの関数から選択される。たとえば、四角形４００の各辺は、当業者が本明細書を読めば理解するように、一次多項式、二次多項式、三次多項式等によって特徴付けられてもよい。
【０１８３】
ある実施形態において、四角形４００の辺は等式によって説明してもよく、好ましい実施形態において、四角形４００の左辺は二次多項式ｘ＝ａ２＊ｙ２＋ａ１＊ｙ＋ａ０によって特徴付けられ、四角形４００の右辺は二次多項式ｘ＝ｂ２＊ｙ２＋ｂ１＊ｙ＋ｂ０によって特徴付けられ、四角形４００の上辺は二次多項式ｙ＝ｃ２＊ｘ２＋ｃ１＊ｘ＋ｃ０によって特徴付けられ、四角形４００の下辺は二次多項式ｙ＝ｄ２＊ｘ２＋ｄ１＊ｘ＋ｄ０によって特徴付けられる。加えて、上下曲線の等式はｘ＝（（１−ｐ）＊ａ２＋ｐ＊ｂ２）＊ｙ２＋（（１−ｐ）＊ａ１＋ｐ＊ｂ１）＊ｙ＋（（１−ｐ）＊ａ０＋ｐ＊ｂ０）であり、左右曲線の等式はｙ＝（（１−ｑ）＊ｃ２＋ｑ＊ｄ２）＊ｙ２＋（（１−ｑ）＊ｃ１＋ｑ＊ｄ１）＊ｙ＋（（１−ｑ）＊ｃ０＋ｑ＊ｄ０）である。当然ながら、当業者が本明細書を読めば理解するように、他の等式によって上記辺および／または曲線のいずれかを特徴付けてもよい。
【０１８４】
ある実施形態において、曲線５０４、５０６は、以下の一般的な形態のうちの１つ以上に適合する代表的な多項式関数によって説明してもよい。
【０１８５】
ｘ１＝ｕ２＊ｙ０２＋ｕ１＊ｙ０＋ｕ０
ｙ１＝ｖ２＊ｘ１２＋ｖ１＊ｘ１＋ｖ０
式中、ｕｉ＝（１−ｐ）＊ａｉ＋ｐ＊ｂｉ、ｖｉ＝（１−ｑ）＊ｃｉ＋ｑ＊ｄｉであり、ａｉは四角形の左辺の等式における係数であり、ｂｉは四角形の右辺の等式における係数であり、ｃｉは四角形の上辺の等式における係数であり、ｄｉは四角形の下辺の等式における係数であり、ｐおよびｑは曲線５０４、５０６に対応する四角形ベースの固有座標である。いくつかのアプローチにおいて、ａｉ、ｂｉ、ｃｉ、ｄｉ等の係数は、ページ検出に関して先に述べたようなページ検出法等のページ検出を実行する過程で得られる計算、推定、および／または判断から導出されるものであってもよい。
【０１８６】
当然ながら、当業者が本明細書を読めば理解するように、四角形４００を四辺形に変換することは、以下でより詳細に説明するように１以上の加算演算を含み得る。
【０１８７】
ある実施形態において、方法は、さらにおよび／または代替的に、四角形４００の１つ以上の領域を、さらに他のアーティファクト（四角形の内部領域の歪み等）を結果として得られる四辺形に導入しないよう十分スムーズなやり方で、伸張することを含み得る。
【０１８８】
いくつかのアプローチにおいて、四角形４００を矩形に変換することは、矩形の高さ、矩形の幅、矩形のスキュー角、および／または矩形の中心位置を求めることを含み得る。たとえば、このような変換は、目標矩形の幅を、四角形４００の上辺の幅と下辺の幅の平均として定めること、目標矩形の高さを、四角形４００の左辺の高さと右辺の高さの平均として定めること、目標矩形の中心を、画像内における矩形の所望の配置に応じて定めること、および、目標矩形のスキューの角度を、たとえば、ユーザからの文書のデジタル表現のスキュー除去要求に応じて定めることを含み得る。
【０１８９】
（辺が直線の）四辺形を得ると、本明細書に開示するアルゴリズムは、補正後の画像におけるさまざまなオブジェクト要素の画素位置をスキャンされた画像のそれぞれのオブジェクト要素の対応する画素位置と比較することにより測定される誤差が好都合に非常に少ない、四辺形を目標の矩形に変換する射影補正要素を開始することができる。好ましい実施形態において、残余誤差は、１インチ当たりのドット数（ＤＰＩ）が約５００の解像度の画像において、約５画素以下である。これは、オブジェクトの「補正後の画像」上において、オブジェクトのスキャン画像内の同じ画素の対応する位置からいずれの方向にも６画素以上離れている画素がないことに相当する。
【０１９０】
射影補正
あるアプローチにおいて、本明細書に記載の射影補正は、本質的に、上記湾曲補正アルゴリズムによって生成された四辺形を、真の矩形に変換することを含む。好ましくは、この矩形は、（当業者が本明細書を本で理解するように、たとえば従来のフラットベッドスキャナ、多機能装置でオブジェクトをスキャンする場合の取込み角度のような、オブジェクトに対して垂直な角度の）特定の視点から見たときの、デジタル画像に取込まれたオブジェクトの実際の寸法、アスペクト比等を実質的に表わす。
【０１９１】
さまざまな取込み角度および関連する射影効果が図６Ａ〜図６Ｄに概略的に示される。
いくつかのアプローチにおいて、射影補正は、４点アルゴリズム等のアルゴリズムを画像データに適用することを含み得る。さまざまな実施形態において、このようなアルゴリズムは、以下の仮定１）〜５）のうちの１つ以上に依拠するまたはしない場合がある。１）取込み角度の視点から、３Ｄオブジェクトの厚さはゼロであり、取込まれた３Ｄオブジェクトのサイズは幅寸法および高さ寸法各々に沿ってゼロでない。２）幅寸法と高さ寸法のアスペクト比がわかっている。アスペクト比の値は、正確にわかっている必要はなく、３Ｄ再構成誤差に影響するかもしれない小さな測定誤差は許容し得る。好ましい実施形態において、約１０％未満の誤差によって特徴付けられる測定値は許容可能である（たとえば、書簡、法律文書、Ａ４、Ａ５、運転免許証、クレジットカード、領収書、名刺等の所定の種類の文書に対応するアスペクト比であり、当業者はこのことを本明細書を読んで理解するであろう）。３）取込まれた画像における４つの角の画素の２Ｄ画素位置は、本明細書に記載のページ検出で使用されるような画像分割技術を用いて推定可能である。４）取込まれた画像および基準画像（オブジェクトの「リアルワールド座標」に対応する）におけるオブジェクトの角の位置は、基準画像および取込まれた画像における４つの画素／角の予め確立された対応関係によって説明される。５）３Ｄ再構成により、たとえば同じ視点からオブジェクトの２Ｄ表現をスキャンすることによって生成されるオブジェクトに対して垂直な取込み角度を用いて取込まれた５００ＤＰＩ画像によって観察されたような、実際のオブジェクトの特定の視点から観察されたのと実質的に同一の、再構成画像の画素位置が得られる。
【０１９２】
ある実施形態において、本明細書に記載のページ検出アルゴリズムを利用して、文書の角の２Ｄ画素位置を推定してもよい。（わずかに湾曲しているかもしれない）ページの四角形（たとえば図４に示される四角形４００）の角を見出すために、発見された文書の４つの辺の交点を計算してもよい。
【０１９３】
別の実施形態において、特に基準画像と取込まれた画像の画素座標／位置（特に角の座標／位置）の対応関係について、基準画像におけるオブジェクト（たとえば文書）の左上の角、左下の角、右下の角、および右上の角の座標は、取込まれた画像のオブジェクトの角の座標／位置にそれぞれ対応することが好ましい。対応する角と角の正確な関係の判断において、テキストおよび／または画像の特徴を、判断における基準点として用いてもよい。たとえば、ある実施形態において、テキストの向きおよび文書のアスペクト比を用いて、取込まれた文書の向きを判断してもよい。
【０１９４】
専ら例示を目的として、以下の説明は、運転免許証のデジタル画像に対して実施される透視補正のある実施形態を示す。運転免許証の基準画像は、好ましくは、スキャナ、多機能プリンタ、または当該技術で周知の他の装置を用いて、取込んだ画像にスキューまたは歪みを導入しないように、取込めばよい。基準画像は、好ましくは、スキャナを用いて、既知の解像度、最も好ましくはおよそ５００ＤＰＩの解像度で、既知の取込み角度、最も好ましくは文書に対して垂直の角度で（たとえば図６Ｂの先に示した９０度の取込み角度で）取込まれている。
【０１９５】
基準画像を用い、好ましくはオブジェクトの「真の」形状、サイズ、寸法、テクスチャ等に関する事前の知識で補って、このオブジェクトの再構成を、再構成された画像において表現されたオブジェクトが基準画像と同一またはほぼ同一の特徴を有するように、行なうことが可能である。いくつかの実施形態において、再構成された画像の縮尺と基準画像の縮尺は、異なっているが比例する場合がある。このような場合、再構成された画像に対してスケーリング動作を適用することにより、縮尺の違いをなくして、再構成されたオブジェクトが、基準画像に示されるオブジェクトと同一またはほぼ同一の特徴を有するようにしてもよい。
【０１９６】
ユーザは、運転免許証の画像を、モバイル装置を用いて取込むときに、急な取込み角度（たとえば法線から約３０度以上ずれた取込み角度）で取込む可能性がある。結果として、取込まれた画像における運転免許証の表現は、３Ｄ透視歪みによって特徴付けられた画像となり、その結果、実質的に矩形の文書の形状が台形に見えることになる。法線から３０度を超える角度ずれた取込み角度を用いて観察される場合のように、極端なケースでは、たとえば取込み装置から最も遠いエッジの長さが取込み装置に最も近いエッジの長さよりも短く見える場合がある。当業者はこのことを本明細書を読んで理解するであろう。ある実施形態において、遠い側のエッジの長さは著しく短く見える場合があり、特に急な取込み角度（たとえば法線から３０度以上ずれた角度）を用いたときは、近い側のエッジの長さのわずか５０％に見える場合がある。
【０１９７】
さまざまな実施形態において、３Ｄ再構成は、好ましくは、元の画像を再構成するときに導入される歪みを最小にして、取込まれたオブジェクト／文書の矩形表現を生成する。
【０１９８】
ある実施形態において、透視補正は、画像をモバイル装置を用いて取込むことと、取込んだ画像の中の４つの点、画素等を識別することとを含み得るものであり、この点／画素は各々、検出された運転免許証（またはその他の四角形の文書）の、角の可能性がある部分に対応し、透視補正はさらに、４つの角の画素に少なくとも一部基づいて３Ｄ変換を構成することを含み得る。これら４つの画素の位置は、画像の境界線を形成する四辺の多角形を分割しようとするときに推定することができる。
【０１９９】
平面ホモグラフィ／射影変換は、２つの平面間の非特異線形関係である。この場合、ホモグラフィ変換は、取込まれた画像と画像平面との間の、４つの角の画素／位置の線形マッピングを規定する。いくつかのアプローチにおいて、カメラパラメータの計算は、等式（１）に示されるようなホモグラフィ（homography）変換Ｈの推定を利用し得る。
【０２００】
【数１】
2016536837.tif 000003
【０２０１】
上記式（１）において、
・λは、「基準」または「リアルワールド」座標系（たとえば上記図６Ｂまたは図７に示されるような基準画像から得られた座標系）における位置（Ｘ，Ｙ，Ｚ）の焦点深度である。言い換えると、λは、基準座標系における点（Ｘ，Ｙ，Ｚ）と取込み装置との間の直線距離と考えることができる。
・（ｘ，ｙ，ｚ）は、取込まれた画像における所与の画素位置の座標である。
・Ｈは、要素ｈｉｊを有する（３×３）行列であり、ｉおよびｊはそれぞれ対応する行と列の指数を定める。
【０２０２】
あるアプローチにおいて、等式１に示される（ｘ，ｙ）座標および（Ｘ，Ｙ）座標は、取込まれた画像平面および基準画像（たとえば図６Ｂに示される）におけるそれぞれの点の座標に対応する。Ｚ座標は０に設定され、これは、各々に示されるオブジェクトが厚さゼロの１つの（たとえばＸ−Ｙ）平面に沿っているという仮定に対応する。ある実施形態において、上記計算から等式１のｚ値を省略してもよい。なぜなら、ｚ値はホモグラフィ行列の決定において必ずしも何等かの役割を果たす訳ではないからである。
【０２０３】
よって、ホモグラフィＨは、４点の対応
【０２０４】
【数２】
2016536837.tif 000004
【０２０５】
を検出することによって推定することができる。ｐｉ＝（ｘｉ，ｙｉ，１）Ｔは、取込まれた画像平面における４つの角の位置であり、Ｐ′ｉ＝（Ｘｉ，Ｙｉ，１）Ｔは、対応する４つの角の点の座標であり、ｉは、以下の説明における１からｎの範囲の点指数値である。先に述べた表記を用いて、等式（１）を下記の等式（２）に示すように記述することができる。
【０２０６】
【数３】
2016536837.tif 000005
【０２０７】
ある実施形態において、スケーリングファクタを除くために、等式（３）に示されるように等式（２）の各項のクロス積を計算することが可能である。
【０２０８】
【数４】
2016536837.tif 000006
【０２０９】
ｐｉ×ｐｉ＝０３なので、等式（３）は以下の等式（４）に示すように記述することができる。
【０２１０】
【数５】
2016536837.tif 000007
【０２１１】
したがって、行列の積ＨＰ′ｉは、等式（５）のように表わすことができる。
【０２１２】
【数６】
2016536837.tif 000008
【０２１３】
式中、ｈｍＴは、Ｈのｍ番目の行の転置である（たとえば、ｈ１ＴはＨの１番目の行の転置、ｈ２ＴはＨの２番目の行の転置等）。したがって、等式（４）は次のように書き直すことが可能である。
【０２１４】
【数７】
2016536837.tif 000009
【０２１５】
特に、等式（６）はｈｍＴにおいて線形であり、ｈｍＴＰ′ｉ＝Ｐ′ｉＴｈｍである。したがって、等式（６）は以下の等式（７）に示すように書き直すことができる。
【０２１６】
【数８】
2016536837.tif 000010
【０２１７】
なお、等式（７）に示される行列の行は線形的に独立していない。たとえば、ある実施形態において、第３行は、−ｘｉ×第１行と−ｙｉ×第２行の和である。したがって、各点対応において、等式（７）は線形的に独立した２つの等式を提供する。好ましくは、２つの第１行をＨを解くために使用する。ホモグラフィ変換は同種の座標を用いて記述されるので、ある実施形態では、ホモグラフィＨを８つのパラメータに加えて同種のスケーリングファクタ（９番目のパラメータとみなし得る）を用いて規定することができる。このような実施形態において、８つの等式を提供する少なくとも４つの点対応を用いて、ホモグラフィを計算することができる。実際、ある代表的な実施形態に従うと、よりロバストな結果（たとえば相対画素位置の誤差が少ない）が得られる優決定系線形系が得られるように、対応関係の数は多い方が好ましい。Ｈをベクトル形態ｈ＝［ｈ１１，ｈ１２，ｈ１３，ｈ２１，ｈ２２，ｈ２３，ｈ３１，ｈ３２，ｈ３３］Ｔに書き換えることにより、ｎ対の点対応によって、等式（８）によって表わされる２ｎ×９の線形系を構成することができる。
【０２１８】
【数９】
2016536837.tif 000011
【０２１９】
等式８に示されるように、最初の２行は、座標Ｘ、Ｙ、ｘ、ｙの添え字の値によって示される、第１の特徴点に対応し、この場合の添え字の値は１である。２番目の２行は、添え字の値２によって示される、第２の特徴点に対応し、最後の２行は、第ｎの特徴点に対応する。４点アルゴリズムにおいて、ｎは４であり、特徴点は文書ページの４つの角である。
【０２２０】
この線形系を解くことは、特異値分解（Singular Value Decomposition）（ＳＶＤ）の計算を含む。このようなＳＶＤは、行列を、行列積Ｃ＝ＵＤＶＴの形に書き直すことに対応し、解ｈは、行列Ｃの最小固有値の固有ベクトルに対応し、これは、ある実施形態において、固有値が降順で分類されたときの行列Ｖの最終列に位置し得る。
【０２２１】
立体マシンビジョンのために従来行なわれているような、２つ以上のカメラを使用するときに本質的マトリクスを推定するための８点アルゴリズムで使用される典型的な行列と、行列Ｃとは異なることは、注目に値する。より具体的には、８点アルゴリズムにおいて従来使用されている要素は２つのカメラ平面上に射影された特徴点からなるのに対し、本明細書に記載の行列Ｃの要素は、１つのカメラ平面のみの上に射影された特徴点と３Ｄオブジェクト上の対応する特徴点とからなる。
【０２２２】
ある実施形態において、数値の不安定性を回避するために、好ましくは点対応の座標を正規化してもよい。これは、たとえば、正規化された直接線形変換（Direct Linear Transformation）（ＤＬＴ）アルゴリズムとして知られている技術を用いて実現し得る。たとえば、ある実施形態において、ホモグラフィ行列の推定後に、等式１を用いて、（Ｘ，Ｙ）の所与の値に対する各画素位置（ｘ，ｙ）を計算してもよい。実際の応用における課題は、（ｘ，ｙ）の値が与えられているまたは事前にわかっているときに（Ｘ，Ｙ）を計算することを含む。等式１に示されるように、好ましい実施形態において、（ｘ，ｙ）と（Ｘ，Ｙ）は、対称である（すなわち、（ｘ，ｙ）と（Ｘ，Ｙ）の値を入れ替えたとき、等式１は有効であると言える）。この場合、「逆」ホモグラフィ行列を推定してもよく、この「逆」ホモグラフィ行列を用いて、取込まれた画像において、たとえばカメラの視野において示されるオブジェクトの対応する２Ｄ座標を与えられて、３Ｄ（すなわち「基準」または「リアルワールド」）座標を再構成してもよい。
【０２２３】
これまでの説明に基づいて、本明細書に記載の４点アルゴリズム（ならびに当業者が本明細書を読んで理解するであろう等価の変形および／または修正形）を実現することが可能であり、この４点アルゴリズムは、さまざまな実施形態で用いて、少なくとも何らかの透視歪みを特徴とするデジタル画像を、効率的かつ効果的に、このような透視歪みがない、補正されたデジタル画像に再構成することができ、補正された画像は、約５画素以下の画素位置誤差によって特徴付けられる。
【０２２４】
さまざまな実施形態は、これに加えておよび／またはこれに代えて、上記データ、計算、結果、および／または概念を用いて、取込まれた画像、オブジェクト等に関する有益なその他の情報を得ることを含み得る。たとえば、さまざまな実施形態において、取込まれるオブジェクトと取込み装置との間の距離、取込み装置のピッチおよび／またはロール角等を求めることが可能であり、当業者はこのことを本明細書を読んで理解するであろう。
【０２２５】
（Ｘ，Ｙ）値の推定後、等式１の式は次のように書くことができる。
【０２２６】
【数１０】
2016536837.tif 000012
【０２２７】
したがって、ある実施形態において、３Ｄ（すなわち「基準」または「リアルワールド」）座標系における各点（Ｘ，Ｙ，Ｙ）と取込み装置の間の距離として知られている焦点深度を、上記等式９を用いて計算することができる。
【０２２８】
オブジェクトの回転行列の決定
３Ｄオブジェクトの位置の推定後、取込まれた画像の画素ごとに（Ｘ，Ｙ）とλが得られる。なお、（Ｘ，Ｙ）はワールド座標系における座標であり、λはカメラ座標系における点（Ｘ，Ｙ）までの距離である。３Ｄオブジェクトが剛体であると仮定する場合、ワールド座標系からカメラ座標系への回転行列を推定するためのアルゴリズムを提示する。以下の式は点（Ｘ，Ｙ，０）の回転および並進に適用できる。
【０２２９】
【数１１】
2016536837.tif 000013
【０２３０】
式中、（Ｘｃ，Ｙｃ，Ｚｃ）は、カメラ座標系に対する座標であり、これらは、ワールド座標系の点（Ｘ，Ｙ，Ｚ）を、回転行列Ｒおよび並進ベクトルｔで回転させることによって得られ、ｔは（Ｘ，Ｙ）から独立した定数である。なお、等式９を用いて先に推定したように、Ｚｃの値はλの値と同一である。
【０２３１】
ホモグラフィ行列Ｈと、固有カメラパラメータ行列Ａと、それぞれ第１列ベクトルおよび第２列ベクトルであるｒ１、ｒ２の関係を考慮すると、次の関係が明らかになる。
【０２３２】
【数１２】
2016536837.tif 000014
【０２３３】
式中、σは定数であり、Ａは次のように定義される固有カメラパラメータ行列である。
【０２３４】
【数１３】
2016536837.tif 000015
【０２３５】
式中、ａおよびｂは、カメラの焦点距離情報からなるスケーリングファクタ、ａ＝ｆ／ｄｘ、ｂ＝ｆ／ｄｙ、ｆは焦点距離、ｄｘ、ｄｙは画像のスケーリングファクタ、ｃは２つの画像軸に関するスキューパラメータ、（ｄ，ｅ）は対応する主点の座標である。
【０２３６】
ホモグラフィ行列Ｈの推定後、行列Ａを次のように推定することができる。
【０２３７】
【数１４】
2016536837.tif 000016
【０２３８】
上記関係において、未知のパラメータはＢｉｊである。これらの値は以下の等式によって推定される。
【０２３９】
【数１５】
2016536837.tif 000017
【０２４０】
式中、Ｇは上記等式の解であり、代わりに次のように表わされる。
【０２４１】
【数１６】
2016536837.tif 000018
【０２４２】
なお、従来の４点アルゴリズムでは、スケーリングファクタａ、ｂを正確に推定することが可能なので、スキューファクタｃはゼロであると想定され、このことは、カメラのスキュー歪みは無視し得ることを意味する。ある実施形態では、ｄおよびｅの値がゼロである（ｄ＝０，ｅ＝０）と想定することがさらに有益である。
【０２４３】
等式（１１）から、Ｂ＝（ｒ１  ｒ２  ｔ）であり、σ−１Ａ−１Ｈ＝Ｂである。この関係を用いると、等式Ｃ＝（ｒ１  ｒ２  ０）からｒ１、ｒ２を推定する新たなアプローチが可能になり、Ｃの第１列ベクトルおよび第２列ベクトルはＢの第１列ベクトルおよび第２列ベクトルであり、Ｃの第３列ベクトルは０である。
【０２４４】
先ず、行列ＣをＳＶＤ（特異値分解）法で分解すると、Ｃ＝ＵΣＶｔとなり、Ｕは３×３の直交行列、Ｖは３×３の直交行列である。そうすると、ｒ１およびｒ２は以下の等式によって推定される。
【０２４５】
【数１７】
2016536837.tif 000019
【０２４６】
式中、Ｗは、第１行ベクトルおよび第２行ベクトルがそれぞれＶｔの第１行ベクトルおよび第２行ベクトルである２×３行列である。上記計算において、σは１であると想定する。このスケーリングファクタは、ＵおよびＷの値に影響しないので、ｒ１およびｒ２の推定に影響しない。（たとえば等式１３を用いて）ｒ１およびｒ２を推定した後、Ｒは回転行列であるという事実を利用して、ｒ３を推定することが有益であり、ｒ３は、求める符号（１または−１）を有するｒ１またはｒ２のクロス積である。Ｒには２つの解が可能である。右手座標系を用いる一例において、ｒ３の値はｒ１およびｒ２のクロス積の値である。
【０２４７】
回転マトリクスのヨー、ピッチ、およびロールの決定
ヨー、ピッチ、およびロール（それぞれα、β、およびγで示される）は、オイラー角としても知られており、これらは、ある実施形態において、それぞれｚ、ｙ、およびｘ軸を中心とする回転角度として定義される。このアプローチに従うと、等式１０の回転行列Ｒは次のように定義できる。
【０２４８】
【数１８】
2016536837.tif 000020
【０２４９】
式中、各ｒは行列Ｒの要素である。
所与の回転行列Ｒからα、β、およびγパラメータを直接求めることが好都合であることが多い。ある実施形態において、ロールは、以下の等式によって推定し得る（たとえばｒ３３がゼロに等しくないとき）。
【０２５０】
【数１９】
2016536837.tif 000021
【０２５１】
同様に、別のアプローチにおいて、ピッチは以下の等式によって推定し得る。
【０２５２】
【数２０】
2016536837.tif 000022
【０２５３】
さらに他のアプローチにおいて、ヨーは以下の等式によって推定し得る（Ｒ１１がゼロでないとき）。
【０２５４】
【数２１】
2016536837.tif 000023
【０２５５】
特に、いくつかのアプローチにおいて、ｒ１１、ｒ３３、または
【０２５６】
【数２２】
2016536837.tif 000024
【０２５７】
がゼロに近い値のとき（たとえば０＜ｒ１１＜ε、０＜ｒ３３＜ε、または
【０２５８】
【数２３】
2016536837.tif 000025
【０２５９】
であり、値εが、ある実施形態では数値安定性を考慮して０＜ε≦０．０１等の妥当な値に設定され、特に好ましい実施形態ではε＝０．０００１に設定される。一般的に、εの値は、全体的または部分的に、限られたコンピュータワード長等に基づいて求めることができ、当業者はこのことを本明細書を読んで理解するであろう）、これは、回転行列Ｒの縮退に対応し、特殊な式を用いてヨー、ピッチ、およりロールの値を推定する。
【０２６０】
オブジェクトと取込み装置の間の距離の推定
さらに他の実施形態において、オブジェクトと取込み装置の間の距離を、オブジェクトサイズの知識がなくても、カメラの固有パラメータ（たとえば焦点距離、画像平面内の（ｕ，ｖ）のスケールファクタ等）といった情報を用いて推定することが可能である。
【０２６１】
あるアプローチにおいて、このアルゴリズムの必要条件を次のように要約することができる。１）装置のＡＰＩコールによって、取込まれた画像についてのカメラの焦点距離を与えこの焦点距離にアクセスすることができる（たとえば、アンドロイド装置は、ＡＰＩコールを与えて、取込まれた画像についての焦点距離情報を得る）。２）ｄｘおよびｄｙのスケールファクタは等式１２．１および１２．２のアルゴリズムによって推定される。
【０２６２】
このことは、ある種の装置についてのスケールファクタｄｘ、ｄｙを推定することができ、個々の装置について個別にこれらを推定する必要はないことを意味する。たとえば、アップル社のiPhone（登録商標）４スマートフォンを使用する代表的なある実施形態において、上記アルゴリズムを用いることで、既知のサイズのオブジェクトを用いてスケールファクタを推定することが可能である。２つのスケーリングファクタはその後、同一の装置種類については同一であると想定すればよい。
【０２６３】
例示としてのあるアプローチに従う、オブジェクトからカメラまでの距離を推定するアルゴリズムは次の通りである。以下の式において（ｕ，ｖ）、（Ｘ，Ｙ）を正規化する。
【０２６４】
【数２４】
2016536837.tif 000026
【０２６５】
なお、等式１８は、等式１の（ｘ，ｙ）の代わりに等式１８では（ｕ，ｖ）を用いることを除いて、等式１と等価である。
【０２６６】
【数２５】
2016536837.tif 000027
【０２６７】
であり、Ｌｕ、Ｌｖは座標ｕおよびｖの画像サイズであり、ＬＸ、ＬＹは求めるべきオブジェクトサイズであると想定する。
【０２６８】
そうすると等式１８は次のように表わすことができる。
【０２６９】
【数２６】
2016536837.tif 000028
【０２７０】
カメラの固有パラメータ行列は以下の単純な形態で想定される。
【０２７１】
【数２７】
2016536837.tif 000029
【０２７２】
式中、ｆはカメラの焦点距離、ｄｘ、ｄｙはカメラのスケーリングファクタであり、セクション［００１８２］〜［００２０９］に示されるアルゴリズムによって推定される。
【０２７３】
等式（１９）、（２０）、および（２１）から、次のようになる。
【０２７４】
【数２８】
2016536837.tif 000030
【０２７５】
Ａがわかっているので、等式（２３）から、次のようになる。
【０２７６】
【数２９】
2016536837.tif 000031
【０２７７】
等式（２７）のｔは、カメラに対するオブジェクトの並進ベクトルであるためである。ｔのＬ２ノルム（ユークリッドノルム）は次の通りである。
【０２７８】
【数３０】
2016536837.tif 000032
【０２７９】
等式（２９）および（３０）を用いて、ＸおよびＹ座標に沿う文書のサイズを推定することができる。このアプローチを用いると、スケーリングファクタは未知のままとなり得る。
【０２８０】
上記回転行列を推定するアルゴリズムでは、スケーリングファクタσは不要である。むしろ、いくつかのアプローチでは、σ＝１と想定するのが適切である。上記アルゴリズムを用いてロール、ピッチ、およびヨーを推定することができる。等式（２９）および（３０）から、オブジェクトのアスペクト比を次のように推定することができる。
【０２８１】
【数３１】
2016536837.tif 000033
【０２８２】
想定した矩形からのピッチおよびロールの推定
実際、最も一般的なケースは、標準サイズの用紙、名刺、運転免許証およびその他の免許証等の、矩形の文書のカメラによる取込みである。カメラの焦点距離は変わらずヨーに関する知識は上記種類の文書の画像処理とは無関係なので、文書の対応する画像を矩形化するためには、文書の面に対するカメラのロールとピッチを求めるだけでよい。
【０２８３】
このアルゴリズムの概念は、単純に、何らかの相対的なピッチ−ロールの組合わせに対し、画像において検出された四角形に対応する文書のオブジェクト座標を、（縮尺、回転、およびシフトに応じて）計算できるということである。この計算されたオブジェクト座標の四角形は、ピッチおよびロールの正確な値が使用されたときは９０度の角度を特徴とし、ずれは、４つの角度差の二乗の和によって特徴付けることができる。この基準は有用である。なぜなら、これはスムーズであり個々の大きなずれに対して効果的にペナルティーを課すからである。
【０２８４】
この基準に基づく傾斜降下処置により、わずかミリ秒単位で適切なピッチ−ロール対を見出すことができる。これは、画像内の四角形が正確に求められた場合について実験で確認されている。このアプローチは、ゼロに等しいヨーとオブジェクトまでの距離として任意の固定値を使用する。なぜなら、これら値の変化によって、オブジェクト座標のさらに他の直交変換が加わるだけであるからである。このアプローチはまた、座標変換の計算においてカメラの既知の焦点距離を使用するが、４つの角すべてが発見されており独立した３つの角度がある場合は、同じ基準と、やや複雑度が増した傾斜降下処置を用いて、ピッチおよびロールに加えて焦点距離を推定することができる。このことは、入力された画像に、どのようなカメラで撮影されたかに関する情報があってもなくても、サーバベースの処理には有益であろう。
【０２８５】
興味深いことに、ページ検出が誤りであったとき、最適なピッチ−ロール対であっても相当大きな残余の角度誤差（１度以上）が残る、または、少なくとも、ページが自身に平行にクロップされたばかりであれば、見出されたオブジェクト座標から得られるアスペクト比は、実際のアスペクト比と一致しない。
【０２８６】
加えて、このアルゴリズムは、文書の検出された辺のうちの１つの位置が疑わしいかまたは全体的に欠落しているときであっても（たとえば、文書のその辺が部分的にまたは完全に遮断されている、示されていない、または認識できないほど不鮮明である等）、適用することが可能である。所望の結果を成し遂げるには、上述のように規定された基準を修正して、２つの角度、たとえば、下辺に隣接する角度のみを、傾斜降下処置で用いることが、有益である。このようにして、このアルゴリズムをなおも用いて、偽のおよび／または検出不可能な左上の角および右上の角を有するが総の四角形から、ピッチとロールを推定し得る。
【０２８７】
一例において、画像フレームの上部に近い左辺および右辺上の任意のポイントを、左上の角と右上の角として指定することができる。最適に推定されたピッチ−ロールでは、オブジェクト座標において偽の左上の角および右上の角を等しく生成することになるが、文書はそれでも正しく矩形化されるであろう。文書の欠落している（たとえば上の）辺は再構成できる。なぜなら、この上辺は向い側の（たとえば下の）辺と実質的に平行であり隣接する（たとえば左および／または右の）辺に直交するはずだからである。
【０２８８】
残っている問題は、画像のコンテキスト全体において欠落している辺をどこに配置するかであり、アスペクト比がわかっていれば、欠落している辺のオフセットを上手く推定することができ、わかっていなければ、データを失うのではなく、フレームのエッジまで押し出せばよい。このアルゴリズムの変形によって、画像が、その辺に沿って文書の一部、たとえば、預金伝票を含むインボイスの下側しか含まないときに、ユーザの重要なケースを解決することができる。このような状況においては、文書の下辺、左辺、および右辺を、正しく判断し、ピッチおよびロールの推定に用いることができる。これらの角度を焦点距離とともに用いて、文書の見えている部分を矩形化することができる。
【０２８９】
よって、図７に示される方法７００によって例示される、ある一般的なアプローチにおいて、再構成は、動作７０２において、オブジェクト、好ましくは特徴（サイズ、テクスチャ、カラープロファイル等）がわかっている文書またはその他のオブジェクトの、デジタル表現を含む、デジタル画像を取込むまたは受けることを含む。
【０２９０】
動作７０４において、取込んだまたは受けた画像を解析して、オブジェクトのデジタル表現を画像背景または画像内の他のオブジェクトから分離する１本以上の境界線の位置を求める。
【０２９１】
動作７０６において、境界線を解析して、境界線のうちの１本以上に湾曲（すなわち非線形領域）があるか否か判断する。たとえば、各々が、異なるクラスの関数であり得る、一次、二次、三次、四次等の多項式などの、特定のクラスの関数に、境界線を特徴付ける多項式が適合すると判断することにより、境界線のうちの１つに湾曲があると判断してもよい。湾曲があると判断された場合、これを補正して、その長さ全体に沿って実質的に線形特徴を有する境界線を生成することが好ましい。
【０２９２】
判断された湾曲が補正されたら、動作７０８において、線形のエッジの境界線を解析および／または外装することにより、取囲む多角形、好ましくは取囲む四角形、より好ましくは取囲む平行四辺形、台形、または矩形を定める。
【０２９３】
動作７１０において、デジタル画像および／または取囲む多角形を解析することにより、透視歪みおよび／または射影効果が、取囲む多角形の中にあるか否か判断する。
【０２９４】
動作７１２において、取囲む多角形、デジタル画像等の中に透視歪みおよび／または射影効果があるという判断に応じて、透視歪みおよび／または射影効果を補正して、再構成された多角形を生成する。好ましくは、取囲む多角形は四辺形であり、再構成された多角形は矩形である。
【０２９５】
当然ながら、代表的な方法７００の上記開示は、ロジックを実行するように構成されたシステムとして、および／または上記機能のうちのいずれかと実質的に同様の機能を実行するように構成されたコンピュータ読取可能なプログラムコード含むコンピュータプログラムプロダクトとして、実現し得る。
【０２９６】
同様に、本明細書に記載の、発明の概念、特徴、技術、構成要素、システム、製品等すべては、モジュール方式とみなされるべきものであって、当業者が本明細書を読んで理解するであろう適切なやり方で組合わせてもよい。特に、これら組合わせは、本明細書を読んだ当業者が相互に排他的または両立しないと認識するもののみを除いて、開示された特徴のいずれの可能な組も含む。したがって、この発明の概念のさまざまな実施形態は、個々の特徴を含めてまたは除いて、いずれかの数の開示された特徴を記載することによって、定義し得る。
【０２９７】
たとえば、あるアプローチにおいて、デジタル画像を再構成する方法は、四角形によって取囲まれたオブジェクトのデジタル表現を含むデジタル画像を受けるステップと、この四角形の湾曲を補正して四辺形を形成するステップと、この四辺形における射影効果を補正して矩形を形成するステップとを含む。この四辺形は平行四辺形であってもよい。湾曲を補正するステップは、四角形の１つ以上の部分を、固有の四角形座標に少なくとも一部基づいて変換するステップを含み得る。射影効果を補正するステップは、４点アルゴリズムを用いて四角形を変換するステップを含み得る。より具体的には、射影効果の補正は、特異値分解（ＳＶＤ）、直接線形変換（ＤＬＴ）、非線形リファインメント（non-linear refinement）（ＮＬＲ）、デジタル画像と再構成された画像との点対応の座標を再構成すること、および／または、ホモグラフィ変換（Ｈ）の推定のうちの、１つ以上を含み得る。Ｈを推定することは、
１つ以上の点対応
【０２９８】
【数３２】
2016536837.tif 000034
【０２９９】
および／または、
４つの点対応を検出するステップを含み、
【０３００】
【数３３】
2016536837.tif 000035
【０３０１】
任意で、デジタル画像は、オブジェクトに対する法線から約３０度以上ずれた取込み角度によって特徴付けられる。好ましくは、Ｈは、式λｐｉ＝ＨＰ′ｉを満たし、λ＝三次元基準座標位置（Ｘ，Ｙ，Ｚ）と、取込み装置の対応する基準座標位置との間の焦点距離であり、ｐｉ＝（ｘｉ，ｙｉ，１）Ｔであり、Ｐ′ｉ＝（Ｘｉ，Ｙｉ，１）Ｔであり、ｉは、対応する画像における点ｐまたはＰ′のそれぞれの指数特徴である。この方法はまた、再構成されたデジタル画像を出力するステップを含み得る。この再構成されたデジタル画像は、オブジェクトに対して垂直である取込み角度を用いて取込まれたオブジェクトのスキャンされた５００ＤＰＩ画像と比較して約５画素以下の画素位置誤差によって特徴付けられる。四角形の辺は、二次多項式、または二次よりも高次の多項式にであってもよい多項式によって特徴付けることができる。最も好ましくは、オブジェクトは、既知の高さと幅の比率によって特徴付けられる文書である。
【０３０２】
代表的なシステムは、１つ以上のプロセッサと、画像取込み装置と、上記段落に記載の動作のうちの１つ以上を実行するように、かつ、任意の数の具体的な特徴を利用するように構成された、対応する機能的論理とを含み得る。上記具体的な特徴は、オブジェクトが矩形の文書で既知の高さと幅の比率λ、ｐｉ、Ｐ’ｉ等を有することであり、当業者はこのことを本明細書を読んで理解するであろう。
【０３０３】
代表的なコンピュータプログラムプロダクトは、上記段落に記載の動作のうちの１つ以上を実行し、かつ、任意の数の具体的な特徴を利用する、コンピュータが実装された、コンピュータ読取可能な記録媒体を含み得る。上記具体的な特徴は、オブジェクトが矩形の文書で既知の高さと幅の比率λ、ｐｉ、Ｐ’ｉ等を有することであり、当業者はこのことを本明細書を読んで理解するであろう。
【０３０４】
以上さまざまな実施形態が説明されているが、これら実施形態は限定ではなく専ら例示のために示されていることが理解されるはずである。よって、本発明の実施形態の広さおよび範囲は、上記代表的な実施形態のいずれによっても限定されてはならず、以下の請求項およびこれらの均等物に従ってのみ定義されるべきものである。
【図３Ａ】
2016536837.tif 000038
【図３Ｂ】
2016536837.tif 000039
【図３Ｃ】
2016536837.tif 000040
【図３Ｄ】
2016536837.tif 000041
【図４】
2016536837.tif 000042
【図５Ａ】
2016536837.tif 000043
【図５Ｂ】
2016536837.tif 000044
【図６Ａ】
2016536837.tif 000045
【図６Ｂ】
2016536837.tif 000046
【図６Ｃ】
2016536837.tif 000047
【図６Ｄ】
2016536837.tif 000048
【図７】
2016536837.tif 000049
【図１】
2016536837.tif 000050
【図２】
2016536837.tif 000051
【国際調査報告】
2016536837.tif 000052