(57)【要約】【課題】撮像装置により取得された文書画像の補正方法及び補正装置を提供する。【解決手段】該方法は、文書画像の４つの頂点のワールド座標を決定するステップと、４つの頂点のワールド座標と４つの頂点の射影空間における射影座標との対応関係、撮像装置の内部パラメータ行列、及び撮像装置の外部パラメータ行列の特性に基づいて、文書画像の元の縦横比を計算するステップと、４つの頂点のワールド座標及び縦横比に基づいて射影変換行列を決定するステップと、決定された射影変換行列及び文書画像に基づいて補正後の文書画像を取得するステップと、を含む。本発明によれば、取得された１枚の画像のみを用いて透視変換を補正でき、元の縦横比で元の画像を復元できる。【選択図】図２
2017130929.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により取得された文書画像の補正方法であって、
前記文書画像の４つの頂点のワールド座標を決定するステップと、
前記４つの頂点のワールド座標と前記４つの頂点の射影空間における射影座標との対応関係、前記撮像装置の内部パラメータ行列、及び前記撮像装置の外部パラメータ行列の特性に基づいて、前記文書画像の元の縦横比を計算するステップと、
前記４つの頂点のワールド座標及び前記縦横比に基づいて射影変換行列を決定するステップと、
決定された前記射影変換行列及び前記文書画像に基づいて補正後の文書画像を取得するステップと、を含む、方法。
【請求項２】
前記文書画像の４つの頂点を決定するステップは、
前記文書画像の文書のエッジを検出するステップと、
検出された前記エッジのグレースケール画像を二値化するステップと、
二値化された前記エッジのグレースケール画像に基づいて前記４つの頂点のワールド座標を決定するステップと、を含む、請求項１に記載の方法。
【請求項３】
前記射影変換行列Ｈは下記の式を満たし、
【数１】
2017130929.tif 000032
ここで、Ｈは３×３の行列であり、ｍｉ及びｘｉは３×１のベクトルであり、ｍｉは前記４つの頂点のワールド座標であり、ｘｉは前記４つの頂点の射影空間における射影座標であり、ｓｉはｍｉに依存する実数係数である、請求項１に記載の方法。
【請求項４】
前記射影変換行列Ｈ＝［ｈ１ｈ２ｈ３］とすると、ｈ１及びｈ２と前記縦横比ｒ及び前記ワールド座標ｍｉとの関係は、
【数２】
2017130929.tif 000033
となる、請求項３に記載の方法。
【請求項５】
前記撮像装置の内部パラメータ行列Ａは、
【数３】
2017130929.tif 000034
となり、
ここで、ｆは撮像装置の焦点距離であり、ｗ及びｈは解像度であり、ａ及びｂはセンサのサイズである、請求項４に記載の方法。
【請求項６】
前記撮像装置の外部パラメータ行列の特性は、
前記撮像装置の外部パラメータ行列をＲ＝［ｒ１ｒ２ｒ３ｔ］で表すと、ｒ１Ｔ・ｒ２＝０となり、且つ｜ｒ１｜＝｜ｒ２｜となる、請求項５に記載の方法。
【請求項７】
前記撮像装置の内部パラメータ行列Ａ及び前記撮像装置の外部パラメータ行列の特性に基づいて得られたｈ１及びｈ２と前記内部パラメータ行列Ａとの関係は、
【数４】
2017130929.tif 000035
となる、請求項６に記載の方法。
【請求項８】
ｈ１及びｈ２と前記縦横比ｒ及び前記ワールド座標ｍｉとの関係、並びにｈ１及びｈ２と前記内部パラメータ行列Ａとの関係に基づいて、前記縦横比ｒを決定する、請求項７に記載の方法。
【請求項９】
前記４つの頂点のワールド座標及び前記縦横比に基づいて決定された前記射影変換行列Ｈは、
【数５】
2017130929.tif 000036
となる、請求項８に記載の方法。
【請求項１０】
撮像装置により取得された文書画像の補正装置であって、
前記文書画像の４つの頂点のワールド座標を決定する頂点座標決定手段と、
前記４つの頂点のワールド座標と前記４つの頂点の射影空間における射影座標との対応関係、前記撮像装置の内部パラメータ行列、及び前記撮像装置の外部パラメータ行列の特性に基づいて、前記文書画像の元の縦横比を計算する縦横比計算手段と、
前記４つの頂点のワールド座標及び前記縦横比に基づいて射影変換行列を決定する射影変換行列決定手段と、
決定された前記射影変換行列及び前記文書画像に基づいて補正後の文書画像を取得する補正手段と、を含む、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の分野に関し、具体的に、撮像装置により取得された文書画像の補正方法及び補正装置に関する。
【背景技術】
【０００２】
近年、撮像装置は既に非常に普及している装置となった。携帯電話、パーソナルコンピュータ及びタブレットコンピュータはいずれも撮像装置を有する。ユーザは、これらの撮像装置を用いて大量の紙文書を取り込み、情報を記録する。撮像の角度などにより、撮像された文書では透視変換が生じるため、文書画像における情報が人間により取り込まれることは困難になり、コンピュータにより取り込まれることはさらに困難になる。このため、文書画像の透視の補正はより注目されている。
【０００３】
従来は、取得された文書を矩形に補正する方法がいくつ存在している。しかし、これらの方法は、取得された１枚の文書画像のみに基づいて元の文書画像の縦横比を復元することができない。
【０００４】
撮像装置により取得された文書画像を容易に補正できる方法及び装置が求められている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
以下、本発明の主旨を理解させるため、本発明を簡単に説明する。なお、これらの説明は、本発明を限定するものではない。以下の説明は、本発明の肝心又は重要な部分を決定するものではなく、本発明の範囲を限定することではない。その目的は、その後の詳しい説明の前文として、ある概念を簡単に説明するものに過ぎない。
【０００６】
本発明は、撮像装置により取得された文書画像の補正方法を提供することを１つの主な目的とする。
【課題を解決するための手段】
【０００７】
本発明の一の態様では、撮像装置により取得された文書画像の補正方法であって、前記文書画像の４つの頂点のワールド座標を決定するステップと、前記４つの頂点のワールド座標と前記４つの頂点の射影空間における射影座標との対応関係、前記撮像装置の内部パラメータ行列、及び前記撮像装置の外部パラメータ行列の特性に基づいて、前記文書画像の元の縦横比を計算するステップと、前記４つの頂点のワールド座標及び前記縦横比に基づいて射影変換行列を決定するステップと、決定された前記射影変換行列及び前記文書画像に基づいて補正後の文書画像を取得するステップと、を含む、方法を提供する。
【０００８】
本発明の他の態様では、撮像装置により取得された文書画像の補正装置であって、前記文書画像の４つの頂点のワールド座標を決定する頂点座標決定手段と、前記４つの頂点のワールド座標と前記４つの頂点の射影空間における射影座標との対応関係、前記撮像装置の内部パラメータ行列、及び前記撮像装置の外部パラメータ行列の特性に基づいて、前記文書画像の元の縦横比を計算する縦横比計算手段と、前記４つの頂点のワールド座標及び前記縦横比に基づいて射影変換行列を決定する射影変換行列決定手段と、決定された前記射影変換行列及び前記文書画像に基づいて補正後の文書画像を取得する補正手段と、を含む、装置を提供する。
【０００９】
また、本発明の実施例では、上記の方法を実現するためのコンピュータプログラムをさらに提供する。
【００１０】
さらに、本発明の実施例では、上記の方法を実現するためのコンピュータプログラムコードを記録する、コンピュータが読み取り可能な媒体などのコンピュータプログラムプロダクトをさらに提供する。
【００１１】
以下は図面を参照しながら本発明の好ましい実施例を詳細に説明し、本発明のこれらの利点及び他の利点はより明確になる。
【図面の簡単な説明】
【００１２】
下記図面の詳細の説明を通じて、本発明の実施例の上記の目的、他の目的、特徴及び利点はより明確になる。図面におけるユニットは、単なる本発明の原理を示すものである。図面において、同一又は類似する技術的特徴又はユニットは、同一又は類似する記号で示されている。
【図１Ａ】撮像装置により撮影された１枚の文書画像を示す図である。
【図１Ｂ】補正後の文書画像を示す図である。
【図２】本発明の１つの実施例に係る撮像装置により取得された文書画像の補正方法の例示的なフローを示すフローチャートである。
【図３】図２におけるステップＳ２０２の例示的なフローを示すフローチャートである。
【図４Ａ】撮像装置により撮影された文書画像の４つの頂点の座標を示す図である。
【図４Ｂ】元の文書画像の４つの頂点の座標を示す図である。
【図５】本発明の１つの実施例に係る撮像装置により取得された文書画像の補正装置５００の例示的な構成を示すブロック図である。
【図６】図５における頂点座標決定部５０２の例示的な構成を示すブロック図である。
【図７】本発明に係る撮像装置により取得された文書画像の補正方法及び補正装置を実施するためのコンピュータ装置の例示的な構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照しながら本発明の例示的な実施例を詳細に説明する。説明の便宜上、明細書には実際の実施形態の全ての特徴が示されていない。なお、実際に実施する際に、開発者の具体的な目標を実現するために、特定の実施形態を変更してもよい、例えばシステム及び業務に関する制限条件に応じて実施形態を変更してもよい。また、開発作業が非常に複雑であり、且つ時間がかかるが、本公開の当業者にとって、この開発作業は単なる例の作業である。
【００１４】
なお、本発明を明確にするために、図面には本発明に密に関連する装置の構成要件及び／又は処理のステップのみが示され、本発明と関係のない細部が省略される。
【００１５】
以下は、図面を参照しながら本発明の実施例を詳細に説明する。
【００１６】
本発明は、取得された１枚の画像のみを用いて透視変換を補正でき、元の縦横比で元の画像を復元できる方法を提供する。
【００１７】
本発明の方法では、入力は、撮像された１枚の矩形の文書（矩形文書は同一の平面内に位置する）の画像であり、図１Ａに示すように、撮像装置により撮影された１枚の文書画像である。取得できる出力は、文書画像の元の縦横比、及び補正後の画像である。本発明の方法を用いて図１Ａにおける文書画像を補正し、図１Ｂに示す画像を取得できる。
【００１８】
以下は、図面を参照しながら本発明の実施例に係る撮像装置により取得された文書画像の補正方法及び補正装置を詳細に説明する。説明は、次の順序で行われる。
【００１９】
１．撮像装置により取得された文書画像の補正方法
２．撮像装置により取得された文書画像の補正装置
３．本願の方法及び装置を実施するためのコンピュータ装置
＜１．撮像装置により取得された文書画像の補正方法＞
図２は本発明の１つの実施例に係る撮像装置により取得された文書画像の補正方法の例示的なフローを示すフローチャートである。
【００２０】
まず、ステップＳ２０２において、撮像装置により取得された文書画像の４つの頂点の画像における位置（即ちワールド座標）を決定する。
【００２１】
図３は図２におけるステップＳ２０２（即ち、撮像装置により取得された文書画像の４つの頂点の画像における位置を決定すること）の例示的なフローを示すフローチャートである。
【００２２】
図３に示すように、ステップＳ２０２２において、文書画像のエッジを検出する。例えば、ＲＧＢ勾配法により検出を行ってもよい。そして、ステップＳ２０２４において、検出されたエッジを二値化する。最後に、ステップＳ２０２６において、二値化されたエッジに基づいて４つの頂点のワールド座標を決定する。
【００２３】
本発明の方法では、文書画像の４つの頂点のワールド座標は、既知のパラメータとして予め入力されてもよい。
【００２４】
そして、ステップＳ２０４において、４つの頂点のワールド座標と４つの頂点の射影空間における射影座標との対応関係、撮像装置の内部パラメータ行列、及び撮像装置の外部パラメータ行列の特性に基づいて、文書画像の元の縦横比を計算する。
【００２５】
具体的には、図４Ａは撮像装置により撮影された文書画像を示し、その４つの頂点はそれぞれｍ１、ｍ２、ｍ３及びｍ４である。４つの頂点ｍｉ（ｉ＝１，２，３，４）の座標は、上記のステップＳ２０２で説明された画像処理方法により決定されてもよい。ｍｉのうち任意の３点が同一の直線上にないと仮定する。
【００２６】
図４Ｂに示す元の文書画像は矩形であり、その縦横比をｒとすると、その４つの頂点ｘｉ（ｉ＝１，２，３，４）の座標がそれぞれ［０，０，１］Ｔ、［１，０，１］Ｔ、［１，ｒ，１］Ｔ、［０，ｒ，１］Ｔであり、縦横比ｒがｘ１ｘ４：ｘ１ｘ２であると定義される。
【００２７】
平面ｘ１ｘ２ｘ３ｘ４から平面ｍ１ｍ２ｍ３ｍ４への射影変換行列がＨであると仮定すると、ｘｉとｍｉは下記の式（１）を満たす。
【００２８】
【数１】
2017130929.tif 000003
ここで、Ｈは３×３の行列であり、ｍｉ及びｘｉ（ｉ＝１，２，３，４）は３×１のベクトルであり、ｓｉ（ｉ＝１，２，３）は実数係数である。
【００２９】
式（１）から、
【数２】
2017130929.tif 000004
を取得できる。
【００３０】
元の文書の縦横比ｒが０でない場合は、行列［ｘ１，ｘ２，ｘ３］は可逆的であり、
【数３】
2017130929.tif 000005
となる。
【００３１】
再び式（２）を式（１）に代入すると、
【数４】
2017130929.tif 000006
を取得できる。
【００３２】
【数５】
2017130929.tif 000007
となるため、
【数６】
2017130929.tif 000008
となる。
【００３３】
Ｈ＝［ｈ１ｈ２ｈ３］とすると、式（２）から
【数７】
2017130929.tif 000009
を取得できる。
【００３４】
よって、取得されたｈ１及びｈ２と縦横比ｒ及びワールド座標ｍｉとの関係は、
【数８】
2017130929.tif 000010
となる。
【００３５】
式（４）では、ｍｉが既知であり、ｍｉからｓｉを算出できるため、ｈ１及びｈ２には未知数としてｒのみが含まれる。
【００３６】
一方、撮像装置のパラメータの観点から、射影変換ＨはＨ＝Ａ・Ｒを満たし、ここで、Ａは撮像装置の内部パラメータ行列であり、Ｒは撮像装置の回転行列（外部パラメータ行列とも称される）である。
【００３７】
ｒｉで回転行列Ｒのｉ列目を表すと、
【数９】
2017130929.tif 000011
となる。
【００３８】
外部パラメータの性質ｒ１Ｔ・ｒ２＝０及び｜ｒ１｜＝｜ｒ２｜に基づいて、下記の式（６）及び式（７）を取得できる。
【００３９】
【数１０】
2017130929.tif 000012
内部パラメータ行列Ａが既知である場合は、式（４）及び式（７）に基づいて文書の縦横比ｒを算出できる。
【００４０】
撮像装置の内部パラメータ行列Ａは
【数１１】
2017130929.tif 000013
である。
【００４１】
ここで、ｆｘ及びｆｙは撮像装置の単位が画素の場合の横、縦座標軸上の焦点距離であり、（ｘ０，ｙ０）は主点の座標である。ＥＸＩＦ（エクスチェンジャブル・イメージ・ファイル）情報により、撮像装置の焦点距離がｆであり、解像度がｗ×ｈであり、センサのサイズがａ×ｂである場合は、内部パラメータ行列Ａは、
【数１２】
2017130929.tif 000014
となる。
【００４２】
ｈ１＝（ｈ１１，ｈ２１，ｈ３１）Ｔ、ｈ２＝１／ｒ（ｈ１２，ｈ２２，ｈ３２）Ｔとし、式（７）に基づいて、
【数１３】
2017130929.tif 000015
を取得できる。
【００４３】
このように、元の縦横比ｒを算出する。
【００４４】
そして、ステップＳ２０６において、４つの頂点のワールド座標及び縦横比に基づいて射影変換行列を決定する。
【００４５】
【数１４】
2017130929.tif 000016
最後に、ステップＳ２０８において、決定された前記射影変換行列及び取得された文書画像に基づいて補正後の文書画像を取得できる。
【００４６】
携帯電話のカメラにより撮影された画像に本発明の方法を適用する場合は、下記の特殊な状況がある。
【００４７】
一部の携帯電話は正方形モードを有する。例えば、通常画像の解像度が３２６４×２４４８である場合は、正方形モードで撮影された画像の解像度は２４４８×２４４８であり、即ち元の画像をトリミングしたものである。正方形モードで撮影された画像に本発明の方法を適用する場合は、トリミング前の画像の解像度を入力してもよく、即ちｗ＝３２６４、ｈ＝２４４８となる。
【００４８】
また、ズーム（ｚｏｏｍｉｎｇ）モードで撮影された画像は、ＥＸＩＦから携帯電話のデジタルズームを読み出し、ズーム操作後の焦点距離ｆは元の焦点距離ｆｏｒｉｇｉｎａｌにデジタルズーム（ｄｉｇｉｔａｌ  ｚｏｏｍｉｎｇ）を乗じたものである。
【００４９】
本発明の方法では、撮像装置の地理空間及び算数的特性に基づいて、元の文書の縦横比を復元できる。また、本発明の方法は、１枚の画像のみを取得すれば文書画像を補正できるため、ユーザにとって非常に便利である。
【００５０】
＜２．撮像装置により取得された文書画像の補正装置＞
図５は本発明の１つの実施例に係る撮像装置により取得された文書画像の補正装置５００の例示的な構成を示すブロック図である。
【００５１】
図５に示すように、撮像装置により取得された文書画像の補正装置５００は、頂点座標決定部５０２、縦横比計算部５０４、射影変換行列決定部５０６及び補正部５０８を含む。
【００５２】
ここで、頂点座標決定部５０２は、文書画像の４つの頂点のワールド座標を決定する。
【００５３】
縦横比計算部５０４は、４つの頂点のワールド座標と４つの頂点の射影空間における射影座標との対応関係、撮像装置の内部パラメータ行列、及び撮像装置の外部パラメータ行列の特性に基づいて、文書画像の元の縦横比を計算する。
【００５４】
射影変換行列決定部５０６は、４つの頂点のワールド座標及び縦横比に基づいて射影変換行列を決定する。
【００５５】
補正部５０８は、決定された射影変換行列及び文書画像に基づいて補正後の文書画像を取得する。
【００５６】
図６は図５における頂点座標決定部５０２の例示的な構成を示すブロック図である。頂点座標決定部５０２は、エッジ検出サブユニット５０２２、二値化サブユニット５０２４及び座標決定サブユニット５０２６を含む。
【００５７】
ここで、エッジ検出サブユニット５０２２は、文書画像のエッジを検出する。
【００５８】
二値化サブユニット５０２４は、検出されたエッジを二値化する。
【００５９】
座標決定サブユニット５０２６は、二値化されたエッジに基づいて前記４つの頂点のワールド座標を決定する。
【００６０】
ここで、射影変換行列Ｈは下記の式を満たし、
【数１５】
2017130929.tif 000017
ここで、Ｈは３×３の行列であり、ｍｉ及びｘｉは３×１のベクトルであり、ｍｉは４つの頂点のワールド座標であり、ｘｉは４つの頂点の射影空間における射影座標であり、ｓｉはｍｉに依存する実数係数である。
【００６１】
ここで、射影変換行列Ｈ＝［ｈ１ｈ２ｈ３］とすると、ｈ１及びｈ２と縦横比ｒ及びワールド座標ｍｉとの関係は、
【数１６】
2017130929.tif 000018
となる。
【００６２】
ここで、撮像装置の内部パラメータ行列Ａは、
【数１７】
2017130929.tif 000019
となり、
ここで、ｆは撮像装置の焦点距離であり、ｗ及びｈは解像度であり、ａ及びｂはセンサのサイズである。
【００６３】
ここで、撮像装置の外部パラメータ行列の特性は、撮像装置の外部パラメータ行列をＲ＝［ｒ１ｒ２ｒ３ｔ］で表すと、ｒ１Ｔ・ｒ２＝０となり、且つ｜ｒ１｜＝｜ｒ２｜となる。
【００６４】
ここで、撮像装置の内部パラメータ行列Ａ及び撮像装置の外部パラメータ行列の特性に基づいて得られたｈ１及びｈ２と内部パラメータ行列Ａとの関係は、
【数１８】
2017130929.tif 000020
となる。
【００６５】
ここで、ｈ１及びｈ２と縦横比ｒ及びワールド座標ｍｉとの関係、並びにｈ１及びｈ２と内部パラメータ行列Ａとの関係に基づいて、縦横比ｒを決定する。
【００６６】
ここで、４つの頂点のワールド座標及び縦横比に基づいて決定された射影変換行列Ｈは、
【数１９】
2017130929.tif 000021
となる。
【００６７】
撮像装置により取得された文書画像の補正装置５００の各部の操作及び機能の詳細は、図１〜図４を参照しながら説明された本発明の撮像装置により取得された文書画像の補正方法の実施例を参照してもよく、ここでその詳細な説明を省略する。
【００６８】
なお、図５及び図６に示す装置及びその構成部の構成は単なる例示的なものであり、当業者が必要に応じて図５及び図６に示す構成ブロック図を修正してもよい。
【００６９】
本発明は、撮像装置により取得された文書画像の補正方法及び補正装置を提供する。従来方法に比べて、本発明は下記の利点を有する。
【００７０】
１．撮像装置の地理空間及び算数的特性に基づいて、元の文書の縦横比を復元できる。これは、従来方法、例えばＯｆｆｉｃｅ  ｌｅｎｓで達成できないものである。
【００７１】
２．１枚の画像のみを取得すれば文書画像を補正でき、ユーザにとって非常に便利である。
【００７２】
＜３．本願の方法及び装置を実施するためのコンピュータ装置＞
以上は具体的な実施例を参照しながら本発明の基本的な原理を説明しているが、当業者は、本発明の方法及び装置の全て又は任意のステップ又は手段を理解でき、任意のコンピュータ装置（プロセッサ及び記憶媒体などを含む）又はコンピュータ装置のネットワークにおいてハードウェア、ファームウェア、ソフトウェア又はそれらの組み合わせで実現でき、当業者は本発明の明細書を読むことで自分の基本的なプログラミングの技能で実現できる。
【００７３】
従って、本発明の目的は、任意のコンピュータ装置において１つ又は一連のプログラムを実行することで実現されてもよい。該コンピュータ装置は周知の汎用装置である。このため、本発明の目的は、該方法又は装置を実現するプログラムコードを含むプログラムプロダクトのみを提供することで実現されてもよい。言い換えれば、このようなプログラムプロダクトも本発明に該当し、このようなプログラムプロダクトを記憶する記憶媒体も本発明に該王する。なお、該記憶媒体は任意の公知の記憶媒体又は将来に開発される任意の記憶媒体であってもよい。
【００７４】
なお、ソフトウェア及び／又はファームウェアにより本発明の実施例を実現する場合、記憶媒体又はネットワークを通じて専用ハードウェア構造を有するコンピュータ、例えば、図７に示す汎用コンピュータ７００に当該ソフトウェアを構成するプログラムをインストールし、当該コンピュータは、各種類のプログラムがインストールされたときに、各種の機能等を実行することができる。
【００７５】
図７では、セントラル・プロセッシング・ユニット(ＣＰＵ)７０１は、読み取り専用メモリ（ＲＯＭ)７０２に格納されたプログラムまたは記憶部７０８からランダム・アクセス・メモリ(ＲＡＭ)７０３にアップロードされたプログラムにより各種の処理を実行する。ＲＡＭ７０３には、必要に応じてＣＰＵ７０１が各種の処理を実行するときに必要なデータを記憶する。ＣＰＵ７０１、ＲＯＭ７０２とＲＡＭ７０３はバス７０４を介して互いに接続される。入力/出力インターフェース７０５もバス７０４に接続される。
【００７６】
以下の構成部も入力/出力インターフェース７０５に接続される：キーボードやマウス等を含む入力部７０６；例えばブラウン管（ＣＲＴ）や液晶ディスプレイ（ＬＣＤ）等のモニタやスピーカー等を含む出力部７０７；ハードディスク等を含む記憶部７０８；例えばLANカード等のネットワークインタフェースカードやモデム等を含む通信部７０９。また、通信部７０９はネットワーク、例えばインターネットを介して通信処理を行う。必要に応じて、ドライブ部７１０も入力/出力インターフェース７０５に接続される。取り外し可能な媒体７１１、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体記憶装置等を、必要に応じてドライブ部７１０に挿入し、その中から読み出されたコンピュータプログラムは必要に応じて記憶部７０８にインストールされる。
【００７７】
ソフトウェアを通じて前記一連の処理を実現する場合、ネットワーク、例えばインターネット、または記憶媒体、例えば取り外し可能な媒体７１１からソフトウェアを構成するプログラムをインストールする。
【００７８】
当業者により理解されるように、ここでの記憶媒体は、図７に示されたような、中にプログラムが記憶され、設備と分離して配布しユーザにプログラムを提供する取り外し可能な媒体７１１には限らない。取り外し可能な媒体８１１の例として、磁気ディスク(フロッピーディスク(登録商標)を含む)、光ディスク(読み出し専用メモリ(ＣＤ−ＲＯＭ)とデジタル多用途ディスク(ＤＶＤ)を含む)、光磁気ディスク（ミニディスク(ＭＤ)(登録商標)を含む)と半導体記憶装置などを含む。また、記憶媒体は、ＲＯＭ７０２や記憶部７０８に含まれるハードディスクであってもよい。その中にプログラムが記憶され、且つそれを記憶する設備と一緒にユーザに配布される。
【００７９】
本発明は、機器が読み取り可能な指令コードを記憶するプログラムプロダクトをさらに提供する。指令コードは、機器により読み取られ、実行される時に、上記本発明の実施例の方法を実行できる。
【００８０】
それに応じて、上記機器が読み取り可能な指令コードを記憶するプログラムプロダクトを格納する記憶媒体も本発明の開示に含まれる。記憶媒体は、フロッピーディスク、光ディスク、光磁気ディスク、メモリカード、メモリスティック等を含む。
【００８１】
当業者が理解できるように、ここで列挙されたものは例示的なものであり、本発明はこれらの例に限定されない。
【００８２】
本明細書では、「第１の」、「第２の」及び「第Ｎの」等の表現は、単に、本発明を明確に説明するように、説明される特徴を文言で区別するためのものである。このため、これらの表現は、限定的な意味を有していない。
【００８３】
一例として、上記方法の各ステップ、並びに上記装置の各構成モジュール及び／又はユニットは、ソフトウェア、ファームウェア、ハードウェア及び／又はそれらの組み合わせで実施されてもよく、装置における対応する一部とされてもよい。ソフトウェア、ファームウェア、ハードウェア及び／又はそれらの組み合わせで上記装置における各構成モジュール、ユニットを構成する時に用いられる具体的な手段又は方式は、当業者にとって既知であり、ここでその説明が省略される。
【００８４】
一例として、ソフトウェア又はファームウェアにより本発明の実施例を実現する場合、記憶媒体又はネットワークを通じて専用ハードウェア構造を有するコンピュータ（例えば、図７に示す汎用コンピュータ７００）に当該ソフトウェアを構成するプログラムをインストールし、当該コンピュータは、各種類のプログラムがインストールされたときに、各種の機能等を実行することができる。
【００８５】
上記本発明の具体的な実施例の説明では、１つの実施形態で説明及び／又は示された特徴は、同一又は類似する方式で１つ又は複数の他の実施形態で用いられてもよいし、他の実施形態における特徴と組み合わせてもよいし、他の実施形態における特徴の代わりに用いられてもよい。
【００８６】
なお、用語「含む」／「有する」は、本明細書で用いられる際に特徴、素子、ステップ又は構成要件の存在を表すものであり、他の１つ又は複数の特徴、素子、ステップ又は構成要件の存在又は追加を排除するものではない。
【００８７】
また、本発明の方法では、明細書で説明された時間順で実行されるものに限定されず、他の時間順で実行されてもよいし、並行又は単独で実行されてもよい。このため、本明細書で説明された方法の実行順序は、本発明の技術的範囲を限定するものではない。
【００８８】
本発明及びその利点は、添付された特許請求の範囲により限定された本発明の主旨及び範囲から逸脱することなく、各種の修正、置換及び変換を行ってもよい。また、本発明の範囲は、明細書で説明された処理、装置、手段、方法及びステップの具体的な実施例に限定されない。当業者が本発明の開示内容から分かるように、本発明に基づいて実施例と基本的に同一の機能を果たし、基本的に同一の機能を有する従来又は将来的に開発される処理、装置、手段、方法又はステップを使用、実行してもよい。従って、添付された特許請求の範囲は、このような処理、装置、手段、方法又はステップを含む。
【００８９】
また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
撮像装置により取得された文書画像の補正方法であって、
前記文書画像の４つの頂点のワールド座標を決定するステップと、
前記４つの頂点のワールド座標と前記４つの頂点の射影空間における射影座標との対応関係、前記撮像装置の内部パラメータ行列、及び前記撮像装置の外部パラメータ行列の特性に基づいて、前記文書画像の元の縦横比を計算するステップと、
前記４つの頂点のワールド座標及び前記縦横比に基づいて射影変換行列を決定するステップと、
決定された前記射影変換行列及び前記文書画像に基づいて補正後の文書画像を取得するステップと、を含む、方法。
（付記２）
前記文書画像の４つの頂点を決定するステップは、
前記文書画像の文書のエッジを検出するステップと、
検出された前記エッジのグレースケール画像を二値化するステップと、
二値化された前記エッジのグレースケール画像に基づいて前記４つの頂点のワールド座標を決定するステップと、を含む、付記１に記載の方法。
（付記３）
前記射影変換行列Ｈは下記の式を満たし、
【数２０】
2017130929.tif 000022
ここで、Ｈは３×３の行列であり、ｍｉ及びｘｉは３×１のベクトルであり、ｍｉは前記４つの頂点のワールド座標であり、ｘｉは前記４つの頂点の射影空間における射影座標であり、ｓｉはｍｉに依存する実数係数である、付記１に記載の方法。
（付記４）
前記射影変換行列Ｈ＝［ｈ１ｈ２ｈ３］とすると、ｈ１及びｈ２と前記縦横比ｒ及び前記ワールド座標ｍｉとの関係は、
【数２１】
2017130929.tif 000023
となる、付記３に記載の方法。
（付記５）
前記撮像装置の内部パラメータ行列Ａは、
【数２２】
2017130929.tif 000024
となり、
ここで、ｆは撮像装置の焦点距離であり、ｗ及びｈは解像度であり、ａ及びｂはセンサのサイズである、付記４に記載の方法。
（付記６）
前記撮像装置の外部パラメータ行列の特性は、
前記撮像装置の外部パラメータ行列をＲ＝［ｒ１ｒ２ｒ３ｔ］で表すと、ｒ１Ｔ・ｒ２＝０となり、且つ｜ｒ１｜＝｜ｒ２｜となる、付記５に記載の方法。
（付記７）
前記撮像装置の内部パラメータ行列Ａ及び前記撮像装置の外部パラメータ行列の特性に基づいて得られたｈ１及びｈ２と前記内部パラメータ行列Ａとの関係は、
【数２３】
2017130929.tif 000025
となる、付記６に記載の方法。
（付記８）
ｈ１及びｈ２と前記縦横比ｒ及び前記ワールド座標ｍｉとの関係、並びにｈ１及びｈ２と前記内部パラメータ行列Ａとの関係に基づいて、前記縦横比ｒを決定する、付記７に記載の方法。
（付記９）
前記４つの頂点のワールド座標及び前記縦横比に基づいて決定された前記射影変換行列Ｈは、
【数２４】
2017130929.tif 000026
となる、付記８に記載の方法。
（付記１０）
撮像装置により取得された文書画像の補正装置であって、
前記文書画像の４つの頂点のワールド座標を決定する頂点座標決定手段と、
前記４つの頂点のワールド座標と前記４つの頂点の射影空間における射影座標との対応関係、前記撮像装置の内部パラメータ行列、及び前記撮像装置の外部パラメータ行列の特性に基づいて、前記文書画像の元の縦横比を計算する縦横比計算手段と、
前記４つの頂点のワールド座標及び前記縦横比に基づいて射影変換行列を決定する射影変換行列決定手段と、
決定された前記射影変換行列及び前記文書画像に基づいて補正後の文書画像を取得する補正手段と、を含む、装置。
（付記１１）
前記頂点座標決定手段は、
前記文書画像の文書のエッジを検出するエッジ検出サブユニットと、
検出された前記エッジのグレースケール画像を二値化する二値化サブユニットと、
二値化された前記エッジのグレースケール画像に基づいて前記４つの頂点のワールド座標を決定する座標決定サブユニットと、を含む、付記１０に記載の方法。
（付記１２）
前記射影変換行列Ｈは下記の式を満たし、
【数２５】
2017130929.tif 000027
ここで、Ｈは３×３の行列であり、ｍｉ及びｘｉは３×１のベクトルであり、ｍｉは前記４つの頂点のワールド座標であり、ｘｉは前記４つの頂点の射影空間における射影座標であり、ｓｉはｍｉに依存する実数係数である、付記１０に記載の方法。
（付記１３）
前記射影変換行列Ｈ＝［ｈ１ｈ２ｈ３］とすると、ｈ１及びｈ２と前記縦横比ｒ及び前記ワールド座標ｍｉとの関係は、
【数２６】
2017130929.tif 000028
となる、付記１２に記載の方法。
（付記１４）
前記撮像装置の内部パラメータ行列Ａは、
【数２７】
2017130929.tif 000029
となり、
ここで、ｆは撮像装置の焦点距離であり、ｗ及びｈは解像度であり、ａ及びｂはセンサのサイズである、付記１３に記載の方法。
（付記１５）
前記撮像装置の外部パラメータ行列の特性は、
前記撮像装置の外部パラメータ行列をＲ＝［ｒ１ｒ２ｒ３ｔ］で表すと、ｒ１Ｔ・ｒ２＝０となり、且つ｜ｒ１｜＝｜ｒ２｜となる、付記１４に記載の方法。
（付記１６）
前記撮像装置の内部パラメータ行列Ａ及び前記撮像装置の外部パラメータ行列の特性に基づいて得られたｈ１及びｈ２と前記内部パラメータ行列Ａとの関係は、
【数２８】
2017130929.tif 000030
となる、付記１５に記載の方法。
（付記１７）
ｈ１及びｈ２と前記縦横比ｒ及び前記ワールド座標ｍｉとの関係、並びにｈ１及びｈ２と前記内部パラメータ行列Ａとの関係に基づいて、前記縦横比ｒを決定する、付記１６に記載の方法。
（付記１８）
前記４つの頂点のワールド座標及び前記縦横比に基づいて決定された前記射影変換行列Ｈは、
【数２９】
2017130929.tif 000031
となる、付記１７に記載の方法。
【図１Ａ】
2017130929.tif 000037
【図１Ｂ】
2017130929.tif 000038
【図２】
2017130929.tif 000039
【図３】
2017130929.tif 000040
【図４Ａ】
2017130929.tif 000041
【図４Ｂ】
2017130929.tif 000042
【図５】
2017130929.tif 000043
【図６】
2017130929.tif 000044
【図７】
2017130929.tif 000045