(57)【要約】【課題】折れ曲がった帳票や反った帳票など空間的に曲がった帳票を読み取ったときに生ずる画像の歪みを正確に補正し、文字認識に適用できる良好な画像を得ることのできる画像補正装置を提供する。【解決手段】コーナー点情報生成部１０２でコーナー点情報を生成し、エッジ点情報生成部１０３でエッジ点情報を生成し、罫線情報生成部で１０４罫線情報を生成する。格子点情報生成部１０５では、コーナー点情報とエッジ点情報と罫線情報を用いて格子点情報を生成する。イメージ補正部１０６では、格子点情報を用いて部分的に変換行列を算出し、その変換行列を用いて補正することにより歪みのない補正画像を生成する。【選択図】      図１
2004228759.tif 000002
【特許請求の範囲】
【請求項１】
卓上に置かれて折れ曲がったり反ったりしている空間的な曲がりを有する帳票を該帳票から離れた位置に該帳票に対向するように設置された非接触型スキャナで読み取った画像に含まれる歪みを補正する画像補正装置であって、
処理対象の帳票を帳票イメージとして入力するための帳票イメージ入力部と、
入力された帳票イメージを保持する画像保存メモリと、
前記帳票の寸法をあらかじめ保持した帳票情報保存メモリと、
前記帳票上の正確な罫線（理想罫線）座標をあらかじめ保持した理想罫線保存メモリと、
前記画像保存メモリ内の帳票イメージから帳票の４隅の点であるコーナー点（実コーナー点）座標を検出するとともに、前記画像保存メモリ内の前記帳票の寸法からもコーナー点（理想コーナー点）座標を算出するコーナー点情報生成部と、
前記帳票イメージから前記実コーナー点座標を手掛りとして複数のエッジ点（実エッジ点）座標を検出するとともに、該実エッジ点に対応するエッジ点（理想エッジ点）座標を前記理想コーナー点座標から算出しエッジ点情報を生成するエッジ点情報生成部と、
前記帳票イメージから罫線（実罫線）座標を検出するとともに、該罫線を前記理想罫線保存メモリに保持された罫線（理想罫線）座標と対応付ける罫線情報生成部と、
前記実コーナー点と前記実エッジ点と前記実罫線とを用いて算出される格子点（実格子点）座標と前記理想コーナー点と前記理想エッジ点と前記理想罫線とを用いて算出される格子点（理想格子点）座標が対となった格子点情報を生成する格子点情報生成部と、
前記格子点情報を用いて変換行列を生成し、画像に含まれる歪みを補正するイメージ補正部とを備えている画像補正装置。
【請求項２】
卓上に置かれて折れ曲がったり反ったりしている空間的な曲がりを有する帳票を該帳票から離れた位置に該帳票に対向するように設置された非接触型スキャナで読み取った画像に含まれる歪みを補正する画像補正装置であって、
処理対象の帳票を帳票イメージとして入力するための帳票イメージ入力部と、
入力された帳票イメージを保持する画像保存メモリと、
前記帳票の寸法をあらかじめ保持した帳票情報保存メモリと、
前記帳票上の正確な罫線（理想罫線）座標をあらかじめ保持した理想罫線保存メモリと、
前記画像保存メモリ内の帳票イメージから帳票の４隅の点であるコーナー点（実コーナー点）座標を検出するとともに、前記画像保存メモリ内の前記帳票の寸法からもコーナー点（理想コーナー点）座標を算出するコーナー点情報生成部と、
前記帳票イメージから前記実コーナー点座標を手掛りとして複数のエッジ点（実エッジ点）座標を検出するとともに、該実エッジ点に対応するエッジ点（理想エッジ点）座標を前記理想コーナー点座標から算出しエッジ点情報を生成するエッジ点情報生成部と、
前記帳票イメージから罫線（実罫線）座標を検出するとともに、該罫線を前記理想罫線保存メモリに保持された罫線（理想罫線）座標と対応付ける罫線情報生成部と、
前記実コーナー点と前記実エッジ点と前記実罫線とを用いて算出される格子点（実格子点）座標と前記理想コーナー点と前記理想エッジ点と前記理想罫線とを用いて算出される格子点（理想格子点）座標が対となった格子点情報を生成する格子点情報生成部と、
前記エッジ点情報を用いて歪みの状態を判定する歪みパターン判定部と、
前記格子点情報と前記歪みの状態の判定の結果とを用いて変換行列を生成し、画像に含まれる歪みを補正するイメージ補正部とを備えている画像補正装置。
【請求項３】
前記歪みパターン判定部は、前記画像保存メモリに格納されている帳票イメージと前記エッジ点情報生成部によって生成されたエッジ点情報とを用いて曲率を算出し、歪みパターン情報を生成し、該歪みパターン情報は、「帳票歪み無し」と、「帳票浮きによる歪み有り」と、「帳票折れによる歪み有り」との３つのパターンを表すフラグと曲率が最大となるエッジ点情報とから構成され、前記歪みパターン情報は、前記イメージ補正部に出力され、
該イメージ補正部は、前記歪みパターン判定部の出力を受けて、歪み補正を行うか否かを決定する、請求項２に記載の画像補正装置。
【請求項４】
前記イメージ補正部は、前記格子点情報を複数の領域に分割し、
前記歪みパターン情報のフラグが「帳票折れによる歪み有り」の場合、前記歪みパターン情報に登録されているエッジ点情報に対応する格子点情報が、領域と領域との境界となる格子点情報（境界格子点情報）になるように変更し、該変更方法は、境界格子点情報にしたい格子点情報と今ある境界格子点情報の位置をそれぞれ比較し、最も近い今ある境界格子点情報を算出することにより変更する、請求項３に記載の画像補正装置。
【請求項５】
卓上に置かれて折れ曲がったり反ったりしている空間的な曲がりを有する帳票を該帳票から離れた位置に該帳票に対向するように設置された非接触型スキャナで読み取った画像に含まれる歪みを補正する画像補正方法であって、
帳票イメージ入力部により、処理対象の帳票を帳票イメージとして入力し、
入力された帳票イメージを画像保存メモリに保持し、
前記帳票の寸法を帳票情報保存メモリにあらかじめ保持し、
前記帳票上の正確な罫線（理想罫線）座標を理想罫線保存メモリにあらかじめ保持し、
コーナー点情報生成部により、前記画像保存メモリ内の帳票イメージから帳票の４隅の点であるコーナー点（実コーナー点）座標を検出するとともに、前記画像保存メモリ内の前記帳票の寸法からもコーナー点（理想コーナー点）座標を算出し、
エッジ点情報生成部により、前記帳票イメージから前記実コーナー点座標を手掛りとして複数のエッジ点（実エッジ点）座標を検出するとともに、該実エッジ点に対応するエッジ点（理想エッジ点）座標を前記理想コーナー点座標から算出しエッジ点情報を生成し、
罫線情報生成部により、前記帳票イメージから罫線（実罫線）座標を検出するとともに、該罫線を前記理想罫線保存メモリに保持された罫線（理想罫線）座標と対応付け、
格子点情報生成部により、前記実コーナー点と前記実エッジ点と前記実罫線とを用いて算出される格子点（実格子点）座標と前記理想コーナー点と前記理想エッジ点と前記理想罫線とを用いて算出される格子点（理想格子点）座標が対となった格子点情報を生成し、
イメージ補正部により、前記格子点情報を用いて変換行列を生成し、画像に含まれる歪みを補正する、画像補正方法。
【請求項６】
卓上に置かれて折れ曲がったり反ったりしている空間的な曲がりを有する帳票を該帳票から離れた位置に該帳票に対向するように設置された非接触型スキャナで読み取った画像に含まれる歪みを補正する画像補正方法であって、
帳票イメージ入力部により、処理対象の帳票を帳票イメージとして入力し、
入力された帳票イメージを画像保存メモリに保持し、
前記帳票の寸法を帳票情報保存メモリにあらかじめ保持し、
前記帳票上の正確な罫線（理想罫線）座標を理想罫線保存メモリにあらかじめ保持し、
コーナー点情報生成部により、前記画像保存メモリ内の帳票イメージから帳票の４隅の点であるコーナー点（実コーナー点）座標を検出するとともに、前記画像保存メモリ内の前記帳票の寸法からもコーナー点（理想コーナー点）座標を算出し、
エッジ点情報生成部により、前記帳票イメージから前記実コーナー点座標を手掛りとして複数のエッジ点（実エッジ点）座標を検出するとともに、該実エッジ点に対応するエッジ点（理想エッジ点）座標を前記理想コーナー点座標から算出しエッジ点情報を生成し、
罫線情報生成部により、前記帳票イメージから罫線（実罫線）座標を検出するとともに、該罫線を前記理想罫線保存メモリに保持された罫線（理想罫線）座標と対応付け、
格子点情報生成部により、前記実コーナー点と前記実エッジ点と前記実罫線とを用いて算出される格子点（実格子点）座標と前記理想コーナー点と前記理想エッジ点と前記理想罫線とを用いて算出される格子点（理想格子点）座標が対となった格子点情報を生成し、
歪みパターン判定部により、前記エッジ点情報を用いて歪みの状態を判定し、
イメージ補正部により、前記格子点情報と前記歪みの状態の判定の結果とを用いて変換行列を生成し、画像に含まれる歪みを補正する、画像補正方法。
【請求項７】
前記歪みパターン判定部は、前記画像保存メモリに格納されている帳票イメージと前記エッジ点情報生成部によって生成されたエッジ点情報とを用いて曲率を算出し、歪みパターン情報を生成し、該歪みパターン情報は、「帳票歪み無し」と、「帳票浮きによる歪み有り」と、「帳票折れによる歪み有り」との３つのパターンを表すフラグと曲率が最大となるエッジ点情報とから構成され、前記歪みパターン情報は、前記イメージ補正部に出力され、
該イメージ補正部は、前記歪みパターン判定部の出力を受けて、歪み補正を行うか否かを決定する、請求項６に記載の画像補正方法。
【請求項８】
前記イメージ補正部は、前記格子点情報を複数の領域に分割し、
前記歪みパターン情報のフラグが「帳票折れによる歪み有り」の場合、前記歪みパターン情報に登録されているエッジ点情報に対応する格子点情報が、領域と領域との境界となる格子点情報（境界格子点情報）になるように変更し、該変更方法は、境界格子点情報にしたい格子点情報と今ある境界格子点情報の位置をそれぞれ比較し、最も近い今ある境界格子点情報を算出することにより変更する、請求項７に記載の画像補正方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、紙面に罫線や文字が記入された帳票の画像データを読み取る画像補正装置及び画像補正方法に関し、特に、折れ曲がった帳票や反った帳票を読み取ったときに生じる歪みを含む画像を補正する画像補正装置及び画像補正方法に関する。
【０００２】
【従来の技術】
近年、卓上に置かれた帳票を該帳票から離れた位置に該帳票に対向するように設置された非接触型スキャナにより画像データを撮影し、文字認識やデータとして保存することが多く行われるようになったが、帳票自体が変形（折れ曲り、反りなど）している場合には、帳票をできるだけ平面から浮かないようにするために読み取り時に手で押さえたりすると、撮影領域に指が入る可能性があるため、帳票を平面から浮かないようにすることができず、読み取られた画像に複雑な歪みが生じるという問題がある。
【０００３】
上記のように折れ曲がった帳票や反った帳票など空間的に曲がった文書を非接触型スキャナによって読み取ったときに生ずる画像の歪みを補正する従来の技術としては、例えば、読み取ったブック原稿（製本された原稿）のエッジ位置と原稿面の高さを検出してブック原稿の形状を推定し、推定した形状面に基づいて画像を変倍して歪みを補正する技術が開示されている（例えば、特許文献１参照。）。また、焦点位置などの読み取り条件を変更して２枚の画像を読み取ることで、それら画像間から作成される分散画像より変位を解析し、その情報を使ってカメラから帳票までの距離を算出することにより、帳票の３次元形状を復元し、さらにこれを２次元平面に展開して歪みを補正する技術が開示されている（例えば、特許文献２参照。）。
【０００４】
また、ある領域に含まれる全ての格子点情報を用いて格子点情報の実格子点が理想格子点に変換されるような変換行列Ｈのパラメータｍ１〜ｍ８の算出方法が開示されている（例えば、非特許文献１参照。）。
【０００５】
【特許文献１】
特開平６−１６４８５２号公報
【特許文献２】
特開２０００−１１５５１０号公報
【非特許文献１】
長尾著、「画像認識論」、近代科学社、ｐ．２４−２７
【０００６】
【発明が解決しようとする課題】
しかし、上記特許文献１の技術内容によれば、原稿面の高さを測定する手段を必要とするため（３次元形状を復元）、専用の装置によらないと画像の歪み補正が行えないといった問題がある。また、処理対象が製本された原稿であり、それに特化した技術であるため、１枚〜数枚重ねの文書への適用は難しい。
【０００７】
また上記特許文献２の技術内容によれば、焦点位置などの読み取り条件を変更して２枚以上の画像を読み取り、それら画像間から作成される分散画像より画像間の偏差の大きい部分を特徴点（この特徴点を帳票折れや帳票浮きなどによる端部）として抽出し、この特徴点における距離を算出することにより３次元形状の復元を行っている。しかし、帳票折れや帳票浮きなどによる変形が被写界深度内に収まるような場合は複数の画像の焦点が合ってしまい、画像間の偏差が小さくなるなり、帳票折れや帳票浮きなどによる端部が特徴点として抽出されない場合があるため正確な３次元形状の復元が行えず、画像の歪み補正ができないという問題がある。
【０００８】
本発明の目的は、１枚〜数枚重ねの帳票などの文書に対して３次元形状を復元すること無しに、撮影された帳票イメージの形状から空間的に曲がった文書を撮影したときに生ずる画像の歪みを正確に補正し、文字認識において切り出し位置のずれが生じない良好な画像を得ることのできる画像補正装置及び画像補正方法を提供することにある。
【０００９】
【課題を解決するための手段】
本発明の画像補正装置は、卓上に置かれて折れ曲がったり反ったりしている空間的な曲がりを有する帳票を帳票から離れた位置に帳票に対向するように設置された非接触型スキャナで読み取った画像に含まれる歪みを補正する画像補正装置であって、処理対象の帳票を帳票イメージとして入力するための帳票イメージ入力部と、入力された帳票イメージを保持する画像保存メモリと、帳票の寸法をあらかじめ保持した帳票情報保存メモリと、帳票上の正確な罫線（理想罫線）座標をあらかじめ保持した理想罫線保存メモリと、画像保存メモリ内の帳票イメージから帳票の４隅の点であるコーナー点（実コーナー点）座標を検出するとともに、画像保存メモリ内の帳票の寸法からもコーナー点（理想コーナー点）座標を算出するコーナー点情報生成部と、帳票イメージから実コーナー点座標を手掛りとして複数のエッジ点（実エッジ点）座標を検出するとともに、実エッジ点に対応するエッジ点（理想エッジ点）座標を理想コーナー点座標から算出しエッジ点情報を生成するエッジ点情報生成部と、帳票イメージから罫線（実罫線）座標を検出するとともに、罫線を理想罫線保存メモリに保持された罫線（理想罫線）座標と対応付ける罫線情報生成部と、実コーナー点と実エッジ点と実罫線とを用いて算出される格子点（実格子点）座標と理想コーナー点と理想エッジ点と理想罫線とを用いて算出される格子点（理想格子点）座標が対となった格子点情報を生成する格子点情報生成部と、格子点情報を用いて変換行列を生成し、画像に含まれる歪みを補正するイメージ補正部とを備えている。
【００１０】
従って、本発明の画像補正装置により歪みのない補正画像を生成する。これにより、文字読み取り装置において、撮影された画像が帳票浮きや帳票折れのために歪みが生じ読み取りが難しかった場合でも読み取りが可能になる。
【００１１】
本発明の画像補正装置は、卓上に置かれて折れ曲がったり反ったりしている空間的な曲がりを有する帳票を帳票から離れた位置に帳票に対向するように設置された非接触型スキャナで読み取った画像に含まれる歪みを補正する画像補正装置であって、処理対象の帳票を帳票イメージとして入力するための帳票イメージ入力部と、入力された帳票イメージを保持する画像保存メモリと、帳票の寸法をあらかじめ保持した帳票情報保存メモリと、帳票上の正確な罫線（理想罫線）座標をあらかじめ保持した理想罫線保存メモリと、画像保存メモリ内の帳票イメージから帳票の４隅の点であるコーナー点（実コーナー点）座標を検出するとともに、画像保存メモリ内の前記帳票の寸法からもコーナー点（理想コーナー点）座標を算出するコーナー点情報生成部と、帳票イメージから実コーナー点座標を手掛りとして複数のエッジ点（実エッジ点）座標を検出するとともに、実エッジ点に対応するエッジ点（理想エッジ点）座標を理想コーナー点座標から算出しエッジ点情報を生成するエッジ点情報生成部と、帳票イメージから罫線（実罫線）座標を検出するとともに、罫線を理想罫線保存メモリに保持された罫線（理想罫線）座標と対応付ける罫線情報生成部と、実コーナー点と実エッジ点と実罫線とを用いて算出される格子点（実格子点）座標と理想コーナー点と理想エッジ点と理想罫線とを用いて算出される格子点（理想格子点）座標が対となった格子点情報を生成する格子点情報生成部と、エッジ点情報を用いて歪みの状態を判定する歪みパターン判定部と、格子点情報と歪みの状態の判定の結果とを用いて変換行列を生成し、画像に含まれる歪みを補正するイメージ補正部とを備えている。
【００１２】
また、歪みパターン判定部は、画像保存メモリに格納されている帳票イメージとエッジ点情報生成部によって生成されたエッジ点情報とを用いて曲率を算出し、歪みパターン情報を生成し、歪みパターン情報は、「帳票歪み無し」と、「帳票浮きによる歪み有り」と、「帳票折れによる歪み有り」との３つのパターンを表すフラグと曲率が最大となるエッジ点情報とから構成され、歪みパターン情報は、イメージ補正部に出力され、イメージ補正部は、歪みパターン判定部の出力を受けて、歪み補正を行うか否かを決定してもよい。
【００１３】
従って、歪みの有無を検証し、補正する必要があるときのみ画像補正を行うため、運用時の処理時間の軽減が可能となる。
【００１４】
また、イメージ補正部は、格子点情報を複数の領域に分割し、歪みパターン情報のフラグが「帳票折れによる歪み有り」の場合、歪みパターン情報に登録されているエッジ点情報に対応する格子点情報が、領域と領域との境界となる格子点情報（境界格子点情報）になるように変更し、変更方法は、境界格子点情報にしたい格子点情報と今ある境界格子点情報の位置をそれぞれ比較し、最も近い今ある境界格子点情報を算出することにより変更してもよい。
【００１５】
従って、格子点情報の領域分割において境界位置を変更することにより、歪みが大きい場合でも精度良い補正が可能となる。
【００１６】
本発明の画像補正方法は、卓上に置かれて折れ曲がったり反ったりしている空間的な曲がりを有する帳票を帳票から離れた位置に帳票に対向するように設置された非接触型スキャナで読み取った画像に含まれる歪みを補正する画像補正方法であって、帳票イメージ入力部により、処理対象の帳票を帳票イメージとして入力し、入力された帳票イメージを画像保存メモリに保持し、帳票の寸法を帳票情報保存メモリにあらかじめ保持し、帳票上の正確な罫線（理想罫線）座標を理想罫線保存メモリにあらかじめ保持し、コーナー点情報生成部により、画像保存メモリ内の帳票イメージから帳票の４隅の点であるコーナー点（実コーナー点）座標を検出するとともに、画像保存メモリ内の帳票の寸法からもコーナー点（理想コーナー点）座標を算出し、エッジ点情報生成部により、帳票イメージから実コーナー点座標を手掛りとして複数のエッジ点（実エッジ点）座標を検出するとともに、実エッジ点に対応するエッジ点（理想エッジ点）座標を理想コーナー点座標から算出しエッジ点情報を生成し、罫線情報生成部により、帳票イメージから罫線（実罫線）座標を検出するとともに、罫線を理想罫線保存メモリに保持された罫線（理想罫線）座標と対応付け、格子点情報生成部により、実コーナー点と実エッジ点と実罫線とを用いて算出される格子点（実格子点）座標と理想コーナー点と理想エッジ点と理想罫線とを用いて算出される格子点（理想格子点）座標が対となった格子点情報を生成し、イメージ補正部により、格子点情報を用いて変換行列を生成し、画像に含まれる歪みを補正する。
【００１７】
本発明の画像補正方法は、卓上に置かれて折れ曲がったり反ったりしている空間的な曲がりを有する帳票を帳票から離れた位置に帳票に対向するように設置された非接触型スキャナで読み取った画像に含まれる歪みを補正する画像補正方法であって、帳票イメージ入力部により、処理対象の帳票を帳票イメージとして入力し、入力された帳票イメージを画像保存メモリに保持し、帳票の寸法を帳票情報保存メモリにあらかじめ保持し、帳票上の正確な罫線（理想罫線）座標を理想罫線保存メモリにあらかじめ保持し、コーナー点情報生成部により、画像保存メモリ内の帳票イメージから帳票の４隅の点であるコーナー点（実コーナー点）座標を検出するとともに、画像保存メモリ内の帳票の寸法からもコーナー点（理想コーナー点）座標を算出し、エッジ点情報生成部により、帳票イメージから実コーナー点座標を手掛りとして複数のエッジ点（実エッジ点）座標を検出するとともに、実エッジ点に対応するエッジ点（理想エッジ点）座標を理想コーナー点座標から算出しエッジ点情報を生成し、罫線情報生成部により、帳票イメージから罫線（実罫線）座標を検出するとともに、罫線を理想罫線保存メモリに保持された罫線（理想罫線）座標と対応付け、格子点情報生成部により、実コーナー点と実エッジ点と実罫線とを用いて算出される格子点（実格子点）座標と理想コーナー点と理想エッジ点と理想罫線とを用いて算出される格子点（理想格子点）座標が対となった格子点情報を生成し、歪みパターン判定部により、エッジ点情報を用いて歪みの状態を判定し、イメージ補正部により、格子点情報と歪みの状態の判定の結果とを用いて変換行列を生成し、画像に含まれる歪みを補正する。
【００１８】
【発明の実施の形態】
（発明の第１の実施の形態）
次に、本発明の第１の実施の形態について図１を参照して説明する。本実施の形態は、非接触型スキャナ等の帳票イメージ入力部１０１と、帳票イメージ入力部１０１で得られた帳票を受け取って格納する画像保存メモリ１０７と、あらかじめ帳票登録時に測定していた帳票の幅と高さ（帳票情報）が格納されている帳票情報保存メモリ１０８と、あらかじめ帳票登録時に測定していた罫線（理想罫線）の始点・終点座標が格納されている理想罫線保存メモリ１０９と、画像保存メモリ１０７に格納されている帳票イメージ内から帳票の左上、右上、左下、右下の４つのコーナー点（実コーナー点）座標を抽出し、それぞれの実コーナー点に対応する本来存在すべき理想的なコーナー点（理想コーナー点）座標を帳票情報保存メモリ１０８に格納されている帳票情報から算出し、実コーナー点と理想コーナー点が対となったコーナー点情報を生成するコーナー点情報生成部１０２と、画像保存メモリ１０７に格納されている帳票イメージ内から前記実コーナー点を手掛りとして複数のエッジ点（実エッジ点）座標を抽出し、それぞれの実エッジ点に対応する本来存在すべき理想的なエッジ点（理想エッジ点）座標を前記理想コーナー点から算出し、実エッジ点と理想エッジ点が対となったエッジ点情報を生成するエッジ点情報生成部１０３と、理想罫線保存メモリ１０９に格納されている理想罫線の始点・終点座標を用いて画像保存メモリ１０７に格納されている帳票イメージ内から罫線（実罫線）の始点・終点を抽出し、実罫線と理想罫線が対となった罫線情報を生成する罫線情報生成部１０４と、前記実コーナー点と前記実エッジ点と前記実罫線を用いて格子点（実格子点）座標を算出し、ぞれぞれの実格子点に対応する本来存在すべき理想的な格子点（理想格子点）座標を前記理想コーナー点と前記理想エッジ点と前記理想罫線を用いて算出し、実格子点と理想格子点が対となった格子点情報を生成する格子点情報生成部１０５と、前記格子点情報を用いて部分的に変換行列を算出し、その変換行列を用いて画像の歪みを補正するイメージ補正部１０６から構成される。
【００１９】
以下に図１における各構成要素の機能について図１と図１１を用いて詳細に説明する。
【００２０】
帳票イメージ入力部１０１は、処理対象となる帳票の画像を該帳票から離れた位置に該帳票に対向するように設置された非接触型スキャナを用いて帳票イメージが入力される。入力された帳票イメージは画像保存メモリ１０７に出力（格納）される。なお、撮影条件として帳票は黒色の台の上に置き、帳票イメージの背景が紙面中の背景輝度より低くなるようにする。
【００２１】
画像保存メモリ１０７は、帳票イメージ入力部１０１で入力された帳票イメージが格納される。帳票イメージの形式は、２５６階調の多値イメージであり、紙面の白地部分（輝度が高い部分）の値は大きいとものする。帳票イメージはコーナー点情報生成部１０２，エッジ点情報生成部１０３，罫線抽出部１０４，イメージ補正部１０６へ各々入力される。
【００２２】
帳票情報保存メモリ１０８には、あらかじめ帳票登録時に測定しておいた帳票の正確な幅と高さ情報（帳票情報）が格納されている。この帳票情報はコーナー点情報生成部１０２において帳票イメージから抽出される歪みを含んだコーナー点（実コーナー点）座標に対応する本来存在すべき歪みの無い場合の理想的なコーナー点（理想コーナー点）座標を生成するために用いられる。
【００２３】
理想罫線保存メモリ１０９には、あらかじめ帳票登録時に測定しておいた歪みの無い状態の帳票の正確な罫線（理想罫線）の始点座標と終点座標が図１１の１１０３に示す書式で格納されている。この理想罫線は罫線情報生成部１０３で用いられる。
【００２４】
コーナー点情報生成部１０２は、画像保存メモリ１０７に格納されている帳票イメージと帳票情報保存メモリ１０８に格納されている帳票情報を用いて前記コーナー点情報を生成する。なお、コーナー点情報は図１１の１１０１の書式で生成される。生成されたコーナー点情報はエッジ点情報生成部１０３と格子点情報生成部１０５に出力される。
【００２５】
エッジ点情報生成部１０３は、画像保存メモリ１０７に格納されている帳票イメージとコーナー点情報生成部１０２で生成されたコーナー点情報を用いて前記エッジ点情報を生成する。なお、エッジ点情報は図１１の１１０２の書式で生成される。生成されたエッジ点情報は格子点情報生成部１０５に出力される。
【００２６】
罫線情報生成部１０４は、画像保存メモリ１０７に格納されている帳票イメージと理想罫線保存メモリ１０９に格納されている理想罫線を用いて前記罫線情報を生成する。なお、罫線情報は図１１の１１０３の書式で生成される。生成された罫線情報は格子点情報生成部１０５に出力される。
【００２７】
格子点情報生成部１０５は、コーナー点情報生成部１０２で生成されたコーナー点情報とエッジ点情報生成部１０３で生成されたエッジ点情報と罫線情報生成部１０４で生成された罫線情報を用いて前記格子点情報を生成する。なお、格子点情報は図１１の１１０４の書式で生成される。生成された格子点情報はイメージ補正部１０６に出力される。
【００２８】
イメージ補正部１０６は、画像保存メモリ１０７に格納されている帳票イメージと格子点情報生成部１０５で生成された格子点情報を用いて歪みを補正した画像を出力する。
【００２９】
次に、本発明の画像補正装置の動作について図１〜図１２、図１５〜図１７を用いて順を追って説明する。
【００３０】
まず、帳票イメージ入力部１０１では、帳票イメージを入力する（ステップ２０１）。次に、コーナー点情報生成部１０２では、画像保存メモリ１０７に格納されている帳票イメージ内から抽出される左上、右上、左下、右下の実コーナー点（図３の３０１ａ〜３０４ａ）と帳票情報保存メモリ１０８に格納されている帳票情報から算出されるそれぞれの実コーナー点に対応した理想コーナー点（図３の３０１ｂ〜３０４ｂ）が対となった４つのコーナー点情報を生成する。以下にコーナー点情報生成部１０２の動作を図４と図５のフローチャートを用いて詳細に説明する。
【００３１】
まず、帳票イメージからの左上実コーナー点の抽出を行う（ステップ５０１）。抽出方法は、図４の（ａ）に示す番号の順に探索を行う。探索の結果、最初に濃度Ｔ（約５０）より大きい濃度値を持つ画素が図４の番号３９〜４３のようにＬ（約５）以上連続して検出された場合、番号３９の座標を（ｘ３９，ｙ３９）とし、番号４３の座標を（ｘ４３，ｙ４３）とすると、左上実コーナー点は（ｘ４３、ｙ３９）となる（図４の番号１３）。なお、読み取る帳票の傾きは０°〜１０°程度とする。以降同様の抽出方法を適用し、図４の（ｂ）に示す番号の順に探索して右上実コーナー点を抽出（ステップ５０２），図４の（ｃ）に示す番号の順に探索して左下実コーナー点を抽出（ステップ５０３）、図４の（ｄ）に示す番号の順に探索して右下実コーナー点を抽出（ステップ５０４）する。
【００３２】
次に、抽出された実コーナー点のそれぞれに対応する理想コーナー点を帳票情報保存メモリ１０８の帳票情報を用いて生成する。帳票情報の帳票幅をＷ，帳票高さをＨとすると理想コーナー点（ｘ，ｙ）は、左上理想コーナー点（０，０）、右上理想コーナー点（Ｗ，０）、左下理想コーナー点（０，Ｈ）、右下理想コーナー点（Ｗ，Ｈ）となる。そして、これらに平行移動成分として３０１ａの座標を付加する。すなわち、左上実コーナ点と左上理想コーナー点を同じ値にする。
【００３３】
次に、エッジ点情報生成部１０３では、画像保存メモリ１０７に格納されている帳票イメージ内から前記実コーナー点を用いて抽出される実エッジ点（図３の３０５ａ〜３１６ａ）と前記理想コーナー点座標から算出されるそれぞれの実エッジ点に対応した理想エッジ点（図３の３０５ｂ〜３１６ｂ）が対となったエッジ点情報を生成する。以下にエッジ点情報生成部の動作を図３、図７と図６のフローチャートを用いて詳細に説明する。
【００３４】
まず、帳票イメージから左上実コーナー点と右上実コーナー点を用いて、上端実エッジ点（図３の３０５ａ〜３０７ａ）の抽出を行う（ステップ６０１）。抽出方法は、まず図７のように左上実コーナー点と右上実コーナー点を結ぶ線分をＮ（Ａ４帳票の場合で約１２８）個に等分割する。図７では説明の簡略化のためＮ＝４として等分割している。そして、図７の点７０１〜７０３のそれぞれの位置を中心として画像上を下から上にスキャンして濃度Ｔ（約５０）以下の画素を探索（Ｙ方向に探索）することにより上端実エッジ点を検出する。次に、帳票イメージから左下実コーナー点と右下実コーナー点を用いて、下端実エッジ点（図３の３１４ａ〜３１６ａ）の抽出を行う（ステップ６０２）。抽出方法は上端実エッジ点の抽出（ステップ６０１）と同様である。次に、帳票イメージから左上実コーナー点と左下実コーナー点を用いて、左端実エッジ点（図３の３０８ａ〜３１０ａ）の抽出を行う（ステップ６０３）。抽出方法は、まず図８のように左上実コーナー点と左下実コーナー点を結ぶ線分をＭ（Ａ４帳票の場合で約１２８）個に等分割する。図８では説明の簡略化のためＭ＝４として等分割している。そして、図８の点８０１〜８０３のそれぞれの位置を中心として画像上を左から右にスキャンして濃度Ｔ（約５０）以下の画素を探索（Ｘ方向に探索）することにより左端実エッジ点を検出する。次に、帳票イメージから右上実コーナー点と右下実コーナー点を用いて、右端実エッジ点（図３の３１１ａ〜３１３ａ）の抽出を行う（ステップ６０４）。抽出方法は左端実エッジ抽出（ステップ６０３）と同様である。
【００３５】
次に、抽出されたそれぞれの実エッジ点に対応する理想エッジ点を理想コーナー点を用いて生成する（ステップ６０５）。上端理想エッジ点（図３の３０５ｂ〜３０７ｂ）は左上理想コーナー点と右上理想コーナー点を結ぶ線分をＮ個に等分割する点を求めることにより生成される。下端理想エッジ点（図３の３１４ｂ〜３１６ｂ）は左下理想コーナー点と右下理想コーナー点を結ぶ線分をＮ個に等分割する点を求めることにより生成される。左端理想エッジ点（図３の３０８ｂ〜３１０ｂ）は左上理想コーナー点と左下理想コーナー点を結ぶ線分をＭ個に等分割する点を求めることにより生成される。右端理想エッジ点（図３の３１１ｂ〜３１３ｂ）は右上理想コーナー点と右下理想コーナー点を結ぶ線分をＭ個に等分割する点を求めることにより生成される。これによりエッジ点情報生成部１０３では“２（Ｍ−１）＋２（Ｎ−１）”個のエッジ点情報が生成される。
【００３６】
次に、罫線情報生成部１０４では、前記帳票イメージ内から抽出される実罫線（図３のＨ１ａ〜Ｈ３ａ，Ｖ１ａ〜Ｖ３ａ）とあらかじめ理想罫線保存メモリ１０９に格納されているそれぞれの実罫線に対応した理想罫線（図３のＨ１ｂ〜Ｈ３ｂ，Ｖ１ｂ〜Ｖ３ｂ）が対となった罫線情報を生成する。以下に罫線情報生成部の動作を図１５と図９のフローチャートを用いて詳細に説明する。まず、理想罫線保存メモリ１０９に格納されている理想罫線位置を用いて前記帳票イメージ内から実罫線が存在する矩形領域（罫線存在領域）を推定する（ステップ９０１）。次に罫線存在領域に対して二値化処理を行い、図１５（ａ）の１５０１に示す二値画像を生成する（ステップ９０２）。次に図１５（ａ）のように生成された二値画像から実罫線の方向に対して垂直方向に探索し、図１５（ｂ）の黒ランの長さ（黒ラン長）に関するヒストグラムを生成する。そして、図１５（ｂ）の１５０２に示すこのヒストグラムの最頻値を標準罫線幅とする（ステップ９０３）。  次に、罫線存在領域内の黒画素部分のうち標準罫線幅に等しい黒ラン長の黒画素部分をＨｏｕｇｈ空間に投票する（ステップ９０４）。ここで使用するＨｏｕｇｈ空間は直線の式
【００３７】
【数１】
2004228759.tif 000003
【００３８】
から変換される（ρ，θ）平面である。次にＨｏｕｇｈ空間内の最大投票数の位置（ρｍａｘ，θｍａｘ）を求める（ステップ９０５）。そして、（ρｍａｘ，θｍａｘ）と数式１を用いて実罫線の始点と終点を求める（ステップ９０６）。横方向の実罫線（横実罫線）の場合は、求める実罫線の始点を（ｓｘ１，ｓｙ１）、終点を（ｅｘ１，ｅｙ１）とし、対応する横方向の理想罫線（横理想罫線）の始点を（ｓｘ２，ｓｙ２）、終点を（ｅｘ２，ｅｙ２）とすると、数式２より求める。すなわち、実罫線の始点・終点のＸ座標は理想罫線の始点・終点のＸ座標を同じにし、実罫線の始点・終点のＹ座標のみ求める。
【００３９】
【数２】
2004228759.tif 000004
【００４０】
縦方向の実罫線（縦実罫線）の場合は、求める実罫線の始点を（ｓｘ３，ｓｙ３）、終点を（ｅｘ３，ｅｙ３）とし、対応する縦方向の理想罫線（縦理想罫線）の始点を（ｓｘ４，ｓｙ４）、終点を（ｅｘ４，ｅｙ４）とすると、数式３より求める。すなわち、実罫線の始点・終点のＹ座標は理想罫線の始点・終点のＹ座標を同じにし、実罫線の始点・終点のＸ座標のみ求める。
【００４１】
【数３】
2004228759.tif 000005
【００４２】
これにより、実罫線の始点と終点が抽出され、実罫線と理想罫線が対となった罫線情報が生成される。
【００４３】
次に、格子点生成部１０５では、前記実コーナー点と前記実エッジ点と前記実罫線を用いて算出される実格子点（図３の３１７ａ〜３４１ａ）と前記理想コーナー点と前記理想エッジ点と前記理想罫線を用いて算出されるそれぞれの実格子点に対応した理想格子点（図３の３１７ｂ〜３４１ｂ）が対となった格子点情報を生成する。以下に格子点情報生成部の動作を図１０のフローチャートを用いて詳細に説明する。まず、コーナー点情報とエッジ点情報を用いて格子点情報を生成する（ステップ１００１）。
【００４４】
格子点情報は図１１の１１０４に示す（Ｍ＋１）×（Ｎ＋１）の行列の形式で生成される。ここで、格子点情報の表記を簡略化するためにｓ行ｔ列の格子点情報を［ｓ，ｔ］と表記する。ここで、０＜ｓ＜Ｍであり、０＜ｔ＜Ｎである。［ｓ，ｔ］には実格子点の座標（Ｘ，Ｙ）と理想格子点の座標（Ｘ，Ｙ）が格納される。
【００４５】
最初にコーナー点情報とエッジ点情報が行列に格納される。格納方法は、実コーナー点の場合は実コーナー点の座標（Ｘ，Ｙ）が実格子点の座標（Ｘ，Ｙ）に、理想コーナー点の座標（Ｘ，Ｙ）が理想格子点の座標（Ｘ，Ｙ）にそれぞれ格納される。すなわち、左上コーナー点情報が［０，０］に、右上コーナー点情報が［０，Ｎ］に、左下コーナー点情報が［Ｍ，０］に、右下コーナー点情報が［Ｍ，Ｎ］に格納される。また、エッジ点情報の場合は実エッジ点の座標（Ｘ，Ｙ）が実格子点の座標（Ｘ，Ｙ）に、理想エッジ点の座標（Ｘ，Ｙ）が理想格子点の座標（Ｘ，Ｙ）にそれぞれ格納される。すなわち、上端エッジ情報が［０，１］〜［０，Ｎ−１］に、下端エッジ情報が［Ｍ，１］〜［Ｍ，Ｎ−１］に、左端エッジ情報が［１，０］〜［Ｍ−１，０］に、右端エッジ情報が［１，Ｎ］〜［Ｍ−１，Ｎ］に図１１の１１０２の番号順に格納される。
【００４６】
次に上記以外の格子点情報を生成する。  ［ｓ，０］の実格子点のＸ，Ｙ座標をそれぞれｘ１，ｙ１とし、  ［ｓ，Ｎ］の実格子点のＸ，Ｙ座標をそれぞれｘ２，ｙ２とすると、  ［ｓ，ｔ］の実格子点のＸ座標は数式４より求める。
【００４７】
【数４】
2004228759.tif 000006
【００４８】
また、  ［０，ｔ］の実格子点のＸ，Ｙ座標をそれぞれｘ３，ｙ３とし、  ［Ｍ，ｔ］の実格子点のＸ，Ｙ座標をそれぞれｘ４，ｙ４とすると、  ［ｓ，ｔ］の実格子点のＹ座標は数式５より求める。
【００４９】
【数５】
2004228759.tif 000007
【００５０】
理想格子点についても実格子点と同様の方法で求めることができる。これにより、全ての格子点情報が生成される。
【００５１】
次に、以上のように生成された格子点情報を前記罫線情報を用いて精度を向上させる方法について説明する。最初に罫線情報の実罫線を用いて格子点情報の実格子点の位置を調整する。まず、横実罫線による実格子点の位置を調整する。ｉ番目の横実罫線ｈｉの中点を求め、その中点と最も近い  ［Ｓｉ，Ｔｉ］を実格子点を用いて求める（ステップ１００２）。次に、  ［Ｓｉ−１，Ｔｉ］の実格子点と  ［Ｓｉ＋１，Ｔｉ］の実格子点を結ぶ線分と横実罫線ｈｉとの交点ｄを求める（ステップ１００３）。次に  ［Ｓｉ，Ｔｉ］の実格子点と交点ｄとのＹ方向の変化量を求める（ステップ１００４）。そして、求めたＹ方向の変化量をＳｉ行全ての実格子点のＹ座標に加算する（ステップ１００５）。全ての横実罫線が終了していなければステップ１００２からｉ＋１番目の横実罫線に対して同様の処理を行う（ステップ１００６）。全ての横実罫線が終了すると、ステップ１００２で求めたＳｉ行とＳｉ＋１行の間に位置する実格子点のＹ座標について位置を調整する（ステップ１００７）。調整方法は、［Ｓｉ，ｔ］（０≦ｔ≦Ｎ）の実格子点のＸ，Ｙ座標をそれぞれｘ１，ｙ１とし、  ［Ｓｉ＋１，ｔ］の実格子点のＸ，Ｙ座標をそれぞれｘ２，ｙ２すると、  ［ｓ，ｔ］の実格子点のＹ座標は数式６より求める。
【００５２】
【数６】
2004228759.tif 000008
【００５３】
横実罫線による実格子点の位置調整が終了すると、次に縦実罫線による実格子点の位置を調整する。ｊ番目の縦実罫線ｖｊの中点を求め、その中点と最も近い［Ｓｊ，Ｔｊ］を実格子点を用いて求める（ステップ１００８）。次に、  ［Ｓｊ，Ｔｊ−１］の実格子点と［Ｓｊ，Ｔｊ＋１］の実格子点を結ぶ線分と縦実罫線ｖｉとの交点ｄを求める（ステップ１００９）。次に［Ｓｊ，Ｔｊ］の実格子点と交点ｄとのＸ方向の変化量を求める（ステップ１０１０）。そして、求めたＸ方向の変化量をＴｊ列全ての実格子点のＸ座標に加算する（ステップ１０１１）。全ての縦実罫線が終了していなければステップ１００８からｊ＋１番目の縦実罫線に対して同様の処理を行う（ステップ１０１２）。全ての縦実罫線が終了すると、ステップ１００８で求めたＴｊ列とＴｊ＋１列の間に位置する実格子点のＸ座標について位置を調整する（ステップ１０１３）。調整方法は、［ｓ，Ｔｉ  ］（０≦ｓ≦Ｍ）の実格子点のＸ，Ｙ座標をそれぞれｘ３，ｙ３とし、  ［ｓ，Ｔｉ＋１］の実格子点のＸ，Ｙ座標をそれぞれｘ４，ｙ４すると、  ［ｓ，ｔ］の実格子点のＸ座標は数式７より求める。
【００５４】
【数７】
2004228759.tif 000009
【００５５】
これにより、罫線情報の実罫線を用いて格子点情報の実格子点の位置が調整される。次に罫線情報の理想罫線を用いて格子点情報の理想格子点の位置を調整する。調整方法は、上記の実格子点の調整方法と同様の処理を行うことにより調整することができる。
【００５６】
以上の処理を実行して格子点情報の実格子点と理想格子点の位置を調整することにより、精度を向上させた格子点情報が生成される。
【００５７】
次に、イメージ補正部１０６では、格子点情報生成部１０５で生成された格子点情報を用いて画像の補正を行う（ステップ２０６）。以下にイメージ補正部の動作を図１２のフローチャートを用いて詳細に説明する。
【００５８】
まず、格子点情報を複数の領域に分割する（ステップ１２０１）。分割方法は図１６に示すように行列の形式で生成された格子点情報について行をＫ１（約１６）個に分割し、列をＫ２（約１６）個に分割する。すなわち、Ｋ１×Ｋ２個の領域に分割する。なお、領域内に含まれる格子点情報の個数は後述する変換行列を算出するために８個以上の格子点情報が含まれる必要があるが、各領域の格子点情報の個数が一定である必要はない。また、領域と領域との境界となる格子点情報（境界格子点情報）は、両方の領域に含まれるようにする。次に、ある領域に含まれる全ての格子点情報を用いて格子点情報の実格子点が理想格子点に変換されるような数式８に示す変換行列Ｈを算出する（ステップ１２０２）。
【００５９】
【数８】
2004228759.tif 000010
【００６０】
以下に８個のパラメータｍ１〜ｍ８の算出方法を示す。実格子点の座標を（ｘｉ，ｙｉ）、理想格子点の座標を（ｕｉ，ｖｉ）とし、その関係を数式９の線形の式で与えられるとする。ここで数式９のＲは格子点情報の個数であり、（Ｍ＋１）×（Ｎ＋１）個である。
【００６１】
【数９】
2004228759.tif 000011
【００６２】
全ての格子点情報を数式９に代入すると数式１０となる。
【００６３】
【数１０】
2004228759.tif 000012
【００６４】
数式１０のそれぞれについて最小２乗法を用いて求めることによりｍ１〜ｍ８を算出できる（非特許文献１より）。そして、得られた変換行列を用いて数式１１により部分画像の補正（変換）を行う（ステップ１２０３）。ここで、（ｘ’，ｙ’）は歪みを含んだ（補正前）座標系の点であり、（ｘ，ｙ）が歪みの無い（補正後）座標系の点である。
【００６５】
【数１１】
2004228759.tif 000013
【００６６】
なお、境界格子点情報の理想格子点の座標に位置する画素については関係するそれぞれの領域の変換行列から求まる濃度値の平均とする。全ての領域が完了していない場合、ステップ１２０２から他の領域に対して同様の処理を行い、全ての領域が完了した場合は処理を終了する。これにより、帳票イメージの歪みが補正される。
【００６７】
（発明の第２の実施の形態）
図１３は本発明の第２の実施の形態における画像補正装置の構成を示すブロック図である。図１４はこの画像補正装置における動作を示すフローチャートである。上記第１の実施の形態との装置構成における相違点は、図１３において、歪みパターン判定部１１０が追加されている点である。また、イメージ補正部１０６が歪みパターン判定部１１０の出力を受けて、歪み補正を行うか否かを決定する点である。
【００６８】
歪みパターン判定部１１０は画像保存メモリ１０７に格納されている帳票イメージとエッジ点情報生成部１０３によって生成されたエッジ点情報を用いて曲率を算出し、歪みパターン情報を生成する。歪みパターン情報は、「帳票歪み無し」，「帳票浮きによる歪み有り」，「帳票折れによる歪み有り」，の３つのパターンを表すフラグと曲率が最大となるエッジ点情報から構成されている。なお、歪みパターン情報は、イメージ補正部１０６に出力される。
【００６９】
次に、本発明の第２の実施の形態の動作を説明する。動作はステップ２０１〜２０５まで第１の実施の形態と同じである。以下では動作の相違点についてのみ説明する。図１４において、ステップ２０７とステップ２０８が新たに追加されたステップであり、ステップ２０６ａが上記ステップ２０６に歪みパターン情報を利用するように変更したステップである。
【００７０】
ステップ２０７では、まずエッジ点情報生成部１０３によって生成されたエッジ点情報を用いて曲率を算出する。曲率Ｃの算出方法は、曲率を求めようとする実エッジ点の左右（上下）にそれぞれｋ（約５）個のエッジ点を取り、数式１２より求める。
【００７１】
【数１２】
2004228759.tif 000014
【００７２】
これを全ての実エッジ点に対して行い、それらの曲率の最大値を算出する。なお、左右（上下）にｋ個のエッジ点が取れないエッジ点についてはＣ＝０とする。曲率の最大値がＴ１（約２．０）より小さければ歪みパターンフラグを１（帳票歪み無し）にする。曲率の最大値がＴ１より大きくＴ２（約１０．０）より小さければ歪みパターンフラグを２（帳票浮きによる歪み）とする。曲率の最大値がＴ２より大きければフラグ３（帳票折れによる歪み）とする。また、曲率の最大値となったエッジ点情報も歪みパターン情報に登録する。以上の処理は歪みパターン判定部１１０で実行される。
【００７３】
ステップ２０８では、歪みパターン情報のフラグが１であれば、補正処理を行わずに帳票イメージをそのまま出力する。歪みパターン情報のフラグが１以外の場合はステップ２０４以降の処理を実行する。
【００７４】
ステップ２０６ａでは、上記ステップ２０６に歪みパターン情報を利用するように図１２のステップ１２０１に示す格子点情報の領域分割の方法を変更する。まず、ステップ１２０１の通りに格子点情報を分割する。次に、歪みパターン情報のフラグが３（帳票折れによる歪み有り）の場合、歪みパターン情報に登録されているエッジ点情報に対応する格子点情報が図１６の１６０１であるとき、図１７に示すように１６０１の格子点情報が領域と領域との境界となる格子点情報（境界格子点情報）になるように変更する。変更方法は、境界格子点情報にしたい格子点情報と今ある境界格子点情報の位置をそれぞれ比較し、最も近い今ある境界格子点情報を算出することにより変更する。以上の処理はイメージ補正部１０６で行われる。
【００７５】
以上に述べたように、第１の実施の形態では歪みが無く、補正する必要がなくても画像補正を行っていたが、第２の実施の形態では歪みの有無を検証し、補正する必要があるときのみ画像補正を行うため、運用時の処理時間の軽減が可能となる。また、格子点情報の領域分割において境界位置を変更することにより、歪みが大きい場合でも第１の実施の形態に比べて精度良い補正が可能となる。
【００７６】
【発明の効果】
以上説明したように、本発明には以下の効果がある。
【００７７】
第１の効果は、文字読み取り装置において、撮影された画像が帳票浮きや帳票折れのために歪みが生じている場合でも読み取り可能な画像を提供できる点である。その理由は、図１に示すように非線形の歪みに対して精度良く補正を行う手段を有しているためである。
【００７８】
第２の効果は、文字読み取り装置において、撮影された画像がずれたり、傾いたり、伸縮などの歪みが生じる場合でも読み取り可能な画像を提供できる点である。その理由は、図１に示すように線形の歪みに対しても精度良く補正を行う手段を有しているためである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態による画像補正装置のブロック図である。
【図２】本発明の第１の実施の形態の処理手順を示すフローチャートである。
【図３】コーナー点情報とエッジ点情報を例示する図である。
【図４】コーナー点を抽出するときの探索方法を示す図である。
【図５】コーナー点情報生成部の処理手順を示すフローチャートである。
【図６】エッジ点情報生成部の処理手順を示すフローチャートである。
【図７】エッジ点情報生成部で水平方向のエッジ点の抽出方法を例示した図である。
【図８】エッジ点情報生成部で垂直方向のエッジ点の抽出方法を例示した図である。
【図９】罫線情報生成部の処理手順を示すフローチャートである。
【図１０】格子点情報生成部の処理手順を示すフローチャートである。
【図１１】コーナー点情報、エッジ点情報、罫線情報、格子点情報の書式を例示した図である。
【図１２】イメージ補正部の処理手順を示すフローチャートである。
【図１３】本発明の第２の実施の形態による画像補正装置のブロック図である。
【図１４】本発明の第２の実施の形態の処理手順を示すフローチャートである。
【図１５】罫線情報生成部での実罫線の抽出方法を例示した図である。
【図１６】イメージ補正部での領域分割の方法を例示した図である。
【図１７】イメージ補正部での歪みパターン情報を用いた領域分割の方法を例示した図である。
【符号の説明】
１０１    帳票イメージ入力部
１０２    コーナー点情報生成部
１０３    エッジ点情報生成部
１０４    罫線情報生成部
１０５    格子点情報生成部
１０６    イメージ補正部
１０７    画像保存メモリ
１０８    帳票情報保存メモリ
１０９    理想罫線保存メモリ
１１０    歪みパターン判定部
３０１ａ〜３０４ａ    実コーナー点
３０１ｂ〜３０４ｂ    理想コーナー点
３０５ａ〜３１６ａ    実エッジ点
３０５ｂ〜３１６ｂ    理想エッジ点
３１７ａ〜３４０ａ    実格子点
３１７ｂ〜３４０ｂ    理想格子点
７０１〜７０３、８０１〜８０３    点
１１０１    コーナー点情報の書式
１１０２    エッジ点情報の書式
１１０３    罫線情報の書式
１１０４    格子点情報の書式
１５０１    二値画像
１５０２    ヒストグラムの最頻値
１６０１    格子点情報（境界格子点情報）
Ｈ１ａ〜Ｈ３ａ    実罫線
Ｈ１ｂ〜Ｈ３ｂ    理想罫線
Ｖ１ａ〜Ｖ３ａ    実罫線
Ｖ１ｂ〜Ｖ３ｂ    理想罫線
【図１】
2004228759.tif 000015
【図２】
2004228759.tif 000016
【図３】
2004228759.tif 000017
【図４】
2004228759.tif 000018
【図５】
2004228759.tif 000019
【図６】
2004228759.tif 000020
【図７】
2004228759.tif 000021
【図８】
2004228759.tif 000022
【図９】
2004228759.tif 000023
【図１０】
2004228759.tif 000024
【図１１】
2004228759.tif 000025
【図１２】
2004228759.tif 000026
【図１３】
2004228759.tif 000027
【図１４】
2004228759.tif 000028
【図１５】
2004228759.tif 000029
【図１６】
2004228759.tif 000030
【図１７】
2004228759.tif 000031