(57)【要約】【課題】  特定の規則性に従って文字が表示されていることを要することなく、複数行の文字が表された文字記載部分を含む被処理画像に含まれる歪みを除去又は減少する画像処理装置を提供する。【解決手段】文字記載部分を含む被処理画像に含まれる歪みを除去又は減少する画像処理装置であって、被処理画像における文字記載部分に記載された文字が互いに連続することで形成される行を検出する行検出手段と、行検出手段により検出された行のうち少なくとも２以上の行の方向を検出する行方向検出手段と、行検出手段により検出された行のうち少なくとも２以上の行それぞれに属する文字の寸法を検出する行文字寸法検出手段と、行方向検出手段により検出された少なくとも２以上の行の方向が互いに平行又は平行に近づくよう処理する行方向処理と、行文字寸法検出手段により検出された少なくとも２以上の行それぞれに属する文字の寸法が同一又は近づくよう処理する行文字寸法処理と、を被処理画像に行う歪除去手段と、を備えてなる、画像処理装置である。【選択図】図２
2020030576.tif 000002
【特許請求の範囲】
【請求項１】
複数行の文字が表された文字記載部分を含む撮影画像又は撮影画像を加工した加工画像である被処理画像に含まれる歪みを除去又は減少する画像処理装置であって、
被処理画像における文字記載部分に記載された文字が互いに連続することで形成される行を検出する行検出手段と、
行検出手段により検出された行のうち少なくとも２以上の行の方向を検出する行方向検出手段と、
行検出手段により検出された行のうち少なくとも２以上の行それぞれに属する文字の寸法を検出する行文字寸法検出手段と、
行方向検出手段により検出された少なくとも２以上の行の方向が互いに平行又は平行に近づくよう処理する行方向処理と、行文字寸法検出手段により検出された少なくとも２以上の行それぞれに属する文字の寸法が同一又は近づくよう処理する行文字寸法処理と、を被処理画像に行う歪除去手段と、
を備えてなる、画像処理装置。
【請求項２】
行方向処理は、行方向検出手段により検出された少なくとも２以上の行の方向と、該２以上の行の被処理画像における位置と、に基づき処理されるものである、請求項１に記載の画像処理装置。
【請求項３】
行方向処理は、被処理画像において行方向が変化する行方向歪が被処理画像全体に生じていると仮定し、撮影方向に対して垂直な仮想上の平面である仮想垂直面に存する仮想の長方形の４の角部が被処理画像において位置するであろう４の位置を、行方向検出手段により検出された前記少なくとも２以上の行の方向と、該２以上の行の被処理画像における位置と、により予測し、該予測した４の位置が、行方向歪が存在しない場合の被処理画像における該長方形の４の角部の位置それぞれに一致させるようにする処理である、請求項２に記載の画像処理装置。
【請求項４】
被処理画像が長方形を略なすものであり、
行方向歪が存在しない場合の被処理画像における前記長方形の４の角部の位置が、被処理画像が形成する長方形の４の角部の位置である、請求項３に記載の画像処理装置。
【請求項５】
被処理画像において位置するであろう前記４の位置の予測は、行方向検出手段により検出された前記少なくとも２以上の行の方向と、該２以上の行の被処理画像における位置と、に基づき、仮想垂直面に存する仮想の長方形の４辺のうち行間方向に沿った互いに平行な一対の辺の、行方向歪が存在する場合の被処理画像における両端の位置を求めることで、前記仮想の長方形の４の角部が、行方向歪が存在する被処理画像において位置する４の位置を予測するものである、請求項３又は４に記載の画像処理装置。
【請求項６】
行文字寸法処理は、行文字寸法検出手段により検出された少なくとも２以上の行それぞれに属する文字の寸法と、該２以上の行の被処理画像における位置と、に基づき処理されるものである、請求項１乃至５のいずれか１に記載の画像処理装置。
【請求項７】
行文字寸法処理は、被処理画像において文字が属する行によって文字の寸法が変化する行間歪が被処理画像全体に生じていると仮定し、撮影方向に対して垂直な仮想上の平面である仮想垂直面に存する仮想の長方形の４の角部が被処理画像において位置するであろう４の位置を、行文字寸法検出手段により検出された前記少なくとも２以上の行それぞれに属する文字の寸法と、該２以上の行の被処理画像における位置と、により予測し、該予測した４の位置が、行間歪が存在しない場合の被処理画像における該長方形の４の角部の位置それぞれに一致するように処理するものである、請求項６に記載の画像処理装置。
【請求項８】
被処理画像が長方形を略なすものであり、
行間歪が存在しない場合の被処理画像における前記長方形の４の角部の位置が、被処理画像が形成する長方形の４の角部の位置である、請求項７に記載の画像処理装置。
【請求項９】
被処理画像において位置するであろう前記４の位置の予測は、行文字寸法検出手段により検出された少なくとも２以上の行それぞれに属する文字の寸法と、該２以上の行の被処理画像における位置と、に基づき、仮想垂直面に存する仮想の長方形の４辺のうち行方向に沿った互いに平行な一対の辺の、行間歪が存在する場合の被処理画像における両端の位置を求めることで、前記仮想の長方形の４の角部が、行間歪が存在する被処理画像において位置する４の位置を予測するものである、請求項７又は８に記載の画像処理装置。
【請求項１０】
行検出手段が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸及び第２軸に平行な２辺を有し、文字に外接する長方形であるボックスを生成すると共に、ボックス同士の相対的位置関係によって行を検出するものである、請求項１乃至９のいずれか１に記載の画像処理装置。
【請求項１１】
行方向検出手段が、行検出手段により検出された行に属する文字に係る複数のボックスを通過する直線である行方向直線を求めるものである、請求項１０に記載の画像処理装置。
【請求項１２】
行方向直線の傾きと、被処理画像における行方向直線の位置と、に基づき、行の方向を検出するものである、請求項１１に記載の画像処理装置。
【請求項１３】
被処理画像が長方形を略なすものであり、第１軸が、該長方形の一対の辺に平行なものである、請求項１０乃至１２のいずれか１に記載の画像処理装置。
【請求項１４】
行検出手段が、ボックスの寸法の基準値の所定倍率の値以上又は該値を超える寸法を有するボックスを削除し、該削除された残りのボックス同士の相対的位置関係によって行を検出するものである、請求項１０乃至１３のいずれか１に記載の画像処理装置。
【請求項１５】
前記基準値は、ボックスの寸法に基づき定められるものである、請求項１４に記載の画像処理装置。
【請求項１６】
行検出手段が、ボックスのうち互いに重なる領域を有するボックス同士を、該互いに重なる領域を有するボックスの全部を含む１のボックスに置換し、該置換されたボックスを含むボックス同士の相対的位置関係によって行を検出するものである、請求項１０乃至１５のいずれか１に記載の画像処理装置。
【請求項１７】
行検出手段が、ボックスの寸法の基準値の所定倍率の値以上又は該値を超える寸法を有するボックスを削除し、該削除された残りのボックスのうち、互いに重なる領域を有するボックス同士を、該互いに重なる領域を有するボックスの全部を含む１のボックスに置換し、該置換されたボックスを含むボックス同士の相対的位置関係によって行を検出するものである、請求項１０乃至１３のいずれか１に記載の画像処理装置。
【請求項１８】
行検出手段が、ボックスの寸法の基準値と比較し所定範囲内の寸法を有するボックスを起点とし、該起点からボックスが並んでいることにより行を検出するものである、請求項１０乃至１７のいずれか１に記載の画像処理装置。
【請求項１９】
行検出手段が、第１軸及び第２軸のうち行方向に沿った一方軸に平行な方向のボックスの寸法に基づき基準値を算出するものであり、
該一方軸方向に離れた隣接するボックス同士の間の隙間の該一方軸方向への寸法が、基準値の所定倍率の値以内又は該値未満であると共に、第１軸及び第２軸のうち他方軸への該隣接するボックスのうち一方の正投影と、他方軸への該隣接するボックスのうち他方の正投影と、が互いに重なる場合には、該隣接するボックス同士は行を形成するものと判断する、請求項１８に記載の画像処理装置。
【請求項２０】
行検出手段が、ボックスの前記他方軸に平行な方向の寸法に基づき基準値を算出するものであり、
第１軸及び第２軸による平面座標系を設定した場合、前記他方軸に関し、隣接するボックス同士のうち一方の最大値から他方の最小値を減じた値と、前記他方軸に関し、該隣接するボックス同士のうち他方の最大値から一方の最小値を減じた値と、のいずれもが該基準値の所定倍率の値以内又は該値未満である該隣接するボックス同士は行を形成するものと判断する、請求項１９に記載の画像処理装置。
【請求項２１】
歪除去手段により行方向処理と行文字寸法処理とが行われた処理済み被処理画像において、行検出手段により検出された行に含まれる文字が、該行に属する文字の所定の標準的な位置まで移動するための変位量である行所属変位量を求める行所属変位量算出手段と、
処理済み被処理画像において、行検出手段により検出された行に含まれる文字が、該行に属する文字の所定の標準的な方向まで回動するための回動角である回動角量を求める回動角量算出手段と、
を備えてなる、請求項１乃至２０のいずれか１に記載の画像処理装置。
【請求項２２】
行所属変位量算出手段が、前記標準的な位置と、処理済み被処理画像における行に含まれる文字の位置と、の間の距離である行所属距離をそれぞれの文字に関して求め、行に含まれる文字の行所属変位量を、該行に含まれる他の文字の行所属距離を用いて決するものである、請求項２１に記載の画像処理装置。
【請求項２３】
前記他の文字が、行所属変位量が算出される文字に直近のものである、請求項２２に記載の画像処理装置。
【請求項２４】
前記標準的な位置が、行方向に延び行の位置を示す行基準線に存する点である、請求項２１乃至２３のいずれか１に記載の画像処理装置。
【請求項２５】
行検出手段が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸及び第２軸に平行な２辺を有し、文字に外接する長方形であるボックスを生成するものであり、
文字の前記位置が、該文字に係るボックスの代表位置である、請求項２２乃至２４のいずれか１に記載の画像処理装置。
【請求項２６】
第１軸及び第２軸のうち、行方向に対して垂直な方向となす角度が小さい軸である近行垂直軸の方向への少なくとも２以上のボックスの寸法の代表値である近行垂直方向代表寸法と比較し、行所属変位量が算出される文字に係るボックスの近行垂直軸の方向へのボックスの寸法が所定範囲内である場合には、該算出される文字の行所属距離を用いて該算出される文字の行所属変位量を決するものである、請求項２５に記載の画像処理装置。
【請求項２７】
前記他の文字が、近行垂直方向代表寸法と比較し所定範囲内の近行垂直軸の方向への寸法を有するものである、請求項２６に記載の画像処理装置。
【請求項２８】
前記他の文字が、行所属変位量が算出される文字に直近のものであり、
行所属変位量が算出される文字と、前記他の文字と、が、近行垂直方向代表寸法と比較し所定範囲内の近行垂直軸の方向の寸法を有するものであり、
行所属変位量が算出される文字の行所属変位量が、行所属変位量が算出される文字の行所属距離と、前記他の文字の行所属距離と、の平均値とされるものである、請求項２５乃至２７のいずれか１に記載の画像処理装置。
【請求項２９】
前記他の文字が、行所属変位量が算出される文字が属する行の一方側に存するものと、行所属変位量が算出される文字が属する行の他方側に存するものと、を含み、
該一方側に存するものと、該他方側に存するものと、が、近行垂直方向代表寸法に比較し所定範囲内の近行垂直軸の方向への寸法を有するボックスに係る文字であり、
行所属変位量が算出される文字の行所属変位量が、該一方側に存するものの行所属距離と、該他方側に存するものの行所属距離と、に基づき決するものである、請求項２５に記載の画像処理装置。
【請求項３０】
回動角量算出手段が、行に含まれる文字の回動角量を、該行に含まれる別の文字の行所属距離又は行所属変位量を用いて決するものである、請求項２１乃至２９のいずれか１に記載の画像処理装置。
【請求項３１】
前記別の文字が、回動角量が算出される文字に直近のものである、請求項３０に記載の画像処理装置。
【請求項３２】
行検出手段が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸及び第２軸に平行な２辺を有し、文字に外接する長方形であるボックスを生成するものであり、
前記別の文字が、回動角量が算出される文字が属する行の一方側に存するものと、回動角量が算出される文字が属する行の他方側に存するものと、を含み、
該一方側に存するものと、該他方側に存するものと、が、第１軸及び第２軸のうち、行方向に対して垂直な方向となす角度が小さい軸である近行垂直軸の方向へのボックスの寸法の代表値である近行垂直方向代表寸法に対し所定範囲内の近行垂直軸の方向への寸法を有するボックスに係る文字であり、
回動角量が算出される文字の回動角量が、該一方側に存するものの行所属距離又は行所属変位量と、該他方側に存するものの行所属距離又は行所属変位量と、に基づき決されるものである、請求項３０又は３１に記載の画像処理装置。
【請求項３３】
行検出手段が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸及び第２軸に平行な２辺を有し、文字に外接する長方形であるボックスを生成するものであり、
前記別の文字が、回動角量が算出される文字が属する行の一方側に存するものを含み、
該一方側に存するものが、第１軸及び第２軸のうち、行方向に対して垂直な方向となす角度が小さい軸である近行垂直軸の方向へのボックスの寸法の代表値である近行垂直方向代表寸法に対し所定範囲内の近行垂直軸の方向への寸法を有するボックスに係る文字であり、
回動角量が算出される文字の回動角量が、該一方側に存するものの行所属距離又は行所属変位量と、回動角量が算出される文字の行所属距離又は行所属変位量と、に基づき決されるものである、請求項３０又は３１に記載の画像処理装置。
【請求項３４】
回動角量算出手段により求められた回動角量だけ前記文字の画像を回動させる回動画像形成手段と、
前記文字の画像を、行所属変位量算出手段により算出された行所属変位量だけ変位した位置の処理済み被処理画像に書き込んだ画像を形成する局所歪補正画像形成手段と、を備える、請求項２１乃至３３のいずれか１に記載の画像処理装置。
【請求項３５】
局所歪補正画像形成手段が、回動画像形成手段により回動された前記文字の画像を、行所属変位量だけ変位した位置の処理済み被処理画像に書き込んだ画像を形成するものである、請求項３４に記載の画像処理装置。
【請求項３６】
回動画像形成手段により回動された画像から、互いに直交する第１軸及び第２軸に平行な２辺を有し、該回動された画像に含まれる文字に外接する長方形の領域に含まれる画像を抽出する部分抽出手段を備え、
局所歪補正画像形成手段が、部分抽出手段により抽出された画像を、行所属変位量算出手段により算出された行所属変位量だけ変位した位置の処理済み被処理画像に書き込んだ画像を形成するものである、請求項３５に記載の画像処理装置。
【請求項３７】
少なくとも１の文字を含む検索対象に含まれる１の文字の画像データである比較画像を用い、歪みが除去又は減少された処理済画像に該比較画像と対応する対応画像が存するか検索する類似部分画像検索を実行する類似部分画像検索手段と、
類似部分画像検索の結果に基づき対応画像が処理済画像に存すると判断される場合には、該画像処理装置の使用者に該判断を通知する通知手段と、を含んでなる、請求項１乃至３６のいずれか１に記載の画像処理装置。
【請求項３８】
検索対象が、順番に並んだ少なくとも２以上の文字を含んでなり、
類似部分画像検索手段が、該２以上の文字それぞれの比較画像を用いて処理済画像に対する類似部分画像検索を実行するものであり、
該２以上の文字それぞれに関する類似部分画像検索の結果に基づき、該２以上の文字が処理済画像に該順序に並んでいるか判断することで、検索対象が処理済画像に存するか否かを判断するものである、請求項３７に記載の画像処理装置。
【請求項３９】
処理済画像に対して比較画像が移動することで類似部分画像検索を実行し、
検索対象に含まれる文字のうち互いに隣接する一対の文字のうち一方の文字の存在を示す類似部分画像検索の結果における該一方の文字の比較画像の位置に基づき、処理済画像中において一方の文字が存在すると想定される一方文字存在想定領域の位置と、該一対の文字のうち他方の文字の存在を示す類似部分画像検索の結果における該他方の文字の比較画像の位置に基づき、処理済画像中において他方の文字が存在すると想定される他方文字存在想定領域の位置と、が所定範囲に存する場合には、該一対の文字が連続して並んでいると判断するものである、請求項３８に記載の画像処理装置。
【請求項４０】
行検出手段が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸及び第２軸に平行な２辺を有し、文字に外接する長方形であるボックスを生成し、
比較画像は、第１軸及び第２軸に平行な２辺を有する長方形をなし、
前記所定範囲は、ボックスの寸法の代表値に基づき決定されるものである、請求項３９に記載の画像処理装置。
【請求項４１】
前記所定範囲は、一方文字存在想定領域の第２軸への正投影と、他方文字存在想定領域の第２軸への正投影と、がボックスの第２軸に沿った寸法の代表値の所定倍率の値以上又は該値を超えるものである互いに重なる部分を有すると共に、一方文字存在想定領域と他方文字存在想定領域との間の第１軸に沿った距離が、ボックスの第１軸に沿った寸法の代表値の所定倍率の値以内又は該値未満である、請求項４０に記載の画像処理装置。
【請求項４２】
一方文字存在想定領域及び／又は他方文字存在想定領域がボックスの寸法の代表値に基づき決定されるものである、請求項４０又は４１に記載の画像処理装置。
【請求項４３】
検索対象が、所定順序に並んだ少なくとも３以上の文字を含んでなり、
前記一対の文字が連続して並んでいると判断する場合、一方文字存在想定領域と他方文字存在想定領域とを含む、第１軸及び第２軸に平行な２辺を有する長方形状の合体領域の位置に対して、該他方の文字に連なる検索対象に含まれる別の文字の存在を示す類似部分画像検索の結果における該別の文字の比較画像の位置に基づき、処理済画像中において該別の文字が存在すると想定される別文字存在想定領域の位置が所定範囲に存する場合には、前記一対の文字と該別の文字とが連続して並んでいると判断するものである、請求項３９乃至４２のいずれか１に記載の画像処理装置。
【請求項４４】
類似部分画像検索手段が、検索対象に含まれる文字それぞれについて、処理済画像に対して相対的に異なる少なくとも２以上の大きさの比較画像を用いた類似部分画像検索に際して対応画像の比較画像に対する類似の度合いを示す類似度を算出し、処理済画像における比較画像の位置それぞれにおいて、該相対的に異なる少なくとも２以上の大きさの比較画像それぞれを用いて行った類似部分画像検索の類似度を比較しその最大値を該位置の代表類似度として、該文字が処理済画像に存するか否かを判断するものである、請求項３７乃至４３のいずれか１に記載の画像処理装置。
【請求項４５】
検索対象に含まれる文字それぞれについて少なくとも２以上の大きさの比較画像それぞれを用いて処理済画像に対する類似部分画像検索を実行するものである、請求項４４に記載の画像処理装置。
【請求項４６】
行検出手段が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸及び第２軸に平行な２辺を有し、文字に外接する長方形であるボックスを生成し、
類似部分画像検索手段が、ボックスの寸法の代表値に基づき比較画像の寸法を決するものである、請求項３７乃至４５のいずれか１に記載の画像処理装置。
【請求項４７】
処理済画像に対して比較画像が移動することで類似部分画像検索を実行し、
類似部分画像検索手段が、類似部分画像検索に際して対応画像の比較画像に対する類似の度合いを示す類似度を算出し、検索対象に含まれる１の文字に関する類似部分画像検索の結果において該文字の比較画像がある位置に存する際に類似度が所定値以上である場合には、該ある位置に対し所定位置関係に存するエリアに含まれる位置の類似度を比較し、最大の類似度を有する位置である最大類似度位置を定め、該最大類似度位置とは異なる該エリアに含まれる位置に係る類似度を該所定値未満の値に変更する処理を行うものである、請求項３７乃至４６のいずれか１に記載の画像処理装置。
【請求項４８】
行検出手段が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸及び第２軸に平行な２辺を有し、文字に外接する長方形であるボックスを生成し、
前記エリアが、ボックスの第１軸に沿った寸法の代表値に基づき定められる第１軸に平行な第１辺と、ボックスの第２軸に沿った寸法の代表値に基づき定められる第２軸に平行な第２辺と、を有する長方形状にされるものである、請求項４７に記載の画像処理装置。
【請求項４９】
類似部分画像検索手段が、検索対象に含まれる文字それぞれについて、処理済画像に対して相対的に異なる少なくとも２以上の大きさの比較画像を用いた類似部分画像検索に際して対応画像の比較画像に対する類似の度合いを示す類似度を算出し、処理済画像における比較画像の位置それぞれにおいて、該相対的に異なる少なくとも２以上の大きさの比較画像それぞれを用いて行った類似部分画像検索の類似度を比較しその最大値を該位置の代表類似度として、該文字が処理済画像に存するか否かを判断するものであり、
処理済画像に対して相対的に異なる該少なくとも２以上の大きさのうち、最も大きい比較画像と同じ領域に前記エリアが定められるものである、請求項４７又は４８に記載の画像処理装置。
【請求項５０】
通知手段が、類似部分画像検索の結果に基づき比較画像と対応する対応画像が処理済画像に存すると判断される場合には、処理済画像、撮影画像又は加工画像において対応画像に対応する部分又はその近傍を他の部分と異ならせて表示するものである、請求項３７乃至４９のいずれか１に記載の画像処理装置。
【請求項５１】
類似部分画像検索手段が、類似部分画像検索に際して対応画像の比較画像に対する類似の度合いを示す類似度を算出し、
通知手段が、対応画像に対応する部分又はその近傍を他の部分と異ならせて表示する表示方法を、類似部分画像検索の結果の類似度の大きさにより異ならせるものである、請求項５０に記載の画像処理装置。
【請求項５２】
検索対象が、少なくとも２以上の文字を含んでなり、
検索対象に含まれる文字の平均類似度の大きさによって、前記表示方法を異ならせるものである、請求項５１に記載の画像処理装置。
【請求項５３】
通知手段が、撮影画像又は加工画像において対応画像に対応する部分又はその近傍を他の部分と異ならせて表示するものであり、
対応画像に対応する部分又はその近傍を他の部分と異ならせて表示する領域が決定された後、該決定された領域が撮影画像又は加工画像において対応する領域を求め、該対応する領域の撮影画像又は加工画像の部分を他の部分と異ならせて表示するものである、請求項５０乃至５２のいずれか１に記載の画像処理装置。
【請求項５４】
歪除去手段が行列変換により行方向処理及び行文字寸法処理を行うものであり、前記決定された領域を該行列変換に用いた行列の逆行列により変換することで、該決定された領域が撮影画像又は加工画像において対応する領域を求めるものである、請求項５３に記載の画像処理装置。
【請求項５５】
類似部分画像検索がテンプレートマッチングである、請求項３７乃至５４のいずれか１に記載の画像処理装置。
【請求項５６】
請求項１乃至５５のいずれか１に記載の画像処理装置をコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、より詳細には、平面又は曲面に複数行の文字が表された文字記載部分を含む被処理画像に含まれる歪みを除去又は減少する画像処理装置に関する。
【背景技術】
【０００２】
以前から、画像中の歪みを除去又は減少する装置が知られている（例えば、特許文献１参照）。
特許文献１は、『コントラストが低い画像や、斜めに撮影され幾何歪のある画像からも確実に車両番号を認識できる車両番号認識装置を提供する』（特許文献１の要約の課題）ために発明された『ナンバープレート画像から、大文字列と小文字列に挟まれる隙間領域を直線として抽出し、抽出した直線からナンバープレートの画像上での傾き角を算出し、算出された傾き角により、前記ナンバープレート画像の傾き補正を行った後、前記ナンバープレート画像に含まれる文字列領域の切り出しを行うことを特徴とする』（特許文献１の発明の詳細な説明中の段落番号０００７）ものである車両番号認識装置を開示しており、かかる装置によれば『小文字列と大文字列に挟まれる隙間領域の情報を用いるため、ナンバープレート端が画像内に含まれていない場合も、プレートの傾きおよび小文字列と大文字列の存在領域を特定することが可能である。また、２値化処理を行わないため、低コントラストのナンバープレート画像に対しても隙間領域を推定することができる。』（特許文献１の発明の詳細な説明中の段落番号００１７）ものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１５５１２６号公報（例えば、要約、発明の詳細な説明中の段落番号０００７〜００１７、第１図、第２図等）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示の車両番号認識装置においては、大文字列と小文字列に挟まれる隙間領域の情報を用いて、ナンバープレートの画像上での傾き角を算出し、算出された傾き角によりナンバープレート画像の傾き補正を行うものである。このため、該車両番号認識装置による画像補正は、大文字列と小文字列とがナンバープレートにおけるように特定の規則性に従って表示されていることを要し、複数行の文字が様々な態様で表された文字記載部分を含む被処理画像に含まれる歪みを除去又は減少できるものではなかった。
そこで、本発明では、ナンバープレートのように特定の規則性に従って文字が表示されていることを要することなく、複数行の文字が表された文字記載部分を含む被処理画像に含まれる歪みを除去又は減少する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決すべく、本出願人らが検討を行ったところ、面に文字を表す場合は、この文字が表された面が平面であっても、この平面に対して垂直方向から撮影しない場合には、画像に歪（以下「撮影方向歪」という。）を生じることを見いだした。撮影方向歪は、該面に互いに平行に配置された行が、撮影画像においては平行ではなくなる歪や、該面に同じ大きさで表された文字が、撮影画像においては異なる大きさで表される歪を生じる。
他方、この文字が表された面が曲面（例えば、文字が表された面全体が共通した規則に従った曲面形状を有している場合）であれば、その曲面形状に応じて撮影した画像に歪（以下「形状歪」という。）を生じることを見いだした。
これら撮影方向歪については、文字が表された面においては互いに平行に表されている行を画像において行互いが平行に近づくと共に、文字が表された面においては同じ大きさで表されている文字を画像において文字の大きさが近づくように画像を補正することで、撮影方向歪を除去又は減少させることができることを見いだし本発明を完成するに至った。
また、このように撮影方向歪を除去又は減少するための画像処理を、形状歪を有する画像に適用することで、形状歪を除去又は減少させることにより、曲面に表された文字を認識しやすくできることも見いだした。
【０００６】
本発明の画像処理装置（以下「本装置」という。）は、複数行の文字が表された文字記載部分を含む撮影画像又は撮影画像を加工した加工画像である被処理画像に含まれる歪みを除去又は減少する画像処理装置であって、被処理画像における文字記載部分に記載された文字が互いに連続することで形成される行を検出する行検出手段と、行検出手段により検出された行のうち少なくとも２以上の行の方向を検出する行方向検出手段と、行検出手段により検出された行のうち少なくとも２以上の行それぞれに属する文字の寸法を検出する行文字寸法検出手段と、行方向検出手段により検出された少なくとも２以上の行の方向が互いに平行又は平行に近づくよう処理する行方向処理と、行文字寸法検出手段により検出された少なくとも２以上の行それぞれに属する文字の寸法が同一又は近づくよう処理する行文字寸法処理と、を被処理画像に行う歪除去手段と、を備えてなる、画像処理装置である。
【０００７】
本装置は、被処理画像に含まれる歪みを除去又は減少する画像処理装置である。この被処理画像は、文字記載部分を含む撮影画像又は文字記載部分を含む撮影画像を加工した加工画像である。文字記載部分は、複数行の文字が表されている。なお、「行」は、横書きなら横の文字の並びであり、縦書きなら縦の文字の並びをいう。
本装置は、行検出手段と行方向検出手段と行文字寸法検出手段と歪除去手段とを備えてなる。
行検出手段は、被処理画像が含む文字記載部分に記載された文字が互いに連続することで形成される行を検出する。これらの文字は、平面又は曲面に複数の行にわたって表されており、それを撮影することで文字記載部分が形成される。
行方向検出手段は、行検出手段により検出された行のうち少なくとも２以上の行の方向を検出する。
行文字寸法検出手段は、行検出手段により検出された行のうち少なくとも２以上の行それぞれに属する文字の寸法を検出する。
歪除去手段は、行方向処理と行文字寸法処理とを被処理画像に行う。行方向処理は、行方向検出手段により検出された少なくとも２以上の行の方向が互いに平行又は平行に近づくよう処理する。そして、行文字寸法処理は、行文字寸法検出手段により検出された少なくとも２以上の行それぞれに属する文字の寸法が同一又は近づくよう処理する。歪除去手段が行う行方向処理及び行文字寸法処理は、被処理画像全体にわたって行われる。
このような本装置では、行方向処理は、行方向検出手段により検出された少なくとも２以上の行の方向が互いに平行又は平行に近づくよう処理すると共に、行文字寸法処理は、行文字寸法検出手段により検出された少なくとも２以上の行それぞれに属する文字の寸法が同一又は近づくよう処理する。このため、被処理画像において平行でなくなっている行が、文字が表された面において互いに平行に表されている状態に近づくと共に、被処理画像において各行の異なる大きさの文字が、文字が表された面において同じ大きさで表されている状態に近づくように被処理画像が処理されるので、撮影方向歪を除去又は減少させることができる（これにより文字の視認性を向上させることができる。）。また、形状歪についても、かかる処理により文字の視認性を向上させることができる。
【０００８】
本装置においては、行方向処理は、行方向検出手段により検出された少なくとも２以上の行の方向と、該２以上の行の被処理画像における位置と、に基づき処理されるもの（以下「行方向位置処理本装置」という。）であってもよい。
行方向処理は、行方向検出手段により検出された少なくとも２以上の行の方向が互いに平行又は平行に近づくよう処理するものであるが、この行方向処理としては、行方向検出手段により検出された少なくとも２以上の行の方向と、該２以上の行の被処理画像における位置と、を用いて、被処理画像における行の位置に応じた行の方向を用いることにより、被処理画像に存する行の方向が互いに平行又は平行に近づくよう被処理画像全体の処理を決することができる（例えば、該少なくとも２以上の行の方向の互いに平行からのずれとそれらの行の被処理画像における位置とにより処理を決することができる。）。
【０００９】
行方向位置処理本装置においては、行方向処理は、被処理画像において行方向が変化する行方向歪が被処理画像全体に生じていると仮定し、撮影方向に対して垂直な仮想上の平面である仮想垂直面に存する仮想の長方形の４の角部が被処理画像において位置するであろう４の位置を、行方向検出手段により検出された前記少なくとも２以上の行の方向と、該２以上の行の被処理画像における位置と、により予測し、該予測した４の位置が、行方向歪が存在しない場合の被処理画像における該長方形の４の角部の位置それぞれに一致させるようにする処理であってもよい（以下「行方向角部使用本装置」という。）。
撮影方向に対して垂直な仮想上の平面である仮想垂直面に存する仮想の長方形の４の角部は、歪が被処理画像に存しなければ、被処理画像においても長方形の角部に位置する。このため行方向検出手段により検出された前記少なくとも２以上の行の方向と、該２以上の行の被処理画像における位置と、により仮想の長方形の４の角部が被処理画像において位置するであろう４の位置を予測し（前記少なくとも２以上の行の方向と、該２以上の行の被処理画像における位置と、により被処理画像全体に生じている行方向歪を予測することで、被処理画像において位置するであろう該４の位置を予測する。）、該予測した４の位置が、行方向歪が存在しない場合の被処理画像における該長方形の４の角部の位置それぞれに一致させるように行方向処理を行うことができる。
【００１０】
行方向角部使用本装置においては、被処理画像が長方形を略なすものであり、行方向歪が存在しない場合の被処理画像における前記長方形の４の角部の位置が、被処理画像が形成する長方形の４の角部の位置であってもよい。
こうすることで長方形をなす被処理画像において、最も明確な位置である被処理画像がなす長方形の４の角部を基準とすることができるので、的確かつ容易に処理を実施することができる。
【００１１】
行方向角部使用本装置においては、被処理画像において位置するであろう前記４の位置の予測は、行方向検出手段により検出された前記少なくとも２以上の行の方向と、該２以上の行の被処理画像における位置と、に基づき、仮想垂直面に存する仮想の長方形の４辺のうち行間方向に沿った互いに平行な一対の辺の、行方向歪が存在する場合の被処理画像における両端の位置を求めることで、前記仮想の長方形の４の角部が、行方向歪が存在する被処理画像において位置する４の位置を予測するものであってもよい。
仮想垂直面に存する仮想の長方形の４の角部が行方向歪が存在する被処理画像において位置するであろう前記４の位置は、仮想垂直面に存する仮想の長方形の４辺のうち行間方向に沿った互いに平行な一対の辺の、行方向歪が存在する場合の被処理画像における両端の位置を求めることで予測することができる。このとき、行方向検出手段により検出された前記少なくとも２以上の行の方向と、該２以上の行の被処理画像における位置と、に基づき、仮想垂直面に存する仮想の長方形の４辺のうち行間方向に沿った互いに平行な一対の辺の、行方向歪が存在する場合の被処理画像における両端の位置を求める。なお、行間方向に沿った互いに平行な一対の辺とは、仮想垂直面に存する仮想の長方形の４辺のうち、被処理画像において複数の行が並ぶ方向（被処理画像に存する直線のうち、最も多くの行を横切る直線に平行な方向）となす角度が小さい方の一対の辺（被処理画像において行方向となす角度が大きい方の一対の辺）をいう。
【００１２】
本装置においては、行文字寸法処理は、行文字寸法検出手段により検出された少なくとも２以上の行それぞれに属する文字の寸法と、該２以上の行の被処理画像における位置と、に基づき処理されるもの（以下「行文字寸法位置処理本装置」という。）であってもよい。
行文字寸法処理は、行文字寸法検出手段により検出された少なくとも２以上の行それぞれに属する文字の寸法が同一又は近づくよう処理するものであるが、この行文字寸法処理としては、行文字寸法検出手段により検出された少なくとも２以上の行それぞれに属する文字の寸法と、該２以上の行の被処理画像における位置と、を用いて、被処理画像における行の位置に応じた文字の寸法を用いることにより、被処理画像に存する行それぞれに属する文字の寸法が同一又は近づくよう被処理画像全体の処理を決することができる（例えば、該少なくとも２以上の行それぞれに属する文字の寸法とそれらの行の被処理画像における位置とにより処理を決することができる。）。
【００１３】
行文字寸法位置処理本装置においては、行文字寸法処理は、被処理画像において文字が属する行によって文字の寸法が変化する行間歪が被処理画像全体に生じていると仮定し、撮影方向に対して垂直な仮想上の平面である仮想垂直面に存する仮想の長方形の４の角部が被処理画像において位置するであろう４の位置を、行文字寸法検出手段により検出された前記少なくとも２以上の行それぞれに属する文字の寸法と、該２以上の行の被処理画像における位置と、により予測し、該予測した４の位置が、行間歪が存在しない場合の被処理画像における該長方形の４の角部の位置それぞれに一致するように処理するもの（以下「行文字角部使用本装置」という。）であってもよい。
撮影方向に対して垂直な仮想上の平面である仮想垂直面に存する仮想の長方形の４の角部は、歪が被処理画像に存しなければ、被処理画像においても長方形の角部に位置する。このため行文字寸法検出手段により検出された前記少なくとも２以上の行それぞれに属する文字の寸法と、該２以上の行の被処理画像における位置と、により仮想の長方形の４の角部が被処理画像において位置するであろう４の位置を予測し（前記少なくとも２以上の行それぞれに属する文字の寸法と、該２以上の行の被処理画像における位置と、により被処理画像全体に生じている行間歪を予測することで、被処理画像において位置するであろう４の位置を予測する。）、該予測した４の位置が、行間歪が存在しない場合の被処理画像における該長方形の４の角部の位置それぞれに一致させるように行文字寸法処理を行うことができる。
【００１４】
行文字角部使用本装置においては、被処理画像が長方形を略なすものであり、行間歪が存在しない場合の被処理画像における前記長方形の４の角部の位置が、被処理画像が形成する長方形の４の角部の位置であってもよい。
こうすることで長方形をなす被処理画像において、最も明確な位置である被処理画像がなす長方形の４の角部を基準とすることができるので、的確かつ容易に処理を実施することができる。
【００１５】
行文字角部使用本装置においては、被処理画像において位置するであろう前記４の位置の予測は、行文字寸法検出手段により検出された少なくとも２以上の行それぞれに属する文字の寸法と、該２以上の行の被処理画像における位置と、に基づき、仮想垂直面に存する仮想の長方形の４辺のうち行方向に沿った互いに平行な一対の辺の、行間歪が存在する場合の被処理画像における両端の位置を求めることで、前記仮想の長方形の４の角部が、行間歪が存在する被処理画像において位置する４の位置を予測するものであってもよい。
仮想垂直面に存する仮想の長方形の４の角部が行間歪が存在する被処理画像において位置するであろう前記４の位置は、仮想垂直面に存する仮想の長方形の４辺のうち行方向に沿った互いに平行な一対の辺の、行間歪が存在する場合の被処理画像における両端の位置を求めることで予測することができる。このとき、行文字寸法検出手段により検出された少なくとも２以上の行それぞれに属する文字の寸法と、該２以上の行の被処理画像における位置と、に基づき、仮想垂直面に存する仮想の長方形の４辺のうち行方向に沿った互いに平行な一対の辺の、行間歪が存在する場合の被処理画像における両端の位置を求める。なお、行方向に沿った互いに平行な一対の辺とは、仮想垂直面に存する仮想の長方形の４辺のうち、被処理画像において行方向となす角度が小さい方の一対の辺をいう。
【００１６】
本装置においては、行検出手段が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸及び第２軸に平行な２辺を有し、文字に外接する長方形であるボックスを生成すると共に、ボックス同士の相対的位置関係によって行を検出するもの（以下「ボックス使用本装置」という。）であってもよい。
行検出手段は、被処理画像が含む文字記載部分に記載された文字が互いに連続することで形成される行を検出するが、この文字の画像を連結成分分析することで文字に外接する長方形（被処理画像面において互いに直交する第１軸及び第２軸に平行な２辺を有する）として生成したボックスによって、ボックス同士の相対的位置関係に基づき行を検出するので、文字自体の画像同士の相対的位置関係に基づき行を検出する場合に比し、相対的位置関係の認識及び判断を容易かつ確実に行うことができる。
【００１７】
ボックス使用本装置においては、行方向検出手段が、行検出手段により検出された行に属する文字に係る複数のボックスを通過する直線である行方向直線を求めるもの（以下「行方向直線使用本装置」という。）であってもよい。
行方向検出手段は、行検出手段により検出された行のうち少なくとも２以上の行の方向を検出するものであるが、このように行検出手段により検出された行に属する文字に係る複数のボックスを通過する直線である行方向直線を求めることで行の方向を検出するようにすれば、被処理画像面において互いに直交する第１軸及び第２軸に平行な２辺を有する複数の長方形（ボックス）を通過する直線（行方向直線）として行の方向を簡単かつ迅速に求めることができる。
【００１８】
行方向直線使用本装置においては、行方向直線の傾きと、被処理画像における行方向直線の位置と、に基づき、行の方向を検出するものであってもよい。
このように行方向検出手段が、行方向直線の傾きと、被処理画像における行方向直線の位置と、に基づき、行検出手段により検出された行のうち少なくとも２以上の行の方向を検出することで、求めた行方向直線から容易に得られる傾き及び行方向直線の位置によって容易かつ迅速に行の方向を検出できる。なお、行方向直線の傾きは、被処理画像において平面座標系（例えば、互いに直交する第１軸及び第２軸による直交座標系）を設定した際の傾きをいう。
【００１９】
ボックス使用本装置においては、被処理画像が長方形を略なすものであり、第１軸が、該長方形の一対の辺に平行なものであってもよい。
こうすることで、長方形をなす被処理画像において、被処理画像がなす長方形の一対の辺に平行に第１軸を配置すると共に該長方形の別の一対の辺に平行に第２軸を配置するので、第１軸及び第２軸の方向を明確かつ容易に定めることができる。
【００２０】
ボックス使用本装置においては、行検出手段が、ボックスの寸法の基準値の所定倍率の値以上又は該値を超える寸法を有するボックスを削除し、該削除された残りのボックス同士の相対的位置関係によって行を検出するもの（以下「巨大ボックス削除本装置」という。）であってもよい。
ボックスは、被処理画像面において互いに直交する第１軸及び第２軸に平行な２辺を有し、本来は文字に外接する長方形であるが、ボックスを生成する際に被処理画像に存する認識すべき文字ではない大きなものに外接するボックスを生じることがある。認識すべき文字ではない大きなものに外接するボックスは、後のボックス同士の相対的位置関係によって行を検出する処理において、認識すべき文字に外接するボックスと一緒に処理すべきではないので、ボックスの寸法の基準値の所定倍率の値以上又は該値を超える寸法を有するボックスを削除することで、かかる認識すべき文字ではない大きなものに外接するボックスを除いた後、該削除された残りのボックス同士の相対的位置関係によって行を検出するようにしてもよい。
【００２１】
巨大ボックス削除本装置においては、前記基準値は、ボックスの寸法に基づき定められるものであってもよい。
認識すべき文字ではない大きなものに外接するボックスを削除する際の基準となる前記した基準値は、被処理画像に表された文字に外接するボックスの大きさに応じて定められてもよい。そうすることで被処理画像に表された文字の大きさに基づき、削除すべきものの大きさを適切に定めることができる。
前記基準値をボックスの寸法に基づき定めることは、認識すべき文字ではない大きなものに外接するボックスをうまく削除できるものであればよく、特に限定されるものではないが、例えば、生成されたボックスの寸法の最頻値等としてもよく、例えば、第Ｎ軸（但しＮは１又は２）に沿ったボックスの寸法の最頻値等を前記基準値とし、基準値の所定倍率以上又は該基準値を超える第Ｎ軸に沿った寸法を有するボックスを削除するようにしてもよい（なお、最頻値を前記基準値とすれば、認識すべき文字ではない大きなものに外接するボックスによって基準値が影響を受けにくくすることができる。）。かかる場合、ボックス削除の基準である「基準値の所定倍率以上又は該基準値を超える第Ｎ軸に沿った寸法」は、あまり大きいと削除すべきボックスをうまく削除できず、あまり小さいと削除すべきでないボックスを削除してしまうので、これらを両立する範囲とされることが好ましい。
【００２２】
ボックス使用本装置においては、行検出手段が、ボックスのうち互いに重なる領域を有するボックス同士を、該互いに重なる領域を有するボックスの全部を含む１のボックスに置換し、該置換されたボックスを含むボックス同士の相対的位置関係によって行を検出するものであってもよい。
行検出手段が、文字記載部分に記載された文字の画像を連結成分分析することで文字に外接する長方形であるボックスを生成する際、１文字に含まれる互いに離れた部分を別の文字として誤って別のボックスを生成することがある。この場合、生成された別のボックスは、互いに重なる領域を有することが多いため、互いに重なる領域を有するボックス同士を、該互いに重なる領域を有するボックスの全部を含む１のボックスに置換することで、１文字を１のボックスとすることができる場合が多い。このように互いに重なる領域を有するボックス同士を１のボックスに置換することで、１文字を１のボックスとした後、ボックス同士の相対的位置関係によって行を検出することで行検出の正確性を向上させることができる。
【００２３】
ボックス使用本装置においては、行検出手段が、ボックスの寸法の基準値の所定倍率の値以上又は該値を超える寸法を有するボックスを削除し、該削除された残りのボックスのうち、互いに重なる領域を有するボックス同士を、該互いに重なる領域を有するボックスの全部を含む１のボックスに置換し、該置換されたボックスを含むボックス同士の相対的位置関係によって行を検出するものであってもよい。
こうすることで、まず被処理画像に存する認識すべき文字ではない大きなものに外接するボックスを削除した後、互いに重なる領域を有するボックス同士を１のボックスに置換することで、１文字を１のボックスとした後、ボックス同士の相対的位置関係によって行を検出することで行検出の正確性を一段と向上させることができる。
なお、ここの基準値も、前述の如く、ボックスの寸法に基づき定められるものであってもよい。
【００２４】
ボックス使用本装置においては、行検出手段が、ボックスの寸法の基準値と比較し所定範囲内の寸法を有するボックスを起点とし、該起点からボックスが並んでいることにより行を検出するもの（以下「通常寸法ボックス起点本装置」という。）であってもよい。
行検出手段は、被処理画像が含む文字記載部分に記載された文字が互いに連続することで形成される行を検出するが、行に含まれる文字に係るボックスを起点として、それからボックスが互いに連続することで行が形成されていることを検出するようにしてもよい。行に含まれる文字に係るボックスは、行に含まれる文字の大きさがある範囲に含まれることが多いことから、所定範囲内の寸法を有することが多い。このため、基準値と比較し所定範囲内の寸法を有するボックスを起点とし、該起点からボックスが並んでいることにより行を検出すれば、効果的に行が形成されていることを検出することができる。
起点とするボックスを選択する際の基準値は、行に含まれる文字に係るボックスである可能性を増加させるものであるので、行に含まれる文字の寸法が既知であればそれに基づいて定めることもできるし、生成されたボックスの寸法に基づいて定めることもできる。基準値は、第１軸及び第２軸のうち一方に関するもの（この場合、該一方に関する基準値と比較し所定範囲内の該一方に関する寸法を有するボックスを起点とする。）でもよく、第１軸及び第２軸のうち両方に関するもの（この場合、第１軸及び第２軸のうち一方に関する基準値と比較し所定範囲内の該一方に関する寸法を有しかつ第１軸及び第２軸のうち他方に関する基準値と比較し所定範囲内の該他方に関する寸法を有するボックスを起点とする。）でもよい。生成されたボックスの寸法に基づいて基準値を定める場合であれば、生成されたボックスの寸法の最頻値等としてもよく、例えば、第Ｎ軸（但しＮは１又は２）に沿ったボックスの寸法の最頻値等を前記基準値とし、この基準値と比較し所定範囲内の第Ｎ軸（但しＮは、上記した基準値を定めるボックスの寸法が沿った軸のＮと同じ。）に沿った寸法を有するボックスを起点とすることができる。前記の「所定範囲」は、基準値に対してあまり小さいものを含んだり、大きいものを含んだりすると、行に含まれる文字以外のものに基づいて生成したボックスを起点とする可能性が増加することから、行に含まれる文字に基づいて生成したボックスを起点とする可能性が高まるように適宜定められればよい。
【００２５】
通常寸法ボックス起点本装置においては、行検出手段が、第１軸及び第２軸のうち行方向に沿った一方軸に平行な方向のボックスの寸法に基づき基準値を算出するものであり、該一方軸方向に離れた隣接するボックス同士の間の隙間の該一方軸方向への寸法が、基準値の所定倍率の値以内又は該値未満であると共に、第１軸及び第２軸のうち他方軸への該隣接するボックスのうち一方の正投影と、他方軸への該隣接するボックスのうち他方の正投影と、が互いに重なる場合には、該隣接するボックス同士は行を形成するものと判断するもの（以下「隣接ボックス位置判断本装置」という。）であってもよい。
こうすることで行検出手段が基準値を算出する。該基準値は、第１軸及び第２軸のうち行方向に沿った一方軸に平行な方向のボックスの寸法に基づき算出される。なお、この基準値は、第１軸及び第２軸のうち一方軸ではない他方軸に平行な方向のボックスの寸法に基づき算出されるものを含んでいてもよい。上述の通り、基準値は、生成されたボックスの寸法の最頻値等としてもよい。第１軸及び第２軸のうち行方向に沿った一方軸とは、第１軸及び第２軸のうち、被処理画像において行方向となす角度が小さい方の軸をいう。
そして、行検出手段が、（１）該一方軸方向に離れた隣接するボックス同士の間の隙間の該一方軸方向への寸法が、基準値の所定倍率の値以内又は該値未満であると共に、（２）第１軸及び第２軸のうち他方軸への該隣接するボックスのうち一方の正投影と、他方軸への該隣接するボックスのうち他方の正投影と、が互いに重なる場合には、該隣接するボックス同士は行を形成するものと判断する。このうち（１）は、第１軸及び第２軸のうち行方向に沿った一方軸の方向に互いに離れた隣接するボックス同士について、該隣接するボックス同士の間の隙間の該一方軸方向への寸法が、基準値の所定倍率の値以内又は該値未満であるかを判断する。この所定倍率は、あまり小さいと文字間が広い行を検出できなくなり、あまり大きいと行を形成していない文字を行に含まれると誤る可能性が増えるので、これらを両立する範囲としてもよい。そして（２）は、第１軸及び第２軸のうち他方軸（第１軸及び第２軸のうち該一方軸とは異なる軸）への該隣接するボックスのうち一方のボックスの正投影と、該他方軸への該隣接するボックスのうち他方のボックスの正投影と、が互いに重なるかを判断する。これら（１）及び（２）のいずれもが満たされていると判断される場合には、該隣接するボックス同士は行を形成するものと判断する。
【００２６】
隣接ボックス位置判断本装置においては、行検出手段が、ボックスの前記他方軸に平行な方向の寸法に基づき基準値を算出するものであり、第１軸及び第２軸による平面座標系を設定した場合、前記他方軸に関し、隣接するボックス同士のうち一方の最大値から他方の最小値を減じた値と、前記他方軸に関し、該隣接するボックス同士のうち他方の最大値から一方の最小値を減じた値と、のいずれもが該基準値の所定倍率の値以内又は該値未満である該隣接するボックス同士は行を形成するものと判断してもよい。
こうすることで行検出手段が、前述のように前記一方軸に平行な方向のボックスの寸法に基づき基準値を算出すると共に、前記他方軸に平行な方向のボックスの寸法に基づき基準値を算出する（これにより前記一方軸に平行な方向の基準値と、前記他方軸に平行な方向の基準値と、の両方が算出される。）。前記他方軸に平行な方向のボックスの寸法に基づく基準値算出は、生成されたボックスの前記他方軸に平行な方向の寸法の最頻値等としてもよい。
そして、第１軸及び第２軸による平面座標系（例えば、互いに直交する第１軸及び第２軸による平面座標系。なお、第１軸及び第２軸のいずれも、同じ長さは、常に同じ座標値変化を与える。）を設定した場合、前記他方軸に関し、隣接するボックス同士のうち一方のボックスの最大値（該一方のボックスが規定する領域のうち前記他方軸の最大値）から他方のボックスの最小値（該他方のボックスが規定する領域のうち前記他方軸の最小値）を減じた値と、前記他方軸に関し、該隣接するボックス同士のうち該他方のボックスの最大値（該他方のボックスが規定する領域のうち前記他方軸の最大値）から該一方のボックスの最小値（該一方のボックスが規定する領域のうち前記他方軸の最小値）を減じた値と、のいずれもが該基準値（ボックスの前記他方軸に平行な方向の寸法に基づき算出された基準値）の所定倍率の値以内又は該値未満である該隣接するボックス同士は行を形成するものと判断する。この「前記他方軸に関し、隣接するボックス同士のうち一方の最大値から他方の最小値を減じた値と、前記他方軸に関し、該隣接するボックス同士のうち他方の最大値から一方の最小値を減じた値と、のいずれもが該該基準値の所定倍率の値以内又は該値未満である」か否かの判断を行うこの「所定倍率」は、あまり大きいと行を形成していない場合でも行を形成していると判断したり、あまり小さいと行を形成しているのにそれが検出できなくなるので、これらを両立する範囲としてもよい。
【００２７】
本装置においては、歪除去手段により行方向処理と行文字寸法処理とが行われた処理済み被処理画像において、行検出手段により検出された行に含まれる文字が、該行に属する文字の所定の標準的な位置まで移動するための変位量である行所属変位量を求める行所属変位量算出手段と、処理済み被処理画像において、行検出手段により検出された行に含まれる文字が、該行に属する文字の所定の標準的な方向まで回動するための回動角である回動角量を求める回動角量算出手段と、を備えてなるもの（以下「局所歪本装置」という。）であってもよい。
本装置では、行方向処理により、行方向検出手段により検出された少なくとも２以上の行の方向が互いに平行又は平行に近づくよう処理されると共に、行文字寸法処理により、行文字寸法検出手段により検出された少なくとも２以上の行それぞれに属する文字の寸法が同一又は近づくよう被処理画像が処理されることにより、歪除去手段により行方向処理と行文字寸法処理とが行われた処理済み被処理画像においては歪が減少するが、行に含まれる各文字が、該行に属する文字があるべき位置から変位（例えば、該行の行方向に対して垂直な成分を含む変位）したり、該行に属する文字があるべき方向から回動することで、文字が行に含まれることが認識しにくい状況が生じたり、行を構成する文字全体を視認しにくい状況が生じることがある。かかる変位や回動を修正等するためには、行に含まれる文字が、該行に属する文字のあるべき位置（所定の標準的な位置）まで移動するための変位量と、該行に属する文字のあるべき方向（所定の標準的な方向）まで回動するための回動角と、を求める必要がある。このため本装置は、処理済み被処理画像において、行に含まれる文字が、該行に属する文字の所定の標準的な位置まで移動するための変位量である行所属変位量を求める行所属変位量算出手段と、処理済み被処理画像において、行に含まれる文字が、該行に属する文字の所定の標準的な方向まで回動するための回動角である回動角量を求める回動角量算出手段と、を備えるようにしてもよい。
【００２８】
局所歪本装置においては、行所属変位量算出手段が、前記標準的な位置と、処理済み被処理画像における行に含まれる文字の位置と、の間の距離である行所属距離をそれぞれの文字に関して求め、行に含まれる文字の行所属変位量を、該行に含まれる他の文字の行所属距離を用いて決するもの（以下「他文字行所属距離使用本装置」という。）であってもよい。
こうすることで行所属変位量算出手段が、処理済み被処理画像における行に含まれる文字の位置と、行に属する文字の所定の標準的な位置（あるべき位置）と、の間の距離である行所属距離をそれぞれの文字に関して求める。そして、行に含まれる文字の行所属変位量を、該行に含まれる他の文字の行所属距離を用いて決するので、該他の文字の該行に対する位置を反映した行所属変位量とすることができ、該行に含まれる文字の状態を該他の文字の状態を含めることで的確に示した行所属変位量とすることができる。なお、ここにいう「行に含まれる文字の行所属変位量を、該行に含まれる他の文字の行所属距離を用いて決する」とは、該行所属変位量を該他の文字の行所属距離を用いて決すればよく、該行所属変位量を決する文字の行所属距離も用いて該行所属変位量を決するか否かは問わない。
【００２９】
他文字行所属距離使用本装置においては、前記他の文字が、行所属変位量が算出される文字に直近のものであってもよい。
こうすることで、行に含まれる文字の行所属変位量を、該行に含まれる該文字に直近の他の文字の行所属距離を用いて決するので、該行所属変位量を決する文字の該行における状態に近い状態である直近の該他の文字の行所属距離を用いることで、該行に含まれる文字の状態を一層的確に反映した行所属変位量とすることができる。
【００３０】
局所歪本装置においては、前記標準的な位置が、行方向に延び行の位置を示す行基準線に存する点であってもよい。
処理済み被処理画像において、行検出手段により検出された行に属する文字の所定の標準的な位置は、該行に属する文字があるべき位置であり、種々の位置として規定可能であるが、例えば、該行の行方向に延び該行の位置を示す行基準線（線分、曲線の一部）に存する点とすることもできる。
【００３１】
他文字行所属距離使用本装置においては、行検出手段が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸及び第２軸に平行な２辺を有し、文字に外接する長方形であるボックスを生成するものであり、文字の前記位置が、該文字に係るボックスの代表位置であってもよい（以下「ボックス代表位置使用本装置」という。）。
行検出手段は、被処理画像が含む文字記載部分に記載された文字の画像を連結成分分析することで文字に外接する長方形（互いに直交する第１軸及び第２軸に平行な２辺を有する）としてボックスを生成する。これによって、ボックス同士の相対的位置関係に基づき行を検出するので、文字自体の画像同士の相対的位置関係に基づき行を検出する場合に比し、相対的位置関係の認識及び判断を容易かつ迅速に行うことができる。そして、文字の前記位置を、該文字に係るボックスの代表位置とすれば、互いに直交する第１軸及び第２軸に平行な２辺を有する長方形たるボックスを用いて容易かつ迅速に処理することができる。ボックスの代表位置としては、様々なものとすることができるが、例えば、ボックスの重心位置、ボックスが形成する長方形の４の角のいずれか、ボックスが形成する長方形の４の辺のいずれかの辺の中点等を挙げることができる。
【００３２】
ボックス代表位置使用本装置においては、第１軸及び第２軸のうち、行方向に対して垂直な方向となす角度が小さい軸である近行垂直軸の方向への少なくとも２以上のボックスの寸法の代表値である近行垂直方向代表寸法と比較し、行所属変位量が算出される文字に係るボックスの近行垂直軸の方向へのボックスの寸法が所定範囲内である場合には、該算出される文字の行所属距離を用いて該算出される文字の行所属変位量を決するもの（以下「算出ボックス行所属距離使用本装置」という。）であってもよい。
第１軸及び第２軸のうち、行方向に対して垂直な方向となす角度が小さい方の軸を近行垂直軸とし、少なくとも２以上のボックスの近行垂直軸方向への寸法の代表値である近行垂直方向代表寸法を算出する。この近行垂直方向代表寸法は、複数のボックスの近行垂直軸方向への寸法の種々の代表値とされることができるが、例えば、複数のボックスの近行垂直軸方向への寸法の最頻値等としてもよい。
行所属変位量が算出される文字に係るボックスの近行垂直軸の方向へのボックスの寸法を近行垂直方向代表寸法と比較し、行所属変位量が算出される文字に係るボックスの近行垂直軸の方向へのボックスの寸法が所定範囲内である場合には、行所属変位量が該算出される文字の行所属距離を用いて該算出される文字の行所属変位量を決することで、近行垂直軸方向の寸法が近行垂直方向代表寸法と大きく異ならないボックス（即ち、近行垂直軸方向の寸法が、複数のボックスの寸法の代表値である近行垂直方向代表寸法と大きく異ならないボックスであるので、該ボックスは行に適正に属する文字から生じた可能性が高い。）に係る行所属変位量が算出される場合には、該算出される文字の行所属距離を用いることで該算出される文字の行所属変位量を一層適切なものに定めることができる（該算出される文字の行所属距離を用いることで、該算出される文字の状態を的確に反映した行所属変位量を求めることができる。）。なお、行所属変位量が算出される文字に係るボックスの近行垂直軸の方向へのボックスの寸法を近行垂直方向代表寸法と比較し、行所属変位量が算出される文字に係るボックスの近行垂直軸の方向へのボックスの寸法が所定範囲内ではない場合には、行所属変位量が算出される文字の行所属距離を用いると、そのようなボックスは句読点、記号、文字の一部分である可能性が高く、その場合は行所属距離が行所属変位量と大きく異なるため、該算出される文字の状態を反映した行所属変位量を求めることができない。近行垂直方向代表寸法と比較した、行所属変位量が算出される文字に係るボックスの近行垂直軸の方向へのボックスの寸法の前記所定範囲は、行に適正に属する文字から生じたボックスを含むが、句読点、記号、文字の一部分等のように適正な文字から生じたものでないボックスを含まないように定められるようにしてもよい。
【００３３】
算出ボックス行所属距離使用本装置においては、前記他の文字が、近行垂直方向代表寸法と比較し所定範囲内の近行垂直軸の方向への寸法を有するものであってもよい。
行に含まれる文字の行所属変位量を決する際に行所属距離を用いる該行に含まれる他の文字に係るボックスが、近行垂直方向代表寸法と比較し所定範囲内の近行垂直軸の方向への寸法を有するものとすれば、該他の文字は行に適正に属する文字である可能性が高いことから、該他の文字に係るボックスに係る行所属距離を用いて行所属変位量を決することで、行所属変位量を適切に定めることができる。近行垂直方向代表寸法と比較し所定範囲内の近行垂直軸の方向への寸法は、行に適正に属する文字から生じたボックスを含むが、句読点、記号、文字の一部分等のように適正な文字から生じたものでないボックスを含まないように定められるようにしてもよい。
【００３４】
ボックス代表位置使用本装置においては、前記他の文字が、行所属変位量が算出される文字に直近のものであり、行所属変位量が算出される文字と、前記他の文字と、が、近行垂直方向代表寸法と比較し所定範囲内の近行垂直軸の方向の寸法を有するものであり、行所属変位量が算出される文字の行所属変位量が、行所属変位量が算出される文字の行所属距離と、前記他の文字の行所属距離と、の平均値とされるものであってもよい。
このように行所属変位量が算出される文字と、前記他の文字と、が、近行垂直方向代表寸法と比較し所定範囲内の近行垂直軸の方向の寸法を有することで、前述の通り、該算出される文字と該他の文字とは行に適正に属する文字である可能性が高いことから、該算出される文字及び該他の文字に係るボックスに係る行所属距離を用いて該算出される文字の行所属変位量を決することで、行所属変位量を適切に定めることができる。「近行垂直方向代表寸法と比較し所定範囲内の近行垂直軸の方向への寸法」とは前述の通りである。そして、前記他の文字が、近行垂直方向代表寸法と比較し所定範囲内の近行垂直軸の方向の寸法を有するもののうち該算出される文字に直近のものとすることで、該算出される文字の行所属変位量を決する文字の該行における状態に近い状態である直近の該他の文字の行所属距離を用いることで、該行に含まれる文字の状態を一層的確に示した行所属変位量とすることができる。加えて、行所属変位量が算出される文字の行所属変位量が、行所属変位量が算出される文字の行所属距離と、前記他の文字の行所属距離と、の平均値とされることで、該算出される文字が、属する行の文字の所定の標準的な位置まで移動するための行所属変位量を安定して算出することができる。
なお、前記他の文字は、行所属変位量が算出される文字が属する行の一方側に存する文字と、該算出される文字が属する該行の他方側に存する文字と、のいずれか一方のみ又は両方であってよい。
【００３５】
ボックス代表位置使用本装置においては、前記他の文字が、行所属変位量が算出される文字が属する行の一方側に存するものと、行所属変位量が算出される文字が属する行の他方側に存するものと、を含み、該一方側に存するものと、該他方側に存するものと、が、近行垂直方向代表寸法に比較し所定範囲内の近行垂直軸の方向への寸法を有するボックスに係る文字であり、行所属変位量が算出される文字の行所属変位量が、該一方側に存するものの行所属距離と、該他方側に存するものの行所属距離と、に基づき決するものであってもよい。
このように前記他の文字が、行所属変位量が算出される文字が属する行の一方側に存するものと、行所属変位量が算出される文字が属する行の他方側に存するものと、を含み、該一方側に存するものと、該他方側に存するものと、が、近行垂直方向代表寸法に比較し所定範囲内の近行垂直軸の方向への寸法を有するボックスに係る文字であることで、該一方側に存するものと、該他方側に存するものと、のいずれも行に適正に属する文字である可能性が高いことから、行所属変位量が算出される文字の該行所属変位量が、該一方側に存するものの行所属距離と、該他方側に存するものの行所属距離と、を用いて決することで、該行所属変位量を適切に定めることができる。「近行垂直方向代表寸法と比較し所定範囲内の近行垂直軸の方向への寸法」とは前述の通りである。
【００３６】
局所歪本装置においては、回動角量算出手段が、行に含まれる文字の回動角量を、該行に含まれる別の文字の行所属距離又は行所属変位量を用いて決するもの（以下「距離等基準回動角量算出本装置」という。）であってもよい。
回動角量算出手段は、処理済み被処理画像において、行検出手段により検出された行に含まれる文字が、該行に属する文字の所定の標準的な方向（該行に属する文字のあるべき方向）まで回動するための回動角である回動角量を求めるものであり、行に含まれる文字の回動角量は、様々な方法により決することができる。例えば、行に含まれる複数の文字の平均的な方向を該所定の標準的な方向（該行に属する文字のあるべき方向）とし、該方向に対する行に含まれる文字の方向がなす角を回動角量とすることもできる。また、行に含まれる文字の回動角量を、該行に含まれる別の文字の行所属距離又は行所属変位量を用いて決することもできる。即ち、別の文字の行所属距離又は行所属変位量は、前記標準的な位置と行に含まれる文字の位置との間の距離（行所属距離）又は行に含まれる文字が前記標準的な位置まで移動するための変位量（行所属変位量）であるので、行に対して文字がどのように配置されているかを示すことから、行方向に沿って少なくとも異なる２以上文字に係る行所属距離又は行所属変位量によって文字の並びの傾きを得ることができるため、この並びの傾きに基づき行に含まれる文字の回動角量を算出するようにしてもよい。
【００３７】
距離等基準回動角量算出本装置においては、前記別の文字が、回動角量が算出される文字に直近のものであってもよい。
こうすることで、回動角量が算出される文字に直近の前記別の文字の行所属距離又は行所属変位量によることで、回動角量が算出される文字の位置における文字の並びの傾きを適切に得ることができ、この並びの傾きに基づき文字の回動角量を算出できる。
【００３８】
距離等基準回動角量算出本装置においては、行検出手段が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸及び第２軸に平行な２辺を有し、文字に外接する長方形であるボックスを生成するものであり、前記別の文字が、回動角量が算出される文字が属する行の一方側に存するものと、回動角量が算出される文字が属する行の他方側に存するものと、を含み、該一方側に存するものと、該他方側に存するものと、が、第１軸及び第２軸のうち、行方向に対して垂直な方向となす角度が小さい軸である近行垂直軸の方向へのボックスの寸法の代表値である近行垂直方向代表寸法に対し所定範囲内の近行垂直軸の方向への寸法を有するボックスに係る文字であり、回動角量が算出される文字の回動角量が、該一方側に存するものの行所属距離又は行所属変位量と、該他方側に存するものの行所属距離又は行所属変位量と、に基づき決されるものであってもよい。
行検出手段は、被処理画像が含む文字記載部分に記載された文字の画像を連結成分分析することで文字に外接する長方形（互いに直交する第１軸及び第２軸に平行な２辺を有する）としてボックスを生成する。これによって、ボックス同士の相対的位置関係に基づき行を検出するので、文字自体の画像同士の相対的位置関係に基づき行を検出する場合に比し、相対的位置関係の認識及び判断を容易かつ迅速に行うことができる。前記他の文字が、回動角量が算出される文字が属する行の一方側に存するものと、回動角量が算出される文字が属する行の他方側に存するものと、を含み、該一方側に存するものと、該他方側に存するものと、が、近行垂直方向代表寸法に比較し所定範囲内の近行垂直軸の方向への寸法を有するボックスに係る文字であることで、該一方側に存するものと、該他方側に存するものと、のいずれも行に適正に属する文字である可能性が高いことから、回動角量が算出される文字の該回動角量が、該一方側に存するものの行所属距離又は行所属変位量と、該他方側に存するものの行所属距離又は行所属変位量と、を用いて決することで、該回動角量を的確に定めることができる。「近行垂直方向代表寸法に対し所定範囲内の近行垂直軸の方向への寸法」は、前述の「近行垂直方向代表寸法と比較し所定範囲内の近行垂直軸の方向への寸法」の意義と同様である。
【００３９】
距離等基準回動角量算出本装置においては、行検出手段が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸及び第２軸に平行な２辺を有し、文字に外接する長方形であるボックスを生成するものであり、前記別の文字が、回動角量が算出される文字が属する行の一方側に存するものを含み、該一方側に存するものが、第１軸及び第２軸のうち、行方向に対して垂直な方向となす角度が小さい軸である近行垂直軸の方向へのボックスの寸法の代表値である近行垂直方向代表寸法に対し所定範囲内の近行垂直軸の方向への寸法を有するボックスに係る文字であり、回動角量が算出される文字の回動角量が、該一方側に存するものの行所属距離又は行所属変位量と、回動角量が算出される文字の行所属距離又は行所属変位量と、に基づき決されるものであってもよい。
行検出手段は、被処理画像が含む文字記載部分に記載された文字の画像を連結成分分析することで文字に外接する長方形（互いに直交する第１軸及び第２軸に平行な２辺を有する）としてボックスを生成する。これによって、ボックス同士の相対的位置関係に基づき行を検出するので、文字自体の画像同士の相対的位置関係に基づき行を検出する場合に比し、相対的位置関係の認識及び判断を容易かつ迅速に行うことができる。前記別の文字が、回動角量が算出される文字が属する行の一方側に存するものを含み、該一方側に存するものが、近行垂直方向代表寸法に対し所定範囲内の近行垂直軸の方向への寸法を有するボックスに係る文字であることで、該一方側に存するものが行に適正に属する文字である可能性が高いことから、回動角量が算出される文字の回動角量が、該一方側に存するものの行所属距離又は行所属変位量を用いて決することで、該回動角量を適切に定めることができる。「近行垂直方向代表寸法に対し所定範囲内の近行垂直軸の方向への寸法」は、前述の「近行垂直方向代表寸法と比較し所定範囲内の近行垂直軸の方向への寸法」の意義と同様である。
【００４０】
局所歪本装置においては、回動角量算出手段により求められた回動角量だけ前記文字の画像を回動させる回動画像形成手段と、前記文字の画像を、行所属変位量算出手段により算出された行所属変位量だけ変位した位置の処理済み被処理画像に書き込んだ画像を形成する局所歪補正画像形成手段と、を備えるもの（以下「補正画像形成本装置」という。）であってもよい。
回動画像形成手段は、回動角量算出手段により求められた回動角量だけ前記文字の画像を回動させる。局所歪補正画像形成手段は、前記文字の画像を、前記文字の画像が存する位置から行所属変位量算出手段により算出された行所属変位量だけ変位した位置の処理済み被処理画像に書き込んだ画像を形成する。これにより回動角量算出手段により求められた回動角量だけ回動させた文字の画像が、行所属変位量算出手段により算出された行所属変位量だけ変位した位置の処理済み被処理画像に書き込まれた画像が形成される。これにより行に属する文字が、行に属する文字が該行に属する文字の所定の標準的な方向（該行に属する文字のあるべき方向）に回動した状態で、該行の文字の所定の標準的な位置（該行に属する文字のあるべき位置）に書き込まれた画像を得ることができる。
なお、回動画像形成手段が回動角量だけ前記文字の画像を回動させることと、局所歪補正画像形成手段が前記文字の画像を行所属変位量だけ変位した位置の処理済み被処理画像に書き込んだ画像を形成することとは、何れを先に行うかの順番は問わない。
【００４１】
補正画像形成本装置においては、局所歪補正画像形成手段が、回動画像形成手段により回動された前記文字の画像を、行所属変位量だけ変位した位置の処理済み被処理画像に書き込んだ画像を形成するもの（以下「先回動本装置」という。）であってもよい。
このように局所歪補正画像形成手段が、回動画像形成手段により回動された前記文字の画像を、行所属変位量だけ変位した位置の処理済み被処理画像に書き込むようにすれば、局所歪補正画像形成手段が前記文字の画像を行所属変位量だけ変位した位置の処理済み被処理画像に書き込んだ画像を形成した後、回動画像形成手段が回動角量だけ前記文字の画像を回動させる際に、局所歪補正画像形成手段が書き込み形成した画像から前記文字の画像を抽出し回動させる必要が無くなるため、動作を効率的に行うことができる。
【００４２】
先回動本装置においては、回動画像形成手段により回動された画像から、互いに直交する第１軸及び第２軸に平行な２辺を有し、該回動された画像に含まれる文字に外接する長方形の領域に含まれる画像を抽出する部分抽出手段を備え、局所歪補正画像形成手段が、部分抽出手段により抽出された画像を、行所属変位量算出手段により算出された行所属変位量だけ変位した位置の処理済み被処理画像に書き込んだ画像を形成するものであってもよい。
前記文字の画像は、通常、文字の画像に加えて背景部分を含んでいるので、回動された前記文字の画像を、行所属変位量だけ変位した位置の処理済み被処理画像に書き込む際には、文字の画像が存在しない背景部分はできる限り小さい方が好ましい（背景部分によって、処理済み被処理画像の存する画像が上書き消去される。）。このため回動画像形成手段により回動された画像から、互いに直交する第１軸及び第２軸に平行な２辺を有し、該回動された画像に含まれる文字に外接する長方形の領域に含まれる画像を抽出する部分抽出手段を備えることで、該回動された画像に含まれる該長方形の外側に存する背景部分を除いた該抽出された画像を生成し、局所歪補正画像形成手段が、部分抽出手段により抽出された画像を、行所属変位量算出手段により算出された行所属変位量だけ変位した位置の処理済み被処理画像に書き込んだ画像を形成するため、不要な背景部分を減少させ処理済み被処理画像が上書き消去される量を減少させることができる。なお、該回動の前に、前記文字の画像が互いに直交する第１軸及び第２軸に平行な２辺を有する長方形状をなしている場合であれば、該回動により該２辺が第１軸及び第２軸に平行ではなくなる。このため部分抽出手段により、該回動された前記文字の画像から、この第１軸及び第２軸に平行な２辺を有する長方形で、該回動された画像に含まれる文字に外接する該長方形の領域に含まれる画像を抽出することで、該回動された前記文字の画像に含まれる該文字が存しない部分を削除（切除）することができる。このように文字が存しない不要な部分を除いた後、局所歪補正画像形成手段が、部分抽出手段により抽出された画像（不要な部分を除いた画像）を、行所属変位量算出手段により算出された行所属変位量だけ変位した位置の処理済み被処理画像に書き込んだ画像を形成することで、処理済み被処理画像に上書き消去される面積を小さくでき、該抽出された画像が書き込まれる処理済み被処理画像の位置に存していた画像が上書き消去される範囲を小さくすることができる。
【００４３】
本装置においては、少なくとも１の文字を含む検索対象に含まれる１の文字の画像データである比較画像を用い、歪みが除去又は減少された処理済画像に該比較画像と対応する対応画像が存するか検索する類似部分画像検索を実行する類似部分画像検索手段と、類似部分画像検索の結果に基づき対応画像が処理済画像に存すると判断される場合には、該画像処理装置の使用者に該判断を通知する通知手段と、を含んでなるもの（以下「検索実施本装置」という。）であってもよい。
こうすることで類似部分画像検索手段が、少なくとも１の文字を含む検索対象に含まれる１の文字の画像データである比較画像を用い、本装置により歪みが除去又は減少された処理済画像に該比較画像と対応する対応画像が存するか検索する類似部分画像検索を実行する。検索対象は、１以上の文字を含んでなり、比較画像は、検索対象に含まれる１の文字の画像データである。なお、類似部分画像検索としては、様々な方法が用いられてよく何ら限定されるものではないが、例えば、テンプレートマッチング、特徴点マッチング、ヒストグラムの比較等を挙げることができる。
そして、通知手段が、類似部分画像検索手段が実行した類似部分画像検索の結果に基づき対応画像が処理済画像に存すると判断される場合には、本装置の使用者に該判断を通知する。なお、通知手段が該判断を通知する方法は、様々なものであってよく特に限定されるものではないが、対応画像が処理済画像に存すると判断されたことを示す所定の音や音声を発したり、対応画像が処理済画像に存すると判断されたことを示す所定の画像や文章を本装置の画面に表示したり、処理済画像、撮影画像又は加工画像において対応画像に対応する部分又はその近傍を他の部分と異ならせて表示することを例示できる。
このため本装置により歪が除去又は減少された処理済画像に、１以上の文字を含む検索対象が存するか否かを本装置の使用者は知ることができる。
【００４４】
検索実施本装置においては、検索対象が、順番に並んだ少なくとも２以上の文字を含んでなり、類似部分画像検索手段が、該２以上の文字それぞれの比較画像を用いて処理済画像に対する類似部分画像検索を実行するものであり、該２以上の文字それぞれに関する類似部分画像検索の結果に基づき、該２以上の文字が処理済画像に該順序に並んでいるか判断することで、検索対象が処理済画像に存するか否かを判断するもの（以下「各文字検索実施本装置」という。）であってもよい。
順番に並んだ少なくとも２以上の文字を含む検索対象の場合、類似部分画像検索手段が、該２以上の文字それぞれの比較画像を用いて処理済画像に対する類似部分画像検索を実行する（例えば検索対象が「ＡＢＣ」であれば、類似部分画像検索手段が、「Ａ」、「Ｂ」、「Ｃ」それぞれの比較画像を用いて処理済画像に対する類似部分画像検索を「Ａ」、「Ｂ」、「Ｃ」それぞれについて実行する。）。そして、該２以上の文字それぞれに関する類似部分画像検索の結果に基づき、該２以上の文字が処理済画像に該順序に従って並んでいるか判断することで、検索対象が処理済画像に存するか否かを判断する（上の例では、「Ａ」、「Ｂ」、「Ｃ」それぞれの類似部分画像検索の結果に基づき、「Ａ」、「Ｂ」、「Ｃ」の文字が処理済画像に「ＡＢＣ」の順序に並んでいるか判断することで、検索対象「ＡＢＣ」が処理済画像に存するか否かを判断する。）。こうすることで、検索対象に含まれる文字毎に類似部分画像検索を行うので、検索対象全体として類似部分画像検索を行うのに比し、検索もれの可能性を小さくすることができる（検索対象全体として類似部分画像検索を行う場合には、検索対象においてとりうる文字の記載の状態が極めて多いことから、それらの記載状態の全てを包含する類似部分画像検索を行うことは難しいことが多い。これに対し、文字毎に類似部分画像検索を行うことで、各文字の検出が容易になり、その各文字毎の類似部分画像検索の結果に基づき、その各文字の存在位置によって所定の順序に並んでいるか判断することで、検索対象が処理済画像に存するか否かを判断すれば、検索もれの可能性を小さくすることができる。）。
【００４５】
各文字検索実施本装置においては、処理済画像に対して比較画像が移動することで類似部分画像検索を実行し、検索対象に含まれる文字のうち互いに隣接する一対の文字のうち一方の文字の存在を示す類似部分画像検索の結果における該一方の文字の比較画像の位置に基づき、処理済画像中において一方の文字が存在すると想定される一方文字存在想定領域の位置と、該一対の検索文字のうち他方の文字の存在を示す類似部分画像検索の結果における該他方の文字の比較画像の位置に基づき、処理済画像中において他方の文字が存在すると想定される他方文字存在想定領域の位置と、が所定範囲に存する場合には、該一対の文字が連続して並んでいると判断するもの（以下「文字存在想定領域使用本装置」という。）であってもよい。
これにより、処理済画像に対して比較画像が移動することで類似部分画像検索を実行する場合、検索対象に含まれる文字のうち互いに隣接する一対の文字のうち一方の文字の存在を示す類似部分画像検索の結果における該一方の文字の比較画像の処理済画像中の位置と、該一対の文字のうち他方の文字の存在を示す類似部分画像検索の結果における該他方の文字の比較画像の処理済画像中の位置と、に基づき、処理済画像中において該一方の文字が存在すると想定される一方文字存在想定領域の位置と、処理済画像中において該他方の文字が存在すると想定される他方文字存在想定領域の位置と、が所定範囲に存する場合には、該一対の文字が連続して並んでいると判断する。このように検索対象に含まれる互いに隣接する一対の文字それぞれに関し、処理済画像に対して比較画像が移動することで類似部分画像検索を実行し、該一対の文字それぞれの存在を示す類似部分画像検索結果における該一対の文字それぞれの比較画像の処理済画像中の位置に基づき、処理済画像中において該一対の文字のうち一方の文字が存在すると想定される一方文字存在想定領域の位置と、処理済画像中において該一対の文字のうち他方の文字が存在すると想定される他方文字存在想定領域の位置と、が所定範囲に存する場合には該一対の文字が連続して並んでいると判断することから、一方文字存在想定領域の位置と他方文字存在想定領域の位置とが所定範囲に存するか否かで該一対の文字が連続して並んでいるか否かを容易に判断することができる。
【００４６】
文字存在想定領域使用本装置においては、行検出手段が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸及び第２軸に平行な２辺を有し、文字に外接する長方形であるボックスを生成し、比較画像は、第１軸及び第２軸に平行な２辺を有する長方形をなし、前記所定範囲は、ボックスの寸法の代表値に基づき決定されるもの（以下「代表値所定範囲決定本装置」という。）であってもよい。
こうすることで、行検出手段は、被処理画像が含む文字記載部分に記載された文字の画像を連結成分分析することで文字に外接する長方形（互いに直交する第１軸及び第２軸に平行な２辺を有する）としてボックスを生成する。これによって、ボックス同士の相対的位置関係に基づき行を検出するので、文字自体の画像同士の相対的位置関係に基づき行を検出する場合に比し、相対的位置関係の認識及び判断を容易かつ迅速に行うことができる。そして、比較画像は、第１軸及び第２軸に平行な２辺を有する長方形をなし、この長方形の範囲内に文字が表された比較画像を用い、処理済画像に対して比較画像が移動することで類似部分画像検索を実行する。そして、検索対象に含まれる文字のうち互いに隣接する一対の文字のうち一方の文字の存在を示す類似部分画像検索の結果における該一方の文字の比較画像の位置に基づき該一方の文字が存在すると想定される一方文字存在想定領域の位置と、該一対の検索文字のうち他方の文字の存在を示す類似部分画像検索の結果における該他方の文字の比較画像の位置に基づき該他方の文字が存在すると想定される他方文字存在想定領域の位置と、により該一対の文字が連続して並んでいると判断する際の一方文字存在想定領域の位置と他方文字存在想定領域の位置との所定範囲は、文字の大きさに応じて変化するので、文字の連続の有無を的確に判断することからは文字の大きさを表すボックスの寸法の代表値に基づき決定されてもよい。なお、ボックスの寸法の代表値としては種々のものとされることができるが、例えば、ボックスの寸法の最頻値等としてもよい。
【００４７】
代表値所定範囲決定本装置においては、前記所定範囲は、一方文字存在想定領域の第２軸への正投影と、他方文字存在想定領域の第２軸への正投影と、がボックスの第２軸に沿った寸法の代表値の所定倍率の値以上又は該値を超えるものである互いに重なる部分を有すると共に、一方文字存在想定領域と他方文字存在想定領域との間の第１軸に沿った距離が、ボックスの第１軸に沿った寸法の代表値の所定倍率の値以内又は該値未満であってもよい。
検索対象に含まれる文字のうち互いに隣接する一対の文字が連続して並んでいると判断する前記所定範囲は、（１）一方文字存在想定領域の第２軸への正投影と、他方文字存在想定領域の第２軸への正投影と、がボックスの第２軸に沿った寸法の代表値の所定倍率の値以上又は該値を超えるものである互いに重なる部分を有すること、（２）一方文字存在想定領域と他方文字存在想定領域との間の第１軸に沿った距離が、ボックスの第１軸に沿った寸法の代表値の所定倍率の値以内又は該値未満であること、との（１）及び（２）の両方が満たされるものとされてもよい。
（１）は、一方文字存在想定領域と他方文字存在想定領域とを第２軸に正投影した際に、両領域の正投影が互いに重なり、その重なりの第２軸に沿った寸法が、ボックスの第２軸に沿った寸法の代表値の所定倍率の値以上又は該値を超えるものであることをいう。ボックスの第２軸に沿った寸法の代表値は、種々のものとされることができるが、例えば、ボックスの第２軸に沿った寸法の最頻値等としてもよい。また、該所定倍率は、あまり小さいと並んでいない文字を並んでいると誤って判断する可能性が増加し、あまり大きいと並んでいる文字を並んでいないと誤って判断する可能性が増加するので、これらを両立する範囲とされてもよい。
（２）は、一方文字存在想定領域と他方文字存在想定領域との間の第１軸に沿った距離が、ボックスの第１軸に沿った寸法の代表値の所定倍率の値以内又は該値未満であることをいい、一方文字存在想定領域と他方文字存在想定領域とが離れている場合であれば、その両領域の間に存在する部分の第１軸に沿った寸法が、ボックスの第１軸に沿った寸法の代表値の所定倍率の値以内又は該値未満であることをいう。ボックスの第１軸に沿った寸法の代表値は、種々のものとされることができるが、例えば、ボックスの第１軸に沿った寸法の最頻値等としてもよい。また、該所定倍率は、あまり大きいと並んでいない文字を並んでいると誤って判断する可能性が増加し、あまり小さいと並んでいる文字を並んでいないと誤って判断する可能性が増加するので、これらを両立する範囲とされてもよい。
この（１）及び（２）の両方が満たされる範囲を前記所定範囲とすることで、第１軸及び第２軸の両軸に関し一方文字存在想定領域と他方文字存在想定領域との位置関係を判断するので、検索対象に含まれる文字のうち互いに隣接する一対の文字が連続して並んでいるか否かの判断の正確性を向上させることができる。
【００４８】
代表値所定範囲決定本装置においては、一方文字存在想定領域及び／又は他方文字存在想定領域がボックスの寸法の代表値に基づき決定されるものであってもよい。
一方文字存在想定領域及び他方文字存在想定領域は、それぞれ一方及び他方の文字が存在すると想定される領域であるので、文字の大きさに応じてこれらの領域の寸法が変化する。このため一方文字存在想定領域及び／又は他方文字存在想定領域を、文字の大きさに応じたボックスの寸法の代表値に基づき決定されるようにすれば、文字が存在すると想定される領域を適切に設定することができる。ボックスの寸法の代表値としては、種々のものとされることができるが、例えば、ボックスの第１軸に沿った寸法の最頻値等としてもよく、一方文字存在想定領域及び／又は他方文字存在想定領域の第Ｎ軸（但しＮは１又は２）に沿った寸法を、第Ｎ軸に沿ったボックスの寸法の代表値（例えば、最頻値等）に基づき決定するようにしてもよい。
【００４９】
文字存在想定領域使用本装置においては、検索対象が、所定順序に並んだ少なくとも３以上の文字を含んでなり、前記一対の文字が連続して並んでいると判断する場合、一方文字存在想定領域と他方文字存在想定領域とを含む、第１軸及び第２軸に平行な２辺を有する長方形状の合体領域の位置に対して、該他方の文字に連なる検索対象に含まれる別の文字の存在を示す類似部分画像検索の結果における該別の文字の比較画像の位置に基づき、処理済画像中において該別の文字が存在すると想定される別文字存在想定領域の位置が所定範囲に存する場合には、前記一対の文字と該別の文字とが連続して並んでいると判断するものであってもよい。
ここでは検索対象が、所定順序に並んだ少なくとも３以上の文字を含んでいる。そして、検索対象に含まれる前記一対の文字が連続して並んでいると判断する場合、一方文字存在想定領域と他方文字存在想定領域とを含む、第１軸及び第２軸に平行な２辺を有する長方形状の合体領域を生成する。そして、前記一対の文字に連なる文字（該他方の文字に連なる検索対象に含まれる別の文字）の存在を示す類似部分画像検索の結果における該別の文字の比較画像の位置に基づき、処理済画像中において該別の文字が存在すると想定される別文字存在想定領域の位置が合体領域の位置に対して所定範囲に存する場合には、前記一対の文字と該別の文字とが連続して並んでいると判断する。
こうすることで、合体領域の位置と別文字存在想定領域の位置とが所定範囲に存する場合には合体領域に含まれる該一対の文字と該別の文字とが連続して並んでいると判断することから、合体領域の位置と別文字存在想定領域の位置とが所定範囲に存するか否かで該一対の文字と該別の文字とが連続して並んでいるか否かを容易に判断することができる。
【００５０】
検索実施本装置においては、類似部分画像検索手段が、検索対象に含まれる文字それぞれについて、処理済画像に対して相対的に異なる少なくとも２以上の大きさの比較画像を用いた類似部分画像検索に際して対応画像の比較画像に対する類似の度合いを示す類似度を算出し、処理済画像における比較画像の位置それぞれにおいて、該相対的に異なる少なくとも２以上の大きさの比較画像それぞれを用いて行った類似部分画像検索の類似度を比較しその最大値を該位置の代表類似度として、該文字が処理済画像に存するか否かを判断するもの（以下「相対大きさ複数使用本装置」という。）であってもよい。
検索対象に含まれる文字それぞれについて、類似部分画像検索手段が、処理済画像に対して相対的に異なる少なくとも２以上の大きさの比較画像を用いた類似部分画像検索を行い、類似部分画像検索において対応画像の比較画像に対する類似の度合いを示す類似度を算出する。例えば、検索対象が「イロハ」であれば、「イ」、「ロ」、「ハ」それぞれについて、処理済画像に対して相対的に異なる少なくとも２以上の大きさの比較画像を用いた類似部分画像検索を行う。処理済画像に対して相対的に異なる少なくとも２以上の大きさの比較画像とは、処理済画像に対する比較画像の相対的大きさが少なくとも異なる比較画像をいい、処理済画像及び比較画像の一方を他方（大きさ不変）に対して大きさを変化させる場合のみならず、該一方及び該他方の両方の大きさを変化させる場合も含む。そして、類似部分画像検索により、対応画像の比較画像に対する類似の度合いを示す類似度が算出される。このため上述の例では、「イ」、「ロ」、「ハ」それぞれにつき、処理済画像に対して相対的に異なる少なくとも２以上の大きさの比較画像を用いて類似度を算出する。また、類似度は、処理済画像に対する比較画像の位置と関係付けられ、処理済画像に対する比較画像の各位置において、処理済画像に対して相対的に大きさの異なる比較画像を用いた類似度が算出される。
そして、このように処理済画像における比較画像の位置それぞれにおいて、該相対的に異なる少なくとも２以上の大きさの比較画像それぞれを用いて行った類似部分画像検索の類似度を比較しその最大値を該位置の代表類似度とする。そして、相対的に異なる少なくとも２以上の大きさの比較画像により得られた類似度の最大値である各位置の代表類似度により、その文字が処理済画像に存するか否かを判断する。このように処理済画像に対して相対的に大きさの異なる比較画像を用いて得られた類似度の最大値である各位置の代表類似度により文字の存否を判断することで、処理済画像に存する文字と比較画像に存する文字との大きさの違いによる文字の存在判断もれの可能性を減少させることができる。
【００５１】
相対大きさ複数使用本装置においては、検索対象に含まれる文字それぞれについて少なくとも２以上の大きさの比較画像それぞれを用いて処理済画像に対する類似部分画像検索を実行するものであってもよい。
こうすることで処理済画像に比して比較画像は小さいので、少なくとも２以上の大きさとして容易に生成できる。なお処理済画像の大きさを変更することも可能であるが、処理済画像の大きさは一定（不変）として比較画像の大きさのみを変更するようにすれば、大きな処理済画像を拡縮処理する必要がないので処理を容易にすることができる。
【００５２】
検索実施本装置においては、行検出手段が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸及び第２軸に平行な２辺を有し、文字に外接する長方形であるボックスを生成し、類似部分画像検索手段が、ボックスの寸法の代表値に基づき比較画像の寸法を決するものであってもよい。
こうすることで、行検出手段は、文字記載部分に記載された文字の画像を連結成分分析することで文字に外接する長方形（互いに直交する第１軸及び第２軸に平行な２辺を有する）としてボックスを生成する。これによって、ボックス同士の相対的位置関係に基づき行を検出するので、文字自体の画像同士の相対的位置関係に基づき行を検出する場合に比し、相対的位置関係の認識及び判断を容易かつ迅速に行うことができる。そして、類似部分画像検索手段が、検索対象に含まれる１の文字の画像データである比較画像の寸法をボックスの寸法の代表値に基づき決するので、文字記載部分に記載された文字の寸法に近い寸法の文字の画像データたる比較画像を生成しやすくなることから、検索対象に含まれる文字が処理済画像に存するか否かを的確に検索することができる。
なお、ボックスの寸法の代表値としては種々のものとされることができるが、例えば、ボックスの寸法の最頻値等としてもよい。
また、ボックスの寸法の第Ｎ軸（Ｎは１又は２）の代表値に基づき、比較画像の第Ｎ軸（但しＮは、ボックスの寸法の第Ｎ軸におけるＮと同じ。）の寸法を決するようにしてもよい。
【００５３】
検索実施本装置においては、処理済画像に対して比較画像が移動することで類似部分画像検索を実行し、類似部分画像検索手段が、類似部分画像検索に際して対応画像の比較画像に対する類似の度合いを示す類似度を算出し、検索対象に含まれる１の文字に関する類似部分画像検索の結果において該文字の比較画像がある位置に存する際に類似度が所定値以上である場合には、該ある位置に対し所定位置関係に存するエリアに含まれる位置の類似度を比較し、最大の類似度を有する位置である最大類似度位置を定め、該最大類似度位置とは異なる該エリアに含まれる位置に係る類似度を該所定値未満の値に変更する処理を行うもの（以下「エリア使用本装置」という。）であってもよい。
これにより、類似部分画像検索手段が、処理済画像に対して比較画像を移動させて類似部分画像検索を実行し、類似部分画像検索に際して対応画像の比較画像に対する類似の度合いを示す類似度を算出する。そして、検索対象に含まれる１の文字に関する類似部分画像検索の結果において該文字の比較画像がある位置に存する際に類似度が所定値以上である場合には、該ある位置に対し所定位置関係に存するエリアに含まれる位置に関し次の処理を行う。即ち、該処理は、該エリアに含まれる位置の類似度を比較し、該エリアに含まれる位置の中で最大の類似度を有する位置である最大類似度位置を定め、該エリアに含まれる位置のうち該最大類似度位置とは異なる位置に係る類似度を該所定値未満の値に変更する処理である。こうすることで比較画像が該ある位置に存する際に、該比較画像に対応する対応画像が存すると考えられる領域を該エリアに設定することにより、該対応画像以外の文字画像が通常存しない該エリアに属する位置に該比較画像が存する際の類似度が所定値以上であることによる誤動作（該エリアに属する位置に該比較画像が存する際、該比較画像に対応する対応画像が存すると誤って判断すること）を防止又は減少させることができる。
【００５４】
エリア使用本装置においては、行検出手段が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸及び第２軸に平行な２辺を有し、文字に外接する長方形であるボックスを生成し、前記エリアが、ボックスの第１軸に沿った寸法の代表値に基づき定められる第１軸に平行な第１辺と、ボックスの第２軸に沿った寸法の代表値に基づき定められる第２軸に平行な第２辺と、を有する長方形状にされるものであってもよい。
こうすることで、行検出手段は、文字記載部分に記載された文字の画像を連結成分分析することで文字に外接する長方形（互いに直交する第１軸及び第２軸に平行な２辺を有する）としてボックスを生成する。これによって、ボックス同士の相対的位置関係に基づき行を検出するので、文字自体の画像同士の相対的位置関係に基づき行を検出する場合に比し、相対的位置関係の認識及び判断を容易かつ迅速に行うことができる。
そして、類似部分画像検索の結果において該文字の比較画像がある位置に存する際に類似度が所定値以上である場合、該ある位置に対し所定位置関係に存する領域である前記のエリアは、該エリアに含まれる位置に該比較画像が存している際に該比較画像に対応する対応画像が存しないと考えられる領域とすればよいので、文字に外接し文字の大きさを表すボックスの寸法の代表値に基づき定められるようにしてもよい。具体的には、前記のエリアは、ボックスの第１軸に沿った寸法の代表値に基づき定められる第１軸に平行な第１辺と、ボックスの第２軸に沿った寸法の代表値に基づき定められる第２軸に平行な第２辺と、を有する長方形状にされてもよい。ボックスの寸法の代表値としては種々のものとされることができるが、例えば、ボックスの寸法の最頻値等としてもよい。そして、（第１辺の長さ／ボックスの第１軸に沿った寸法の代表値）及び（第２辺の長さ／ボックスの第２軸に沿った寸法の代表値）の比率は、あまり小さいとエリアに属する位置に比較画像が存する際の類似度が所定値以上であることによる誤動作を防止又は低減の効果が十分ではなく、あまり大きいと比較画像に対応する対応画像が存することを認識できなくなる可能性が増加するので、これらを両立する範囲とされてもよい。
【００５５】
エリア使用本装置においては、類似部分画像検索手段が、検索対象に含まれる文字それぞれについて、処理済画像に対して相対的に異なる少なくとも２以上の大きさの比較画像を用いた類似部分画像検索に際して対応画像の比較画像に対する類似の度合いを示す類似度を算出し、処理済画像における比較画像の位置それぞれにおいて、該相対的に異なる少なくとも２以上の大きさの比較画像それぞれを用いて行った類似部分画像検索の類似度を比較しその最大値を該位置の代表類似度として、該文字が処理済画像に存するか否かを判断するものであり、処理済画像に対して相対的に異なる該少なくとも２以上の大きさのうち、最も大きい比較画像と同じ領域に前記エリアが定められるものであってもよい。
検索対象に含まれる文字それぞれについて、類似部分画像検索手段が、処理済画像に対して相対的に異なる少なくとも２以上の大きさの比較画像を用いた類似部分画像検索を行い、類似部分画像検索において対応画像の比較画像に対する類似の度合いを示す類似度を算出する。処理済画像に対して相対的に異なる少なくとも２以上の大きさの比較画像とは、処理済画像に対する比較画像の相対的大きさが少なくとも異なる比較画像をいい、処理済画像及び比較画像の一方を他方（大きさ不変）に対して大きさを変化させる場合のみならず、該一方及び該他方の両方の大きさを変化させる場合も含む。類似度は、処理済画像に対する比較画像の位置と関係付けられ、処理済画像に対する比較画像の各位置において、処理済画像に対して相対的に大きさの異なる比較画像を用いた類似度が算出される。
そして、このように処理済画像における比較画像の位置それぞれにおいて、該相対的に異なる少なくとも２以上の大きさの比較画像それぞれを用いて行った類似部分画像検索の類似度を比較しその最大値を該位置の代表類似度とする。そして、相対的に異なる少なくとも２以上の大きさの比較画像により得られた類似度の最大値である各位置の代表類似度により、その文字が処理済画像に存するか否かを判断する。このように処理済画像に対して相対的に大きさの異なる比較画像を用いて得られた類似度の最大値である各位置の代表類似度により文字の存否を判断することで、処理済画像に存する文字と比較画像に存する文字との大きさの違いによる文字の存在判断もれの可能性を減少させることができる。
そして、処理済画像に対して相対的に異なる該少なくとも２以上の大きさのうち、最も大きい比較画像と同じ領域に前記エリアが定められることで、比較画像に対応する対応画像が存することを認識できなくなる可能性の増加を抑えつつ、大きくエリアをとることでエリアに属する位置に比較画像が存する際の類似度が所定値以上であることによる誤動作を有効に防止又は低減することができる。
【００５６】
検索実施本装置においては、通知手段が、類似部分画像検索の結果に基づき比較画像と対応する対応画像が処理済画像に存すると判断される場合には、処理済画像、撮影画像又は加工画像において対応画像に対応する部分又はその近傍を他の部分と異ならせて表示するもの（以下「表示本装置」という。）であってもよい。
通知手段は、類似部分画像検索の結果に基づき比較画像と対応する対応画像が処理済画像に存すると判断される場合には、該画像処理装置の使用者に該判断を通知するものであるが、処理済画像、撮影画像又は加工画像において対応画像に対応する部分又はその近傍を他の部分と異ならせて表示することにより、該使用者に該判断を通知するようにしてもよい。このように処理済画像、撮影画像又は加工画像において対応画像に対応する部分又はその近傍を他の部分と異ならせて表示することで、検索対象が処理済画像、撮影画像又は加工画像においてどこに存するかを該使用者は知ることができる。
処理済画像、撮影画像又は加工画像において対応画像に対応する部分又はその近傍を他の部分と異ならせて表示することは、該対応画像に対応する部分又はその近傍が他の部分と視覚的に異なるものであれば種々のものを採用でき、該対応画像に対応する部分又はその近傍を他の部分と異なる色彩としたり、該対応画像に対応する部分又はその近傍を枠により囲んだり、該対応画像に対応する部分又はその近傍に下線を付したり、該対応画像に対応する部分又はその近傍に目印（例えば、星印）を付したりすることを例示的に挙げることができる。
【００５７】
表示本装置においては、類似部分画像検索手段が、類似部分画像検索に際して対応画像の比較画像に対する類似の度合いを示す類似度を算出し、通知手段が、対応画像に対応する部分又はその近傍を他の部分と異ならせて表示する表示方法を、類似部分画像検索の結果の類似度の大きさにより異ならせるもの（以下「類似度変更表示本装置」という。）であってもよい。
こうすることで、類似部分画像検索手段が、類似部分画像検索に際して対応画像の比較画像に対する類似の度合いを示す類似度を算出する。そして、通知手段が、対応画像に対応する部分又はその近傍を他の部分と異ならせて表示する表示方法を、類似部分画像検索の結果の類似度の大きさにより異ならせるため、該対応画像の比較画像に対する類似の度合いを表示方法の違いによって容易かつ確実に前記使用者が知ることができる。
表示方法を類似度の大きさにより異ならせることは、類似度の大きさによる表示方法の異なりを使用者が認識できるものであれば特に限定されないが、例えば、対応画像に対応する部分又はその近傍を着色することで他の部分と異ならせて表示する場合であれば、該着色の色を類似度の大きさにより異ならせる（例えば、類似度が大きくなるに従って、青色、黄色、赤色に変化させる。）ことを挙げることができる。
【００５８】
類似度変更表示本装置においては、検索対象が、少なくとも２以上の文字を含んでなり、検索対象に含まれる文字の平均類似度の大きさによって、前記表示方法を異ならせるものであってもよい。
こうすることで、少なくとも２以上の文字を含む検索対象について、検索対象に含まれる文字の平均類似度の大きさによって、前記表示方法を異ならせるので、検索対象全体としての類似の度合い（平均類似度）に応じ、対応画像に対応する部分又はその近傍を他の部分と異ならせて表示する表示方法が異なるので、検索対象全体の存否の可能性を容易かつ確実に前記使用者が知ることができる。
なお、検索対象に含まれる文字の平均類似度としては、各文字に係る類似度の種々の平均値を用いることができるが、例えば、各文字に係る類似度の算術平均値を用いてもよい。
【００５９】
表示本装置においては、通知手段が、撮影画像又は加工画像において対応画像に対応する部分又はその近傍を他の部分と異ならせて表示するものであり、対応画像に対応する部分又はその近傍を他の部分と異ならせて表示する領域が決定された後、該決定された領域が撮影画像又は加工画像において対応する領域を求め、該対応する領域の撮影画像又は加工画像の部分を他の部分と異ならせて表示するもの（以下「対応領域本装置」という。）であってもよい。
ここでは通知手段が、歪みの除去がされていない撮影画像又は加工画像において対応画像に対応する部分又はその近傍を他の部分と異ならせて表示する。こうすることで本装置の使用者は、現実に近い画像（撮影画像、加工画像）において対応画像の位置を確認できるので、現実の状態を把握しやすい。かかる場合、処理済画像において対応画像に対応する部分又はその近傍を他の部分と異ならせて表示する領域が決定され、その後、該決定された領域が撮影画像又は加工画像において対応する領域を求め、該対応する領域の撮影画像又は加工画像の部分を他の部分と異ならせて表示するようにすれば、処理済画像において実行される類似部分画像検索の結果に基づき、処理済画像において対応画像に対応する部分又はその近傍を円滑に決定することができる。
【００６０】
対応領域本装置においては、歪除去手段が行列変換により行方向処理及び行文字寸法処理を行うものであり、前記決定された領域を該行列変換に用いた行列の逆行列により変換することで、該決定された領域が撮影画像又は加工画像において対応する領域を求めるものであってもよい。
歪除去手段が行列変換により行方向処理及び行文字寸法処理を行うものであれば、対応画像に対応する部分又はその近傍を他の部分と異ならせて表示する前記決定された領域を、該行列変換に用いた行列の逆行列によって変換することで、該決定された領域が撮影画像又は加工画像において対応する領域を容易かつ確実に求めることができる。
【００６１】
検索実施本装置においては、類似部分画像検索がテンプレートマッチングであってもよい。
前述の如く、類似部分画像検索としては、様々な方法が用いられてよく何ら限定されるものではなく、テンプレートマッチング、特徴点マッチング、ヒストグラムの比較等を例示的に挙げることができる。とりわけ類似部分画像検索をテンプレートマッチングとすれば、実装が簡単で、処理速度が比較的早いので好ましい。
【００６２】
本装置は、所定のプログラムをコンピュータに実行させることで実現させることができ、さらに、かかるプログラムはコンピュータ読みとり可能な記憶媒体に記録することができる。
【図面の簡単な説明】
【００６３】
【図１】本発明の一実施形態に係る画像処理装置（本装置）のハードウエア構成を示す概略ブロック図である。
【図２】本装置の基本構成を示す機能ブロック図である。
【図３】本装置の動作を示すフローチャート図である。
【図４】全歪分析部の詳細図である。
【図５】連結成分分析によりボックスを決定する方法を模式的に示す図である。
【図６】記憶部に書き込まれた各ボックスの位置と寸法が特定できる情報を模式的に示した表（ボックス情報表）である。
【図７】本装置の動作を示すフローチャート図である。
【図８】ボックス情報表の一例を示す図である。
【図９】重なる領域を有する３個のボックスを１個のボックスに置換する方法を模式的に示す図である。
【図１０】本装置の動作を示すフローチャート図である。
【図１１】ボックス番号が付与されたボックスの状況の一例を示す図である。
【図１２】ボックス情報表の一例を示す図である。
【図１３】ボックス情報表の一例を示す図である。
【図１４】本装置の動作を示すフローチャート図である。
【図１５】対象ボックスと基準ボックスとがＹ方向に沿った重なり領域を有するか否かを判断する際の模式図である。
【図１６】本装置の動作を示すフローチャート図である。
【図１７】ボックス情報表の一例を示す図である。
【図１８】本装置の動作を示すフローチャート図である。
【図１９】各グループに属するボックスのＸ軸方向の最小値及び最大値と、Ｙ軸方向の最小値及び最大値と、を求める際の模式図である。
【図２０】グループ特性表の一例を示す図である。
【図２１】本装置の動作を示すフローチャート図である。
【図２２】グループ特性表に存するグループ番号のうち近似式が記載されているものに関し、この近似式が示すグループの中心位置を求める際の模式図である。
【図２３】距離ｄ及び近似式の傾きａに関する歪特性表の一例を示す図である。
【図２４】歪特性表の一例を示す図である。
【図２５】水平歪を取り除くか減少させるための透視変換を模式的に示す図である。
【図２６】垂直歪を取り除くか減少させるための透視変換を模式的に示す図である。
【図２７】全歪補正部の詳細図である。
【図２８】本装置の動作を示すフローチャート図である。
【図２９】本装置の動作を示すフローチャート図である。
【図３０】本装置の動作を示すフローチャート図である。
【図３１】本装置の動作を示すフローチャート図である。
【図３２】本装置の動作を示すフローチャート図である。
【図３３】グループ特性表にグループ基準線欄を形成した一例を示す図である。
【図３４】本装置の動作を示すフローチャート図である。
【図３５】ボックス情報表に仮補正量及び補正量の欄を設けた一例を示す図である。
【図３６】符号付き距離が仮補正量欄に書き込まれたボックス情報表の一例を示す図である。
【図３７】本装置の動作を示すフローチャート図である。
【図３８】本装置の動作を示すフローチャート図である。
【図３９】本装置の動作を示すフローチャート図である。
【図４０】ボックス情報表に回転角度の欄を設けた一例を示す図である。
【図４１】本装置の動作を示すフローチャート図である。
【図４２】本装置の動作を示すフローチャート図である。
【図４３】本装置の動作を示すフローチャート図である。
【図４４】本装置の動作を示すフローチャート図である。
【図４５】本装置の動作を示すフローチャート図である。
【図４６】チェック領域を模式的に示す図である。
【図４７】候補ボックスの再度作成を模式的に示す図である。
【図４８】本装置の動作を示すフローチャート図である。
【発明を実施するための形態】
【００６４】
以下、本発明の実施の形態を図面を参照して説明する。しかしながら、これらによって本発明は何ら制限されるものではない。
【００６５】
図１は、本発明の一実施形態に係る画像処理装置（本装置）１１のハードウエア構成を示す概略ブロック図である。図１を参照して、一実施形態の本装置１１のハードウエア構成について説明する。本装置１１は、携帯型コンピュータに所定のプログラムを記憶させることで構成されたものであり、該携帯型コンピュータに取り付け接続されたデジタルカメラ部１３と、該携帯型コンピュータに取り付け接続された表示部１５（携帯型コンピュータに内蔵されている。）と、該携帯型コンピュータに取り付け接続された入力部１４（該携帯型コンピュータへ種々の情報を入力するための複数の押しボタンを有するキーボードにより構成されている。かかるキーボードは、該携帯型コンピュータに内蔵されている。）と、が接続されている。なお、ここでは説明及び理解を容易にするため、該携帯型コンピュータのうち本装置１１に関係する部分のみを示している。
【００６６】
本実施形態では、本装置１１は、プログラムを内蔵させたコンピュータによって構成されており、前述の通り、本装置１１はデジタルカメラ部１３と表示部１５と入力部１４と記憶部１８とが接続されている。
本装置１１は、演算処理を行うＣＰＵ１１ａ、ＣＰＵ１１ａの作業領域等となるＲＡＭ１１ｂ、制御プログラム等を記録するＲＯＭ１１ｃ、デジタルカメラ部１３、入力部１４、表示部１５及び記憶部１８と情報のやり取りを行うためのインターフェイス１１ｄと、を有する。なお、ここでは制御プログラム等はＲＯＭ１１ｃに記憶されているが、それ以外の記憶装置（例えば、ハードディスク等）に記憶するようにしてよいことは言うまでもない。
【００６７】
図２に、図１のハードウエアと主としてＲＯＭ１１ｃに記録されるプログラムにより実現される本装置１１の基本構成を示す機能ブロック図を示す。図２を参照して、本装置１１の基本構成について説明する。
本装置１１は、機能的には、前処理部２１と全歪分析部３１と全歪補正部４１と局所歪分析部５１と局所歪補正部６１と文字列処理部７１と統合部８１と出力部９１と記憶部１８とを備えてなる。また、全歪分析部３１と全歪補正部４１とによって全歪処理部３０が構成されると共に、局所歪分析部５１と局所歪補正部６１とによって局所歪処理部５０が構成されている。なお、記憶部１８は、大容量のハードディスクやＳＳＤ（ソリッドステートドライブ）等によって構成されてもよいし、ＲＡＭ１１ｂにより構成されることもできる。
【００６８】
そして、デジタルカメラ部１３は、撮影を命令する撮影命令信号（撮影命令信号をデジタルカメラ部１３に向けて発する部分は図示していない。）を受け取ると、ＲＧＢカラー・モデルによる画像を撮像してその撮像した画像データを前処理部２１に送信する。図３に示すように、前処理部２１は、デジタルカメラ部１３からの画像データを受信したか判断し（ｓ１０１）、デジタルカメラ部１３から画像データを受信したと判断すると（ＹＥＳ）、該画像データを受け付け（該受信した画像データを以下「生画像データ」という。）、生画像データをグレースケール変換しグレースケール画像データを生成すると共に、グレースケール画像データを二値化処理し反転二値化画像データを生成する（以後、これら３の生画像データ、グレースケール画像データ及び反転二値化画像データを「処理対象画像データ」と言う。）（ｓ１０３）。その後、前処理部２１は、これら処理対象画像データを構成する３の画像データを関連付けて記憶部１８に書き込み記憶させる（ｓ１０５）。ｓ１０１にてデジタルカメラ部１３から画像データを受信したと判断しない場合（ＮＯ）、再びｓ１０１へ戻る。
ｓ１０５の記憶部１８への書き込みの後、前処理部２１は、全歪分析部３１に起動信号を送信する（ｓ１０７）。
【００６９】
全歪分析部３１は、図４に示すように、ボックス作成部３２と文字寸法決定部３３とボックス整理部３４とグループ化部３５と中心線決定部３６と水平歪チェック部３７と垂直歪チェック部３８とを有してなる。
【００７０】
前処理部２１からの起動信号を受信したボックス作成部３２は、記憶部１８にアクセスし反転二値化画像データを読み出し取得する（ｓ１１１）。以降、画像内の位置を特定する際に使用する座標系は、処理対象画像データを構成する３のデータいずれにおいても左上を原点とし、右方向を正とするＸ軸、下方向を正とするＹ軸で構成する。その後、ボックス作成部３２は反転二値化画像データを連結成分分析を行うことで、連続した白色の要素を認識し、その連続した要素を囲む最小の長方形を決定する（ｓ１１３）。該長方形の２辺はＸ軸に、他の２辺はＹ軸に平行であり、以降、このような長方形をボックスと言う。
図５は、連結成分分析によりボックスを決定する方法を模式的に示す図である。図５（ａ）には、漢字の「米」が示されており、この「米」に関して連結成分分析を行うと、連続した白色の要素ごとに認識される（図５においては、漢字の「米」が、図示を容易にするため白地に黒色で示されているが、実際の画像では黒色に白抜きの「米」が示されている。）。具体的には、図５（ｂ）に示す「米」の第１画目の部分３０１ａ、図５（ｃ）に示す「米」の第２画目の部分３０１ｂ、そして図５（ｄ）に示す３から６画目の部分の３つの部分３０１ｃが認識される。そして、これら第１画目の部分３０１ａを取り囲む最小の四角形であるボックス３０３ａ、第２画目の部分３０１ｂを取り囲む最小の四角形であるボックス３０３ｂ、そして３から６画目の部分の３つの部分３０１ｃを取り囲む最小の四角形であるボックス３０３ｃを決定する。
【００７１】
ボックス作成部３２は、このようなボックスを決定した後、各ボックスの位置と寸法が特定できる情報を記憶部１８に書き込み記憶させる（ｓ１１５）。図６は、記憶部１８に書き込まれた各ボックスの位置と寸法が特定できる情報を模式的に示した表（以下「ボックス情報表」という。）である。この表は、各ボックス毎に、各ボックスに一義に対応する抽出番号、各ボックスに一義に対応するボックス番号、基準点、Ｘ方向寸法、Ｙ方向寸法、Ｘ方向寸法適否、Ｙ方向寸法適否、グループ番号、直線上の存在、チェック済という１０個の項目が記憶されるようになっている。ここに抽出番号は、連結成分分析により抽出された要素の抽出順に対応するボックスに付与された番号（１〜Ｎ：正の整数）である。基準点は、ボックスが有する４個の角部のうちＸ座標とＹ座標とが最も小さい左上の角部の（Ｘ，Ｙ）座標である。Ｘ方向寸法はボックスのＸ方向の寸法（例えば、ボックス３０３ｃでは寸法ｘｃ）であり、Ｙ方向寸法はボックスのＹ方向の寸法（例えば、ボックス３０３ｃでは寸法ｙｃ）である。なお、基準点、Ｘ方向寸法、Ｙ方向寸法において各ボックスの抽出番号に対応する添字はｔＮ（Ｎは正の整数。具体的には、ｔ１、ｔ２、ｔ３・・・）を用いているが、このｔは抽出番号であることを示すものであり、後述のボックス番号と区別するために用いている。ボックス番号、Ｘ方向寸法適否、Ｙ方向寸法適否、グループ番号、直線上の存在、チェック済みの６項目についてはこの時点では書き込まれておらず空欄である（これらの項目については後述する。）。また、図６の下部には、「Ｘ方向寸法最頻値」及び「Ｙ方向寸法最頻値」の空欄が存するが、これについても後述する。
ボックス作成部３２は、図６のような各ボックスの情報をｓ１１５にて記憶部１８に書き込み記憶させた後、文字寸法決定部３３に起動信号を送信する（ｓ１１７）。
【００７２】
文字寸法決定部３３は、ボックス作成部３２からの起動信号を受信した後、記憶部１８にアクセスし、ボックス情報表の情報からＸ方向寸法の最頻値ＦＸを求め（図６では、Ｘ方向寸法であるＮ個のＳＸｔ１、ＳＸｔ２、ＳＸｔ３・・・・ＳＸｔＮのうち最も多く表れる値）、その最頻値ＦＸを図６下部の「Ｘ方向寸法最頻値」に書き込み記憶させ（ｓ１２１）、さらにボックス情報表の情報からＹ方向寸法の最頻値ＦＹを求め（図６では、Ｙ方向寸法であるＮ個のＳＹｔ１、ＳＹｔ２、ＳＹｔ３・・・・ＳＹｔＮのうち最も多く表れる値）、その最頻値ＦＹを図６下部の「Ｙ方向寸法最頻値」に書き込み記憶させる（ｓ１２３）。
文字寸法決定部３３は、「Ｘ方向寸法最頻値」及び「Ｙ方向寸法最頻値」を記憶部１８のボックス情報表に書き込み記憶させた後、ボックス整理部３４に起動信号を送信する（ｓ１２５）。
【００７３】
図７に示すように、ボックス整理部３４は、文字寸法決定部３３からの起動信号を受信した後、記憶部１８のボックス情報表にアクセスし、Ｘ方向寸法最頻値ＦＸの２倍よりも大きなＸ方向寸法を有するか又はＹ方向寸法最頻値ＦＹの２倍よりも大きなＹ方向寸法を有するボックスの全てを図６のボックス情報表から削除する（ｓ１３１）。
その後、ボックス整理部３４は、図６のボックス情報表に存する各ボックスのＸ方向寸法がＸ方向寸法最頻値ＦＸの７０％以上のものの「Ｘ方向寸法適否」欄に丸印を書き込み記憶させ（ｓ１３３）、図６のボックス情報表に存する各ボックスのＹ方向寸法がＹ方向寸法最頻値ＦＹの７０％以上のものの「Ｙ方向寸法適否」欄に丸印を書き込み記憶させる（ｓ１３５）。
図８は、この状態のボックス情報表の一例を示している。Ｘ方向寸法最頻値としてＦＸが書き込まれると共にＹ方向寸法最頻値としてＦＹが書き込まれている。そして、図６には存在していた番号２、４及び５のボックスがボックス情報表から削除されている（これら番号２、４及び５のボックスは、「Ｘ方向寸法最頻値」の２倍よりも大きなＸ方向寸法を有する及び／又は「Ｙ方向寸法最頻値」の２倍よりも大きなＹ方向寸法を有するため、ボックス情報表から削除されている。）。さらに、Ｘ方向寸法ＳＸｔ１はＸ方向寸法最頻値ＦＸの７０％以上ではないため、「Ｘ方向寸法適否」欄に丸印は書き込まれていないが、Ｙ方向寸法ＳＹｔ１はＹ方向寸法最頻値ＦＹの７０％以上であるため、「Ｙ方向寸法適否」欄に丸印が書き込まれている。
【００７４】
さらに、ボックス整理部３４は、図８のボックス情報表に存するボックスのうち、他のボックスと重なる領域があるか否かを判断（後述のｓ１４１の判断）していないボックスがあるかどうかを判断し（ｓ１３７）、重なる領域があるか否かを判断していないボックスがあると判断した場合（ＹＥＳ）には、重なる領域があるか否かを判断していないボックスのうち抽出番号が最も小さなものを特定する（ｓ１３９）。そして、ｓ１３９にて特定されたボックスが、図８のボックス情報表に存する他のボックスと重なる領域を有するかどうか判断し（ｓ１４１）、他のボックスと重なる領域を有すると判断した場合（ＹＥＳ）には、重なる領域を有するボックス同士を１個のボックスに置換する（ｓ１４３）。ｓ１４３の後、ｓ１３７に戻る。図９は、重なる領域を有する３個のボックスを１個のボックスに置換する方法を模式的に示す図である。ここではボックスＡ、ボックスＢ及びボックスＣが点線の長方形にて示されており、ボックスＡ及びボックスＢは重なる領域Ｚ１を有し、ボックスＢ及びボックスＣは重なる領域Ｚ２を有するので、これら３のボックスＡ、Ｂ、Ｃを取り囲む最小の四角形である新規なボックスＤ（実線）をボックス情報表に登録し（なお、ボックスＤには抽出番号として、ボックス情報表に存するボックスの最高の抽出番号に１を加えたものとする。）、ボックスＡ、Ｂ、Ｃをボックス情報表から削除する。なお、ここではボックスＤをボックス情報表に新しく追加し、ボックスＡ、Ｂ、Ｃをボックス情報表から削除しているが、ボックスＡ、Ｂ、Ｃのいずれか（例えばボックスＡ）の情報にボックスＤの情報を上書きし、該上書きされたボックス以外のボックス（例えばボックスＢ、Ｃ）をボックス情報表から削除するようにしてもよい。
ｓ１４１にて他のボックスと重なる領域を有すると判断しない場合（ＮＯ）には、ｓ１３７に戻る。
ｓ１３７にて重なる領域があるか否かを判断していないボックスがあると判断しない場合（ＮＯ）には、ボックス整理部３４は、グループ化部３５に起動信号を送信する（ｓ１４５）。
【００７５】
図１０に示すように、グループ化部３５は、ボックス整理部３４からのｓ１４５による起動信号を受信した後、記憶部１８にアクセスし、まずボックス情報表に存する各ボックスにボックス番号を付与する（ｓ１５１）。ボックス番号の付与は、基準点のＸ座標が最小のボックスを番号１とし、それからＸ座標が増加するボックスに番号２、３、４、５・・・とする（Ｘ座標が同じボックスが複数存在する場合は、Ｙ座標が大きいものに大きな番号を付す。以下、ボックス番号ｉのボックスを「ボックスｉ」という。）。このようにボックス番号が付与されたボックスの状況の一例を図１１に示す。図１１においては、それぞれの長方形が各ボックスの領域を示し、その長方形の内部に記載された番号（１〜１４）がボックス番号を示している。各ボックスの基準点Ｅ１〜Ｅ１４のＸ座標が最小のボックスを番号１とし、それからＸ座標が増加するボックスに順番にボックス番号を２、３、４・・・と付与しているので（ただし、基準点Ｅ６及びＥ７とはＸ座標が同じであるので、Ｙ座標が大きいＥ７に大きな番号７を付与している。）、ボックス番号が大きいボックスの基準点の方がＸ座標が大きいか又は同じ位置に存する。ｓ１５１の後、グループ化部３５は、図１２に示すように、付与したボックス番号の昇順にボックス情報表を整理する（ｓ１５３）。また、図１２においては、基準点、Ｘ方向寸法、Ｙ方向寸法において各ボックスのボックス番号に対応する添字ｍ（ｍは正の整数。具体的には、１、２、３・・・ｍ）を用いており、これまで用いてきた抽出番号の添字ｔＮと異なる（例えば、ボックス１は抽出番号１７であるので、（ｘ１，ｙ１）は（ｘｔ１７，ｙｔ１７）と同じものである。）。
【００７６】
次いで、グループ化部３５は、グループ番号を０とし（ｓ２０１）、その後、ボックス情報表に含まれるボックスのうち「Ｘ方向寸法適否」及び「Ｙ方向寸法適否」のいずれにも丸印が書き込まれており（このように「Ｘ方向寸法適否」及び「Ｙ方向寸法適否」のいずれにも丸印が書き込まれているボックスを「健全ボックス」という。）かつグループ番号が書き込まれていないボックス（グループ番号空欄健全ボックス）が存在するか否か判断し（ｓ２０３）、存在すると判断した場合（ＹＥＳ）には、最小のボックス番号のグループ番号空欄健全ボックスを開始ボックスとして特定する（ｓ２０５）（図１２の例では、ボックス３）。そして、グループ番号に１を加え（ｓ２０７）、それを新たなグループ番号として、ｓ２０５にて特定した開始ボックスの「グループ番号」の欄にグループ番号を書き込む（ｓ２０９）。なお、ｓ２０３にて存在すると判断しない場合（ＮＯ）には、グループ化部３５は中心線決定部３６に起動信号を送信し（ｓ２０２）、動作を終了する（ＥＮＤ）。
図１３は、上のｓ２０９が完了した図１１のボックスに対応するボックス情報表を模式的に示したものである（但し、図１１のＥｉが図１３の基準点（ｘｉ，ｙｉ）に対応する。ｉは１から１４までの整数である。）。なお、図１３に示すボックス情報表は、この後の処理を説明するための例として作成したものであるので、図１１に示した各ボックスの寸法に応じて「Ｘ方向寸法適否」及び「Ｙ方向寸法適否」を記載したものではない。図１３においては、ボックス６がグループ番号空欄健全ボックスのうち最小のボックス番号のボックスであり、これを開始ボックスとし、ボックス６の「グループ番号」の欄に「１」が書き込まれている。
【００７７】
グループ化部３５は、この開始ボックスを「基準ボックス」として（ｓ２１１）、以下に詳しく述べるような動作で「基準ボックス」に隣接するボックス（以下「隣接ボックス」という。）が存在するか否かを判断する。隣接ボックスの存否判断は、基準ボックスの右側（基準ボックスの基準点のＸ座標以上のＸ座標を有する基準点を有するボックス）のボックスが隣接ボックスか否かを判断する「右側動作」と、基準ボックスの左側（基準ボックスの基準点のＸ座標未満のＸ座標を有する基準点を有するボックス）のボックスが隣接ボックスか否かを判断する「左側動作」と、からなる。
右側動作として、図１４に示すように、グループ化部３５は、記憶部１８に記憶されたボックス情報表に含まれるボックスのうち、「グループ番号」の欄に番号が書き込まれておらず、チェック済の欄が空欄であり（これまで対象ボックスとして以下述べるチェックを受けていないボックス）、かつ基準ボックスのボックス番号よりも大きなボックス番号のボックス（以下「チェック要ボックス」という。）が存するか否かをグループ化部３５は判断し（ｓ２１３）、存すると判断した場合（ＹＥＳ）は、チェック要ボックスのうち最小の番号のボックスを対象ボックスとする（ｓ２１５）。例えば、図１３の場合であれば、ボックス７を対象ボックスとする。なおｓ２１３にて存すると判断しない場合（ＮＯ）には、後述の左側動作（ｓ２５１〜）に行く。
【００７８】
ｓ２１５の後、図１５に示すように、対象ボックスＢｄ２と基準ボックスＢｄ１とがＹ方向に沿った重なり領域（互いの領域が接しているときを含む。）を有するか否か判断する（ｓ２１６）。ｓ２１６にて重なり領域を有すると判断しない場合（ＮＯ）には、対象ボックスのチェック済欄にチェックを書き込み（ｓ２３１）、ｓ２１３に戻る。図１５の例では、Ｙ方向に沿った重なり領域として、対象ボックスＢｄ２は領域Ｒｄ２を、基準ボックスＢｄ１は領域Ｒｄ１を、それぞれ有すると判断される。図１１においてボックス７〜１４のうちボックス１０及び１２が対象ボックスとなった場合には、基準ボックス６とＹ方向に沿った重なり領域を有すると判断されるが、それ以外のボックス７〜９、１１、１３、１４が対象ボックスとなった場合には、基準ボックス６とＹ方向に沿った重なり領域を有すると判断されない。
ｓ２１６にて対象ボックスＢｄ２と基準ボックスＢｄ１とがＹ方向に沿った重なり領域Ｒｄ２、Ｒｄ１を有すると判断した場合（ＹＥＳ）、基準ボックスＢｄ１のＹ座標最大値と対象ボックスＢｄ２のＹ座標最小値との差ｄｙ１と、対象ボックスＢｄ２のＹ座標最大値と基準ボックスＢｄ１のＹ座標最小値との差ｄｙ２と、のいずれもが、「Ｙ方向寸法最頻値」の１．５倍未満であるか判断する（ｓ２１７）。ｓ２１７にて差ｄｙ１及び差ｄｙ２のいずれもが「Ｙ方向寸法最頻値」の１．５倍未満であると判断しない場合（ＮＯ）には、対象ボックスのチェック済欄にチェックを書き込み（ｓ２３１）、ｓ２１３に戻る。
【００７９】
ｓ２１７にて差ｄｙ１及び差ｄｙ２のいずれもが「Ｙ方向寸法最頻値」の１．５倍未満であると判断した場合（ＹＥＳ）は、対象ボックスＢｄ２と基準ボックスＢｄ１との間のＸ方向に沿った間隔ｄｘが、「Ｘ方向寸法最頻値」の２倍未満であるか判断する（ｓ２１８）。ｓ２１８にて間隔ｄｘが、「Ｘ方向寸法最頻値」の２倍未満であると判断した場合（ＹＥＳ）には、ボックス情報表の対象ボックスの「グループ番号」欄にグループ番号を書き込む（ｓ２２１）。ｓ２１８にて間隔ｄｘが、「Ｘ方向寸法最頻値」の２倍未満であると判断しない場合（ＮＯ）には、後述のｓ２５１に行く（左側動作に移行する。）。
ｓ２２１の後、対象ボックスを基準ボックスとする（ｓ２２５）。ｓ２２５の後、チェック済欄の記載を全て削除し（ｓ２２７）、その後ｓ２１３へ戻る。
【００８０】
図１６は、ｓ２１３にて存すると判断しない場合（ＮＯ）と、ｓ２１８にて間隔ｄｘが、「Ｘ方向寸法最頻値」の２倍未満であると判断しない場合（ＮＯ）と、に行う左側動作のフローチャートである。
左側動作として、グループ化部３５は、開始ボックスを「基準ボックス」とする（ｓ２５１）。ｓ２５１の後、グループ化部３５は、記憶部１８に記憶されたボックス情報表に含まれるボックスのうち、「グループ番号」の欄に番号が書き込まれておらず、チェック済の欄が空欄であり（これまで対象ボックスとして以下述べるチェックを受けていないボックス）、かつ基準ボックスのボックス番号よりも小さなボックス番号のボックス（以下「チェック要ボックス」という。）が存するか否かをグループ化部３５は判断し（ｓ２５２）、存すると判断した場合（ＹＥＳ）は、チェック要ボックスのうち最大の番号のボックスを対象ボックスとする（ｓ２５３）。例えば、図１３の場合であれば、ボックス５を対象ボックスとする。なおｓ２５２にて存すると判断しない場合（ＮＯ）には、前述のｓ２０３に行く。
【００８１】
ｓ２５３の後、グループ化部３５は、ｓ２１６について図１５に示したように、対象ボックスと基準ボックスとがＹ方向に沿った重なり領域（互いの領域が接しているときを含む。）を有するか否か判断する（ｓ２５４）。ｓ２５４において対象ボックスと基準ボックスとがＹ方向に沿った重なり領域を有すると判断した場合（ＹＥＳ）、基準ボックスのＹ座標最大値と対象ボックスのＹ座標最小値との差と、対象ボックスのＹ座標最大値と基準ボックスのＹ座標最小値との差と、のいずれもが、「Ｙ方向寸法最頻値」の１．５倍未満であるか判断する（ｓ２５５）。ｓ２５４において対象ボックスと基準ボックスとがＹ方向に沿った重なり領域を有すると判断しない場合（ＮＯ）には、対象ボックスのチェック済欄にチェックを書き込み（ｓ２５９）、ｓ２５２に戻る。ｓ２５５において前記の両方の差のいずれもが「Ｙ方向寸法最頻値」の１．５倍未満であると判断した場合（ＹＥＳ）は、対象ボックスと基準ボックスとの間のＸ方向に沿った間隔が、「Ｘ方向寸法最頻値」の２倍未満であるか判断する（ｓ２５６）。ｓ２５５において前記の両方の差のいずれもが「Ｙ方向寸法最頻値」の１．５倍未満であると判断しない場合（ＮＯ）には、対象ボックスのチェック済欄にチェックを書き込み（ｓ２５９）、ｓ２５２に戻る。ｓ２５６にてＸ方向に沿った間隔が「Ｘ方向寸法最頻値」の２倍未満であると判断した場合（ＹＥＳ）には、グループ化部３５は、ボックス情報表の対象ボックスの「グループ番号」欄にグループ番号を書き込む（ｓ２５７）。ｓ２５６にてＸ方向に沿った間隔が「Ｘ方向寸法最頻値」の２倍未満であると判断しない場合（ＮＯ）には、ｓ２０３へ行く。
ｓ２５７の後、対象ボックスを基準ボックスとする（ｓ２６３）。ｓ２６３の後、チェック済欄の記載を全て削除し（ｓ２６５）、その後ｓ２５２へ戻る。
【００８２】
以上のような処理が完了した後の記憶部１８に記憶されたボックス情報表の一例を図１７に示す。図１７のボックス情報表に含まれるボックスの「グループ番号」には、そのボックスが属するグループを示す番号が記載されている。即ち、「グループ番号」に同じ番号が記載されたボックス同士は、同じグループに属している。
【００８３】
中心線決定部３６は、グループ化部３５からのｓ２０２による起動信号を受信すると、図１８に示すように、各グループ毎に次の動作を行う。
中心線決定部３６は、記憶部１８に記憶されたボックス情報表に含まれる「グループ番号」に記載されたグループ番号に係るグループのうち、後述のｓ２７３以降の処理がなされていないグループ（未処理グループ）が存するか否かを判断し（ｓ２７１）、未処理グループが存すると判断した場合（ＹＥＳ）には、未処理グループのうちで最小のグループ番号を特定する（ｓ２７３）。
そして、中心線決定部３６は、記憶部１８に記憶されたボックス情報表から、ｓ２７３で特定されたグループ番号が記載されたボックスの情報（原点、Ｘ方向寸法、Ｙ方向寸法）を読み出し取得し、それらのボックスの中心（ボックスがなす長方形の対角線の交点）を通る線（以下「中心線」という。）の直線に沿った部分（以下「直線部分」という。）の近似式をＲＡＮＳＡＣの方法（グループ内の全ての２つのボックスの組み合わせについて、その２つのボックスの中心を通る直線に他のボックスが何個載るかを求め、その数が最も大きい直線を１つ定める。)で求め、該求めた中心線に所定個数（例えば１０個）以上のボックスが載るか否か判断する（ｓ２７５）。ｓ２７５にて該所定個数以上のボックスが載る中心線が存すると判断した場合（ＹＥＳ）、該所定個数以上のボックスが載る中心線が複数存する（ボックスが載る個数が、最多の同じ個数の中心線が複数存する）か否か判断し（ｓ２７７）、ｓ２７７にて複数存すると判断した場合（ＹＥＳ）には、直線の傾きが０に近い直線を中心線とする（ｓ２７９）。
【００８４】
ｓ２７５にて該所定個数以上のボックスが載る中心線が存すると判断しない場合（ＮＯ）、「グループ番号」及び「中心線有無」（ｓ２７５の判断：中心線が存すると判断しなかったこと）を記憶するため、後述のｓ２８９へ行く。
中心線決定部３６は、記憶部１８に記憶されたボックス情報表のボックスのうち、ｓ２７７にて複数存すると判断しない場合（ＮＯ）にはｓ２７５にて該所定個数以上のボックスが載ると判断した中心線と、ｓ２７９にて直線の傾きが０に近いものとして選択された中心線と、のいずれかの中心線に載るボックスの「直線上の存在」の欄に丸印を書き込み記憶させる（ｓ２８１）。
【００８５】
さらに、中心線決定部３６は、各グループに属するボックスのＸ軸方向の最小値及び最大値と、Ｙ軸方向の最小値及び最大値と、を求める（ｓ２８３）。具体的には、図１９のように、あるグループにボックスＢ２１、Ｂ２２、Ｂ２３、Ｂ２４、Ｂ２５の５個のボックスが属している場合であれば、これらのボックスＢ２１、Ｂ２２、Ｂ２３、Ｂ２４、Ｂ２５が含む領域のうちＸ軸方向の最小値を与えるのはボックスＢ２１の左辺ＴＬＢ２１であり、Ｘ軸方向の最大値を与えるのはボックスＢ２５の右辺ＴＲＢ２５であるので、このグループについては、左辺ＴＬＢ２１のＸ座標をＸ軸方向の最小値とし、右辺ＴＲＢ２５のＸ座標をＸ軸方向の最大値とする。またボックスＢ２１、Ｂ２２、Ｂ２３、Ｂ２４、Ｂ２５が含む領域のうちＹ軸方向の最小値を与えるのはボックスＢ２５の上辺ＴＵＢ２５であり、Ｙ軸方向の最大値を与えるのはボックスＢ２２の下辺ＴＤＢ２２であるので、このグループについては、上辺ＴＵＢ２５のＹ座標をＹ軸方向の最小値とし、下辺ＴＤＢ２２のＹ座標をＹ軸方向の最大値とする。
【００８６】
そして、中心線決定部３６は、記憶部１８に記憶されたボックス情報表の各グループに属するボックスのうち、「直線上の存在」の欄に丸印が付けられると共に「Ｘ方向寸法適否」の欄に丸印が付けられたボックスの個数としてＸ方向平均値算出個数と、それらのボックスのＸ方向寸法の平均値を求める（ｓ２８５）。さらに、中心線決定部３６は、記憶部１８に記憶されたボックス情報表の各グループに属するボックスのうち、「直線上の存在」の欄に丸印が付けられると共に「Ｙ方向寸法適否」の欄に丸印が付けられたボックスの個数としてＹ方向平均値算出個数と、それらのボックスのＹ方向寸法の平均値を求める（ｓ２８７）。
ｓ２８７の後、ｓ２７１からｓ２８７の動作を行ったグループに関し、「グループ番号」（この番号により一義にグループを特定できる。）、「中心線有無」（ｓ２７５の判断）、「近似式」（中心線の直線部分の近似式）、「Ｘ最大値」（グループに属するボックスのＸ軸方向の最大値）、「Ｘ最小値」（グループに属するボックスのＸ軸方向の最小値）、「Ｙ最大値」（グループに属するボックスのＹ軸方向の最大値）、「Ｙ最小値」（グループに属するボックスのＹ軸方向の最小値）、「Ｘ平均」（「直線上の存在」及び「Ｘ方向寸法適否」の欄に丸印が付けられたボックスのＸ方向寸法の平均値）、「Ｘ個数」（Ｘ平均を算出するために用いたＸ方向平均値算出個数）、「Ｙ平均」（「直線上の存在」及び「Ｙ方向寸法適否」の欄に丸印が付けられたボックスのＹ方向寸法の平均値）、「Ｙ個数」（Ｙ平均を算出するために用いたＹ方向平均値算出個数）について中心線決定部３６は記憶部１８に記憶させる（ｓ２８９）。
ｓ２８９の後、ｓ２７１に戻る。
【００８７】
ｓ２７１にて未処理グループが存すると判断しない場合（ＮＯ）には、ｓ２７１からｓ２８７の動作を行った各グループに関する「グループ番号」、「中心線有無」、「近似式」、「Ｘ最大値」、「Ｘ最小値」、「Ｙ最大値」、「Ｙ最小値」、「Ｘ平均」、「Ｘ個数」、「Ｙ平均」、「Ｙ個数」について中心線決定部３６は記憶部１８から読み出し取得し（ｓ２９１）、それに基づき中心線決定部３６は、図２０に示すようなグループ特性表を作成し記憶部１８に記憶させる（ｓ２９３）。図２０のグループ特性表は、各グループ毎に、「グループ番号」、「近似式」、「Ｘ最大値」、「Ｘ最小値」、「Ｙ最大値」、「Ｙ最小値」、「Ｘ平均」、「Ｘ個数」、「Ｙ平均」、「Ｙ個数」が具体的な数値を用いて記載されている。なお、図２０中のグループ番号２及び５のグループは、いずれの欄も空欄であるが、これはボックスが載る個数が所定個数以上の直線部分の近似式が決定できなかったためである。
中心線決定部３６は、ｓ２９３の後、水平歪チェック部３７に起動信号を送信する（ｓ２９５）。
【００８８】
水平歪チェック部３７は、図２１に示すように、中心線決定部３６から起動信号を受信した後、記憶部１８にアクセスしグループ特性表（図２０）に存するグループ番号のうち近似式が記載されているものに関し、この近似式が示すグループの中心位置を求める（ｓ６０１）。具体的には、グループ特性表のＹ最小値ＹｍとＹ最大値ＹＭとの算術平均Ｙａを求める。図２２に示すように、このＹａは、生画像データ４０１の上縁４０３から該中心位置（Ｘａ、Ｙａ）までの距離ｄを示す。
水平歪チェック部３７は、グループ特性表（図２０）に存し近似式が記載されているグループそれぞれについて、図２３のような距離ｄ（即ち、Ｙａ）及び近似式の傾きａに関する表（以下「歪特性表」という。）を記憶部１８に書き込み記憶させる（ｓ６０３）。そして、（ｄ１、ａ１）、（ｄ３、ａ３）、（ｄ４、ａ４）、（ｄ６、ａ６）、・・・・・のｄとａとの関係を近似する一次式（ａ＝Ｍ１×ｄ＋Ｎ１。但しＭ１及びＮ１は定数である。）を求め、歪特性表の「水平歪特性式」の欄に記入し記憶させる（ｓ６０５）。なお、歪特性表には、「文字サイズ」及び「垂直歪特性式」の欄が存するが、これは後で書き込まれるものであるので、この時点では空欄である。
その後、水平歪チェック部３７は、垂直歪チェック部３８に起動信号を送信する（ｓ６０７）。
【００８９】
垂直歪チェック部３８は、水平歪チェック部３７からの起動信号を受信すると、次のように各グループ毎の文字サイズＫを求める。垂直歪チェック部３８は、記憶部１８にアクセスし、グループ特性表（図２０）において、Ｘ個数の合計値（図２０においてはＮＸ１＋ＮＸ３＋ＮＸ４＋ＮＸ６＋・・・）であるＸ個数合計値を求めると共に、Ｙ個数の合計値（図２０においてはＮｙ１＋Ｎｙ３＋Ｎｙ４＋Ｎｙ６＋・・・）であるＹ個数合計値を求める（ｓ６０９）。そして、垂直歪チェック部３８は、Ｘ個数合計値がＹ個数合計値よりも多いか否か判断し（ｓ６１１）、Ｘ個数合計値がＹ個数合計値よりも多いと判断した場合（ＹＥＳ）は、垂直歪チェック部３８は、各グループについて、記憶部１８にアクセスしグループ特性表（図２０）から「Ｘ平均」の値を読み出し取得し、該値を歪特性表の「文字サイズ」の欄に書き込み記憶させる（ｓ６１３）（この場合、後述の図２４におけるＫ１＝Ｘａ１、Ｋ３＝Ｘａ３、Ｋ４＝Ｘａ４、Ｋ６＝Ｘａ６・・・とされる。）。ｓ６１１にてＸ個数合計値がＹ個数合計値よりも多いと判断しない場合（ＮＯ）は、垂直歪チェック部３８は、各グループについて、記憶部１８にアクセスしグループ特性表（図２０）から「Ｙ平均」の値を読み出し取得し、該値を歪特性表の「文字サイズ」の欄に書き込み記憶させる（ｓ６１５）（この場合、後述の図２４におけるＫ１＝Ｙａ１、Ｋ３＝Ｙａ３、Ｋ４＝Ｙａ４、Ｋ６＝Ｙａ６・・・とされる。）。
【００９０】
ｓ６１３及びｓ６１５の後、垂直歪チェック部３８は、グループ番号を文字サイズＫの添字とすると（例えば、グループ番号１の文字サイズはＫ１として示す。）、（ｄ１、Ｋ１）、（ｄ３、Ｋ３）、（ｄ４、Ｋ４）、（ｄ６、Ｋ６）、・・・・・のｄとＫとの関係を近似する一次式（Ｋ＝Ｍ２×ｄ＋Ｎ２。但しＭ２及びＮ２は定数である。）を求め、図２４に示すように、歪特性表の「垂直歪特性式」の欄に記入し記憶させる（ｓ６１７）。
その後、垂直歪チェック部３８は、全歪補正部４１（基礎座標書込部４２）に起動信号を送信する（ｓ６１９）。
【００９１】
ｓ６１９により垂直歪チェック部３８から発せられた起動信号を受信した全歪補正部４１は、後に詳述するように、記憶部１８に記憶されている処理対象画像データをそれぞれ透視変換することで、これら３の画像データが全体として有している歪（全歪）を取り除くか減少させる。透視変換は、図２５に示すような水平歪と、図２６に示すような垂直歪と、を取り除くか減少させるための透視変換行列を求め、これを用いて処理対象画像データを変換することによる。図２５の水平歪は、図２５（ａ）に示すように、本来長方形の画像１１１（実線で示すもの）が撮影方向等によって右縁１１１ｄ側が拡大されると共に左縁１１１ｃ側が縮小されることで台形の画像１０３（点線で示すもの）となる場合と、図２５（ｂ）に示すように、本来長方形の画像１１１（実線で示すもの）が撮影方向等によって右縁１１１ｄ側が縮小されると共に左縁１１１ｃ側が拡大されることで台形の画像１０３（点線で示すもの）となる場合と、を含む。そして、図２６の垂直歪は、図２６（ａ）に示すように、本来長方形の画像１１１（実線で示すもの）が撮影方向等によって上縁１１１ａ側が拡大されると共に下縁１１１ｂ側が縮小されることで台形の画像１０７（点線で示すもの）となる場合と、図２６（ｂ）に示すように、本来長方形の画像１１１（実線で示すもの）が撮影方向等によって上縁１１１ａ側が縮小されると共に下縁１１１ｂ側が拡大されることで台形の画像１０９（点線で示すもの）となる場合と、を含む。
そして、以下述べるように、図２５の水平歪を取り除くか減少させるための透視変換行列と、図２６の垂直歪を取り除くか減少させるための透視変換行列と、を別個に求め、さらにそれら２の透視変換行列の積を求め、該積たる透視変換行列により透視変換を行う。
【００９２】
全歪補正部４１は、図２７に示すように、基礎座標書込部４２、水平歪分析部４３、垂直歪分析部４４、行列形成部４５、変換部４６を含んでなる。
垂直歪チェック部３８からｓ６１９による起動信号を受信した基礎座標書込部４２は、図２８に示すように、記憶部１８にアクセスし、記憶部１８が記憶している処理対象画像データを読み出し取得する（ｓ６３１）。以降、処理対象画像データの縦寸法（縦画素数)をＨ、横寸法（横画素数）をＷとする。
そして、基礎座標書込部４２は、Ｐａ１（０，０）、Ｐａ２（Ｗ，０）、Ｐａ３（０，Ｈ）、Ｐａ４（Ｗ，Ｈ）を記憶部１８に書き込み記憶させ（ｓ６３３）、水平歪分析部４３に起動信号を送信する（ｓ６３５）。なお、Ｐａ１（０，０）、Ｐａ２（Ｗ，０）、Ｐａ３（０，Ｈ）、Ｐａ４（Ｗ，Ｈ）は、歪みがない場合の本来の長方形画像１１１の４の角部である。
【００９３】
基礎座標書込部４２からのｓ６３５による起動信号を受信した水平歪分析部４３は、記憶部１８にアクセスし、記憶部１８が記憶している歪特性表（図２４）に書き込まれている水平歪特性式（ａ＝Ｍ１×ｄ＋Ｎ１）を読み出し取得する（ｓ６３７）。水平歪特性式は、図２２に示したように、画像データの上縁からの距離ｄに応じて傾きａがどのように変化するかを示すものである。このため図２５の水平歪を含む台形画像１０３（縦２辺はそれぞれ処理対象画像データの縦２辺と辺の一部または全部を共有する。）の４の角部をＰ１、Ｐ２、Ｐ３、Ｐ４とそれぞれすれば、水平歪特性式のｄに０を代入した際のａの値ａ０（＝Ｎ１）は、点Ｐ１と点Ｐ２とを結ぶ線１０３ａの傾きを近似するものである。即ち、ａ０が負であれば、図２５（ａ）に示すが如く線１０３ａは右上がりとなり、ａ０が正であれば、図２５（ｂ）に示すが如く線１０３ａは右下がりとなる。
水平歪分析部４３は、上記したａ０を計算する（ｓ６３９）。さらに、Ｐ１とＰａ１とのＹ座標の差と、Ｐ２とＰａ２とのＹ座標の差と、を示す（ａ０×（Ｗ／２））を算出し、Ｐ１とＰ２との座標を算出する（ｓ６４１）。このＰ１及びＰ２の（Ｘ、Ｙ）座標は、図２５（ａ）及び図２５（ｂ）のいずれであっても、Ｐ１（０，−ａ０×（Ｗ／２））とＰ２（Ｗ，ａ０×（Ｗ／２））とで示される。
【００９４】
更に、水平歪特性式（ａ＝Ｍ１×ｄ＋Ｎ１）のｄにＨ（縦寸法（縦画素数））を代入した際のａの値ａｅ（＝Ｍ１×Ｈ＋Ｎ１）を求めれば、値ａｅは、点Ｐ３と点Ｐ４とを結ぶ線１０３ｂの傾きを近似するものである。即ち、ａｅが正であれば、図２５（ａ）に示すが如く線１０３ｂは右下がりとなり、ａｅが負であれば、図２５（ｂ）に示すが如く線１０３ｂは右上がりとなる。
水平歪分析部４３は、処理対象画像データの縦寸法Ｈを用いてａｅを計算する（ｓ６４３）。そして水平歪分析部４３は、Ｐ３とＰａ３とのＹ座標の差と、Ｐ４とＰａ４とのＹ座標の差と、を示す（ａｅ×（Ｗ／２））を算出し、Ｐ３とＰ４との座標を算出する（ｓ６４５）。このＰ３及びＰ４の（Ｘ、Ｙ）座標は、図２５（ａ）及び図２５（ｂ）のいずれであっても、Ｐ３（０，Ｈ−ａｅ×（Ｗ／２））とＰ４（Ｗ，Ｈ＋ａｅ×（Ｗ／２））とで示される。
その後、水平歪分析部４３は、この算出した４の座標Ｐ１（０，−ａ０×（Ｗ／２））、Ｐ２（Ｗ，ａ０×（Ｗ／２））、Ｐ３（０，Ｈ−ａｅ×（Ｗ／２））及びＰ４（Ｗ，Ｈ＋ａｅ×（Ｗ／２））を記憶部１８に書き込み記憶させる（ｓ６４７）。
その後、水平歪分析部４３は、垂直歪分析部４４に起動信号を送信する（ｓ６４９）。
【００９５】
水平歪分析部４３からのｓ６４９による起動信号を受信した垂直歪分析部４４は、図２９に示すように、記憶部１８にアクセスし、記憶部１８が記憶している歪特性表（図２４）に書き込まれている垂直歪特性式（Ｋ＝Ｍ２×ｄ＋Ｎ２）を読み出し取得する（ｓ６５１）。垂直歪特性式は、画像データの上縁からの距離ｄに応じて文字サイズＫ（Ｘ平均又はＹ平均）がどのように変化するかを示すものである。このため垂直歪特性式のｄに０を代入した際のＫの値Ｋ０（＝Ｎ２）を求めれば、値Ｋ０は、点Ｐａ１と点Ｐａ２とを結ぶ線１１１ａ上の文字サイズをほぼ近似するものである。そして、垂直歪特性式のｄにＨ（縦寸法（縦画素数））を代入した際のＫの値Ｋｅ（＝Ｍ２×Ｈ＋Ｎ２）を求めれば、値Ｋｅは、点Ｐａ３と点Ｐａ４とを結ぶ線１１１ｂ上の文字サイズをほぼ近似するものである。このため撮影対象が複数行にわたる同一サイズの文字の場合は、ＫｅよりもＫ０が大きければ、撮影方向等によって下側から上側に向かって次第に文字サイズが大きくなっている可能性が高い。これとは逆に、ＫｅよりもＫ０が小さければ、撮影方向等によって上側から下側に向かって次第に文字サイズが大きくなっている可能性が高い。そして、図２６の垂直歪を含む台形画像１０７、１０９（横２辺はそれぞれ処理対象画像データの横２辺と辺の一部または全部を共有する。）の４の角部をＰ１、Ｐ２、Ｐ３、Ｐ４とすれば、上底Ｐ１Ｐ２と下底Ｐ３Ｐ４の長さの比はＫ０とＫｅとの比で近似できる。さらに、画像データの上下中央部分を垂直歪の影響を受けていない基準部分とすると、垂直歪による上底と下底の一方の増加量と他方の減少量は等しくなる。その量を｜ｆ｜とすると、台形画像１０７、１０９と長方形画像１１１との各角部の距離（Ｐ１とＰａ１との間の距離、Ｐ２とＰａ２との間の距離、Ｐ３とＰａ３との間の距離、Ｐ４とＰａ４との間の距離）は図２６に示すように全て｜ｆ｜／２となる。
【００９６】
垂直歪分析部４４は、記憶部１８にアクセスし記憶部１８が記憶しているＨ（縦寸法（縦画素数））及びＷ（横寸法（横画素数））を取得（ｓ６５３）した後、Ｋ０及びＫｅを計算する（ｓ６５５）。
ｆの値については、図２６（ｂ）に示すようなＫ０よりもＫｅが大きい時に正の値を取ると定めると、上底、下底の長さはそれぞれ（Ｗ−ｆ）、（Ｗ＋ｆ）と表され、この比はＫ０とＫｅの比で近似できることから、垂直歪分析部４４は、「（Ｗ−ｆ）：（Ｗ＋ｆ）＝Ｋ０：Ｋｅ」の式におけるｆを求める（ｓ６５７）。図２６（ａ）に示すようなＫ０よりもＫｅが小さい時も同様の式でｆを求められる。さらに、垂直歪分析部４４は、該求めたｆを用いてＰ１、Ｐ２、Ｐ３、Ｐ４の座標を算出する（ｓ６５９）。これらの（Ｘ、Ｙ)座標は、それぞれＰ１（（ｆ／２）、０）、Ｐ２（（Ｗ−ｆ／２）、０）、Ｐ３（（−ｆ／２）、Ｈ）、Ｐ４（（Ｗ＋ｆ／２）、Ｈ）で示される。
Ｐ１、Ｐ２、Ｐ３、Ｐ４の座標を算出した垂直歪分析部４４は、この算出した座標を記憶部１８に書き込み記憶させる（ｓ６６１）。
その後、垂直歪分析部４４は、行列形成部４５に起動信号を送信する（ｓ６６３）。
【００９７】
以上のようにして、水平歪分析部４３及び垂直歪分析部４４によって記憶部１８に書き込み記憶された座標をまとめると次の通りである。
（１）水平歪分析部４３によって書き込まれたもの
・Ｐ１（０，−ａ０×（Ｗ／２））
・Ｐ２（Ｗ，ａ０×（Ｗ／２））
・Ｐ３（０，Ｈ−ａｅ×（Ｗ／２））
・Ｐ４（Ｗ，Ｈ＋ａｅ×（Ｗ／２））
（２）垂直歪分析部４４によって書き込まれたもの
・Ｐ１（（ｆ／２）、０）
・Ｐ２（（Ｗ−ｆ／２）、０）
・Ｐ３（（−ｆ／２）、Ｈ）
・Ｐ４（（Ｗ＋ｆ／２）、Ｈ）
【００９８】
垂直歪分析部４４からｓ６６３による起動信号を受信した行列形成部４５は、図３０に示すように、記憶部１８にアクセスし、まず、水平歪分析部４３によって書き込まれたＰ１（０，−ａ０×（Ｗ／２））、Ｐ２（Ｗ，ａ０×（Ｗ／２））、Ｐ３（０，Ｈ−ａｅ×（Ｗ／２））及びＰ４（Ｗ，Ｈ＋ａｅ×（Ｗ／２））の各座標を読み出し取得する（ｓ６７１）。そして、行列形成部４５は、Ｐ１がＰａ１（０，０）に、Ｐ２がＰａ２（Ｗ，０）、Ｐ３がＰａ３（０，Ｈ）に、そしてＰ４がＰａ４（Ｗ，Ｈ）に、それぞれ変換される透視変換行列である水平歪透視変換行列Ｊ１を求め記憶部１８に書き込み記憶させる（ｓ６７３）。
【００９９】
さらに、行列形成部４５は、記憶部１８にアクセスし、垂直歪分析部４４によって書き込まれたＰ１（（ｆ／２）、０）、Ｐ２（（Ｗ−ｆ／２）、０）、Ｐ３（（−ｆ／２）、Ｈ）及びＰ４（（Ｗ＋ｆ／２）、Ｈ）の各座標を読み出し取得する（ｓ６７５）。そして、行列形成部４５は、Ｐ１がＰａ１（０，０）に、Ｐ２がＰａ２（Ｗ，０）に、Ｐ３がＰａ３（０，Ｈ）に、そしてＰ４がＰａ４（Ｗ，Ｈ）に、それぞれ変換される透視変換行列である垂直歪透視変換行列Ｊ２を求め記憶部１８に書き込み記憶させる（ｓ６７７）。
【０１００】
最後に、行列形成部４５は、記憶部１８にアクセスし、水平歪透視変換行列Ｊ１と垂直歪透視変換行列Ｊ２とを読み出し取得し（ｓ６７９）、それら２の透視変換行列Ｊ２、Ｊ１の積（Ｊ２、Ｊ１の順の積）を求め、該積たる両歪透視変換行列Ｊｔを記憶部１８に書き込み記憶させる（ｓ６８１）と共に、変換部４６に起動信号を送信する（ｓ６８３）。
【０１０１】
行列形成部４５からｓ６８３による起動信号を受信した変換部４６は、図３１に示すように、記憶部１８にアクセスし、両歪透視変換行列Ｊｔを読み出し取得すると共に、記憶部１８に記憶されている処理対象画像データ（生画像データ、グレースケール画像データ、反転二値化画像データ）を読み出し取得する（ｓ６９１）。そして、変換部４６は、両歪透視変換行列Ｊｔによって生画像データを透視変換し（ｓ６９２）、該透視変換した生画像データ（以下「透視変換生画像データ」という。）を記憶部１８に書き込み記憶させる（ｓ６９３）。
そして、変換部４６は、生画像データと同様に、グレースケール画像データについても両歪透視変換行列Ｊｔによって透視変換し（ｓ６９４）、該透視変換した画像データ（以下「透視変換グレースケール画像データ」という。）を記憶部１８に書き込み記憶させる（ｓ６９５）。さらに、変換部４６は、生画像データと同様に、反転二値化画像データについても両歪透視変換行列Ｊｔによって透視変換し（ｓ６９６）、該透視変換した画像データ（以下「透視変換反転二値化画像データ」という。）を記憶部１８に書き込み記憶させる（ｓ６９７）。
これらの透視変換処理の全てを完了した変換部４６は、局所歪分析部５１に起動信号を送信する（ｓ６９８）。
【０１０２】
変換部４６からｓ６９８による起動信号を受信した局所歪分析部５１は、図３２に示すように、記憶部１８にアクセスし、図２０に示したグループ特性表に「グループ基準線欄」（図３３参照）を形成する（ｓ３０１）。ｓ３０１の後、局所歪分析部５１は、記憶部１８にアクセスし、図３３のグループ特性表に存するグループのうち、グループ基準線が決定されていないグループ（即ち「グループ基準線欄」にグループ基準線データが書き込まれていないグループ）で最小のグループ番号のものを特定する（ｓ３０３）。そして、局所歪分析部５１は、ｓ３０３にて特定したグループに近似式が存在するか否か判断し（ｓ３０５）、近似式が存在すると判断した場合（ＹＥＳ）には（例えば、図３３においてはグループ番号１、３、４、６）、近似式をグループ基準線としてグループ基準線欄に書き込む（ｓ３０７）。ｓ３０５にて、近似式が存在すると判断しない場合（ＮＯ）には（例えば、図３３においてはグループ番号２、５）、図１７に示したボックス情報表において該グループに属するボックスのＹ座標低値（例えば、ボックス番号をｉとすると基準点（ｘｉ，ｙｉ）を構成するｙｉである。）のうち最小のＹ座標を特定すると共に、図１７に示したボックス情報表において該グループに属するボックスのＹ座標高値（例えば、ボックス番号をｉとすると、基準点（ｘｉ，ｙｉ）及びＹ方向寸法ＳＹｉに基づき、（ｙｉ＋ＳＹｉ）により算出できる。）のうち最大のＹ座標を特定し（ｓ３０９）、該最小のＹ座標と該最大のＹ座標との算術平均値を算出し、Ｙ＝該算術平均値をグループ基準線としてグループ基準線欄に書き込む（ｓ３１１）。
ｓ３０７及びｓ３１１の後、図３３のグループ特性表に存するグループのうち、グループ基準線が決定されていないグループが存するか否か判断し（ｓ３１３）、グループ基準線が決定されていないグループが存すると判断した場合（ＹＥＳ）にはｓ３０３に戻り、グループ基準線が決定されていないグループが存すると判断しない場合（ＮＯ）には、後述のｓ３２１へ行く。
【０１０３】
ｓ３１３にて、グループ基準線が決定されていないグループが存すると判断しない場合（ＮＯ）には、局所歪分析部５１は、図３４に示すように、記憶部１８にアクセスし、図１７に示したボックス情報表に図３５（ボックス情報表の一部を省略している）のように「仮補正量」及び「補正量」の欄を設ける（ｓ３２１）。そして、図３５のボックス情報表において「仮補正量」が書き込まれていないグループのうち、グループ番号が最小のものを特定する（ｓ３２３。）。なお、図３５では、グループ番号記載欄を含むボックス情報表の一部を省略しているが、実際には、図１７のように各グループに属するボックスのグループ番号記載欄には、グループ番号が記載されている。
【０１０４】
ｓ３２３の後、局所歪分析部５１は、ｓ３２３で特定したグループ番号に係るグループに属するボックスのうち、「Ｙ方向寸法適否」欄に「○」が書き込まれているボックスが存するか否か判断し（ｓ３２５）、「Ｙ方向寸法適否」欄に「○」が書き込まれているボックスが存すると判断した場合（ＹＥＳ）、最小のボックス番号のものを特定する（ｓ３２７）。そして、局所歪分析部５１は、ｓ３２７で特定されたボックス番号に係るボックスの重心位置と、該ボックスが属するグループに係るグループ基準線と、のＹ方向に平行な符号付き距離を計算し、該符号付き距離を図３５の仮補正量欄に書き込み記憶させる（ｓ３２９）。具体的には、ボックスの重心位置は、ボックス情報表（図３５）においてボックス番号をｉとすると、基準点（ｘｉ，ｙｉ）、Ｘ方向寸法ＳＸｉ、Ｙ方向寸法ＳＹｉに基づき、（（ｘｉ＋Ｓｘｉ／２），（ｙｉ＋ＳＹｉ／２））により算出できる。そして、グループ基準線が、前記近似式により構成されるものであれば、前記近似式のＸ座標に重心Ｘ座標（ｘｉ＋Ｓｘｉ／２）を代入し算出したＹ座標を基準Ｙ座標とし、グループ基準線が、前記したＹ＝該算術平均値であれば、該算術平均値を基準Ｙ座標とし、該符号付き距離を（（基準Ｙ座標）−（ｙｉ＋ＳＹｉ／２））として算出することができる。
ｓ３２９の後、ｓ３２５に戻る。
【０１０５】
ｓ３２５にて、「Ｙ方向寸法適否」欄に「○」が書き込まれているボックスが存すると判断しない場合（ＮＯ）、ボックス情報表（図３５）に仮補正量が書き込まれていないグループが存するか否か判断し（ｓ３３１）、仮補正量が書き込まれていないグループが存すると判断した場合（ＹＥＳ）にはｓ３２３に戻り、仮補正量が書き込まれていないグループが存すると判断しない場合（ＮＯ）には、後述のｓ３５１に行く。
このようにしてｓ３２９により前記符号付き距離が仮補正量欄に書き込まれたボックス情報表を図３６に示す。図３６のボックス情報表に存するボックスのうち、「Ｙ方向寸法適否」欄に「○」が書き込まれているボックスの仮補正量には、仮補正量として前記符号付き距離が書き込まれている（以降の説明を簡単にするため、ボックス番号ｉの仮補正量をＣｉとしている。）。
【０１０６】
ｓ３３１にて仮補正量が書き込まれていないグループが存すると判断しない場合（ＮＯ）には、局所歪分析部５１は、図３６に示されたボックス情報表に存するボックスそれぞれの補正量を算出し「補正量」欄に書き込む。図３７に示すように、具体的には、図３６のボックス情報表に、「Ｙ方向寸法適否」欄に「○」が書き込まれていると共に補正量が書き込まれていないボックスが存するか否か判断し（ｓ３５１）、かかるボックスが存すると判断した場合（ＹＥＳ）、かかるボックスのうちボックス番号が最小のものを特定する（ｓ３５３）。そして、ｓ３５３にて特定したボックスが属するグループに属し該ボックスを挟む「Ｙ方向寸法適否」欄に「○」が書き込まれている一対のボックスが存するか否か判断し（ｓ３５７）、該一対のボックスが存すると判断した場合（ＹＥＳ）、該ボックスの仮補正量と該一対のボックスの仮補正量との３の仮補正量の算術平均値を算出し、図３６に示されたボックス情報表における該ボックスの補正量に該算術平均値を書き込む（ｓ３５９）（該ボックスの仮補正量をＣｊとし、該一対のボックスの一方のボックスの仮補正量をＣｋとし、該一対のボックスの他方のボックスの仮補正量をＣｌとすると、（（Ｃｊ＋Ｃｋ＋Ｃｌ）／３）を該ボックスの補正量とする。）。なお、ｓ３５７の判断は、該ボックスが属するグループに属し「Ｙ方向寸法適否」欄に「○」が書き込まれたボックスが、該ボックスのボックス番号よりも大きなものと、該ボックスのボックス番号よりも小さなものと、の両方が存在すれば、該グループに属し該ボックスを挟む「Ｙ方向寸法適否」欄に「○」が書き込まれている一対のボックスが存すると判断する。
【０１０７】
ｓ３５７にて、該一対のボックスが存すると判断しない場合（ＮＯ）、該グループに属し「Ｙ方向寸法適否」欄に「○」が書き込まれたボックスが該ボックス以外に存するか否か判断し（ｓ３７１）、「○」が書き込まれたボックスが該ボックス以外に存すると判断した場合（ＹＥＳ）には、「○」が書き込まれたボックスのうち該ボックスに最も近いボックスを特定する（ｓ３７３）。そして、該最も近いボックスの仮補正量と、該ボックスの仮補正量と、の算術平均値を求め、該ボックスの補正量に該算術平均値を書き込む（ｓ３７５）。ｓ３７１にて、「○」が書き込まれたボックスが該ボックス以外に存すると判断しない場合（ＮＯ）には、該ボックスの仮補正量を該ボックスの補正量に書き込む（ｓ３７７）。
ｓ３５９、ｓ３７５及びｓ３７７の後、ｓ３５１へ行く。
ｓ３５１にて、「Ｙ方向寸法適否」欄に「○」が書き込まれていると共に補正量が書き込まれていないボックスが存すると判断しない場合（ＮＯ）には、後述のｓ４０１へ行く。
【０１０８】
ｓ３５１にてＮＯと判断した場合は、局所歪分析部５１は、図３６に示されたボックス情報表に存するボックスのうち、「Ｙ方向寸法適否」欄に「○」が書き込まれていないボックスの補正量を算出し「補正量」欄に書き込む。図３８に示すように、具体的には、図３６のボックス情報表に、「Ｙ方向寸法適否」欄に「○」が書き込まれていないと共に補正量が書き込まれていないボックスが存するか否か判断し（ｓ４０１）、かかるボックスが存すると判断した場合（ＹＥＳ）、かかるボックスのうちボックス番号が最小のものを特定する（ｓ４０３）。そして、ｓ４０３にて特定したボックスが属するグループに属し該ボックスを挟む「Ｙ方向寸法適否」欄に「○」が書き込まれている一対のボックスが存するか否か判断し（ｓ４０７）、該一対のボックスが存すると判断した場合（ＹＥＳ）、該一対のボックスに係る２の仮補正量と、該ボックスから該一対のボックスまでのＸ軸方向距離と、を用い、該ボックスの補正量を算出し、該ボックスの補正量欄に書き込む（ｓ４０９）。
該補正量算出は、該一対のボックスに係る２の仮補正量をＣｐ、Ｃｑ（但しｐ及びｑは正の整数）とし、該一対のボックスのうちの一方（ボックスｐ）と該ボックスとの間のＸ軸方向に沿った距離をｄｐとし、該一対のボックスのうちの他方（ボックスｑ）と該ボックスとの間のＸ軸方向に沿った距離をｄｑとし、そして該ボックスの補正量をＣｏとすれば、式「（Ｃｏ−Ｃｐ）：（Ｃｑ−Ｃｏ）＝ｄｐ：ｄｑ」によりＣｏを求める（なお、Ｃｐ及びＣｑは、図３６に示されたボックス情報表から得られ、ｄｐ及びｄｑは、該一対のボックスと該ボックスとの３のボックスそれぞれの重心位置のＸ座標から求めることができる。）。
【０１０９】
ｓ４０７にて、該一対のボックスが存すると判断しない場合（ＮＯ）、該グループに属し「Ｙ方向寸法適否」欄に「○」が書き込まれたボックスが存するか否か判断し（ｓ４１１）、「○」が書き込まれたボックスが存すると判断した場合（ＹＥＳ）には、「○」が書き込まれたボックスのうち該ボックスに最も近いボックスを特定する（ｓ４１３）。そして、該最も近いボックスの仮補正量を該ボックスの補正量に書き込む（ｓ４１５）。
ｓ４０９、ｓ４１１のＮＯの判断及びｓ４１５の後、ｓ４０１へ行く。
ｓ４０１にて、「Ｙ方向寸法適否」欄に「○」が書き込まれずかつ補正量が書き込まれていないボックスが存すると判断しない場合（ＮＯ）には、後述のｓ５０１へ行く。
【０１１０】
ｓ４０１にて、ボックスが存すると判断しない場合（ＮＯ）には、図３９に示すように、局所歪分析部５１は、図３６に示されたボックス情報表に、図４０に示すように「回転角度」の欄を設ける（ｓ５０１）。
その後、局所歪分析部５１は、図４０に示されたボックス情報表の「回転角度」欄に回転角度が書き込まれていないボックスが存するか否か判断する（ｓ５０３）。ｓ５０３にて回転角度が書き込まれていないボックスが存すると判断した場合（ＹＥＳ）、回転角度が未記入のボックスのうちボックス番号が最小のものを特定する（ｓ５０５）。
そして、ｓ５０５にて特定したボックスが属するグループに属し該ボックスを挟む「Ｙ方向寸法適否」欄に「○」が書き込まれている一対のボックスが存するか否か判断し（ｓ５０７）、該一対のボックスが存すると判断した場合（ＹＥＳ）、該一対のボックスに係る２の補正量と、該ボックスから該一対のボックスまでのＸ軸方向距離と、を用い、該ボックスの回転角度を算出し、該ボックスの回転角度欄に書き込む（ｓ５１１）。この回転角度算出は、該一対のボックスに係る２の補正量をＱｐ、Ｑｑ（但しｐ及びｑは正の整数）とし、該一対のボックスのうちの一方（ボックスｐ）と該ボックスとの間のＸ軸方向に沿った距離をｄｐとし、該一対のボックスのうちの他方（ボックスｑ）と該ボックスとの間のＸ軸方向に沿った距離をｄｑとすると、該ボックスの回転角度ｒｄは、式「ｔａｎ（ｒｄ）＝（Ｑｐ−Ｑｑ）／（ｄｐ＋ｄｑ）」にて近似され、該式からｒｄを求める（なお、Ｑｐ及びＱｑは、図４０に示されたボックス情報表から得られ、ｄｐ及びｄｑは、該一対のボックスと該ボックスとの３のボックスそれぞれの重心位置のＸ座標から求めることができる。）。
【０１１１】
ｓ５０７にて、該一対のボックスが存すると判断しない場合（ＮＯ）、ｓ５０５にて特定したボックスが属するグループに属し「Ｙ方向寸法適否」欄に「○」が書き込まれたボックスが該ボックス以外に存するか否か判断し（ｓ５１３）、「○」が書き込まれたボックスが該ボックス以外に存すると判断した場合（ＹＥＳ）には、「○」が書き込まれたボックスのうち該ボックスに最も近いボックスを特定する（ｓ５１５）。そして、該最も近いボックスの補正量と、ｓ５０５にて特定した該ボックスの補正量と、これら両ボックス間のＸ軸方向距離と、を用い、該ボックスの回転角度を算出し、該ボックスの回転角度欄に書き込む（ｓ５１７）。ｓ５１３にて、「○」が書き込まれたボックスが該ボックス以外に存すると判断しない場合（ＮＯ）には、０度を該ボックスの補正量に書き込む（ｓ５１９）。なお、ｓ５１７における回転角度算出は、ｓ５０５にて特定した該ボックスに係る補正量をＱｐとし、ｓ５１５にて特定した該最も近いボックスに係る補正量をＱｑ（但しｐ及びｑは正の整数）とし、ｓ５０５にて特定した該ボックスとそれに該最も近いボックスとの間のＸ軸方向に沿った距離をｄｐｑとすると、該ボックスの回転角度ｒｄは、式「ｔａｎ（ｒｄ）＝（Ｑｐ−Ｑｑ）／（ｄｐｑ）」にて近似され、該式からｒｄを求める（なお、Ｑｐ及びＱｑは、図４０に示されたボックス情報表から得られ、ｄｐｑは、ｓ５０５にて特定した該ボックスとそれに該最も近いボックスそれぞれの重心位置のＸ座標から求めることができる。）。なお、補正量が未記入のボックスについては、その補正量を０として上記の処理を行う。
ｓ５１１、ｓ５１７及びｓ５１９の後、ｓ５０３に戻る。
ｓ５０３にて回転角度が書き込まれていないボックスが存すると判断しない場合（ＮＯ）、局所歪分析部５１は局所歪補正部６１に起動信号を送信し（ｓ５２５）、後述のｓ７０１へ行く。
【０１１２】
局所歪分析部５１からｓ５２５による起動信号を受信した局所歪補正部６１は、図４１に示すように、記憶部１８にアクセスし、記憶部１８が記憶している透視変換グレースケール画像データを記憶部１８にコピーする（ｓ７０１。ここでコピーした透視変換グレースケール画像データを「コピー画像データ」といい、ｓ７０１の元になった透視変換グレースケール画像データを「オリジナル画像データ」という。）。
そして、局所歪補正部６１は、記憶部１８にアクセスし、図４０に示されたボックス情報表に存在するグループ番号（図４０のボックス情報表は、グループ番号の部分の図示を省略しているが、実際には図１７に示すようにグループ番号が書き込まれている。）のうち、未処理のグループに係る最小のグループ番号を選択する（ｓ７０３。ｓ７０３にて選択されたグループ番号に係るグループを「選択グループ」という。）。さらに、図４０に示されたボックス情報表に存在するボックスのうち、選択グループに属する未処理（ｓ７０７の処理が行われていない）のボックスであって最小のボックス番号のボックスを選択する（ｓ７０５）。
【０１１３】
局所歪補正部６１は、ｓ７０５にて選択されたボックスに係る補正量が空欄又は「０」であるか否かを判断し（ｓ７０７）、補正量が空欄又は「０」であると判断した場合（ＹＥＳ）はｓ７０５に戻る。ｓ７０７にて、補正量が空欄又は「０」であると判断しない場合（ＮＯ）は、局所歪補正部６１は、ｓ７０５にて選択されたボックスに含まれる画像データを、記憶部１８が記憶しているオリジナル画像データから切り出し取得する（ｓ７０９）。なお、ｓ７０５にて選択されたボックスの位置は、図４０に示されたボックス情報表に存する基準点、Ｘ方向寸法及びＹ方向寸法によって決定できるので、オリジナル画像データからその決定した位置と同じ位置の画像を切り出し取得することができる。
ｓ７０９の後、ｓ７０５にて選択されたボックスに係る回転角度（図４０のボックス情報表に存する。）を局所歪補正部６１は取得し、ｓ７０９にて取得した切り出し画像を該回転角度分だけ回転させる（ｓ７１１）。ｓ７１１の回転は、回転させるボックスの重心（ボックスは長方形であるので、該長方形の対角線の交点に一致する。）を中心として、該切り出し画像を該回転角度分だけ回転させるように処理する。
【０１１４】
ｓ７１１の回転の後、ｓ７１１にて回転された画像から、該回転された画像内の図形（文字）を囲むボックスを求め、該ボックスに含まれる部分を切り出す（ｓ７１３）。
ｓ７１３にて切り出された画像を、局所歪補正部６１は、記憶部１８が記憶しているコピー画像データに上書きする（ｓ７１５）。ｓ７１５の上書きは、コピー画像データにおいて、ｓ７０５にて選択されたボックスに係る補正量分だけ変位した位置に該切り出された画像を上書きする。この補正量分だけ変位した位置は、オリジナル画像データ内での該切り出された画像の重心のＹ座標に補正量を加えることにより算出される。
ｓ７１５の後、選択グループに属する全てのボックスを処理したか否か判断し（ｓ７１７）、全てのボックスを処理したと判断しない場合（ＮＯ）はｓ７０５に戻る。ｓ７１７にて、全てのボックスを処理したと判断した場合（ＹＥＳ）は、図４０に示されたボックス情報表に存在するグループ番号の全てに係るグループを処理したか否かを判断し（ｓ７１９）、全てに係るグループを処理したと判断しない場合（ＮＯ）はｓ７０３に戻り、全てに係るグループを処理したと判断した場合（ＹＥＳ）は局所歪補正部６１は文字列処理部７１に起動信号を送信する（ｓ７２１）。
【０１１５】
局所歪補正部６１からｓ７２１による起動信号を受信した文字列処理部７１は、図４２に示すように、記憶部１８に予め記憶されている検索すべき文字列（以下「検索文字列」という。）を記憶部１８から読み出し取得する（ｓ８０１）。
検索文字列を構成する文字のうち、未処理かつ最前に存する文字を選択する（ｓ８０３）。
マッチング結果表を２種類作成し、記憶部１８に書き込み記憶させる（ｓ８０５）。２種類のマッチング結果表のうちの一方（以下「個別結果表」という。）は、ｓ８０３にて選択した文字を表したテンプレートを、ｓ７１３にて切り出された画像をｓ７１５にて上書きされたコピー画像データ（以下「上書きコピー画像データ」という。）にテンプレートマッチングした際の結果を表すものであり、他方（以下「全体結果表」という。）は、複数（ここでは３）の文字サイズ毎の個別結果表に表された同じ位置の類似度の最大値を示すものである。
【０１１６】
ｓ８０５の後、文字列処理部７１は、ｓ８０３にて選択された文字を第１の大きさにて表した画像（以下「第１文字画像」という。）を形成する（ｓ８０７）。なお、ここでは第１の大きさとして、Ｘ方向はＸ方向寸法最頻値ＦＸと同じ寸法とし、Ｙ方向はＹ方向寸法最頻値ＦＹと同じ寸法とする（ＦＸ及びＦＹは、図４０のボックス情報表から読み出す。）。ｓ８０７にて作成した第１文字画像をテンプレートとして上書きコピー画像データにテンプレートマッチングし（ｓ８０９）、その類似度を個別結果表に書き込む（ｓ８１１）。なお、テンプレート画像の４の角のうちＸ座標及びＹ座標のいずれも最小の左上の角の位置を上書きコピー画像データに含まれる各画素の位置（但し、上書きコピー画像データのＸ軸方向の寸法をＷとし、Ｙ軸方向の寸法をＨとすると、該角の位置は、Ｘ軸方向は（Ｗ−ＦＸ＋１）の幅で移動し、Ｙ軸方向は（Ｈ−ＦＹ＋１）の幅で移動する。）に置いた際の類似度を、該角の画素位置と関連付けて個別結果表が記録する。この該角の画素位置を示す位置要素と、その類似度と、が関連付けられたデータを以下「要素」という。
【０１１７】
ｓ８１１の後、文字列処理部７１は、ｓ８０３にて選択された文字を第２の大きさにて表した画像（以下「第２文字画像」という。）を形成する（ｓ８１３）。なお、ここでは第２の大きさとして、第１の大きさ（ＦＸ×ＦＹ）の（９／８）倍（即ち、（（９／８）ＦＸ×（９／８）ＦＹ））とする。ｓ８１３にて作成した第２文字画像をテンプレートとして上書きコピー画像データにテンプレートマッチングする（ｓ８１５）。そして、後述のｓ８１９に関して未判断の要素を選択し（ｓ８１７）、その選択された要素に係るｓ８１５にて得られた類似度が、該要素に対応する画素位置に係る個別結果表（既に第１文字画像による類似度が各要素毎に書き込まれている。）に書き込まれている類似度よりも大きいか否か判断し（ｓ８１９）、大きいと判断した場合（ＹＥＳ）には、ｓ８１５にて得られた類似度を該要素に係る類似度として個別結果表に上書きする（ｓ８２１）。ｓ８１９にて大きいと判断しない場合（ＮＯ）と、ｓ８２１の後と、は、全ての要素についてｓ８１９の判断をしたか否か判断し（ｓ８２３）、全ての要素についてｓ８１９の判断をしたと判断した場合（ＹＥＳ）には、後述のｓ８２５へ行き、全ての要素についてｓ８１９の判断をしたと判断しない場合（ＮＯ）には、ｓ８１７に戻る。
【０１１８】
ｓ８２３の後、文字列処理部７１は、図４３に示すように、ｓ８０３にて選択された文字を第３の大きさにて表した画像（以下「第３文字画像」という。）を形成する（ｓ８２５）。なお、ここでは第３の大きさとして、第１の大きさ（ＦＸ×ＦＹ）の（５／４）倍（即ち、（（５／４）ＦＸ×（５／４）ＦＹ））とする。ｓ８２５にて作成した第３文字画像をテンプレートとして上書きコピー画像データにテンプレートマッチングする（ｓ８２７）。そして、後述のｓ８３１に関して未判断の要素を選択し（ｓ８２９）、その選択された要素に係るｓ８２７にて得られた類似度が、該要素に対応する画素位置に係る個別結果表（既に類似度が各要素毎に書き込まれている。）に書き込まれている類似度よりも大きいか否か判断し（ｓ８３１）、大きいと判断した場合（ＹＥＳ）には、ｓ８２７にて得られた類似度を該要素に係る類似度として個別結果表に上書きする（ｓ８３３）。ｓ８３１にて大きいと判断しない場合（ＮＯ）と、ｓ８３３の後と、は、全ての要素についてｓ８３１の判断をしたか否か判断し（ｓ８３５）、全ての要素についてｓ８３１の判断をしたと判断した場合（ＹＥＳ）には、後述のｓ８４１へ行き、全ての要素についてｓ８３１の判断をしたと判断しない場合（ＮＯ）には、ｓ８２９に戻る。
【０１１９】
ｓ８３５の後、文字列処理部７１は、図４４に示すように、個別結果表の中の要素のうち、後述のｓ８４３に関して未判断の要素を選択し（ｓ８４１）、その選択された要素に係る個別結果表に書き込まれた類似度が、しきい値（ここでは具体的には０．８）以上か否か判断する（ｓ８４３）。ｓ８４３にて該類似度がしきい値以上であると判断した場合（ＹＥＳ）には、ｓ８４１にて選択された要素に係る画素位置をＸ座標及びＹ座標がいずれも最小の角の位置とする長方形（Ｘ軸に平行な２辺の長さが（５／４）ＦＸであり、Ｙ軸に平行な２辺の長さが（５／４）ＦＹである。）であるチェックエリアに含まれる要素の類似度のうち最大のもの及びそれに係る画素位置を見つける（ｓ８４５）。ｓ８４３にて該類似度がしきい値以上であると判断しない場合（ＮＯ）には、後述のｓ８４９へ行く。
ｓ８４５の後、ｓ８４５にて見つけた要素の類似度を全体結果表の同じ位置の要素にコピーする（ｓ８４６）。そして、個別結果表のチェックエリアに含まれる全ての要素の類似度に「０」を上書きする（ｓ８４７）。
【０１２０】
ｓ８４７の後、ｓ８４３の判断を全ての要素について行ったか判断し（ｓ８４９）、全ての要素についてｓ８４３の判断をしたと判断した場合（ＹＥＳ）には、ｓ８０３にて選択された文字を全体結果表に関連付けて記憶部１８に記憶させる（ｓ８５１）。ｓ８４９にて、全ての要素についてｓ８４３の判断をしたと判断しない場合（ＮＯ）には、ｓ８４１に戻る。
ｓ８５１の後、ｓ８０１にて取得した検索文字列に含まれる文字の全てについて処理（ｓ８０３からｓ８５１までの処理）したか否か判断し（ｓ８５３）、検索文字列に含まれる文字の全てについて処理したと判断した場合（ＹＥＳ）には、後述のｓ９０１へ行き、検索文字列に含まれる文字の全てについて処理したと判断しない場合（ＮＯ）には、ｓ８０３へ戻る。
【０１２１】
ｓ８５３にて、検索文字列に含まれる文字の全てについて処理したと判断した場合（ＹＥＳ）には、文字列処理部７１は、図４５に示すように、検索文字列を構成する各文字毎に形成された全体結果表（各文字と関連付けられて記憶されている。）を用いて、画像中に検索文字列が存するか否かを検出する。
即ち、文字列処理部７１は、検索文字列を構成する文字のうち最初の文字を特定し、該最初の文字に係る全体結果表（以下「頭文字全体結果表」という。）を記憶部１８から読み出し取得する（ｓ９０１）。その後、頭文字全体結果表に含まれる要素に後述のｓ９０７の判断をしていない未判断の要素が存するか否か判断し（ｓ９０３）、未判断の要素が存すると判断した場合（ＹＥＳ）には、未判断の要素を選択する（ｓ９０５）。ｓ９０３にて、未判断の要素が存すると判断しない場合（ＮＯ）には、統合部８１に起動信号を送信する（ｓ９２７）。
【０１２２】
ｓ９０５にて未判断の要素を選択した文字列処理部７１は、該選択した要素の類似度が０ではないか判断し（ｓ９０７）、該選択した要素の類似度が０ではないと判断した場合（ＹＥＳ）、０ではないと判断した類似度を記憶する（ここで記憶した類似度は、後述のｓ９２１での類似度合計に用いられる。）と共に、候補ボックスを作成する（ｓ９０９）。ここに候補ボックスとは、ｓ９０５にて選択された要素の位置を、ボックスの基準点（ボックスが有する４個の角部のうちＸ座標とＹ座標とが最も小さい左上の角部の（Ｘ，Ｙ）座標）とする長方形であり、Ｘ軸に平行な一対の辺の長さが（（５／４）×ＦＸ）（但し、ＦＸはＸ方向寸法の最頻値）であり、Ｙ軸に平行な一対の辺の長さが（（５／４）×ＦＹ）（但し、ＦＹはＹ方向寸法の最頻値）であるものをいう。ｓ９０７にて、該選択した要素の類似度が０ではないと判断しない場合（ＮＯ、即ち、該類似度が０である場合）、ｓ９０３に戻る。
【０１２３】
ｓ９０９にて候補ボックスを作成した文字列処理部７１は、チェック領域を作成する（ｓ９１１）。図４６に示すように、ｓ９０５にて選択された要素の位置をボックスの基準点Ｅとし、（（５／４）×ＦＸ）×（（５／４）×ＦＹ）の長方形たる候補ボックスＢｃが作成されている。そして、チェック領域Ｕは、一対の辺（該辺の長さは、（３／２）×（５／４）×ＦＸ）がＸ軸に平行かつ他の一対の辺（該辺の長さは、（５／４）×ＦＹ）がＹ軸に平行な長方形の領域であり、１の角部Ｕａが候補ボックスＢｃ内の点、具体的にはＸ座標がＢｃの右端よりも（１／２）×（５／４）×ＦＸだけ左でありＹ座標がＢｃの上端よりも（１／２）×（５／４）×ＦＹだけ下である点に位置するものである。
そして、検索文字列を構成する文字のうち、現在の候補ボックスに含まれている最後尾の文字の次の文字を特定する（ｓ９１３）（例えば、検索文字列が「小麦粉」であり、候補ボックスに「小」のみが含まれていれば該次の文字は「麦」であり、候補ボックスに「小麦」のみが含まれていれば該次の文字は「粉」である。）。その後、文字列処理部７１は、ｓ９１３で特定した該次の文字に係る全体結果表を記憶部１８から読み出し取得する（ｓ９１５）。
【０１２４】
ｓ９１５にて取得した全体結果表の要素のうち、ｓ９１１にて設定したチェック領域Ｕに含まれるものの類似度が０でないものが存するか否か判断し（ｓ９１７）、チェック領域Ｕに類似度が０でないものが存すると判断した場合（ＹＥＳ）、候補ボックスを再度作成する（ｓ９１９）。候補ボックスの再度作成は、図４７に示すように、現在の候補ボックスＢｅ１（点線）と、ｓ９１７にてチェック領域Ｕに類似度が０でない要素をボックスの基準点とし、Ｘ軸に平行な一対の辺の長さが（（５／４）×ＦＸ）であり、Ｙ軸に平行な一対の辺の長さが（（５／４）×ＦＹ）である追加ボックスＢｅ２（点線）と、を新しい候補ボックスＢｎ（実線）にするものである。なお、図４７においては、新しい候補ボックスＢｎ（実線）とボックスＢｅ１、Ｂｅ２との間に隙間が存するが、これは図示及び理解を容易にするためであり、実際には、新しい候補ボックスＢｎは、ボックスＢｅ１、Ｂｅ２を含む最も小さな長方形（一対の辺はＸ軸に平行で、他の一対の辺はＹ軸に平行である。）にされる。その後、追加ボックスＢｅ２の基準点となった要素に関する類似度を類似度合計に加える（ｓ９２１）。このｓ９２１の動作により、類似度合計値として、新しい候補ボックスの元になった候補ボックスの基準点となった要素に関する類似度の合計値が計算される。
【０１２５】
ｓ９２１の後、検索文字列に含まれる文字のうち最初の文字以外の全文字について処理したか判断し（ｓ９２３）、最初の文字以外の全文字について処理したと判断しない場合（ＮＯ）にはｓ９１１に戻る。そして、ｓ９２３にて最初の文字以外の全文字について処理したと判断した場合（ＹＥＳ）には、候補ボックスの文字数によって類似度合計値を除して平均類似度を算出した後、候補ボックスの基準点、Ｘ軸方向寸法及びＹ軸方向寸法に加え、平均類似度を記憶部１８に書き込み記憶させる（ｓ９２５）。ｓ９２５の後、ｓ９０３に戻る。
【０１２６】
ｓ９２７にて文字列処理部７１から発せられた起動信号を受信した統合部８１は、図４８に示す如く、記憶部１８に記憶されている候補ボックスのうち、後述のｓ９３３〜ｓ９４１の処理がされていない未処理の候補ボックスが存するか否か判断し（ｓ９３１）、未処理の候補ボックスが存すると判断しない場合（ＮＯ）、出力部９１に起動信号を送信する（ｓ９４３）。ｓ９３１にて、未処理の候補ボックスが存すると判断した場合（ＹＥＳ）、未処理の候補ボックスの基準点、Ｘ軸方向寸法、Ｙ軸方向寸法及び平均類似度を読み出し取得する（ｓ９３３）。
【０１２７】
統合部８１は、ｓ９３３にて読み出し取得した候補ボックスの基準点、Ｘ軸方向寸法及びＹ軸方向寸法に基づき、候補ボックスの４の角部（候補ボックスが形成する長方形の４の角部）の座標を算出する（ｓ９３５）。
そして、統合部８１は、記憶部１８から両歪透視変換行列Ｊｔを読み出し取得し、Ｊｔの逆行列を求める（ｓ９３７）。
その後、統合部８１は、ｓ９３５で算出した候補ボックスの４の角部の座標を、ｓ９３７で求めた逆行列により変換する（ｓ９３９）。
ｓ９３９の後、ｓ９３９にて変換した４の角部の座標と、ｓ９３３にて読み出した平均類似度と、を関連付けて記憶部１８に書き込み記憶させる（ｓ９４１）。ｓ９４１の後、ｓ９３１に戻る。
【０１２８】
統合部８１からｓ９４３にて発せられた起動信号を受信した出力部９１は、ｓ９４１にて記憶された４の角部の座標及び平均類似度を候補ボックス毎に全て読み出し取得する（ｓ９４５）。そして、出力部９１は、記憶部１８から生画像データを読み出し取得すると共に、各候補ボックスの平均類似度に応じた色彩によって該４の角部を有する四角形を、該取得した生画像データに上書きした表示用の画像データを形成し、該表示用の画像データを表示部１５に出力し（ｓ９４７。これにより表示部１５に画像が表示される。）、動作を終了する（ＥＮＤ）。
食品や薬品パッケージの原材料表記、成分表記や、新聞や雑誌の記事をカメラ付きの携帯デバイスにより撮影した場合、ほとんどの場合に撮影方向による歪みや対象物自身の形状の歪みを含む。本装置１１を用いることで、このような撮影画像の中から特定のアレルギー物質や、人の名前等を見つけ出し強調表示することが可能となる。
【０１２９】
以上説明したように、本装置１１は、複数行の文字が表された文字記載部分を含む撮影画像（生画像データ）又は撮影画像（生画像データ）を加工した加工画像（グレースケール画像データ、反転二値化画像データ）である被処理画像（ここでは生画像データ、グレースケール画像データ及び反転二値化画像データ）に含まれる歪みを除去又は減少する画像処理装置であって、被処理画像（生画像データ、グレースケール画像データ、反転二値化画像データ）における文字記載部分に記載された文字が互いに連続することで形成される行を検出する行検出手段（ここではボックス作成部３２と文字寸法決定部３３とボックス整理部３４とグループ化部３５とを含んでなる。）と、行検出手段（ボックス作成部３２と文字寸法決定部３３とボックス整理部３４とグループ化部３５）により検出された行のうち少なくとも２以上の行の方向を検出する行方向検出手段（ここでは中心線決定部３６と水平歪チェック部３７とを含んでなる。）と、行検出手段（ボックス作成部３２と文字寸法決定部３３とボックス整理部３４とグループ化部３５）により検出された行のうち少なくとも２以上の行それぞれに属する文字の寸法を検出する行文字寸法検出手段（ここでは垂直歪チェック部３８を含んでなる。）と、行方向検出手段（中心線決定部３６と水平歪チェック部３７）により検出された少なくとも２以上の行の方向が互いに平行又は平行に近づくよう処理する行方向処理（水平歪透視変換行列Ｊ１を含む両歪透視変換行列Ｊｔによる生画像データの透視変換（ｓ６９２）、グレースケール画像データの透視変換（ｓ６９４）及び反転二値化画像データの透視変換（ｓ６９６））と、行文字寸法検出手段（垂直歪チェック部３８）により検出された少なくとも２以上の行それぞれに属する文字の寸法が同一又は近づくよう処理する行文字寸法処理（垂直歪透視変換行列Ｊ２を含む両歪透視変換行列Ｊｔによる生画像データの透視変換（ｓ６９２）、グレースケール画像データの透視変換（ｓ６９４）及び反転二値化画像データの透視変換（ｓ６９６））と、を被処理画像（生画像データ、グレースケール画像データ、反転二値化画像データ）に行う歪除去手段（ここでは全歪補正部４１を含んでなる。）と、を備えてなる、画像処理装置である。
【０１３０】
本装置１１においては、行方向処理（水平歪透視変換行列Ｊ１を含む両歪透視変換行列Ｊｔによる生画像データの透視変換（ｓ６９２）、グレースケール画像データの透視変換（ｓ６９４）及び反転二値化画像データの透視変換（ｓ６９６））は、行方向検出手段（中心線決定部３６と水平歪チェック部３７）により検出された少なくとも２以上の行の方向（ここでは近似式の傾きａ）と、該２以上の行の被処理画像における位置（ここでは図２２に示すように、画像データの上縁から中心位置（Ｘａ、Ｙａ）までの距離ｄ）と、に基づき処理されるものである。
【０１３１】
本装置１１においては、行方向処理（水平歪透視変換行列Ｊ１を含む両歪透視変換行列Ｊｔによる生画像データの透視変換（ｓ６９２）、グレースケール画像データの透視変換（ｓ６９４）及び反転二値化画像データの透視変換（ｓ６９６））は、被処理画像において行方向が変化する行方向歪が被処理画像全体に生じていると仮定し、撮影方向に対して垂直な仮想上の平面である仮想垂直面に存する仮想の長方形の４の角部（ここではＰａ１（０，０）、Ｐａ２（Ｗ，０）、Ｐａ３（０，Ｈ）、Ｐａ４（Ｗ，Ｈ））が被処理画像において位置するであろう４の位置（図２５におけるＰ１、Ｐ２、Ｐ３、Ｐ４）を、行方向検出手段（中心線決定部３６と水平歪チェック部３７）により検出された前記少なくとも２以上の行の方向（近似式の傾きａ）と、該２以上の行の被処理画像における位置（距離ｄ）と、により予測し（ｓ６３９、ｓ６４１、ｓ６４３、ｓ６４５。Ｐ１（０，−ａ０×（Ｗ／２））、Ｐ２（Ｗ，ａ０×（Ｗ／２））、Ｐ３（０，Ｈ−ａｅ×（Ｗ／２））、Ｐ４（Ｗ，Ｈ＋ａｅ×（Ｗ／２）））、該予測した４の位置が、行方向歪が存在しない場合の被処理画像における該長方形の４の角部の位置（Ｐａ１（０，０）、Ｐａ２（Ｗ，０）、Ｐａ３（０，Ｈ）、Ｐａ４（Ｗ，Ｈ））それぞれに一致させるようにする処理である。
【０１３２】
本装置１１においては、被処理画像が長方形（Ｘ軸方向寸法：Ｗ、Ｙ軸方向寸法：Ｈ）を略なすものであり、行方向歪が存在しない場合の被処理画像における前記長方形の４の角部の位置（Ｐａ１（０，０）、Ｐａ２（Ｗ，０）、Ｐａ３（０，Ｈ）、Ｐａ４（Ｗ，Ｈ））が、被処理画像が形成する長方形の４の角部の位置である。
【０１３３】
本装置１１においては、被処理画像において位置するであろう前記４の位置（Ｐ１（０，−ａ０×（Ｗ／２））、Ｐ２（Ｗ，ａ０×（Ｗ／２））、Ｐ３（０，Ｈ−ａｅ×（Ｗ／２））、Ｐ４（Ｗ，Ｈ＋ａｅ×（Ｗ／２）））の予測は、行方向検出手段（中心線決定部３６と水平歪チェック部３７）により検出された前記少なくとも２以上の行の方向（近似式の傾きａ）と、該２以上の行の被処理画像における位置（距離ｄ）と、に基づき、仮想垂直面に存する仮想の長方形の４辺のうち行間方向に沿った互いに平行な一対の辺（ここでは左縁１１１ｃ、右縁１１１ｄ）の、行方向歪が存在する場合の被処理画像における両端の位置（左縁１１１ｃについてはＰ１及びＰ３、右縁１１１ｄについてはＰ２及びＰ４）を求めることで、前記仮想の長方形の４の角部（Ｐａ１（０，０）、Ｐａ２（Ｗ，０）、Ｐａ３（０，Ｈ）、Ｐａ４（Ｗ，Ｈ））が、行方向歪が存在する被処理画像において位置する４の位置を予測するものである。
【０１３４】
本装置１１においては、行文字寸法処理（垂直歪透視変換行列Ｊ２を含む両歪透視変換行列Ｊｔによる生画像データの透視変換（ｓ６９２）、グレースケール画像データの透視変換（ｓ６９４）及び反転二値化画像データの透視変換（ｓ６９６））は、行文字寸法検出手段（垂直歪チェック部３８）により検出された少なくとも２以上の行それぞれに属する文字の寸法（ここでは文字サイズＫ）と、該２以上の行の被処理画像における位置（距離ｄ）と、に基づき処理されるものである。
【０１３５】
本装置１１においては、行文字寸法処理（垂直歪透視変換行列Ｊ２を含む両歪透視変換行列Ｊｔによる生画像データの透視変換（ｓ６９２）、グレースケール画像データの透視変換（ｓ６９４）及び反転二値化画像データの透視変換（ｓ６９６））は、被処理画像において文字が属する行によって文字の寸法が変化する行間歪が被処理画像全体に生じていると仮定し、撮影方向に対して垂直な仮想上の平面である仮想垂直面に存する仮想の長方形の４の角部（ここではＰａ１（０，０）、Ｐａ２（Ｗ，０）、Ｐａ３（０，Ｈ）、Ｐａ４（Ｗ，Ｈ））が被処理画像において位置するであろう４の位置（図２６におけるＰ１、Ｐ２、Ｐ３、Ｐ４）を、行文字寸法検出手段（垂直歪チェック部３８）により検出された前記少なくとも２以上の行それぞれに属する文字の寸法（ｓ６１３又はｓ６１５にて決められた文字サイズＫ）と、該２以上の行の被処理画像における位置（距離ｄ）と、により予測し（主として図２９に示される動作により予測する。Ｐ１（（ｆ／２）、０）、Ｐ２（（Ｗ−ｆ／２）、０）、Ｐ３（（−ｆ／２）、Ｈ）、Ｐ４（（Ｗ＋ｆ／２）、Ｈ））、該予測した４の位置が、行間歪が存在しない場合の被処理画像における該長方形の４の角部の位置（Ｐａ１（０，０）、Ｐａ２（Ｗ，０）、Ｐａ３（０，Ｈ）、Ｐａ４（Ｗ，Ｈ））それぞれに一致するように処理するものである。
【０１３６】
本装置１１においては、被処理画像が長方形（Ｘ軸方向寸法：Ｗ、Ｙ軸方向寸法：Ｈ）を略なすものであり、行間歪が存在しない場合の被処理画像における前記長方形の４の角部の位置が、被処理画像が形成する長方形の４の角部の位置（Ｐａ１（０，０）、Ｐａ２（Ｗ，０）、Ｐａ３（０，Ｈ）、Ｐａ４（Ｗ，Ｈ））である。
【０１３７】
本装置１１においては、被処理画像において位置するであろう前記４の位置（Ｐ１（（ｆ／２）、０）、Ｐ２（（Ｗ−ｆ／２）、０）、Ｐ３（（−ｆ／２）、Ｈ）、Ｐ４（（Ｗ＋ｆ／２）、Ｈ））の予測は、行文字寸法検出手段（垂直歪チェック部３８）により検出された少なくとも２以上の行それぞれに属する文字の寸法（ｓ６１３又はｓ６１５にて決められた文字サイズＫ）と、該２以上の行の被処理画像における位置（距離ｄ）と、に基づき、仮想垂直面に存する仮想の長方形の４辺のうち行方向に沿った互いに平行な一対の辺（ここでは上縁１１１ａ、下縁１１１ｂ）の、行間歪が存在する場合の被処理画像における両端の位置（上縁１１１ａについてはＰ１及びＰ２、下縁１１１ｂについてはＰ３及びＰ４）を求めることで、前記仮想の長方形の４の角部（Ｐａ１（０，０）、Ｐａ２（Ｗ，０）、Ｐａ３（０，Ｈ）、Ｐａ４（Ｗ，Ｈ））が、行間歪が存在する被処理画像において位置する４の位置を予測するものである。
【０１３８】
本装置１１においては、行検出手段（ボックス作成部３２と文字寸法決定部３３とボックス整理部３４とグループ化部３５）が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸（ここではＸ軸）及び第２軸（ここではＹ軸）に平行な２辺を有し、文字に外接する長方形であるボックスを生成する（ｓ１１３）と共に、ボックス同士の相対的位置関係によって行を検出するものである。
【０１３９】
本装置１１においては、行方向検出手段（中心線決定部３６と水平歪チェック部３７）が、行検出手段（ボックス作成部３２と文字寸法決定部３３とボックス整理部３４とグループ化部３５）により検出された行に属する文字に係る複数のボックスを通過する直線である行方向直線（ここでは中心線）を求める（ｓ２７５、ｓ２７７、ｓ２７９）ものである。
【０１４０】
本装置１１においては、行方向直線（中心線）の傾きと、被処理画像における行方向直線の位置（距離ｄ）と、に基づき、行の方向を検出するものである。
【０１４１】
本装置１１においては、被処理画像が長方形（Ｘ軸方向寸法ＷでＹ軸方向寸法Ｈの長方形）を略なすものであり、第１軸（ここではＸ軸）が、該長方形の一対の辺に平行なものである。
【０１４２】
本装置１１においては、行検出手段（ボックス作成部３２と文字寸法決定部３３とボックス整理部３４とグループ化部３５）が、ボックスの寸法の基準値（ここではＸ方向寸法最頻値ＦＸ、Ｙ方向寸法最頻値ＦＹ）の所定倍率の値以上又は該値を超える寸法（ここではＸ方向寸法最頻値ＦＸの２倍の値を超えるＸ方向寸法又はＹ方向寸法最頻値ＦＹの２倍の値を超えるＹ方向寸法）を有するボックスを削除し（ｓ１３１）、該削除された残りのボックス同士の相対的位置関係によって行を検出するものである。
【０１４３】
本装置１１においては、前記基準値（ここではＸ方向寸法最頻値ＦＸ、Ｙ方向寸法最頻値ＦＹ）は、ボックスの寸法に基づき定められる（ｓ１２１、ｓ１２３）ものである。
【０１４４】
本装置１１においては、行検出手段（ボックス作成部３２と文字寸法決定部３３とボックス整理部３４とグループ化部３５）が、ボックスのうち互いに重なる領域を有するボックス同士（ｓ１４１にてＹＥＳ）を、該互いに重なる領域を有するボックスの全部を含む１のボックスに置換し（ｓ１４３）、該置換されたボックスを含むボックス同士の相対的位置関係によって行を検出するものである。
【０１４５】
本装置１１においては、行検出手段（ボックス作成部３２と文字寸法決定部３３とボックス整理部３４とグループ化部３５）が、ボックスの寸法の基準値（Ｘ方向寸法最頻値ＦＸ、Ｙ方向寸法最頻値ＦＹ）の所定倍率の値以上又は該値を超える寸法（ここではＸ方向寸法最頻値ＦＸの２倍の値を超えるＸ方向寸法又はＹ方向寸法最頻値ＦＹの２倍の値を超えるＹ方向寸法）を有するボックスを削除（ｓ１３１）し、該削除された残りのボックスのうち、互いに重なる領域を有するボックス同士を、該互いに重なる領域を有するボックスの全部を含む１のボックスに置換し（ｓ１４１にてＹＥＳの後のｓ１４３）、該置換されたボックスを含むボックス同士の相対的位置関係によって行を検出するものである。
【０１４６】
本装置１１においては、行検出手段（ボックス作成部３２と文字寸法決定部３３とボックス整理部３４とグループ化部３５）が、ボックスの寸法の基準値（Ｘ方向寸法最頻値ＦＸ、Ｙ方向寸法最頻値ＦＹ）と比較し所定範囲内の寸法を有するボックス（ｓ１３１にて削除されずかつｓ１３３にて「Ｘ方向寸法適否」欄に丸印を書き込まれると共にｓ１３５にて「Ｙ方向寸法適否」欄に丸印を書き込まれた健全ボックス（Ｘ方向寸法がＸ方向寸法最頻値ＦＸの７０％以上かつ２倍以内であると共に、Ｙ方向寸法がＹ方向寸法最頻値ＦＹの７０％以上かつ２倍以内である。））を起点とし（ｓ２０５において特定された開始ボックスが、ｓ２１１及びｓ２５１において基準ボックスとして起点となる。）、該起点からボックスが並んでいることにより行を検出する（主として図１４にて示される右側動作及び図１６にて示される左側動作）ものである。
【０１４７】
本装置１１においては、行検出手段（ボックス作成部３２と文字寸法決定部３３とボックス整理部３４とグループ化部３５）が、第１軸（Ｘ軸）及び第２軸（Ｙ軸）のうち行方向に沿った一方軸（ここでは第１軸（Ｘ軸））に平行な方向のボックスの寸法に基づき基準値（Ｘ方向寸法最頻値ＦＸ）を算出する（ｓ１２１）ものであり、該一方軸（第１軸（Ｘ軸））方向に離れた隣接するボックス同士の間の隙間の該一方軸方向への寸法（対象ボックスと基準ボックスとの間のＸ方向に沿った間隔ｄｘ）が、基準値の所定倍率の値以内又は該値未満（ここではＸ方向寸法最頻値ＦＸの２倍の値未満）である（ｓ２１８、ｓ２５６）と共に、第１軸（Ｘ軸）及び第２軸（Ｙ軸）のうち他方軸（ここでは第２軸（Ｙ軸））への該隣接するボックスのうち一方の正投影と、他方軸への該隣接するボックスのうち他方の正投影と、が互いに重なる場合（対象ボックスと基準ボックスとがＹ方向に沿った重なり領域を有する場合（ｓ２１６及びｓ２５４にてＹＥＳ））には、該隣接するボックス同士は行を形成するものと判断する。
【０１４８】
本装置１１においては、行検出手段（ボックス作成部３２と文字寸法決定部３３とボックス整理部３４とグループ化部３５）が、ボックスの前記他方軸（ここでは第２軸（Ｙ軸））に平行な方向の寸法に基づき基準値（Ｙ方向寸法最頻値ＦＹ）を算出する（ｓ１２３）ものであり、第１軸（Ｘ軸）及び第２軸（Ｙ軸）による平面座標系を設定した場合、前記他方軸（第２軸（Ｙ軸））に関し、隣接するボックス同士のうち一方の最大値から他方の最小値を減じた値（基準ボックスのＹ座標最大値と対象ボックスのＹ座標最小値との差ｄｙ１）と、前記他方軸（第２軸（Ｙ軸））に関し、該隣接するボックス同士のうち他方の最大値から一方の最小値を減じた値（対象ボックスのＹ座標最大値と基準ボックスのＹ座標最小値との差ｄｙ２）と、のいずれもが該基準値（Ｙ方向寸法最頻値ＦＹ）の所定倍率の値以内又は該値未満（１．５倍の値未満）である該隣接するボックス同士は行を形成するものと判断する（ｓ２１７、ｓ２５５）。
【０１４９】
本装置１１は、歪除去手段（全歪補正部４１）により行方向処理（水平歪透視変換行列Ｊ１を含む両歪透視変換行列Ｊｔによる生画像データの透視変換（ｓ６９２）、グレースケール画像データの透視変換（ｓ６９４）及び反転二値化画像データの透視変換（ｓ６９６））と行文字寸法処理（垂直歪透視変換行列Ｊ２を含む両歪透視変換行列Ｊｔによる生画像データの透視変換（ｓ６９２）、グレースケール画像データの透視変換（ｓ６９４）及び反転二値化画像データの透視変換（ｓ６９６））とが行われた処理済み被処理画像において、行検出手段（ボックス作成部３２と文字寸法決定部３３とボックス整理部３４とグループ化部３５）により検出された行に含まれる文字が、該行に属する文字の所定の標準的な位置まで移動するための変位量である行所属変位量（ここでは補正量）を求める行所属変位量算出手段（ここでは局所歪分析部５１）と、処理済み被処理画像において、行検出手段（ボックス作成部３２と文字寸法決定部３３とボックス整理部３４とグループ化部３５）により検出された行に含まれる文字が、該行に属する文字の所定の標準的な方向まで回動するための回動角である回動角量（ここでは回転角度）を求める回動角量算出手段（ここでは局所歪分析部５１）と、を備えてなる。
【０１５０】
本装置１１においては、行所属変位量算出手段（局所歪分析部５１）が、前記標準的な位置と、処理済み被処理画像における行に含まれる文字の位置と、の間の距離（ここではボックスの重心位置と、該ボックスが属するグループに係るグループ基準線と、のＹ方向に平行な符号付き距離）である行所属距離（ここでは仮補正量）をそれぞれの文字に関して求め（ｓ３２９）、行に含まれる文字の行所属変位量（補正量）を、該行に含まれる他の文字の行所属距離（仮補正量）を用いて決する（ｓ３５９、ｓ３７５、ｓ４０９、ｓ４１５）ものである。
【０１５１】
本装置１１においては、前記他の文字（行に含まれる文字の行所属変位量（補正量）を決する際に用いる該行に含まれる他の文字の行所属距離（仮補正量）に係る該他の文字）が、行所属変位量（補正量）が算出される文字に直近のもの（ｓ３５７、ｓ３７３、ｓ４０７、ｓ４１３）である。
【０１５２】
本装置１１においては、前記標準的な位置が、行方向に延び行の位置を示す行基準線（ここではグループ基準線）に存する点である。
【０１５３】
本装置１１においては、行検出手段（ボックス作成部３２と文字寸法決定部３３とボックス整理部３４とグループ化部３５）が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸（Ｘ軸）及び第２軸（Ｙ軸）に平行な２辺を有し、文字に外接する長方形であるボックスを生成するものであり、文字の前記位置が、該文字に係るボックスの代表位置（ここではボックスの重心位置）である。
【０１５４】
本装置１１においては、第１軸（Ｘ軸）及び第２軸（Ｙ軸）のうち、行方向（ここでは第１軸（Ｘ軸）にほぼ平行な方向）に対して垂直な方向となす角度が小さい軸である近行垂直軸（ここでは第２軸（Ｙ軸））の方向への少なくとも２以上のボックスの寸法の代表値である近行垂直方向代表寸法（ここではＹ方向寸法最頻値ＦＹ）と比較し、行所属変位量（補正量）が算出される文字に係るボックスの近行垂直軸（第２軸（Ｙ軸））の方向へのボックスの寸法が所定範囲内である場合（ｓ１３１にて削除されずかつｓ１３５にて「Ｙ方向寸法適否」欄に「○」が書き込まれている。ｓ３５１にてＹＥＳ。）には、該算出される文字の行所属距離（仮補正量）を用いて該算出される文字の行所属変位量（補正量）を決する（ｓ３５９、ｓ３７５）ものである。
【０１５５】
本装置１１においては、前記他の文字（行に含まれる文字の行所属変位量（補正量）を決する際に用いる該行に含まれる他の文字の行所属距離（仮補正量）に係る該他の文字）が、近行垂直方向代表寸法（ここではＹ方向寸法最頻値ＦＹ）と比較し所定範囲内の近行垂直軸（ここでは第２軸（Ｙ軸））の方向への寸法を有するもの（ｓ１３１にて削除されずかつｓ１３５にて「Ｙ方向寸法適否」欄に「○」が書き込まれている。ｓ３５７にてＹＥＳ、ｓ３７１にてＹＥＳ）である。
【０１５６】
本装置１１においては、前記他の文字（行に含まれる文字の行所属変位量（補正量）を決する際に用いる該行に含まれる他の文字の行所属距離（仮補正量）に係る該他の文字）が、行所属変位量（補正量）が算出される文字に直近のもの（ｓ３５７、ｓ３７３）であり、行所属変位量（補正量）が算出される文字と、前記他の文字と、が、近行垂直方向代表寸法（ここではＹ方向寸法最頻値ＦＹ）と比較し所定範囲内の近行垂直軸（第２軸（Ｙ軸））の方向の寸法を有するもの（ｓ１３１にて削除されずかつｓ１３５にて「Ｙ方向寸法適否」欄に「○」が書き込まれている。行所属変位量（補正量）が算出される文字についてはｓ３５１にてＹＥＳ。前記他の文字についてはｓ３５７にてＹＥＳ又はｓ３７１にてＹＥＳ）であり、行所属変位量（補正量）が算出される文字の行所属変位量（補正量）が、行所属変位量（補正量）が算出される文字の行所属距離（仮補正量）と、前記他の文字の行所属距離（仮補正量）と、の平均値とされる（ｓ３５９、ｓ３７５）ものである。
【０１５７】
本装置１１においては、前記他の文字（行に含まれる文字の行所属変位量（補正量）を決する際に用いる該行に含まれる他の文字の行所属距離（仮補正量）に係る該他の文字）が、行所属変位量（補正量）が算出される文字が属する行の一方側に存するものと、行所属変位量（補正量）が算出される文字が属する行の他方側に存するものと、を含み（ｓ３５７にてＹＥＳ）、該一方側に存するものと、該他方側に存するものと、が、近行垂直方向代表寸法（ここではＹ方向寸法最頻値ＦＹ）に比較し所定範囲内の近行垂直軸（第２軸（Ｙ軸））の方向への寸法を有するボックス（ｓ１３１にて削除されずかつｓ１３５にて「Ｙ方向寸法適否」欄に「○」が書き込まれている。ｓ３５７にてＹＥＳ）に係る文字であり、行所属変位量（補正量）が算出される文字の行所属変位量（補正量）が、該一方側に存するものの行所属距離（仮補正量）と、該他方側に存するものの行所属距離（仮補正量）と、に基づき決する（ｓ３５９、ｓ４０９）ものである。
【０１５８】
本装置１１においては、回動角量算出手段（局所歪分析部５１）が、行に含まれる文字の回動角量を、該行に含まれる別の文字の行所属距離（仮補正量）又は行所属変位量（補正量）を用いて決する（ｓ５１１、ｓ５１７）ものである。
【０１５９】
本装置１１においては、前記別の文字（行に含まれる文字の回動角量を決する際に用いる該行に含まれる別の文字の行所属距離又は行所属変位量に係る該別の文字）が、回動角量が算出される文字に直近のもの（ｓ５０７、ｓ５１５）である。
【０１６０】
本装置１１においては、行検出手段（ボックス作成部３２と文字寸法決定部３３とボックス整理部３４とグループ化部３５）が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸（Ｘ軸）及び第２軸（Ｙ軸）に平行な２辺を有し、文字に外接する長方形であるボックスを生成するものであり、前記別の文字が、回動角量が算出される文字が属する行の一方側に存するものと、回動角量が算出される文字が属する行の他方側に存するものと、を含み（ｓ５０７にてＹＥＳ）、該一方側に存するものと、該他方側に存するものと、が、第１軸（Ｘ軸）及び第２軸（Ｙ軸）のうち、行方向（ここでは第１軸（Ｘ軸）にほぼ平行な方向）に対して垂直な方向となす角度が小さい軸である近行垂直軸（ここでは第２軸（Ｙ軸））の方向へのボックスの寸法の代表値である近行垂直方向代表寸法（ここではＹ方向寸法最頻値ＦＹ）に対し所定範囲内の近行垂直軸（第２軸（Ｙ軸））の方向への寸法を有するボックス（ｓ１３１にて削除されずかつｓ１３５にて「Ｙ方向寸法適否」欄に「○」が書き込まれている。ｓ５０７にてＹＥＳ）に係る文字であり、回動角量が算出される文字の回動角量が、該一方側に存するものの行所属距離（仮補正量）又は行所属変位量（補正量）と、該他方側に存するものの行所属距離（仮補正量）又は行所属変位量（補正量）と、に基づき決されるもの（ここでは２の補正量Ｑｐ、Ｑｑ、ｓ５１１）である。
【０１６１】
本装置１１においては、行検出手段（ボックス作成部３２と文字寸法決定部３３とボックス整理部３４とグループ化部３５）が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸（Ｘ軸）及び第２軸（Ｙ軸）に平行な２辺を有し、文字に外接する長方形であるボックスを生成するものであり、前記別の文字が、回動角量が算出される文字が属する行の一方側に存するものを含み（ｓ５１３にてＹＥＳ）、該一方側に存するものが、第１軸（Ｘ軸）及び第２軸（Ｙ軸）のうち、行方向（ここでは第１軸（Ｘ軸）にほぼ平行な方向）に対して垂直な方向となす角度が小さい軸である近行垂直軸（ここでは第２軸（Ｙ軸））の方向へのボックスの寸法の代表値である近行垂直方向代表寸法（ここではＹ方向寸法最頻値ＦＹ）に対し所定範囲内の近行垂直軸（ここでは第２軸（Ｙ軸））の方向への寸法を有するボックス（ｓ１３１にて削除されずかつｓ１３５にて「Ｙ方向寸法適否」欄に「○」が書き込まれている。ｓ５１３にてＹＥＳ）に係る文字であり、回動角量が算出される文字の回動角量が、該一方側に存するものの行所属距離（仮補正量）又は行所属変位量（補正量）と、回動角量が算出される文字の行所属距離（仮補正量）又は行所属変位量（補正量）と、に基づき決されるものである（ここではｓ５０５にて特定した回動角量が算出される文字のボックスに係る補正量をＱｐとし、ｓ５１５にて特定した該一方側に存するもののボックスに係る補正量をＱｑ（但しｐ及びｑは正の整数）とし、これら両ボックス間のＸ軸方向に沿った距離をｄｐｑとすると、式「ｔａｎ（ｒｄ）＝（Ｑｐ−Ｑｑ）／（ｄｐｑ）」の回動角度ｒｄを求める。）。
【０１６２】
本装置１１は、回動角量算出手段（局所歪分析部５１）により求められた回動角量だけ前記文字の画像を回動（ｓ７０９にて取得した切り出し画像を回転させるｓ７１１）させる回動画像形成手段（ここでは局所歪補正部６１を含んでなる。）と、前記文字の画像を、行所属変位量算出手段（局所歪分析部５１）により算出された行所属変位量（補正量）だけ変位した位置の処理済み被処理画像に書き込んだ画像を形成（ｓ７１５）する局所歪補正画像形成手段（ここでは局所歪補正部６１を含んでなる。）と、を備える。
【０１６３】
本装置１１においては、局所歪補正画像形成手段（局所歪補正部６１）が、回動画像形成手段（局所歪補正部６１）により回動（ｓ７１１）された前記文字の画像を、行所属変位量（補正量）だけ変位した位置の処理済み被処理画像に書き込んだ画像を形成する（ｓ７１５）ものである。
【０１６４】
本装置１１においては、回動画像形成手段（局所歪補正部６１）により回動（ｓ７１１）された画像から、互いに直交する第１軸（Ｘ軸）及び第２軸（Ｙ軸）に平行な２辺を有し、該回動された画像に含まれる文字に外接する長方形の領域に含まれる画像を抽出（ｓ７１１にて回転された画像から、該回転された画像内の図形（文字）を囲むボックスに含まれる部分を切り出すｓ７１３）する部分抽出手段（局所歪補正部６１）を備え、局所歪補正画像形成手段（局所歪補正部６１）が、部分抽出手段（局所歪補正部６１）により抽出された画像を、行所属変位量算出手段（局所歪分析部５１）により算出された行所属変位量（補正量）だけ変位した位置の処理済み被処理画像に書き込んだ画像を形成する（ｓ７１３にて切り出された画像をコピー画像データに上書きするｓ７１５）ものである。
【０１６５】
本装置１１においては、少なくとも１の文字を含む検索対象（ここでは検索文字列）に含まれる１の文字の画像データである比較画像（ここではｓ８０７にて作成した第１文字画像、ｓ８１３にて作成した第２文字画像、ｓ８２５にて作成した第３文字画像）を用い、歪みが除去又は減少された処理済画像に該比較画像（第１文字画像、第２文字画像、第３文字画像）と対応する対応画像が存するか検索する類似部分画像検索（ここではテンプレートマッチング）を実行（ｓ８０９、ｓ８１５、ｓ８２７）する類似部分画像検索手段（ここでは文字列処理部７１と統合部８１とを含んでなる。）と、類似部分画像検索（テンプレートマッチング）の結果に基づき対応画像が処理済画像に存すると判断される場合には、該画像処理装置の使用者に該判断を通知する通知手段（ここでは出力部９１を含んでなる。）と、を含んでなる。
【０１６６】
本装置１１においては、検索対象（ここでは検索文字列）が、順番に並んだ少なくとも２以上の文字を含んでなり、類似部分画像検索手段（文字列処理部７１、統合部８１）が、該２以上の文字それぞれの比較画像（第１文字画像、第２文字画像、第３文字画像）を用いて処理済画像に対する類似部分画像検索（テンプレートマッチング）を実行するものであり、該２以上の文字それぞれに関する類似部分画像検索（テンプレートマッチング）の結果に基づき、該２以上の文字が処理済画像に該順序に並んでいるか判断することで、検索対象（検索文字列）が処理済画像に存するか否かを判断するものである。
【０１６７】
本装置１１においては、処理済画像に対して比較画像（第１文字画像、第２文字画像、第３文字画像）が移動することで類似部分画像検索（テンプレートマッチング）を実行し、検索対象（検索文字列）に含まれる文字のうち互いに隣接する一対の文字のうち一方の文字の存在を示す類似部分画像検索（テンプレートマッチング）の結果における該一方の文字の比較画像（第１文字画像、第２文字画像、第３文字画像）の位置に基づき、処理済画像中において一方の文字が存在すると想定される一方文字存在想定領域（候補ボックスＢｅ１）の位置と、該一対の文字のうち他方の文字の存在を示す類似部分画像検索（テンプレートマッチング）の結果における該他方の文字の比較画像（第１文字画像、第２文字画像、第３文字画像）の位置に基づき、処理済画像中において他方の文字が存在すると想定される他方文字存在想定領域（追加ボックスＢｅ２）の位置と、が所定範囲（該他方の文字の比較画像の４の角のうちＸ座標及びＹ座標のいずれも最小の左上の角の位置が、ｓ９１１にて設定したチェック領域Ｕに存する。）に存する場合（ｓ９１７にてＹＥＳ）には、該一対の文字が連続して並んでいると判断するものである。
【０１６８】
本装置１１においては、行検出手段（ボックス作成部３２と文字寸法決定部３３とボックス整理部３４とグループ化部３５）が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸（Ｘ軸）及び第２軸（Ｙ軸）に平行な２辺を有し、文字に外接する長方形であるボックスを生成し、比較画像（第１文字画像、第２文字画像、第３文字画像）は、第１軸（Ｘ軸）及び第２軸（Ｙ軸）に平行な２辺を有する長方形をなし、前記所定範囲は、ボックスの寸法の代表値に基づき決定される（該他方の文字の比較画像の４の角のうちＸ座標及びＹ座標のいずれも最小の左上の角の位置が存するか否かを判断するチェック領域Ｕ（ｓ９１１にて設定）及び候補ボックス（ｓ９０９にて作成）のいずれも、第１軸（Ｘ軸）に沿った寸法はボックスのＸ方向寸法の代表値たるＸ方向寸法最頻値ＦＸに基づき決定されると共に、第２軸（Ｙ軸）に沿った寸法はボックスのＹ方向寸法の代表値たるＹ方向寸法最頻値ＦＹに基づき決定される。）ものである。
【０１６９】
本装置１１においては、前記所定範囲は、一方文字存在想定領域（候補ボックスＢｅ１）の第２軸（Ｙ軸）への正投影と、他方文字存在想定領域（追加ボックスＢｅ２）の第２軸（Ｙ軸）への正投影と、がボックスの第２軸（Ｙ軸）に沿った寸法の代表値（例えばＹ方向寸法最頻値ＦＹ）の所定倍率の値以上又は該値を超えるものである互いに重なる部分を有すると共に、一方文字存在想定領域（候補ボックスＢｅ１）と他方文字存在想定領域（追加ボックスＢｅ２）との間の第１軸（Ｘ軸）に沿った距離が、ボックスの第１軸（Ｘ軸）に沿った寸法の代表値（例えばＸ方向寸法最頻値ＦＸ）の所定倍率の値以内又は該値未満としてもよい。
【０１７０】
本装置１１においては、一方文字存在想定領域（候補ボックスＢｅ１）及び／又は他方文字存在想定領域（追加ボックスＢｅ２）がボックスの寸法の代表値に基づき決定される（ここではいずれも、第１軸（Ｘ軸）に沿った寸法はボックスのＸ方向寸法の代表値たるＸ方向寸法最頻値ＦＸに基づき決定されると共に、第２軸（Ｙ軸）に沿った寸法はボックスのＹ方向寸法の代表値たるＹ方向寸法最頻値ＦＹに基づき決定される。）ものである。
【０１７１】
本装置１１においては、検索対象（検索文字列）が、所定順序に並んだ少なくとも３以上の文字を含んでなり、前記一対の文字が連続して並んでいると判断する場合、一方文字存在想定領域（候補ボックスＢｅ１）と他方文字存在想定領域（追加ボックスＢｅ２）とを含む、第１軸（Ｘ軸）及び第２軸（Ｙ軸）に平行な２辺を有する長方形状の合体領域（新しい候補ボックスＢｎ）の位置に対して、該他方の文字に連なる検索対象に含まれる別の文字の存在を示す類似部分画像検索（テンプレートマッチング）の結果における該別の文字の比較画像の位置に基づき、処理済画像中において該別の文字が存在すると想定される別文字存在想定領域の位置が所定範囲に存する場合には、前記一対の文字と該別の文字とが連続して並んでいると判断するものである。
【０１７２】
本装置１１においては、類似部分画像検索手段（文字列処理部７１と統合部８１とを含んでなる。）が、検索対象（検索文字列）に含まれる文字それぞれについて、処理済画像に対して相対的に異なる少なくとも２以上の大きさの比較画像（ここでは第１文字画像、第２文字画像、第３文字画像の３つの大きさの比較画像）を用いた類似部分画像検索（テンプレートマッチング）に際して対応画像の比較画像に対する類似の度合いを示す類似度を算出し（ｓ８０９、ｓ８１５、ｓ８２７それぞれで類似度が算出される。）、処理済画像における比較画像の位置それぞれにおいて、該相対的に異なる少なくとも２以上の大きさの比較画像（第１文字画像、第２文字画像、第３文字画像）それぞれを用いて行った類似部分画像検索（テンプレートマッチング）の類似度を比較しその最大値を該位置の代表類似度（ｓ８１５にて得られた類似度が個別結果表に書き込まれている類似度よりも大きいか否か判断し（ｓ８１９）、大きいと判断した場合（ＹＥＳ）には、ｓ８１５にて得られた類似度を個別結果表に上書きする（ｓ８２１）と共に、ｓ８２７にて得られた類似度が個別結果表に書き込まれている類似度よりも大きいか否か判断し（ｓ８３１）、大きいと判断した場合（ＹＥＳ）には、ｓ８２７にて得られた類似度を個別結果表に上書きする（ｓ８３３）ことで、第１文字画像、第２文字画像、第３文字画像のうち最大の類似度が代表類似度となる。）として、該文字が処理済画像に存するか否かを判断するものである。
【０１７３】
本装置１１においては、検索対象（検索文字列）に含まれる文字それぞれについて少なくとも２以上の大きさの比較画像（ここでは第１文字画像、第２文字画像、第３文字画像の３つの大きさの比較画像）それぞれを用いて処理済画像（ここでは第１文字画像、第２文字画像、第３文字画像のいずれの場合も処理済画像は同じ大きさである。）に対する類似部分画像検索（テンプレートマッチング）を実行するものである。
【０１７４】
本装置１１においては、行検出手段（ボックス作成部３２と文字寸法決定部３３とボックス整理部３４とグループ化部３５）が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸（Ｘ軸）及び第２軸（Ｙ軸）に平行な２辺を有し、文字に外接する長方形であるボックスを生成し、類似部分画像検索手段（文字列処理部７１と統合部８１とを含んでなる。）が、ボックスの寸法の代表値（ここではＸ方向寸法最頻値ＦＸとＹ方向寸法最頻値ＦＹ）に基づき比較画像の寸法を決する（ここでは第１文字画像は、Ｘ方向はＸ方向寸法最頻値ＦＸと同じ寸法で、Ｙ方向はＹ方向寸法最頻値ＦＹと同じ寸法の長方形であり、第２文字画像は、Ｘ方向は（９／８）ＦＸで、Ｙ方向は（９／８）ＦＹの長方形であり、第３文字画像は、Ｘ方向は（５／４）ＦＸで、Ｙ方向は（５／４）ＦＹの長方形である。）ものである。
【０１７５】
本装置１１においては、処理済画像に対して比較画像（第１文字画像、第２文字画像、第３文字画像）が移動することで類似部分画像検索（テンプレートマッチング）を実行し、類似部分画像検索手段（文字列処理部７１と統合部８１とを含んでなる。）が、類似部分画像検索（テンプレートマッチング）に際して対応画像の比較画像（第１文字画像、第２文字画像、第３文字画像）に対する類似の度合いを示す類似度を算出し（ｓ８０９、ｓ８１５、ｓ８２７それぞれで類似度が算出される。）、検索対象（検索文字列）に含まれる１の文字に関する類似部分画像検索（テンプレートマッチング）の結果において該文字の比較画像がある位置に存する際に類似度が所定値（ここでは０．８）以上である場合（ｓ８４３にてＹＥＳ）には、該ある位置に対し所定位置関係に存するエリア（ここではチェックエリア）に含まれる位置の類似度を比較し、最大の類似度を有する位置である最大類似度位置を定め（ｓ８４５）、該最大類似度位置とは異なる該エリアに含まれる位置に係る類似度を該所定値未満の値（ここでは０）に変更する処理（ｓ８４７）を行うものである。
【０１７６】
本装置１１においては、行検出手段（ボックス作成部３２と文字寸法決定部３３とボックス整理部３４とグループ化部３５）が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸（Ｘ軸）及び第２軸（Ｙ軸）に平行な２辺を有し、文字に外接する長方形であるボックスを生成し、前記エリア（ここではチェックエリア）が、ボックスの第１軸（Ｘ軸）に沿った寸法の代表値（ここではＸ方向寸法最頻値ＦＸ）に基づき定められる第１軸（Ｘ軸）に平行な第１辺（辺の長さが（５／４）ＦＸ）と、ボックスの第２軸（Ｙ軸）に沿った寸法の代表値（ここではＹ方向寸法最頻値ＦＹ）に基づき定められる第２軸（Ｙ軸）に平行な第２辺（辺の長さが（５／４）ＦＹ）と、を有する長方形状にされるものである。
【０１７７】
本装置１１においては、類似部分画像検索手段（文字列処理部７１と統合部８１とを含んでなる。）が、検索対象（検索文字列）に含まれる文字それぞれについて、処理済画像に対して相対的に異なる少なくとも２以上の大きさの比較画像（ここでは第１文字画像、第２文字画像、第３文字画像の３つの大きさの比較画像）を用いた類似部分画像検索（テンプレートマッチング）に際して対応画像の比較画像に対する類似の度合いを示す類似度を算出し、処理済画像における比較画像の位置それぞれにおいて、該相対的に異なる少なくとも２以上の大きさの比較画像（ここでは第１文字画像、第２文字画像、第３文字画像の３つの大きさの比較画像）それぞれを用いて行った類似部分画像検索（テンプレートマッチング）の類似度を比較しその最大値を該位置の代表類似度として、該文字が処理済画像に存するか否かを判断するものであり、処理済画像に対して相対的に異なる該少なくとも２以上の大きさのうち、最も大きい比較画像（ここでは第３文字画像）と同じ領域に前記エリア（ここではチェックエリア）が定められるものである。
【０１７８】
本装置１１においては、通知手段（出力部９１を含んでなる。）が、類似部分画像検索（テンプレートマッチング）の結果に基づき比較画像（第１文字画像、第２文字画像、第３文字画像）と対応する対応画像が処理済画像に存すると判断される場合には、処理済画像、撮影画像又は加工画像（ここでは撮影画像たる生画像データ）において対応画像に対応する部分又はその近傍を他の部分と異ならせて表示する（ここでは候補ボックスの平均類似度に応じた色彩によって四角形を表示する。）ものである。
【０１７９】
本装置１１においては、類似部分画像検索手段（文字列処理部７１と統合部８１とを含んでなる。）が、類似部分画像検索（テンプレートマッチング）に際して対応画像の比較画像（第１文字画像、第２文字画像、第３文字画像）に対する類似の度合いを示す類似度を算出し（ｓ８０９、ｓ８１５、ｓ８２７それぞれで類似度が算出される。）、通知手段（出力部９１を含んでなる。）が、対応画像に対応する部分又はその近傍を他の部分と異ならせて表示する表示方法を、類似部分画像検索（テンプレートマッチング）の結果の類似度の大きさにより異ならせる（ｓ９２５にて算出された候補ボックスの平均類似度に応じた色彩によって四角形を表示する。）ものである。
【０１８０】
本装置１１においては、検索対象（検索文字列）が、少なくとも２以上の文字を含んでなり、検索対象（検索文字列）に含まれる文字の平均類似度（ｓ９２５にて算出）の大きさによって、前記表示方法を異ならせるもの（ここでは候補ボックスの平均類似度に応じた色彩によって四角形を表示する。）である。
【０１８１】
本装置１１においては、通知手段（出力部９１を含んでなる。）が、撮影画像又は加工画像（ここでは撮影画像たる生画像データ）において対応画像に対応する部分又はその近傍を他の部分と異ならせて表示するものであり、対応画像に対応する部分又はその近傍を他の部分と異ならせて表示する領域が決定（ｓ９３５）された後、該決定された領域が撮影画像又は加工画像において対応する領域を求め（ｓ９３９）、該対応する領域の撮影画像又は加工画像の部分を他の部分と異ならせて表示するものである。
【０１８２】
本装置１１においては、歪除去手段（全歪補正部４１を含んでなる。）が行列変換（両歪透視変換行列Ｊｔによる行列変換）により行方向処理及び行文字寸法処理を行うものであり、前記決定された領域（ｓ９３５）を該行列変換に用いた行列（両歪透視変換行列Ｊｔ）の逆行列（ｓ９３７にて求める）により変換することで、該決定された領域が撮影画像又は加工画像（ここでは撮影画像たる生画像データ）において対応する領域を求めるものである。
【０１８３】
本装置１１においては、類似部分画像検索がテンプレートマッチングである。
【０１８４】
本装置１１においては、所定のコンピュータプログラムをコンピュータにインストールすることで、本装置１１を該コンピュータに実現させている。
【符号の説明】
【０１８５】
１１              本装置
１１ａ            ＣＰＵ
１１ｂ            ＲＡＭ
１１ｃ            ＲＯＭ
１１ｄ            インターフェイス
１３              デジタルカメラ部
１４              入力部
１５              表示部
１８              記憶部
２１              前処理部
３０              全歪処理部
３１              全歪分析部
３２              ボックス作成部
３３              文字寸法決定部
３４              ボックス整理部
３５              グループ化部
３６              中心線決定部
３７              水平歪チェック部
３８              垂直歪チェック部
４１              全歪補正部
４２              基礎座標書込部
４３              水平歪分析部
４４              垂直歪分析部
４５              行列形成部
４６              変換部
５０              局所歪処理部
５１              局所歪分析部
６１              局所歪補正部
７１              文字列処理部
８１              統合部
９１              出力部
１０３              台形の画像
１０３ａ、１０３ｂ  線
１０７、１０９      台形の画像
１１１              長方形の画像
１１１ａ            上縁
１１１ｂ            下縁
１１１ｃ            左縁
１１１ｄ            右縁
３０１ａ            第１画目の部分
３０１ｂ            第２画目の部分
３０１ｃ            ３から６画目の部分の３つの部分
３０３ａ、３０３ｂ、３０３ｃ  ボックス
【図１】
2020030576.tif 000003
【図２】
2020030576.tif 000004
【図３】
2020030576.tif 000005
【図４】
2020030576.tif 000006
【図５】
2020030576.tif 000007
【図６】
2020030576.tif 000008
【図７】
2020030576.tif 000009
【図８】
2020030576.tif 000010
【図９】
2020030576.tif 000011
【図１０】
2020030576.tif 000012
【図１１】
2020030576.tif 000013
【図１２】
2020030576.tif 000014
【図１３】
2020030576.tif 000015
【図１４】
2020030576.tif 000016
【図１５】
2020030576.tif 000017
【図１６】
2020030576.tif 000018
【図１７】
2020030576.tif 000019
【図１８】
2020030576.tif 000020
【図１９】
2020030576.tif 000021
【図２０】
2020030576.tif 000022
【図２１】
2020030576.tif 000023
【図２２】
2020030576.tif 000024
【図２３】
2020030576.tif 000025
【図２４】
2020030576.tif 000026
【図２５】
2020030576.tif 000027
【図２６】
2020030576.tif 000028
【図２７】
2020030576.tif 000029
【図２８】
2020030576.tif 000030
【図２９】
2020030576.tif 000031
【図３０】
2020030576.tif 000032
【図３１】
2020030576.tif 000033
【図３２】
2020030576.tif 000034
【図３３】
2020030576.tif 000035
【図３４】
2020030576.tif 000036
【図３５】
2020030576.tif 000037
【図３６】
2020030576.tif 000038
【図３７】
2020030576.tif 000039
【図３８】
2020030576.tif 000040
【図３９】
2020030576.tif 000041
【図４０】
2020030576.tif 000042
【図４１】
2020030576.tif 000043
【図４２】
2020030576.tif 000044
【図４３】
2020030576.tif 000045
【図４４】
2020030576.tif 000046
【図４５】
2020030576.tif 000047
【図４６】
2020030576.tif 000048
【図４７】
2020030576.tif 000049
【図４８】
2020030576.tif 000050
【手続補正書】
【提出日】令和1年9月24日(2019.9.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数行の文字が表された文字記載部分を含む撮影画像又は撮影画像を加工した加工画像である被処理画像に含まれる歪みを除去又は減少する画像処理装置であって、
被処理画像における文字記載部分に記載された文字が互いに連続することで形成される行を検出する行検出手段と、
行検出手段により検出された行のうち少なくとも２以上の行の方向を検出する行方向検出手段と、
行検出手段により検出された行のうち少なくとも２以上の行それぞれに属する文字の寸法を検出する行文字寸法検出手段と、
行方向検出手段により検出された少なくとも２以上の行の方向が互いに平行又は平行に近づくよう処理する行方向処理と、行文字寸法検出手段により検出された少なくとも２以上の行それぞれに属する文字の寸法が同一又は近づくよう処理する行文字寸法処理と、を被処理画像に行う歪除去手段と、
を備えてなり、
行方向処理は、行方向検出手段により検出された少なくとも２以上の行の方向と、２以上の行と被処理画像の縁との間の距離と、の関係を示す第１歪特性式を求め、該求めた第１歪特性式に基づき処理されるものであり、
行文字寸法処理は、行文字寸法検出手段により検出された少なくとも２以上の行それぞれに属する文字の寸法と、２以上の行と被処理画像の縁との間の距離と、の関係を示す第２歪特性式を求め、該求めた第２歪特性式に基づき処理されるものである、画像処理装置。
【請求項２】
行方向処理は、被処理画像において行方向が変化する行方向歪が被処理画像全体に生じていると仮定し、撮影方向に対して垂直な仮想上の平面である仮想垂直面に存する仮想の長方形の４の角部が被処理画像において位置するであろう４の位置を、行方向検出手段により検出された前記少なくとも２以上の行の方向と、該２以上の行と被処理画像の縁との間の距離と、により予測し、該予測した４の位置が、行方向歪が存在しない場合の被処理画像における該長方形の４の角部の位置それぞれに一致させるようにする処理である、請求項１に記載の画像処理装置。
【請求項３】
被処理画像が長方形を略なすものであり、
行方向歪が存在しない場合の被処理画像における前記長方形の４の角部の位置が、被処理画像が形成する長方形の４の角部の位置である、請求項２に記載の画像処理装置。
【請求項４】
被処理画像において位置するであろう前記４の位置の予測は、行方向検出手段により検出された前記少なくとも２以上の行の方向と、該２以上の行と被処理画像の縁との間の距離と、に基づき、仮想垂直面に存する仮想の長方形の４辺のうち行間方向に沿った互いに平行な一対の辺の、行方向歪が存在する場合の被処理画像における両端の位置を求めることで、前記仮想の長方形の４の角部が、行方向歪が存在する被処理画像において位置する４の位置を予測するものである、請求項２又は３に記載の画像処理装置。
【請求項５】
行文字寸法処理は、被処理画像において文字が属する行によって文字の寸法が変化する行間歪が被処理画像全体に生じていると仮定し、撮影方向に対して垂直な仮想上の平面である仮想垂直面に存する仮想の長方形の４の角部が被処理画像において位置するであろう４の位置を、行文字寸法検出手段により検出された前記少なくとも２以上の行それぞれに属する文字の寸法と、該２以上の行と被処理画像の縁との間の距離と、により予測し、該予測した４の位置が、行間歪が存在しない場合の被処理画像における該長方形の４の角部の位置それぞれに一致するように処理するものである、請求項１乃至４のいずれか１に記載の画像処理装置。
【請求項６】
被処理画像が長方形を略なすものであり、
行間歪が存在しない場合の被処理画像における前記長方形の４の角部の位置が、被処理画像が形成する長方形の４の角部の位置である、請求項５に記載の画像処理装置。
【請求項７】
被処理画像において位置するであろう前記４の位置の予測は、行文字寸法検出手段により検出された少なくとも２以上の行それぞれに属する文字の寸法と、該２以上の行と被処理画像の縁との間の距離と、に基づき、仮想垂直面に存する仮想の長方形の４辺のうち行方向に沿った互いに平行な一対の辺の、行間歪が存在する場合の被処理画像における両端の位置を求めることで、前記仮想の長方形の４の角部が、行間歪が存在する被処理画像において位置する４の位置を予測するものである、請求項５又は６に記載の画像処理装置。
【請求項８】
行検出手段が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸及び第２軸に平行な２辺を有し、文字に外接する長方形であるボックスを生成すると共に、ボックス同士の相対的位置関係によって行を検出するものである、請求項１乃至７のいずれか１に記載の画像処理装置。
【請求項９】
行方向検出手段が、行検出手段により検出された行に属する文字に係る複数のボックスを通過する直線である行方向直線を求めるものである、請求項８に記載の画像処理装置。
【請求項１０】
行方向直線の傾きと、被処理画像における行方向直線の位置と、に基づき、行の方向を検出するものである、請求項９に記載の画像処理装置。
【請求項１１】
被処理画像が長方形を略なすものであり、第１軸が、該長方形の一対の辺に平行なものである、請求項８乃至１０のいずれか１に記載の画像処理装置。
【請求項１２】
行検出手段が、ボックスの寸法の基準値の所定倍率の値以上又は該値を超える寸法を有するボックスを削除し、該削除された残りのボックス同士の相対的位置関係によって行を検出するものである、請求項８乃至１１のいずれか１に記載の画像処理装置。
【請求項１３】
前記基準値は、ボックスの寸法に基づき定められるものである、請求項１２に記載の画像処理装置。
【請求項１４】
行検出手段が、ボックスのうち互いに重なる領域を有するボックス同士を、該互いに重なる領域を有するボックスの全部を含む１のボックスに置換し、該置換されたボックスを含むボックス同士の相対的位置関係によって行を検出するものである、請求項８乃至１３のいずれか１に記載の画像処理装置。
【請求項１５】
行検出手段が、ボックスの寸法の基準値の所定倍率の値以上又は該値を超える寸法を有するボックスを削除し、該削除された残りのボックスのうち、互いに重なる領域を有するボックス同士を、該互いに重なる領域を有するボックスの全部を含む１のボックスに置換し、該置換されたボックスを含むボックス同士の相対的位置関係によって行を検出するものである、請求項８乃至１１のいずれか１に記載の画像処理装置。
【請求項１６】
行検出手段が、ボックスの寸法の基準値と比較し所定範囲内の寸法を有するボックスを起点とし、該起点からボックスが並んでいることにより行を検出するものである、請求項８乃至１５のいずれか１に記載の画像処理装置。
【請求項１７】
行検出手段が、第１軸及び第２軸のうち行方向に沿った一方軸に平行な方向のボックスの寸法に基づき基準値を算出するものであり、
該一方軸方向に離れた隣接するボックス同士の間の隙間の該一方軸方向への寸法が、基準値の所定倍率の値以内又は該値未満であると共に、第１軸及び第２軸のうち他方軸への該隣接するボックスのうち一方の正投影と、他方軸への該隣接するボックスのうち他方の正投影と、が互いに重なる場合には、該隣接するボックス同士は行を形成するものと判断する、請求項１６に記載の画像処理装置。
【請求項１８】
行検出手段が、ボックスの前記他方軸に平行な方向の寸法に基づき基準値を算出するものであり、
第１軸及び第２軸による平面座標系を設定した場合、前記他方軸に関し、隣接するボックス同士のうち一方の最大値から他方の最小値を減じた値と、前記他方軸に関し、該隣接するボックス同士のうち他方の最大値から一方の最小値を減じた値と、のいずれもが該基準値の所定倍率の値以内又は該値未満である該隣接するボックス同士は行を形成するものと判断する、請求項１７に記載の画像処理装置。
【請求項１９】
歪除去手段により行方向処理と行文字寸法処理とが行われた処理済み被処理画像において、行検出手段により検出された行に含まれる文字が、該行に属する文字の所定の標準的な位置まで移動するための変位量である行所属変位量を求める行所属変位量算出手段と、
処理済み被処理画像において、行検出手段により検出された行に含まれる文字が、該行に属する文字の所定の標準的な方向まで回動するための回動角である回動角量を求める回動角量算出手段と、
を備えてなる、請求項１乃至１８のいずれか１に記載の画像処理装置。
【請求項２０】
行所属変位量算出手段が、前記標準的な位置と、処理済み被処理画像における行に含まれる文字の位置と、の間の距離である行所属距離をそれぞれの文字に関して求め、行に含まれる文字の行所属変位量を、該行に含まれる他の文字の行所属距離を用いて決するものである、請求項１９に記載の画像処理装置。
【請求項２１】
前記他の文字が、行所属変位量が算出される文字に直近のものである、請求項２０に記載の画像処理装置。
【請求項２２】
前記標準的な位置が、行方向に延び行の位置を示す行基準線に存する点である、請求項１９乃至２１のいずれか１に記載の画像処理装置。
【請求項２３】
行検出手段が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸及び第２軸に平行な２辺を有し、文字に外接する長方形であるボックスを生成するものであり、
文字の前記位置が、該文字に係るボックスの代表位置である、請求項２０乃至２４のいずれか１に記載の画像処理装置。
【請求項２４】
第１軸及び第２軸のうち、行方向に対して垂直な方向となす角度が小さい軸である近行垂直軸の方向への少なくとも２以上のボックスの寸法の代表値である近行垂直方向代表寸法と比較し、行所属変位量が算出される文字に係るボックスの近行垂直軸の方向へのボックスの寸法が所定範囲内である場合には、該算出される文字の行所属距離を用いて該算出される文字の行所属変位量を決するものである、請求項２３に記載の画像処理装置。
【請求項２５】
前記他の文字が、近行垂直方向代表寸法と比較し所定範囲内の近行垂直軸の方向への寸法を有するものである、請求項２４に記載の画像処理装置。
【請求項２６】
前記他の文字が、行所属変位量が算出される文字に直近のものであり、
行所属変位量が算出される文字と、前記他の文字と、が、近行垂直方向代表寸法と比較し所定範囲内の近行垂直軸の方向の寸法を有するものであり、
行所属変位量が算出される文字の行所属変位量が、行所属変位量が算出される文字の行所属距離と、前記他の文字の行所属距離と、の平均値とされるものである、請求項２３乃至２５のいずれか１に記載の画像処理装置。
【請求項２７】
前記他の文字が、行所属変位量が算出される文字が属する行の一方側に存するものと、行所属変位量が算出される文字が属する行の他方側に存するものと、を含み、
該一方側に存するものと、該他方側に存するものと、が、近行垂直方向代表寸法に比較し所定範囲内の近行垂直軸の方向への寸法を有するボックスに係る文字であり、
行所属変位量が算出される文字の行所属変位量が、該一方側に存するものの行所属距離と、該他方側に存するものの行所属距離と、に基づき決するものである、請求項２３に記載の画像処理装置。
【請求項２８】
回動角量算出手段が、行に含まれる文字の回動角量を、該行に含まれる別の文字の行所属距離又は行所属変位量を用いて決するものである、請求項１９乃至２７のいずれか１に記載の画像処理装置。
【請求項２９】
前記別の文字が、回動角量が算出される文字に直近のものである、請求項２８に記載の画像処理装置。
【請求項３０】
行検出手段が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸及び第２軸に平行な２辺を有し、文字に外接する長方形であるボックスを生成するものであり、
前記別の文字が、回動角量が算出される文字が属する行の一方側に存するものと、回動角量が算出される文字が属する行の他方側に存するものと、を含み、
該一方側に存するものと、該他方側に存するものと、が、第１軸及び第２軸のうち、行方向に対して垂直な方向となす角度が小さい軸である近行垂直軸の方向へのボックスの寸法の代表値である近行垂直方向代表寸法に対し所定範囲内の近行垂直軸の方向への寸法を有するボックスに係る文字であり、
回動角量が算出される文字の回動角量が、該一方側に存するものの行所属距離又は行所属変位量と、該他方側に存するものの行所属距離又は行所属変位量と、に基づき決されるものである、請求項２８又は２９に記載の画像処理装置。
【請求項３１】
行検出手段が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸及び第２軸に平行な２辺を有し、文字に外接する長方形であるボックスを生成するものであり、
前記別の文字が、回動角量が算出される文字が属する行の一方側に存するものを含み、
該一方側に存するものが、第１軸及び第２軸のうち、行方向に対して垂直な方向となす角度が小さい軸である近行垂直軸の方向へのボックスの寸法の代表値である近行垂直方向代表寸法に対し所定範囲内の近行垂直軸の方向への寸法を有するボックスに係る文字であり、
回動角量が算出される文字の回動角量が、該一方側に存するものの行所属距離又は行所属変位量と、回動角量が算出される文字の行所属距離又は行所属変位量と、に基づき決されるものである、請求項２８又は２９に記載の画像処理装置。
【請求項３２】
回動角量算出手段により求められた回動角量だけ前記文字の画像を回動させる回動画像形成手段と、
前記文字の画像を、行所属変位量算出手段により算出された行所属変位量だけ変位した位置の処理済み被処理画像に書き込んだ画像を形成する局所歪補正画像形成手段と、を備える、請求項１９乃至３１のいずれか１に記載の画像処理装置。
【請求項３３】
局所歪補正画像形成手段が、回動画像形成手段により回動された前記文字の画像を、行所属変位量だけ変位した位置の処理済み被処理画像に書き込んだ画像を形成するものである、請求項３２に記載の画像処理装置。
【請求項３４】
回動画像形成手段により回動された画像から、互いに直交する第１軸及び第２軸に平行な２辺を有し、該回動された画像に含まれる文字に外接する長方形の領域に含まれる画像を抽出する部分抽出手段を備え、
局所歪補正画像形成手段が、部分抽出手段により抽出された画像を、行所属変位量算出手段により算出された行所属変位量だけ変位した位置の処理済み被処理画像に書き込んだ画像を形成するものである、請求項３３に記載の画像処理装置。
【請求項３５】
少なくとも１の文字を含む検索対象に含まれる１の文字の画像データである比較画像を用い、歪みが除去又は減少された処理済画像に該比較画像と対応する対応画像が存するか検索する類似部分画像検索を実行する類似部分画像検索手段と、
類似部分画像検索の結果に基づき対応画像が処理済画像に存すると判断される場合には、該画像処理装置の使用者に該判断を通知する通知手段と、を含んでなる、請求項１乃至３４のいずれか１に記載の画像処理装置。
【請求項３６】
検索対象が、順番に並んだ少なくとも２以上の文字を含んでなり、
類似部分画像検索手段が、該２以上の文字それぞれの比較画像を用いて処理済画像に対する類似部分画像検索を実行するものであり、
該２以上の文字それぞれに関する類似部分画像検索の結果に基づき、該２以上の文字が処理済画像に該順序に並んでいるか判断することで、検索対象が処理済画像に存するか否かを判断するものである、請求項３５に記載の画像処理装置。
【請求項３７】
処理済画像に対して比較画像が移動することで類似部分画像検索を実行し、
検索対象に含まれる文字のうち互いに隣接する一対の文字のうち一方の文字の存在を示す類似部分画像検索の結果における該一方の文字の比較画像の位置に基づき、処理済画像中において一方の文字が存在すると想定される一方文字存在想定領域の位置と、該一対の文字のうち他方の文字の存在を示す類似部分画像検索の結果における該他方の文字の比較画像の位置に基づき、処理済画像中において他方の文字が存在すると想定される他方文字存在想定領域の位置と、が所定範囲に存する場合には、該一対の文字が連続して並んでいると判断するものである、請求項３６に記載の画像処理装置。
【請求項３８】
行検出手段が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸及び第２軸に平行な２辺を有し、文字に外接する長方形であるボックスを生成し、
比較画像は、第１軸及び第２軸に平行な２辺を有する長方形をなし、
前記所定範囲は、ボックスの寸法の代表値に基づき決定されるものである、請求項３７に記載の画像処理装置。
【請求項３９】
前記所定範囲は、一方文字存在想定領域の第２軸への正投影と、他方文字存在想定領域の第２軸への正投影と、がボックスの第２軸に沿った寸法の代表値の所定倍率の値以上又は該値を超えるものである互いに重なる部分を有すると共に、一方文字存在想定領域と他方文字存在想定領域との間の第１軸に沿った距離が、ボックスの第１軸に沿った寸法の代表値の所定倍率の値以内又は該値未満である、請求項３８に記載の画像処理装置。
【請求項４０】
一方文字存在想定領域及び／又は他方文字存在想定領域がボックスの寸法の代表値に基づき決定されるものである、請求項３８又は３９に記載の画像処理装置。
【請求項４１】
検索対象が、所定順序に並んだ少なくとも３以上の文字を含んでなり、
前記一対の文字が連続して並んでいると判断する場合、一方文字存在想定領域と他方文字存在想定領域とを含む、第１軸及び第２軸に平行な２辺を有する長方形状の合体領域の位置に対して、該他方の文字に連なる検索対象に含まれる別の文字の存在を示す類似部分画像検索の結果における該別の文字の比較画像の位置に基づき、処理済画像中において該別の文字が存在すると想定される別文字存在想定領域の位置が所定範囲に存する場合には、前記一対の文字と該別の文字とが連続して並んでいると判断するものである、請求項３７乃至４０のいずれか１に記載の画像処理装置。
【請求項４２】
類似部分画像検索手段が、検索対象に含まれる文字それぞれについて、処理済画像に対して相対的に異なる少なくとも２以上の大きさの比較画像を用いた類似部分画像検索に際して対応画像の比較画像に対する類似の度合いを示す類似度を算出し、処理済画像における比較画像の位置それぞれにおいて、該相対的に異なる少なくとも２以上の大きさの比較画像それぞれを用いて行った類似部分画像検索の類似度を比較しその最大値を該位置の代表類似度として、該文字が処理済画像に存するか否かを判断するものである、請求項３５乃至４１のいずれか１に記載の画像処理装置。
【請求項４３】
検索対象に含まれる文字それぞれについて少なくとも２以上の大きさの比較画像それぞれを用いて処理済画像に対する類似部分画像検索を実行するものである、請求項４２に記載の画像処理装置。
【請求項４４】
行検出手段が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸及び第２軸に平行な２辺を有し、文字に外接する長方形であるボックスを生成し、
類似部分画像検索手段が、ボックスの寸法の代表値に基づき比較画像の寸法を決するものである、請求項３５乃至４３のいずれか１に記載の画像処理装置。
【請求項４５】
処理済画像に対して比較画像が移動することで類似部分画像検索を実行し、
類似部分画像検索手段が、類似部分画像検索に際して対応画像の比較画像に対する類似の度合いを示す類似度を算出し、検索対象に含まれる１の文字に関する類似部分画像検索の結果において該文字の比較画像がある位置に存する際に類似度が所定値以上である場合には、該ある位置に対し所定位置関係に存するエリアに含まれる位置の類似度を比較し、最大の類似度を有する位置である最大類似度位置を定め、該最大類似度位置とは異なる該エリアに含まれる位置に係る類似度を該所定値未満の値に変更する処理を行うものである、請求項３５乃至４４のいずれか１に記載の画像処理装置。
【請求項４６】
行検出手段が、文字記載部分に記載された文字の画像を連結成分分析することで、被処理画像面において互いに直交する第１軸及び第２軸に平行な２辺を有し、文字に外接する長方形であるボックスを生成し、
前記エリアが、ボックスの第１軸に沿った寸法の代表値に基づき定められる第１軸に平行な第１辺と、ボックスの第２軸に沿った寸法の代表値に基づき定められる第２軸に平行な第２辺と、を有する長方形状にされるものである、請求項４５に記載の画像処理装置。
【請求項４７】
類似部分画像検索手段が、検索対象に含まれる文字それぞれについて、処理済画像に対して相対的に異なる少なくとも２以上の大きさの比較画像を用いた類似部分画像検索に際して対応画像の比較画像に対する類似の度合いを示す類似度を算出し、処理済画像における比較画像の位置それぞれにおいて、該相対的に異なる少なくとも２以上の大きさの比較画像それぞれを用いて行った類似部分画像検索の類似度を比較しその最大値を該位置の代表類似度として、該文字が処理済画像に存するか否かを判断するものであり、
処理済画像に対して相対的に異なる該少なくとも２以上の大きさのうち、最も大きい比較画像と同じ領域に前記エリアが定められるものである、請求項４５又は４６に記載の画像処理装置。
【請求項４８】
通知手段が、類似部分画像検索の結果に基づき比較画像と対応する対応画像が処理済画像に存すると判断される場合には、処理済画像、撮影画像又は加工画像において対応画像に対応する部分又はその近傍を他の部分と異ならせて表示するものである、請求項３５乃至４７のいずれか１に記載の画像処理装置。
【請求項４９】
類似部分画像検索手段が、類似部分画像検索に際して対応画像の比較画像に対する類似の度合いを示す類似度を算出し、
通知手段が、対応画像に対応する部分又はその近傍を他の部分と異ならせて表示する表示方法を、類似部分画像検索の結果の類似度の大きさにより異ならせるものである、請求項４８に記載の画像処理装置。
【請求項５０】
検索対象が、少なくとも２以上の文字を含んでなり、
検索対象に含まれる文字の平均類似度の大きさによって、前記表示方法を異ならせるものである、請求項４９に記載の画像処理装置。
【請求項５１】
通知手段が、撮影画像又は加工画像において対応画像に対応する部分又はその近傍を他の部分と異ならせて表示するものであり、
対応画像に対応する部分又はその近傍を他の部分と異ならせて表示する領域が決定された後、該決定された領域が撮影画像又は加工画像において対応する領域を求め、該対応する領域の撮影画像又は加工画像の部分を他の部分と異ならせて表示するものである、請求項４８乃至５０のいずれか１に記載の画像処理装置。
【請求項５２】
歪除去手段が行列変換により行方向処理及び行文字寸法処理を行うものであり、前記決定された領域を該行列変換に用いた行列の逆行列により変換することで、該決定された領域が撮影画像又は加工画像において対応する領域を求めるものである、請求項５１に記載の画像処理装置。
【請求項５３】
類似部分画像検索がテンプレートマッチングである、請求項３５乃至５２のいずれか１に記載の画像処理装置。
【請求項５４】
請求項１乃至５３のいずれか１に記載の画像処理装置をコンピュータに実現させるためのプログラム。