(57)【特許請求の範囲】
【請求項１】
入力画像の周辺部以外の文書部分から、検査領域を取得する検査領域取得ステップと、
前記検査領域取得ステップで取得した検査領域内の文書方向が横書きであるか縦書きであるか判断する方向判断ステップと、
前記方向判断ステップで横書きであると判断された場合に、横方向に並んだ２つの部分画像領域を対として、複数の前記対を前記検査領域内の複数箇所それぞれに定め、前記検査領域内に定められた部分画像領域毎に垂直軸に対する射影を取得する射影取得ステップと、
前記複数箇所に定められた対それぞれに対して、各部分画像領域から十分な量の射影を取得できたか否か判定する射影量判定ステップと、
前記対となる２つの部分画像領域の両方で十分な量の射影を取得できたと前記射影量判定ステップで判定した対に関しては、当該対となった２つの部分画像領域それぞれから取得した射影間の相関関係と当該２つの部分画像領域間の間隔とに基づいて傾き角度を求め、一方、前記対となる２つの部分画像領域の少なくともいずれかで十分な量の射影を取得できなかったと前記射影量判定ステップで判定した対に関しては、前記傾き角度を求める処理を行わないように制御する角度算出ステップと、
前記角度算出ステップで求めた傾き角度の平均を、前記入力画像の傾き量として算出する傾き量算出ステップとを有し、
前記射影取得ステップで前記部分画像領域毎に取得した射影は、前記各部分画像領域内で射影した際の垂直軸において文字の射影が存在する部分を示すことを特徴とする画像処理方法。
【請求項２】
前記傾き量算出ステップで算出された前記入力画像の傾き量に応じて、前記入力画像の傾きを補正する補正ステップを更に有することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記角度算出ステップでは、前記十分な量の射影を取得できたと前記射影量判定ステップで判定した対の部分画像領域の一方を固定し、他方の部分画像領域をずらしながら前記射影の相関を検出し、該相関が最大となる際のずれ量と前記２つの部分画像領域間の間隔とに基づいて、前記十分な量の射影を取得できたと前記射影量判定ステップで判定した対の傾き角度を算出することを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記部分画像領域のずらしは、予め定められた範囲内とすることを特徴とする請求項３に記載の画像処理方法。
【請求項５】
前記角度算出ステップでは、
前記対となる２つの部分画像領域の両方で十分な量の射影を取得できたと前記射影量判定ステップで判定した対に関して、更に、前記対となる２つの部分画像領域それぞれから取得した射影間の相関関係の最大値と最小値を求め、前記最大値と最小値の差が小さいか大きいか判定し、
前記最大値と最小値の差が大きいと判定された対に関しては、当該対となった２つの部分画像領域それぞれから取得した射影間の相関関係と当該２つの部分画像領域間の間隔とに基づいて傾き角度を求め、一方、前記最大値と最小値の差が小さいと判定された対に関しては、前記傾き角度を求めないように制御することを特徴とする請求項１に記載の画像処理方法。
【請求項６】
前記補正ステップでは、前記算出された傾き量に従って入力画像の分割幅を決定し、前記決定された分割幅を有する複数の小領域に前記入力画像を分割し、前記分割された複数の小領域各々をずらした画像を生成することにより、前記入力画像を補正することを特徴とする請求項２に記載の画像処理方法。
【請求項７】
前記入力画像の小領域への分割は、水平方向と垂直方向の各々に分割し、
前記画像の生成は、前記分割された水平方向と垂直方向の両小領域に対してずらし処理を行うことを特徴とする請求項６に記載の画像処理方法。
【請求項８】
更に、前記補正された入力画像に対して、表示手段に表示する処理、あるいは印字手段に印字する処理、あるいは電子ファイルに登録する処理、あるいは文字認識処理、のうち少なくともいずれかの処理を実行する実行ステップを有することを特徴とする請求項２に記載の画像処理方法。
【請求項９】
入力画像の周辺部以外の文書部分から、検査領域を取得する検査領域取得手段と、
前記検査領域取得手段で取得した検査領域内の文書方向が横書きであるか縦書きであるか判断する方向判断手段と、
前記方向判断手段で横書きであると判断された場合に、横方向に並んだ２つの部分画像領域を対として、複数の前記対を前記検査領域内の複数箇所それぞれに定めて、前記検査領域内に定められた部分画像領域毎に垂直軸に対する射影を取得する射影取得手段と、
前記複数箇所に定められた対それぞれに対して、各部分画像領域から十分な量の射影を取得できたか否か判定する射影量判定手段と、
前記対となる２つの部分画像領域の両方で十分な量の射影を取得できたと前記射影量判定手段で判定した対に関しては、当該対となった２つの部分画像領域それぞれから取得した射影間の相関関係と当該２つの部分画像領域間の間隔とに基づいて傾き角度を求め、一方、前記対となる２つの部分画像領域の少なくともいずれかで十分な量の射影を取得できなかったと前記射影量判定手段で判定した対に関しては、前記傾き角度を求める処理を行わないように制御する角度算出手段と、
前記角度算出手段で求めた傾き角度の平均を、前記入力画像の傾き量として算出する傾き量算出手段とを有し、
前記射影取得手段で前記部分画像領域毎に取得した射影は、前記各部分画像領域内で射影した際の垂直軸において文字の射影が存在する部分を示すことを特徴とする画像処理装置。
【請求項１０】
前記傾き量算出手段で算出された前記入力画像の傾き量に応じて、前記入力画像の傾きを補正する補正手段を更に有することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記角度算出手段では、前記十分な量の射影を取得できたと前記射影量判定手段で判断した対の部分画像領域の一方を固定し、他方の部分画像領域をずらしながら前記射影の相関を検出し、該相関が最大となる際のずれ量と前記２つの部分画像領域間の間隔とに基づいて、前記十分な量の射影を取得できたと前記射影量判定手段で判定した対の傾き角度を算出することを特徴とする請求項９に記載の画像処理装置。
【請求項１２】
前記部分画像領域のずらしは、予め定められた範囲内とすることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記角度算出手段では、
前記対となる２つの部分画像領域の両方で十分な量の射影を取得できたと前記射影量判定手段で判定した対に関して、更に、前記対となる２つの部分画像領域それぞれから取得した射影間の相関関係の最大値と最小値を求め、前記最大値と最小値の差が小さいか大きいか判定し、
前記最大値と最小値の差が大きいと判定された対に関しては、当該対となった２つの部分画像領域それぞれから取得した射影間の相関関係と当該２つの部分画像領域間の間隔とに基づいて傾き角度を求め、一方、前記最大値と最小値の差が小さいと判定された対に関しては、前記傾き角度を求めないように制御することを特徴とする請求項９に記載の画像処理装置。
【請求項１４】
前記補正手段では、前記算出された傾き量に従って入力画像の分割幅を決定し、前記決定された分割幅を有する複数の小領域に前記入力画像を分割し、前記分割された複数の小領域各々をずらした画像を生成することにより、前記入力画像を補正することを特徴とする請求項１０に記載の画像処理装置。
【請求項１５】
前記入力画像の小領域への分割は、水平方向と垂直方向の各々に分割し、
前記画像の生成は、前記分割された水平方向と垂直方向の両小領域に対してずらし処理を行うことを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
更に、前記補正された入力画像に対して、表示手段に表示する処理、あるいは印字手段に印字する処理、あるいは電子ファイルに登録する処理、あるいは文字認識処理、のうち少なくともいずれかの処理を実行する実行手段を有することを特徴とする請求項１０に記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は文書画像等の傾きを自動的に補正する画像処理方法及び装置に関するものである。
【０００２】
【従来の技術】
従来、画像処理装置における入力画像の回転は、回転角度を指定し、指定した角度だけ画像を回転するように構成されている。あるいは、表示した画像にマウス等を用いて直線を引き、その直線が水平または垂直になる角度だけ画像を回転するように構成されており、どちらにしろ回転角度をユーザにより入力させるものであった。
【０００３】
また、これらの操作を不要とする、あるいはそのような機能のない装置で画像を処理する為には、画像を入力する際にスキャナに原稿をセットする時点で細心の注意をはらい原稿の文書が曲がらないようにするしかなかった。
【０００４】
【発明が解決しようとしている課題】
しかしながら、上記従来例では、入力画像の大部分が文書の場合は特に、行が水平あるいは垂直であることが望ましく、傾きを補正するためには常にユーザが回転量を指示する操作が必要となり、操作者に負担がかかるという欠点があった。
【０００５】
本発明に係る目的は、文書が含まれる入力画像の傾きを自動的に検出し、ユーザの手を介することなく文書画像内の行が横書きなら水平に、縦書きなら垂直に補正した画像を提供し得るようにすることである。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明の画像処理方法は、入力画像の周辺部以外の文書部分から、検査領域を取得する検査領域取得ステップと、前記検査領域取得ステップで取得した検査領域内の文書方向が横書きであるか縦書きであるか判断する方向判断ステップと、前記方向判断ステップで横書きであると判断された場合に、横方向に並んだ２つの部分画像領域を対として、複数の前記対を前記検査領域内の複数箇所それぞれに定め、前記検査領域内に定められた部分画像領域毎に垂直軸に対する射影を取得する射影取得ステップと、前記複数箇所に定められた対それぞれに対して、各部分画像領域から十分な量の射影を取得できたか否か判定する射影量判定ステップと、前記対となる２つの部分画像領域の両方で十分な量の射影を取得できたと前記射影量判定ステップで判定した対に関しては、当該対となった２つの部分画像領域それぞれから取得した射影間の相関関係と当該２つの部分画像領域間の間隔とに基づいて傾き角度を求め、一方、前記対となる２つの部分画像領域の少なくともいずれかで十分な量の射影を取得できなかったと前記射影量判定ステップで判定した対に関しては、前記傾き角度を求める処理を行わないように制御する角度算出ステップと、前記角度算出ステップで求めた傾き角度の平均を、前記入力画像の傾き量として算出する傾き量算出ステップとを有し、前記射影取得ステップで前記部分画像領域毎に取得した射影は、前記各部分画像領域内で射影した際の垂直軸において文字の射影が存在する部分を示すことを特徴とする。
【０００７】
上記課題を解決するために、本発明の画像処理装置は、入力画像の周辺部以外の文書部分から、検査領域を取得する検査領域取得手段と、前記検査領域取得手段で取得した検査領域内の文書方向が横書きであるか縦書きであるか判断する方向判断手段と、前記方向判断手段で横書きであると判断された場合に、横方向に並んだ２つの部分画像領域を対として、複数の前記対を前記検査領域内の複数箇所それぞれに定めて、前記検査領域内に定められた部分画像領域毎に垂直軸に対する射影を取得する射影取得手段と、前記複数箇所に定められた対それぞれに対して、各部分画像領域から十分な量の射影を取得できたか否か判定する射影量判定手段と、前記対となる２つの部分画像領域の両方で十分な量の射影を取得できたと前記射影量判定手段で判定した対に関しては、当該対となった２つの部分画像領域それぞれから取得した射影間の相関関係と当該２つの部分画像領域間の間隔とに基づいて傾き角度を求め、一方、前記対となる２つの部分画像領域の少なくともいずれかで十分な量の射影を取得できなかったと前記射影量判定手段で判定した対に関しては、前記傾き角度を求める処理を行わないように制御する角度算出手段と、前記角度算出手段で求めた傾き角度の平均を、前記入力画像の傾き量として算出する傾き量算出手段とを有し、前記射影取得手段で前記部分画像領域毎に取得した射影は、前記各部分画像領域内で射影した際の垂直軸において文字の射影が存在する部分を示すことを特徴とする。
【００２１】
【実施例】
図１は本発明を実施するための画像処理装置の構成を示すブロック図である。１０１はＲＯＭ１０２に格納されている制御プログラムに従って本装置全体の制御を行うＣＰＵ、１０２はＣＰＵ１０１が実行する、後述するフローチャートに示す処理など本装置の制御プログラムなどを格納するＲＯＭ、１０３は文書画像などを記憶するＲＡＭ、１０４は磁気ディスクなどの外部記憶装置であり、１０５はディスプレイ、１０６はキーボード、１０７はマウス等のポインティングデバイス、１０８は画像を読み取るためのイメージスキャナである。
【００２２】
図１に示す構成の画像処理装置が実行する本実施例の処理を図２のフローチャートを用いて説明する。
【００２３】
まずＳ２０１で、スキャナ１０８などから光学的に読み取った画像を入力する。入力した画像はＳ２０２でＲＡＭ１０３に記憶する。ここで、入力画像をディスプレイ１０５に表示するようにしてもよい。
【００２４】
次にＳ２０３で、入力画像における文書の傾き量を求めるため、入力画像内に検査領域を取得する。図３を用いてこのＳ２０３における検査領域取得処理の一例を説明する。実線の矩形で示す３０１は入力された画像の範囲を示す矩形であり、点線の矩形で示す３０２は原稿の傾斜を示す。入力画像には３０３の文書部分や３０４のハーフトーン部分、また３０５のようなノイズが存在する。この画像では必要とすべき部分は分書部分であるので、入力画像の左やや下部分に存在する。ノイズ等必要ない画像は周辺部に存在することが多いので、まず、入力画像３０１の周辺からあらかじめ定めた大きさだけ小さくした矩形を想定し、その矩形を最大として処理対象とする画像の外接矩形を得る。この外接矩形に含まれる画像から更にヒストグラムをとることで、点線の矩形で示す３０６の領域が得られ、これを検査領域とする。
【００２５】
得られた検査領域内の画像を解析することにより、その領域における文書方向の判定を行う（Ｓ２０４）。文書方向は、文書画像をを間引いたり太め処理をすると、文書の組方向に画素が連結する傾向を用いる等、公知の方法により判断する。図やハーフトーン等が混在したり、縦書きや横書きが混在した場合でも、大まかな傾向から方向を決定する。この結果Ｓ２０５で文書方向が横書きと判断された領域についてはＳ２０６に進み、横書き用の傾き量検出方法で傾き量を求め、Ｓ２０５で縦書きと判断された領域についてはＳ２０７に進み、縦書き用の傾き量検出方法で傾き量を求める。Ｓ２０６及びＳ２０７で行われる傾き量検出処理の詳細を図５のフローチャートを用いて以下に詳細に説明することにする。
【００２６】
まず、Ｓ５０１で傾斜量を探索するための探索位置をＳ２０３で得られた検査領域内で複数箇所、できるだけ検査領域全体に分布するように決める。等間隔に位置を決めても、乱数等を用いて決めてもよい。Ｓ５０２で、それらの決定された探索位置すべてについて、個々に以下の調査を行う。Ｓ５０３では、注目探索領域にＳ２０５で判断されたその検査領域の文書組方向に沿って平行に２つの探索窓を取り、それらの射影を取る。その様子を、横書きを例に取り図６に示すと、６０１が対になった２つの探索窓であり、それらの射影が６０２である。図６の例では、文書が横書きであるので、探索窓は横方向に取っている。文書が縦書きの場合は、探索窓を縦方向にとる。ここで、Ｓ５０４で探索窓２つのうちどちらかの射影が存在しなかったり、十分な量が得られなかった場合、その検索位置の処理は終了してＳ５０９に進み、次の探索位置の調査に進む。
【００２７】
次にＳ５０５で、一方の探索窓をあらかじめ決めた量の範囲内で文書組方向と垂直にずらしながら２つの探索窓の射影の相関をとり、相間値が最大となる点と、最小となる点を検出する。図６では左の探索窓６０７を固定し、右の探索窓６０８を６０３の範囲で文書組方向の横とは垂直の縦方向にずらし、どちらも射影が存在する、またはどちらも射影が存在しない部分の一致度の量を相関として検出し、この検出値を６０５に表わす。右の探索窓が６０４の位置にある時に、２つの窓の射影は最も相関が大きくなる。ここで、相関の最大と最小の違いが小さいとＳ５０６で判断される場合は、射影が正しく抽出できた行の画像の一部ではないとし、その検索位置の処理は終了してＳ５０９に進み、次の探索位置の調査に進む。
【００２８】
Ｓ５０７で、最大相関の位置のずれ角度より、元の原稿の文書画像の傾斜角度を求める。図６では右の探索窓がｔ下にずれた時の射影が最大相関になり、探索窓の間隔がｄ、文書画像の傾斜角度をθとすると、ｔａｎθ＝ｔ／ｄで表される角度θだけ右上りになっていると判断できる。Ｓ５０８では、求めた傾斜角度をＲＡＭ１０３等に記憶する。
【００２９】
これで１つの探索位置の処理が終了したので、Ｓ５０９で次の探索位置に進む。すべての探索位置の処理が終了したとＳ５０２で判断されたらＳ５１０に進み、ＲＡＭ１０３内に傾斜角度が記憶されていればその傾斜角度に従って入力画像の傾き量を決定する（Ｓ５１１）。Ｓ５１１で決定する傾き量は、ＲＡＭ１０３にＳ５０８で記憶した傾斜角度の平均や、分布の中央値等でよい。なお、記憶した傾斜角度がないとＳ５１０で判断される場合は、入力原稿の傾き量は求められなかったと判断し、その原稿の傾き検出処理を終了する。また、縦書きも図６に示した横書きの文書と同様に図５のフローチャートに示した処理と同様にして傾き量が求まる。
【００３０】
Ｓ２０６及びＳ２０７で傾き量が求まったら、Ｓ２０８で原稿の傾きを除去するように入力画像を変形する。これは、入力画像の重心を中心にＳ５１１で求められた傾き量だけ画像回転を行えばよい。その結果、図３の入力原稿は、図４のように、文書部分の傾斜が除去された画像が得られる。
【００３１】
以上説明したように、本実施例により、入力画像の周辺部を検査領域取得の対象から除去することで、検査領域内含まれるノイズを減少させる効果がある。また、探索位置を検査領域全体に複数箇所存在させ、その中の信頼性の高い傾斜角度を用いることで、入力原稿の一部分にある文書領域から傾き量が精度よく求めることが可能となる効果があり、さらに、検査領域が文書画像ではなく、罫線のような組方向と同一の平行線が含まれていても、傾斜角度を正しく求めることができる効果がある。
【００３２】
なお、上記実施例では、本発明を実施するための最低限の構成要件で説明を行っているが、例えば汎用コンピュータに、本発明を実施する処理を行うプログラム等のデータを外部から提供し、あるいは、あらかじめ外部記憶１０４に記憶しておき、ＲＡＭ１０３に格納するように構成されていてもよい。また、あらかじめ外部記憶１０４に記憶した入力画像を処理するように構成されていてもよい。射影の相関についても、本実施例に限ることではない。
【００３３】
尚、Ｓ２０８で画像の傾きを除去し、補正された画像は、ディスプレイ１０５に表示されたり、プリンタ１０９により印字されたり、通信Ｉ／Ｆにより外部装置に送信されたり、または本画像処理装置によりその後の処理、例えば保存を目的とするので高品質な画像が求められる電子ファイルへの登録や、高認識率を得る為には高品質な画像が求められる文字認識処理等に用いられる。
【００３４】
本実施例における、Ｓ２０８の画像の傾きを除去する処理の一例を図７のフローチャートを用いて説明する。
【００３５】
Ｓ７０１で、組方向と垂直方向に入力画像を切り、短冊（図８の８０１に示す）とするための幅を決定する。幅は、１／ｔａｎθ画素とすればよい。Ｓ７０１で決定した幅を用いて、図８（ａ）に示すように等間隔に組方向と垂直方向に複数の短冊を作成する（Ｓ７０２）。この時、入力画像の重心を対称に短冊を作成する。
【００３６】
次に、Ｓ７０３で、入力画像の重心を含む短冊８０２を基準にして、図８（ｂ）のようにその辺りの短冊を傾き方向に合せて１画素ずつずらして組方向の傾きを除去する。
【００３７】
同様に、Ｓ７０４で組方向に延びる短冊の幅を求め、Ｓ７０５で組方向短冊（図８（ｃ）８０５）を作成し、それらを傾き方向に合せて１画素ずつずらして組方向と垂直方向の傾きを除去する。短冊の幅は、１／ｔａｎθ画素でよい。上記処理により、傾きが除去された画像８０３が得られる。
【００３８】
以上説明したように、本実施例により、傾き量より求めた幅の短冊をずらすことで、画像の傾きを高速に除去できる効果がある。
【００３９】
【発明の効果】
以上説明したように本発明によれば、ユーザの手を介さずとも正確に入力画像の傾きを算出することができる。
【００４０】
また、入力画像の傾きに応じてユーザの手を介さずとも傾き補正した高品質な入力画像を得ることができる。
【００４１】
また、部分画像領域をずらしながら射影の相関を検出する際、予め定められた範囲内でずらすので、効率よく傾き量の算出を行うことができる。
【００４２】
また、入力画像において定めた部分画像領域が、傾き量を算出するのに適していない場所と判断した場合、該場所での傾き量の算出を中断するので、処理の効率化が図れる。
【００４３】
また、傾き補正された高品質な入力画像を用いて各種処理を行うことができる。
【図面の簡単な説明】
【図１】第１の実施例に係る画像処理装置のブロック図。
【図２】第１の実施例に係る画像処理装置が行う処理のフローチャート。
【図３】第１の実施例に係る入力画像を説明する図。
【図４】第１の実施例に係る出力画像を説明する図。
【図５】第１の実施例に係る画像処理画像が行う傾き量を求める処理のフローチャート。
【図６】第１の実施例に係る傾き量を求める処理を説明する図。
【図７】第２の実施例に係る画像処理装置が行う画像の傾きを除去する処理のフローチャート。
【図８】第２の実施例に傾き除去の過程を説明する図。
【図１】
0004114959.tif 000002
【図２】
0004114959.tif 000003
【図３】
0004114959.tif 000004
【図４】
0004114959.tif 000005
【図５】
0004114959.tif 000006
【図６】
0004114959.tif 000007
【図７】
0004114959.tif 000008
【図８】
0004114959.tif 000009