(57)【特許請求の範囲】
【請求項１】
入力した文書画像を縦方向の分割線で複数の小領域に分割し、該小領域ごとに横方向に投影した横方向周辺分布を抽出するとともに、前記文書画像を横方向の分割線で複数の小領域に分割し、該小領域ごとに縦方向に投影した縦方向周辺分布を抽出する周辺分布抽出手段と、
前記周辺分布抽出手段により抽出された横方向周辺分布と縦方向周辺分布を比較することにより前記文書画像の行方向を検出する行方向検出手段と、
前記行方向検出手段により検出された行方向と同一方向に投影した前記周辺分布を成形する周辺分布成形手段と、
前記周辺分布成形手段により成形された互いに隣接する小領域の成形後周辺分布の位相ずれから前記文書画像の傾きを検出する傾き検出手段とを備え、
前記周辺分布成形手段が、行方向と同一方向に投影した各行における前記周辺分布の端部をしきい値処理により低レベル部を除去成形するものであり、
前記傾き検出手段が、前記低レベル部の除去成形後の周辺分布の位相のずれから前記文書画像の傾きを検出するものであることを特徴とする文書画像傾き検出装置。
【請求項２】
前記行方向検出手段が、前記周辺分布抽出手段により抽出された前記横方向及び縦方向周辺分布における周期的空白部間の周辺分布個数又は周期的空白部個数を比較して、該個数が多い周辺分布の投影方向を行方向と判定することを特徴とする請求項１記載の文書画像傾き検出装置。
【請求項３】
前記傾き検出手段が、同一文字列における複数の成形後周辺分布の中心点を結ぶ直線の傾きから文書画像の傾きを検出することを特徴とする請求項１記載の文書画像傾き検出装置。
【請求項４】
前記傾き検出手段が、複数の文字列における前記中心点を結ぶ直線の傾きから文書画像の傾きを検出することを特徴とする請求項３記載の文書画像傾き検出装置。
【請求項５】
前記周辺分布成形手段が、前記行方向と同一方向に投影した各行における周辺分布が、前記文字列の主要部に対応する周辺分布となるように前記しきい値処理により前記端部の低レベル部を除去成形するものであることを特徴とする請求項１から４いずれか１項記載の文書画像傾き検出装置。
【請求項６】
前記文字列の主要部に対応する周辺分布が、前記文字列の全ての文字の少なくとも一部の分布が存在する範囲の周辺分布であることを特徴とする請求項５記載の文字画像傾き検出装置。
【請求項７】
前記文書画像が、縦横両方向の文字列が混在したものであり、
前記傾き検出手段が、前記行方向検出手段により検出された行方向と同一方向に投影した周辺分布のうち、前記行方向の文字列から抽出された周辺分布に対し前記周辺分布成形手段により成形を行った成形後周辺分布のみに基づいて前記文書画像の傾きを検出するものであることを特徴とする請求項１から６いずれか１項記載の文書画像傾き検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は文書画像の傾き検出装置、特にＯＣＲ等のページ単位の文書画像を処理するデジタル画像処理装置において入力画像の傾きを検出する文書画像傾き検出装置に関するものである。
【０００２】
【従来の技術】
例えばＯＣＲを用いて文書画像の処理を行う際、画像を読み取るイメージスキャナに対して原稿が傾く等の原因により、入力画像に傾きが生ずることがある。この傾きが生じた文書画像においても文字認識等を正確に行うためには、入力画像の傾きを補正するか、或いは各処理で傾きを考慮した処理が必要となり、文書画像の傾きを検出することが行われている。
【０００３】
この文書画像の傾き検出としては、(１)原稿画像を微小角度毎に回転させながら周辺分布をとり、分布が最も急峻になった回転角を原稿の傾きとする手法［電子通信学会研究報告（信学技法）PRL80-70，pp9-16］、(２)二次元フーリエ変換（ＦＦＴ）により、原稿の文字や文字列の空間分布を求めて、それから傾き角度を推定する手法［電子通信学会論文誌‘84／11，VOL.670，No.9，pp1044-1051］、(３)文書画像を行方向と略直交する複数個の平行する帯状領域に分割し、各帯状領域内で部分的な周辺分布を求め、隣接する帯状領域における周辺分布のピーク点の位相ずれから傾き角を検出する手法［電子通信学会論文誌‘83/1，VOL.J66-D，No.1，pp111-118］等が提案されている。
【０００４】
また、その他にも、文書原稿の行方向と略直交する方向への走査による周辺分布において、互いに隣接する走査線における濃度累積値の差分の絶対値和を求め、その値が最大となるように傾きを補正する技術（特公昭６２−５２３３７号、特公昭６３−２５３９１号）、文書画像を２種以上の幅の帯状領域に分割し、各帯状領域に対する投影像をそれぞれ求め、帯状領域の幅の差と投影像の変化量により傾き角を検出する技術（特開昭６３−２９２３８２号）、文字を外接矩形や周辺分布により図形化し、この文字図形の領域の隣接する配列位置関係から文字図形列の傾きを検出する技術（特開平２−４４４８６号）、文字列の複数部分の周辺分布を抽出し、各周辺分布から文字列の位置を推定し、文字列全体の傾きを推定する技術（特開平３−２１２７８０号）等が知られている。
【０００５】
【発明が解決しようとする課題】
しかしながら、前述のような各手法においては、画像回転処理、二次元フーリエ変換など時間のかかる複雑な処理を必要とするものや、多数の周辺分布を求めて比較演算処理を要したり、これの簡素化で傾き精度の検出が低下する問題を有する。
【０００６】
また、その検出原理によっては、原稿の行方向、すなわち原稿が縦書きであるか横書きであるかが予めわかっている場合には適用可能であるが、文字列の方向が分からない原稿或いは縦書き・横書き混在の原稿に対しては、部分的な周辺分布の位相ずれが不明確になって傾き検出が困難になるものがある。さらに、文書原稿が和文と欧文とでは周辺分布等の特徴が異なるのに対応できず、文字の大きさが揃っていない欧文原稿での傾き検出では検出誤差が大きくなるものもある。
【０００７】
本発明は上記事情に鑑み、縦書き原稿・横書き原稿の別なく、和文及び欧文による文書画像の傾きを高精度かつ高速に検出し得るようにした文書画像傾き検出装置を提供するものである。
【０００８】
【課題を解決するための手段】
上記課題を解決した本発明の文書画像傾き検出装置は、入力した文書画像を縦方向の分割線で複数の小領域に分割し、該小領域ごとに横方向に投影した横方向周辺分布を抽出するとともに、前記文書画像を横方向の分割線で複数の小領域に分割し、該小領域ごとに縦方向に投影した縦方向周辺分布を抽出する周辺分布抽出手段と、前記周辺分布抽出手段により抽出された横方向周辺分布と縦方向周辺分布を比較することにより前記文書画像の行方向を検出する行方向検出手段と、前記行方向検出手段により検出された行方向と同一方向に投影した前記周辺分布を成形する周辺分布成形手段と、前記周辺分布成形手段により成形された互いに隣接する小領域の成形後周辺分布の位相ずれから前記文書画像の傾きを検出する傾き検出手段とを備えたことを特徴とするものである。
【０００９】
前記行方向検出手段は、前記周辺分布抽出手段により抽出された前記横方向及び縦方向周辺分布における周期的空白部間の周辺分布個数又は周期的空白部個数を比較して、該個数が多い周辺分布の投影方向を行方向と判定することが可能である。
【００１０】
前記傾き検出手段は、同一文字列における複数の成形後周辺分布の中心点を例えば最小自乗法により結ぶ直線の傾きから文書画像の傾きを検出することが好適である。その際、複数の文字列における前記中心点を結ぶ直線の傾きから文書画像の傾きを検出することが望ましい。
【００１１】
また、前記周辺分布成形手段は、行方向と同一方向に投影した各行における前記周辺分布の端部をしきい値処理により低レベル部を除去成形するのが特に欧文文書に対して有効である。
【００１２】
【発明の効果】
上記のような本発明の文書画像傾き検出装置によれば、入力した文書画像を縦方向の分割線で分割した小領域ごとに横方向に投影した横方向周辺分布及び横方向の分割線で分割した小領域ごとに縦方向に投影した縦方向周辺分布を周辺分布抽出手段で抽出し、この横方向及び縦方向周辺分布を行方向検出手段で比較して文書画像の行方向を検出し、この行方向と同一方向に投影した周辺分布を周辺分布成形手段で成形し、傾き検出手段で互いに隣接する小領域の成形後周辺分布の位相ずれから文書画像の傾きを検出することにより、縦書き原稿・横書き原稿の別なく傾き検出を行うことができるし、傾き検出に必要な方向の周辺分布のみの成形及び傾き検出を行うことでその処理が簡素化でき、さらに、例えば欧文の文字列の特徴を考慮して周辺分布の成形を行うから、和文のみならず欧文文書画像の傾きを高精度に検出することができるものであって、行方向判定、傾き検出を総合的に高精度で高速に行うことができる。
【００１３】
特に、文書画像の文字列の部分的な周辺分布を求め、互いに隣接する小領域の周辺分布間の位相ずれから傾き検出を行うという簡易な検出手法を用いることにより、文書画像の傾き検出の複雑さを改善している。しかも、原稿の行方向に関する情報が与えられない場合や、縦書き・横書きの混在原稿に対して、傾きを検出する前に行方向の検出を予め行い、検出された行方向の周辺分布データだけを用いることでさらに傾き検出の簡易化を図っている。
【００１４】
また、行方向検出を、抽出された横方向及び縦方向周辺分布における行間に対応する周期的空白部間の周辺分布個数又は周期的空白部個数を比較して、その個数が多い周辺分布の投影方向を行方向と判定することで行うと、縦書き・横書きの混在原稿に対しても傾き検出に好適な行方向判定が行える。
【００１５】
さらに、傾き検出において、同一文字列における複数の成形後周辺分布の中心点に基づいて傾きを検出すると、高速にかつ正確に傾き検出を行うことができる。しかも、複数の文字列にわたってできるだけ多くの成形された周辺分布を対象にして傾きを検出すると、より正確な結果が得られる。
【００１６】
また、周辺分布の成形は、行方向と同一方向に投影した各行における周辺分布の端部をしきい値処理により低いレベル部を除去成形すると、文字の大きさが揃っていない欧文文書に対しても、和文文書と同様に高精度の傾き検出が行える。
【００１７】
【発明の実施の形態】
以下、本発明の文書画像傾き検出装置の実施の形態を図面に基づいて説明する。図１は本発明の文書画像傾き検出装置を備えた文書画像処理システムの全体構成を示すものである。
【００１８】
文書画像処理システムは、文書原稿をデジタル画像データとして入力するイメージスキャナ１、入力された文書画像のデータを記憶するイメージメモリ２、文書画像の傾き検出を行う文書画像傾き検出装置３、システム全体を制御するＣＰＵ４を備えている。
【００１９】
また、前記文書画像傾き検出装置３は、前記文書画像の横方向周辺分布及び縦方向周辺分布を抽出する周辺分布抽出手段３０１、文書画像の文字列の行方向を認識する行方向検出手段３０２、行方向の周辺分布にしきい値処理による成形を施す周辺分布成形手段３０３、文書画像の行方向の傾きを求める傾き検出手段３０４から構成されている。
【００２０】
前記周辺分布抽出手段３０１は、イメージメモリ２に格納されたデジタル文書画像データ（後述の図２(Ａ)参照）から、縦横両方向に対して文字列の部分的な２種の周辺分布を抽出する。つまり、一つは文書画像を縦方向の分割線で複数の帯状小領域に分割し、該小領域ごとに横方向に投影した横方向周辺分布を抽出し（図２(Ｂ)参照）、もう一つは、文書画像を横方向の分割線で複数の帯状小領域に分割し、該小領域ごとに縦方向に投影した縦方向周辺分布を抽出する（図２(Ｃ)参照）。この縦横両方向の周辺分布は文字列の行方向を認識する行方向検出手段３０２に送られる。
【００２１】
この行方向検出手段３０２は、縦横両方向の周辺分布を比較することにより入力文書画像の文字列の行方向すなわち縦書きか横書きかを推定する。具体的には、前記横方向周辺分布及び縦方向周辺分布における周期的空白部間の周辺分布個数、又は周期的空白部の個数を比較して、該個数が多い周辺分布の投影方向を行方向と判定する。その結果を周辺分布成形手段３０３に送る。
【００２２】
周辺分布成形手段３０３は、行方向検出手段３０２により推定された行方向と同じ方向に投影して得られた周辺分布に対し、その端部をしきい値処理により低レベル部分を除去する周辺分布成形処理を行い、その結果を傾き検出手段３０４に送る。
【００２３】
傾き検出手段３０４は、互いに隣接する帯状領域の成形後周辺分布の位相ずれから各文字列の傾きを求める。具体的には、同一文字列における複数の成形後周辺分布の中心点を最小自乗法により結ぶ直線の傾きを複数の文字列で求め、それぞれの文字列の傾きの平均値を入力文書画像の傾きとして検出し、文書画像の傾き角の値はＣＰＵ４に送られ、その後の処理に使用される。
【００２４】
以下、図２〜図４に示す横書き文書画像を例に各動作を詳細に説明する。図２(Ａ)は傾いた横書きの欧文文書画像１０（入力画像データ）であり、前記周辺分布抽出手段３０１はこの文書画像１０を、縦横両方向に複数の平行する帯状小領域に分割し、各帯状領域ごとに文字列の部分的な横方向及び縦方向周辺分布を求める。すなわち、図２(Ｂ)は文書画像１０を縦方向の分割線１１で縦方向に延びる８個の平行な帯状小領域に分割し、各小領域を横方向に投影して抽出された横方向周辺分布２１であり、図２(Ｃ)は文書画像１０を横方向の分割線１２で横方向に延びる１１個の平行な帯状小領域に分割し、各小領域を縦方向に投影して抽出された縦方向周辺分布２２である。
【００２５】
ここで文字列の周辺分布２１，２２とは、縦方向の分割線１１による小領域の場合を図３に示すように、分割線１１内の小領域を分割線１１に直交する横方向に投影するように走査した際に、この小領域内に存在する文書画像１０（文字列）を所定ピッチで走査して各走査ライン上で発見される黒画素ランの個数（文字部分を走査した回数）をヒストグラムで示している。なお、走査した文字部分の黒画素数をカウントしたものでもよい。
【００２６】
前記行方向検出手段３０２は、前記のような図２(Ｂ)の横方向周辺分布２１と図２(Ｃ)の縦方向周辺分布２２を比較して文書画像１０の文字列の行方向を認識する。この例では横書き文書であることから、横方向周辺分布２１は行方向と略平行に走査（投影）していることで、この横方向周辺分布２１には各行に対するヒストグラムの塊の間に行間に相当する空白部が明確にかつ周期的に存在する一方、縦方向周辺分布２２は行方向と略直交する方向に走査（投影）していることで、この縦方向周辺分布には上記のような周期的な空白部はなく連続的にヒストグラムが現れている。
【００２７】
上記のように横方向周辺分布２１と縦方向周辺分布２２とには文書画像１０の行方向に対応した顕著な特徴が現れることから、これを利用して行方向を検出する。具体的には、前記横方向周辺分布２１及び縦方向周辺分布２２における一定間隔以上離れて存在する周期的なヒストグラム塊の個数（又は周期的空白部の個数）をカウントし、両者のカウント数を比較して多い方の周辺分布２１又は２２における投影方向（走査方向）を文字列の行方向と判定する。前記図２の場合には、上記カウント数は図２(Ｂ)で１５０以上、図２(Ｃ)で２０以下となって、横方向に投影して得られた横方向周辺分布２１の方が多いため、文書画像１０の文字列の行方向は横方向と判断できる。そこで、行方向検出手段３０２は、横方向に投影して得られた図２(Ｂ)の横方向周辺分布２１のデータのみを、前記周辺分布成形手段３０３に送るものである。
【００２８】
なお、文書画像１０に縦横両方向の文字列が混在する原稿については、前記カウント数が多い方の周辺分布が対応する行方向の文字列が多いので、その方向の周辺分布データのみを周辺分布成形手段３０３に送ることで、後述の高精度の傾き検出が可能になる。
【００２９】
次に、図４は周辺分布成形手段３０３及び傾き検出手段３０４の動作を示すものであるが、傾き検出手段３０４は前述のように基本的に周辺分布２１の各ヒストグラムの行方向と直交する方向の幅（図４では上下方向の長さ）の中央点を結んだ直線の傾きを検出するものであるが、これでは欧文のときに実際の傾きと一致しない場合があり、これを周辺分布成形手段３０３で補正するものである。
【００３０】
上記目的で周辺分布成形手段３０３は、行方向検出手段３０２から送出された周辺分布２１に対して成形化処理を行う。つまり、図４(Ａ)に、欧文文字列の一部とそれらの横方向周辺分布２１の例を示し、小文字が連続する欧文の場合、“ｄ”の頭部分、“ｇ”の足の部分など、文字列の基本的な上下範囲から飛び出した部分があり文字の大きさが揃っていないため、それらの周辺分布２１をそのまま利用すると、各文字列のヒストグラムの中央点ｓを結ぶ直線Ｌ０の傾き角は実際の文字列の傾き角と一致しないで誤差を生じる。そのため、周辺分布成形手段３０３は、周辺分布２１の各ヒストグラムの端部にしきい値処理を施し、各周辺分布２１の端部におけるレベルがしきい値より小さな部分を除去する成形を行い、図４(Ｂ)のように、成形後の周辺分布２１ａは欧文文字の上記のような上下の飛び出した部分の影響を排除し、この成形後周辺分布２１ａが文字列の主要部に対応するものとしている。成形後の周辺分布２１ａにおける各ヒストグラムの長さの中央点ｓを結ぶ直線Ｌ１の傾きは、文字列の傾きに対してより高い精度で一致するようになる。上記成形処理後の周辺分布２１ａが傾き検出手段３０４に送られる。
【００３１】
傾き検出手段３０４は、成形後周辺分布２１ａにおける１つの文字列に属すると判断される互いに隣接するヒストグラムの中心位置ｓ，ｓ…を求め、このそれぞれの中心位置ｓをできるだけ長く結ぶ直線Ｌ１を最小自乗法により求め、この直線Ｌ１の傾きをその文字列の傾きとする。このような直線Ｌ１を全ての文字列の対応する周辺分布２１ａについて結んで傾きを求め、それらの傾きの平均値を文書画像１０の傾きと判断する。
【００３２】
なお、前述のような周辺分布の成形処理は、和文の文書画像に対して同様に施しても除去部分は少なく、直線の傾き検出に対する影響は小さく、和文及び欧文のいずれにおいても良好な傾き検出が行える。
【図面の簡単な説明】
【図１】本発明の一つの実施の形態による文書画像傾き検出装置を備えたシステムの構成図
【図２】一例の文書画像とその横縦両方向の周辺分布を示す図
【図３】文字列の周辺分布を求める一例を示す図
【図４】文字列の周辺分布に対する成形前後の傾き検出を示す図
【符号の説明】
１      イメージスキャナ
２      イメージメモリ
３      文書画像傾き検出装置
10      文書画像
11,12   分割線
20,30   周辺分布
21a     成形後周辺分布
ｓ      中央点
L1      直線
301     周辺分布抽出手段
302     行方向検出手段
303     周辺分布成形手段
304     傾き検出手段
【図１】
0004323606.tif 000002
【図２】
0004323606.tif 000003
【図３】
0004323606.tif 000004
【図４】
0004323606.tif 000005