(57)【特許請求の範囲】
【請求項１】
入力された文書画像を構成する画素の横書き文章方向および縦書き文章方向における投影分布を算出し、
その算出した投影分布において、所定のしきい値に満たない頻度を有する区間幅であって、縦書きの文章方向の区間幅のうち第１のしきい値以上の区間幅を持つ区間と横書きの文章方向の区間幅のうち第２のしきい値以上の区間幅を持つ区間とを基に前記文書画像を分割する境界を設定し、
その設定した境界において前記文書画像を分割し、
前記境界の設定に当たって、縦書きの文章方向に隣接する文字候補の外接矩形間の平均間隔をＳV 、横書きの文章方向に隣接する文字候補の外接矩形間の平均間隔をＳH とするとき、第１のしきい値＝ＳV ×Ｃ１、第２のしきい値＝ＳH ×Ｃ２と設定する（ただし、１よりも大きい係数をαとするとき、縦書き文書領域が主体である場合：Ｃ１＝Ｃ２×α、横書き文書領域が主体である場合：Ｃ２＝Ｃ１×α）
ことを特徴とする画像処理方法。
【請求項２】
前記文書画像を分割する境界を、前記区間幅が最も広いところで設定する
ことを特徴とする請求項１記載の画像処理方法。
【請求項３】
入力された文書画像を構成する画素の横書き文章方向および縦書き文章方向における投影分布を算出する投影分布算出手段と、
前記投影分布算出手段によって算出された投影分布において、所定のしきい値に満たない頻度を有する区間幅であって、縦書きの文章方向の区間幅のうち第１のしきい値以上の区間幅を持つ区間と横書きの文章方向の区間幅のうち第２のしきい値以上の区間幅を持つ区間とを基に前記文書画像を分割する境界を設定する境界設定手段と、
前記境界設定手段によって設定された境界において前記文書画像を分割する分割手段とを備え、
前記境界設定手段は、縦書きの文章方向に隣接する文字候補の外接矩形間の平均間隔をＳV 、横書きの文章方向に隣接する文字候補の外接矩形間の平均間隔をＳH とするとき、第１のしきい値＝ＳV ×Ｃ１、第２のしきい値＝ＳH ×Ｃ２と設定する（ただし、１よりも大きい係数をαとするとき、縦書き文書領域が主体である場合：Ｃ１＝Ｃ２×α、横書き文書領域が主体である場合：Ｃ２＝Ｃ１×α）
ことを特徴とする画像処理装置。
【請求項４】
前記境界設定手段は、前記区間幅が最も広いところで前記文書画像を分割する境界を設定する
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記文書画像に含まれる文章が縦書き主体であるか又は横書き主体であるかを算定する算定手段をさらに備え、前記境界設定手段は、前記算定手段による算定結果を参照し、かつ前記投影分布算出手段によって算出された投影分布を用いて前記文書画像を分割する境界を設定する
ことを特徴とする請求項３又は４記載の画像処理装置。
【請求項６】
前記投影分布算出手段は、前記文書画像を構成する画素の横書き文章方向および縦書き文章方向における投影分布を算出する
ことを特徴とする請求項５記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力された文書画像を分割して文章領域を抽出する画像処理方法および画像処理装置に関し、特に画像データとして入力された新聞や雑誌等の各種印刷文書から所望の文章領域を抽出する画像処理方法および画像処理装置に関するものである。
【０００２】
【従来の技術】
近年、ワードプロセッサやパーソナルコンピュータ等を用いた、電子データを出力形態とする電子文書作成装置の普及に加え、インターネットやイントラネット等に代表されるようにオフィスや家庭を取り巻くネットワーク環境が急速に発達しており、情報を伝達したり、蓄積する手段として電子データ化された文書が広く用いられている。そのうえさらに、新聞や雑誌等の紙面上の文書情報を利用したいというニーズも多く、これらを上記電子文書作成装置によって作成された文書と混在させて利用するためには、紙面上の文書情報を何らかの手段を用いて電子データに変換する必要が生じる。
【０００３】
これを実現する最も基本的な手段としては、紙面上の文書情報をデジタル画像として取り込んだ文書画像データそのものを所望の電子データとして利用することである。しかし、このような電子データは文章や図形、表等といった文書の構成要素がどのようなものであろうと文書全体が一律に画素の集合として表現されてしまうため、上記電子文書作成装置によって作成された文書と同等に文書内の文章や図形を自由に検索、編集するなど多岐にわたる利用が困難であるという問題点がある。
【０００４】
上述した問題点を解決するために、文書画像を図形領域や写真領域などの他、縦書き文章領域や横書き文章領域のように、ある属性を持つ複数の領域に分割して所望の文章領域を抽出する技術として、以下に示すような文書画像領域分割方式が提案されている。
【０００５】
例えば、特開平９−１６７２３３号公報には、黒画素成分の大きさに基づいて文章領域を抽出する技術が開示されている。これは、先ず、入力された文書画像を２値化し、黒画素連結成分を抽出してその外接矩形のサイズから文字と判定されるものを抽出する。次に、文章領域としての評価値が最良となるまで統合条件を変更しながら統合処理を繰り返すことで、文書領域を抽出するというものである。
【０００６】
また、特開平３−２６８１８１号公報には、白画素成分の密度に着目して文書画像を分割し、分割された領域の特性から文章領域を抽出する技術が開示されている。これは、先ず、入力された文書画像を一定の大きさのセルに分割して各セルの黒画素数をカウントし、黒画素数がしきい値以下であればそのセルを空白セルとする。次に、４近傍で隣接する空白セル同士を連結して空白セル領域を作成し、空白領域で区切られた矩形領域をブロックとして抽出する。そして、平均黒画素数がしきい値よりも少なく、水平／垂直方向に作成した投影分布に周期性のあるものを文章領域として抽出するというものである。
【０００７】
また、文献「信学技法（ＰＲＬ８５−１７，１９８５）」には、文書画像において投影分布を作成し、分布の形状に基づいて文書画像を分割し、文章領域を抽出する技術が開示されている。これは、先ず、入力された文書画像に対して水平または垂直方向に投影分布を作成し、この作成した投影分布上で頻度が存在する部分（以下、黒領域部と称す）と頻度が０の部分（以下、空白部と称す）を抽出する。このとき、黒領域部に一定の条件を満たす極小点が存在する場合には、この極小点から当該黒領域部を分割した場合の両領域同士の相関比を評価することで、黒領域部間の分離と統合を繰り返しながら最終的な黒領域部を抽出する。
【０００８】
次に、投影分布上における複数黒領域部の規則性情報、即ち黒領域部の平均区間幅、空間部の平均区間幅、黒領域部の面積などを算出することで、縦書き文章領域か、横書き文章領域かまたは未確定領域かを判断する。ここでは、相関比が高い複数個の黒領域群が連続し、かつ一定許容範囲で配置されている場合に、これらの黒領域群を一つの文章領域としている。一方、相関比と共に、空白部の区間幅を文章領域の分離情報として利用する。そして、これらの処理を水平方向と垂直方向で交互に繰り返して実施することで、最終的に確定した文章領域を抽出するというものである。
【０００９】
【発明が解決しようとする課題】
しかしながら、上述した従来の文章画像領域分割方式では、いずれの場合も文書内における縦書き文章領域や横書き文章領域の段組構成、文章領域内の各文字サイズ等を考慮することなく、局所的な画素の配置情報に基づいて領域を抽出するようにしているため、結果として得られる領域情報は必ずしも文書の論理構造を反映するものではなかった。
【００１０】
例えば、特開平９−１６７２３３号公報に開示の従来技術では、統合条件として、統合後の領域が抽出した文字列に対する文字認識処理結果を用いたり、または、統合後の領域から抽出した文字列の幾何学的情報を用いるなどしているが、領域を個々の連結成分単位の細かさで分割してしまうと、１文字が複数の連結成分から表現されることとなり、統合条件によってはこれらを正しく統合できないことも予想される。
【００１１】
また、統合後に縦書き文章領域かあるいは横書き文章領域かを算出しているため、統合誤りが発生した場合には、文章領域全体の属性を誤って判断されてしまうことがある。さらには、どのような統合条件を利用するにせよ、何度にも亘って統合処理を行い、その結果から最良のものを選択する必要があるため、処理時間がかかるという問題点がある。
【００１２】
また、特開平３−２６８１８１号公報に開示の従来技術では、文章中の文字サイズの如何に関わらず、文書画像を一定の大きさのセルに分割して空白セルを抽出している。このとき、空白セルを作成する際には文書画像中の最も小さい文字が抽出できるようなセルのサイズを設定する必要がある。
【００１３】
このように小さなサイズのセルを用いて空白領域を抽出した場合、例えば、より大きなサイズの文字から構成される文章領域の文字間において、小さなサイズの文字から構成される文章領域の文字間隔に比べて広いことが原因で不必要に空白セルが作成されてしまう可能性がある。その結果、得られる文章領域も本来ならば同一の文章領域として扱われるべきものが、不自然に分割された複数の文章領域として抽出されてしまうという問題点がある。
【００１４】
また、文献「信学技法（ＰＲＬ８５−１７，１９８５）」に開示の従来技術では、水平および垂直方向の投影分布を交互に作成し、投影分布上の空白部を検出して領域を分割しているが、複雑な構造の文書では明確な空白部が検出されることは少ないため、領域の分割ができない場合があるという問題点がある。さらには、各黒領域部において相関比を求めているが、この相関比は頻度分布の分散に基づく特徴量であることから、その算出には数度に亘る浮動小数点演算を必要とする。さらには、相関比に基づいて黒領域部の分離と統合処理を繰り返す必要があるため、やはり多くの演算処理を必要とする問題点がある。
【００１５】
本発明は、上述した事情に鑑みてなされたものであり、その目的とするところは、文書構造が未知である文書画像に対して、文書の論理構造に逆らうことなく領域を分割し、かつ縦書き文書領域と横書き文書領域を分離して抽出できる画像処理方法および画像処理装置を提供することにある。
【００１６】
【課題を解決するための手段】
本発明による画像処理方法は、入力された文書画像を構成する画素の横書き文章方向および縦書き文章方向における投影分布を算出し、その算出した投影分布において、所定のしきい値に満たない頻度を有する区間幅であって、縦書きの文章方向の区間幅のうち第１のしきい値以上の区間幅を持つ区間と横書きの文章方向の区間幅のうち第２のしきい値以上の区間幅を持つ区間とを基に入力文書画像を分割する境界を設定し、その設定した境界において入力文書画像を分割し、前記境界の設定に当たって、縦書きの文章方向に隣接する文字候補の外接矩形間の平均間隔をＳV 、横書きの文章方向に隣接する文字候補の外接矩形間の平均間隔をＳH とするとき、第１のしきい値＝ＳV ×Ｃ１、第２のしきい値＝ＳH ×Ｃ２と設定する（ただし、１よりも大きい係数をαとするとき、縦書き文書領域が主体である場合：Ｃ１＝Ｃ２×α、横書き文書領域が主体である場合：Ｃ２＝Ｃ１×α）ことを特徴としている。
【００２０】
本発明による画像処理装置は、上記画像処理方法を実現するための画像処理装置であって、入力された文書画像を構成する画素の横書き文章方向および縦書き文章方向における投影分布を算出する投影分布算出手段と、この投影分布算出手段によって算出された投影分布において、所定のしきい値に満たない頻度を有する区間幅であって、縦書きの文章方向の区間幅のうち第１のしきい値以上の区間幅を持つ区間と横書きの文章方向の区間幅のうち第２のしきい値以上の区間幅を持つ区間とを基に文書画像を分割する境界を設定する境界設定手段と、この境界設定手段によって設定された境界において前記文書画像を分割する分割手段とを備え、前記境界設定手段は、縦書きの文章方向に隣接する文字候補の外接矩形間の平均間隔をＳV 、横書きの文章方向に隣接する文字候補の外接矩形間の平均間隔をＳH とするとき、第１のしきい値＝ＳV ×Ｃ１、第２のしきい値＝ＳH ×Ｃ２と設定する（ただし、１よりも大きい係数をαとするとき、縦書き文書領域が主体である場合：Ｃ１＝Ｃ２×α、横書き文書領域が主体である場合：Ｃ２＝Ｃ１×α）ことを特徴としてる。
【００２１】
上記構成の画像処理装置において、先ず、投影分布算出手段は、入力された文書画像を構成する画素の横書き文章方向および縦書き文章方向における投影分布を算出する。この算出結果を受けて、境界設定手段は、算出された投影分布において、所定のしきい値に満たない頻度を有する区間幅であって、縦書きの文章方向の区間幅のうち第１のしきい値以上の区間幅を持つ区間と横書きの文章方向の区間幅のうち第２のしきい値以上の区間幅を持つ区間とを基に入力文書画像を分割する境界を設定する。その際に、境界設定手段は、縦書きの文章方向に隣接する文字候補の外接矩形間の平均間隔をＳV 、横書きの文章方向に隣接する文字候補の外接矩形間の平均間隔をＳH とするとき、第１のしきい値＝ＳV ×Ｃ１、第２のしきい値＝ＳH ×Ｃ２と設定する。投影分布においてしきい値を設定することで、空白領域（画素数が０）の検出が難しい複雑な文書であっても、分割領域の境界を精度良く設定できる。そして、分割手段は、境界設定手段で設定された境界において入力文書画像を分割する。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しつつ詳細に説明する。
【００２３】
図１は、本発明の第１実施形態に係る画像処理装置１０の構成を概略的に示したブロック図である。図１において、第１実施形態に係る画像処理装置１０は、画像入力部１１、前処理部１２、文章方向算定部１３、分割境界設定部１４および領域分割部１５を有する構成となっている。なお、これら構成部分の各処理については、マイクロコンピュータ等によって構成される制御部（図示せず）によって制御されるものとする。
【００２４】
この画像処理装置１０において、画像入力部１１は、文書画像を入力するためのものである。この画像入力部１１としては、スキャナ等光学的に文書情報を入力する手段であっても良いし、また予めデジタル画像に変換された文書情報を入力する手段であっても良い。画像入力部１１から入力された画像に対し、ここでは公知の技術によって２値化した後、傾きを検出してその補正処理を施すこととする。以降、この処理によって得られた画像を入力画像と称す。なお、入力画像では文字をはじめとする文書構成要素が黒画素で表現されるものとする。
【００２５】
前処理部１２は、画像入力部１１によって入力された画像から、文章方向算定部１３および分割境界設定部１４で処理を施す際に利用する特徴量を抽出する。ここでは、特徴量として黒画素連結成分に対して外接する矩形（以下、外接矩形と称す）の幾何情報を用いるものとして説明する。文章方向算定部１３は、画像入力部１１から入力された文書画像の文章が、縦書き主体であるか横書き主体であるかを算定する。
【００２６】
分割境界設定部１４は、文章方向算定部１３によって算定された文章方向によって、画像入力部１１から入力された文書画像を分割する境界を設定する。そして、領域分割部１５は、分割境界設定部１４によって設定された分割境界に基づいて、画像入力部１１から入力された文書画像を分割する。
【００２７】
次に、上記構成の第１実施形態に係る画像処理装置１０の全体の動作につき、図２のフローチャートを用いて説明する。
【００２８】
先ず、画像入力部１１から文書画像を入力し（ステップＳ１１）、次いで前処理部１２で前処理を実施して分割対象領域を入力画像全体に設定する（ステップＳ１２）。次に、文章方向算定部１３で分割対象領域における文章領域の主体となる文章方向を算出し（ステップＳ１３）、得られた情報を利用して分割境界設定部１４で分割境界を設定する（ステップＳ１４）。
【００２９】
続いて、図示せぬ制御部により、ステップＳ１４において分割境界が設定できたかどうかを判定し（ステップＳ１５）、分割境界を設定できた場合には、その設定された分割境界に基づいて領域分割部１５で領域を分割する（ステップＳ１６）。そして、図示せぬ制御部により、分割後の１つの領域を新たな分割対象領域として設定し（ステップＳ１７）、しかる後ステップＳ１３へ移行する。
【００３０】
一方、ステップＳ１５においてステップＳ１４での分割境界の設定が不可能であったと判断した場合には、さらに分割対象領域とすることのできる領域が他に存在するか否かを判断する（ステップＳ１８）。ここで、他に存在すると判断した場合には、ステップＳ１７に移行してこの領域を新たな分割対象領域として設定する。他に分割対象領域となる分割処理後の領域が存在しない場合には、一連の処理を終了する。
【００３１】
次に、図１の画像処理装置１０における各構成部分の動作について説明する。先ず、画像入力部１１から入力された画像に対する処理として、前処理部１２の処理内容について図３のフローチャートを用いて説明する。
【００３２】
先ず、入力画像に対して公知のラベリング処理を施し、黒画素連結成分を抽出する（ステップＳ２１）。ここに、ラベリング処理とは、連結している画素の成分からなる１つの領域に１つの識別値を与える処理を言う。次いで、抽出したすべての黒画素連結成分に対して外接する矩形を作成し（ステップＳ２２）、続いて各外接矩形の高さＨと幅Ｗを算出する（ステップＳ２３）。
【００３３】
次に、各外接矩形の高さＨと幅Ｗを参照し、予め設定しておいたサイズに関するしきい値ＴＨSMALL とＴＨLARGE および形状に関するしきい値ＴＨSEPARATOR を用いて、外接矩形によって囲まれる黒画素連結成分を、以下に示すように、文字候補、図形候補、フィールドセパレータ候補、ノイズ候補の４種類に分類する（ステップＳ２４）。
【００３４】
・文字候補：
[(ＴＨSMALL ＜Ｈ＜ＴＨLARGE ）∩（Ｗ＜ＴＨLARGE )]
∪[(Ｈ＜ＴＨLARGE ）∩（ＴＨSMALL ＜Ｗ＜ＴＨLARGE )]  …（１）
【００３５】
・図形候補：
[(ＴＨLARGE ≦Ｈ）∪（ＴＨLARGE ≦Ｗ)]
∩[(ＴＨSEPARATOR ≧（Ｈ／Ｗ)]（ただし、Ｈ≧Ｗの場合）
[(ＴＨLARGE ≦Ｈ）∪（ＴＨLARGE ≦Ｗ)]
∩[(ＴＨSEPARATOR ≧（Ｈ／Ｗ)]（ただし、Ｈ＜Ｗの場合）…（２）
【００３６】
・フィールドセパレータ候補：
[(ＴＨLARGE ≦Ｈ）∪（ＴＨLARGE ≦Ｗ)]
∩[(ＴＨSEPARATOR ＜（Ｈ／Ｗ)]（ただし、Ｈ≧Ｗの場合）
[(ＴＨLARGE ≦Ｈ）∪（ＴＨLARGE ≦Ｗ)]
∩[(ＴＨSEPARATOR ＜（Ｈ／Ｗ)]（ただし、Ｈ＜Ｗの場合）…（３）
【００３７】
・ノイズ候補：
（Ｈ≦ＴＨSMALL ）∩（Ｗ≦ＴＨSMALL ）                ………（４）
【００３８】
次に、文章方向算定部１３の処理内容について、図４のフローチャートを用いて説明する。なお、以下に言う水平方向および垂直方向とは、横書きおよび縦書きの各文章方向にそれぞれ対応する方向を言うものとする。
【００３９】
先ず、水平方向に隣接する文字候補の外接矩形間の平均間隔である水平方向平均間隔ＳH と、垂直方向に隣接する文字候補の外接矩形間の平均間隔である垂直方向平均間隔ＳV を算出する（ステップＳ３１）。ただし、算出に用いる外接矩形間隔が予め設定しておいたしきい値ＴＨSPACE よりも広い場合には、この値を利用しないものとする。
【００４０】
このことについて、図５を用いて詳細に説明する。例えば、水平方向平均間隔ＳH を算出するのであれば、しきい値ＴＨSPACE 以下である間隔ＤＨ１は算出に利用するが、しきい値ＴＨSPACE を超える間隔ＤＨ２は利用しない。同様に、垂直方向平均間隔ＳV を算出するのであれば、しきい値ＴＨSPACE 以下である間隔ＤＶ２は算出に利用するが、しきい値ＴＨSPACE を超える間隔ＤＶ１は利用しない。このようなしきい値ＴＨSPACE による判断処理を導入することで、安定して平均間隔を算出することができる。
【００４１】
なお、しきい値ＴＨSPACE は予備実験によって統計的に設定しても良いし、又文字候補の外接矩形における高さの平均値ＨAVE と幅の平均値ＷAVE を算出し、これらに基づいてその都度算出しても良い。実際には、水平方向平均間隔ＳH は平均列間隔とほぼ等しく、垂直方向平均間隔ＳV は平均行間隔とほぼ等しい値となることから、ここでは水平方向平均間隔ＳH を平均列間隔、垂直方向平均間隔ＳV を平均行間隔と呼ぶこととする。
【００４２】
続いて、算出した平均列間隔ＳH と平均行間隔ＳV から、以下のように対象領域の文章方向を算定する（ステップＳ３２）。
・ＳV ＜ＳH である場合、縦書き文章領域が主体である。
・ＳV ＞ＳH である場合、横書き文章領域が主体である。
【００４３】
ただし、ＳV ＝ＳH である場合は、予め縦書きまたは横書きのどちらか一方を優先的に選択するようにしても良いし、文字候補の配置状態から水平方向への分布範囲と垂直方向への分布範囲を比較し、水平方向への分布範囲が広い場合には横書き文章領域であり、逆に垂直方向への分布範囲が広い場合には縦書き文章領域であるとしても良い。
【００４４】
次に、分割境界設定部１４の処理内容について、図６のフローチャートを用いて説明する。
【００４５】
先ず、水平方向および垂直方向に入力画像の投影分布を作成する（ステップＳ４１）。このとき、投影する画素は、入力画像中のすべての連結成分を対象としても良いし、文字候補である連結成分のみを対象としても良い。続いて、作成した投影分布情報を利用して分割境界候補を抽出する（ステップＳ４２）。ここでは、分割境界候補の抽出について、図７を用いて説明する。
【００４６】
図７において、（ａ）が水平方向の投影分布を示し、（ｂ）が垂直方向の投影分布を示すものとする。水平方向および垂直方向の両投影分布において、しきい値ＴＨDISTRIBUTIONに満たない頻度を持つ閉区間Ｄ１〜Ｄ５に着目し、区間Ｄ１〜Ｄ３のうちのしきい値ＴＨSPLIT-H 以上の区間幅を持つ区間を、また区間Ｄ４とＤ５のうちのしきい値ＴＨSPLIT-V 以上の区間幅を持つ区間を分割境界候補として抽出する。
【００４７】
ここで、文章方向算定部１３により算定された主体となる文章方向を考慮し、しきい値ＴＨSPLIT-V とＴＨSPLIT-H を、平均行間隔ＳV と平均列間隔ＳH を用いて以下のように設定する。
ＴＨSPLIT-V ＝ＳV ×Ｃ１
ＴＨSPLIT-H ＝ＳH ×Ｃ２                              ………（５）
【００４８】
なお、係数Ｃ１とＣ２は文章方向によって変更する。ただし、両者は以下の関係を保つものとする。
・縦書き文章領域が主体である場合：Ｃ１＝Ｃ２×α
・横書き文章領域が主体である場合：Ｃ２＝Ｃ１×α        ………（６）
ここに、αは、１よりも大きい（１＜α）係数である。
【００４９】
これにより、縦書き文章領域が主体である場合には、しきい値ＴＨSPLIT-V がしきい値ＴＨSPLIT-H に比べて大きくなることから、水平方向の投影分布上から分割境界候補が抽出される確率が高くなり、垂直方向の投影分布上からは分割境界候補が抽出される確率が低くなる。逆に、横書き文章領域が主体である場合には、しきい値ＴＨSPLIT-H がしきい値ＴＨSPLIT-V に比べて大きくなることから、垂直方向の投影分布上から分割境界候補が抽出される確率が高くなり、水平方向の投影分布上から分割境界候補が抽出される確率が低くなる。
【００５０】
ここで、分割境界候補を抽出する投影分布方向を確定しないのは、例えば、図８に示すように、文章がすべて縦書きであった場合でも、段組構成により複数の文章領域として抽出することが必要な場合などに対する配慮である。
【００５１】
次に、文章方向算定部１３において縦書き文章領域が主体であると算定された場合は、少なくともしきい値ＴＨSPLIT-V が区間Ｄ４の区間幅よりも大きな値となり、しきい値ＴＨSPLIT-H が最大でも区間Ｄ３の区間幅と等しくなるような式（６）の係数αを設定することにより、垂直方向の投影分布上からは分割境界候補が抽出されず、水平方向の投影分布のみから境界分割候補が抽出されることとなる。
【００５２】
逆に、文章方向算定部１３において横書き文章領域が主体であると算定された場合は、少なくともしきい値ＴＨSPLIT-H が区間Ｄ３の区間幅よりも大きな値となり、しきい値ＴＨSPLIT-V が最大でも区間Ｄ４の区間幅と等しくなるような式（６）の係数αを設定することにより、水平方向の投影分布上からは分割境界候補が抽出されず、垂直方向の投影分布のみから境界分割候補が抽出されることとなる。
【００５３】
再び図６のフローチャートにおいて、ステップＳ４２で抽出した分割境界候補の中から最も区間幅の広いものを分割境界として設定する（ステップＳ４３）。例えば、図７の投影分布のうち、同図（ａ）の区間Ｄ１〜Ｄ３が分割境界候補として抽出された場合、分割境界として設定するのは区間Ｄ３となる。
【００５４】
すなわち、図７（ａ）が入力画像の水平方向の投影分布を表しているのであれば、図９（ａ）に示すように、分割境界は画像において垂直方向に設定され、図７（ａ）が入力画像の垂直方向の投影分布を表しているのであれば、図９（ｂ）に示すように、分割境界は画像において水平方向に設定されることになる。
【００５５】
次に、領域分割部１５の処理内容について、図１０のフローチャートを用いて説明する。先ず、分割境界設定部１４で設定された投影分布上の分割境界において、分割境界の両端から投影分布を走査して最小頻度点を検出する（ステップＳ５１）。
【００５６】
ここで、最小頻度点の検出について、図１１を用いて説明する。図１１（ａ）の場合では、分割境界である区間Ｄ１において最小頻度点はＳ１が唯一求まる。図１１（ｂ）の場合では、Ｓ１からＳ２に亘って最小頻度を持つ区間Ｄ２が求まるが、この場合、Ｓ１およびＳ２の２点を最小頻度点とする。
【００５７】
次に、図１１（ｃ）の場合では、Ｓ１からＳ２に亘って最小頻度を持つ区間Ｄ２と、Ｓ３からＳ４に亘って最小頻度を持つ区間Ｄ３が求まる。ここでは、分割境界の端点Ｐ１から走査して初めて最小頻度点として検出されたＳ１からの区間幅Ｄ２と、分割境界のもう一方の端点Ｐ２から走査して初めて最小頻度点として検出されたＳ４からの区間幅Ｄ３を比較する。
【００５８】
そして、以下のように最小頻度点を設定する。
・Ｄ２＜Ｄ３の場合：Ｓ３とＳ４を最小頻度点とする。
・Ｄ２＞Ｄ３の場合：Ｓ１とＳ２を最小頻度点とする。
・Ｄ２＝Ｄ３の場合：水平方向の投影分布であれば、Ｓ１とＳ２を最小頻度点とする。逆に、垂直方向の投影分布であれば、Ｓ３とＳ４を最小頻度点とする。これは、文章領域において、最終行や最終列は、他の行や列と比べて文字数が少ない場合が多いことを考慮したものである。
【００５９】
続いて、ステップＳ５１で検出した最小頻度点に基づいて領域を分割する（ステップＳ５２）。分割後、例えば図１１（ａ）においてＳ１が分割後の２つの領域の端点となり、図１１（ｂ）においてはＳ１およびＳ２が分割後の２つの領域のそれぞの端点となる。また、図１１（ｃ）においては、Ｓ１とＳ２、またはＳ３とＳ４が対となって分割後の２つの領域の端点となる。
【００６０】
そして、分割後の各領域において不要なマージンを削除し文章領域を抽出する（ステップＳ５３）。この様子を図１２を用いて説明する。図１２（ａ）は、縦書き文章領域が主体である文書画像を上述の手法により２つの領域に分割した直後の様子を示している。この２つの領域において水平方向の投影分布の端点Ｐ３とＰ４を用いて、図１２（ｂ）に示すように文章領域を矩形で限定することにより、文章領域を抽出することができる。
【００６１】
以上説明した一連の処理は、一度の領域分割処理に対応するものである。次に、既に抽出した文章領域を新たな分割対象領域として設定し、上述した文章方向算定部１３、分割境界設定部１４および領域分割部１５による一連の処理を再び実行する。このように、分割境界が抽出できなくなるまで画像を細分化して文章を抽出することで、複雑な文章構造を持つ文章画像から最終的に複数の文章領域群を得ることができる。
【００６２】
なお、式（６）において、適切な係数αと係数Ｃ１、または係数αと係数Ｃ２の組み合わせを設定することにより、最終的に得られる文章領域の形態を、図１２（ｂ）に示すように人の目で判断して同一属性を持つと考えられるブロックとしたり、または、１行／１列単位とすることも可能である。
【００６３】
これにより、文章だけでなく、複雑な形状を持つ図形が文書内に混在す場合でも、適切に文章領域を抽出することが可能となる。例えば、最終的に得られる文章領域の形態が、図１２（ｂ）に示すように、人の目で判断して同一属性を持つと考えられるブロックとして抽出されるような値α１に係数αを固定し、図１３（ａ）に示す文書画像から文章領域を抽出することを考える。
【００６４】
この場合、横書き文章領域が主体であると判断されたとしても、区間Ｄ１の区間幅が上記係数αにて設定されたしきい値ＴＨSPLIT-H よりも大きいため、ステップＳ４２で分割領域候補として設定されてしまい、同じように分割領域候補として設定された区間Ｄ２〜Ｄ８よりも区間幅が広いことから、ステップＳ４３において分割境界として設定されてしまう。この結果、文章領域抽出結果は、図１３（ｂ）に示すようになってしまい、本来の文書が持つ文書構造に反すものとなってしまう。
【００６５】
これに対して、係数αを分割対象領域の文書構成に応じて動的に変更させた場合を考える。ここでは、対象分割領域中に図形属性を持つ黒画素連結成分が存在した場合、最終的に得られる文章領域の形態が１行／１列単位となる値α２を選択する。局所的に領域分割および文章領域抽出処理が繰り返されても、分割対象領域中に図形候補が存在する限りα２を選択することで、得られる最終結果は図１３（ｃ）に示すようになり、同図（ｂ）のような不自然な文章領域抽出を防ぐことができる。
【００６６】
なお、ステップＳ４３において分割境界を分割境界候補の中から設定する際の条件を、最小頻度点を持つものとして変更しても良いし、最小頻度点を持つ分割境界候補が複数存在する場合には、さらにその中で最大の区間幅を持つものとしても良い。
【００６７】
また、上述の処理で得られた最終的な文章領域中に、フィールドセパレータ候補が含まれている場合、水平方向に延びるフィールドセパレータなのか、垂直方向に延びるフィールドセパレータなのかの情報を利用し、フィールドセパレータ候補の外接矩形の座標に基づいて領域を分割しても良い。例えば、新聞記事など込み入った複数の文章領域から構成される文書では、句読点とその次に続く文字との間隔が段組間の間隔よりも広いことがあり、フィールドセパレータ候補の幾何情報を利用して文章領域を分割することが有効である。
【００６８】
上述したように、入力された文書画像を分割して文章領域を抽出する処理方法として、入力文書画像に含まれる文章が縦書きであるか又は横書きであるかを算定し、その算定した結果を参照して入力文書画像を分割する境界を設定し、その設定した境界において入力文書画像を分割するようにしたことにより、文書構造が未知である文書画像に対しても、文書の論理構造を考慮して領域分割の境界を設定できるため、文書の論理構造に逆らうような不自然な領域の分割を防ぐことができる。
【００６９】
また、文章領域を得るために、従来方式のように、細分化した連結成分同士の再統合処理や、投影分布上の黒領域の統合処理など一切の統合処理を行うことなく、領域分割を中心とする処理のみで、縦書き文書領域と横書き文書領域を分離して抽出することができる。さらには、複雑な浮動小数点演算が少ないので、高速な処理を実現することができる。
【００７０】
また、領域分割の境界の設定に際して、入力された文書画像を構成する画素の投影分布を算出し、この投影分布において、所定のしきい値ＴＨDISTRIBUTIONに満たない頻度を有する区間幅を用いて分割境界を設定するようにしているので、従来技術のように、投影分布上の空白部（頻度が０の部分）を分割境界としているのに比べて、文書の論理構造を考慮したより精度の高い分割境界の設定が可能となる。
【００７１】
すなわち、複雑な文書になればなる程、明確な空白領域、即ち頻度が存在しない区間の検出が困難となるのであるが、しきい値ＴＨDISTRIBUTIONを設定し、このしきい値ＴＨDISTRIBUTION以下の頻度を有する区間幅を用いて分割境界を設定するようにすることで、入力された文書画像が複雑な文書画像であっても、文書の論理構造を考慮して領域分割の境界をより精度良く設定できるのである。
【００７２】
なお、入力された文書画像を構成する画素の投影分布を算出し、この投影分布において、所定のしきい値に満たない頻度を有する区間幅を用いて分割境界を設定するという技術思想は本発明の特徴の一つであり、上記実施形態の場合のように、入力された文書画像に含まれる文章が縦書きであるか又は横書きであるかを算定し、その算定した結果を参照して入力文書画像を分割する境界を設定し、その設定した境界において入力文書画像を分割する画像処理方法および画像処理装置への適用に限定されるものではなく、一般的な画像処理方法および画像処理装置にも適用可能である。
【００７３】
図１４は、この技術思想を用いた本発明の第２実施形態に係る画像処理装置２０の構成を概略的に示したブロック図である。
【００７４】
図１４において、第２実施形態に係る画像処理装置２０は、画像入力部２１、前処理部２２、投影方向算出部２３、分割境界設定部２４および領域分割部２５を有する構成となっている。なお、これら構成部分の各処理については、マイクロコンピュータ等によって構成される制御部（図示せず）によって制御されるものとする。
【００７５】
この画像処理装置２０において、画像入力部２１は、文書画像を入力するためのものである。この画像入力部１１としては、スキャナ等光学的に文書情報を入力する手段であっても良いし、また予めデジタル画像に変換された文書情報を入力する手段であっても良い。画像入力部１１から入力された画像に対し、ここでは公知の技術によって２値化した後、傾きを検出してその補正処理を施すこととする。なお、入力画像では文字をはじめとする文書構成要素が黒画素で表現されるものとする。
【００７６】
前処理部２２は、画像入力部２１から入力された文書画像から、投影分布算出部２３および分割境界設定部２４で処理を施す際に利用する特徴量を抽出する。ここでは、特徴量として黒画素連結成分の外接矩形の幾何情報を用いるものとして説明する。投影分布算出部２３は、画像入力部２１から入力された文書画像を構成する画素の投影分布を算出する。
【００７７】
分割境界設定部２４は、投影分布算出部２３によって算出された投影分布において、所定のしきい値に満たない頻度を有する区間幅を用いて入力文書画像を分割する境界を設定する。そして、領域分割部２５は、分割境界設定部２４によって設定された分割境界に基づいて、画像入力部２１から入力された文書画像を分割する。
【００７８】
上記の構成において、画像入力部２１、前処理部２２および領域分割部２５はそれぞれ、図１に示した画像入力部１１、前処理部１２および領域分割部１５と内部構成および処理内容が同一であることから、その処理内容の説明については割愛する。また、投影分布算出部２３および分割境界設定部２４についても、基本的には、図１に示した分割境界設定部１４の内部構成および処理内容をそれぞれ分担したものである。
【００７９】
このように、入力された文書画像を構成する画素の投影分布を算出し、この投影分布を用いて分割領域の境界を設定する際に、投影分布において、所定のしきい値を設定し、このしきい値に満たない頻度を有する区間幅を用いて分割境界を設定することで、複雑な文書であっても、文書の論理構造を考慮したより精度の高い分割境界の設定が可能となる。
【００８０】
図１５は、本発明の第３実施形態に係る画像処理装置３０の構成を概略的に示したブロック図である。この第３実施形態に係る画像処理装置３０は、第１実施形態に係る画像処理装置１０に対し、入力画像を垂直方向に膨張した画像と、入力画像を水平方向に膨張した画像との論理積を求めることにより、個々の連結成分が個々の文字を表わす確率を高められた画像を新たな入力画像として生成する構成を採っている。
【００８１】
すなわち、図１５において、第３実施形態に係る画像処理装置３０は、画像入力部３１、入力画像再生成部３２、前処理部３３、文章方向算定部３４、分割境界設定部３５および領域分割部３６を有する構成となっている。なお、これら構成部分の各処理については、マイクロコンピュータ等によって構成される制御部（図示せず）によって制御されるものとする。
【００８２】
この画像処理装置３０において、画像入力部３１は、文書画像を入力するためのものである。この画像入力部３１としては、スキャナ等光学的に文書情報を入力する手段であっても良いし、また予めデジタル画像に変換された文書情報を入力する手段であっても良い。画像入力部３１から入力された画像に対し、ここでは公知の技術によって２値化した後、傾きを検出してその補正処理を施すこととする。なお、入力画像では文字をはじめとする文書構成要素が黒画素で表現されるものとする。
【００８３】
入力画像再生成部３２は、画像入力部３１から入力された画像に対して、画像を垂直方向に膨張処理した画像と、入力画像を水平方向に膨張処理した画像との論理積を求めることにより、個々の連結成分が個々の文字を表わす確率を高められた画像を新たな入力画像として生成する。以降、この入力画像再生成部３２での処理により得られた画像を入力画像と称す。
【００８４】
前処理部３３は、入力画像再生成部３２で再生成した入力画像から、文章方向算定部３４および分割境界設定部３５で処理を施す際に利用する特徴量を抽出する。ここでは、特徴量として黒画素連結成分の外接矩形の幾何情報を用いるものとして説明する。文章方向算定部３４は、入力画像再生成部３２で再生成した入力画像の文章が、縦書き主体であるか横書き主体であるかを算定する。
【００８５】
分割境界設定部３５は、文章方向算定部３４によって算定された文章方向によって、入力画像再生成部３２で再生成した入力画像を分割する境界を設定する。そして、領域分割部３６は、分割境界設定部３５によって設定された分割境界に基づいて、入力画像再生成部３２で再生成した画像を分割する。
【００８６】
次に、上記構成の第３実施形態に係る画像処理装置３０の全体の動作につき、図１６のフローチャートを用いて説明する。
【００８７】
先ず、画像入力部３１から文書画像を入力し（ステップＳ６１）、次いで入力画像再生成部３２において入力画像を再生成する処理を実施する（ステップＳ６２）。次に、前処理部３３で前処理を実施して分割対象領域を入力画像全面に設定する（ステップＳ６３）。続いて、文章方向算定部３４で分割対象領域における文章領域の主体となる文章方向を算出し（ステップＳ６４）、得られた情報を利用して分割境界設定部３５で分割境界を設定する（ステップＳ６５）。
【００８８】
続いて、図示せぬ制御部により、ステップＳ６５において分割境界が設定できたかどうかを判定し（ステップＳ６６）、分割境界を設定できた場合には、その設定された分割境界に基づいて領域分割部３６で領域を分割する（ステップＳ６７）。そして、図示せぬ制御部により、分割後の１つの領域を新たな分割対象領域として設定し（ステップＳ６８）、しかる後ステップＳ６４へ移行する。
【００８９】
一方、ステップＳ６６においてステップＳ６５での分割境界の設定が不可能であったと判断した場合には、さらに分割対象領域とすることのできる領域が他に存在するか否かを判断する（ステップＳ６９）。ここで、他に存在すると判断した場合には、ステップＳ６８に移行してこの領域を新たな分割対象領域として設定する。他に分割対象領域となる分割処理後の領域が存在しない場合には、一連の処理を終了する。
【００９０】
上述した画像入力部３１、前処理部３３、文章方向算定部３４、分割境界設定部３５および領域分割部３６はそれぞれ、図１に示した画像入力部１１、前処理部１２、文章方向算定部１３、分割境界設定部１４および領域分割部１５と内部構成および処理内容が同一であることから、その処理内容の説明については割愛する。そして、ここでは、入力画像再生成部３２の処理内容について、図１７のフローチャートを用いて説明する。
【００９１】
先ず、画像入力部３１から入力された画像に対して、予め設定した画素数ＥＸＰH 分だけ水平方向に膨張処理を施す（ステップＳ７１）。画素数ＥＸＰH は、最低でも抽出対象とする最大サイズの濁点を持つ文字において、これら濁点が文字中核部と融合する程度が好ましい。
【００９２】
続いて、画像入力部３１から入力された画像に対して、予め設定した画素数ＥＸＰV 分だけ垂直方向に膨張処理を施す（ステップＳ７２）。画素数ＥＸＰV は画素数ＥＸＰH と同様に、最低でも抽出対象とする最大サイズの濁点を持つ文字において、これら濁点が文字中核部と融合する程度が好ましい。ＥＸＰV ＝ＥＸＰH としても良い。
【００９３】
次に、ステップＳ７１で作成した水平方向の膨張画像とステップＳ７２で作成した垂直方向の膨張画像の論理積画像を作成する（ステップＳ７３）。これにより、文字の濁点を表わす連結成分が文字中核部と統合され、１連結成分が１文字を表わす確率を高めることができる。その結果、文字方向算定部３４において算出する平均列間隔ＳH と平均行間隔ＳV の精度が高くなる。すなわち、文章が縦書き主体であるか横書き主体であるかを算定する際に、平均列間隔ＳH と平均行間隔ＳV を用いていることから、より精度の高い算出が可能となる。
【００９４】
さらには、分解境界設定部３５において、文章方向算定部３４で算出する平均列間隔ＳH と平均行間隔ＳV を用いて領域分割の境界を設定しているため、この領域分割境界が誤って設定される可能性も低くなる。これにより、最終的に得られる文章領域を、より安定的に文章の論理構造に沿った形態で抽出することができる。
【００９５】
さらにまた、連結成分の画素数や外接矩形のサイズによってしきい値を設け、このしきい値よりも小さな画素数や外接矩形のサイズを持つ連結成分をノイズとして除去するような、公知のノイズ成分除去方式を併用した場合には、上述のような統合作用があるため、濁点を表わす連結成分がノイズとして誤認識されることを防ぐことができる。
【００９６】
また、連結成分を抽出する際に、前処理部３３においてラベリング処理を行うが、ラベリング処理は連結成分が少ないほど処理時間も短くなるため、入力画像再生成部３２によって再生成された画像を入力画像として用いることで、連結成分の算出時間を短縮することができる。
【００９７】
上述したように、入力画像を垂直方向に膨張処理した画像と、入力画像を水平方向に膨張処理した画像との論理積を求めることで、個々の連結成分が個々の文字を表わす確率を高められた画像を新たな文書画像として入力するようにしたことにより、文章が縦書き主体であるか又は横書き主体であるかを、連結成分の中で文字として考えられるものの配置から算出する場合に、例えば、文字の濁点を表わす連結成分が文字中核部と統合され、１連結成分が１文字を表わす確率が高くなるため、より精度の高い文章方向の算出が可能になる。
【００９８】
また、結果的に、連結成分の数が削減されることになることから、連結成分を抽出する際に一般的に用いられるラベリング処理を利用する場合には処理時間を短縮することができるため、処理の高速化と領域分割精度の向上を図ることが可能となる。
【００９９】
【発明の効果】
以上説明したように、本発明によれば、入力された文書画像を構成する画素の横書き文章方向および縦書き文章方向における投影分布を算出し、この投影分布を用いて分割領域の境界を設定する際に、投影分布において所定のしきい値を設定し、このしきい値に満たない頻度を有する区間幅であって、縦書きの文章方向の区間幅のうち第１のしきい値以上の区間幅を持つ区間と横書きの文章方向の区間幅のうち第２のしきい値以上の区間幅を持つ区間とを基に入力文書画像を分割する境界を設定し、その設定した境界において入力文書画像を分割し、前記境界の設定に当たって、縦書きの文章方向に隣接する文字候補の外接矩形間の平均間隔をＳV 、横書きの文章方向に隣接する文字候補の外接矩形間の平均間隔をＳH とするとき、第１のしきい値＝ＳV ×Ｃ１、第２のしきい値＝ＳH ×Ｃ２と設定することにより、明確な空白領域の検出が困難な複雑な文書であっても、文書の論理構造を考慮したより精度の高い分割境界の設定が可能となる。
【図面の簡単な説明】
【図１】  本発明の第１実施形態に係る画像処理装置の構成を概略的に示すブロック図である。
【図２】  第１実施形態に係る画像処理装置の全体の動作を説明するフローチャートである。
【図３】  第１実施形態の前処理部の処理内容を説明するフローチャートである。
【図４】  第１実施形態の文章方向算定部の処理内容を説明するフローチャートである。
【図５】  第１実施形態の文章方向算定部で参照される文字間隔を算定する処理の説明図である。
【図６】  第１実施形態の分割境界設定部の処理内容を説明するフローチャートである。
【図７】  第１実施形態の分割境界設定部において投影分布上の分割境界候補を抽出する処理の説明図である。
【図８】  第１実施形態の分割境界設定部において分割境界候補を抽出する際に注意する必要がある文書画像例を示す図である。
【図９】  第１実施形態の分割境界設定部において投影分布上の分割境界候補から分割境界を設定する処理の説明図である。
【図１０】  第１実施形態の領域分割部の処理内容を説明するフローチャートである。
【図１１】  第１実施形態の領域分割部において投影分布上の分割境界から分割に用いる最小頻度点を抽出する処理の説明図である。
【図１２】  第１実施形態の領域分割部において投影分布上の分割境界における最小頻度点から領域を分割する処理の説明図である。
【図１３】  第１実施形態の分割境界設定部において分割境界の設定次第で文章領域抽出結果が改善される様子の説明図である。
【図１４】  本発明の第２実施形態に係る画像処理装置の構成を概略的に示すブロック図である。
【図１５】  本発明の第３実施形態に係る画像処理装置の構成を概略的に示すブロック図である。
【図１６】  第３実施形態に係る画像処理装置の全体の動作を説明するフローチャートである。
【図１７】  第３実施形態の入力画像再生成部の処理内容を説明するフローチャートである。
【符号の説明】
１１，２１，３１…画像入力部、１２，２２，３２…前処理部、１３，３４…文章方向算定部、１４，２４，３５…分割境界設定部、１５，２５，３６…領域分割部、２３…投影分布算出部、３２…入力画像再生成部
【図１】
0003852218.tif 000002
【図２】
0003852218.tif 000003
【図３】
0003852218.tif 000004
【図４】
0003852218.tif 000005
【図５】
0003852218.tif 000006
【図６】
0003852218.tif 000007
【図７】
0003852218.tif 000008
【図８】
0003852218.tif 000009
【図９】
0003852218.tif 000010
【図１０】
0003852218.tif 000011
【図１１】
0003852218.tif 000012
【図１２】
0003852218.tif 000013
【図１３】
0003852218.tif 000014
【図１４】
0003852218.tif 000015
【図１５】
0003852218.tif 000016
【図１６】
0003852218.tif 000017
【図１７】
0003852218.tif 000018