(57)【特許請求の範囲】
【請求項１】
表画像領域から、罫線に基づいて小画像領域を抽出する小画像領域抽出手段と、
前記抽出された小画像領域から、文字行単位で行画像を抽出する行画像抽出手段と、
前記行画像抽出手段で抽出された行画像の数が３以上であるか否か判断する行画像数判断手段と、
前記行画像数判断手段で前記行画像の数が３以上でないと判断された場合、前記小画像領域に含まれる行画像の間隔の方が前記行画像の高さに比べて所定倍数より大きいか否か判断する行間隔判断手段と、
前記行画像数判断手段で前記行画像の数が３以上であると判断された場合もしくは前記行間隔判断手段で前記行画像の間隔の方が前記行画像の高さに比べて前記所定倍数より大きいと判断された場合は、前記表画像領域に対して横罫線なし表であるという属性を付与し、一方、前記行間隔判断手段で前記行画像の間隔の方が前記行画像の高さに比べて前記所定倍数より大きくないと判断された場合、前記表画像領域に対して横罫線あり表であるという属性を付与する属性付与手段と、
を有することを特徴とする画像処理装置。
【請求項２】
更に、前記属性付与手段で横罫線なし表の属性が付与された場合、前記小画像領域抽出手段で抽出された小画像領域の位置関係と、前記行画像抽出手段で抽出された行画像の位置関係とに基づいて、前記行画像に対して順序付けを行なう順序付け手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
更に、前記行画像に含まれる文字画像を文字認識する文字認識手段と、
前記文字認識手段による文字認識結果を、前記表画像領域の属性に従って出力する出力手段と
を有することを特徴とする請求項１または２のいずれかに記載の画像処理装置。
【請求項４】
文書画像を記憶する記憶手段を有する画像処理装置が前記文書画像内の表画像領域に対して属性を付与するように制御するための画像処理方法であって、
表画像領域から、罫線に基づいて小画像領域を抽出する小画像領域抽出ステップと、
前記抽出された小画像領域から、文字行単位で行画像を抽出する行画像抽出ステップと、
前記行画像抽出ステップで抽出された行画像の数が３以上であるか否か判断する行画像数判断ステップと、
前記行画像数判断ステップで前記行画像の数が３以上でないと判断された場合、前記小画像領域に含まれる行画像の間隔の方が前記行画像の高さに比べて所定倍数より大きいか否か判断する行間隔判断ステップと、
前記行画像数判断ステップで前記行画像の数が３以上であると判断された場合もしくは前記行間隔判断ステップで前記行画像の間隔の方が前記行画像の高さに比べて前記所定倍数より大きいと判断された場合は、前記表画像領域に対して横罫線なし表であるという属性を付与し、一方、前記行間隔判断ステップで前記行画像の間隔の方が前記行画像の高さに比べて前記所定倍数より大きくないと判断された場合、前記表画像領域に対して横罫線あり表であるという属性を付与する属性付与ステップと、
を有することを特徴とする、画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＯＣＲ（光学的文字認識）装置、複写機、ファクシミリ等の画像処理装置において、特に表画像を含む入力画像から文字を適正に抽出することのできる画像処理方法及び装置に関するものである。
【０００２】
本発明は、入力した表画像から文字画像を抽出する際に、入力した表の形式を判断して適正に文字画像を抽出することのできる画像処理方法及び装置に関するものである。
【０００３】
本発明は、入力した画像に含まれている表画像の属性をユーザの手操作により指定することなく、自動的に判断することのできる画像処理方法及び装置に関するものである。
【０００４】
【従来の技術】
自動領域分割機能を有するＯＣＲ装置では、罫線で囲まれている画像を表画像であると自動判別し、表の罫線で囲まれたセルを一つの文字領域として抽出する処理を行っている。
【０００５】
また、文字認識の後に、一つの文字領域から得られる認識結果の文字列間にタブコードを挿入し、行間にはリターンコードを挿入することによって、表画像から抽出されるセルの情報を文字認識後の文書データに反映させ、表計算ソフト等へデータの流し込みを容易にするようにしていた。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来の技術では、文字認識の対象となっている表画像が横罫線のない表である場合、図７に示すように、縦に並ぶ複数の項目が一つの文字領域として判断されるため、入力した表の形態とは異なる文書が得られてしまい、その形態を入力した表の形態に整える作業をオペレータに強いることとなり、オペレータの負担を大きくしていた。
【０００７】
【課題を解決するための手段】
上記課題を解決するために、本発明の画像処理装置は、表画像領域から、罫線に基づいて小画像領域を抽出する小画像領域抽出手段と、前記抽出された小画像領域から、文字行単位で行画像を抽出する行画像抽出手段と、前記行画像抽出手段で抽出された行画像の数が３以上であるか否か判断する行画像数判断手段と、前記行画像数判断手段で前記行画像の数が３以上でないと判断された場合、前記小画像領域に含まれる行画像の間隔の方が前記行画像の高さに比べて所定倍数より大きいか否か判断する行間隔判断手段と、前記行画像数判断手段で前記行画像の数が３以上であると判断された場合もしくは前記行間隔判断手段で前記行画像の間隔の方が前記行画像の高さに比べて前記所定倍数より大きいと判断された場合は、前記表画像領域に対して横罫線なし表であるという属性を付与し、一方、前記行間隔判断手段で前記行画像の間隔の方が前記行画像の高さに比べて前記所定倍数より大きくないと判断された場合、前記表画像領域に対して横罫線あり表であるという属性を付与する属性付与手段と、を有する。
【０００８】
上記課題を解決するために、本発明の画像処理方法は、文書画像を記憶する記憶手段を有する画像処理装置が前記文書画像内の表画像領域に対して属性を付与するように制御するための画像処理方法であって、表画像領域から、罫線に基づいて小画像領域を抽出する小画像領域抽出ステップと、前記抽出された小画像領域から、文字行単位で行画像を抽出する行画像抽出ステップと、前記行画像抽出ステップで抽出された行画像の数が３以上であるか否か判断する行画像数判断ステップと、前記行画像数判断ステップで前記行画像の数が３以上でないと判断された場合、前記小画像領域に含まれる行画像の間隔の方が前記行画像の高さに比べて所定倍数より大きいか否か判断する行間隔判断ステップと、前記行画像数判断ステップで前記行画像の数が３以上であると判断された場合もしくは前記行間隔判断ステップで前記行画像の間隔の方が前記行画像の高さに比べて前記所定倍数より大きいと判断された場合は、前記表画像領域に対して横罫線なし表であるという属性を付与し、一方、前記行間隔判断ステップで前記行画像の間隔の方が前記行画像の高さに比べて前記所定倍数より大きくないと判断された場合、前記表画像領域に対して横罫線あり表であるという属性を付与する属性付与ステップと、を有する。
【００１７】
【発明の実施の形態】
図１は、本発明の画像処理装置の一例の機能構成ブロック図である。１０１は入力部であって、文字認識の対象となる画像情報の入力、及びオペレータによりなされる各種指示を入力する。また、文書の編集等を行うためのキーボードを備える。ここで画像情報の入力は、原稿を光学的に読み込むスキャナや、或は既に光学的に読み込まれた画像情報を記憶装置や通信手段を介して入力するものであっても良い。１０２は後述するフローチャートの制御プログラムに従って、装置の制御や各処理部の演算・制御を行う演算処理部（ＣＰＵ）であり、１０３は後述するフローチャートを演算処理部１０２が実行するための制御プログラムや、各種処理に用いるデータ或は各種処理途中で生ずるデータを記憶する記憶部である。１０４は演算処理結果や画像処理結果、及び画像データを出力する出力部であって、ＣＲＴや液晶表示器等の表示手段や、或は他の端末や外部記憶手段に出力するための出力端末を含む。１０５は画像情報に含まれている文章の段落、見出しに順序を付ける順序付け部、１０６は画像情報の領域分割処理を行う領域分割部、１０７は画像情報に含まれている表画像の属性を、表画像の特性を検出し、分析することにより自動判定する表属性自動判定部、１０８は画像情報に含まれる表画像から表の形態を抽出し、文書化するための処理を行う表処理部、１０９は画像情報から文字画像を抽出し、更にその抽出された文字画像を認識する文字認識部である。
【００１８】
図２は画像を入力部１０１より入力してから文字認識して文書データとして出力部１０４より出力するまでの全体的な処理の流れを表わすフローチャートであり、制御プログラムは記憶部１０３に記憶され、演算処理部１０２の制御により実行される。
【００１９】
入力部１０１より画像情報を入力する（Ｓ２０１）。この入力された画像情報は、出力部１０４に含まれる表示手段により表示してオペレータに確認させても良い。次に、領域分割部１０６により入力画像の領域分割を行って、文章、セパレータ、図、表等の画像データ領域を抽出する（Ｓ２０２）。抽出された各画像データ領域の情報は、記憶部１０３に格納される。領域分割の詳細な方法については、特願平４−２４３２５２号に開示されている技術等がある。領域分割の結果、入力画像に表画像が含まれている場合は（Ｓ２０３ＹＥＳ）、Ｓ２０４に進んでその表画像の属性を自動判別する処理を行う（Ｓ２０４）。このＳ２０４の表画像の属性の自動判別処理については、図３のフローチャートに詳細な処理を示し、後に詳細に説明する。Ｓ２０４の表属性の判別の結果、その表画像が横罫線なしの表である場合は（Ｓ２０５ＹＥＳ）、Ｓ２０６に進んで横罫線なし表の表処理を行う。Ｓ２０６の横罫線なし表の表処理は、横罫線なしの表画像の表形態を保持して文書化するための、文字単位（セルに相当）の抽出及びその抽出された文字単位の順序付けの処理であるが、図４のフローチャートに従って後に詳細に説明する。Ｓ２０４の表属性の判別の結果、その表画像が横罫線ありの表である場合は（Ｓ２０５ＮＯ）、Ｓ２０９に進んで横罫線あり表の表処理を行う。このＳ２０９の横罫線ありの表の表処理は、表形態を保持して文書化するための、セルの抽出と、その抽出されたセルに順序を付ける処理であって、左から右へ、そして上から下へ順に番号を付与するものである。その順は、後述する図４のフローチャートのＳ４０２における順序と同じである。
【００２０】
Ｓ２０３で表なしと判断された場合、及びＳ２０６或はＳ２０９の処理が終了したら、Ｓ２０７に進み、順序付け部１０５により入力画像の表画像を除いた文章部分からなる見出し、本文段落に順序を付ける。この順序付けは、例えば、文章が縦書きの場合は右から左方向に順序を付け、同様に上下方向に関しては上から下方向に順序を付ければ良い。
【００２１】
Ｓ２０８では、文字認識処理部１０９により、文字認識処理を行い、Ｓ２０６、Ｓ２０９、Ｓ２０７で付けられた順序に従って文字列を出力し、入力画像の文書化を完了する。ただし、表画像に含まれる文字の出力については、セルとセルの間にセル区切りを表わすコードであるタブコードを挿入し、行と行の間には行区切りを表わすコードであるリターンコードを挿入する。
【００２２】
以上、図２のフローチャートに示す処理を行うことで、入力画像に横罫線なしの表が含まれている場合にも、オペレータの手操作によりその旨指定することなく、自動的に横罫線なし表を判別してその表についても表形態を保持して文書化することができる。
【００２３】
以下、Ｓ２０４において表属性自動判定部１０７が実行する表属性の自動判定処理について、図３のフローチャートに従って説明する。この処理において対象となっているのはＳ２０２の領域分割処理によって表画像であると判定された領域の画像であり、図５に例示したようなものである。
【００２４】
まず、表画像５０の罫線で囲まれたセルを抽出し（セル１〜セル４）、各セルの中の文字行の行数をカウントする（Ｓ３０１）。例えばセル１〜セル３は６行、セル４は２行である。次のＳ３０２及びＳ３０３の判断処理は、Ｓ３０１で抽出された全セルについて行う。Ｓ３０２の処理はＳ３０１でカウントされた行数が３以上であるか否かの判断であり、Ｓ３０３の処理はそのセルに含まれている文字画像の高さａと文字画像の垂直字方向の間隔ｂとの関係を判断するものであって、ｂ＞３ａであるか否かを判断する。Ｓ３０２或はＳ３０３においてＹＥＳと判断されるセルがある場合には、その表画像を横罫線なし表と判断して、記憶部１０３に記憶されているその表画像の領域情報に加えて横罫線なし表の属性を記憶する（Ｓ３０４）。対象となっている表画像の全てのセルＧＳ３０２とＳ３０３で共にＮＯと判断された場合は、その表画像は横罫線あり表と判断して、記憶部１０３に記憶されている表画像の領域情報に加えて横罫線あり表の属性を記憶する。図５に例示した表画像は、セル１〜セル３が行数が３以上とＳ３０２で判断され、かつ、セル４は２行の間隔が大きく、ｂ＞３ａと判断されるので、Ｓ３０４において横罫線なし表の属性が記憶部１０３に記憶される。
【００２５】
この図３のフローチャートの処理により、入力画像に含まれる表画像が横罫線のあるものなのかないものなのかの判断を、オペレータの手操作により指定することなく自動判定することができる。
【００２６】
以下、Ｓ２０６において表処理部１０８が実行する横罫線なし表処理について、図４のフローチャートに従って説明する。この処理において対象となっているのはＳ２０２の領域分割処理によって表画像であると判定された領域の画像であり、図６に例示した表画像６０のようなものである。
【００２７】
まず、表画像６０から抽出されたセル１〜セル３各々を、行単位ブロックに分割する（Ｓ４０２）。セル１は５つの行ブロックに分割される。セル２及びセル３も同様に５つの行ブロックに分割される。Ｓ４０１で抽出された各ブロックに順序付けを行う（Ｓ４０２）。順序付けは、左から右方向へ、更に上から下方向に付けられるので、セル１の一番上のブロックが順序として一番目の▲１▼、セル２の一番上のブロックが▲２▼、セル３の一番上のブロックが▲３▼、横方向はセル３で終わりなので、下方向へ移動してセル１の上から２番目が▲４▼、セル２の上から２番目が▲５▼というように順序付けを行う。この順序情報はブロック情報と共に記憶部１０３に記憶する。
【００２８】
このように、一つのセル内の複数項目を行単位のブロックを抽出することにより分割し、順序付けも行うので、横罫線なし表も横罫線あり表と同様にセル毎の文字列の抽出と順序付け、更にはその順序に従って文書化するので、表の形態を保持することができる。
【００２９】
【発明の効果】
以上説明したように、本発明によれば、表画像が罫線のある表なのか罫線のない表なのかといったような属性を自動的に判定することができ、操作性を向上させることができる。
【００３０】
以上説明したように、本発明によれば、罫線のない表であっても文字行単位で処理を行なうことができる。
【００３１】
以上説明したように、本発明によれば、罫線のない表であっても表の形態を保ったままで出力できるようになる。
【００３２】
以上説明したように、本発明によれば、罫線のない表であっても、文字認識結果を表の形態を保ったままで出力できるようになる。
【図面の簡単な説明】
【図１】画像処理装置の機能構成ブロック図
【図２】全体処理のフローチャート
【図３】表属性判定処理のフローチャート
【図４】横罫線なし表処理のフローチャート
【図５】表属性判定処理を行う表画像例示図
【図６】横罫線なし表処理の説明図
【図７】従来の表画像処理の説明図
【図１】
0003814320.tif 000002
【図２】
0003814320.tif 000003
【図３】
0003814320.tif 000004
【図４】
0003814320.tif 000005
【図５】
0003814320.tif 000006
【図６】
0003814320.tif 000007
【図７】
0003814320.tif 000008