(57)【特許請求の範囲】
【請求項１】
グレー変換手段が、カラー多値画像をグレー多値画像に変換するグレー変換ステップと、
設定手段が、前記変換されたグレー多値画像を最初の検索領域として設定する設定ステップと、
変換手段が、前記検索領域に対応するグレー多値画像を、複数のしきい値それぞれを用いて２値化処理を行うことにより、複数の２値画像に変換する変換ステップと、
領域検索手段が、前記変換ステップで変換された複数の２値画像それぞれに基づいて、所定の大きさ以上の白画素または黒画素の固まりの領域を検索する領域検索ステップと、
格納手段が、前記領域検索ステップで検索された領域の情報を記憶手段に格納する格納ステップと、
第１の繰り返し手段が、前記領域検索ステップで前記領域が１つ以上検索された場合に、前記格納ステップで格納された領域の情報に基づいて、前記領域検索ステップで検索された領域のうちの１つを新たな検索領域として設定して、前記変換ステップと前記領域検索ステップと前記格納ステップとによる処理を繰り返す第１の繰り返しステップと、
適応２値化手段が、前記領域検索ステップで前記領域が検索されなかった場合に、当該設定されている検索領域における、適応２値化用しきい値未満の画素数と該適応２値化用しきい値以上の画素数とを比較し、当該比較の結果に基づいて、画素数が多い方の画素を背面画素とし、画素数が少ない方の画素を表面画素として識別し、当該識別された表面画素を黒画素とし当該識別された背面画素を白画素とすることにより、当該検索領域を適応的に２値化する適応２値化ステップと、
第２の繰り返し手段が、前記適応２値化ステップで適応的に２値化されていない領域があるか判断し、適応的に２値化されていない領域があると判断した場合は、前記適応２値化ステップで適応的に２値化されていない領域を新たな検索領域として設定して前記変換ステップと前記領域検索ステップと前記格納ステップと前記第１の繰り返しステップと前記適応２値化ステップとによる処理を繰り返し、一方、適応的に２値化されていない領域がないと判断した場合は処理を終了する第２の繰り返しステップと
を有することを特徴とする画像処理方法。
【請求項２】
前記複数のしきい値は、所定の間隔で設定されることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
文字認識手段が、前記適応的に２値化された画像に対して文字認識処理を実行する文字認識ステップを、更に有することを特徴とする請求項１に記載の画像処理方法。
【請求項４】
ブロック抽出手段が、前記適応２値化ステップで適応的に２値化されて生成された適応２値画像を解析し、属性ごとのブロックを抽出するブロック抽出ステップを、更に有することを特徴とする請求項１に記載の画像処理方法。
【請求項５】
色情報取得手段が、前記ブロック抽出ステップで抽出されたブロックに対応する多値画像に基づいて、当該抽出されたブロック内の表面画素と背面画素とに対応する表面色と背面色とに関する色情報を求める色情報取得ステップを、更に有することを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記属性は、テキスト、表、図、画像の少なくともいずれかを含むことを特徴とする請求項４に記載の画像処理方法。
【請求項７】
前記第１の繰り返しステップでは、前記領域検索ステップで検索された領域のうち、最大の領域を前記新たな検索領域として設定して、前記変換ステップと前記領域検索ステップと前記格納ステップとによる処理を繰り返すことを特徴とする請求項１に記載の画像処理方法。
【請求項８】
前記第２の繰り返しステップでは、適応的に２値化されていない領域があると判断した場合、現在設定されている検索領域を包含する領域から前記適応２値化ステップでの２値化処理が行われた領域を除く領域を、前記新たな領域として設定することを特徴とする請求項１に記載の画像処理方法。
【請求項９】
カラー多値画像をグレー多値画像に変換するグレー変換手段と、
前記変換されたグレー多値画像を最初の検索領域として設定する設定手段と、
前記検索領域に対応するグレー多値画像を、複数のしきい値それぞれを用いて２値化処理を行うことにより、複数の２値画像に変換する変換手段と、
前記変換手段で変換された複数の２値画像それぞれに基づいて、所定の大きさ以上の白画素または黒画素の固まりの領域を検索する領域検索手段と、
前記領域検索手段で検索された領域の情報を記憶手段に格納する格納手段と、
前記領域検索手段で前記領域が１つ以上検索された場合、前記領域検索手段で検索された領域の情報に基づいて、前記領域検索手段で検索された領域のうちの１つを新たな検索領域として設定して、前記変換手段と前記領域検索手段と前記格納手段とによる処理を繰り返す第１の繰り返し手段と、
前記領域検索手段で前記領域が検索されなかった場合、当該設定されている検索領域における、適応２値化用しきい値未満の画素数と該適応２値化用しきい値以上の画素数とを比較し、当該比較の結果に基づいて、画素数が多い方の画素を背面画素とし、画素数が少ない方の画素を表面画素として識別し、当該識別された表面画素を黒画素とし当該識別された背面画素を白画素とすることにより、当該検索領域を適応的に２値化する適応２値化手段と、
前記適応２値化手段で適応的に２値化されていない領域があるか判断し、適応的に２値化されていない領域があると判断した場合は、前記適応２値化手段で適応的に２値化されていない領域を新たな検索領域として設定して前記変換手段と前記領域検索手段と前記格納手段と前記第１の繰り返し手段と前記適応２値化手段とによる処理を繰り返し、一方、適応的に２値化されていない領域がないと判断した場合は処理を終了する第２の繰り返し手段と
を有することを特徴とする画像処理装置。
【請求項１０】
コンピュータを、
カラー多値画像をグレー多値画像に変換するグレー変換手段、
前記変換されたグレー多値画像を最初の検索領域として設定する設定手段、
前記検索領域に対応するグレー多値画像を、複数のしきい値それぞれを用いて２値化処理を行うことにより、複数の２値画像に変換する変換手段、
前記変換手段で変換された複数の２値画像それぞれに基づいて、所定の大きさ以上の白画素または黒画素の固まりの領域を検索する領域検索手段、
前記領域検索手段で検索された領域の情報を記憶手段に格納する格納手段、
前記領域検索手段で前記領域が１つ以上検索された場合、前記領域検索手段で検索された領域の情報に基づいて、前記領域検索手段で検索された領域のうちの１つを新たな検索領域として設定して、前記変換ステップと前記領域検索ステップと前記格納ステップとによる処理を繰り返す第１の繰り返し手段、
前記領域検索手段で前記領域が検索されなかった場合、当該設定されている検索領域における、適応２値化用しきい値未満の画素数と該適応２値化用しきい値以上の画素数とを比較し、当該比較の結果に基づいて、画素数が多い方の画素を背面画素とし、画素数が少ない方の画素を表面画素として識別し、当該識別された表面画素を黒画素とし当該識別された背面画素を白画素とすることにより、当該検索領域を適応的に２値化する適応２値化手段、
前記適応２値化手段で適応的に２値化されていない領域があるか判断し、適応的に２値化されていない領域があると判断した場合は、前記適応２値化手段で適応的に２値化されていない領域を新たな検索領域として設定して前記変換手段と前記領域検索手段と前記格納手段と前記第１の繰り返し手段と前記適応２値化手段とによる処理を繰り返し、一方、適応的に２値化されていない領域がないと判断した場合は処理を終了する第２の繰り返し手段、
として機能させるための制御プログラムを格納したコンピュータ読取可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像処理装置に関し、特に画像の領域識別技術に関するものである。
【０００２】
【従来の技術】
近年コンピュータの処理能力向上が著しく、それに伴い表現力豊かな文書作成ツールが発達し、文書のカラー化、多様化が急速に進んでいる。
【０００３】
一方従来の文書処理ツール、例えばＯＣＲ等に必須の技術として、文字認識の対象領域を決定する前処理、いわゆる領域識別技術が昨今注目されている。これは、文書のカラー化、多様化により、レイアウトが複雑になり、単純な切り分け技術ではもはや文字領域を抽出できないことを表している。
【０００４】
【発明が解決しようとする課題】
しかしながら前記従来例で述べた領域識別技術においては、例えば特開平６−０６８３０１に記述されているブロックセレクション技術は、白黒２値画像のみをその対象とし、カラー画像は直接入力の対象とはなっていない。これは一般の領域識別技術に対しても言えることである。従って、色情報はなんら領域識別に反映されず、また領域属性としての色の概念も存在せず、色情報は完全に無視されていたと言っても良い。もちろん、カラー画像を２値化して入力すれば領域識別は可能であるが、その場合でも色情報を活用していないということに関しては同様である。
【０００５】
したがって、文書のカラー化が進み、そのレイアウトも複雑化している現状を鑑みれば、現在の領域識別技術は文書処理の前処理として十分満足のゆく性能が得られているとは言い難い。
【０００６】
【課題を解決するための手段】
本発明の画像処理方法は、グレー変換手段が、カラー多値画像をグレー多値画像に変換するグレー変換ステップと、設定手段が、前記変換されたグレー多値画像を最初の検索領域として設定する設定ステップと、変換手段が、前記検索領域に対応するグレー多値画像を、複数のしきい値それぞれを用いて２値化処理を行うことにより、複数の２値画像に変換する変換ステップと、領域検索手段が、前記変換ステップで変換された複数の２値画像それぞれに基づいて、所定の大きさ以上の白画素または黒画素の固まりの領域を検索する領域検索ステップと、格納手段が、前記領域検索ステップで検索された領域の情報を記憶手段に格納する格納ステップと、第１の繰り返し手段が、前記領域検索ステップで前記領域が１つ以上検索された場合に、前記格納ステップで格納された領域の情報に基づいて、前記領域検索ステップで検索された領域のうちの１つを新たな検索領域として設定して、前記変換ステップと前記領域検索ステップと前記格納ステップとによる処理を繰り返す第１の繰り返しステップと、適応２値化手段が、前記領域検索ステップで前記領域が検索されなかった場合に、当該設定されている検索領域における、適応２値化用しきい値未満の画素数と該適応２値化用しきい値以上の画素数とを比較し、当該比較の結果に基づいて、画素数が多い方の画素を背面画素とし、画素数が少ない方の画素を表面画素として識別し、当該識別された表面画素を黒画素とし当該識別された背面画素を白画素とすることにより、当該検索領域を適応的に２値化する適応２値化ステップと、第２の繰り返し手段が、前記適応２値化ステップで適応的に２値化されていない領域があるか判断し、適応的に２値化されていない領域があると判断した場合は、前記適応２値化ステップで適応的に２値化されていない領域を新たな検索領域として設定して前記変換ステップと前記領域検索ステップと前記格納ステップと前記第１の繰り返しステップと前記適応２値化ステップとによる処理を繰り返し、一方、適応的に２値化されていない領域がないと判断した場合は処理を終了する第２の繰り返しステップとを有することを特徴とする。
【０００７】
本発明の画像処理装置は、カラー多値画像をグレー多値画像に変換するグレー変換手段と、前記変換されたグレー多値画像を最初の検索領域として設定する設定手段と、前記検索領域に対応するグレー多値画像を、複数のしきい値それぞれを用いて２値化処理を行うことにより、複数の２値画像に変換する変換手段と、前記変換手段で変換された複数の２値画像それぞれに基づいて、所定の大きさ以上の白画素または黒画素の固まりの領域を検索する領域検索手段と、前記領域検索手段で検索された領域の情報を記憶手段に格納する格納手段と、前記領域検索手段で前記領域が１つ以上検索された場合、前記領域検索手段で検索された領域の情報に基づいて、前記領域検索手段で検索された領域のうちの１つを新たな検索領域として設定して、前記変換手段と前記領域検索手段と前記格納手段とによる処理を繰り返す第１の繰り返し手段と、前記領域検索手段で前記領域が検索されなかった場合、当該設定されている検索領域における、適応２値化用しきい値未満の画素数と該適応２値化用しきい値以上の画素数とを比較し、当該比較の結果に基づいて、画素数が多い方の画素を背面画素とし、画素数が少ない方の画素を表面画素として識別し、当該識別された表面画素を黒画素とし当該識別された背面画素を白画素とすることにより、当該検索領域を適応的に２値化する適応２値化手段と、前記適応２値化手段で適応的に２値化されていない領域があるか判断し、適応的に２値化されていない領域があると判断した場合は、前記適応２値化手段で適応的に２値化されていない領域を新たな検索領域として設定して前記変換手段と前記領域検索手段と前記格納手段と前記第１の繰り返し手段と前記適応２値化手段とによる処理を繰り返し、一方、適応的に２値化されていない領域がないと判断した場合は処理を終了する第２の繰り返し手段とを有することを特徴とする。
【０００８】
本発明のコンピュータ読取可能な記憶媒体は、コンピュータを、カラー多値画像をグレー多値画像に変換するグレー変換手段、前記変換されたグレー多値画像を最初の検索領域として設定する設定手段、前記検索領域に対応するグレー多値画像を、複数のしきい値それぞれを用いて２値化処理を行うことにより、複数の２値画像に変換する変換手段、前記変換手段で変換された複数の２値画像それぞれに基づいて、所定の大きさ以上の白画素または黒画素の固まりの領域を検索する領域検索手段、前記領域検索手段で検索された領域の情報を記憶手段に格納する格納手段、前記領域検索手段で前記領域が１つ以上検索された場合、前記領域検索手段で検索された領域の情報に基づいて、前記領域検索手段で検索された領域のうちの１つを新たな検索領域として設定して、前記変換ステップと前記領域検索ステップと前記格納ステップとによる処理を繰り返す第１の繰り返し手段、前記領域検索手段で前記領域が検索されなかった場合、当該設定されている検索領域における、適応２値化用しきい値未満の画素数と該適応２値化用しきい値以上の画素数とを比較し、当該比較の結果に基づいて、画素数が多い方の画素を背面画素とし、画素数が少ない方の画素を表面画素として識別し、当該識別された表面画素を黒画素とし当該識別された背面画素を白画素とすることにより、当該検索領域を適応的に２値化する適応２値化手段、前記適応２値化手段で適応的に２値化されていない領域があるか判断し、適応的に２値化されていない領域があると判断した場合は、前記適応２値化手段で適応的に２値化されていない領域を新たな検索領域として設定して前記変換手段と前記領域検索手段と前記格納手段と前記第１の繰り返し手段と前記適応２値化手段とによる処理を繰り返し、一方、適応的に２値化されていない領域がないと判断した場合は処理を終了する第２の繰り返し手段、として機能させるための制御プログラムを格納することを特徴とする。
【００２９】
【発明の実施の形態】
図８は本発明に係る装置の構成図である。
【００３０】
８１はＣＰＵ（中央処理装置）であって、ＭＥＭ８３に格納されている制御プログラムに従って本発明に係る処理の制御を行う。後述するフローチャートに示す処理もＣＰＵ８１の制御により実行される。８３はＭＥＭ（ＲＡＭ及びＲＯＭからなる）であって、ＣＰＵ８１が実行する処理の制御プログラムや、その処理に用いる各種パラメータ、入力画像、文字認識の辞書等、各種データの格納はこのＭＥＭ８３に行われる。８４はＣＲＴやＬＣＤ等の表示器であって、入力画像、処理結果のテキスト、操作指示画面、入力手段８９により特定された文書識別情報に応じてファイルから読み出した認識結果を表示する。ＭＥＭ８３に格納された文字認識結果を表示器８４に表示し、入力手段８９を用いて複数の候補文字から正しい文字を選択する等の編集が可能である。８５はＬＢＰやＢＪプリンタ等のプリンタであって、画像、テキスト等を印字する。８６はスキャナであって、原稿の画像を光学的に読み取り、電気的信号として装置に入力する。８７は通信Ｉ／Ｆであって、公衆回線やＬＡＮ等を介してデータの送・受信を制御する。本発明に係る画像の入力及びその画像を処理した結果の出力を、この通信Ｉ／Ｆを介して他端末と送受信することもできる。８８は、本装置に着脱可能であり、コンピュータにより読み取り、更には書き込み可能な記憶媒体であって、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＦＤ等である。本発明に係る画像をこの記憶媒体８８から読み取り、処理結果を記憶媒体８８に書き込んでも良い。また、ＭＥＭ８３に格納する制御プログラムを、通信Ｉ／Ｆを介して他端末からインストールしたり、或は記憶媒体８８からインストールしても良い。８９はキーボード、ポインティングデバイス等の入力手段であり、オペレータからの指示はこの入力手段８９を介して行う。８０はバスであって、各手段間のデータの授受を行う。
【００３１】
以下図面を参照して本発明の一実施の形態を説明する。図１は本発明を適用した文字認識装置のプロセス概略図である。
【００３２】
図１において、２はスキャナー８６などの原稿画像を入力する画像入力部、４は入力された原稿画像の領域識別部、６は文字認識を行う文字認識部である。領域識別部４及び文字認識部６のプロセスは、ＭＥＭ８６に格納されている制御プログラムに従って、後述するフローチャートのように、ＣＰＵ８１により実行される。
【００３３】
次に動作について説明する。
【００３４】
画像入力部２より取得したｎビットの多値画像（カラー画像）は、領域識別部４に直接入力され、例えば図２に示すようにその属性ごとに小領域（以下ブロックとする）に分割し、ここにあるように属性情報、色情報、レイアウト情報、２値情報等から成るブロック領域データを判定し、記憶する。このブロック領域データを、図２のようにブロックを表す矩形とともにレイアウトして表示器８４に表示したり、プリンタ８５により印字しても良い。また、図２のようにレイアウトせずに、文書情報として文書書式に従って出力しても良い。出力するブロック領域データは、指定された或はその時選択されている文書に含まれる全ブロックのデータでも良いし、指示されたブロックのデータのみであっても良い。ブロック領域データの構造例を図７に示す。領域識別部４における領域識別処理については、後に詳細に説明する。前記領域識別部４において属性がテキストと判別されたブロックに含まれる画像については、文字認識部１０において、その２値情報に基づいて文字認識を行い、入力画像、ブロック領域データ、文字認識結果のテキストをファイル、プリンタ８５、ディスプレイ８４、ネットワーク８７などに出力する。ファイルは、ファイリング機能を備えるアプリケーションに従って、ＭＥＭ８３、外部記憶手段８８、通信Ｉ／Ｆ８７を介して接続される他端末にこの出力データを保存できる。保存したデータをインデックスやキーワード検索、或は画像やレイアウト検索等により呼び出すことにより、入力画像、レイアウト情報、テキストを再現することができる。
【００３５】
ここで領域識別部４における領域識別処理について詳細に説明する。
【００３６】
図３に領域識別部４で実行する領域識別処理の流れを表すフローチャートを示す。
【００３７】
Ｓ３０２は、入力されたカラー画像をグレー画像に変換するルーチンである。これは例えば、式（１）に表されるような、入力画像の各画素ごとの色を表わすｎビットデータに含まれるＲＧＢ情報に所定の重みをつけて加算するような、輝度情報を導出する式を用いる。
【００３８】
式（１）において用いた重みづけの値は一例であって、画像入力手段の色特性や、オペレータにより設定された値に応じて定めても良い。また、データがＲＧＢ情報ではなくＹＭＣ情報であった場合にも、式（１）と同様にＹＭＣの各値に重みをつけて加算することにより輝度情報への変換を行うことが可能である。
【００３９】
輝度信号  ＝０．３０Ｒ  ＋  ０．５９Ｇ  ＋  ０．１１Ｂ        （１）
【００４０】
Ｓ３０２において、各画素のカラーデータを式（１）を用いてグレーデータに変換する処理を、処理対象となっている画像の全画素に対して行なう。グレーデータはＭＥＭ８３内に、領域識別処理の元データとして格納し、図３の処理が終了するまで保持される。
【００４１】
Ｓ３０４において、Ｓ３０２でＭＥＭ８３に格納した元データの画像全体を最初の検索領域として設定する。この設定ステップは、ＭＥＭ８３内に、検索対象の画像を格納している位置を表わすポインタと、その画像の中の特定領域を表す座標（例えば対角点の２点の座標）から成る領域データを格納する処理である。また、ここで言う“検索”とは、予め定めてある所定の面積以上の２値化濃度一様領域を検出する処理のことであり、Ｓ３０８により表わされる。“検索領域”とは、このＳ３０８における検索処理を施す対象の領域のことである。
【００４２】
Ｓ３０８は、その時設定されている検索領域のグレー画像の元データを、様々なしきい値で２値化し、その２値化された画像から２値化濃度一様領域を検索する領域検索処理であって、この処理の詳細は図４のフローチャートに示し、後述する。このＳ３０８の処理により、Ｓ３０２で生成されたグレー画像における検索対象となっている領域の中の、背景として同色がかたまっていると思われる領域を２値化濃度一様領域として検索し、ＭＥＭ８３に格納することができる。
【００４３】
Ｓ３１２において、その時設定されている検索領域から、Ｓ３０８において２値化濃度一様領域が一個以上検索されたかを判断する。領域が検索されていると判断された場合は、Ｓ３１６に進み、Ｓ３０８で格納された全領域から面積が最大の領域を判断し、この面積最大の領域を新たな検索領域として設定する。その際、現在の検索領域として設定されている領域と、Ｓ３１６において判断された最大の領域とは親子の関係にあるので、この２領域を関連づける情報をＭＥＭ８３に格納し、後述するＳ３３４のステップにおいて活用する。
【００４４】
Ｓ３１６のステップは、Ｓ３０４でＭＥＭ８３内に設定した領域データを新たな領域の領域データに更新する処理である。
【００４５】
Ｓ３１６での領域設定を行ったらＳ３０８に戻り、この新たな検索領域のグレー画像の元データに対して領域検索処理を施す。
【００４６】
Ｓ３１２、Ｓ３１６、Ｓ３０８を繰り返すことにより、順次より小さな範囲での領域検索を行なうことができる。
【００４７】
Ｓ３１２において、その時設定されている検索領域から、Ｓ３０８において２値化濃度一様領域が検索されなかったと判断された場合は、Ｓ３２０に進み、その検索領域の画像を適応２値化する。適応２値化とは、表面及び背面物体を識別し、その識別情報に基づいて２値化する処理であって、ＭＥＭ８３に格納されているグレー画像に対して行なう。その詳細については図６のフローチャートに示し、後述する。適応２値化した画像データは、入力多値画像及びグレー画像とは別に、ＭＥＭ８３内のビットマップデータ中の対応画素位置に格納する。
【００４８】
Ｓ３２０で適応２値化した領域については、再度の領域検索処理や適応２値化処理を施すことを防ぐべく、識別情報をＭＥＭ８３に格納する（Ｓ３２４）。この適応２値化処理終了識別情報は、ＭＥＭ８３内にＳ３０２で生成したグレー画像と同じサイズ（即ち同じ画素数）のビットマップデータ格納領域を設け、初期状態として全画素を“１”に設定し、Ｓ３２０で適応２値化処理を施した画素を“０”に変えていくことにより、このビットマップデータがミラーイメージとして機能し、適応的２値化処理の有無を表わす識別情報として利用することができる。
【００４９】
Ｓ３３０において、現在の検索領域が最大であるか否かを判断する。この判断ステップは、即ち適応２値化の未処理領域が有るか否かの判断であって、ＭＥＭ８３内の適応２値化処理終了情報を検索し、“１”の画素が残っているか否かの判断である。Ｓ３３０において適応２値化の未処理領域がないと判断された場合はＳ３４０に進み、ブロック判別処理を行なう。この処理の詳細は図７のフローチャートに示し、後述する。Ｓ３３０において適応２値化の未処理領域があると判断された場合は、Ｓ３３４に進む。
【００５０】
Ｓ３３４において、現在検索領域に設定されている領域を１ステップ拡げる。この処理は、現在の検索領域を包含する２値濃度一様領域であって、かつその領域の最小の領域を求める処理である。これは例えば、Ｓ３１６においてＭＥＭ８３に格納した、親子領域を関連づける関連情報を参照することによっても可能である。図２の例で説明すると、現検索領域がブロック番号２の領域とすると、１ステップ拡げた領域はブロック番号１の領域となる。
【００５１】
Ｓ３３４で１ステップ拡げる領域を求めたら、Ｓ３３８において、その領域の未２値化領域を次の検索対象領域として設定する。この処理は即ち、Ｓ３３４で求めた領域の領域データとＭＥＭ８３中の識別情報とを比較し、Ｓ３３４で求めた領域の識別情報が１である領域を表わすデータを、ＭＥＭ８３における検索領域の領域データ格納エリアに格納する処理である。こうすることにより、Ｓ３３４で求められ、適応２値化が未処理の画像の領域が次のＳ３０８の検索処理を施す検索領域として設定されることとなる。図２の例で説明すると、現検索領域がブロック番号２の領域とすると、１ステップ拡げた領域はブロック番号１の領域であり、Ｓ３３８において設定される領域はブロック番号１の領域からブロック番号２の領域を除いた領域である。
【００５２】
図４のフローチャートに従い、Ｓ３１２の２値濃度一様領域検索処理について説明する。
【００５３】
Ｓ４０２において、本処理で行なう２値化のしきい値を初期値の０に設定する。しきい値はＭＥＭ８３に格納し、Ｓ４１２において更新する。
【００５４】
Ｓ４０４において、設定されているしきい値で、ＭＥＭ８３内のグレー画像の検索領域の各画素を２値化する。
【００５５】
Ｓ４０６において、Ｓ４０４で２値化された画像において、２値濃度一様領域が存在するか否かを判断する。この処理は、白画素或は黒画素いずれかの固まりが、所定の大きさ以上の領域を検索する処理であって、白、黒変化点の連続が、所定面積以上の閉じた領域を形成しているか否かの判断により実現できる。この所定面積は、ＭＥＭ８３に予め格納しておく値であるが、例えば、文書で用いられる文字の平均フォントサイズとしても良い。また、オペレータの操作、或は原稿の種類の判定に基づいて、いくつかのパラメータを切り替えて使用しても良い。
【００５６】
Ｓ４０６で２値濃度一様領域が存在しないと判断された場合はＳ４１２へ進む。一方、Ｓ４０６で存在すると判断された場合はＳ４０８に進み、Ｓ４０６で検索された領域がＭＥＭ８３内に既に登録された領域であるか否かを判断する。これは、Ｓ４１０においてＭＥＭ８３に登録してある領域情報と、Ｓ４０６で検索した領域情報を比較し、一致するものがあるか否かを判断することで可能である。この比較は、一つの検索領域に対する一連のＳ４０２〜Ｓ４１４の処理において検索されている領域に対して行なう。
【００５７】
Ｓ４０８において、検索された領域が登録済みの領域であると判断された場合にはＳ４１２に進み、登録されていないと判断された場合はＳ４１０に進み、ＭＥＭ８３への領域情報の登録処理を行なう。この領域情報とは、当該領域が検索された時の２値化しきい値として用いられた濃度情報、及びその領域を特定するに足る位置情報である。例えば領域が矩形の場合は対角点をなす２点の座標や一点の座標と領域の大きさ情報である。或は複雑な形状の領域である場合等、領域の輪郭線情報でも良い。
【００５８】
Ｓ４１２においてしきい値を１インクリメントし、Ｓ４１４においてしきい値が２５５を超えたか否か判断する。このＳ４１４の判断は、即ち図４のフローチャートに示す２値濃度一様領域検索処理が全濃度において行なわれたか否かを判定する処理であり、本例においてはグレー画像の各画素の濃度が８ビットで表現され、２５６階調であり、かつＳ４１２においてしきい値を１ずつ加算していることから、「２５５を超えたか？」という判断にしているが、濃度のとり得る値及びＳ４１２におけるしきい値の加算幅によっても異なる。しきい値のとり得る最大値を超えたか否かの判断を行なえば良い。Ｓ４１２におけるしきい値の加算幅は、オペレータの操作による指定或は原稿の種類の判定等により切り替えても良く、例えば８ずつや１６ずつ加算しても良い。Ｓ４１２におけるしきい値の加算幅が細かい程、２値濃度一様領域の検索処理が厳密に行なわれ、色が似ていても異なる領域として切り出される可能性が高くなる。
【００５９】
Ｓ４１４でしきい値が２５５を超えていないと判断される場合はＳ４０４に戻り、Ｓ４１２で設定された新たなしきい値での２値化処理を行なう。
【００６０】
上述した領域識別処理の流れを具体的な例を用いて説明したのが、図５である。
【００６１】
ここでは図２に示した文書を例にしてその２値化の過程を示している。
【００６２】
ここでチェック１というのが図３のフローチャートでいうＳ３０８及びＳ３１２の２値濃度一様領域の検索に相当する。
【００６３】
以上述べたように、図３のフローチャートに従えば、所定の大きさ以上の２値濃度一様領域の検索を再帰的に行うことにより、画面内の同一背景色の領域を確実に抽出することができる。また、ここで検索対象の大きさの制限を加えることにより、無駄な検索を省き、処理スピードの向上も実現している。
【００６４】
図６に適応２値化ルーチンＳ３２０の処理の流れを表すフローチャートを示す。
【００６５】
Ｓ５０２は、あらかじめ設定されている適応２値化用のしきい値により画素毎に濃度レベルを２分化するルーチンであって、ＭＥＭ８３に格納されている検索領域のグレー画像の各画素の濃度を適応２値化用しきい値と比較し、しきい値未満の濃度であるのか、しきい値以上の濃度であるのかを各画素ごとに行う処理である。Ｓ５０４は、Ｓ５０２でしきい値未満と判断された画素数と、以上と判断された画素数を比較して、しきい値未満の画素数が少ない場合は、Ｓ５０６へ、そうでない場合はＳ５０８へ制御を移行する。ここで、入力輝度信号は、ゼロレベルを白、最高レベルを黒とする。
【００６６】
Ｓ５０６は、しきい値未満の画素を表面物体と判断して黒画素とし、しきい値以上の画素を背面物体と判断し白画素とするルーチンであり、ＭＥＭ８３の検索領域のグレー画像の各画素の濃度データを“１”（黒画素）或は“０”（白画素）にして新たな２値画像を生成し、ＭＥＭ８３に格納する処理である。。
【００６７】
Ｓ５０８は、しきい値以上の画素を表面物体と判断し黒画素とし、しきい値未満の画素を背面物体と判断し白画素とするルーチンであり、ＭＥＭ８３の検索領域のグレー画像の各画素の濃度データを“１”（黒画素）或は“０”（白画素）にして新たな２値画像を生成し、ＭＥＭ８３に格納する処理である。
【００６８】
図６のフローチャートで説明した適応２値化ルーチンでは、ブロック内の２値濃度を比較して、少ない方の画素を表面物体、多い画素を背面物体としているが、これは文字を表面物体にすることを第一に考えているからである。したがって、このようにすることにより、反転文字なども確実に表面物体として識別するので文字認識精度が大きく向上する。
【００６９】
図７にブロック判別ルーチンＳ３４０の処理の流れを表すフローチャートを示す。
【００７０】
Ｓ６０２は、Ｓ５０６或はＳ５０８においてＭＥＭ８３に格納してある適応２値化結果を読み取るルーチンであって、Ｓ３０２で扱った原稿画像全体の領域を１画像として扱う。
【００７１】
Ｓ６０４は、Ｓ６０２で読込まれた適応２値化結果を基にブロック抽出を行い、各ブロックの番号、属性情報、レイアウト情報を設定するルーチン。これは２値画像の黒画素の配置を解析して同一属性のブロック領域を抽出し、各ブロックの属性、テキスト、表、図、画像等を判断する処理であって、例えば特開平６−０６８３０１に記述されているブロックセレクション技術を応用すれば実現可能である。
【００７２】
Ｓ６０６は、Ｓ６０４で抽出したブロックの最初のブロックを諸情報設定対象とするルーチンであって、Ｓ６０４において設定されるブロック番号順で良い。
【００７３】
Ｓ６０８、Ｓ６１０は、当該ブロックの色情報を設定するルーチンで、Ｓ６０８は表面色としてＭＥＭ８３に格納されている適応２値化の黒画素領域に対応する領域の平均色をＭＥＭ８３に格納されているオリジナルカラー画像より求めるルーチン、Ｓ６１０は、背面色としてＭＥＭ８３に格納されている適応２値化の白画素領域に対応する領域の平均色をＭＥＭ８３に格納されているオリジナルカラー画像より求めるルーチンである。
【００７４】
Ｓ６１２は、当該ブロックの諸情報（属性情報、色情報、レイアウト情報、２値情報）を上記ルーチンより設定するルーチンであって、図２に示す例のような設定情報を、領域ごとに図８のようにＭＥＭ８３に格納する。ここで色情報は色の名称を記しているが、実際にはＲＧＢそれぞれの濃度レベルが記録される。また２値情報は当該ブロックの前記適応２値化結果そのものである。
【００７５】
Ｓ６１４は、当該ブロックが最終ブロックか否かを判別するルーチンで、そうである場合は終了、そうでない場合は、制御をＳ６１６へ移行する。
【００７６】
Ｓ６１６は、当該ブロックの次のブロックを諸情報設定対象ブロックとするルーチンである。
【００７７】
入力カラー画像、グレー画像、２値画像、ブロック情報を関連づけて記憶し、更には属性がテキストであると判断されたブロックの画像を文字認識した結果の文書を関連づけて記憶しておくことにより、ファイル機能を実現できる。ファイルされたデータを呼び出す際のキーワードは、文書に含まれ得る単語や文、或はレイアウト情報でも良い。レイアウト情報をファイル呼び出しのキーワードとする場合は、位置と属性、或はどんな属性のブロックがいくつ。といった情報を入力し、この情報を記憶してあるブロック情報と比較して一致するファイルの画像やテキストを表示或は、印字すれば良い。
【００７８】
以上述べてきたように、本発明によれば、２値濃度一様領域の検索を再帰的に行うことにより、背景に色が付いた文書、反転文字が存在する文書等に対しても、文書内の同一背景色の領域を正確に抽出することができ、また最低限度の大きさの検索領域を指定することにより、無駄な検索も省け、処理スピードも十分実用レベルに達している。さらに、主物体を確実に識別してその２値化を行い、色属性も付加されるので、その後の画像変換の精度を飛躍的に高めることができる。特にカラー文書に対しては、色情報を考慮した真の文字認識を行うことが可能となり、複雑化した文書の効率的な取り扱いに大きく貢献することとなる。
【００７９】
上記説明ではカラー画像を輝度信号に変換していたが、何もこれに限ることはなく、ＲＧＢ毎に適応２値化を行い、最終的にそれらの論理和をとって２値出力としても良い。
【００８０】
上記説明では、適応２値化ルーチンにおいてしきい値未満と以上の画素数を比較して表面と背面を識別していたが、何もこれに限ることはなく、色情報等から表面と背面を識別しても良い。
【００８１】
【発明の効果】
本発明によれば、２値濃度一様領域の検索を再帰的に行うことにより、背景に色が付いた文書、反転文字が存在する文書等に対しても、文書内の同一背景色の領域を正確に抽出することができ、また最低限度の大きさの検索領域を指定することにより、無駄な検索も省け、処理スピードも十分実用レベルに達している。さらに、主物体を確実に識別してその２値化を行い、色属性も付加されるので、その後の画像変換の精度を飛躍的に高めることができる。特にカラー文書に対しては、色情報を考慮した真の文字認識を行うことが可能となり、複雑化した文書の効率的な取り扱いに大きく貢献することとなった。
【図面の簡単な説明】
【図１】本発明に係る装置のプロセス概略図。
【図２】領域識別結果の例示図。
【図３】領域識別処理のフローチャート。
【図４】２値濃度一様領域検索処理のフローチャート。
【図５】領域識別処理の経過を説明する図。
【図６】適応２値化処理のフローチャート。
【図７】ブロック判別処理のフローチャート。
【図８】ブロック情報のデータフォーマットの例示図。
【図９】本発明に係る装置の構成図。
【図１】
0004077919.tif 000002
【図２】
0004077919.tif 000003
【図３】
0004077919.tif 000004
【図４】
0004077919.tif 000005
【図５】
0004077919.tif 000006
【図６】
0004077919.tif 000007
【図７】
0004077919.tif 000008
【図８】
0004077919.tif 000009
【図９】
0004077919.tif 000010