(57)【特許請求の範囲】
【請求項１】
入力された入力画像に対して二値化処理を実行することにより、二値画像を生成する二値画像生成手段と、
前記入力画像に対してエッジ抽出処理を実行することにより、エッジ画像を生成するエッジ画像生成手段と、
前記二値画像生成手段で生成された二値画像に対して、領域識別処理を行うことにより第１領域識別結果を取得する第１領域識別手段と、
前記エッジ画像生成手段で生成されたエッジ画像に対して、領域識別処理を行うことにより第２領域識別結果を取得する第２領域識別手段と、
前記第１領域識別手段で取得された第１領域識別結果に含まれる文字領域と前記第２領域識別手段で取得された第２領域識別結果に含まれる文字領域とを比較することにより重なっている文字領域を判定し、当該重なっていると判定した文字領域のうち、前記第２領域識別結果に含まれる当該文字領域を削除し、当該削除した後に残った前記第２領域識別結果の文字領域と前記第１領域識別結果の文字領域とを統合することにより統合領域識別結果を作成する統合手段と、
前記統合手段で作成された統合領域識別結果に含まれる各文字領域について、前記第１領域識別結果から統合された文字領域であるか、前記第２領域識別結果から統合された文字領域であるか判別し、前記第１領域識別結果から統合された文字領域であると判別した場合は、当該文字領域に対して非反転二値化処理を実行する一方、前記第２領域識別結果から統合された文字領域であると判別した場合は、更に、当該文字領域に対して反転文字領域であるか非反転文字領域であるか判定し、反転文字領域であると判定された場合は当該文字領域に対して反転二値化処理を実行し、非反転文字領域であると判定された場合は当該文字領域に対して非反転二値化処理を実行することにより、前記入力画像の部分二値化処理を実行し、当該部分二値化処理の結果に基づいて出力二値画像を生成する出力二値画像生成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記統合手段は、前記第１領域識別結果に含まれる文字領域と前記第２領域識別結果に含まれる文字領域とを比較することにより重なっている文字領域を判定し、更に、当該重なっている文字領域の重なり方が所定のパターンに当てはまらない場合に、当該重なっている文字領域のうち、前記第２領域識別結果に含まれる当該文字領域を削除し、当該削除した後に残った前記第２領域識別結果の文字領域と前記第１領域識別結果の文字領域とを統合することにより前記統合領域識別結果を作成することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記統合手段は、前記重なっている文字領域の重なり方が、前記第２領域識別結果に含まれる文字領域が前記第１領域識別結果に含まれる文字領域を包含し且つ当該文字領域間の面積比が予め決められた閾値以上である第１の所定のパターンに当てはまる場合、当該重なっている文字領域のうち、前記第１領域識別結果に含まれる当該文字領域を削除し、前記削除した後に残った前記第１領域識別結果の文字領域と前記第２領域識別結果の文字領域とを統合することにより前記統合領域識別結果を作成することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記統合手段は、前記重なっている文字領域の重なり方が、前記第１領域識別結果に含まれる文字領域の一部分と前記第２領域識別結果に含まれる文字領域の一部分とが重なっており且つ前記第１領域識別結果に含まれる当該文字領域を囲む４辺の延長線で、当該重なっている前記第２領域識別結果に含まれる文字領域を分割して得られる複数の分割文字領域のうち、前記第１領域識別結果に含まれる当該文字領域に重なっていない方の分割文字領域の面積が予め定められた閾値以上である第２の所定のパターンに当てはまる場合、当該重なっている文字領域のうち、当該第２領域識別結果に含まれる当該文字領域を、前記第１領域識別結果に含まれる当該文字領域に重なっていない方の分割文字領域の面積が最大となる場合の分割文字領域で置換し、当該置換後の前記第２領域識別結果の文字領域と前記第１領域識別結果の文字領域とを統合することにより前記統合領域識別結果を作成することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記統合手段は、前記重なっている文字領域の重なり方が、前記第１の所定のパターンおよび前記第２の所定のパターンのいずれにも当てはまらない場合に、当該重なっている文字領域のうち、前記第２領域識別結果に含まれる当該文字領域を削除し、当該削除した後に残った前記第２領域識別結果の文字領域と前記第１領域識別結果の文字領域とを統合することにより前記統合領域識別結果を作成することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
入力された入力画像に対して二値化処理を実行することにより、二値画像を生成する二値画像生成手段と、
前記二値画像生成手段で生成された二値画像に対してエッジ抽出処理を実行することにより、エッジ画像を生成するエッジ画像生成手段と、
前記二値画像生成手段で生成された二値画像に対して、領域識別処理を行うことにより第１領域識別結果を取得する第１領域識別手段と、
前記エッジ画像生成手段で生成されたエッジ画像に対して、領域識別処理を行うことにより第２領域識別結果を取得する第２領域識別手段と、
前記第１領域識別手段で取得された第１領域識別結果に含まれる文字領域と前記第２領域識別手段で取得された第２領域識別結果に含まれる文字領域とを比較することにより重なっている文字領域を判定し、当該重なっていると判定した文字領域のうち、前記第２領域識別結果に含まれる当該文字領域を削除し、当該削除した後に残った前記第２領域識別結果の文字領域と前記第１領域識別結果の文字領域とを統合することにより統合領域識別結果を作成する統合手段と、
前記統合手段で作成された統合領域識別結果に含まれる各文字領域について、前記第１領域識別結果から統合された文字領域であるか、前記第２領域識別結果から統合された文字領域であるか判別し、前記第１領域識別結果から統合された文字領域であると判別した場合は、前記二値画像から当該文字領域の非反転複写処理を実行する一方、前記第２領域識別結果から統合された文字領域であると判別した場合は、更に、当該文字領域に対して反転文字領域であるか非反転文字領域であるか判定し、反転文字領域であると判定された場合は前記二値画像から当該文字領域の反転複写処理を実行し、非反転文字領域であると判定された場合は前記二値画像から当該文字領域の非反転複写処理を実行することにより、前記二値画像の部分二値化処理を実行し、当該部分二値化処理の結果に基づいて出力二値画像を生成する出力二値画像生成手段と、
を有することを特徴とする画像処理装置。
【請求項７】
前記統合手段では、前記第１領域識別手段で取得された第１領域識別結果に含まれる文字領域と前記第２領域識別手段で取得された第２領域識別結果に含まれる文字領域とを比較した際、文字領域間の重なる面積が予め決められている閾値よりも小さい場合、当該文字領域は重なっていないと判定することを特徴とする請求項１乃至６のいずれかに記載の画像処理装置。
【請求項８】
二値画像生成手段が、入力された入力画像に対して二値化処理を実行することにより、二値画像を生成する二値画像生成工程と、
エッジ画像生成手段が、前記入力画像に対してエッジ抽出処理を実行することにより、エッジ画像を生成するエッジ画像生成工程と、
第１領域識別手段が、前記二値画像生成工程で生成された二値画像に対して、領域識別処理を行うことにより第１領域識別結果を取得する第１領域識別工程と、
第２領域識別手段が、前記エッジ画像生成工程で生成されたエッジ画像に対して、領域識別処理を行うことにより第２領域識別結果を取得する第２領域識別工程と、
統合手段が、前記第１領域識別工程で取得された第１領域識別結果に含まれる文字領域と前記第２領域識別工程で取得された第２領域識別結果に含まれる文字領域とを比較することにより重なっている文字領域を判定し、当該重なっていると判定した文字領域のうち、前記第２領域識別結果に含まれる当該文字領域を削除し、当該削除した後に残った前記第２領域識別結果の文字領域と前記第１領域識別結果の文字領域とを統合することにより統合領域識別結果を作成する統合工程と、
出力二値画像生成手段が、前記統合工程で作成された統合領域識別結果に含まれる各文字領域について、前記第１領域識別結果から統合された文字領域であるか、前記第２領域識別結果から統合された文字領域であるか判別し、前記第１領域識別結果から統合された文字領域であると判別した場合は、当該文字領域に対して非反転二値化処理を実行する一方、前記第２領域識別結果から統合された文字領域であると判別した場合は、更に、当該文字領域に対して反転文字領域であるか非反転文字領域であるか判定し、反転文字領域であると判定された場合は当該文字領域に対して反転二値化処理を実行し、非反転文字領域であると判定された場合は当該文字領域に対して非反転二値化処理を実行することにより、前記入力画像の部分二値化処理を実行し、当該部分二値化処理の結果に基づいて出力二値画像を生成する出力二値画像生成工程と、
を有することを特徴とする画像処理方法。
【請求項９】
二値画像生成手段が、入力された入力画像に対して二値化処理を実行することにより、二値画像を生成する二値画像生成工程と、
エッジ画像生成手段が、前記二値画像生成工程で生成された二値画像に対してエッジ抽出処理を実行することにより、エッジ画像を生成するエッジ画像生成工程と、
第１領域識別手段が、前記二値画像生成工程で生成された二値画像に対して、領域識別処理を行うことにより第１領域識別結果を取得する第１領域識別工程と、
第２領域識別手段が、前記エッジ画像生成工程で生成されたエッジ画像に対して、領域識別処理を行うことにより第２領域識別結果を取得する第２領域識別工程と、
統合手段が、前記第１領域識別工程で取得された第１領域識別結果に含まれる文字領域と前記第２領域識別工程で取得された第２領域識別結果に含まれる文字領域とを比較することにより重なっている文字領域を判定し、当該重なっていると判定した文字領域のうち、前記第２領域識別結果に含まれる当該文字領域を削除し、当該削除した後に残った前記第２領域識別結果の文字領域と前記第１領域識別結果の文字領域とを統合することにより統合領域識別結果を作成する統合工程と、
出力二値画像生成手段が、前記統合工程で作成された統合領域識別結果に含まれる各文字領域について、前記第１領域識別結果から統合された文字領域であるか、前記第２領域識別結果から統合された文字領域であるか判別し、前記第１領域識別結果から統合された文字領域であると判別した場合は、前記二値画像から当該文字領域の非反転複写処理を実行する一方、前記第２領域識別結果から統合された文字領域であると判別した場合は、更に、当該文字領域に対して反転文字領域であるか非反転文字領域であるか判定し、反転文字領域であると判定された場合は前記二値画像から当該文字領域の反転複写処理を実行し、非反転文字領域であると判定された場合は前記二値画像から当該文字領域の非反転複写処理を実行することにより、前記二値画像の部分二値化処理を実行し、当該部分二値化処理の結果に基づいて出力二値画像を生成する出力二値画像生成工程と、
を有することを特徴とする画像処理方法。
【請求項１０】
コンピュータを、
入力された入力画像に対して二値化処理を実行することにより、二値画像を生成する二値画像生成手段、
前記入力画像に対してエッジ抽出処理を実行することにより、エッジ画像を生成するエッジ画像生成手段、
前記二値画像生成手段で生成された二値画像に対して、領域識別処理を行うことにより第１領域識別結果を取得する第１領域識別手段、
前記エッジ画像生成手段で生成されたエッジ画像に対して、領域識別処理を行うことにより第２領域識別結果を取得する第２領域識別手段、
前記第１領域識別手段で取得された第１領域識別結果に含まれる文字領域と前記第２領域識別手段で取得された第２領域識別結果に含まれる文字領域とを比較することにより重なっている文字領域を判定し、当該重なっていると判定した文字領域のうち、前記第２領域識別結果に含まれる当該文字領域を削除し、当該削除した後に残った前記第２領域識別結果の文字領域と前記第１領域識別結果の文字領域とを統合することにより統合領域識別結果を作成する統合手段、
前記統合手段で作成された統合領域識別結果に含まれる各文字領域について、前記第１領域識別結果から統合された文字領域であるか、前記第２領域識別結果から統合された文字領域であるか判別し、前記第１領域識別結果から統合された文字領域であると判別した場合は、当該文字領域に対して非反転二値化処理を実行する一方、前記第２領域識別結果から統合された文字領域であると判別した場合は、更に、当該文字領域に対して反転文字領域であるか非反転文字領域であるか判定し、反転文字領域であると判定された場合は当該文字領域に対して反転二値化処理を実行し、非反転文字領域であると判定された場合は当該文字領域に対して非反転二値化処理を実行することにより、前記入力画像の部分二値化処理を実行し、当該部分二値化処理の結果に基づいて出力二値画像を生成する出力二値画像生成手段、
として機能させるためのコンピュータプログラム。
【請求項１１】
コンピュータを、
入力された入力画像に対して二値化処理を実行することにより、二値画像を生成する二値画像生成手段、
前記二値画像生成手段で生成された二値画像に対してエッジ抽出処理を実行することにより、エッジ画像を生成するエッジ画像生成手段、
前記二値画像生成手段で生成された二値画像に対して、領域識別処理を行うことにより第１領域識別結果を取得する第１領域識別手段、
前記エッジ画像生成手段で生成されたエッジ画像に対して、領域識別処理を行うことにより第２領域識別結果を取得する第２領域識別手段、
前記第１領域識別手段で取得された第１領域識別結果に含まれる文字領域と前記第２領域識別手段で取得された第２領域識別結果に含まれる文字領域とを比較することにより重なっている文字領域を判定し、当該重なっていると判定した文字領域のうち、前記第２領域識別結果に含まれる当該文字領域を削除し、当該削除した後に残った前記第２領域識別結果の文字領域と前記第１領域識別結果の文字領域とを統合することにより統合領域識別結果を作成する統合手段、
前記統合手段で作成された統合領域識別結果に含まれる各文字領域について、前記第１領域識別結果から統合された文字領域であるか、前記第２領域識別結果から統合された文字領域であるか判別し、前記第１領域識別結果から統合された文字領域であると判別した場合は、前記二値画像から当該文字領域の非反転複写処理を実行する一方、前記第２領域識別結果から統合された文字領域であると判別した場合は、更に、当該文字領域に対して反転文字領域であるか非反転文字領域であるか判定し、反転文字領域であると判定された場合は前記二値画像から当該文字領域の反転複写処理を実行し、非反転文字領域であると判定された場合は前記二値画像から当該文字領域の非反転複写処理を実行することにより、前記二値画像の部分二値化処理を実行し、当該部分二値化処理の結果に基づいて出力二値画像を生成する出力二値画像生成手段、
として機能させるためのコンピュータプログラム。
【請求項１２】
請求項１０または１１のいずれかに記載のコンピュータプログラムを格納した、コンピュータ読取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された原画像を二値化する二値化方法に関する。
【背景技術】
【０００２】
近年、コンピュータの処理能力やメモリの増大、カラースキャナデバイスの発達等によりカラー文書画像が増えている。
【０００３】
一方、取り込んだ文書画像の文字部分を文字認識することによりテキストデータに変換して再利用することも考えられている。また、大量の原稿をＡＤＦでスキャンする際に、原稿内の文字方向を判別することによって原稿の正しい向きを自動判定し、正しい向きに補正してからプリントアウトする方法も考えられている。これらの利用方法で重要な部分は文字認識精度である。
【０００４】
文字認識精度を高めるためには、文字認識に適した画像を得ることも重要な要因である。例えば、特許文献１では、画像の種類を判別し、その判別結果が単一の濃度対象で構成された画像を表す場合は、その入力画像に単純二値化を施し、そうでない場合は入力画像に疑似中間調二値化を施す２値化技術が開示されている。また、特許文献２では、所定の大きさのブロック単位で２値化処理を行う際に、ブロック内の多値画像から輝度頻度を求め、その輝度頻度の平均値及びスキュー値から閾値を求める２値化技術が開示されている。
また、特許文献３では、反転文字（白抜き文字）を二値化する方法もあった。
【特許文献１】特開平０８−２２３４０９号公報
【特許文献２】特開平０９−３０５７５４号公報
【特許文献３】特開２００５−０７１０８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら上述した従来技術の特許文献１や特許文献２では、反転文字に対して文字認識等の処理をするには別途処理が必要となってしまっていた。
【０００６】
また、特許文献３では、エッジ画像に基づいて文字領域と判断された部分領域に対して部分二値化処理を行い、更に、全体画像を単純２値化等により生成された２値画像に基づいて文字領域と判断された部分領域に対して部分二値化処理を行っていた。そして、部分二値化処理で生成された２つの部分二値化画像を統合して出力画像を生成していたので、処理時間が多くかかってしまうという欠点があった。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の画像処理装置は、入力された入力画像に対して二値化処理を実行することにより、二値画像を生成する二値画像生成手段と、前記入力画像に対してエッジ抽出処理を実行することにより、エッジ画像を生成するエッジ画像生成手段と、前記二値画像生成手段で生成された二値画像に対して、領域識別処理を行うことにより第１領域識別結果を取得する第１領域識別手段と、前記エッジ画像生成手段で生成されたエッジ画像に対して、領域識別処理を行うことにより第２領域識別結果を取得する第２領域識別手段と、前記第１領域識別手段で取得された第１領域識別結果に含まれる文字領域と前記第２領域識別手段で取得された第２領域識別結果に含まれる文字領域とを比較することにより重なっている文字領域を判定し、当該重なっていると判定した文字領域のうち、前記第２領域識別結果に含まれる当該文字領域を削除し、当該削除した後に残った前記第２領域識別結果の文字領域と前記第１領域識別結果の文字領域とを統合することにより統合領域識別結果を作成する統合手段と、前記統合手段で作成された統合領域識別結果に含まれる各文字領域について、前記第１領域識別結果から統合された文字領域であるか、前記第２領域識別結果から統合された文字領域であるか判別し、前記第１領域識別結果から統合された文字領域であると判別した場合は、当該文字領域に対して非反転二値化処理を実行する一方、前記第２領域識別結果から統合された文字領域であると判別した場合は、更に、当該文字領域に対して反転文字領域であるか非反転文字領域であるか判定し、反転文字領域であると判定された場合は当該文字領域に対して反転二値化処理を実行し、非反転文字領域であると判定された場合は当該文字領域に対して非反転二値化処理を実行することにより、前記入力画像の部分二値化処理を実行し、当該部分二値化処理の結果に基づいて出力二値画像を生成する出力二値画像生成手段と、を有することを特徴とする。
【０００８】
また、上記課題を解決するために、本発明の画像処理装置は、入力された入力画像に対して二値化処理を実行することにより、二値画像を生成する二値画像生成手段と、前記二値画像生成手段で生成された二値画像に対してエッジ抽出処理を実行することにより、エッジ画像を生成するエッジ画像生成手段と、前記二値画像生成手段で生成された二値画像に対して、領域識別処理を行うことにより第１領域識別結果を取得する第１領域識別手段と、前記エッジ画像生成手段で生成されたエッジ画像に対して、領域識別処理を行うことにより第２領域識別結果を取得する第２領域識別手段と、前記第１領域識別手段で取得された第１領域識別結果に含まれる文字領域と前記第２領域識別手段で取得された第２領域識別結果に含まれる文字領域とを比較することにより重なっている文字領域を判定し、当該重なっていると判定した文字領域のうち、前記第２領域識別結果に含まれる当該文字領域を削除し、当該削除した後に残った前記第２領域識別結果の文字領域と前記第１領域識別結果の文字領域とを統合することにより統合領域識別結果を作成する統合手段と、前記統合手段で作成された統合領域識別結果に含まれる各文字領域について、前記第１領域識別結果から統合された文字領域であるか、前記第２領域識別結果から統合された文字領域であるか判別し、前記第１領域識別結果から統合された文字領域であると判別した場合は、前記二値画像から当該文字領域の非反転複写処理を実行する一方、前記第２領域識別結果から統合された文字領域であると判別した場合は、更に、当該文字領域に対して反転文字領域であるか非反転文字領域であるか判定し、反転文字領域であると判定された場合は前記二値画像から当該文字領域の反転複写処理を実行し、非反転文字領域であると判定された場合は前記二値画像から当該文字領域の非反転複写処理を実行することにより、前記二値画像の部分二値化処理を実行し、当該部分二値化処理の結果に基づいて出力二値画像を生成する出力二値画像生成手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明では、エッジ画像に基づいて判別した文字領域と、通常の２値画像に基づいて判別した文字領域とに基づいて、重複する文字領域を統合した後、部分二値化処理を行うようにする。このように構成することにより、２つの領域識別結果の重複する部分に対する処理を一部省くことが可能となり、また出力の二値画像とともに統合された文字領域の情報が生成されるため、次に行う文字認識処理にも利用できるという効果がある。
【００１０】
また２つの異なる領域識別結果から１つの統合領域識別結果を作成するので、一方の誤判定を防ぐ効果もある。
【発明を実施するための最良の形態】
【００１１】
（実施例１）
図１２は本実施形態にかかる画像処理装置の構成を示す図である。１２０１はＣＰＵ、１２０２はＣＰＵ１２０１のプログラムやデータを記憶するＲＯＭである。１２０３はＲＡＭであり処理する文書画像を一時的に保持したりする等、ＣＰＵ１２０１の作業領域として機能する。該ＣＰＵが、下記に説明する各処理を実行するためのコードを含むコンピュータプログラムを実行することによって、本発明は実現される。１２０４は記憶装置であり、文書画像やファイル等を格納する。１２０５はスキャナであり、対象となる文書画像を読み込む。１２０６はプリンタであり、文書画像を印刷出力する。１２０７はネットワークＩ／Ｆであり、作成した圧縮画像を配信する。１２０８、１２０９はそれぞれキーボード、ディスプレイであり操作や表示のためのユーザＩ／Ｆである。
【００１２】
図１は、本実施例１の概略処理フローを示す図である。１０１は、原画像データであり、文字等を含んだ文書画像である。１０２はエッジ抽出手段であり、Ｓｏｂｅｌフィルタなど公知の方法を用いて、原画像１０１からエッジ画像１０４を作成する処理を行う。１０３は二値化処理手段であり、単純二値化法などの固定閾値を用いて、二値画像１０５を作成する。１０６、１０７は領域識別処理手段であり、それぞれエッジ画像１０４、二値画像１０５から文字領域の抽出を行う。文字領域は、各画像において黒画素塊を検出し、当該検出した黒画素塊のサイズや密度、他の黒画素塊が近傍にあるか、などに基づいて抽出される。領域識別処理手段１０６、１０７で抽出された文字領域の情報は、領域識別結果１０８、１０９として出力される。１１０は領域識別結果統合処理手段であり、２つの領域識別結果１０８、１０９を比較して一つに統合し、統合領域識別結果１１１を出力する。１１２は部分二値化処理手段であり、原画像１０１と統合領域識別結果１１１とに基づいて、各文字領域に対して部分二値化処理を実行することにより、出力二値画像１１３を出力する。
【００１３】
図２は本発明の処理フロー図である。
【００１４】
ステップＳ２０１では、文書のイメージを原画像１０１として読み込む。原画像１０１の例を図５の５０１に示す。
【００１５】
ステップＳ２０２では、Ｓ２０１で入力された原画像１０１からエッジ抽出手段１０２により画像のエッジを抽出してエッジ画像１０４を作成する。エッジ画像１０４の例を図５の５０２に示す。エッジ画像は、例えば、隣接する画素との輝度差が、予め決められた閾値より大きい画素を１、小さい画素を０として表される。
【００１６】
ステップＳ２０３では、領域識別処理手段１０６により、エッジ画像１０４から文字領域１０８を抽出する。
【００１７】
ステップＳ２０４では、二値化処理手段１０３により、原画像１０１から二値画像１０５を作成する。ここでの二値化手法は、例えば、特開平０８−２２３４０９や特開平０９−３０５７５４の様に文字領域に適した二値化手法が望ましい。二値画像１０５の例を図５の５０３に示す。
【００１８】
ステップＳ２０５では、領域識別処理手段１０７により、二値画像１０５から文字領域１０９を抽出する。
【００１９】
領域識別処理手段１０６、１０７はデータフローとしては分かれているが、同一構成のものを使用できる。エッジ画像１０４における比較的小さい文字は太字文字とほぼ同じ形状を有し、比較的大きい文字はアウトライン文字と同じ形状を有するので、黒画素の連結塊を検出するなどの同一の領域識別方法を用いて文字領域を抽出することも可能である。
【００２０】
ステップＳ２０６では、文字領域が抽出されたかどうか判断し、ステップＳ２０３およびステップＳ２０５の両方で文字領域が抽出されなかったと判断した場合、ステップＳ２１０に進んで、ステップＳ２０４で作成した二値画像１０５を出力結果として出力する。
【００２１】
一方、ステップＳ２０６で文字領域が抽出されたと判断した場合、ステップＳ２０７に進み、出力二値画像１１２の初期化を行う。これはステップＳ２０２およびＳ２０４においては多値画像４０１の全領域に対してエッジ抽出および二値化処理が行われるが、次のステップＳ２０８、Ｓ２０９の処理では文字領域部分だけを出力するため、全面を白画素で初期化をしておく。
【００２２】
ステップＳ２０８では、ステップＳ２０３で抽出された領域識別結果１０８とステップＳ２０５で抽出された領域識別結果１０９の２つの領域識別結果を統合し、統合領域識別結果１１１を作成する。
【００２３】
ステップＳ２０９では、部分二値化処理手段１１２において、ステップＳ２０８で作成された統合領域識別結果１１１の文字領域部分ごとに、原画像を部分二値化処理して出力二値画像１１３の該当部分を上書きする。
【００２４】
図５の５０４は、この出力二値画像１１３の例であり、多値画像５０１を本方法により処理した結果である。文字領域だけを出力二値画像１１３として二値化出力するので、反転文字部と非反転文字部との両方が自然な形で出力されることになる。
【００２５】
ステップＳ２１０では、出力二値画像１１３と統合領域識別結果１１１とを最終結果として出力する。
【００２６】
図３は、ステップＳ２０８の領域識別結果統合処理の詳細フロー図である。
【００２７】
ステップＳ３０１では、二値画像１０５を領域識別して得た領域識別結果１０９から、文字領域の一つを選択する処理を行う。次のステップＳ３０２では、文字領域を選択できたかどうか判断し、選択対象文字領域が残っていなければステップＳ３１１へ進み、あればステップＳ３０３へ進む。なお、選択された場合、その文字領域を領域Ａとする。
【００２８】
ステップＳ３０３では、エッジ画像１０４を領域識別して得た領域識別結果１０８から、文字領域の一つを選択する処理を行う。次のステップＳ３０４では文字領域を選択できたかどうか判断し、選択対象文字領域が残ってなければステップＳ３０５へ進む。一方、選択対象文字領域があればステップＳ３０６へ進む。なお、選択された場合、その文字領域を領域Ｂとする。
【００２９】
ステップＳ３０５では、領域Ａの文字領域情報を統合識別結果１１１へ追加してステップＳ３０１へもどる。
【００３０】
ステップＳ３０６では領域Ａと領域Ｂの矩形が重なるかどうかの判定を行う。重なる場合はステップＳ３０７へ進み、重ならない場合はステップＳ３０３へ戻る。ただし、領域Ａの矩形とＢの矩形とが重なっていたとしても、重なる面積が予め決められている閾値よりも小さい場合は、重なっていないと判断するものとする。
【００３１】
ステップＳ３０７では領域Ａと領域Ｂの矩形の重なり方を分類する。分類の第１のパターンは、領域Ｂが領域Ａを包含し、且つ面積比が予め決められた閾値以上（例えば面積比（Ｂ／Ａ）＞２、なお閾値は実験的に定められるものであり前述した式に限るものではない）である場合であり、その場合はステップＳ３０８へ進む。第２のパターンは、領域Ａと領域Ｂとが一部分同士が重なっている場合で、且つ、矩形領域Ａの４辺を構成する直線の延長線で領域Ｂを分割したときに、当該分割された領域Ｂのうち、領域Ａに重なっていない方の分割領域の面積が予め決定されている閾値以上ある場合であり、その場合はステップＳ３０９へ進む。第１、第２のパターンに当てはまらない場合は、ステップＳ３１０へ進む。
【００３２】
ステップＳ３０８では、領域識別結果１０９から当該選択されている領域Ａの情報を削除し、ステップＳ３０１に戻る。これは領域識別処理手段１０７において、文字のポイント数の大きい反転文字で、且つ該反転文字が内部に黒画素部分を有する反転文字（例えば、「Ａ」、「Ｂ」、「田」等の文字）であった場合、その内部の黒画素部分を文字領域として誤認識してしまう場合があるためである。
【００３３】
ステップＳ３０９では、矩形領域Ａの４辺それぞれの直線を延ばして領域Ｂを分割したときに、当該分割された領域Ｂのうち、領域Ａに重なっていない方の分割領域の面積が最大となるような延長線を選ぶ。領域識別結果１０８における領域Ｂの領域情報を、この選択された延長線で分割しなおした領域Ｂ’の領域情報で置換する。
【００３４】
例えば、図６の上の例では、領域Ａの左端垂直線で領域Ｂを分割した場合の方が、領域Ａの上端水平線で領域Ｂを分割した場合より、分割された領域Ｂ’の面積が大きいので、領域Ａの左端垂直線が選択される。また、図６の下の例では、領域Ａの左端垂直線で領域Ｂを分割した場合のより、領域Ａの上端水平線で領域Ｂを分割した場合の方が、分割された領域Ｂ’の面積が大きくなるので、領域Ａの上端水平線が選択される。
【００３５】
この処理は、高輝度と低輝度の文字が中間輝度の下地上に接近して存在した場合に、領域識別処理手段１０６でこれを一つの文字領域として判定してしまうことがあるためである。例えば、赤色の下地上に白の文字列があり、その文字列のすぐ後に黒の文字列が続く場合、どちらの文字列からもエッジが抽出されてエッジ画像が生成されるため、領域識別処理手段１０６は１つの文字列として誤判定する場合がある。つまり、白文字部分は赤の下地よりも輝度が高いため反転して二値化を行い、黒文字部分は非反転で二値化をする必要があるが、エッジ画像に基づいて領域識別して得た文字領域そのままの範囲で反転・非反転を決定して二値化すると、白文字と黒文字のどちらかが消えてしまう。そこで、本発明では、領域識別処理手段１０７で黒文字部分のみを文字領域として抽出できることを利用して、反転文字領域と非反転文字領域とを分離するために上述した処理を行っている。
【００３６】
ステップＳ３１０では、領域Ａと領域Ｂは同一の文字領域を抽出したと判断し、領域識別結果１０８から領域Ｂの情報を削除する。
【００３７】
ステップＳ３０９、Ｓ３１０における処理の後は、ステップＳ３０３へ戻り、新たな領域Ｂの選択を行う。
【００３８】
一方、Ｓ３０２で未選択の領域Ａがなくなった場合は、ステップＳ３１１において、領域識別結果１０８で削除されずに残っている文字領域Ｂの情報を統合領域識別結果１１１に追加する。
【００３９】
図４は部分二値化処理手段１１２で実行されるステップＳ２０９の詳細処理を示すフローである。
ステップＳ４０１において統合領域識別結果１１１から文字領域の１つを選択する処理を行う。
ステップＳ４０２では、未選択の文字領域があればステップＳ４０３へ進み、一方、未選択の文字領域がなければ処理を終了する。
ステップＳ４０３では、選択された文字領域の範囲に対応する原画像の部分領域に基づいて、二値化閾値を演算する。閾値演算の方法は任意であるが文字画質が良い演算方法が望ましい。
ステップＳ４０４では、当該処理対象となっている文字領域が、エッジ画像に基づく領域識別結果１０８から統合されたデータであるか、二値画像に基づく領域識別結果１０９から統合されたデータであるか判定する。ステップＳ３０５で追加された文字領域情報が領域識別結果１０９から統合されたデータであり、ステップＳ３１１で追加された文字領域情報が領域識別結果１０８から統合されたデータである。領域識別結果１０８から統合されたデータ（すなわちエッジ画像から抽出された文字領域）であればステップＳ４０５へ進み、そうでなければステップＳ４０８へ進む。
ステップＳ４０５は反転／非反転文字領域判定処理であり、対象の文字領域が明るい下地に暗い文字の非反転文字領域か、暗い下地に明るい文字の反転文字領域かの判定を行う。反転／非反転文字領域の判定処理方法には、例えば下記のような方法１〜４が考えられる。
【００４０】
（反転非反転判定方法１）ステップＳ４０３で演算された閾値で二値化した場合の白黒比を計算し、白の割合が大きい場合非反転文字領域と判定し、黒の割合が大きい場合反転文字領域と判定する。閾値が輝度に対するものとした場合、対象となる文字領域の平均輝度より閾値が低い場合は非反転、高い場合は反転領域となる。
【００４１】
（反転非反転判定方法２）対象となる文字矩形領域の境界部分に対してステップＳ４０３で演算された閾値で二値化した場合の白黒比を計算し、白の割合が大きい場合非反転文字領域と判定し、黒の割合が大きい場合反転文字領域と判定する。
【００４２】
（反転非反転判定方法３）ステップＳ４０３の二値化閾値演算処理において特開平０８−２２３４０９や特開平０９−３０５７５４の方法を用いた場合、ヒストグラムの偏り（スキュー）の符号により反転か非反転か決定を行う。スキューの値が負値であれば非反転、正値であれば反転領域である。スキュー値は二値化閾値を決定する際に演算が終了しているため処理を高速化できる。
【００４３】
（反転非反転判定方法４）上記方法を組み合わせて用いても良い。反転非反転判定方法１で白黒比の差が予め決められた値より小さく、且つ、反転非反転判定方法３でスキュー値の絶対値が予め決められた値より小さい場合、更に反転非反転判定方法２を行い判定する。
なお、一般文書においては、非反転文字が存在する確率の方が高いため、上記判定法１〜４において判定の基準は非反転が優先されるように重みを持たせるのが望ましい。
【００４４】
ステップＳ４０６では、ステップＳ４０５の判定結果に従い、反転文字と判定された場合はステップＳ４０７に進み、非判定文字と判定された場合はステップＳ４０８に進む。
ステップＳ４０７では、ステップＳ４０３で決定された二値化閾値により二値化処理と白黒反転処理とを実行して（反転二値化処理）、その文字領域の部分を出力二値画像１１３に出力する。
一方、ステップＳ４０８では、ステップＳ４０３で決定された二値化閾値により通常の二値化処理を実行して（非反転二値化処理）、その文字領域の部分を出力二値画像１１３に出力する。
ステップＳ４０７またはＳ４０８の処理が終わると、ステップＳ４０１へ戻って次の文字領域の選択処理に移る。このようにして、全ての文字領域に対して、反転二値化処理または非反転二値化処理のいずれかが実行される。
なお、上述した実施形態のように、エッジ画像１０４と二値画像１０５とを併用する利点を以下にまとめて記載しておく。
【００４５】
エッジ抽出で得られるエッジ画像は、下地の濃淡による影響が小さく、反転文字領域も非反転文字領域も抽出することができるという利点がある。例えば、図８の８０１はある画像の一部分で８０２はそのエッジ画像、８０３は通常の二値画像である。８０１の様に一部分に濃い下地上に黒い文字がある場合、通常の二値化処理では８０３のように下地も文字も黒になることがあり、領域識別結果１０９では文字領域を抽出できない。一方、エッジ画像は輝度変位に応じてエッジ検出されるため、８０１の様に濃い下地であっても、８０２のように文字領域の抽出が可能である。このようにエッジ画像から文字領域を抽出することにより、出力二値画像１１３として８０４のような画像が得られる。
【００４６】
しかしながら、エッジは文字の輪郭部に存在するため文字や線の大きさが大きくなる。そのため図７の７０１に示すような表の場合、エッジ抽出を行うと文字部分と罫線部分とが太るため、文字と罫線が接触しやすくなる。このように罫線などの他の部分と接触した文字を分離するのは難易度が高いため、表領域などからの文字抽出の精度は落ちることになる。また、エッジ抽出はフィルタ処理であり局所的な輝度変位に反応してノイズを生ずることがあり文字抽出の障害になることがある。
【００４７】
一方、二値画像１０５は、ステップＳ３０９で説明したように、高輝度と低輝度の文字が中間輝度の下地上に接近して存在した場合に、その区別に利用することができるという効果がある。また、文字がそのままの大きさで二値化されるので、表の場合でも罫線部分との分離が行いやすいという効果がある。したがって、ステップＳ３１０では二値画像１０５から抽出された文字領域を優先して残している。
【００４８】
また、実施例１の画像処理装置の別構成例を以下に述べる。
図１において、エッジ画像１０４は領域識別結果１０８が得られれば必要なくなり、また、二値画像１０５は領域識別結果１０９が得られた時点で必要なくなる。よって、図２の処理フローに従うとエッジ画像１０４、二値画像１０５、出力二値画像１１３を格納するメモリは、共有して使用することにより、当該画像処理装置で必要となるメモリを節約することが可能となる。
【００４９】
また、図１の１０２，１０４，１０６，１０８と、１０３，１０５，１０７，１０９とのデータフローの処理は独立しているため、別々の回路やメモリを割り当てて並列処理することにより、処理の高速化をしても良い。
【００５０】
また、図１の部分二値化処理１１２において次の処理を行うようにしてもよい。ここでは、二値画像１０５と出力二値画像１１３とを格納するメモリは別々のメモリで構成されるものとする。図４のステップＳ４０８で非反転二値化処理を実行する際、ステップＳ４０３で得られた二値化閾値とステップＳ２０４で求めた二値化閾値との差が予め決められた範囲内であった場合に、保持している二値画像１０５の該当部分を出力二値画像１１３へコピーするようにしてもよい。このように構成することにより、二値処理時間を短縮できる。同様に、ステップＳ４０７で求めた二値化閾値とステップＳ２０４で求めた二値化閾値の差が決められた範囲内であれば、二値画像１０５の該当部分を出力二値画像１１３へ白黒反転してコピーするようにしてもよい。このように構成することにより、二値化処理時間を短縮できる。
【００５１】
（実施例２）
図９は本発明の第２実施例の構成図である。
９０１は原画像であり文字を含んだ文書画像である。９０３は二値化処理手段であり、単純二値化法などの固定閾値を用いて、二値画像９０５を作成する。９０２はエッジ抽出手段であり、二値画像９０５からエッジ画像９０４を作成する処理を行う。９０６、９０７は領域識別処理手段であり、それぞれエッジ画像９０４、二値画像９０５から文字領域の抽出を行う。領域識別処理手段９０６、９０７で抽出された文字領域の情報は、領域識別結果９０８、９０９として出力される。９１０は領域識別結果統合処理手段であり、２つの領域識別結果９０８、９０９を比較して一つに統合し、統合領域識別結果９１１を出力する。９１２は部分二値化処理手段であり、二値画像９０５と統合領域識別結果９１１とに基づいて、文字部分領域のみで構成された出力二値画像９１３を出力する。
【００５２】
図１０は、第２の実施例の処理フロー図である。
ステップＳ１００１では、処理対象の文書のイメージを原画像９０１として読み込む。
ステップＳ１００２では、原画像９０１を二値化処理９０３することにより、二値画像９０５を作成する。なお、読み込んだ原画像が二値画像であった場合、２値化処理はパスしてもよい。
ステップＳ１００３では、ステップＳ１００２で作成された二値画像９０５からエッジ抽出処理９０３により画像のエッジを抽出してエッジ画像９０４を作成する。
ステップＳ１００４では、領域識別処理手段９０６により、エッジ画像９０４から文字領域９０８を抽出する。
ステップＳ１００５では、領域識別処理手段９０７により、二値画像９０５から文字領域９０９を抽出する。
【００５３】
なお、領域識別処理手段９０６、９０７は処理対象の画像は異なるが、同一の処理方法で構成することが可能である。
ステップＳ１００６では、ステップＳ１００４およびステップＳ１００５で文字領域が抽出されたか判断する。ステップＳ１００４およびステップＳ１００５の両方で文字領域の抽出ができなかったと判断した場合は、ステップＳ１００２で作成した二値画像９０５を出力結果として出力する。
【００５４】
一方、文字領域が抽出されたと判断した場合、ステップＳ１００７に進む。ステップＳ１００７では出力二値画像９１３の初期化を行う。
ステップＳ１００８では、ステップＳ１００４で抽出された領域識別結果９０８とステップＳ１００５で抽出された領域識別結果９０９の２つの領域識別結果を比較して統合し、統合領域識別結果９１１を作成する。なお、ステップＳ１００８における領域識別結果の統合処理９１０は、実施例１の図３と同様の方法で行われる。
ステップＳ１００９で、部分二値化処理手段９１２は、ステップＳ１００８で作成された統合領域識別結果９１１の文字領域部分に基づいて、二値画像９０５から該当文字領域部分のみを複写して出力二値画像１１３へ上書きする。
ステップＳ１０１０は出力処理であり、出力二値画像９１３と統合領域識別結果９１１を最終結果として出力する。
【００５５】
図１１は、部分二値化処理手段９１２で実行されるステップＳ１００９の処理フローである。
ステップＳ１１０１において統合領域識別結果９１１から文字領域を選択する。ステップＳ１１０２では、選択対象の文字領域が残っていればステップＳ１１０３へ進み、なければ処理を終了する。
ステップＳ１１０３では、現在処理している領域が領域識別結果９０８のデータであるか領域識別結果９０９のデータであるか判定をする。Ｓ３０５で追加された文字領域情報が領域識別結果９０９のデータであり、ステップＳ３１１で追加された文字領域情報が領域識別結果９０８のデータである。領域識別結果９０８のデータ（すなわちエッジ画像から抽出された文字領域）であればステップＳ１１０４へ進み、そうでなければステップＳ１１０７へ進む。ステップＳ１１０５は反転／非反転文字領域判定処理であり、対象の文字領域が明るい下地に暗い文字の非反転文字領域か、暗い下地に明るい文字の反転文字領域かの判定を行う。反転非反転の判定方法としては下記のようなものがある。
【００５６】
（反転非反転判定方法１）二値画像９０５の該当部分の白黒画素比を計算して白の割合で決定する。文字領域の白画素が多い場合は非反転文字領域、少ない場合は反転文字領域となる。
【００５７】
（反転非反転判定方法２）対象となる文字矩形領域の境界部分における画素について、白黒画素比を計算し、白画素が多い場合は非反転文字領域、少ない場合は反転文字領域とする。
【００５８】
ステップＳ１１０５で反転文字と判定された場合はステップＳ１１０６において二値画像９０５の該当部分を反転して出力二値画像９１３へ複写する。逆にステップＳ１１０５で非反転文字と判定された場合はステップＳ１１０７において二値画像９０５の該当部分を出力二値画像９１３へ複写する。
ステップＳ１１０６、Ｓ１１０７の処理が終わるとステップＳ１１０１へ戻り、次の文字領域の選択処理に移る。
【００５９】
本実施例２によると、原画像が多値画像か二値画像の区別なく処理可能である。また、ステップＳ１００２の二値化処理の後は原画像９０１が不要になるので、出力二値画像を格納するメモリと共用すれば、必要とするメモリを大幅に節約できる。加えてほとんどの処理が二値画像に対して行われるため処理時間をさらに短縮できる。
【００６０】
（その他の実施例）
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダなど）から構成されるシステムあるいは統合装置に適用しても、一つの機器からなる装置に適用しても良い。また、前述したように、上記実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、本発明の目的が達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６１】
プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード、ＲＯＭなど様々な記憶媒体を用いることができる。
【００６２】
また、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００６３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００６４】
また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体から、そのプログラムをパソコン通信など通信ラインを介して要求者にそのプログラムを配信する場合にも適用できる。
【図面の簡単な説明】
【００６５】
【図１】実施例１の概略フロー図
【図２】実施例１の処理フロー図
【図３】領域識別結果統合処理のフロー図
【図４】部分二値化処理のフロー図
【図５】原画像、エッジ画像、二値画像、出力二値画像の画像例
【図６】領域分割の例
【図７】二値画像で文字領域抽出する方が有利な画像例
【図８】エッジ画像から文字領域抽出する方が有利な画像例
【図９】実施例２の構成図
【図１０】実施例２の概略フロー図
【図１１】部分二値化処理のフロー図
【図１２】画像処理装置の構成例
【図１】
0004745830.tif 000002
【図２】
0004745830.tif 000003
【図３】
0004745830.tif 000004
【図４】
0004745830.tif 000005
【図５】
0004745830.tif 000006
【図６】
0004745830.tif 000007
【図７】
0004745830.tif 000008
【図８】
0004745830.tif 000009
【図９】
0004745830.tif 000010
【図１０】
0004745830.tif 000011
【図１１】
0004745830.tif 000012
【図１２】
0004745830.tif 000013