(57)【特許請求の範囲】
【請求項１】
画像データに含まれる文字候補から算出された特徴量に基づき、前記文字候補が文字画像である度合いを示す第１の文字らしさを算出する第１算出手段と、
前記第１の文字らしさと、前記文字候補と隣接するまたは近傍の他の文字候補との間の前記特徴量の差と、に基づき、前記文字候補が文字画像である度合いを示す第２の文字らしさを算出する第２算出手段と、
前記第２の文字らしさに基づき、前記文字候補が文字画像であるかの判定を行う判定手段と、
を有する画像処理装置。
【請求項２】
画像データから文字画像であるか否かを判別すべき複数の画素である文字候補を抽出する抽出手段と、
前記抽出手段により抽出された文字候補毎に、当該文字候補が文字画像であるか否かを判定するための画像特徴量を算出する画像特徴量算出手段と、
前記画像特徴量算出手段により算出された画像特徴量に基づいて、前記各文字候補が文字画像である度合いを示す第１の文字らしさ度を算出する第１の文字らしさ度算出手段と、
隣接するまたは近傍の他の文字候補との間の前記画像特徴量の差である特徴量差を算出する特徴量差算出手段と、
前記第１の文字らしさ度および前記特徴量差とに基づいて、前記各文字候補が文字画像である度合いを示す第２の文字らしさ度を算出する第２の文字らしさ度算出手段と、
前記第２の文字らしさ度と予め設定された閾値とを比較することにより、前記各文字候補が文字画像であるか否かの判定を行う判定手段と、
を備えた画像処理装置。
【請求項３】
前記判定手段は、文字画像であると判定した文字候補に隣接し、予め設定された条件に合致する文字候補については、前記第２の文字らしさ度の値に関係なく当該文字候補を文字画像であると判定する請求項２記載の画像処理装置。
【請求項４】
前記判定手段は、行または列内の文字候補の数に対する文字画像であると判定された文字候補の数の割合である文字割合に基づいて、前記各文字候補が文字画像であるか否かの判定を行うための前記閾値を変更して、文字画像でないと判定された文字候補の判定を再度行う請求項２または３記載の画像処理装置。
【請求項５】
前記画像特徴量算出手段は、前記文字候補中の線分の太さである線幅の均一性に関する値を前記画像特徴量に含めて算出する請求項２から４のいずれか１項記載の画像処理装置。
【請求項６】
前記画像特徴量算出手段は、前記文字候補に対して８近傍距離変換を行って得られた距離変換画像に基づいて、線幅の均一性に関する値を画像特徴量として算出する請求項５記載の画像処理装置。
【請求項７】
画像データから文字画像であるか否かを判別すべき複数の画素である文字候補を抽出するステップと、
抽出された文字候補毎に、当該文字候補が文字画像であるか否かを判定するための画像特徴量を算出するステップと、
算出された前記画像特徴量に基づいて、前記各文字候補が文字画像である度合いを示す第１の文字らしさ度を算出するステップと、
隣接するまたは近傍の他の文字候補との間の前記画像特徴量の差である特徴量差を算出するステップと、
前記第１の文字らしさ度および前記特徴量差とに基づいて、前記各文字候補が文字画像である度合いを示す第２の文字らしさ度を算出するステップと、
前記第２の文字らしさ度と予め設定された閾値とを比較することにより、前記各文字候補が文字画像であるか否かの判定を行うステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
特許文献１には、処理対象画像を圧縮して、この圧縮画像から同色とみなせる画素をランとして抽出し、抽出したランを統合して連結成分を生成し、この連結成分のうち不要成分を除去した後に連結成分の外接矩形を統合し、統合した外接矩形から文字らしいもの判定することにより文字と文字以外の画像を含むカラー文書から文字領域抽出を行うようにした画像処理方法が開示されている。
【０００３】
特許文献２には、文字の筆画の方向に係わる情報により階調画像のノイズポイントを平滑化させ、平滑化後の階調画像を２値化し、文字の筆画の幅に基づき２値化後の画像のノイズポイントを除去することにより、文書画像の２値化性能を改善したノイズ除去装置が開示されている。
【０００４】
特許文献３には、画像から第１の文字候補と第２の文字候補を検出し、検出した各文字候補から少なくとも文字の大きさ、色、線幅の何れかを含む特徴データを検出し、検出した特徴データの一致度に基づいて第１の文字候補と第２の文字候補とを文字列として統合するか否かを判定することにより、画像中の文字列の認識精度を向上させた電子機器及び文字認識方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−２８８５８９号公報
【特許文献２】特開２００８−２１０３８７号公報
【特許文献３】特開２０１２−２１２２３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、文字候補毎の特徴量に基づいて文字／非文字の判定を行う場合と比較して、文字／非文字判定の判定精度を向上させることが可能な画像処理装置およびプログラムを提供することである。
【課題を解決するための手段】
【０００７】
［画像処理装置］
請求項１に係る本発明は、画像データに含まれる文字候補から算出された特徴量に基づき、前記文字候補が文字画像である度合いを示す第１の文字らしさを算出する第１算出手段と、
前記第１の文字らしさと、前記文字候補と隣接するまたは近傍の他の文字候補との間の前記特徴量の差と、に基づき、前記文字候補が文字画像である度合いを示す第２の文字らしさを算出する第２算出手段と、
前記第２の文字らしさに基づき、前記文字候補が文字画像であるかの判定を行う判定手段とを有する画像処理装置である。
【０００８】
請求項２に係る本発明は、画像データから文字画像であるか否かを判別すべき複数の画素である文字候補を抽出する抽出手段と、
前記抽出手段により抽出された文字候補毎に、当該文字候補が文字画像であるか否かを判定するための画像特徴量を算出する画像特徴量算出手段と、
前記画像特徴量算出手段により算出された画像特徴量に基づいて、前記各文字候補が文字画像である度合いを示す第１の文字らしさ度を算出する第１の文字らしさ度算出手段と、
隣接するまたは近傍の他の文字候補との間の前記画像特徴量の差である特徴量差を算出する特徴量差算出手段と、
前記第１の文字らしさ度および前記特徴量差とに基づいて、前記各文字候補が文字画像である度合いを示す第２の文字らしさ度を算出する第２の文字らしさ度算出手段と、
前記第２の文字らしさ度と予め設定された閾値とを比較することにより、前記各文字候補が文字画像であるか否かの判定を行う判定手段とを備えた画像処理装置である。
【０００９】
請求項３に係る本発明は、前記判定手段が、文字画像であると判定した文字候補に隣接し、予め設定された条件に合致する文字候補については、前記第２の文字らしさ度の値に関係なく当該文字候補を文字画像であると判定する請求項２記載の画像処理装置である。
【００１０】
請求項４に係る本発明は、前記判定手段が、行または列内の文字候補の数に対する文字画像であると判定された文字候補の数の割合である文字割合に基づいて、前記各文字候補が文字画像であるか否かの判定を行うための前記閾値を変更して、文字画像でないと判定された文字候補の判定を再度行う請求項２または３記載の画像処理装置である。
【００１１】
請求項５に係る本発明は、前記画像特徴量算出手段が、前記文字候補中の線分の太さである線幅の均一性に関する値を前記画像特徴量に含めて算出する請求項２から４のいずれか１項記載の画像処理装置である。
【００１２】
請求項６に係る本発明は、前記画像特徴量算出手段が、前記文字候補に対して８近傍距離変換を行って得られた距離変換画像に基づいて、線幅の均一性に関する値を画像特徴量として算出する請求項５記載の画像処理装置である。
【００１３】
［プログラム］
請求項７に係る本発明は、画像データから文字画像であるか否かを判別すべき複数の画素である文字候補を抽出するステップと、
抽出された文字候補毎に、当該文字候補が文字画像であるか否かを判定するための画像特徴量を算出するステップと、
算出された前記画像特徴量に基づいて、前記各文字候補が文字画像である度合いを示す第１の文字らしさ度を算出するステップと、
隣接するまたは近傍の他の文字候補との間の前記画像特徴量の差である特徴量差を算出するステップと、
前記第１の文字らしさ度および前記特徴量差とに基づいて、前記各文字候補が文字画像である度合いを示す第２の文字らしさ度を算出するステップと、
前記第２の文字らしさ度と予め設定された閾値とを比較することにより、前記各文字候補が文字画像であるか否かの判定を行うステップとをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１４】
請求項１に係る本発明によれば、文字候補毎の特徴量に基づいて文字／非文字の判定を行う場合と比較して、文字／非文字判定の判定精度を向上させることができる画像処理装置を提供することができる。
【００１５】
請求項２に係る本発明によれば、文字候補毎の特徴量に基づいて文字／非文字の判定を行う場合と比較して、文字／非文字判定の判定精度を向上させることができる画像処理装置を提供することができる。
【００１６】
請求項３に係る本発明によれば、画像特徴量が他の文字画像とは異なる特定の文字画像を文字画像であると判定することができる画像処理装置を提供することができる。
【００１７】
請求項４に係る本発明によれば、文字潰れ等の理由により画像特徴量が他の文字画像とは異なってしまった文字画像についても文字画像であると判定することができる画像処理装置を提供することができる。
【００１８】
請求項５に係る本発明によれば、文字候補の線幅を画像特徴量として用いない場合と比較して、文字候補が文字であるか否かを高精度で判定することができる画像処理装置を提供することができる。
【００１９】
請求項６に係る本発明によれば、日本語のように線分の交点が多い文字の文字画像を含む画像データに対しても、８近傍距離変換画像を用いない場合と比較して、文字候補が文字であるか否かを高精度で判定することができる画像処理装置を提供することができる。
【００２０】
請求項７に係る本発明によれば、文字候補毎の特徴量に基づいて文字／非文字の判定を行う場合と比較して、文字／非文字判定の判定精度を向上させることができるプログラムを提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態の画像処理システムの構成を示すシステム図である。
【図２】本発明の一実施形態における画像処理サーバ２０のハードウェア構成を示すブロック図である。
【図３】本発明の一実施形態における画像処理サーバ２０の機能構成を示すブロック図である。
【図４】本発明の一実施形態の画像処理サーバ２０の動作を示すフローチャートである。
【図５】図４中のステップＳ１０８の詳細を説明するためのフローチャートである。
【図６】図５中のステップＳ２０４の詳細を説明するためのフローチャートである。
【図７】文字／非文字の判定を行う画像例を示す図である。
【図８】図７に示す画像から行候補、文字候補を抽出した様子を説明するための図である。
【図９】図８に示した画像に基づいて第１の文字らしさ度Ｍ１を算出した一例を説明するための図である。
【図１０】第１の文字らしさ度Ｍ１を算出するための計算例を説明するための図である。
【図１１】図８に示した画像に基づいて第２の文字らしさ度Ｍ２を算出した一例を説明するための図である。
【図１２】文字／非文字判定部３８が閾値αの再設定を行うための閾値テーブの一例を示す図である。
【図１３】文字／非文字の再判定処理が行われることにより文字／非文字の判定結果が変更されて行く様子を説明するための図である。
【図１４】文字／非文字判定結果が変更される様子を説明するための図である。
【図１５】文字画像であると判定された文字候補、非文字画像であると判定された文字候補が切り分けられる様子を説明するための図である。
【図１６】４近傍距離変換と８近傍距離変換について説明するために用いる２値画像例を示す図である。
【図１７】図１６に示す２値画像に対して４近傍距離変換を行って得られた４近傍距離変換画像を示す図である。
【図１８】距離変換画像に対して行う距離値の伝播処理を説明するための図である。
【図１９】図１７の４近傍距離変換画像に対して距離値の伝播処理を行うことにより得られるストローク幅画像を示す図である。
【図２０】図１６に示す２値画像に対して８近傍距離変換を行って得られた８近傍距離変換画像を示す図である。
【図２１】図２０の８近傍距離変換画像に対して距離値の伝播処理を行うことにより得られるストローク幅画像を示す図である。
【発明を実施するための形態】
【００２２】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００２３】
図１は本発明の一実施形態の画像処理システムの構成を示すシステム図である。
【００２４】
本発明の一実施形態の画像形成システムは、図１に示されるように、ネットワーク３０により相互に接続された画像形成装置１０、画像処理サーバ２０および端末装置４０により構成される。端末装置４０は、印刷データを生成して、ネットワーク３０経由にて生成した印刷データを画像形成装置１０に対して送信して印刷処理を実行させる。画像形成装置１０は、端末装置２０から送信された印刷データを受け付けて、印刷データに応じた画像を用紙上に出力する。なお、画像形成装置１０は、印刷（プリント）機能、スキャン機能、複写（コピー）機能、ファクシミリ機能等の複数の機能を有するいわゆる複合機と呼ばれる装置である。
【００２５】
また、画像処理サーバ２０は、文字抽出機能、文字認識処理機能および自動翻訳処理機能を備えており、端末装置４０や画像形成装置１０から送信されてきた画像データに対して文字抽出、文字認識を行い、文字認識の結果得られた文字データに対して指定された言語への翻訳を行って送信元の装置に返送する処理を実行する機能を備えている。
【００２６】
このような構成となっていることにより、本実施形態における画像形成装置１０により日本語の文書をスキャンして画像データに変換して、その画像データを画像処理サーバ２０に送信することにより、画像データ中の日本語を英語に変換した画像データを得ることが可能となる。
【００２７】
また、端末装置４０から画像データを画像処理サーバ２０に送信して、画像データ中の日本語を英語に変換した画像データを得ることも可能となる。
【００２８】
このような本実施形態の画像処理システムでは、画像処理サーバ２０において、翻訳精度を向上させるためには、画像データ中から文字画像のみを正しく抽出する必要がある。これは文字画像のみを正確に抽出できなければ文字画像に対して文字認識処理を行って得られた文字データ中に誤った文字データが含まれると、翻訳処理を行っても翻訳結果が原文の意味から大きくはずれたものとなる可能性があるからである。
【００２９】
次に、本実施形態の画像形成システムにおける画像処理サーバ２０のハードウェア構成を図２に示す。
【００３０】
画像処理サーバ２０は、図２に示されるように、ＣＰＵ２１、メモリ２２、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）等の記憶装置２３、ネットワーク３０を介して外部の装置等との間でデータの送信及び受信を行う通信インタフェース（ＩＦ）２４を有する。これらの構成要素は、制御バス２５を介して互いに接続されている。
【００３１】
ＣＰＵ２１は、メモリ２２または記憶装置２３に格納された制御プログラムに基づいて所定の処理を実行して、画像処理サーバ２０の動作を制御する。なお、本実施形態では、ＣＰＵ２１は、メモリ２２または記憶装置２３内に格納された制御プログラムを読み出して実行するものとして説明したが、当該プログラムをＣＤ−ＲＯＭ等の記憶媒体に格納してＣＰＵ２１に提供することも可能である。
【００３２】
図３は、上記の制御プログラムが実行されることにより実現される画像処理サーバ２０の機能構成を示すブロック図である。
【００３３】
本実施形態の画像処理サーバ２０は、図３に示されるように、文字候補画素判別部３１と、行／列候補抽出部３２と、文字候補抽出部３３と、画像特徴量算出部３４と、第１の文字らしさ度算出部３５と、特徴量差算出部３６と、第２の文字らしさ度算出部３７と、文字／非文字判定部３８と、文字認識処理部３９とを備えている。
【００３４】
一般的に、意味のある文書は、多くの場合に複数の文字により構成されており、隣接するまたは近傍の文字どうしの特徴は類似している。そのため、本実施形態の画像処理サーバ２０では、線幅や縦横サイズ等の文字候補の画像そのものの特徴だけでではなく隣接するまたは近傍の他の文字候補との画像特徴が類似しているか否かを用いて、その文字候補の画像が文字画像であるのか非文字画像であるのかを判定する。
【００３５】
文字候補画素判別部３１は、入力画像データを２値画像に変換した後に、この２値画像データから文字画像を構成していそうな画素とそれ以外の画素とを判別する。
【００３６】
行／列候補抽出部３２は、文字候補画素判別部３１により抽出された文字画像を構成していそうな画素中における文字候補画素の並びを検出することにより、行または列候補領域を抽出する。具体的には、行／列候補抽出部３２は、投影分布を使用した手法により文字画像を構成していそうな画素から行または列候補領域を抽出する。
【００３７】
文字候補抽出部３３は、行／列候補抽出部３２により抽出された行または列候補領域に含まれる画素から、文字画像であるか否かを判別すべき複数の画素を文字候補として抽出する。具体的には、文字候補抽出部３３も、投影分布を使用した手法により文字候補の抽出を行う。
【００３８】
画像特徴量算出部３４は、文字候補抽出部３３により抽出された文字候補毎に、この文字候補が文字画像であるか否かを判定するための画像特徴量を算出する。
【００３９】
具体的には、画像特徴量算出部３４は、文字候補領域の縦横比や、文字候補中の線分の太さである線幅の均一性に関する値（例えば、線幅の分散／線幅平均等の値）を画像特徴量に含めて算出する。この画像特徴量の具体的な種類については後述する。
【００４０】
なお、画像特徴量算出部３４は、文字候補抽出部３３により抽出された文字候補に対して４近傍距離変換や８近傍距離変換を行って得られた距離変換画像に基づいて、線幅の均一性に関する値を画像特徴量として算出する。この近傍距離変換や８近傍距離変換を行って得られた距離変換画像の詳細についても後述する。
【００４１】
第１の文字らしさ度算出部３５は、画像特徴量算出部３４により算出された画像特徴量に基づいて、各文字候補が文字画像である度合いを示す第１の文字らしさ度Ｍ１を算出する。本実施形態では、この第１の文字らしさ度Ｍ１が小さいほど、その文字候補は文字画像である可能性が高いことを示すものとする。
【００４２】
特徴量差算出部３６は、隣接するまたは近傍の他の文字候補との間の画像特徴量の差である特徴量差を算出する。
【００４３】
第２の文字らしさ度算出部３７は、第１の文字らしさ度算出部３５により算出された第１の文字らしさ度Ｍ１および特徴量差算出部３６により算出された特徴量差とに基づいて、各文字候補が文字画像である度合いを示す第２の文字らしさ度Ｍ２を算出する。
【００４４】
文字／非文字判定部３８は、第２の文字らしさ度算出部３７により算出された第２の文字らしさ度Ｍ２と予め設定された閾値αとを比較することにより、各文字候補が文字画像であるか否かの文字／非文字判定を行う。
【００４５】
なお、文字／非文字判定部３８は、文字画像であると判定した文字候補に隣接し、予め設定された条件に合致する特定の文字候補については、第２の文字らしさ度Ｍ２の値に関係なくその文字候補を文字画像であると判定する。例えば、「、」、「。」のような句読点や、上付き文字、下付き文字、長音記号の「ー」等のような特定の文字については、画像特徴量が他の文字画像とは大きく異なるため、文字／非文字判定部３８は、文字画像であると判定された他の文字候補に隣接し、特定の文字毎に設定された条件に合致すれば文字画像であると判定するようにする。
【００４６】
また、文字／非文字判定部３８は、行または列内の文字候補の数に対する、文字画像であると判定された文字候補の数の割合である文字割合に基づいて、閾値αを変更して、文字画像でないと判定された文字候補の判定を再度行う。
【００４７】
文字認識処理部３９は、文字／非文字判定部３８により文字画像であると判定された文字候補の画素に対して文字認識処理を行って、各文字候補に対して文字コードを付与する。
【００４８】
なお、図３では示されていないが、本実施形態の画像処理サーバ２０において自動翻訳処理を行う場合には、文字認識処理部３９により得られた文字コードデータに対して翻訳処理を行って、指定された言語への翻訳を行う構成が画像処理サーバ２０内に設けられる。
【００４９】
次に、本実施形態の画像処理サーバ２０の動作について図面を参照して詳細に説明する。
【００５０】
図４〜図６は、本発明の一実施形態の画像処理サーバ２０の動作を説明するためのフローチャートである。なお、以下の説明では、図７に示すような画像例を用いて文字／非文字の判定を行う場合について説明する。
【００５１】
先ず、本実施形態の画像処理サーバ２０では、図４に示されるように、文字候補画素判別部３１は、入力画像データを２値画像に変換した後に、この２値画像データから文字画像を構成していそうな画素とそれ以外の画素とを判別する（ステップＳ１０１）。
【００５２】
そして、行／列候補抽出部３２は、文字候補画素判別部３１により抽出された文字画像を構成していそうな画素中における文字候補画素の並びを検出することにより、行または列の候補領域を抽出する（ステップＳ１０２）。ここでは、行／列候補抽出部３２は、図８に示すような画像を行候補領域として抽出したものとして説明する。
【００５３】
そして、文字候補抽出部３３は、行／列候補抽出部３２により抽出された行候補領域に含まれる画素から、文字画像であるか否かを判別すべき複数の画素を文字候補として抽出する（ステップＳ１０３）。図８に示した例では、領域１〜７という７つの画素領域が文字候補として抽出されている。
【００５４】
次に、画像特徴量算出部３４は、文字候補抽出部３３により抽出された文字候補（領域１〜領域７）毎に、この文字候補が文字画像であるか否かを判定するための画像特徴量を算出する（ステップＳ１０４）。
【００５５】
ここでは、画像特徴量算出部３４は、文字候補中の線幅の平均、線幅の分散／線幅平均、縦横サイズ比、文字高さ／線幅平均の４つの値を画像特徴量として算出する場合を用いて説明する。
【００５６】
そして、第１の文字らしさ度算出部３５は、画像特徴量算出部３４により算出された４種類の画像特徴量に基づいて、各文字候補が文字画像である度合いを示す第１の文字らしさ度Ｍ１を算出する（ステップＳ１０５）。
【００５７】
図８に示した画像例に基づいて、画像特徴量算出部３４が算出した画像特徴量および第１の文字らしさ度算出部３５が算出した第１の文字らしさ度Ｍ１の一例を図９のテーブルに示す。この図９では、線幅の単位は画素（ピクセル）により表すものとして説明する。
【００５８】
ここでは、第１の文字らしさ度算出部３５が、文字候補中の線幅の平均、線幅の分散／線幅平均、縦横サイズ比、文字高さ／線幅平均という４つの値の画像特徴量から第１の文字らしさ度Ｍ１を算出する具体的な計算方法について説明する。
【００５９】
本実施形態の第１の文字らしさ度算出部３５は、一例として、上記の４種類の画像特徴量を変数とする４次元空間における基準となる中心からのマハラノビス距離を用いて第１の文字らしさ度Ｍ１を算出する場合を用いて説明する。
【００６０】
具体的には、図１０（Ａ）に示すように、線幅の平均、線幅の分散／線幅平均、縦横サイズ比、文字高さ／線幅平均をそれぞれ、ｘ0、ｘ1、ｘ2、ｘ3という変数とし、多くの文字画像における上記の値の平均値をμ（μ0、μ1、μ2、μ3）、共分散行列をΣとして説明する。
【００６１】
すると、マハラノビス距離ＤM（ｘ）は、図１０（Ｂ）に示すような式（１）により算出される。ここで、（ｘ−μ）Tは、（ｘ−μ）の転置行列を示し、Σ-1は、Σの逆行列を示す。
【００６２】
そして、本実施形態では、第１の文字らしさ度算出部３５は、図１０（Ｃ）に示すような式（２）により、第１の文字らしさ度Ｍ１を算出する。
【００６３】
このように、本実施形態では、上記で説明したマハラノビス距離ＤM（ｘ）の２乗値の対数値を第１の文字らしさ度Ｍ１として用いている。しかし、対数計算では真数が小さくなると得られる対数値が非常に小さくなるため、マハラノビス距離ＤM（ｘ）の値が所定値以下の場合には、第１の文字らしさ度Ｍ１を一律−５．００として算出するようにしている。
【００６４】
そして、図４のフローチャートに戻り、特徴量差算出部３６は、領域１〜７の各文字候補に対して、隣接する他の文字候補との間の画像特徴量の差である特徴量差をそれぞれ算出する（ステップＳ１０６）。
【００６５】
そして、第２の文字らしさ度算出部３７は、第１の文字らしさ度算出部３５により算出された第１の文字らしさ度Ｍ１および特徴量差算出部３６により算出された特徴量差とに基づいて、各文字候補が文字画像である度合いを示す第２の文字らしさ度Ｍ２を算出する（ステップＳ１０７）。
【００６６】
図８に示した画像例に基づいて、特徴量差算出部３６が算出した特徴量差および第２の文字らしさ度算出部３７が算出した第２の文字らしさ度Ｍ２の一例を図１１のテーブルに示す。
【００６７】
ここでは、特徴量差算出部３６は、左右の文字候補との線幅の比（左）・（右）、重心差／文字高さ（左）・（右）を特徴量差として算出する場合を用いて説明する。
【００６８】
例えば、特徴量差算出部３６は、図９のテーブルにおいて示した領域１の線幅平均３．３８（ピクセル）と領域２の線幅平均２．７９（ピクセル）の比１．２１（≒３．３８／２．７９）を領域１における線幅の比（右）の値として算出する。
【００６９】
そして、第２の文字らしさ度算出部３７は、第１の文字らしさ度Ｍ１、線幅の比（左）、重心差／文字高さ（左）という３つの値から第２の文字らしさ度Ｍ２（左）を算出する。また、第２の文字らしさ度算出部３７は、第１の文字らしさ度Ｍ１、線幅の比（右）、重心差／文字高さ（右）という３つの値から第２の文字らしさ度Ｍ２（右）を算出する。
【００７０】
なお、第２の文字らしさ度算出部３７においても、上記で説明した第１の文字らしさ度算出部３５において説明したのと同様に、マハラノビス距離を用いて第２の文字らしさ度Ｍ２を算出するものとする。
【００７１】
ただし、第２の文字らしさ度算出部３７では、第１の文字らしさ度Ｍ１、線幅の比（左）又は（右）、重心差／文字高さ（左）又は（右）という３つの値から第２の文字らしさ度Ｍ２（左）又は（右）を算出するため、この３種類の値を変数とする３次元空間における基準となる点からのマハラノビス距離を計算して第２の文字らしさ度Ｍ２を算出することになる。
【００７２】
なお、領域１、領域７の文字候補については、それぞれ行候補内における左端、右端に位置しているため、左または右の文字候補との間における第２の文字らしさ度Ｍ２は算出されない。
【００７３】
次に、文字／非文字判定部３８は、第２の文字らしさ度算出部３７により算出された第２の文字らしさ度Ｍ２と予め設定された閾値αとを比較することにより、各文字候補が文字画像であるか否かの文字／非文字判定を行う（ステップＳ１０８）。
【００７４】
ここで、このＳ１０８における文字／非文字判定処理の詳細を図５のフローチャートを参照して説明する。ここでは閾値αの初期値として１．０が設定されているものとして説明する。
【００７５】
先ず、文字／非文字判定部３８は、領域１〜領域７の文字候補に対して、算出された第２の文字らしさ度Ｍ２（左）、第２の文字らしさ度Ｍ２（右）のいずれかが閾値αより小さいか否かの判定を行う（ステップＳ２０１）。
【００７６】
そして、算出された第２の文字らしさ度Ｍ２（左）、第２の文字らしさ度Ｍ２（右）のいずれかが閾値αより小さい場合（ステップＳ２０１においてｙｅｓ）、文字／非文字判定部３８は、その文字候補は文字画像であると判定する（ステップＳ２０２）。
【００７７】
また、算出された第２の文字らしさ度Ｍ２（左）、第２の文字らしさ度Ｍ２（右）のいずれもが閾値αより小さくない場合（ステップＳ２０１においてｎｏ）、文字／非文字判定部３８は、その文字候補は文字画像ではないと判定する（ステップＳ２０３）。
【００７８】
ここでは、閾値αは１．０に設定されているため、図１１を参照すると分かるように、文字／非文字判定部３８は、領域１、領域７の文字候補は非文字画像、領域２〜６の文字候補は文字画像であると判定する。
【００７９】
次に、文字／非文字判定部３８は、行／列内の文字割合を算出して、この行／列内の文字割合に基づいて文字／非文字の再判定処理を行う（ステップＳ２０４）。
【００８０】
ここで、このＳ２０４における行／列内の文字割合に基づく再判定処理の詳細を図６のフローチャートを参照して説明する。なお、ここでは図８に示したような行候補に基づいて文字／非文字判定を行っているため、以下の説明では、行内の文字割合に基づいて文字／非文字の再判定処理を行う場合について説明する。
【００８１】
先ず、文字／非文字判定部３８は、行内の文字割合を算出して、その値が０．５（５０％）以上であるか否かの判定を行う（ステップＳ３０１）。
【００８２】
そして、行内の文字割合が０．５以上でない場合（ステップＳ３０１においてｎｏ）、文字／非文字判定部３８は、再判定処理を終了する。
【００８３】
行内の文字割合が０．５以上である場合（ステップＳ３０１においてｙｅｓ）、文字／非文字判定部３８は、行内の文字割合に基づいて閾値αの再設定を行う（ステップＳ３０２）。例えば、文字／非文字判定部３８は、図１２に示すような閾値テーブルを用いて閾値αの再設定を行う。この図１２では、例えば、行内の文字割合が０．５以上０．６未満の場合には閾値αを１．０５とし、行内の文字割合が０．６以上０．７未満の場合には閾値αを１．１０とするような設定になっている。
【００８４】
そして、文字／非文字判定部３８は、設定された閾値αを用いて文字／非文字判定を再度行い（ステップＳ３０３）、閾値αの再設定前は非文字画像と判定されていたが、閾値αの再設定後に文字画像であると判定された文字候補があるか否かを判定する（ステップＳ３０４）。
【００８５】
新たに文字画像であると判定された文字候補が存在しない場合（ステップＳ３０４においてｎｏ）、文字／非文字判定部３８は、再判定処理を終了する。
【００８６】
新たに文字画像であると判定された文字候補が存在する場合（ステップＳ３０４においてｙｅｓ）、文字／非文字判定部３８は、行内の文字割合を更新し（ステップＳ３０５）、行内の文字割合が１．０（１００％）でなければステップＳ３０２の処理に戻りステップＳ３０２〜Ｓ３０５の処理を繰り返す。
【００８７】
なお、ステップＳ３０６において、行内の文字割合が１．０（１００％）であると判定した場合、文字／非文字判定部３８は、再判定処理を終了する。
【００８８】
このような文字／非文字の再判定処理が行われることにより文字／非文字の判定結果が変更されて行く様子について図１３を参照して説明する。
【００８９】
図１３では閾値αが１．０の場合、領域１、領域７の文字候補が非文字画像であると判定され、その他の領域の文字候補が文字画像であると判定されている（図１３の（１））。
【００９０】
しかし、行内の文字割合が０．７１４（≒５／７）であることにより、閾値αが１．０から１．１５に変更されたことにより、領域１の文字候補の判定結果が非文字画像から文字画像に変更されていることが分かる（図１３の（２））。
【００９１】
そして、行内の文字割合が０．８５７（≒６／７）となったことにより、閾値αが１．１５から１．２に変更されるが、領域７の文字候補についての判定結果は非文字画像のままで変更されないため、文字／非文字判定処理はこのまま終了することになる（図１３の（３））。
【００９２】
上記のような判定が行われることにより、図１４に示すように、本来は文字画像であると判定されるべき「東」という文字画像について、最初は非文字画像であるとの判定結果（図１４（Ａ））が変更されて最終的には文字画像であるとの判定結果（図１４（Ｂ））になっていることが分かる。つまり、文字候補自体の特徴量に基づく第１の文字らしさを用いて、当該文字候補が文字画像であるか否かを判定するのみならず、当該文字候補自身に隣接するまたは近傍の文字候補との間の相対的な文字らしさである第２の文字らしさを考慮することで、第１の文字らしさのみで判定した場合では本来文字画像であるにもかかわらず文字画像でないと判定された文字候補をとりこぼすことなく正確に判定することができる。
【００９３】
そのため、このような判定結果により文字候補を切り分けることにより、図１５に示すように、「東京都江東区」という画像については文字画像として判別され、領域７の文字では無い画像については非文字画像であると判別されることになる。
【００９４】
次に、上記で説明した画像特徴量算出部３４が文字候補中の線幅の平均を算出する際の具体的な処理を説明する。
【００９５】
画像特徴量算出部３４は、線幅の平均を算出しようとする画像に対して、いわゆる距離画像を作成して線幅を算出する。ここで距離画像とは、２値画像の各画素の画素値を、その画素から最も近い０の値の画素までの距離に置き換えた画像のことである。なお、ここでの距離とは、その画素から隣接する画素をたどって最も近い０の値の画像までたどり着く画素数のことである。そして、元の画像をこの距離画像に変換することは一般的に距離変換と呼ばれている。
【００９６】
なお、距離変換には、対象画素からの距離を縦横の周囲４画素方向に算出する４近傍距離変換と、周囲８画素方向に算出する８近傍距離変換がある。
【００９７】
以下の説明では、この４近傍距離変換と８近傍距離変換について順次説明する。この説明を行うために、図１６（Ａ）に示すような２値画像例に対して距離変換画像を作成する場合について説明する。この図１６（Ａ）に示す画像は、図１６（Ｂ）に示すようなデータ構成となっている。
【００９８】
そして、この図１６（Ｂ）に示した画像データに対して、４近傍距離変換を行うことにより得られた４近傍距離変換画像を図１７に示す。４近傍距離変換では、上下または左右の４方向でしか距離を算出しないため、十字の画像の中心の画素については距離が「６」となっているのが分かる。また、４近傍距離画像では、線の交点において他の場所よりも距離値が大きくなっているのが分かる。
【００９９】
次に、得られた距離画像の各画素において、距離値が大きい画素から距離値が小さい画素に対して距離値を伝播させてストローク幅画像を生成する。このストローク幅とは、画像の線分の中心から０画素までの距離を表す量であり、本実施形態では、このストローク幅を線幅として使用している。
【０１００】
この距離値の伝播処理の具体例について図１８を参照して説明する。例えば、図１８に示すように距離値が「６」の画素の周囲に距離値が「４」、「５」の画素がある場合、距離値が「６」の画素から距離値が「４」、「５」の画素に対して距離値「６」を伝播させる処理が行われる。ただし、このように距離値を伝播させる場合でも、元の距離値が同じ画素間では、距離値の伝播は行われない。
【０１０１】
このような距離値の伝播処理を図１７の４近傍距離変換画像に対して行うことにより、図１９に示すようなストローク幅画像を得ることができる。この図１９を参照すると分かるように、４近傍距離画像では、線の交点においてストローク幅が「６」となっており、交点の場所以外ではストローク幅が「３」となっている。そして、このストローク幅画像の各画素の画素値「３」、「６」の合計を求め、画素数で除することにより線幅の平均値を算出することができる。
【０１０２】
つまり、線幅の平均値＝（３×画素値が「３」の画素数＋６×画素値が「６」の画素数）／線を構成する全ての画素数という式により線幅の平均値が算出される。
【０１０３】
同様にして、図１６（Ｂ）に示した画像データに対して、８近傍距離変換を行うことにより得られた８近傍距離変換画像を図２０に示す。８近傍距離変換では、上下または左右方向だけでなく斜め方向にも距離を算出するため、線の交点においても距離値が大きくならずに「３」となっているのが分かる。
【０１０４】
そして、上記で説明した距離値の伝播処理を図２０の８近傍距離変換画像に対して行うことにより、図２１に示すようなストローク幅画像を得ることができる。この図２１を参照すると分かるように、８近傍距離画像では、全ての画素においてストローク幅が「３」となっているのが分かる。
【０１０５】
４近傍距離変換は８近傍距離変換よりも計算量が少なくてすみ高速に計算が可能であるため、一般的に良く使用される距離変換である。しかし、４近傍距離変換画像を使用して線幅を算出すると、線の交点において距離値が大きくなってしまうという現象が発生する。このような理由により、４近傍距離変換画像を用いて線幅の算出を行うと、線幅の均一性としては悪い値として算出してしまうという問題が発生する。特に漢字のように線の交わりが多い文字においては、文字全体の線幅の均一性を大幅に低く算出してしまうこととなる。
【０１０６】
そのため、このような問題を回避するためには、画像特徴量算出部３４は、文字候補抽出部３３により抽出された文字候補に対して８近傍距離変換を行って得られた距離変換画像に基づいて、線幅の均一性に関する値を画像特徴量として算出することが好ましい。
【０１０７】
８近傍距離変換画像では、上述したように線の交点においても線幅の値が大きくなることが防止されるので、線幅の均一性を低下させて算出してしまうようなことが防がれる。
【０１０８】
なお、本実施形態では、特徴量空間におけるマハラノビス距離を算出することにより第１および第２の文字らしさ度Ｍ１、Ｍ２を算出する場合を用いて説明しているが、本発明はこれに限定されるものではなく、他の計算方法により第１および第２の文字らしさ度Ｍ１、Ｍ２を算出するような場合でも同様に本発明を適用することができるものである。
【０１０９】
また、本実施形態では、横書きの文書画像から文字候補を抽出して文字／非文字判定を行う場合を用いて説明したが、縦書きの文書画像から文字候補を抽出して文字／非文字判定を行う場合でも本発明は同様に適用可能である。このような場合には、文字画像を構成していそうな画素中における文字候補画素から列候補を抽出し、この列候補中に含まれる文字候補の上下に隣接する文字候補との間の特徴量差を算出して文字／非文字判定を行うようにすれば良い。
【０１１０】
さらに、本実施形態では、特徴量差算出部３６は、隣接する左右の文字候補との間の画像特徴量の差である特徴量差を算出するものとして説明しているが、本発明はこのような場合に限定されるものではない。２文字離れた左右の文字候補や、３文字離れた左右の文字候補等の近傍の他の文字候補との間の画像特徴量の差を特徴量差として算出するようにすれば同様の処理を行うことが可能である。このようにすれば、隣接する文字がたまたま標準的な文字の特性を備えていない記号や句読点のような文字の場合でも、隣接する文字が標準的な文字と同様の精度で文字／非文字の判定を行うことが可能となる。
【符号の説明】
【０１１１】
１０    画像形成装置
２０    画像処理サーバ
２１    ＣＰＵ
２２    メモリ
２３    記憶装置
２４    通信インタフェース（ＩＦ）
２５    制御バス
３０    ネットワーク
３１    文字候補画素判別部
３２    行／列候補抽出部
３３    文字候補抽出部
３４    画像特徴量算出部
３５    第１の文字らしさ度算出部
３６    特徴量差算出部
３７    第２の文字らしさ度算出部
３８    文字／非文字判定部
３９    文字認識処理部
４０    端末装置
【図１】
0006372687.tif 000002
【図２】
0006372687.tif 000003
【図３】
0006372687.tif 000004
【図４】
0006372687.tif 000005
【図５】
0006372687.tif 000006
【図６】
0006372687.tif 000007
【図７】
0006372687.tif 000008
【図８】
0006372687.tif 000009
【図９】
0006372687.tif 000010
【図１０】
0006372687.tif 000011
【図１１】
0006372687.tif 000012
【図１２】
0006372687.tif 000013
【図１３】
0006372687.tif 000014
【図１４】
0006372687.tif 000015
【図１５】
0006372687.tif 000016
【図１６】
0006372687.tif 000017
【図１７】
0006372687.tif 000018
【図１８】
0006372687.tif 000019
【図１９】
0006372687.tif 000020
【図２０】
0006372687.tif 000021
【図２１】
0006372687.tif 000022