(57)【要約】【課題】文字画像についての文字色等の文字属性と、文字認識処理により得られた文字コードとの相関を、速い処理速度で高精度に得ることができる画像処理装置等を提供する。【解決手段】文字画像を含む画像データから文字画像の文字属性と、文字属性が同じ文字画像の領域を連結した１個または複数個の画像領域５１、５２と、文字画素情報とが、文字画像情報生成手段２１により抽出される。画像データを文字認識処理して、文字コードと、文字毎の個別領域６１と、複数の文字を組み合わせた文字グループの領域であるグループ領域４１〜４３とが、文字コード情報生成手段２２により抽出される。文字毎の個別領域またはこの個別領域を複数組み合わせた領域を検出範囲とし、該検出範囲と１個または複数個の画像領域との重なり数が、各領域の座標を演算することにより判定され、重なり数に応じて、検出範囲に含まれる文字の文字コードに対し文字属性が割り当てられる。【選択図】  図３
2016143093.tif 000002
【特許請求の範囲】
【請求項１】
文字画像を含む画像データから前記文字画像の文字属性と、文字属性が同じ文字画像の領域を連結した１個または複数個の画像領域と、文字画素情報とを抽出する文字画像情報生成手段と、
前記画像データを文字認識処理して、各文字の文字コードと、各文字毎の個別領域と、複数の文字を組み合わせた文字グループの領域であるグループ領域とを抽出する文字コード情報生成手段と、
前記文字コード情報生成手段により抽出された文字毎の個別領域またはこの個別領域を複数組み合わせた領域を検出範囲とし、該検出範囲と、前記文字画像情報生成手段により抽出された１個または複数個の前記画像領域との重なり数を、各領域の座標を演算することにより判定する判定手段と、
前記判定手段により判定された重なり数に基づいて、前記検出範囲に含まれる文字の文字コードに対し、前記文字画像情報生成手段により抽出された前記文字属性を割り当てる割り当て手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
文字画像を含む画像データから前記文字画像の文字属性と、文字属性が同じ文字画像の領域を連結した１個または複数個の画像領域と、文字画素情報とを抽出する文字画像情報生成手段と、
前記画像データを文字認識処理する外部装置により抽出された文字コードと、各文字毎の個別領域と、複数の文字を組み合わせた文字グループの領域であるグループ領域の情報を受信する受信手段と、
前記受信手段により受信された文字毎の個別領域またはこの個別領域を複数組み合わせた領域を検出範囲とし、該検出範囲と、前記文字画像情報生成手段により抽出された１個または複数個の前記画像領域との重なり数を、各領域の座標を演算することにより判定する判定手段と、
前記判定手段により判定された重なり数に基づいて、前記検出範囲に含まれる文字の文字コードに対し、前記文字画像情報生成手段により抽出された前記文字属性を割り当てる割り当て手段と、
を備えたことを特徴とする画像処理装置。
【請求項３】
前記重なり数が１の場合には、前記割り当て手段は、前記検出範囲に含まれる全ての文字の文字コードに対して、重なっている画像領域の文字属性を割り当て、前記重なり数が２以上の場合には、前記判定手段は検出範囲を縮小して前記重なり数の再判定を行う請求項１または２に記載の画像処理装置。
【請求項４】
前記縮小された検索領域は前記文字毎の個別領域であり、前記判定手段による再判定の結果、前記画像領域との重なり数が１の個別領域については、前記割り当て手段は、重なっている画像領域の文字属性と同じ文字属性を前記個別領域の文字の文字コードに対して割り当て、重なり数が２以上の個別領域については、各個別領域に対応する文字画像の文字画素数を計数し、文字画素数が多い文字属性を前記個別領域の文字の文字コードに対して割り当てる請求項３に記載の画像処理装置。
【請求項５】
前記文字属性は、文字色、フォント情報、文字サイズ、取り消し線及びアンダーラインのうちの少なくとも１つである請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
前記文字画像情報生成手段により抽出された前記画像領域は、文字属性が同じ文字画像の外接矩形の領域である請求項１〜５のいずれかに記載の画像処理装置。
【請求項７】
前記文字画像情報生成手段により抽出された前記文字属性が、全ての文字画像について同一の場合には、前記判定手段による重なり数の判定を行うことなく、前記割り当て手段は前記全ての文字の文字コードに対して前記抽出された同一の文字属性を割り当てる請求項１〜６のいずれかに記載の画像処理装置。
【請求項８】
原稿の画像を読み取って画像データに変換する読み取り手段を備え、
前記画像データは前記読み取り手段により原稿の画像が読み取られることにより生成されたものである請求項１〜７のいずれかに記載の画像処理装置。
【請求項９】
文字画像を含む画像データから前記文字画像の文字属性と、文字属性が同じ文字画像の領域を連結した１個または複数個の画像領域と、文字画素情報とを抽出する文字画像情報生成ステップと、
前記画像データを文字認識処理して、各文字の文字コードと、各文字毎の個別領域と、複数の文字を組み合わせた文字グループの領域であるグループ領域とを抽出する文字コード情報生成ステップと、
前記文字コード情報生成ステップにより抽出された文字毎の個別領域またはこの個別領域を複数組み合わせた領域を検出範囲とし、該検出範囲と、前記文字画像情報生成ステップにより抽出された前記１個または複数個の画像領域との重なり数を、各領域の座標を演算することにより判定する判定ステップと、
前記判定ステップにより判定された重なり数に基づいて、前記検出範囲に含まれる文字の文字コードに対し、前記文字画像情報生成ステップにより抽出された前記文字属性を割り当てる割り当てステップと、
を備えたことを特徴とする画像処理装置における画像処理方法。
【請求項１０】
文字画像を含む画像データから前記文字画像の文字属性と、文字属性が同じ文字画像の領域を連結した１個または複数個の画像領域と、文字画素情報とを抽出する文字画像情報生成ステップと、
前記画像データを文字認識処理する外部装置により抽出された各文字の文字コードと、各文字毎の個別領域と、複数の文字を組み合わせた文字グループの領域であるグループ領域の情報を受信する受信ステップと、
前記受信ステップにより受信された文字毎の個別領域またはこの個別領域を複数組み合わせた領域を検出範囲とし、該検出範囲と、前記文字画像情報生成ステップにより抽出された１個または複数個の前記画像領域との重なり数を、各領域の座標を演算することにより判定する判定ステップと、
前記判定ステップにより判定された重なり数に基づいて、前記検出範囲に含まれる文字の文字コードに対し、前記文字画像情報生成ステップにより抽出された前記文字属性を割り当てる割り当てステップと、
を備えたことを特徴とする画像処理装置における画像処理方法。
【請求項１１】
文字画像を含む画像データから前記文字画像の文字属性と、文字属性が同じ文字画像の領域を連結した１個または複数個の画像領域と、文字画素情報とを抽出する文字画像情報生成ステップと、
前記画像データを文字認識処理して、文字コードと、各文字毎の個別領域と、複数の文字を組み合わせた文字グループの領域であるグループ領域とを抽出する文字コード情報生成ステップと、
前記文字コード情報生成ステップにより抽出された文字毎の個別領域またはこの個別領域を複数組み合わせた領域を検出範囲とし、該検出範囲と、前記文字画像情報生成ステップにより抽出された１個または複数個の前記画像領域との重なり数を、各領域の座標を演算することにより判定する判定ステップと、
前記判定ステップにより判定された重なり数に基づいて、前記検出範囲に含まれる文字の文字コードに対し、前記文字画像情報生成ステップにより抽出された前記文字属性を割り当てる割り当てステップと、
を画像処理装置のコンピュータに実行させるための画像処理プログラム。
【請求項１２】
文字画像を含む画像データから前記文字画像の文字属性と、文字属性が同じ文字画像の領域を連結した１個または複数個の画像領域と、文字画素情報とを抽出する文字画像情報生成ステップと、
前記画像データを文字認識処理する外部装置により抽出された文字コードと、各文字毎の個別領域と、複数の文字を組み合わせた文字グループの領域であるグループ領域の情報を受信する受信ステップと、
前記受信ステップにより受信された文字毎の個別領域またはこの個別領域を複数組み合わせた領域を検出範囲とし、該検出範囲と、前記文字画像情報生成ステップにより抽出された前記１個または複数個の画像領域との重なり数を、各領域の座標を演算することにより判定する判定ステップと、
前記判定ステップにより判定された重なり数に基づいて、前記検出範囲に含まれる文字の文字コードに対し、前記文字画像情報生成ステップにより抽出された前記文字属性を割り当てる割り当てステップと、
を画像処理装置のコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、プリンタ機能、ファクシミリ機能、スキャン機能等の機能を備えた多機能デジタル画像形成装置であるＭＦＰ（Multi Function Peripherals）等の画像処理装置、同装置における画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
上記のようなＭＦＰでは、近年、スキャンデータの電予化機能として、BMPイメージやPDF形式の他にも、Word形式やExcel形式等のMicrosoft Officeで編集可能なOOXML(Office Open XML)形式に変換する機能が利用されている。OOXML形式では、原稿の文字列から変換したテキストコードをテキストボックス等で表現している。このテキストコードは文字画像を文字認識処理（OCR）することによって得られるが、一般的に、文字認識処理では文字領域の座標とテキストコードが得られるのみであり、文字色等の文字画像の文字属性を得るためには別の画像処理が必要となる。
【０００３】
文字属性を得るために、原稿の文字列を電子化して生成された画像データに対して、はじめに原稿内の文字領域の検出処理を行い、検出した文字領域を解析し文字色、フォント、サイズ等の文字属性を得たのち、検出した文字領域に対して文字認識処理を行うことで、文字コード情報を得るという構成を想定する。この場合、文字属性情報と文字コードは別の処理の出力結果であるため、それぞれの相関はない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−８９０９号公報
【特許文献２】特開２０１０−１２８５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の相関を得るため、上記の特許文献１では、画像データから文字領域を切り出すと同時に文字色を抽出し、得られた文字画像と文字色を関連付けて保持することが記載されている。この場合、文字色毎に文字認識処理を行えば、文字コード情報と文字属性（文字色）の相関が得られる。
【０００６】
しかし、文字認識処理の回数が多くなるほど時間がかかり全体の処理速度が低下するため、文字画像は１回の文字認識処理でまとめて処理されることが望ましい。この場合、文字色との関連性は破棄されるため、文字色と文字コードとの相関が得られないという課題がある。
【０００７】
また、文字色毎に分割された画像領域は、原稿内の文字画像の同じ色の領域を連結した構成になるため、原稿内に複数の文字色がある場合、領域同士の重なりが発生する。
【０００８】
特許文献２では、文字コード情報と文字色の関連性を座標演算による重なり判定により特定する。しかし、文字色が複数ある場合は、１つの文字コードに複数の文字色の情報が重なる状態が発生するため、１回の重なり判定では相関を特定できないという課題がある。
【０００９】
例えば、図５に示すように、「あいうえおか」という文字列のうち、「あい」と「おか」の文字が赤色、「うえ」の文字が青色の場合、「あい」と「おか」の各文字画像の領域を連結した「あいうえおか」の画像領域５２が赤色の画像領域と判定され、さらに「うえ」の文字画像の画像領域５３が青色の画像領域と判定される。従って、「うえ」の画像領域については赤色の文字属性と青色の文字属性が重複しており、１回の重なり判定ではその文字属性を判断できず、文字コードとの相関を特定できない。
【００１０】
このように従来では、文字画像についての文字色等の文字属性と、文字認識処理により得られた文字コードとの相関を、速い処理速度で高精度に得ることができないという問題があった。
【００１１】
この発明は、このような技術的背景に鑑みてなされたものであって、文字画像についての文字色等の文字属性と、文字認識処理により得られた文字コードとの相関を、速い処理速度で高精度に得ることができる画像処理装置、及び同装置における画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題は、以下の手段によって解決される。
（１）文字画像を含む画像データから前記文字画像の文字属性と、文字属性が同じ文字画像の領域を連結した１個または複数個の画像領域と、文字画素情報とを抽出する文字画像情報生成手段と、前記画像データを文字認識処理して、各文字の文字コードと、各文字毎の個別領域と、複数の文字を組み合わせた文字グループの領域であるグループ領域とを抽出する文字コード情報生成手段と、前記文字コード情報生成手段により抽出された文字毎の個別領域またはこの個別領域を複数組み合わせた領域を検出範囲とし、該検出範囲と、前記文字画像情報生成手段により抽出された１個または複数個の前記画像領域との重なり数を、各領域の座標を演算することにより判定する判定手段と、前記判定手段により判定された重なり数に基づいて、前記検出範囲に含まれる文字の文字コードに対し、前記文字画像情報生成手段により抽出された前記文字属性を割り当てる割り当て手段と、を備えたことを特徴とする画像処理装置。
（２）文字画像を含む画像データから前記文字画像の文字属性と、文字属性が同じ文字画像の領域を連結した１個または複数個の画像領域と、文字画素情報とを抽出する文字画像情報生成手段と、前記画像データを文字認識処理する外部装置により抽出された文字コードと、各文字毎の個別領域と、複数の文字を組み合わせた文字グループの領域であるグループ領域の情報を受信する受信手段と、前記受信手段により受信された文字毎の個別領域またはこの個別領域を複数組み合わせた領域を検出範囲とし、該検出範囲と、前記文字画像情報生成手段により抽出された１個または複数個の前記画像領域との重なり数を、各領域の座標を演算することにより判定する判定手段と、前記判定手段により判定された重なり数に基づいて、前記検出範囲に含まれる文字の文字コードに対し、前記文字画像情報生成手段により抽出された前記文字属性を割り当てる割り当て手段と、を備えたことを特徴とする画像処理装置。
（３）前記重なり数が１の場合には、前記割り当て手段は、前記検出範囲に含まれる全ての文字の文字コードに対して、重なっている画像領域の文字属性を割り当て、前記重なり数が２以上の場合には、前記判定手段は検出範囲を縮小して前記重なり数の再判定を行う前項１または２に記載の画像処理装置。
（４）前記縮小された検索領域は前記文字毎の個別領域であり、前記判定手段による再判定の結果、前記画像領域との重なり数が１の個別領域については、前記割り当て手段は、重なっている画像領域の文字属性と同じ文字属性を前記個別領域の文字の文字コードに対して割り当て、重なり数が２以上の個別領域については、各個別領域に対応する文字画像の文字画素数を計数し、文字画素数が多い文字属性を前記個別領域の文字の文字コードに対して割り当てる前項３に記載の画像処理装置。
（５）前記文字属性は、文字色、フォント情報、文字サイズ、取り消し線及びアンダーラインのうちの少なくとも１つである前項１〜４のいずれかに記載の画像処理装置。
（６）前記文字画像情報生成手段により抽出された前記画像領域は、文字属性が同じ文字画像の外接矩形の領域である前項１〜５のいずれかに記載の画像処理装置。
（７）前記文字画像情報生成手段により抽出された前記文字属性が、全ての文字画像について同一の場合には、前記判定手段による重なり数の判定を行うことなく、前記割り当て手段は前記全ての文字の文字コードに対して前記抽出された同一の文字属性を割り当てる前項１〜６のいずれかに記載の画像処理装置。
（８）原稿の画像を読み取って画像データに変換する読み取り手段を備え、前記画像データは前記読み取り手段により原稿の画像が読み取られることにより生成されたものである前項１〜７のいずれかに記載の画像処理装置。
（９）文字画像を含む画像データから前記文字画像の文字属性と、文字属性が同じ文字画像の領域を連結した１個または複数個の画像領域と、文字画素情報とを抽出する文字画像情報生成ステップと、前記画像データを文字認識処理して、各文字の文字コードと、各文字毎の個別領域と、複数の文字を組み合わせた文字グループの領域であるグループ領域とを抽出する文字コード情報生成ステップと、前記文字コード情報生成ステップにより抽出された文字毎の個別領域またはこの個別領域を複数組み合わせた領域を検出範囲とし、該検出範囲と、前記文字画像情報生成ステップにより抽出された前記１個または複数個の画像領域との重なり数を、各領域の座標を演算することにより判定する判定ステップと、前記判定ステップにより判定された重なり数に基づいて、前記検出範囲に含まれる文字の文字コードに対し、前記文字画像情報生成ステップにより抽出された前記文字属性を割り当てる割り当てステップと、を備えたことを特徴とする画像処理装置における画像処理方法。
（１０）文字画像を含む画像データから前記文字画像の文字属性と、文字属性が同じ文字画像の領域を連結した１個または複数個の画像領域と、文字画素情報とを抽出する文字画像情報生成ステップと、前記画像データを文字認識処理する外部装置により抽出された各文字の文字コードと、各文字毎の個別領域と、複数の文字を組み合わせた文字グループの領域であるグループ領域の情報を受信する受信ステップと、前記受信ステップにより受信された文字毎の個別領域またはこの個別領域を複数組み合わせた領域を検出範囲とし、該検出範囲と、前記文字画像情報生成ステップにより抽出された１個または複数個の前記画像領域との重なり数を、各領域の座標を演算することにより判定する判定ステップと、前記判定ステップにより判定された重なり数に基づいて、前記検出範囲に含まれる文字の文字コードに対し、前記文字画像情報生成ステップにより抽出された前記文字属性を割り当てる割り当てステップと、を備えたことを特徴とする画像処理装置における画像処理方法。
（１１）文字画像を含む画像データから前記文字画像の文字属性と、文字属性が同じ文字画像の領域を連結した１個または複数個の画像領域と、文字画素情報とを抽出する文字画像情報生成ステップと、前記画像データを文字認識処理して、文字コードと、各文字毎の個別領域と、複数の文字を組み合わせた文字グループの領域であるグループ領域とを抽出する文字コード情報生成ステップと、前記文字コード情報生成ステップにより抽出された文字毎の個別領域またはこの個別領域を複数組み合わせた領域を検出範囲とし、該検出範囲と、前記文字画像情報生成ステップにより抽出された１個または複数個の前記画像領域との重なり数を、各領域の座標を演算することにより判定する判定ステップと、前記判定ステップにより判定された重なり数に基づいて、前記検出範囲に含まれる文字の文字コードに対し、前記文字画像情報生成ステップにより抽出された前記文字属性を割り当てる割り当てステップと、を画像処理装置のコンピュータに実行させるための画像処理プログラム。
（１２）文字画像を含む画像データから前記文字画像の文字属性と、文字属性が同じ文字画像の領域を連結した１個または複数個の画像領域と、文字画素情報とを抽出する文字画像情報生成ステップと、前記画像データを文字認識処理する外部装置により抽出された文字コードと、各文字毎の個別領域と、複数の文字を組み合わせた文字グループの領域であるグループ領域の情報を受信する受信ステップと、前記受信ステップにより受信された文字毎の個別領域またはこの個別領域を複数組み合わせた領域を検出範囲とし、該検出範囲と、前記文字画像情報生成ステップにより抽出された前記１個または複数個の画像領域との重なり数を、各領域の座標を演算することにより判定する判定ステップと、前記判定ステップにより判定された重なり数に基づいて、前記検出範囲に含まれる文字の文字コードに対し、前記文字画像情報生成ステップにより抽出された前記文字属性を割り当てる割り当てステップと、を画像処理装置のコンピュータに実行させるための画像処理プログラム。
【発明の効果】
【００１３】
前項（１）に記載の発明によれば、文字画像を含む画像データから文字画像の文字属性と、文字属性が同じ文字画像の領域を連結した１個または複数個の画像領域と、文字画素情報とが、文字画像情報生成手段により抽出される。一方、画像データを文字認識処理して、文字コードと、文字毎の個別領域と、複数の文字を組み合わせた文字グループの領域であるグループ領域とが、文字コード情報生成手段により抽出される。文字コード情報生成手段により抽出された文字毎の個別領域またはこの個別領域を複数組み合わせた領域を検出範囲とし、該検出範囲と、文字画像情報生成手段により抽出された１個または複数個の前記画像領域との重なり数が、各領域の座標を演算することにより判定される。そして、判定された重なり数に応じて、検出範囲に含まれる文字の文字コードに対し、文字画像情報生成手段により抽出された文字属性が割り当てられる。
【００１４】
このように、文字毎の個別領域またはこの個別領域を複数組み合わせた領域の検出範囲と、文字画像情報生成手段により抽出された１個または複数個の画像領域との重なり数に基づいて、文字コードに対し文字色等の文字属性が割り当てられるから、１つの文字コードに複数の文字属性が重なる状態が発生しても、１回の文字認識処理により短時間で精度良く文字コードと文字属性との相関を得ることができる。
【００１５】
前項（２）に記載の発明によれば、画像処理装置が文字認識処理機能を有していなくても、画像データを文字認識処理する外部装置により抽出された文字コードと、文字毎の個別領域と、複数の文字を組み合わせた文字グループの領域であるグループ領域の情報を受信して、１つの文字コードに複数の文字属性が重なる状態が発生しても、１回の文字認識処理により精度良く文字コードと文字属性との相関を得ることができる。
【００１６】
前項（３）に記載の発明によれば、重なり数が１の場合には、検出範囲に含まれる全ての文字の文字コードに対して、その画像領域の文字属性が割り当てられ、重なり数が２以上の場合には、検出範囲を縮小して重なり数の再判定が行われる。
【００１７】
前項（４）に記載の発明によれば、縮小された検索領域は文字毎の個別領域であり、再判定の結果、画像領域との重なり数が１の個別領域については、重なっている画像領域の文字属性と同じ文字属性が個別領域の文字の文字コードに対して割り当てられる。重なり数が２以上の個別領域については、各個別領域に対応する文字画像の文字画素数を計数し、文字画素数が多い文字属性が前記個別領域の文字の文字コードに対して割り当てられる。このため、文字コードと文字属性との相関を高精度に得ることができる。
【００１８】
前項（５）に記載の発明によれば、文字コードに対し、文字色、フォント情報、文字サイズ、取り消し線及びアンダーラインのうちの少なくとも１つが割り当てられる。
【００１９】
前項（６）に記載の発明によれば、文字画像情報生成手段により抽出された画像領域は、文字属性が同じ文字画像の外接矩形の領域であるから、適正な画像領域を生成することができる。
【００２０】
前項（７）に記載の発明によれば、文字画像情報生成手段により抽出された文字属性が、全ての文字画像について同一の場合には、重なり数の判定を行うことなく、全ての文字の文字コードに対して抽出された同一の文字属性が割り当てるから、重なり数の判定を行わない分、処理速度が速くなる。
【００２１】
前項（８）に記載の発明によれば、読み取り手段により原稿の画像が読み取られることにより生成された画像データについて、文字コードと文字属性との相関を得ることができる。
【００２２】
前項（９）に記載の発明によれば、１つの文字コードに複数の文字属性が重なる状態が発生しても、１回の文字認識処理により短時間で精度良く文字コードと文字属性との相関を得ることができる。
【００２３】
前項（１０）に記載の発明によれば、文字認識処理機能を有していない画像処理装置において、短時間で精度良く文字コードと文字属性との相関を得ることができる。
【００２４】
前項（１１）に記載の発明によれば、１つの文字コードに複数の文字属性が重なる状態が発生しても、１回の文字認識処理により短時間で精度良く文字コードと文字属性との相関を得ることができる処理を、画像処理装置のコンピュータに実行させることができる。
【００２５】
前項（１２）に記載の発明によれば、１つの文字コードに複数の文字属性が重なる状態が発生しても、短時間で精度良く文字コードと文字属性との相関を得ることができる処理を、文字認識処理機能を有していない画像処理装置のコンピュータに実行させることができる。
【図面の簡単な説明】
【００２６】
【図１】この発明の一実施形態に係る画像形成装置の基本構成を示すブロック図である。
【図２】画像処理装置のＣＰＵによって実現される機能構成を示すブロック図である。
【図３】画像処理装置で実行される各文字の文字コードに対する文字属性の割り当て方法についての説明図である。
【図４】図３で説明した処理を画像処理装置が実行する際の動作を示すフローチャートである。
【図５】検出範囲と画像領域との重なりの他の例を示す図である。
【発明を実施するための形態】
【００２７】
以下、この発明の実施形態を図面に基づいて説明する。
【００２８】
図１は、この発明の一実施形態に係る画像処理装置１の基本構成を示すブロック図である。この実施形態では、画像処理装置として、コピー機能、プリンタ機能、スキャン機能等を備えた前述のＭＦＰが用いられている。
【００２９】
画像処理装置１は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、スキャナ部１４と、記憶部１５と、プリンタ部１６と、操作パネル１７と、ネットワークコントローラ（Ｎ１Ｃ）１８と、文字認識処理部１９と、画像処理部２０等を備えている。
【００３０】
前記ＣＰＵ１１は、画像処理装置１の全体を統括制御し、コピー機能、プリンタ機能、スキャン機能、ファクシミリ機能等の基本機能を使用可能に制御する。また、スキャナ部１４で読み取った文字を含む原稿から得られた画像データに文字認識処理部１９による文字認識処理を施すとともに、画像処理部２０により文字画像の画像領域や文字属性を抽出したりするが、詳細な説明は後述する。
【００３１】
前記ＲＯＭ１２は、ＣＰＵ１１の動作プログラム等を格納するメモリである。
【００３２】
前記ＲＡＭ１３は、ＣＰＵ１１が動作プログラムに基づいて動作する際の作業領域を提供するメモリである。
【００３３】
前記スキャナ部１４は、原稿台（図示せず）に置かれた原稿の画像を読み取り、電子データである画像データに変換する読み取り手段である。
【００３４】
前記記憶部１５は、例えばハードディスクドライブ（ＨＤＤ）などの不揮発性の記憶デバイスにより構成されており、スキャナ部２４で読み取られた原稿の画像データや、他の画像処理装置あるいはユーザー端末等から送信されてきたデータ、各種のアプリケーション等が記憶されている。
【００３５】
前記プリンタ部１６は、前記スキャナ部１４で読み取られた原稿の画像データやユーザ端末からのプリントデータ等を、指示されたモードに従って印刷するものである。
【００３６】
前記操作パネル１７は、各種入力操作等のために使用されるものであり、メッセージや操作画面等を表示するタッチパネル式液晶等からなる表示部と、テンキー、スタートキー、ストップキー等を備えたキー入力部を備えている。
【００３７】
前記ネットワークコントローラ１８は、ネットワーク上の他の画像形成装置や、その他の外部機器例えばユーザー端末等との間での通信を制御することにより、データの送受信を行うものである。
【００３８】
前記文字認識処理部１９は、スキャナ部１４で読み取られた文字を含む原稿から得られた画像データに対して文字認識処理（OCR）を行い、文字画像をテキストデータに変換する処理を行う。この文字認識処理部１９は、ＣＰＵ１１の機能の一部として構成される。
【００３９】
前記画像処理部２０は、スキャナ部１４で読み取られた文字を含む原稿から得られた画像データに対して文字画像領域、文字色等の文字属性、画素情報等の文字画像情報を抽出生成する。
【００４０】
図２は、画像処理装置１のＣＰＵ１１によって実現される機能構成を示すブロック図であり、文字画像情報生成部２１と、文字コード情報生成部２２と、検出範囲切り替え部２３と、重なり数判定部２４と、文字画素数比較部２５と、文字属性割り当て部２６を備えている。
【００４１】
文字画像情報生成部２１は、画像データから文字画像情報を抽出生成する。この実施形態では、文字画像情報として文字画像の文字属性と、文字属性が同じ文字画像の領域を連結した１個または複数個の画像領域と、文字画素情報を抽出する。なお、文字画像情報の抽出方法は周知であるので説明は省略する。
【００４２】
文字コード情報生成部２２は、画像データを文字認識処理することにより、画像データから文字コード情報を抽出生成する。この実施形態では、文字コード情報として、各文字の文字コードと、各文字毎の個別領域と、複数の文字を組み合わせた文字グループの領域であるグループ領域とを抽出する。グループ領域としては例えば１行に含まれる文字全体の領域を挙げることができる。なお、文字コード情報の抽出方法は周知であるので説明は省略する。
【００４３】
検出範囲切り替え部２３は、文字認識処理により抽出された文字毎の個別領域を複数組み合わせた領域を検出範囲として設定すると共に、設定した検出範囲において文字コードに対する文字属性の割り当てが終了すると、次の検出範囲に切り替えたり、あるいは重なり判定部２４による重なりの判定結果に基づいて、検出範囲を縮小したりする。
【００４４】
重なり判定部２４は、検出範囲切り替え部２３により設定された検出範囲と、文字画像情報生成部２１により抽出された１個または複数個の画像領域との重なり数を、各領域の座標を演算することにより判定する。
【００４５】
文字画素数計数比較部２５は、重なり数が２以上のときに、必要に応じて１つの文字画像について各文字属性毎の画素数を比較する。
【００４６】
文字属性割り当て部２６は、重なり数判定部２４による重なり数の判定結果や、文字画素数比較部２５による画素数の比較結果に応じて、各文字の文字コードに対する文字属性を割り当てる。
【００４７】
次に、画像処理装置１で実行される各文字の文字コードに対する文字属性の割り当て方法について、図３を参照しつつ説明する。以下の例では、文字属性が文字色である場合を例にして説明する。
【００４８】
スキャナ部１４で読み取られる原稿（入力原稿）を符号３で示す。この原稿３では、太字で示した「絶滅の危機」という文字列が赤色で記載され、それ以外の文字列は黒色で記載されているものとする。
【００４９】
この原稿３をスキャナ部１４で読み取り、電子データである画像データに変換する。この画像データを入力データとして文字認識処理し文字コード情報を抽出すると共に、画像処理して文字画像情報を抽出する。
【００５０】
符号Ｓ１で示す括弧内に、入力データを文字認識処理（OCR）した結果と画像処理した結果を示す。文字認識処理により、文字コード情報として各文字毎の文字コードと、各文字毎の個別領域と、グループ領域として各行の文字領域４１〜４３とが抽出される。各文字毎の個別領域は各文字の外接矩形から構成される。また、各行の文字領域４１〜４３はその行に含まれる文字群全体の外接矩形から構成される。各領域は座標で管理される。
【００５１】
一方、画像処理により、文字画像情報として、各文字画像について文字色（黒色または赤色）の情報と、画像領域と、各文字画像についての画素情報が抽出される。入力原稿３は文字列「絶滅の危機」が赤色、他の文字列が黒色であるから、同一色の画像領域として全ての文字画像を含む黒文字領域５１と、赤文字画像を含む赤文字領域５２とが抽出保持される。画像領域は同一色の文字画像の外接矩形から構成される。また、各領域は座標で管理される。
【００５２】
次に、符号Ｓ２で示す括弧内の処理１が実行される。具体的には、文字認識処理により抽出された文字毎の個別領域を複数組み合わせた領域を検出範囲として設定する。この実施形態では、限定はされないが、各行の文字領域４１〜４３の範囲を検出範囲としている。そして、この検出範囲と、画像処理により得られた黒文字領域５１及び赤文字領域５２との重なりを判定する。
【００５３】
ここで、１行目の文字領域（検出範囲）４１及び３行目の文字領域（検出範囲）４３は、Ｓ２の括弧内の左部に示すように、黒文字領域５１とのみ重なっているから、重なり数は１である。重なり数が１の場合は、その文字領域に属する全ての文字の文字コードに対して黒文字領域５１の文字色である黒色を割り当てる。なお、検出範囲と画像領域の重なりには、検出範囲と画像領域が同じ場合の完全一致の重なり、検出範囲が画像領域に内包される場合の重なり、検出範囲に画像領域が内包される場合の重なり、検出範囲と画像領域の一部同士の重なり等があり、いずれの場合も重なりと判定される。
【００５４】
一方、２行目の文字領域（検出範囲）４２は、Ｓ２の括弧内の右部に示すように、黒文字領域５１と赤文字領域５２の両方と重なっているから、重なり数は２以上である。この場合は、符号Ｓ３で示す括弧内の処理２が実行される。
【００５５】
ここで、抽出された文字属性が全ての文字画像について同一の場合、たとえば全ての文字画像が黒色であったような場合には、この実施形態では、重なり数の判定を行うことなく、全ての文字の文字コードに対して抽出された同一の文字属性を割り当てるようになっている。このような処理により、重なり数の判定を行わない分処理速度が速くなる。
【００５６】
処理２では、検出範囲を縮小して再度重なりを判定する。この実施形態では各文字毎の個別領域６１を検出範囲とし、この個別領域６１と黒文字領域５１及び赤文字領域５２との重なりを判定する。
【００５７】
Ｓ３の括弧内の左部に示すように、個別領域６１は黒文字領域５１とのみ重なっているから、重なり数は１である。重なり数が１の場合は、個別領域６１の文字コードに対して黒文字領域５１の文字色である黒色を割り当てる。
【００５８】
一方、Ｓ３の括弧内の右部に示すように、文字列「絶滅の危機」の各文字の個別領域６１は、黒文字領域５１と赤文字領域５２の両方と重なっているから、重なり数は２以上である。この場合は、符号Ｓ４で示す括弧内の処理３が実行される。
【００５９】
この処理３では、文字列「絶滅の危機」の各文字の個別領域６１のそれぞれについて、文字画像情報の一つとして抽出された各色の文字画素数が計数される。文字列「絶滅の危機」は赤色であるから、各文字の個別領域６１において、赤文字属性の画素数が例えば１００、黒文字属性の画素数が例えば０というようになる。両者の画素数を比較すると赤文字属性の画素数の方が多いから、文字色は赤と決定され、その文字コードに赤色が割り当てられる。このような処理が文字列「絶滅の危機」の各文字について行われ、色が割り当てられる。
【００６０】
なお、図５に示すように、「あいうえおか」という文字列があり、「あい」と「おか」の文字が赤色、「うえ」の文字が青色の場合は、黒文字領域５１内に、「あい」と「おか」の各文字画像の領域を連結した「あいうえおか」の赤色の画像領域５２が存在し、さらに画像領域５２内に青色の画像領域５３が存在する。この場合、文字「う」及び「え」の個別領域を検出範囲としたときの重なりは３となる。従って、文字「あ」「い」「お」「か」と同様に、文字「う」及び「え」についても個別領域毎に各色の画素数が比較され、画素数が最も多い青色が割り当てられることになる。重なり数が４以上の場合も同様である。
【００６１】
このように、この実施形態では、１行に含まれる文字の外接矩形を検出範囲とし、この検出範囲と、文字画像情報として抽出された文字の画像領域との重なり数を判定し、重なり数が１の場合は、その画像領域の色が、検出範囲内の各文字コードに対して割り当てられる。また、重なり数が２以上の場合は、検出範囲を各文字の個別領域に縮小し、個別領域と文字の画像領域との重なり数を判定し、重なり数が１の場合は、その画像領域の色が個別領域の文字コードに対して割り当てられ、重なり数が２以上の場合は、個別領域に対応する画像の画素を調べて判定する。従って、１回の文字認識処理ですみまた各文字毎に画素数を調べる必要もなく、しかも１つの文字コードに複数の文字属性が重なる状態が発生しても、短時間で精度良く文字コードと文字属性との相関を得ることができる。
【００６２】
図４は、図３で説明した処理を画像処理装置１が実行する際の動作を示すフローチャートである。この動作は、画像処理装置１のＣＰＵ１１がＲＯＭ１２等の記録媒体に格納された動作プログラムに従って動作することにより実行される。
【００６３】
ステップＳ１１では、入力原稿をスキャナ部１４でスキャンすることにより得られた文字画像を有する画像データを、文字認識処理して文字コード情報を抽出する。文字コード情報は、ステップＳ１２に示すように、１行毎の行矩形座標（グループ領域の座標）（丸数字１）、文字単体矩形座標（各文字の個別領域の座標）（丸数字２）、各文字の文字コード（丸数字３）である。抽出された文字コード情報は記憶部１５等に記憶される。文字コード情報の抽出後、ステップＳ１５に進む。
【００６４】
一方、ステップＳ１３で、入力データを画像処理して文字画像情報を抽出する。文字画像情報は、二値文字矩形座標（文字色毎の画像領域の座標）（丸数字４）、各文字画像の二値文字画素（丸数字５）、文字色（丸数字６）である。抽出された文字画像情報は記憶部１５等に記憶される。文字画像情報の抽出後、ステップＳ１５に進む。
【００６５】
ステップＳ１５では、行矩形座標（丸数字１）と二値文字矩形座標（丸数字４）を用いて、検出範囲である行矩形と重なる二値文字矩形の数をカウントしたのち、ステップＳ１６で、重なり数（カウント数）が１かどうかを判断する。
【００６６】
重なり数が１の場合（ステップＳ１６でＹＥＳ）、ステップＳ１７で、各文字の文字コード（丸数字３）と文字色（丸数字６）を利用して、その行矩形内の各文字の文字コードに、重なった二値文字矩形の文字色を割り当てる。
【００６７】
重なり数が２以上の場合は（ステップＳ１６でＮＯ）、ステップＳ１８で、文字単体矩形座標（丸数字２）と二値文字矩形座標（丸数字４）を用いて、縮小された検出範囲である文字単体矩形と重なる二値文字矩形の数をカウントしたのち、ステップＳ１９で、重なり数（カウント数）が１かどうかを判断する。
【００６８】
重なり数が１の場合（ステップＳ１９でＹＥＳ）、ステップＳ２０で、その文字単体矩形における文字コード（丸数字３）と文字色（丸数字６）を利用して、その文字コードに対し重なった二値文字矩形の文字色を割り当てる。
【００６９】
ステップＳ１９で重なり数が２以上の場合は（ステップＳ１９でＮＯ）、ステップＳ２１で、文字単体矩形座標（丸数字２）と二値文字画素（丸数字５）を利用し、文字単体矩形における二値文字画素数を計数する。そして、ステップＳ２２で、文字コード（丸数字３）と文字色（丸数字６）を利用して、その文字単体矩形における文字コードに画素数の多い方の文字色を割り当てる。
【００７０】
ステップＳ１８〜２２の処理は、重なり数が２以上の各文字毎に繰り返される。また、ステップＳ１５〜Ｓ２２は、１行の行矩形毎に繰り返される。
【００７１】
こうして各文字コードに対する文字色の割り当てが終了すると、ステップＳ２３で、文字コードと割り当てられた文字色を入力し、ステップＳ２４でＯＯＸＭＬ形式の文書を作成する。作成された文書では、元の原稿の文字と文字色との相関がそのまま保持されることになる。
【００７２】
以上、本発明の一実施形態を説明したが、本発明は上記実施形態に限定されることはない。例えば、文字属性が色である場合を説明したが、他の文字属性、例えばフォント情報、文字サイズ、取り消し線及びアンダーライン等であっても良く、文字色の場合と同様に処理すれば良い。
【符号の説明】
【００７３】
１    画像処理装置
１１  ＣＰＵ
１２  ＲＯＭ
１４  スキャナ部
１９  文字認識部
２０  画像処理部
４１〜４３  グループ領域
５１  黒文字領域
５２  赤文字領域
６１  個別領域
【図１】
2016143093.tif 000003
【図２】
2016143093.tif 000004
【図３】
2016143093.tif 000005
【図４】
2016143093.tif 000006
【図５】
2016143093.tif 000007