(57)【要約】【課題】  複数の文字認識手段を選択的に利用する際、選択された文字認識が非対応のレイアウト特性が文書画像に存在しても、非対応部分のみを解消するように画像の補正処理を行い、かつ、取得した認識結果の座標値を逆補正し、元のレイアウト情報を失わずに電子ドキュメントを生成する方法を提案する。【解決手段】  文書画像から文字領域を抽出する抽出手段と、文字を認識する認識手段と、認識手段が対応するレイアウト特性を取得する取得手段と、抽出された文字領域のレイアウト特性を解析する解析手段と、解析されたレイアウト特性と取得されたレイアウト特性とが対応するように、文字領域の画像を補正する補正手段とを備え、認識手段は補正手段で補正された文字領域の画像に対して文字認識を行なうこと、さらに、文字認識結果の画像の座標の情報を、補正手段による補正で用いた補正方法に基づいて逆補正する手段を備えることを特徴とする画像処理装置。【選択図】  図４
2013250906.tif 000002
【特許請求の範囲】
【請求項１】
文書画像から電子ドキュメントを生成する画像処理装置であって、
文書画像から文字領域を抽出する抽出手段と、
文字を認識する認識手段と、
前記認識手段が対応するレイアウト特性を取得する取得手段と、
前記抽出された文字領域におけるレイアウト特性を解析する解析手段と、
前記解析手段により解析されたレイアウト特性と前記取得手段により取得されたレイアウト特性とが対応するように、前記抽出された文字領域の画像を補正する補正手段とを備え、
前記認識手段は、前記補正手段で補正された文字領域の画像に対して文字認識を行なうこと、
さらに、前記認識手段による文字認識結果の画像の座標の情報を、前記補正手段による補正で用いた補正方法に基づいて逆補正する手段を備えることを特徴とする画像処理装置。
【請求項２】
前記レイアウト特性は文字サイズを含むことを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記レイアウト特性は行内の文字サイズの変動を含むことを特徴とする、請求項１に記載の画像処理装置。
【請求項４】
前記レイアウト特性は行間隔を含むことを特徴とする、請求項１に記載の画像処理装置。
【請求項５】
前記補正手段による画像の補正は、拡大、縮小もしくは移動及びこれらの組み合わせであることを特徴とする、請求項１に記載の画像処理装置。
【請求項６】
複数の前記認識手段を備え、前記複数の認識手段のうち１つ以上の認識手段を選択する選択手段をさらに備えることを特徴とする、請求項１に記載の画像処理装置。
【請求項７】
前記解析手段により解析されたレイアウト特性と前記取得手段により取得されたレイアウト特性を比較する比較手段をさらに備えることを特徴とする、請求項１に記載の画像処理装置。
【請求項８】
文書画像から電子ドキュメントを生成する画像処理方法であって、
文書画像から文字領域を抽出する抽出ステップと、
文字を認識する認識ステップと、
前記認識ステップが対応するレイアウト特性を取得する取得ステップと、
前記抽出された文字領域におけるレイアウト特性を解析する解析ステップと、
前記解析されたレイアウト特性と前記取得されたレイアウト特性とが対応するように、前記抽出された文字領域の画像を補正する補正ステップとを備え、
前記認識ステップは、前記補正ステップで補正された文字領域の画像に対して文字認識を行なうこと、
さらに、前記認識ステップによる文字認識結果の座標の情報を、前記補正ステップによる補正で用いられた補正方法に基づいて逆補正するステップを備えることを特徴とする画像処理方法。
【請求項９】
コンピュータを、請求項１〜７のいずれか１項に記載の画像処理装置に記載の各手段とし機能させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを記憶した、コンピュータ読取可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書画像から文字コードを得る文字認識を行う画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
紙文書の電子ドキュメント変換処理として、紙をスキャンし、画像データとなった文書画像から文字領域を抽出し、抽出された各文字領域の文字認識結果を用いて電子ドキュメントを生成するものが知られている。文字認識処理は一般的に、文字領域画像から文字単位の画像を切り出し、それぞれの文字画像に対応する文字を決定し、誤認識を減少させる後処理等を行って認識結果を得る。文字認識結果には各文字コードと位置や大きさの座標情報が含まれる。
【０００３】
電子ドキュメント変換では、文書画像上のすべての文字の認識結果が得られることが望ましい。しかしながら、世の中にある様々な形式、形状の文書をスキャンした画像データに対し、文字領域抽出等の領域分割処理や文字認識処理が常に良好な結果を得られないという課題があった。そこで、より高精度にドキュメント変換するための手法として、特許文献１及び特許文献２が開示されている。
【０００４】
特許文献１では、領域分割や文字認識といった幾つかの本処理を実施する際、各々の本処理に適する二値化等の画像前処理を選択しておき、各本処理の前に、元の画像データに対し、選択された前処理を行うようにした。また、特許文献２では、認識対象領域の文字品位、例えばかすれやつぶれ等といった状態から、その状態に適する認識処理を複数の処理の中から選択するようにした。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−２７９３４６
【特許文献２】特開平１０−１５４２０４
【発明の概要】
【発明が解決しようとする課題】
【０００６】
これらの先行技術により、複数の処理から適する処理を選択するように構成することで、より高精度の処理結果を得ることができるようになった。ところが、ネットワーク上に分散して多数存在する電子ドキュメント変換サービスにおける文字認識では、各認識処理が対応可能なレイアウト特性は異なる。ここで言うレイアウト特性とは、文字サイズ、行間隔、行内文字サイズ変動等である。対象領域に非対応なレイアウト特性が存在すれば、補正処理を施し、対応可能なレイアウト特性にしてから変換サービスを利用しなければならない。どの変換サービスを利用するかは、通常、その時点で利用可能なものから選択するため、あらかじめ最適な補正処理は特定できない。文書画像に対し補正処理を一律に実施してしまうと、認識処理が対応しているレイアウト特性にもかかわらず、補正処理後の画像で処理が行われ、補正された部分の認識精度が低下する可能性がある。また、補正処理により、得られた認識結果は文書画像のレイアウト情報とは異なるものとなる。
【０００７】
本発明は上記の問題に鑑みてなされたものであり、利用する文字認識が非対応のレイアウト特性のみを解消するように画像の補正処理を行い、かつ、レイアウト情報を失わずに電子ドキュメントを生成する方法を提供する。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は、文書画像から電子ドキュメントを生成する画像処理装置であって、文書画像から文字領域を抽出する抽出手段と、文字を認識する認識手段と、前記認識手段が対応するレイアウト特性を取得する取得手段と、前記抽出された文字領域におけるレイアウト特性を解析する解析手段と、前記解析手段により解析されたレイアウト特性と前記取得手段により取得されたレイアウト特性とが対応するように、前記抽出された文字領域の画像を補正する補正手段とを備え、前記認識手段は、前記補正手段で補正された文字領域の画像に対して文字認識を行なうこと、さらに、前記認識手段による文字認識結果の画像の座標の情報を、前記補正手段による補正で用いた補正方法に基づいて逆補正する手段を備えることを特徴とする画像処理装置を提供する。
【発明の効果】
【０００９】
本発明によれば、文字認識処理が対応しないレイアウト特性が存在しても、認識結果を高精度で得られる。また、本発明によれば、補正部分の認識結果を逆補正することで、元の文書画像のレイアウト情報を正確に再現できる。また、本発明によれば、多数の文字認識処理を選択的に利用する際に、各認識処理が対応するレイアウト特性に従い、補正が必要な領域のみに最低限の補正処理が実施されるので、認識処理本来の認識性能を得られ、かつ処理量を最低限に抑えられる。
【図面の簡単な説明】
【００１０】
【図１】第１実施例に係る装置の構成図
【図２】第１実施例に係る文字認識手段のレイアウト特性の一覧
【図３】第１実施例に係る処理を行う文書画像の例
【図４】第１実施例に係る処理を行う文書画像の第一の補正方法を説明する図
【図５】第１実施例に係る処理を行う文書画像の第二の補正方法を説明する図
【図６】第１実施例に係る処理の流れを示すフローチャート
【図７】第２実施例に係る処理の流れを示すフローチャート
【図８】第１実施例に係るレイアウト特性の解析を説明する図
【図９】第１実施例に係る補正方法の流れを示すフローチャート
【図１０】第１実施例に係る文字認識手段の配置の一例を示す図
【図１１】第１実施例に係る補正や逆補正における座標等の一覧
【発明を実施するための形態】
【００１１】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１２】
＜第１実施例＞
図１は本実施例に係る画像処理装置を示す構成図である。１０２は本装置の処理を行うＣＰＵ、１０３は制御プログラムを格納するＲＯＭ、１０４は処理中のデータ等を一時記憶するＲＡＭ、１０５は磁気ディスク等の外部記憶装置である。ＲＯＭ１０３には、後述するフローチャートに示す本装置の処理プログラムが格納されていてもよい。１０６はネットワークインターフェースであり、ＬＡＮやＷＡＮと接続し、遠隔地の装置と通信を行う。１０７は紙文書を電子データに変換するスキャナ等の画像読取部、１０８は本装置の操作を行うキーボードやボタン等の操作部、１０９は本装置の状態や作業者への情報を表示する表示部である。タッチパネル液晶モニターのように、操作部１０８と表示部１０９が一体となっていてもよい。
【００１３】
後述するフローチャートに示す本装置の処理プログラムは、外部記憶装置１０５に記憶したものや、ネットワークインターフェース１０６を介して外部から供給されたものを、ＣＰＵ１０２の制御の元、ＲＡＭ１０４に展開するように構成されていてもよい。
【００１４】
これら各構成要素はシステムバス１０１上に配置される。なお、より処理を高速に実施する目的で、画像処理等に専用の処理部や記憶部が別途配置されていてもよい。また、本実施例には不要な構成要素である印刷部が配置された複合機の形態でもよい。
【００１５】
図１０は本実施例に係る画像処理装置が有する文字認識手段の配置の一例を示す図である。１００１は文字認識以外の主たる処理を実施する機器であるＭＦＰ、１００２と１００３は文字認識手段を含むサーバーであり、文字認識処理を行うサービスプログラムが動作している。サーバー１００３のように、ひとつのサーバーが複数の文字認識手段を有するように構成してもよい。このように、本実施例では文字認識手段がネットワーク上のサービスで実現され、主たる処理を実施する機器とは疎結合であり、分散して存在しているものとする。この場合、遠隔にある文字認識手段を含むサービスとは、あらかじめ規定された通信方式やフォーマットに則り、パラメータやデータをやり取りする。
【００１６】
図２は本実施例における、文字認識手段のレイアウト特性の一覧である。この例では、レイアウト特性は３種類としている。各文字認識手段は対応可能なレイアウト特性に違いがある。レイアウト特性２０１は認識可能な文字サイズであり、最小と最大のサイズをポイント数で示したものである。２０２は行内の文字サイズの変動に対応可能かどうかを示したものである。すなわち、行内の一部の文字の文字サイズが大きい、あるいは小さい場合を許容するかどうかであり、未対応の文字認識手段は、行内の文字サイズが一定でなければならない。２０３は行間隔の最小値であり、文字サイズと同様にポイント数で示している。
【００１７】
図３は本実施例で処理を行う文書画像の例を示したものである。図３（ａ）は画像読取部１０７で読み取られた文書画像であり、以下に説明する処理を施す元画像である。また、図６は本実施例に係る処理の流れを示すフローチャートであり、本フローチャートを使用して処理を順に説明する。
【００１８】
Ｓ６０１において文書画像の領域分割処理を行う。領域分割とは、文書的な意味でまとまりを持つ領域、例えば、文字、写真、図、表等の領域に分割することである。領域分割処理を含む画像処理を有する装置は既にいくつか知られており、その方法についても開示されているので、それら公知の方法を用いればよい。また、文書画像はカラー、グレーなどの多値画像や、モノクロの二値画像であってもよく、その際領域分割処理は、各々の画像入力に対応するものを用いればよい。
【００１９】
Ｓ６０２では、Ｓ６０１で分割された領域のうち、文字領域と判定された領域を抽出する。図３（ｂ）は文書画像から領域３０１と３０２が抽出された様子を示す。Ｓ６０３では、抽出された文字領域に対し、領域毎のＩＤを付与する。これは、のちに説明する文字認識結果を取得する際に、認識結果が処理順に得られるとは限らないので、どの領域の結果を取得したのかを判別可能にするためである。
【００２０】
Ｓ６０４において、Ｓ６０２で抽出されたすべての文字領域のレイアウト特性を解析する。レイアウト特性の解析の一例を、図８を利用して説明する。
【００２１】
図８（ａ）は図３（ｂ）の文字領域３０１である。領域内にある文字を形成している画素を連結し、それぞれの連結成分を矩形で示したのが図８（ｂ）である。図８（ｃ）は図８（ｂ）で抽出された矩形に重なりがあるものを統合し、更に縦横それぞれの方向にヒストグラムを取ったものである。ヒストグラムの形状から、高い山に挟まれた谷が存在する方が行と判断する。この場合、横書きであることがわかる。図８（ｄ）で組方向の情報を利用して行矩形を抽出する。行矩形が抽出できれば行間が算出できるので、その中の最小値を最小行間隔とする。図８（ｅ）では、行矩形内で、行に垂直な方向に配置された矩形を更に統合する。図８（ｆ）において、文字種による矩形の上下位置の変動を吸収するように平滑化を行う。
【００２２】
平滑化は、例えば、特開平９−５０４８８に開示された方法を利用すればよい。すなわち、すべての矩形の統計情報を利用するもので、前記文献の図７に示すグラフを作成し、そこで得られた曲線のピークから矩形の代表的上下位置を求めるものである。近接する矩形の上下位置は同一化され、同一文字サイズの矩形の高さは一定となる。これにより、文字サイズが抽出される。
【００２３】
更に、得られた行内の矩形の位置情報から、行内文字サイズの変動を検知する。例えば、行内の多数を占める矩形の位置を検出し、その位置からはみ出すように存在する矩形が存在すれば、それらを文字サイズが変動した文字とする。はみ出しの判定は、高さに対して３０%以上の変動があった場合等とすればよい。あるいは、行頭から矩形高さを調べ、高さが変動した地点を文字サイズ変動ポイントとし、高さが変動した地点と元に戻った地点の間を文字サイズ変動範囲とする。変動の判定は、高さが３０％以上変化した場合等とすればよい。
【００２４】
その結果、選択された文字領域に存在する文字サイズ、行間隔、行内の文字サイズ変動の有無等のレイアウト特性を得ることができる。文字領域３０１であれば、本領域のレイアウト特性は、例えば、最小文字サイズが７ポイント、最大文字サイズが３６ポイント、行内文字サイズ変動は有、最小行間隔が７ポイントとなる。なお、レイアウト特性の解析は、Ｓ６０１の領域分割処理中に得られた情報を記憶しておき、流用するように構成されていてもよい。
【００２５】
図６に戻る。Ｓ６０５では、文字領域毎の認識処理に使用する文字認識手段を、ネットワーク上に散在するサービスから選択する。ネットワーク上に散在するサービスは、通常そのすべての存在を把握していない。また、認識処理を実施する時点でサービスが停止している可能性がある。そのため、文字認識手段を提供するサービス及びその稼働状況の一覧が記憶されている別のサービスを利用して選択したり、あるいはあらかじめ本装置に記憶されたサービス一覧の範囲内で選択したりすればよい。ここでは、図３（ｂ）のように抽出された文字領域において、文字領域３０１に対しては文字認識手段Ａを、文字領域３０２に対しては文字認識手段Ｂを選択するものとする。
【００２６】
Ｓ６０６では、選択された文字認識手段のレイアウト特性の情報を取得する。この場合、図２における文字認識手段Ａと文字認識手段Ｂのレイアウト特性を取得することとなる。これら文字認識手段がネットワーク上のサービスとして提供されている場合、サービスに対し、レイアウト特性を要求するメッセージを送信し、サービスから特性の内容を返信するように構成されていてもよい。
【００２７】
Ｓ６０７では、Ｓ６０４で得られたレイアウト特性とＳ６０６で選択された文字認識手段が対応するレイアウト特性を文字領域毎に比較し、文字認識手段が未対応なレイアウト特性を抽出する。その後、Ｓ６０８において、未対応なレイアウト特性の補正方法を決定する。
【００２８】
例えば文字領域３０１において、Ｓ６０４により８ポイント未満の文字があることがわかっているので、それらは文字認識手段Ａの対応文字サイズの下限未満にある未対応レイアウトとして補正対象になる。また、行内の文字サイズ変動は存在するが、文字認識手段Ａは変動に対応可能であるので、補正対象とならない。最小行間隔についても対応可能なレイアウト特性である。すなわち、文字領域３０１においては、図４（ａ）に示すように、対応文字サイズ以下の文字画像４０１に対し、文字認識手段Ａが対応可能な文字サイズになるよう拡大処理を行う。ただし、拡大処理を行うと、文字画像４０２に重なる、あるいは十分な行間隔が確保できなくなるので、拡大する方向にある文字画像４０２の位置を全体的に下方に移動するように補正を行う。その結果、図４（ｂ）のように補正が行われることになる。なお、拡大率や、行間隔を確保するための移動量は、文字認識手段のレイアウト特性の下限ぎりぎりに合わせるのではなく、余裕を加味した値となるように設定するのがより望ましい。
【００２９】
ここで、文字認識手段Ａにおける補正方法を図９のフローチャートを用いて、更に詳細に説明する。まず、事前にレイアウト特性が対応外となる場合の補正後の値を決めておく。すなわち、対応文字サイズを超える場合、補正後の文字サイズは対応可能な最大文字サイズより１０％小さいサイズにする。また、対応文字サイズを下回る場合、補正後の文字サイズは対応可能な最小文字サイズより１０％大きいサイズにする。また、最小行間隔を下回る場合、補正後の行間隔は最小行間隔より１０％広くする。
【００３０】
Ｓ９０１において、文字領域の先頭行を注目行とする。Ｓ９０２ですべての行の確認を終えたか調べ、終えていれば処理を終了する。終えていなければＳ９０３に進み、注目行の文字が対応文字サイズを超えるか確認する。超える場合、Ｓ９０４に進み、先に既定した文字サイズになるよう、文字画像の縮小率をもとめる。その後Ｓ９０９に進み、次の行を注目行として、Ｓ９０2の判定に戻る。
【００３１】
Ｓ９０３で対応文字サイズを超えなければ、Ｓ９０５に進み、注目行の文字が対応文字サイズを下回るか確認する。下回る場合、Ｓ９０６に進み、先に既定した文字サイズになるよう、文字画像の拡大率を求める。その後Ｓ９０９に進む。
【００３２】
Ｓ９０５で対応文字サイズを下回らなければ、Ｓ９０７に進み、注目行と上の行との間隔が最小行間隔を下回るか確認する。下回る場合、Ｓ９０８に進み、先に既定した文字間隔になるよう、注目行の下への移動量を求める。その後Ｓ９０９に進む。
【００３３】
その結果、文字領域のレイアウト特性は文字認識手段Ａが対応するものとなる。この場合、当初、行間隔が最小値を下回る場合でも、縮小処理により行間隔が十分大きくなれば、行間隔を確保するための移動は発生しない。
【００３４】
また、文字領域３０２において、Ｓ６０４で最小文字サイズが７ポイント、最大文字サイズが３６ポイント、行内文字サイズ変動は有、最小行間隔が７ポイントのレイアウト特性が得られている。文字サイズと最小行間隔については文字認識手段Ｂの対応範囲内である。しかしながら、行内文字サイズ変動が有であり、文字認識手段Ｂはこのレイアウト特性には対応していないので、補正の必要がある。
【００３５】
図５（ａ）の文字画像５０１は行内の他の文字に比べ文字サイズが大きいので、隣接する他の文字サイズと同様の大きさになるよう縮小処理を行う。縮小処理によって文字画像５０２との文字間隔が拡大する。このまま文字認識処理を実行すると、文字画像５０１と５０２の間にもともと存在しないスペースが認識結果に挿入されてしまうので、文字画像５０２を５０１側に移動するように補正する。移動量は、２つの領域の間隔が補正前と同じ値になるようにする。その様子を図５（ｂ）に示す。
【００３６】
図６に戻る。Ｓ６０９において、Ｓ６０８で決定した補正方法に基づき、領域ＩＤ毎に補正内容、及び補正を行う文字画像に関する補正前の座標を記憶する。例えば文字領域３０１の文字画像４０１に対しては、補正内容は左上を固定した拡大処理であるので、拡大率を記憶する。また、補正前の左上の座標と領域の幅、高さを記憶する。文字画像４０２については、補正内容は移動処理であるので、移動量（本実施例では下方への移動量）を記憶する。また４０１と同様に左上の座標と領域の幅、高さを記憶する。文字画像５０１については、補正内容は縮小処理であるとともに、左上の座標を下方に移す移動処理であるので、縮小率と下方への移動量を補正前の座標とともに記憶する。また５０２については、左方への移動処理であり、その移動量と座標を記憶する。
【００３７】
図１１は各文字画像の補正前の座標や補正内容、補正後の範囲や逆変換の式を一覧にした表である。補正前座標と補正内容の項目において、左上を原点（０，０）とした時の各文字画像の左上のＸ座標、Ｙ座標、幅、高さ、および左上のＸ方向、Ｙ方向への移動量とその拡縮率を、Ｘｎ、Ｙｎ、Ｗｎ、Ｈｎ、Ｓｘｎ、Ｓｙｎ、Ｚｎで表わす。ただし、ｎは１から４までで、それぞれ、文字画像４０１、４０２、５０１、５０２に対応する。Ｓｘｎ、Ｓｙｎ、Ｚｎにより補正内容を表すことが可能である。すなわち、右方向の移動処理はＳｘｎ＞０、左方向はＳｘｎ＜０、下方向はＳｙｎ＞０、上方向はＳｙｎ＜０である。またＺｎ＞１なら拡大処理であり、Ｚｎ＜１なら縮小処理である。
【００３８】
文字画像４０１においては、拡大なのでＺ１＞１、移動はないのでＳｘ１＝Ｓｙ１＝０であり、文字画像４０２においては、拡大していないのでＺ２＝１、左右の移動はないのでＳｘ２＝０、下への移動なのでＳｙ２＞０とすればよい。また、文字画像５０１は左下を固定して縮小しているので、Ｚ３＜１であり、左右の移動量Ｓｘ３＝０、上下の移動量Ｓｙ３＝Ｈ３−Ｚ３×Ｈ３である。文字画像５０２は左への移動なので、Ｓｘ４＜０となる。
【００３９】
図６に戻る。Ｓ６１０において、決定した補正方法に従い補正画像を作成する。図１１における補正後の範囲の項目は、元の文字画像が補正により、補正後の画像のどの範囲に展開されるかを示したものである。それぞれのＸ座標、Ｙ座標、幅、高さを示す。文字領域３０１のように補正が拡張方向であれば、より後方のものから、すなわち４０２、４０１の順に、文字領域３０２のように補正が収縮方向であれば、より前方のものから、すなわち５０１、５０２の順に補正画像の形成を行えばよい。補正した画像は文字領域３０１においては図４（ｃ）のように、文字領域３０２においては図５（ｃ）のようになる。その結果、文書画像内のすべての文字領域の補正画像が準備される。なお、もしも文書画像が多値画像であり、文字認識手段が二値画像の入力を必要としている場合は、本ステップＳ６１０における補正処理と同時に二値画像化をおこなってもよい。
【００４０】
Ｓ６１１では、それぞれの文字領域毎に補正された画像を、文字領域毎に選択された文字認識手段に渡し、文字認識を実施する。ここでは認識処理が終了するのを待たず、すべての文字領域を次々に文字認識手段に渡すこととする。それぞれの文字認識手段は文字認識処理を実行し、処理が終わったものから順に認識結果を返す。文字認識結果は、各文字画像の位置や大きさ情報、文字コード、候補文字の文字コード、類似度等である。
【００４１】
Ｓ６１２において、認識結果をすべて取得したかどうか判断する。未取得の領域があれば、Ｓ６１３に進み、文字認識手段からその領域の認識結果を受け取り、Ｓ６１４でその領域ＩＤと受け取った認識結果を記憶する。その後Ｓ６１２に戻る。すべての領域の文字認識結果を取得した場合はＳ６１５に進む。
【００４２】
Ｓ６１５において、Ｓ６０９で記憶した情報から、領域ＩＤ毎に、補正前の文字画像に応じた座標に文字認識結果を逆補正する。図４（ｄ）、図５（ｄ）は逆補正の方法を示した図である。より詳細に逆補正の方法を説明すると、まず、逆補正の対象となる文字認識結果を特定する。文字認識結果の座標が、図１１における補正後の範囲内に含まれたら逆補正の対象である。次に、対象となった文字認識結果の座標を変換する。左上の座標が（ａ，ｂ）、幅ｃ、高さｄであるとすると、逆補正後の左上の座標、幅、高さは、それぞれ以下となる。
Ｘ座標：Ｘｎ＋（ａ−Ｘｎ−Ｓｘｎ）／Ｚｎ
Ｙ座標：Ｙｎ＋（ｂ−Ｙｎ−Ｓｙｎ）／Ｚｎ
幅：ｃ／Ｚｎ
高さ：ｄ／Ｚｎ
【００４３】
すべての認識結果に対して、逆補正の対象かを確認し、必要ならば変換する。図１１における逆補正の式の項目に、文字画像４０１、４０２、５０１、５０２のより具体的な補正の式を示す。なお、Ｓ６０９で最低限記憶された補正内容、及び補正を行う文字画像に関する補正前の座標から、Ｓ６１５において補正後の範囲を再度算出可能であるが、補正後の範囲をＳ６０９で記憶しておき、Ｓ６１５で利用するように構成してもよい。
【００４４】
Ｓ６１６において、Ｓ６１５の領域ＩＤ毎の逆補正に基づいて、補正後の認識結果を保存する。Ｓ６１７で、各文字領域で得られた文字認識結果と文書画像等から、あらかじめ規定されたフォーマットに従い電子ドキュメントを生成する。電子ドキュメントのフォーマットとしては、たとえばＰＤＦ、ＸＰＳ、ＳＶＧ、Ｏｆｆｉｃｅ  Ｏｐｅｎ  ＸＭＬなどを用いてもよい。フォーマットの種類や生成オプションにより、画像の圧縮処理や文書の埋め込み、各種パラメータの設定等がこのステップで実施され、本装置内の外部記憶装置１０５にファイルとして保存される。
【００４５】
以上説明したように、本実施例によれば、一つの文字認識手段が対応できない文字サイズが存在したり、行内の文字サイズ変動が存在したりしても、適切な文字認識結果が取得でき、情報の欠落がない電子ドキュメントの生成が可能となる。文字認識手段には拡大や縮小された画像が入力されるが、元画像の座標に則った認識結果が得られる。すなわち、本発明によれば、文字認識処理が対応しないレイアウト特性が存在しても、認識結果を高精度で得られる。また、補正部分の認識結果を逆補正することで、元の文書画像のレイアウト情報を正確に再現できる。また、多数の文字認識処理を選択的に利用する際に、各認識処理が対応するレイアウト特性に従い、補正が必要な領域のみに最低限の補正処理が実施されるので、認識処理本来の認識性能を得られ、かつ処理量を最低限に抑えられる。
【００４６】
また本実施例によれば、文字認識手段毎に処理時間が異なるような場合であっても、認識処理が終了したものから認識結果を取得することが可能であり、処理を待ち続ける必要はない。逐次処理をせずに認識結果を集約し電子ドキュメントの生成ができる。更に、本装置内で画像補正が並列処理可能に構成されれば、補正画像が生成された順に文字認識手段に画像を渡すことができる。
【００４７】
なお、ネットワークを利用した構成の場合、文書画像は通信手段を使用して本装置に提供されてもよく、また、操作や表示をネットワーク上に接続された、本装置とは異なるコンピュータ等で実施してもよい。
【００４８】
本実施例では、横書きの文書で説明を行ったが、縦書きについても同様の手順により処理が可能である。すなわち、拡大する場合は、右上を原点に取ればよく、また移動する場合は左方に行えばよい。
【００４９】
補正対象とするレイアウト特性は、縮小・拡大および移動で補正可能であれば、上記以外のものであってもよい。例えば、文字間隔や単語間隔であってもよい。
【００５０】
文字認識手段は、本実施例では３個で説明したが、最低限１個存在すれば実施が可能である。文字認識手段は当該サービスの管理者によって自由に提供開始あるいは停止が行われる。また、文字認識手段が、主たる処理を実施する機器内に存在し、選択可能な文字認識手段の一つとして構成してもよい。
【００５１】
＜第２実施例＞
以下、本発明の第２実施例を説明する。構成図については第１実施例と同一であるので説明を省略する。本実施例では、あらかじめ使用可能な文字認識手段が限定されているものとする。本実施例における文字認識手段のレイアウト特性は第１実施例と同一とする。
【００５２】
図７は本実施例に係る処理の流れを示すフローチャートであり、本フローチャートを使用して処理を順に説明する。フローチャートの各ステップにおいて、第１実施例と同一の部分についてはその説明を省略する。
【００５３】
Ｓ７０１で、装置に存在するすべての文字認識手段のレイアウト特性の情報を取得する。Ｓ７０２で入力された文書画像の領域分割処理を行い、Ｓ７０３で文字領域を抽出する。Ｓ７０４で、Ｓ７０５以降の処理が全ての文字領域に実施されているかどうかを判断し、実施されていればＳ７１５に進み、各文字領域で得られた文字認識結果と文書画像等から電子ドキュメントを生成する。未処理領域が存在すればＳ７０５に進む。
【００５４】
Ｓ７０５において未処理の文字領域を選択する。Ｓ７０６ではＳ７０５で選択された文字領域のレイアウト特性を解析する。Ｓ７０７では、装置内の複数存在する文字認識手段から、選択された文字領域の認識に使用する手段を選択する。この選択は、事前に決められた選択方法に則って行われるようにすればよい。
【００５５】
次にＳ７０８で、文字認識手段が未対応なレイアウト特性を抽出する。Ｓ７０９において、未対応なレイアウト特性の補正方法を決定する。Ｓ７１０では、Ｓ７０９で決定した補正方法に基づき、補正内容、及び補正を行う文字画像に関する補正前の座標を記憶する。更に、Ｓ７１１では、Ｓ７０９で決定した補正方法に従い補正した画像を作成する。
【００５６】
Ｓ７１２では、Ｓ７１１で作成された補正画像を、Ｓ７０７で選択された文字認識手段に渡し、文字認識を実施する。文字認識終了後、文字認識の結果を文字認識手段から受け取る。Ｓ７１３において文字認識結果の逆補正を行う。逆補正が終了したら、Ｓ７１４で補正後の認識結果を保存する。そして、Ｓ７０４に戻る。
【００５７】
以上説明したように、本実施例によれば、あらかじめ文字認識手段のレイアウト特性を取得しているので、レイアウト特性解析結果を得て、より適する文字認識手段を選択できる。できるだけ画像の補正を行わないように制御することが可能である。なお、文字認識手段は、媒体を用いて、あるいはネットワークを介して本装置に追加可能となるように構成してもよい。
【００５８】
＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。上記記憶媒体はコンピュータ読取可能な媒体である。
【符号の説明】
【００５９】
１０１  システムバス
１０２  ＣＰＵ
１０３  ＲＯＭ
１０４  ＲＡＭ
１０５  外部記憶装置
１０６  ネットワークインターフェース
１０７  画像読取部
１０８  操作部
１０９  表示部
【図１】
2013250906.tif 000003
【図２】
2013250906.tif 000004
【図３】
2013250906.tif 000005
【図４】
2013250906.tif 000006
【図５】
2013250906.tif 000007
【図６】
2013250906.tif 000008
【図７】
2013250906.tif 000009
【図８】
2013250906.tif 000010
【図９】
2013250906.tif 000011
【図１０】
2013250906.tif 000012
【図１１】
2013250906.tif 000013