(57)【要約】【課題】正しい文字切り結果を選択し、文字認識の精度を高めること目的とする。【解決手段】入力画像に含まれる文字列に対して文字認識を行い、複数の文字切り組み合わせ候補と、文字切り組み合わせ候補に含まれる複数の文字切り結果と、を文字認識の結果として出力する文字認識手段と、文字列の画像と、文字認識手段での文字認識の結果と、に基づき、文字のフォントと、文字のフォントサイズと、の情報を含む組版情報を生成する組版情報生成手段と、組版情報生成手段で生成された組版情報に基づいて、文字切り組み合わせ候補に含まれる複数の文字切り結果に対して組版処理を行う組版処理手段と、文字列の画像と、組版処理手段における組版処理の結果と、を比較することで文字認識手段での文字認識の結果を補正する補正手段と、を有する。【選択図】図２
2011090579.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に含まれる文字列に対して文字認識を行い、複数の文字切り組み合わせ候補と、前記文字切り組み合わせ候補に含まれる複数の文字切り結果と、を文字認識の結果として出力する文字認識手段と、
前記文字列の画像と、前記文字認識手段での文字認識の結果と、に基づき、文字のフォントと、文字のフォントサイズと、の情報を含む組版情報を生成する組版情報生成手段と、
前記組版情報生成手段で生成された組版情報に基づいて、前記文字切り組み合わせ候補に含まれる複数の文字切り結果に対して組版処理を行う組版処理手段と、
前記文字列の画像と、前記組版処理手段における組版処理の結果と、を比較することで前記文字認識手段での文字認識の結果を補正する補正手段と、
を有する画像処理装置。
【請求項２】
前記補正手段は、前記文字列の画像の幅と、前記組版処理手段における組版処理の結果の幅と、を比較することで前記文字認識手段での文字認識の結果を補正する請求項１記載の画像処理装置。
【請求項３】
前記文字認識手段は、入力画像に含まれる文字列に対して文字認識を行い、複数の文字切り組み合わせ候補と、前記文字切り組み合わせ候補に含まれる複数の文字切り結果と、前記複数の文字切り結果に対する複数の候補文字コードと、各候補文字コードの類似度と、を文字認識の結果として出力し、
前記組版情報生成手段で生成された組版情報から処理対象の文字切り結果に対する複数の候補文字コードの大きさ及び位置を求め、前記複数の候補文字コードの大きさ及び位置と、前記処理対象の文字切り結果に該当する前記文字列の画像の矩形の大きさ及び位置と、比較し、比較の結果に基づき各候補文字コードの類似度を補正する類似度補正手段を更に有し、
前記組版処理手段は、前記類似度補正手段で補正された類似度に基づき、各文字切り結果に対する複数の候補文字コードから一の候補文字コードを選択し、前記組版情報生成手段で生成された組版情報に基づき、選択した候補文字コードに対して組版処理を行う、請求項１又は２記載の画像処理装置。
【請求項４】
画像処理装置が実行する画像処理方法であって、
入力画像に含まれる文字列に対して文字認識を行い、複数の文字切り組み合わせ候補と、前記文字切り組み合わせ候補に含まれる複数の文字切り結果と、を文字認識の結果として出力する文字認識ステップと、
前記文字列の画像と、前記文字認識ステップでの文字認識の結果と、に基づき、文字のフォントと、文字のフォントサイズと、の情報を含む組版情報を生成する組版情報生成ステップと、
前記組版情報生成ステップで生成された組版情報に基づいて、前記文字切り組み合わせ候補に含まれる複数の文字切り結果に対して組版処理を行う組版処理ステップと、
前記文字列の画像と、前記組版処理ステップにおける組版処理の結果と、を比較することで前記文字認識ステップでの文字認識の結果を補正する補正ステップと、
を有する画像処理方法。
【請求項５】
コンピュータを、
入力画像に含まれる文字列に対して文字認識を行い、複数の文字切り組み合わせ候補と、前記文字切り組み合わせ候補に含まれる複数の文字切り結果と、を文字認識の結果として出力する文字認識手段と、
前記文字列の画像と、前記文字認識手段での文字認識の結果と、に基づき、文字のフォントと、文字のフォントサイズと、の情報を含む組版情報を生成する組版情報生成手段と、
前記組版情報生成手段で生成された組版情報に基づいて、前記文字切り組み合わせ候補に含まれる複数の文字切り結果に対して組版処理を行う組版処理手段と、
前記文字列の画像と、前記組版処理手段における組版処理の結果と、を比較することで前記文字認識手段での文字認識の結果を補正する補正手段と、
して機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
文字認識の精度向上のために、文字を構成する少なくとも一つ以上の黒画素塊の組み合わせについて辞書との照合を行って、類似度の高い組み合わせを文字とし出力する技術がある（特許文献１）。
前記技術では、例えば、「ル」のようなパターンが入力された場合、「ノ」「レ」のように分割して認識したものと辞書との照合の結果との類似度と、結合して「ル」と認識したものと辞書との照合の結果の類似度と、に応じて出力結果を生成している。また、前記技術では、文字認識処理の中で、「ノ」「レ」を「ル」と変更するような特定文字の組み合わせに依存する固有処理を行っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開昭６３−８３８９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
文字認識処理において複数の文字切り結果の組み合わせから最終的に１つの組み合わせを選択する場合に、文字を構成する画素塊の一部が別の文字と類似度が高くなっているときがある。その結果、間違った組み合わせが選択されてしまい、誤認識となることがあった。
例えば、ローマ数字の「IV」とアルファベットの「ＩＶ」との場合では、どちらの場合も類似度が高く、また特定文字の組み合わせに依存する固有処理を行うこともできないため誤認識となることがある。
【０００５】
本発明はこのような問題点に鑑みなされたもので、正しい文字切り結果を選択し、文字認識の精度を高めることを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明は、入力画像に含まれる文字列に対して文字認識を行い、複数の文字切り組み合わせ候補と、前記文字切り組み合わせ候補に含まれる複数の文字切り結果と、を文字認識の結果として出力する文字認識手段と、前記文字列の画像と、前記文字認識手段での文字認識の結果と、に基づき、文字のフォントと、文字のフォントサイズと、の情報を含む組版情報を生成する組版情報生成手段と、前記組版情報生成手段で生成された組版情報に基づいて、前記文字切り組み合わせ候補に含まれる複数の文字切り結果に対して組版処理を行う組版処理手段と、前記文字列の画像と、前記組版処理手段における組版処理の結果と、を比較することで前記文字認識手段での文字認識の結果を補正する補正手段と、を有する。
【発明の効果】
【０００７】
本発明によれば、正しい文字切り結果を選択し、文字認識の精度を高めることができる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置の一例である文字認識処理装置のハードウェア構成の一例を示す図である。
【図２】実施形態１の文字認識処理の一例を示すフローチャートである。
【図３】文字切り組み合わせ候補の一例を示す図である。
【図４】文字コードと類似度との一例を示す図である。
【図５】行情報の一例を示す図である。
【図６】画像とフォントとの比較の一例を示す図である。
【図７】フォントによるスコアと補正した類似度との一例を示す図である。
【図８】各文字切り組み合わせ候補の補正類似度と平均値との一例を示す図である。
【図９】画像と各文字切り組み合わせ候補の組版結果との一例を示す図である。
【図１０】文字列長によるスコアと総合スコアとの一例を示す図である。
【図１１】実施形態２の文字認識処理の一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面に基づいて説明する。
【００１０】
＜実施形態１＞
図１は、画像処理装置の一例である文字認識処理装置のハードウェア構成の一例を示す図である。ＣＰＵ１０１は、ＲＯＭ１０２に格納されている制御プログラムに従って本装置全体の制御を行う。ＲＯＭ１０２は、制御プログラム等を格納する。ＲＡＭ１０３は、画像データ等を記憶する。外部記憶装置１０４は、磁気ディスク等の外部記憶装置である。ディスプレイ１０５は、例えば、文字の認識結果等を表示する。キーボード１０６は、オペレータの操作に応じて情報を入力する。ポインティングデバイス１０７は、例えばマウス等である。スキャナ１０８は、画像を読み取る。
なお、文字認識処理装置は、汎用的なコンピュータでも実施可能である。この場合、媒体等で提供される制御プログラムは、外部記憶装置１０４に記憶され、オペレータの指示等によりＣＰＵ１０１が制御プログラムに基づき処理を実行する。また、ネットワークインターフェース１０９は、図示しない遠隔地に存在する装置と通信し、プログラムやデータ等を読み込んだり、書き込んだりする。
なお、スキャナ１０８やディスプレイ１０５等は、インターフェイスを介して接続された構成でもよい。
ＣＰＵ１０１が、制御プログラムに基づき処理を実行することによって、文字認識処理装置の機能及び後述するフローチャートに係る処理が実現される。
【００１１】
図２は、実施形態１の文字認識処理の一例を示すフローチャートである。
Ｓ２０１において、ＣＰＵ１０１は、入力された画像にある文字領域に対して文字認識を行う。ここでは、図３の（Ａ）に示す文字行の画像（文字列の画像）に対し、（Ｂ）、（Ｃ）の２つの文字切り組み合わせ候補が生成された場合を例に以下の処理を説明する。また各文字切り結果に対し、少なくとも一つ以上の候補文字コードと類似度とが得られているものとする。一例として、図４（Ａ）に示す文字切り結果については図４（Ｂ）に示す結果が得られているものとする。本実施形態の例では、類似度は、０〜１００００で表され、数値が大きいほど類似しているものとする。但し、類似度として辞書との距離を表す値を使う場合は、類似度の値が小さいほど類似するものとなる。以下では、類似度の値が大きいほど類似しているものとして説明する。
Ｓ２０２において、ＣＰＵ１０１は、入力画像と文字認識結果とを基に、フォント、フォントサイズ、行情報等の情報を含む組版情報を生成する（組版情報生成）。本ステップでは、ＣＰＵ１０１は、文字領域ごとに組版情報を検出する。なお、組版情報に字詰めの情報を含めるようにしてもよい。図５は、組版情報として得られる行情報を説明するための図である。図５（Ａ）の５０１は、「小」の仮想ボディである。５０２は、字面枠である。図５（Ｂ）は画像中の文字列の行情報を表している。５０４は、画像上でフォントの字面が存在する範囲の上端である。５０５は、画像上でフォントの字面が存在する範囲の下端である。５０３は、フォントの仮想ボディを考慮した仮想的な行の上端である。５０６は、フォントの仮想ボディを考慮した仮想的な行の下端である。
Ｓ２０３は、文字認識が結果の全ての行に対してのループ処理を行うステップである。
【００１２】
Ｓ２０４は、Ｓ２０３で処理対象とした行にある、全ての文字切り結果の組み合わせに対してのループ処理を行うステップである。図３（Ａ）の行を処理する場合は、図３（Ｂ）と（Ｃ）との２つをループ内で処理することになる。
Ｓ２０５は、Ｓ２０４で処理対象とした行に含まれる文字に対してのループ処理を行うステップである。図３（Ｂ）の行の処理中は６個の文字切り結果矩形を、図３（Ｃ）の行の処理中は２個の文字切り結果矩形を処理することになる。
Ｓ２０６において、ＣＰＵ１０１は、Ｓ２０２で得られたフォント・フォントサイズ・行情報を使い処理対象の文字切り結果にある複数の候補文字コードの大きさ・位置を求め、この大きさ・位置と、入力画像中の大きさ・位置と、を比較する。このことで、ＣＰＵ１０１は、文字コードの類似度を補正（類似度補正）し、候補の順位を変更する。図３の例を使い比較方法の詳細を説明する。図６（Ａ）は、Ｓ２０２で得られたフォントとフォントサイズとから得られた図４の例の第一候補文字コードのフォント情報である。６０１は、第一候補文字「ノ」の仮想ボディである。６０２は、字面枠である。図６（Ｂ）は、画像中の処理対象の文字切り候補の位置と大きさである。図６（Ｂ）中のＸ軸は、Ｓ２０２で得られた仮想的な行情報の上端である。図６（Ｂ）中のＹ軸は、図６（Ｂ）の画像中の文字切り候補の左端に沿った位置とする。ＣＰＵ１０１は、Ｓ２０２で得られたフォント・フォントサイズ・行の情報を使い、画像上の文字位置にフォントを仮想的に重ねる処理を行う。Ｘ軸及びＹ軸は図６（Ｂ）で得られたものを使い、ＣＰＵ１０１は、Ｘ軸にフォントの仮想ボディの上端を沿わせ、Ｙ軸にフォントの字面枠の左端を沿わせて配置する。このように処理を行うと、図６（Ｃ）のように配置されることになる。図５（Ｄ）は矩形の重なりであり、ＣＰＵ１０１は、下記式により、矩形の重なりからフォントによるスコアを算出する。
（フォントによるスコア）＝２＊（重なり部の面積）／（画像中の矩形の面積）＊（フォントの字面部の面積）−（式Ａ）
それぞれの矩形が一致する場合は１となり、重なり部分がないと０となる。
【００１３】
図６（Ｃ）、（Ｄ）を使い計算方法を説明する。Ｘ軸上では画像とフォントの位置は必ず重なるため、ＣＰＵ１０１は、Ｙ軸上の重なりの大きさを計算する。Ｙ軸では、（Ｙ０＋Ｈ０−１とＹ１＋Ｈ１−１との小さい値）−（Ｙ０とＹ１とを比較した大きい値）が０より大きければ重なりがあり、その値が重なりの大きさである。Ｘ軸の重なりは、Ｘ０とＸ１との小さい値であり、ＣＰＵ１０１は、Ｘ軸の重なりとＹ軸の重なりとを掛けて重なり部の面積を得る。画像中の矩形の面積は、Ｗ０×Ｈ０である。フォントの字面部の面積は、Ｗ１×Ｈ１である。そのため、ＣＰＵ１０１は、以上で求めた値で式Ａを計算するとフォントによるスコアを得ることができる。ＣＰＵ１０１は、図４（Ｂ）中の全ての候補文字コードについて計算することにより図７中のフォントによる得点列にある値を得る。ＣＰＵ１０１は、この値と文字認識の類似度とを掛けることによって、図７中の補正された文字認識結果の類似度を得る。ＣＰＵ１０１は、この中での最大値を得た文字コードを第一候補とする。
Ｓ２０７は、Ｓ２０４で開始した文字単位の処理ループの終端である。ここまでの処理で処理中の文字切り組み合わせ候補に含まれる文字の類似度の補正が完了することになる。この結果、図３（Ｂ）（Ｃ）の例では、図８のような第一候補の文字列と類似度とを得ることになる。ここで平均値を使って組み合わせを選択すると（Ｂ）が選ばれることになり誤認識となってしまう。
Ｓ２０８において、ＣＰＵ１０１は、Ｓ２０４からＳ２０６までで行ったフォントとフォントサイズとによる候補順位の入れ替え結果で第一位となった文字コードを使い、Ｓ２０２で得られた組版情報を使用して文字列の組版処理を行う。ここでの処理結果は、図３（Ｂ）（Ｃ）の例を用いると図９（Ｂ）（Ｃ）のようになる。
【００１４】
Ｓ２０９において、ＣＰＵ１０１は、Ｓ２０７で生成した文字列の組版処理の結果と画像上の文字列との比較を行い、スコアを決定する。
ＣＰＵ１０１は、下記式により、文字列長のスコアを計算する。
（文字列長のスコア）＝１−｜（画像中の長さ）−（組版結果の長さ）｜／（画像中の長さ）
ＣＰＵ１０１は、各文字切り結果候補について計算を行い、下記式により総合スコアを求める。
（統合スコア）＝（平均類似度）＊（文字列長のスコア）
画像の幅を１００とするとき、図３（Ｂ）の文字切り結果組み合わせ候補の幅は図９（Ｂ）に示すように３０６となり、図３（Ｃ）の文字切り結果組み合わせ候補の幅は図９（Ｃ）に示すように１００となる。ＣＰＵ１０１は、得られた値と図８の平均類似度とを掛けることで統合スコアを得る。この結果を図１０に示す。
Ｓ２１０は、Ｓ２０４の処理ループの終端である。ここまでの処理で、文字切りの組み合わせの全ての文字の類似度が補正され第一候補の文字列が得られたことになる。
Ｓ２１１において、ＣＰＵ１０１は、行単位で行われた全ての文字候補の組み合わせに対し得られたスコアによって第一候補文字列を決定する。ＣＰＵ１０１は、Ｓ２０９で得られた全ての文字切り組み合わせ候補について得られた総合スコアを降順にソートし、一番大きいスコアを持つ文字列を第一候補文字列として出力する。図１０の結果が得られており、ＣＰＵ１０１は、「文字切り組み合わせ候補２」を最終結果として出力する。
Ｓ２１２は、行単位の処理Ｓ２０３の終端である。
【００１５】
＜実施形態２＞
実施形態１では文字領域ごとに組版情報の検出処理を行っていたが、文字認識処理で生成される行単位で組版情報の検出処理を行ってもよい。
図１１に本実施形態のフローチャートを示す。Ｓ２０２とＳ２０３の順番が入れ替わり、行単位で組版情報の検出処理を行う。
各ステップの処理は実施形態１と同じであるため、詳細の説明は省略する。
【００１６】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００１７】
以上、上述した各実施形態によれば、フォントやフォントサイズ等の情報から文字の類似度を補正することによって
【００１８】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
例えば、上述した実施形態では、横書きの文字列を例に説明を行ったため、行情報を用いて説明を行ったが、縦書きの文字列（列画像）の場合、文字認識処理装置は、列情報を用いる。また、上述した実施形態では、横書きの文字列を例に説明を行ったため、図９に示したように画像の幅と、文字切り組み合わせ候補の幅と、を比較した。しかしながら、縦書きの文字列の場合、文字認識処理装置は、画像の高さと、文字切り組み合わせ候補の高さと、を比較するようにしてもよい。
【符号の説明】
【００１９】
１０１  ＣＰＵ
【図１】
2011090579.tif 000003
【図２】
2011090579.tif 000004
【図３】
2011090579.tif 000005
【図４】
2011090579.tif 000006
【図５】
2011090579.tif 000007
【図６】
2011090579.tif 000008
【図７】
2011090579.tif 000009
【図８】
2011090579.tif 000010
【図９】
2011090579.tif 000011
【図１０】
2011090579.tif 000012
【図１１】
2011090579.tif 000013