(57)【要約】【課題】  デジタルカメラなどの非接触型画像読込み装置で読み込んだ画像を文字認識するときに問題となるピンぼけの影響を低減させ、文字認識精度を向上させることを目的とする。【解決手段】  同一被写体に対し、合焦位置の異なる複数の画像をそれぞれの焦点情報（合焦位置、焦点距離等）と併せて入力する画像入力手段と、入力された複数の画像に対して、文字認識用の前処理（二値化、歪み補正、傾斜補正等）を施して文字認識用画像を生成する文字認識画像生成手段と、生成された文字認識画像に対して、特徴量（テキスト、表、図等の領域）を抽出する特徴量抽出手段と、文字認識用画像のある領域に対して文字認識処理を行う文字認識手段と、画像入力手段より入力された焦点情報をもとに文字認識手段で認識したそれぞれの文字認識結果から最終的な文字認識結果を生成する最終文字認識結果生成手段からなる。【選択図】  図１
2008176716.tif 000002
【特許請求の範囲】
【請求項１】
同一被写体に対し、合焦位置の異なる複数の画像をそれぞれの焦点情報と併せて入力する画像入力手段と、
前記入力された複数の画像に対して、文字認識用の前処理を施して文字認識用画像を生成する文字認識画像生成手段と、
前記生成された文字認識画像に対して、特徴量を抽出する特徴量抽出手段と、
前記文字認識用画像のある領域に対して文字認識処理を行う文字認識手段と、
前記画像入力手段より入力された焦点情報をもとに、前記文字認識手段で認識したそれぞれの文字認識結果から最終的な文字認識結果を生成する最終文字認識結果生成手段と、
を有することを特徴とする画像処理装置。
【請求項２】
請求項１の最終文字認識結果生成手段は、画像上での合焦位置からそれぞれの文字までの距離を元に補正係数を算出し、補正係数によってそれぞれの文字認識結果の文字信頼度を補正する文字信頼度補正手段と、各画像の補正された信頼度を足し合わせて、文字認識結果の候補文字を並べ替えることを特徴とする画像処理装置。
【請求項３】
請求項１の最終文字認識結果生成手段は、焦点情報に含まれる焦点距離情報をもとに補正係数を算出し、補正係数によってそれぞれの文字の信頼度を補正する文字信頼度補正手段と、各画像の補正された信頼度を足し合わせて、文字認識結果の候補文字を並べ替えることを特徴とする画像処理装置。
【請求項４】
同一被写体に対し、合焦位置の異なる複数の画像をそれぞれの焦点情報と併せて入力する画像入力手段と、
前記画像入力装置より入力された焦点情報をもとに複数の画像を一枚の画像に合成する画像合成手段と、
前記合成された画像に対して、文字認識用の前処理を施して文字認識用画像を生成する文字認識画像生成手段と、
前記生成された文字認識画像に対して、特徴量を抽出する特徴量抽出手段と、
前記文字認識用画像のある領域に対して文字認識処理を行う文字認識手段と、
を有することを特徴とする画像処理装置。
【請求項５】
同一被写体に対し、合焦位置の異なる複数の画像をそれぞれの焦点情報と併せて入力する画像入力手段と、
前記入力された複数の画像に対して、文字認識用の前処理を施して文字認識用画像を生成する文字認識画像生成手段と、
前記生成された文字認識画像に対して、特徴量を抽出する特徴量抽出手段と、
前記文字認識用画像のある領域に対して文字認識処理を行う文字認識手段と、
前記文字認識結果の信頼度をもとに、焦点が合っている領域を計算する合焦領域計算手段と、
前記計算した領域で、特定の大きさの領域を持つ画像の文字認識結果の文字を併せて画像と保存する文字画像保存手段と、
を有することを特徴とする画像処理装置。
【請求項６】
同一被写体に対し、合焦位置の異なる複数の画像をそれぞれの焦点情報と併せて入力する画像入力手順と、
前記入力された複数の画像に対して、文字認識用の前処理を施して文字認識用画像を生成する文字認識画像生成手順と、
前記生成された文字認識画像に対して、特徴量を抽出する特徴量抽出手順と、
前記文字認識用画像のある領域に対して文字認識処理を行う文字認識手順と、
前記画像入力手段より入力された焦点情報をもとに、前記文字認識手段で認識したそれぞれの文字認識結果から最終的な文字認識結果を生成する最終文字認識結果生成手順と、
をコンピュータに実行させるためのプログラム。
【請求項７】
同一被写体に対し、合焦位置の異なる複数の画像をそれぞれの焦点情報と併せて入力する画像入力手順と、
前記画像入力装置より入力された焦点情報をもとに複数の画像を一枚の画像に合成する画像合成手順と、
前記合成された画像に対して、文字認識用の前処理を施して文字認識用画像を生成する文字認識画像生成手順と、
前記生成された文字認識画像に対して、特徴量を抽出する特徴量抽出手順と、
前記文字認識用画像のある領域に対して文字認識処理を行う文字認識手順と、
をコンピュータに実行させるためのプログラム。
【請求項８】
同一被写体に対し、合焦位置の異なる複数の画像をそれぞれの焦点情報と併せて入力する画像入力手順と、
前記入力された複数の画像に対して、文字認識用の前処理を施して文字認識用画像を生成する文字認識画像生成手順と、
前記生成された文字認識画像に対して、特徴量を抽出する特徴量抽出手順と、
前記文字認識用画像のある領域に対して文字認識処理を行う文字認識手順と、
前記文字認識結果の信頼度をもとに、焦点が合っている領域を計算する合焦領域計算手順段と、
前記計算した領域で、特定の大きさの領域を持つ画像の文字認識結果の文字を併せて画像と保存する文字画像保存手順と、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学的に文書原稿を読み取って得られた画像データを処理する情報処理装置及び方法に関し、特に読み取った画像データの再利用を前提とした処理に好適な情報処理装置及び方法に関する。
【背景技術】
【０００２】
従来の技術では、非接触型画像読込み装置で読み込んだ画像に対して、文字認識処理を実行し画像内の文字を抽出していた。このような技術では、読み込んだ画像に対して輝度値のヒストグラムを用いて、画像を二値化して文字認識を行うという技術が一般的であった。
【０００３】
しかしながら、非接触型画像読込み装置で読み込んだ画像には焦点が合っていない部分が存在し、焦点が合わない画像を二値化して抽出した文字の像は輪郭がぼやけたりかすれたりするために、認識結果に悪影響があった。このような焦点の合わない画像の文字認識を解決するための方法として以下の方法が提案されていた。
【０００４】
特開平０７−２９６１１３はこのような焦点があっていない画像の二値化処理の発明であり、二値化の閾値を部分画像ごとに変えることで最適な二値化処理を行うための発明である。
【０００５】
特開２００１−２１６４６７は撮影台などに置いた原稿が折れ曲がっていたり、波打っていたり（原稿台から浮いている）する場合、部分的に焦点が合わないため、予め、読込みの対象となる原稿を複数領域に分割し、その部分領域に焦点を合わせた部分画像を撮影し、部分画像を合成し文字認識を行うというものであった。
【特許文献１】特開平０７−２９６１１３号公報
【特許文献２】特開２００１−２１６４６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
前記説明したように、画像の焦点が合っていない場合の処理として、特開平０７−２９６１１３では二値化の閾値を変更することで文字認識に最適な画像をとりだすものであったが、多少文字の像がぼやけている程度では十分効果があるが、認識できないぼやけに対しては効果が期待できない。
【０００７】
また特開２００１−２１６４６７では折れ曲がった画像や波打った画像の部分画像を撮影したときに、撮影した部分画像の領域すべてに焦点が合うとは考えづらい。
【０００８】
本発明では、上記焦点の合っていない画像に対して文字認識処理を行った場合に、文字の認識精度が著しく悪くなるという問題を解決するためのものである。
【課題を解決するための手段】
【０００９】
同一被写体に対し、合焦位置の異なる複数の画像をそれぞれの焦点情報（合焦位置、焦点距離等）と併せて入力する画像入力手段と、入力された複数の画像に対して、文字認識用の前処理（二値化、歪み補正、傾斜補正等）を施して文字認識用画像を生成する文字認識画像生成手段と、生成された文字認識画像に対して、特徴量（テキスト、表、図等の領域）を抽出する特徴量抽出手段と、文字認識用画像のある領域に対して文字認識処理を行う文字認識手段と、画像入力手段より入力された焦点情報をもとに文字認識手段で認識したそれぞれの文字認識結果から最終的な文字認識結果を生成する最終文字認識結果生成手段とを有する。
【発明の効果】
【００１０】
上記説明したように、本発明によれば焦点が異なる複数の画像を処理することで、画像全面に対して焦点が合った画像を処理するのと同じ効果を得ることができるため、デジタルカメラなどの非接触型画像読込み装置で読み込んだ画像を文字認識するときに問題となるピンぼけの影響を低減することが可能となり、文字認識精度が向上する効果がある。
【発明を実施するための最良の形態】
【００１１】
次に本発明に係る画像処理装置の一実施形態を図面に基づいて説明する。
【００１２】
図１は、本発明に係る画像処理装置の一実施形態を示すブロック図である。
【００１３】
図１において、画像処理装置は、スキャナ、カメラ、カメラのＣＣＤ、あるいはファイル読み込み装置などの画像入力手段１１を有し、この画像入力手段１１から画像を画像データとして入力する。
【００１４】
画像入力手段１１はバス１７に接続され、バス１７を介して処理を実行するプロセッサ１２に接続されている。
【００１５】
バス１７にはさらにキーボード１３、ディスク１４、メモリ１５、出力手段１６が接続されている。
【００１６】
メモリ１５は、プロセッサ１２において処理制御情報を作成する際の一時データ記憶、あるいは画像入力手段１１で読み込んだ画像データ１５ｂを蓄積する。また、文字認識結果の文字データ１５ａを一時記憶する。また、後述するフローチャートに対応するような処理をコンピュータに実行させるための制御プログラム１５ｃが格納される。
【００１７】
プロセッサ１２は、メモリ１５に格納された制御プログラム１５ｃを実行することにより、文字認識用画像生成手段１２ａ、画像特徴量抽出手段１２ｂ、文字認識手段１２ｃ、文字認識結果補正手段１２ｄ、文字認識結果生成手段１２ｅとして機能する。
【００１８】
操作指示手段１３は、キーボード、カメラの操作ボタン等で、文字認識などの指示操作を行い、ディスク１４は、補助記憶装置として機能する。出力ファイル形式に変換したファイルを蓄積する。
【００１９】
出力手段１６は、ディスプレイ、プリンタ等であり、入力された画像の表示、出力ファイルの印刷等の各種情報を出力する。
【００２０】
画像入力手段１１で読み取った画像は、画像データ１５ｂとしてメモリ１５に格納される。画像データ１５ｂはプロセッサ１２に設けられた文字認識用画像生成手段１２ａにより、傾斜補正等の処理をし、二値化処理されて、画像特徴量抽出手段１２ｂに送られる。そして、黒ドットのヒストグラムを取るなどして画像に含まれる領域を識別し、画像データ１５ｂに含まれる領域をテキスト、図、表等に属性分類し、さらに解像度、各領域の位置情報、大きさ情報等を抽出し、メモリ１１およびディスク１４に保存する。
【００２１】
図２は、同一被写体の合焦位置の異なる複数の画像の例である。図２の被写体の合焦位置×が異なる複数の画像が画像Ａ、画像Ｂ、画像Ｃである。
【００２２】
図３は、図２の被写体の「き」の部分を画像Ａ、画像Ｂ、画像Ｃの文字認識結果から最終文字認識結果を生成する例を示す。
【００２３】
図３（ａ）は、図２の被写体の「き」の部分を画像Ａ、画像Ｂ、画像Ｃで、文字認識した結果の例である。文字認識結果は、複数の候補文字とその候補文字の信頼度からなる。図３（ａ）では、例えば、画像Ａの被写体の「き」の部分を文字認識結果は、候補文字「さ」（信頼度４０）、「き」（信頼度３５）、「を」（信頼度１５）、「と」（信頼度１０）である。
【００２４】
図３（ｂ）は、画像Ａ、画像Ｂ、画像Ｃの図２の被写体の「き」の部分の信頼度補正係数の例を示す。請求項２では、画像Ａの被写体「き」の位置から合焦位置までの距離、画像Ｂの被写体「き」の位置から合焦位置までの距離、画像Ｃの被写体「き」の位置から合焦位置までの距離から補正係数を求める。請求項３では、焦点情報に含まれる焦点距離情報（焦点距離、絞り、シャッター速度、露出、ＩＳＯ感度等）から、補正係数を求める。図２では、画像Ｂの距離が短く、画像Ｃの距離が離れているため、画像Ｂの補正係数が０．９と高く、画像Ｃの補正係数が０．４と低くなっている。
【００２５】
図３（ｃ）は、画像Ａ、画像Ｂ、画像Ｃの被写体の「き」の部分の文字信頼度を補正係数で補正した例である。図３（ａ）の文字認識結果の信頼度にそれぞれ図３（ｂ）の信頼度補正係数を乗算している。
【００２６】
図３（ｄ）は、被写体の「き」の部分の最終文字認識結果の例である。図３（ｃ）の画像Ａ、画像Ｂ、画像Ｃの被写体の「き」の部分の文字信頼度を補正係数で補正した結果から、候補文字毎に文字信頼度補正結果を足して、文字信頼度が高い順に並べている。例えば、候補文字「き」の信頼度は画像Ａでは信頼度２５、画像Ｂでは信頼度４５、画像Ｃでは信頼度８で、それらを合計して、信頼度７８となる。他の候補文字も同様に合計して、最終文字認識結果を得る。
【００２７】
図４は、同一被写体の合焦位置の異なる複数の画像から、画像を合成する例である。被写体の合焦位置×が異なる複数の画像が画像Ａ、画像Ｂ、画像Ｃから、合焦位置を位置を比較して、画像合成位置を求める。この例の場合、画像Ａの４１の部分、画像Ｂの４２の部分、画像Ｃの４３の部分が合成する部分である。この３つの部分を合成して、合成画像を得る。
【００２８】
図５は、図４の画像Ａ、画像Ｂ、画像Ｃを文字認識した結果の第１候補文字の信頼度を示す例である。被写体の合焦位置×に近い位置にある文字の信頼度が高くなる。その信頼度が高い文字のある領域を焦点が合っている領域と判断する。画像Ａ、画像Ｂ、画像Ｃから、焦点が合っている領域を計算し、特定の大きさを持つ画像の文字認識結果の文字信頼度の高い文字をその画像と併せて保存しておき、検索する場合の対象文字とする等して利用する。被写体が近景、中景、遠景のような場合に有効となる。特定の大きさを一番大きい領域とした場合、画像Ｂの文字認識結果の文字信頼度の高い文字を保存する。
【００２９】
図６は、請求項２における焦点情報により文字認識結果を補正して最終文字認識結果を取得する処理の一実施形態を示すフローチャートである。
【００３０】
ステップＳ６０１：同一被写体の焦点が異なる複数枚の画像を入力部（スキャナ、デジタルカメラ等）より読み取って、メモリに転送する。各画像には、合焦位置の情報も付加されている。
【００３１】
ステップＳ６０２：ステップＳ６０１で読み込んだ複数の画像それぞれから文字認識用画像を生成する。まず、読み込んだ画像に二値化、傾斜補正、歪み補正等の前処理を行う。
【００３２】
ステップＳ６０３：ステップＳ６０２で生成した文字認識用画像それぞれから特徴量（テキスト、図、表などの領域）を抽出する。ここで、画像中のテキスト、図、表、罫線などの各領域を取り出し、各領域に関する領域情報（ブロック番号、属性、位置、大きさ等の情報）をメモリに記憶する。
【００３３】
ステップＳ６０４：抽出した特徴量のテキスト領域を文字認識する。
【００３４】
ステップＳ６０５：各画像の文字認識結果の文字位置と合焦位置からの距離を計算する。
【００３５】
ステップＳ６０６：ステップＳ６０５で計算した距離から、各文字の信頼度の補正係数を計算する。
【００３６】
ステップＳ６０７：ステップＳ６０６で計算した補正係数で、各文字の候補文字の信頼度を補正する。
【００３７】
ステップＳ６０８：各画像の同じ文字位置にある文字を補正係数で補正した信頼度を足して、最終文字認識結果を出力する。
【００３８】
図７は、請求項４における焦点情報により画像を合成する処理の一実施形態を示すフローチャートである。
【００３９】
ステップＳ７０１：同一被写体の焦点が異なる複数枚の画像を入力部（スキャナ、デジタルカメラ等）より読み取って、メモリに転送する。各画像には、合焦位置の情報も付加されている。
【００４０】
ステップＳ７０２：各画像の合焦位置から合成位置を計算する。図５の画像A、画像B、画像Cの合焦位置を比較し、画像Aと画像Bの合焦位置から画像Aと画像Bの合成位置を、画像Bと画像Cの合焦位置から画像Bと画像Cの合成位置を計算する。
【００４１】
ステップＳ７０３：ステップＳ７０２で計算した合成位置で、各画像を合成して１枚の画像にする。
【００４２】
ステップＳ７０４：ステップＳ７０３で合成した画像から文字認識用画像を生成する。まず、読み込んだ画像に二値化、傾斜補正、歪み補正等の前処理を行う。
【００４３】
ステップＳ７０５：ステップＳ７０４で前処理を行った画像から、特徴量（テキスト、図、表などの領域）を抽出する。ここで、画像中のテキスト、図、表、罫線などの各領域を取り出し、各領域に関する領域情報（ブロック番号、属性、位置、大きさ等の情報）をメモリに記憶する。
【００４４】
ステップＳ７０６：抽出した特徴量のテキスト領域を文字認識する。
【００４５】
以上述べたように、本発明によれば、焦点が異なる複数の画像を処理することで、画像全面に対して焦点が合った画像を処理するのと同じ効果を得ることができるため、デジタルカメラなどの非接触型画像読込み装置で読み込んだ画像を文字認識するときに問題となるピンぼけの影響を低減させて、文字認識精度を向上させる効果がある。
【図面の簡単な説明】
【００４６】
【図１】本発明に係る画像処理装置の一実施形態を示すブロック図である。
【図２】同一被写体の合焦位置の異なる複数の画像の例である。
【図３】図２の被写体の「き」の部分を画像Ａ、画像Ｂ、画像Ｃの文字認識結果から最終文字認識結果を生成する例である。
【図４】同一被写体の合焦位置の異なる複数の画像から、画像を合成する例である。
【図５】図４の画像Ａ、画像Ｂ、画像Ｃを文字認識した結果の第１候補文字の信頼度を示す例である。
【図６】焦点情報により文字認識結果を補正して最終文字認識結果を取得する処理の一実施形態を示すフローチャートである。
【図７】焦点情報により画像を合成する処理の一実施形態を示すフローチャートである。
【符号の説明】
【００４７】
１１  スキャナ、カメラ等の画像入力手段
１２  プロセッサ
１２ａ  文字認識用画像生成手段
１２ｂ  画像特徴量抽出手段
１２ｃ  文字認識手段
１２ｄ  文字信頼度補正手段
１２ｅ  文字認識結果生成手段
１３  キーボード、操作ボタン等の操作指示手段
１４  ディスク
１５  メモリ
１６  ディスプレイ、プリンタ等の出力手段
【図１】
2008176716.tif 000003
【図２】
2008176716.tif 000004
【図３】
2008176716.tif 000005
【図４】
2008176716.tif 000006
【図５】
2008176716.tif 000007
【図６】
2008176716.tif 000008
【図７】
2008176716.tif 000009