(57)【特許請求の範囲】
【請求項１】
画像データ中の文字画像データを文字コードデータに変換する画像処理装置において、
背景画像上に文字画像が存在する画像データから文字画像データを抽出する文字画像データ抽出部と、
抽出された文字画像データを文字コードデータに変換する変換部と、
背景画像上の文字画像部分を除去し、除去された部分の画像データを周辺背景画像データに応じて補正する背景画像補正部と、
文字コードデータ及び文字画像部分を補正した背景画像データのそれぞれをオブジェクトとするデータファイルとして合成する合成部と
を有する
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載された画像処理装置において、
前記の変換部は、色変化のある文字画像データを文字コードデータに変換しないことを特徴とする画像処理装置。
【請求項３】
請求項１に記載された画像処理装置において、
前記の文字データ抽出部は、１文字づつ文字コードデータを抽出することを特徴とする画像処理装置。
【請求項４】
請求項１に記載された画像処理装置において、
前記の文字データ抽出部は、単語単位で文字コードデータを抽出することを特徴とする画像処理装置。
【請求項５】
画像データ中の文字画像データを文字コードデータに変換する画像処理方法であって、
背景画像上に文字画像が存在する画像データから文字画像データを抽出するステップと、
抽出された文字画像データを文字コードデータに変換するステップと、
背景画像上の文字画像部分を除去し、除去された部分の画像データを周辺背景画像データに応じて補正するステップと、
文字コードデータ及び文字画像部分を補正した背景画像データのそれぞれをオブジェクトとするデータファイルとして合成するステップと、
ステップと
からなる画像処理方法。
【請求項６】
背景画像上に文字画像が存在する画像データから文字画像データを抽出するステップと、
抽出された文字画像データを文字コードデータに変換するステップと、
背景画像上の文字画像部分を除去し、除去された部分の画像データを周辺背景画像データに応じて補正するステップと、
文字コードデータ及び文字画像部分を補正した背景画像データのそれぞれをオブジェクトとするデータファイルとして合成するステップと、
をコンピュータに実行させるための、画像データ中の文字画像データを文字コードデータに変換する画像処理プログラムを記録するコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データ中の文字画像データを文字コードデータに変換する文字認識に関する。
【０００２】
【従来の技術】
従来から、文字認識(ＯＣＲ)装置による文字認識技術では、テキスト画像の文字を認識するだけではなく、原稿のレイアウトも認識し、文字以外の画像データはビットマップ形式の画像データとしてレイアウトに応じた所定位置に配置し、１つのファイルとして出力するものが存在している。
【０００３】
【発明が解決しようとする課題】
しかし、背景画像上に文字が描かれている原稿において、その文字画像データを文字コードデータに変換した後で、元の画像データと合成することは困難であった。なぜなら、元の画像データで使用されている文字のフォントや配置と文字コードデータに変換した後の文字のフォントや配置とが必ずしも一致しないからである。
従来の文字認識技術においては、例えば、図１に示すように、原稿上の文字画像データを文字コードデータに変換するだけで、背景画像データは出力しないものや、図２に示すように、原稿の画像データと変換後の文字コードデータとを重ねて出力するものが存在していた。しかし、前者では、背景画像がなくなっており、情報が欠落してしまうし、後者では、文字画像データと文字コードデータによる出力画像がずれており、出力画像が見づらいものとなってしまう。
【０００４】
本発明の目的は、背景のある文字をうまく再現する画像処理のための装置、方法および記録媒体を提供することである。
【０００５】
【課題を解決するための手段】
本発明に係る画像処理装置は、画像データ中の文字画像データを文字コードデータに変換する画像処理装置であって、背景画像上に文字画像が存在する画像データから、文字画像データを抽出する文字画像データ抽出部と、抽出された文字画像データを文字コードデータに変換する変換部と、背景画像上の文字画像部分を除去し、除去された部分の画像データを周辺背景画像データに応じて補正する背景画像補正部と、文字コードデータ及び文字画像部分を補正した背景画像データのそれぞれをオブジェクトとするデータファイルとしてを合成する合成部とを有する。
前記の画像処理装置において、好ましくは、前記の変換部は、色変化のある文字画像データを文字コードデータに変換しない。
前記の画像処理装置において、前記の文字データ抽出部は、たとえば、１文字づつ文字コードデータを抽出する。
前記の画像処理装置において、前記の文字データ抽出部は、たとえば、単語単位で文字コードデータを抽出する。
【０００６】
本発明に係る画像処理方法は、画像データ中の文字画像データを文字コードデータに変換する画像処理方法であって、背景画像上に文字画像が存在する画像データから、文字画像データを抽出するステップと、抽出された文字画像データを文字コードデータに変換するステップと、背景画像上の文字画像部分を除去し、除去された部分の画像データを周辺背景画像データに応じて補正するステップと、文字コードデータ及び文字画像部分を補正した背景画像データのそれぞれをオブジェクトとするデータファイルとして合成するステップとからなる。
【０００７】
本発明に係るコンピュータ読み取りが可能な記録媒体は、背景画像上に文字画像が存在する画像データから、文字画像データを抽出するステップと、抽出された文字画像データを文字コードデータに変換するステップと、背景画像上の文字画像部分を除去し、除去された部分の画像データを周辺背景画像データに応じて補正するステップと、文字コードデータ及び文字画像部分を補正した背景画像データのそれぞれをオブジェクトとするデータファイルとして合成するステップとをコンピュータに実行させるための、画像データ中の文字画像データを文字コードデータに変換する画像処理プログラムを記録する。
【０００８】
【発明の実施の形態】
以下、添付の図面を参照して発明の実施の形態を説明する。なお、図面において、同じ参照記号は同一または同等のものを示す。
図３は、発明の１実施形態におけるシステム構成を示す。ネットワーク１００に、文字認識機能を有する文字認識処理装置としてコンピュータ２００、画像出力装置としてプリンタ３００、画像入力装置としてスキャナ４００などが接続されている。本実施形態では、コンピュータ２００が文字認識機能を有しているが、文字認識機能を画像出力装置または画像入力装置に持たせてもよい。また、画像出力装置は、プリンタ３００に限らず、ディスプレイであってもよい。さらに、画像入力装置は、スキャナ４００に限らず、デジタルカメラ、フィルムスキャナなどのデジタル画像を入力する機器であってもよい。
【０００９】
コンピュータ２００には、文書認識処理部２１０と、スキャナドライバ２３０、プリンタドライバ２４０などの周辺機器を制御するソフトが搭載されている。例えば、スキャナドライバ２３０を用いて、コンピュータ２００上の画面から、スキャナ４００の読取条件の設定や読み取り開始が指示できる。
【００１０】
なお、本実施形態ではスキャナ４００で読み取って得られた画像データに対してコンピュータ２００で処理を行っている。しかし、同様の処理をスキャナ４００内で行ってもよいし、プリンタ３００で行うようにしてもよい。また、スタンドアロンのデジタル複写機のような形態にも適用できる。
【００１１】
文書認識処理部２１０では、背景画像上に文字画像が存在する画像データから文字画像データを抽出し、抽出された文字画像データを文字コードデータに変換する。また、背景画像上の文字画像部分の画像データを周辺背景画像データに応じて補正する。そして、文字コードデータと補正後の画像データとを合成する。具体的には、文字認識部２１２は、画像を読み取って得られた画像データから文字画像データを認識し、文字画像データを文字コードに変換して出力する。文字除去部２１４は、認識した文字コードデータを元の画像データから除去し、画像認識部２１６は、文字画像データが除去された画像データから、さらに余白(白地で何も描かれていない領域)以外の写真・図柄などの画像データを認識する。画像合成部２１８は、文字コードデータと、画像認識部２１６で認識された画像データとを合成する。これにより、元の原稿に含まれる文字画像データと変換された文字コードデータが重なることがない。また、原稿に含まれる背景を残したまま、原稿に含まれる文字画像データにおいて、文字コードデータを用いて、文章の編集・加工が容易であり、また、検索キーワードとしても使用可能になる。
【００１２】
図４は、文書認識処理部２１０の処理を模式的に示したものである。左側の図は、背景画像の上に文字が描かれている原稿を示し、この原稿に対して、右下の図は、原稿上の文字画像データを文字認識部２１２で文字コードデータに変換した画像データを示し、右上の図は、ビットマップ画像認識部２１６で認識した画像から原稿上の文字画像データを文字除去部２１４で除去したビットマップ画像データを示す。
【００１３】
図５は、文書認識処理部２１０における処理のフローチャートである。まずスキャナ４００により、原稿を読み取って得られたＲＧＢ成分で構成された画像データを、個々のスキャナデバイスに依存しないＬａｂ成分の画像データへと色空間変換をする（Ｓ１０）。
【００１４】
次に、色空間が変換された画像データに対して、文字認識部２１２での認識率を上げるため、ＯＣＲ前処理を行う（Ｓ１２）。具体的には、Ｌａｂ成分の画像データに対し、文字画像データが黒、背景画像データが白となるように、２値化処理を行う。ここで、Ｌａｂ成分の画像データは別の場所に保存しておく。さらにＯＣＲ前処理では、画像データに含まれる孤立点などのノイズ除去、原稿読取時の原稿の傾きによる画像データの傾きの補正、つぶれ文字やかすれ文字の補正なども行う。ここでは、Ｌａｂ成分の画像データに対してＯＣＲ前処理を行っているが、色空間変換前のＲＧＢ成分の画像データに対してＯＣＲ前処理を行ってもよい。
【００１５】
次に、文字認識部２１２で、画像データに含まれる文字画像データで構成される行、及び、各文字画像データを画像データから切り出し、各文字画像データについて文字コード、フォント、フォントサイズなどが認識される（Ｓ１４）。文字コードデータの抽出は、たとえば１文字づつ行うが、単語単位で行ってもよい。フォント及びフォントサイズについては、文書認識処理部２１０が有するフォントデータ群から最も類似度の高いフォント及びフォントサイズが選択される。また、文字認識部２１２は、認識された文字画像データの位置データとして、図６に示すような、原点（０，０）を画像データの左上端とする文字画像データを含む矩形の位置座標(Ｘ１，Ｙ１)、（Ｘ２、Ｙ２）を出力する。
【００１６】
なお、１つの文字内で色が変化した場合は、その文字は文字以外のものを誤認識したものとみなし、コード化は行わない。すなわち、色変化のある文字画像データは文字コードデータに変換しない。上述のＯＣＲ前処理（Ｓ１２）においてＬａｂ成分の画像データに対して２値化処理を行っているが、Ｌａｂ成分の画像データは別の場所に保存されており、その保存されている画像データから文字の色を検出する。具体的には、まず、図７に示す３×３最大値フィルターを用いて、文字認識のための入力モノクロ２値画像について近傍３×３画素の最大値をとるフィルター処理を行う。これにより、文字部分を収縮させる。これは、文字のエッジ部の影響を除去するためである。こうして２値画像を収縮処理した画像と、文字認識により得られた文字外接矩形とのＡＮＤをとり、その画像の画素についての平均データを求めてその文字の色とする。即ち、ｊ番目の文字のＬａｂ空間で表したカラー画像データをＣjとすると、
【数１】
0004189506.tif 000002
ここに、Ｎはｊ番目の文字の画素数である。
【００１７】
色が変化したか否かの判定は、収縮処理した文字の外接矩形を図８に破線で示すように４つに分割し、それぞれの領域でのＬａｂ値の平均を求めて比較することにより行う。４つの領域の平均Ｌａｂ値が一定値以上異なる場合は、色が変化したと判別される。４つの領域でのＬａｂ値をＣj1〜Ｃj4とすると、
Ｃj1＝(Ｌj1,ａj1,ｂj1)
Ｃj2＝(Ｌj2,ａj2,ｂj2)
Ｃj3＝(Ｌj3,ａj3,ｂj3)
Ｃj4＝(Ｌj4,ａj4,ｂj4)
で表される。次の条件
|Ｌjn−Ｌjm｜≧ｋ１ または
|ａjn−ａjm｜≧ｋ２ または
|ｂjn−ｂjm｜≧ｋ３
（ここに、ｎ＝１,２,３,４、ｍ＝１,２,３,４であり、ｋ１、ｋ２、ｋ３は定数である）を満たす場合、色が変化したと判別される。前述の１文字の平均画像データＣjは、実際は、これら４つの領域ごとの平均値を先に求め、再度その４つの値を平均して求められる。１つの文字内で色が変化した場合は、上述の文字コードへの変換は行わない。
【００１８】
次に、文字除去部２１４では、文字認識部２１２で認識された文字画像データを元のＬａｂ成分の画像データから除去する（Ｓ１６）。元のＬａｂ成分の画像データは、上述のＯＣＲ前処理（Ｓ１２）における２値化処理において別の場所に保存されているものである。文字除去処理において、具体的には、２値化した画像データに対し、図９に示す５×５の最小値フィルタを用いるフィルタ処理を行うことで、文字画像データを膨張させる。膨張させた文字画像データに対応するＬａｂ成分の画像データ部分を白抜きする。
【００１９】
次に、白抜きしたＬａｂ成分の画像データ部分を、図１０に示す７×７のフィルタによってフィルタ処理を行うことによって周辺画素の値に応じて補完する（Ｓ１８）。図１０に示す注目画素は、白抜きされた部分の画素であり、フィルタ内に示されている番号は周辺画素を参照する順番を示している。フィルタ内の順番に従って、注目画素の周辺を縦横斜めの８方向について、白でない画素があるか否かを調べていき、はじめから３つ目までの白でない画素の値の平均値で注目画素を補完する。このようにして、文字画像のない背景画像のみの画像データが作成される。さらに、画像データ量を減らすために画像データの必要部分のみを切り出して保存する。図１１に示すように、背景画像のみの画像データを左上から順に走査し、所定の閾値以上の濃度を持つ領域を矩形のビットマップ画像データとして切り出す。
【００２０】
以上のようにして作成された背景画像のみのビットマップ画像データと、文字認識部２１２で認識された文字コードデータとを、図１２に示すように配置し合成する（Ｓ２０）。合成方法は、出力するファイル形式に応じて様々であるが、例えば、ＲＴＦやＰＤＦの形式で出力する場合、画像データと文字コードはそれぞれ別々のオブジェクトとして扱われるので、画像を下に配置し、その上に文字コードデータを上書きすることで、図１２に示すように合成される。
【００２１】
なお、本実施形態ではスキャナ４００で読み取って得られた画像データに対してコンピュータ２００で処理を行っている。しかし、同様の処理をスキャナ４００内で行ってもよいし、プリンタ３００で行うようにしてもよい。また、スタンドアロンのデジタル複写機のような形態にも適用できる。
【００２２】
【発明の効果】
背景画像のある文字を、文字を除去した背景ビットマップ画像と文字コードに分離して再合成するので、
（１）コード化した文字と原稿の文字画像が２重に出力されることなく、原稿の背景を再現した出力が得られる。
（２）背景のある文字でも、文字がコード化されるので、読みやすい出力が得られ、文字サイズの変更ができ、また、検索に利用できる。
（３）背景のデータも再利用できる。たとえば、文字を変更しても、同じ背景の文書が作成できる。
色変化のある文字画像データは文字コードデータに変換しないことにより、文字以外のものを文字とする誤認識を減らせる。
【図面の簡単な説明】
【図１】  原稿と従来の出力例の図
【図２】  原稿と従来の他の出力例の図
【図３】  システム構成を示す図
【図４】  本発明の画像データ出力の１例の図
【図５】  画像処理全体のフローチャート
【図６】  文字の外接矩形の図
【図７】  最大値フィルターの図
【図８】  色検出を説明するための図
【図９】  文字除去の処理を示す図
【図１０】  補完データを探す画素位置の順の図
【図１１】  画像データ切り出しを説明するための図
【図１２】  合成画像の図
【符号の説明】
１００  ネットワーク、    ２００  コンピュータ、    ２０５  記憶装置、
２１０  文書認識処理部、    ３００  プリンタ、  ４００  スキャナ。
【図１】
0004189506.tif 000003
【図２】
0004189506.tif 000004
【図３】
0004189506.tif 000005
【図４】
0004189506.tif 000006
【図５】
0004189506.tif 000007
【図６】
0004189506.tif 000008
【図７】
0004189506.tif 000009
【図８】
0004189506.tif 000010
【図９】
0004189506.tif 000011
【図１０】
0004189506.tif 000012
【図１１】
0004189506.tif 000013
【図１２】
0004189506.tif 000014