(57)【要約】      （修正有）【課題】予め位置合せ用のマークが記録されていない未書込みの印刷物と書込みがされた印刷物の差分画像を精度よく抽出する差分画像抽出装置を提供する。【解決手段】未書込みの印刷物２０１の画像データを２値化画像データに変換し、黒画素のヒストグラムを紙面の横方向２０３と縦方向２０４とに生成する。黒画素と白画素とが交互に規則的に繰り返す領域を文字領域と判定し、その部分をテンプレート２０７とする。テンプレート２０７の２点の座標を紙面の一隅を原点として求める。書込みがされた印刷物の２値化画像データとテンプレートの２値化画像データとを照合し、テンプレートのそれに一致する領域を見つけ、テンプレートの２点に対応する座標を求める。書込みがされた印刷物の座標とテンプレートの座標との差分をとり、補正値を求めて、２値化画像データの位置補正をする。位置補正した両印刷物の２値化画像データの差分を抽出し、出力する。【選択図】図２
2007041832.tif 000002
【特許請求の範囲】
【請求項１】
末書込みの印刷物と、書き込みがされた印刷物との差分を抽出する差分画像抽出装置であって、
２つの印刷物の画像を取得する画像取得手段と、
末書込みの印刷物の文字領域を抽出する画像抽出手段と、
抽出した文字領域と書込みがされた印刷物の画像データとを照合して両印刷物の位置合せをする位置合せ手段と、
位置合せした状態で２つの印刷物の差分画像を抽出する差分抽出手段とを備えることを特徴とする差分画像抽出装置。
【請求項２】
前記画像抽出手段は、
前記画像取得手段で取得された末書込みの印刷物の画像を各画素毎に黒画素と白画素とに２値化した画像データとする２値化部と、
前記２値化部で黒画素とされた画像データを末書込みの印刷物の紙面の縦方向と横方向とに投影したヒストグラムを生成するヒストグラム生成部と、
生成されたヒストグラムの形状から文字領域を判定する判定部と、
前記判定部で判定された文字領域からＭ行Ｎ列の画像データをテンプレートとして抽出するテンプレート抽出部とを有することを特徴とする請求項１記載の差分画像抽出装置。
【請求項３】
前記位置合せ手段は、
前記書込みがされた印刷物の画像を各画素毎に黒画素と白画素とに２値化した画像データとする対象２値化部と、
前記テンプレート抽出部で抽出されたテンプレートと前記対象２値化部で２値化された画像データとが一致する領域を認識する一致領域認識部と、
前記一致領域認識部で一致するとした領域の座標値を前記テンプレートの座標値と一致させる位置合せ部とを有することを特徴とする請求項２記載の差分画像抽出装置。
【請求項４】
前記差分抽出手段は、
前記末書込みの印刷物の文字領域と判定された領域に白画素の集合である余白領域を加えた領域と、書込みがされた印刷物の対応する領域とを抽出する領域抽出部と、
抽出された両領域の画像データの差分を計算する計算部とを有することを特徴とする請求項３記載の差分画像抽出装置。
【請求項５】
前記計算部で計算された差分が「０」でないとき、黒画素として出力する出力手段を更に備えることを特徴とする請求項４記載の差分画像抽出装置。
【請求項６】
前記テンプレート抽出部は、複数のＭ行Ｎ列の画像データを抽出できるとき、そのうちの最大のものを抽出することを特徴とする請求項２記載の差分画像抽出装置。
【請求項７】
末書込みの印刷物と、書き込みがされた印刷物との差分を抽出する差分画像抽出装置の差分画像抽出方法であって、
２つの印刷物の画像を取得する画像取得ステップと、
末書込みの印刷物の文字領域を抽出する画像抽出ステップと、
抽出した文字領域と書込みがされた印刷物の画像とを照合して両印刷物の位置合せをする位置合せステップと、
位置合せした状態で２つの印刷物の差分画像を抽出する差分抽出ステップとを有することを特徴とする差分画像抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、未書込みの印刷物と書き込みがされた印刷物との差分画像を抽出する差分画像抽出装置に関する。
【背景技術】
【０００２】
配布された印刷物にコメントを書き込んだ後に、そのコメントだけを抜き出したい場合がある。このような場合、未書込みの印刷物の原本と書き込みがされた印刷物とをスキャナ等の画像入力装置で取り込み、画像データとして比較を行う場合には、２つの画像データの位置を合わせる必要がある。
印刷物に位置合わせ用のマークが印刷されている場合には、それを基準に２つの画像データの位置を合わせ、その後、両画像データの差分を抽出すると、印刷物に書き込まれたコメントだけを抽出することができる。
【０００３】
ところが、位置合わせ用のマークが印刷されていない印刷物では、どこを位置合わせの基準に用いるかで位置合わせの精度が大きく異なる。例えば、絵や図形などの領域を位置合わせの基準に用いると、スキャン時の画像の濃度や色彩の変化或いは図形の形状等によって、位置合わせが難しい場合がある。
この問題を解決するため、例えば、特許文献１には、画像データの文字認識処理を行い、その中から２つの文字を抽出し、その抽出した文字の位置情報を基に、位置合わせを行う技術が開示されている。
【特許文献１】特開平１１−１７５７１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来のように、予め印刷物に位置合せ用のマークを印刷するのにも工数を要するし、また、特許文献１の技術では、文字認識処理をする必要があり、文字認識処理に工数が必要となる。
そこで、本発明は、位置合せ用のマークがない画像データに対しても、文字認識処理を行うことなく、少ない工数で高い精度の位置合せをすることのできる差分画像抽出装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明は、末書込みの印刷物と、書き込みがされた印刷物との差分を抽出する差分画像抽出装置であって、２つの印刷物の画像を取得する画像取得手段と、末書込みの印刷物の文字領域を抽出する画像抽出手段と、抽出した文字領域と書込みがされた印刷物の画像データとを照合して両印刷物の位置合せをする位置合せ手段と、位置合せした状態で２つの印刷物の差分画像を抽出する差分抽出手段とを備えることとしている。
【発明の効果】
【０００６】
上述のような構成によって、絵や図形領域よりも精度の高い文字領域を位置合せの基準とするので、位置合せのマークがなくても精度の高い位置合せをして、差分画像を効率的に抽出することができる。
また、前記画像抽出手段は、前記画像取得手段で取得された末書込みの印刷物の画像を各画素毎に黒画素と白画素とに２値化した画像データとする２値化部と、前記２値化部で黒画素とされた画像データを末書込みの印刷物の紙面の縦方向と横方向とに投影したヒストグラムを生成するヒストグラム生成部と、生成されたヒストグラムの形状から文字領域を判定する判定部と、前記判定部で判定された文字領域からＭ行Ｎ列の画像データをテンプレートとして抽出するテンプレート抽出部とを有することとしている。
【０００７】
このような構成によって、画像データを文字部分に相当する黒画素と背景部分に相当する白画素とに弁別し、文字領域を絵や図形領域と区別して判定することができる。
また、前記位置合せ手段は、前記書込みがされた印刷物の画像を各画素毎に黒画素と白画素とに２値化した画像データとする対象２値化部と、前記テンプレート抽出部で抽出されたテンプレートと前記対象２値化部で２値化された画像データとが一致する領域を認識する一致領域認識部と、前記一致領域認識部で一致するとした領域の座標値を前記テンプレートの座標値と一致させる位置合せ部とを有することとしている。
【０００８】
このような構成によって、前記画像取得手段で取得された末書込みの印刷物と書込みがされた印刷物との画像データの位置が多少ずれていた場合でも、正確に位置合せがされるので差分画像を精度よく得ることができる。
また、前記差分抽出手段は、前記末書込みの印刷物の文字領域と判定された領域に白画素の集合である余白領域を加えた領域と、書込みがされた印刷物の対応する領域とを抽出する領域抽出部と、抽出された両領域の画像データの差分を計算する計算部とを有することとしている。
【０００９】
このような構成によって、画像取得手段で取得される画像で濃度差が大きくなる場合のある絵や図形データ領域を除外して、差分画像が抽出されるので、正確な差分画像を得ることができる。
また、前記計算部で計算された差分が「０」でないとき、黒画素として出力する出力手段を更に備えることとしている。
【００１０】
このような構成によって、未書込みの印刷物と書込みがされた印刷物との差分である書込みを黒画素として正確に出力することができる。
また、前記テンプレート抽出部は、複数のＭ行Ｎ列の画像データを抽出できるとき、そのうちの最大のものを抽出することとしている。
このような構成によって、位置合わせに用いるテンプレートが印刷物の紙面に局在することがなくなるので、正確な位置合わせが可能となる。
【００１１】
また、本発明は、末書込みの印刷物と、書き込みがされた印刷物との差分を抽出する差分画像抽出装置の差分画像抽出方法であって、２つの印刷物の画像を取得する画像取得ステップと、末書込みの印刷物の文字領域を抽出する画像抽出ステップと、抽出した文字領域と書込みがされた印刷物の画像とを照合して両印刷物の位置合せをする位置合せステップと、位置合せした状態で２つの印刷物の差分画像を抽出する差分抽出ステップとを有することとしている。
【００１２】
このような方法によって、絵や図形領域よりも精度の高い文字領域を位置合せの基準とするので、位置合せのマークがなくても、未書込みの印刷物と書込みがされた印刷物との精度の高い位置合わせをして、差分画像を効率的に抽出することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明に係る差分画像抽出装置の実施の形態について、図面を用いて説明する。
（一実施の形態）
図1は、本発明に係る差分画像抽出装置の一実施の形態のハードウェア構成の外観図である。
この差分画像抽出装置は、スキャナ１０１とパーソナルコンピュータ（以下「ＰＣ」という）１０２とから構成される。
【００１４】
スキャナ１０１は、載置された原稿を走査し、デジタル画像データに変換し、ＰＣ１０２にデジタル画像データを出力する。
この原稿には、基準となる未書込みの印刷物と、メモ等の書込みがされた印刷物とがある。
ＰＣ１０２は、ＣＰＵを内蔵し、差分画像を抽出するためのプログラムをＲＯＭに記憶している。ＣＰＵは、このプログラムに従い、画像認識抽出部、位置合せ部、差分抽出部等の機能を発揮する。
【００１５】
ＰＣ１０２は、スキャナ１０１から入力された未書込みの印刷物と書込みがされた印刷物とのデジタル画像データから、例えばメモ等の差分画像データを抽出し、液晶ディスプレイ等からなる表示部１０３に差分画像を表示する。
図２は、この差分画像抽出装置における差分画像の抽出手順の概略を説明する図である。
【００１６】
（１）先ず、スキャナ１０１は未書込みの印刷物２０１のデジタル画像データを取得し、ＰＣ１０２に出力する。
ＰＣ１０２の制御部において、入力されたデジタル画像データを所定のしきい値で２値化した画像データ２０２に変換する。次に、この２値化画像データ２０２を用いて、文字領域を抽出する。この際、未書込みの印刷物２０１の紙面の横方向と縦方向との黒画素のヒストグラム２０３、２０４を生成して文字領域を認識する。
【００１７】
（２）次に、文字領域の所定の部分をテンプレート２０７として抽出する。
図３は、このテンプレート２０７を文字領域から抽出する画像認識抽出ステップの一例を説明するための図である。
未書込みの印刷物のデジタル画像データの各画素の画像データを所定のしきい値で黒画素と白画素との２値化画像データに変換する。このしきい値は、未書込みの印刷物の何も印刷されていない紙面の画像データが白画素になるように選ばれている。
【００１８】
この未書込みの印刷物の２値化画像データ３０１から紙面３０２の横方向の黒画素のヒストグラム３１０と縦方向の黒画素のヒストグラム３２０とを生成する。
生成した横方向のヒストグラム３１０の形状は、黒画素が多数存在する領域３３１、３３３、３３５と、白画素領域３３２、３３４、３３６とがそれぞれ交互にあり、黒画素が多数存在する領域３３７がある。このヒストグラム３１０の形状で規則的に黒画素領域３３１、３３３、３３５と白画素領域３３２、３３４、３３６とが繰り返す領域は、黒画素領域３３１等が文字行の存在領域であり、白画素領域３３２等がその行間であると判定する。黒画素領域３３７には、白画素領域が介在しないので、文字領域とは判定できないので、絵又は図形領域２０５であると判定する。
【００１９】
また、生成した縦方向のヒストグラム３２０の形状は、黒画素領域３４１、３４３、３４５と白画素領域３４２、３４４、３４６とがそれぞれ交互にあり、黒画素領域３４７が続いている。規則的に黒画素領域３４１等と白画素領域３４２等とが繰り返す領域は、黒画素領域３４１等が文字列の存在領域であり、白画素領域３４２等がその文字間であると判定する。また黒画素領域３４７は、絵又は図形領域２０５であると判定する。
【００２０】
これによって、紙面３０２において、領域３０６を共有する文字領域３５０と文字領域３５１と、絵図形領域２０５とが存在すると判定する。なお、その他の領域は、余白を形成している。
次に、文字領域３５０から最大のＭ行Ｎ列の画像データを抽出する。更に、文字領域３５１から最大のＭ´行Ｎ´列の画像データを抽出する。Ｍ×Ｎの値とＭ´×Ｎ´の値とを比較し、大きい値を採用し、Ｍ行Ｎ列の画像データとする。この未書込みの印刷物の２値化画像データ３０１では、文字領域３５１のＭ´行Ｎ´列の方が文字領域３５０のそれより大きいので、文字領域３５１からＭ行Ｎ列の画像データをテンプレートとして採用する。
【００２１】
なお、テンプレートをなるべく大きくとるのは、対象物との位置合せを行うとき、誤差をなるべく小さくするためである。
このテンプレートの左上部３０４の位置（Ｘ１，Ｙ１）と右下部３０５の位置（ＸＭ，ＹＮ）との紙面３０２の一隅、例えば左上部を原点（０，０）とした座標値を求める。
再び、図２を参照して、説明する。
【００２２】
（３）メモ２１２が書き込まれた印刷物２１１をスキャナ１０１で読み、デジタル画像データを取得し、ＰＣ１０２に出力する。
ＰＣ１０２において、所定のしきい値で２値化した２値化画像データ２１３を得る。
（４）次に、基準となる未書込みの印刷物の２値化画像データ２０２から抽出されたテンプレート２０７と書込みがされた印刷物の２値化画像データ２１３とを照合し、テンプレート２０７と一致する領域２１４を見つける。
【００２３】
（５）領域２１４が見つかると、その左上部と右下部との座標値を紙面２１５の左上部を原点として求め、テンプレート２０７の（Ｘ１，Ｙ１）、（ＸＭ，ＹＮ）とそれぞれ一致するよう書込みがされた印刷物の２値化画像データを移動し、位置補正をする。
図４は、この位置補正ステップを説明するための図である。
位置合せステップにおいて、未書込みの印刷物４０１のテンプレート２０７が書込みがされた印刷物４０２のいずれの領域と一致するかをテンプレート２０７の２値化画像データを書込みがされた印刷物の２値化画像データ２１３の範囲を変えながら見つける。
【００２４】
テンプレート２０７の２値化画像データと所定の一致度以上の領域２１４が見つけられると、書込みがされた印刷物４０２の紙面の左上部４０３を原点（０，０）として、領域２１４の左上部４０４の座標（Ｘ１´，Ｙ１´）と、右下部４０５の座標（ＸＭ´，ＹＮ´）を求める。
なお、所定の一致度とは、テンプレート２０７の各画素の画像データと領域２１４の各画素の画像データとが、例えば、９５％以上一致している状態で、範囲をずらして一致度を比べても、これ以上一致する領域がないことを言う。
【００２５】
次に、位置補正ステップでは予め求めてあるテンプレート２０７の未書込みの印刷物４０１の紙面の左上部３０３を原点（０，０）とするテンプレート２０７の左上部３０４の座標（Ｘ１，Ｙ１）と領域２１４の座標（Ｘ１´，Ｙ１´）とを比較し、テンプレート２０７の右下部３０５の座標（ＸＭ，ＹＮ）と領域２１４の座標（ＸＭ´，ＹＮ´）とを比較し、書込みがされた印刷物４０２が未書込みの印刷物４０１と同一の位置となるようにする。
【００２６】
例えば、Ｘ１−Ｘ１´＝−１．００，ＸＭ−ＸＭ´＝−１．００，Ｙ１−Ｙ１´＝０，ＹＮ−ＹＮ´＝０であれば、書込みがされた印刷物４０２画像データを矢符４０６に示すように左方に１．００だけ平行移動する。勿論、上下、左右の平行移動だけで位置補正できない場合、例えば、画像データ２１３が傾いているときには、回転移動を行う。
再び図２を参照して説明する。
【００２７】
未書込みの印刷物２０１で絵図形領域２０５と判定された領域に対応する書込みがされた印刷物２１１の領域２１６を差分抽出の対象から除外する。これは、絵等では、画素の階調が文字領域のように明確に黒画素と白画素とのように２値化を正しくすることが困難であり、未書込みの印刷物２０１と書込みがされた印刷物２１１との２値化画像データの一致度が低いと考えられるからである。
【００２８】
最後に、差分抽出ステップにおいて、未書込みの印刷物２０１の２値化画像データ２０２と位置補正された書込みがされた印刷物２１１の２値化画像データ２１７との差分を抽出する。対応する各画素の２値化データが同一であれば、白画素となり、同一でなければ黒画素となる。
この結果、差分画像として、メモ２１２が抽出される。この差分画像データ２０８を出力し、ＰＣ１０２の表示部１０３に差分画像を表示する。
【００２９】
なお、上記実施の形態では、差分画像抽出装置は、スキャナ１０１とＰＣ１０２とで構成されるとしたけれども、ＰＣ１０２にプリンタを接続した構成とし、差分画像をプリンタから出力するようにしてもよい。
また、上記実施の形態では、テンプレート２０７を文字領域３５１とほぼ一致させたけれども、文字領域３５１の一部としてもよい。
【００３０】
また、上記実施の形態では、文字領域を判定するのに、ヒストグラムを生成して判定したけれども、紙面を分割し、分割した各領域で黒画素と白画素との比を求め、その比が所定の範囲内にある領域を文字領域と判定する等、他の方法によって文字領域を判定してもよい。
次に、本実施の形態の動作を図５、図６のフローチャートを用いて説明する。
【００３１】
先ず、基準となる未書込みの印刷物をスキャナ１０１で画像データに変換し、ＰＣ１０２に出力する（Ｓ５０２）。
ＰＣ１０２において、入力された画像データを画素ごとに黒画素と白画素とに２値化した画像データに変換する（Ｓ５０４）。
次に、未書込みの印刷物の紙面の縦方向と横方向とに黒画素のヒストグラムを生成し（Ｓ５０６）、ヒストグラムの形状が各方向で略「０」を規制的に繰り返す領域があるか否かを判定する（Ｓ５０８）。
【００３２】
あるときには、その領域を文字領域と判定し（Ｓ５１０）、Ｓ５１４に移る。
ないときには、その領域を絵図形領域と判定し（Ｓ５１２）、文字領域がないので、処理を終了する。
Ｓ５１４において、文字領域からＭ行Ｎ列の画像データを抽出する（Ｓ５１４）。他の文字領域からＭ´行Ｎ´列の画像データを抽出できるか判定する（Ｓ５１６）。
【００３３】
抽出できたときにはＭ×Ｎ＞Ｍ´×Ｎ´か否かを判定し（Ｓ５１８）、否であれば、Ｍ´行Ｎ´列の画像データをＭ行Ｎ列の画像データと置換し（Ｓ５２０）、Ｓ５１６に戻る。
Ｓ５１８でＭ×Ｎ＞Ｍ´×Ｎ´のとき、Ｓ５１６で他の文字領域からＭ´行Ｎ´列の画像データを抽出できないとき、Ｍ行Ｎ列の画像データをテンプレートとして記憶する（Ｓ５２２）。
【００３４】
次に、書込みがされた印刷物をスキャナ１０１で画像データに変換し、ＰＣ１０２に出力する（Ｓ６０２）。
ＰＣ１０２において、入力された画像データを画素ごとに黒画素と白画素とに２値化した画像データに変換する（Ｓ６０４）。
Ｓ５２２で記憶されたテンプレートの画像データと書込みがされた印刷物の画像データとを照合する（Ｓ６０６）。一致する領域があるか否かを判定する（Ｓ６０８）。なければ、処理を終了し、あるときには、その書込みがされた印刷物の領域の画像データの位置（Ｘ１´，Ｙ１´）、（ＸＭ´，ＹＮ´）と、テンプレートの画像データの位置（Ｘ１，Ｙ１）、（ＸＭ，ＹＮ）とのそれぞれの差ΔＸ１，ΔＸＭ，ΔＹ１，ΔＹＮを計算し、書込みがされた印刷物の画像データを移動する補正値を求める（Ｓ６１０）。
【００３５】
求めた補正値に従い書込みがされた印刷物の画像データを移動する（Ｓ６１２）。
次に、絵図形領域を除いて、未書込みの印刷物と書込みがされた印刷物との２値化画像データの差分を抽出し（Ｓ６１４）、差分が「０」を白画素に、差分が「０」以外を黒画素として出力し（Ｓ６１６）、処理を終了する。
【産業上の利用可能性】
【００３６】
本発明に係る差分画像抽出装置は、位置合せ用のマークが予め記録されていない未書込みの印刷物と書込みがされた印刷物との差分画像を正しく抽出できるので事務処理分野で活用される。
【図面の簡単な説明】
【００３７】
【図１】本発明に係る差分画像抽出装置の一実施の形態のハードウェア構成の外観図である。
【図２】上記実施の形態の未書込みの印刷物と書込みがされた印刷物とから差分画像を抽出する概要を説明する図である。
【図３】上記実施の形態の未書込みの印刷物からテンプレートを抽出する一例を示す図である。
【図４】上記実施の形態の未書込みの印刷物と書込みがされた印刷物との位置合せの一例を説明する図である。
【図５】上記実施の形態の動作を説明するフローチャート（その１）である。
【図６】上記実施の形態の動作を説明するフローチャート（その２）である。
【符号の説明】
【００３８】
１０１  スキャナ
１０２  ＰＣ
１０３  表示部
【図１】
2007041832.tif 000003
【図２】
2007041832.tif 000004
【図３】
2007041832.tif 000005
【図４】
2007041832.tif 000006
【図５】
2007041832.tif 000007
【図６】
2007041832.tif 000008