(57)【要約】【課題】電子画像と加筆重畳画像から加筆画像を作成する際に、領域を分割して位置合わせをしつつ、両画像の文字線幅の違いを考慮に入れて差分処理を行う事により、より精度の高い加筆抽出を行う加筆抽出装置、加筆抽出方法、同プログラム及び記録媒体を提供することを目的としている。【解決手段】電子文書を紙へ出力した後に手書きの加筆が重畳した状態で電子文書の原稿画像と、画像読取装置で再び電子化された画像とを細分化する領域分割手段と、領域分割手段によって分割されたそれぞれの領域に対して画像間の位置合わせを行うために相関計算を行う画像相関手段と、画像相関手段によって位置合わせが行われた画像間での画像差分処理と同時に、位置からずらした画像間での差分処理を行う画像差分手段とを有する。【選択図】        図１
2004178002.tif 000002
【特許請求の範囲】
【請求項１】
電子文書の原稿画像と、前記電子文書を紙へ出力した後に手書きの加筆が重畳した状態で画像読取装置により再び電子化された画像とを細分化する領域分割手段と、
前記領域分割手段によって分割されたそれぞれの領域に対して前記画像間の位置合わせを行うために相関計算を行う画像相関手段と、
前記画像相関手段によって前記位置合わせが行われた画像間での画像差分処理と同時に、前記位置からずらした画像間での差分処理を行う画像差分手段と、
を有することを特徴とする加筆抽出装置。
【請求項２】
前記画像相関手段は、計算の対象となる２枚の前記画像の画素値の総和や前記画像の面積に依存しない相関値を算出することを特徴とする請求項１記載の加筆抽出装置。
【請求項３】
前記画像差分手段は、前記画像相関手段によって前記位置合わせが行われた画像間の相関値が所定の閾値以上の場合にのみ前記差分処理を行うことを特徴とする請求項１記載の加筆抽出装置。
【請求項４】
前記画像差分手段は、前記画像相関手段によって前記位置合わせが行われ、前記位置からわずかにずらした前記画像間の相関値が所定の閾値以上の場合にのみ前記差分処理を行うことを特徴とする請求項１記載の加筆抽出装置。
【請求項５】
電子文書を紙へ出力した後に手書きの加筆が重畳した状態で前記電子文書の原稿画像と、画像読取装置で再び電子化された画像とを細分化する領域分割ステップと、
前記領域分割ステップによって分割されたそれぞれの領域に対して前記画像間の位置合わせを行うために相関計算を行う画像相関ステップと、
前記画像相関ステップによって前記位置合わせが行われた前記画像間での画像差分処理と同時に、前記位置からわずかにずらした画像間での差分処理を行う画像差分ステップと、
を有することを特徴とする加筆抽出方法。
【請求項６】
前記画像相関ステップは、計算の対象となる２枚の前記画像の画素値の総和や前記画像の面積に依存しない相関値を算出することを特徴とする請求項５記載の加筆抽出方法。
【請求項７】
前記画像差分ステップは、前記画像相関ステップによって前記位置合わせが行われた前記画像間の相関値が所定の閾値以上の場合にのみ前記差分処理を行うことを特徴とする請求項５記載の加筆抽出方法。
【請求項８】
前記画像差分ステップは、前記画像相関ステップによって前記位置合わせが行われ、前記位置からわずかにずらした前記画像間の相関値が所定の閾値以上の場合にのみ前記差分処理をすることを特徴とする請求項５記載の加筆抽出方法。
【請求項９】
電子文書を紙へ出力した後に手書きの加筆が重畳した状態で前記電子文書の原稿画像と、画像読取装置で再び電子化された画像とを細分化する領域分割処理と、
前記領域分割処理によって分割されたそれぞれの領域に対して前記画像間の位置合わせを行うために相関計算を行う画像相関処理と、
前記画像相関処理によって前記位置合わせが行われた前記画像間での画像差分処理と同時に、前記位置からずらした前記画像間での差分処理を行う画像差分処理と、
をコンピュータに実行させるための加筆抽出プログラム。
【請求項１０】
電子文書の原稿画像と前記電子文書を紙へ出力した後に手書きの加筆が重畳した状態でスキャナ等の画像読取装置で再び電子化された画像とを細分化する領域分割処理と、
前記領域分割処理によって分割されたそれぞれの領域に対して前記画像間の位置合わせを行うために相関計算を行う画像相関処理と、
前記画像相関処理によって前記位置合わせが行われた前記画像間での画像差分処理と同時に、前記位置からずらした前記画像間での差分処理を行う画像差分処理と、
をコンピュータに実行させるための加筆抽出プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、手書き文字入力システムに対する加筆抽出方法に関するものであり加筆抽出および加筆画像作成の抽出精度を向上させる加筆抽出装置、加筆抽出方法、加筆抽出プログラム及び記録媒体に関する。
【０００２】
【従来の技術】
従来、文書画像ファイリング装置に登録された画像データの内容を更新する際には、装置内に取り込まれた画像データに対して直接書き込み処理を行うか、または別に文字データを用意して重ね合わせるなどの方法がある。また、紙ベースで加筆修正した更新画像を読み取り、この更新画像を記録する方法もある。
【０００３】
従来の技術例としては、文書処理装置において、手書きで記入された情報を画像情報として検出する手段の１つとして用いることにより、入力された加筆重畳画像をブロック分割した後、その小領域毎に差分をとり、スキューが発生しているか否かを確認しながら最適な位置合わせを行う文書処理装置がある（例えば、特許文献１参照）。また、画像の中の、外枠の隅などの特徴的な四点を検出し、それぞれの点が電子原稿画像中の対応する点に移動する様に補完処理を行う方法や、一点を対応点へ平行移動しその点を中心に回転させ伸縮などを行うアフィン変換式により補正処理を行う方法などで、位置合わせを行った後に差分処理を行う文書画像ファイリング装置及び文書画像更新方法がある（例えば、特許文献２参照）。また、マーク未記入の原稿画像とマークが記入された加筆重畳画像との差分画像を生成し、差分画像における各チェック領域内の黒画素数および黒画素割合を算出することでマークの有無を判定するマーク認識装置がある（例えば、特許文献３参照）。
【０００４】
【特許文献１】
特開平５−２４４３８７号公報
【特許文献２】
特開２００１−２８３２３１号公報
【特許文献３】
特開平１１−２６５４２２号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上述の特許文献１から３記載の従来例は、いずれも電子画像と、印刷とスキャンのプロセスを通過する加筆重畳画像とでは印刷文字の太さが異なることを考慮に入れていない。さらに、特許文献１記載の文書処理装置および特許文献３記載のマーク認識装置は、差分処理後のノイズ除去等に関して何ら対策がなされておらず、差分処理後の画像には細かいノイズ成分が残る場合がある。また、特許文献２記載の文書画像ファイリング装置および文書画像更新方法および特許文献３記載のマーク認識装置は、プリント時の紙送りムラ、ドラム回転ムラ、スキャン時における光学系の速度ムラなどによる加筆した画像の局所的な倍率の変動に対応できない。
【０００６】
本発明は上記事情に鑑みてなされたものであり、電子画像と加筆重畳画像から加筆画像を作成する際に、領域を分割して位置合わせをしつつ、両画像の文字線幅の違いを考慮に入れて差分処理を行う事により、より精度の高い加筆抽出を行う加筆抽出装置、加筆抽出方法、加筆抽出プログラム及び記録媒体を提供することを目的としている。
【０００７】
【課題を解決するための手段】
かかる目的を達成するために、請求項１記載の加筆抽出装置は、電子文書の原稿画像と、電子文書を紙へ出力した後に手書きの加筆が重畳した状態で画像読取装置により再び電子化された画像とを細分化する領域分割手段と、領域分割手段によって分割されたそれぞれの領域に対して画像間の位置合わせを行うために相関計算を行う画像相関手段と、画像相関手段によって前記位置合わせが行われた画像間での画像差分処理と同時に、位置からずらした画像間での差分処理を行う画像差分手段とを有することを特徴としている。
【０００８】
請求項２記載の加筆抽出装置は、請求項１記載の加筆抽出装置において、画像相関手段は、計算の対象となる２枚の画像の画素値の総和や画像の面積に依存しない相関値を算出することを特徴としている。
【０００９】
請求項３記載の加筆抽出装置は、請求項１記載の加筆抽出装置において、画像差分手段は、画像相関手段によって位置合わせが行われた画像間の相関値が所定の閾値Ｔｈ１  以上の場合にのみ差分処理を行うことを特徴としている。
【００１０】
請求項４記載の加筆抽出装置は、請求項１記載の加筆抽出装置において、画像差分手段は、画像相関手段によって位置合わせが行われ、その位置からわずかにずらした画像間の相関値が所定の閾値Ｔｈ２  以上の場合にのみ差分処理を行うことを特徴としている。
【００１１】
請求項５記載の加筆抽出方法は、電子文書の原稿画像と、電子文書を紙へ出力した後に手書きの加筆が重畳した状態で画像読取装置により再び電子化された画像とを細分化する領域分割ステップと、領域分割ステップによって分割されたそれぞれの領域に対して画像間の位置合わせを行うために相関計算を行う画像相関ステップと、画像相関ステップによって位置合わせが行われた画像間での画像差分処理と同時に、位置合わせの位置からわずかにずらした画像間での差分処理を行う画像差分ステップとを有することを特徴としている。
【００１２】
請求項６記載の加筆抽出方法は、請求項５記載の加筆抽出方法において、画像相関ステップは、計算の対象となる２枚の画像の画素値の総和や画像の面積に依存しない相関値を算出することを特徴としている。
【００１３】
請求項７記載の加筆抽出方法は、請求項５記載の加筆抽出方法において、画像差分ステップは、前記画像相関ステップによって位置合わせが行われた画像間の相関値が所定の閾値Ｔｈ１  以上の場合にのみ差分処理を行うことを特徴としている。
【００１４】
請求項８記載の加筆抽出方法は、請求項５記載の加筆抽出方法において、画像差分ステップは、画像相関ステップによって位置合わせが行われ、その位置からわずかにずらした画像間の相関値が所定の閾値Ｔｈ２  以上の場合にのみ差分処理をすることを特徴としている。
【００１５】
請求項９記載のプログラムは、電子文書を紙へ出力した後に手書きの加筆が重畳した状態で前記電子文書の原稿画像と、画像読取装置で再び電子化された画像とを細分化する領域分割処理と、領域分割処理によって分割されたそれぞれの領域に対して画像間の位置合わせを行うために相関計算を行う画像相関処理と、画像相関処理によって位置合わせが行われた画像間での画像差分処理と同時に、位置からずらした画像間での差分処理を行う画像差分処理と、をコンピュータに実行させることを特徴としている。
【００１６】
請求項１０記載の記録媒体は、電子文書の原稿画像と、電子文書を紙へ出力した後に手書きの加筆が重畳した状態で画像読取装置により再び電子化された画像とを細分化する領域分割処理と、領域分割処理によって分割されたそれぞれの領域に対して画像間の位置合わせを行うために相関計算を行う画像相関処理と、画像相関処理によって位置合わせが行われた画像間での画像差分処理と同時に、位置合わせの位置からずらした画像間での差分処理を行う画像差分処理と、をコンピュータに実行させるためのプログラムを記録していることを特徴としている。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００１８】
図２に本発明での加筆抽出の処理手順を示す。Ｓ１０１では加筆抽出を行う領域の個数Ｎ、大きさなどを設定し、電子原稿画像とその画像を紙に出力した後に加筆されスキャナなどの画像読取装置で取り込まれた加筆重畳画像を入力する。Ｓ１０２では領域数変数ｎを１に設定する。Ｓ１０３では加筆抽出の対象となる領域を加筆重畳画像から切り出し、同時に電子原稿画像からは、先に加筆重畳画像から抽出した領域に対応した領域を切り出す。Ｓ１０４ではＳ１０３で切り出された電子原稿画像をＭヶに小領域に細分化する。
【００１９】
図３は細分化ステップＳ１０４の詳細であり図３（ａ）はＳ１０３で切り出された電子原稿画像の抽出領域Ｏ（ｘ，ｙ）を格子状に分割しておりその分割された小領域それぞれをｏｉｊ（ｘ，ｙ）とする。Ｓ１０５では小領域数変数ｍを１に設定する。Ｓ１０６ではＳ１０４で細分化され作成された電子原稿画像の小領域ｏｉｊ（ｘ，ｙ）が加筆重畳画像上でどの位置に対応するかを決める為に、各々の小領域と加筆重畳画像Ａ（ｘ，ｙ）との相関値の分布を計算する。この時に電子原稿画像と同様に加筆重畳画像の方もＳ１０４で細分化しそれをａｉｊ（ｘ，ｙ）とすると、空間的に対応する両画像の小領域同士、ｏｉｊ（ｘ，ｙ）とａｉｊ（ｘ，ｙ）で相関値計算を行う方が計算時間の観点からも効率的である。
【００２０】
それを示したのが図３（ｂ）でありこの図では加筆重畳画像側の抽出領域Ａ（ｘ，ｙ）をＯ（ｘ，ｙ）と同様に細分化し対応する位置を探すためにａｉｊ（ｘ，ｙ）をｏｉｊ（ｘ，ｙ）よりも大きな領域として抽出している。この相関値計算の結果、相関値が最も高い値を取る１つの画像の相対位置を「最も確からしい位置」とする。
【００２１】
ここでＳ１０６において計算される相関値の分布は、以降の工程で設定する閾値を領域によらずに一意に設定するためには式（１）のように電子原稿画像と加筆彫像画像、それぞれ小領域内の画素値の総和や小領域の面積に依存しないものにしておくとよい。式（１）の場合はｏｉｊ（ｘ，ｙ）とａｉｊ（ｘ，ｙ）がどのような大きさ画像であっても必ず−１．０から＋１．０の間の値を取り、特に画素値が０または１しか取らない２値画像に関しては０から＋１．０までの値を取る。
【００２２】
【数１】
2004178002.tif 000003
【００２３】
Ｓ１０７での２枚の画像間で３×３画素ずらし差分処理を示したのが図３である。Ｓ４０１にはＳ１０６で算出された相関値の分布Ｃ（ｘ，ｙ）と『最も確からしい位置』（ｘｍ  ，ｙｍ  ）が入力される。Ｓ４０１では（ｘｍ  ，ｙｍ  ）での相関値Ｃ（ｘｍ  ，ｙｍ  ）がある閾値Ｔｈ１  よりも大きいかどうかの判定を行う。大きければＳ４０２に進みそうでなければＳ１０７自体を抜け、図２のＳ１０８に進む。以下のＳ４０２、Ｓ４０３およびＳ４０６〜Ｓ４０９は（ｘｍ  ，ｙｍ  ）とその周囲の３×３の領域での繰り返し処理を示したものである。この領域の大きさを変える場合はＳ４０２、Ｓ４０３での設定値、Ｓ４０６、Ｓ４０８での加算値、Ｓ４０７、Ｓ４０９での条件値を変更する。Ｓ４０４ではＳ４０２とＳ４０３において変更された位置（ｘｍ  ＋ｘ，ｙｍ  ＋ｙ）での相関値Ｃ（ｘｍ  ＋ｘ，ｙｍ  ＋ｙ）が閾値Ｔｈ２  （＜Ｔｈ１  ）を超えているかどうかの判定を行う。越えていなければＳ４０８まで進み画素ずらし量を変化させる。超えている場合はＳ４０５に進みここで加筆重畳画像と電子原稿画像、２枚の小領域画像の位置関係を（ｘｍ  ＋ｘ，ｙｍ  ＋ｙ）に対応する位置とし画像差分処理を行う。
【００２４】
このような「画素ずらし」での差分処理を行う理由は、電子原稿画像と加筆重畳画像との間の線幅の違いにある。図５は電子原稿画像と加筆重畳画像の拡大図であるが、図５左のように電子原稿画像上で太さ１ドットの線をいったん紙に出力しスキャナなどのデバイスで再び画像として取りこむと、図５右のように線幅は太化されその太さも局所的にバラツキのある線となる。これが差分処理に影響し加筆重畳画像の原稿成分の引き残しが発生する為、上記のＳ１０７ような画素ずらしでの差分処理が単純な差分処理よりも有効となる。
【００２５】
ここまでの処理を終えた結果例が図６である。図６左が加筆重畳画像の小領域、図５中が電子原稿画像の小領域、図６右が２つの小領域画像に対し蒸気の処理を行い精製した加筆画像である。Ｓ１０８においてｍを１だけ増加させた後Ｓ１０９において小領域変数ｍが上限Ｍを超えているか否かを判定を行い、超えていなければＳ１０６から処理を繰り返す。
【００２６】
図７及び図８はこうして作成された加筆画像の一部である。図左が加筆重畳画像、図右が加筆画像の一部となる。すべての小領域についての処理を終える、つまり、ｍがＭを超えるとＳ１１０では差分処理後の画像を白紙の画像のＳ１０３で抽出した位置に挿入する事で加筆のみの画像を作成する。Ｓ１１１に領域数変数ｎを１だけ増加させた後Ｓ１１２においてｎが上限Ｎを超えているかどうかの判定を行い、超えていなければＳ１０３から処理を繰り返す。ｎがＮを超えるとＳ１１３においてＳ１１０において張り合わされた加筆画像を出力する。
【００２７】
図１に本発明での加筆抽出装置の一実施例を示す。８０１は領域抽出部であり図２のＳ１０１で設定される抽出領域設定情報とが加筆重畳画像と電子原稿画像の両画像入力され、その領域情報に基づいてＳ１０３での所望の領域切り出しを両画像から行う。８０２は領域細分部でありここでは領域抽出部５０１で切り出された電子原稿画像の領域に対してＳ１０４の領域細分化を行う。８０３は画像相関部であり領域細分部８０２において細分化された小領域画像に対しＳ１０６の画像相関計算を実行し２つの画像間のズレ量を算出する。８０４は差分処理部で領域細分部８０２から入力される小領域画像と画像相関部８０３で算出されたズレ量に基いて位置合わせを行い電子原稿画像と加筆重畳画像との間でＳ１０７の画素ずらし差分処理を行う。８０５は画像合成部で領域抽出部８０１から入力される抽出領域情報に基づいて差分処理部８０４から入力される差分処理後の画像、つまり加筆画像の張り合わせ処理Ｓ１１０を実行しＳ１１３の加筆画像の出力を行う。
【００２８】
【発明の効果】
請求項１記載の加筆抽出装置によれば、電子文書の原稿画像と前記電子文書を紙へ出力した後に手書きの加筆が重畳した状態でスキャナ等の画像読取装置で再び電子化された画像とを細分化する領域分割手段と、領域分割手段によって分割されたそれぞれの領域に対して画像間の位置合わせを行うために相関計算を行う画像相関手段と、画像相関手段によって位置合わせが行われた画像間での画像差分処理と同時にその位置からわずかにずらした画像間での差分処理を行う画像差分手段とを有しているので、加筆の抽出精度が向上する。
【００２９】
請求項２記載の加筆抽出装置によれば、請求項１記載の加筆抽出装置において、画像相関手段は、計算の対象となる２枚の画像の画素値の総和や画像の面積に依存しない相関値を算出することを特徴とするので、閾値を一意に設定する事が可能になり計算効率が向上する。
【００３０】
請求項３記載の加筆抽出装置によれば、請求項１記載の加筆抽出装置において、画像差分手段は、画像相関手段によって位置合わせが行われた画像間の相関値が所定の閾値Ｔｈ１  以上の場合にのみ差分処理をすることを特徴とするので、加筆の抽出精度が向上する。
【００３１】
請求項４記載の加筆抽出装置によれば、請求項１記載の加筆抽出装置において、画像差分手段は、画像相関手段によって位置合わせが行われその位置からわずかにずらした画像間の相関値が所定の閾値Ｔｈ２  以上の場合にのみ差分処理をすることを特徴とするので、加筆の抽出精度が向上する。
【００３２】
請求項５記載の加筆抽出方法によれば、電子文書の原稿画像と電子文書を紙へ出力した後に手書きの加筆が重畳した状態でスキャナ等の画像読取装置で再び電子化された画像とを細分化する領域分割ステップと、領域分割ステップによって分割されたそれぞれの領域に対して画像間の位置合わせを行うために相関計算を行う画像相関ステップと、画像相関ステップによって位置合わせが行われた画像間での画像差分処理と同時にその位置からわずかにずらした画像間での差分処理を行う画像差分ステップとを有しているので、加筆の抽出精度が向上する。
【００３３】
請求項６記載の加筆抽出方法によれば、請求項５記載の加筆抽出方法において、画像相関ステップは、計算の対象となる２枚の画像の画素値の総和や画像の面積に依存しない相関値を算出することを特徴とするので、閾値を一意に設定する事が可能になり、計算効率が向上する。
【００３４】
請求項７記載の加筆抽出方法によれば、請求項５記載の加筆抽出方法において、画像差分ステップは、画像相関ステップによって位置合わせが行われた画像間の相関値が所定の閾値Ｔｈ１  以上の場合にのみ差分処理をすることを特徴とするので、加筆の抽出精度が向上する。
【００３５】
請求項８記載の加筆抽出方法によれば、請求項５記載の加筆抽出方法において、画像差分ステップは、画像相関ステップによって位置合わせが行われ、その位置からわずかにずらした画像間の相関値が所定の閾値Ｔｈ２  以上の場合にのみ差分処理をすることを特徴とするので、加筆の抽出精度が向上する。
【００３６】
請求項９記載のプログラムによれば、電子文書を紙へ出力した後に手書きの加筆が重畳した状態で電子文書の原稿画像と、画像読取装置で再び電子化された画像とを細分化する領域分割処理と、領域分割処理によって分割されたそれぞれの領域に対して前記画像間の位置合わせを行うために相関計算を行う画像相関処理と、画像相関処理によって位置合わせが行われた画像間での画像差分処理と同時に、その位置からずらした画像間での差分処理を行う画像差分処理とを有することを特徴としているので、加筆の抽出精度が向上する。
【００３７】
請求項１０記載の記録媒体によれば、電子文書の原稿画像と電子文書を紙へ出力した後に手書きの加筆が重畳した状態でスキャナ等の画像読取装置で再び電子化された画像とを細分化する領域分割処理と、領域分割処理によって分割されたそれぞれの領域に対して画像間の位置合わせを行うために相関計算を行う画像相関処理と、画像相関処理によって位置合わせが行われた画像間での画像差分処理と同時に、その位置からずらした画像間での差分処理を行う画像差分処理と、をコンピュータに実行させるためのプログラムを記録していることを特徴としているので、加筆の抽出精度が向上する。
【図面の簡単な説明】
【図１】本発明の実施の形態である加筆抽出装置の構成を示す構成図である。
【図２】本発明の実施の形態に係る加筆抽出の処理手順を示すフローチャートである。
【図３】本発明の実施の形態に係る細分化ステップの例を示す図である。
【図４】本発明の実施の形態に係る画素ずらし差分処理の処理手順を示すフローチャートである。
【図５】本発明の実施の形態に係る電子原稿画像と加筆重畳画像の例を示す拡大図である。
【図６】本発明の実施の形態に係る画素ずらし差分処理後の結果例を示す図である。
【図７】本発明の実施の形態に係る画素ずらし差分処理によって作成された加筆画像の第１の例を示す図である。
【図８】本発明の実施の形態に係る画素ずらし差分処理によって作成された加筆画像の第２の例を示す図である。
【符号の説明】
８００  加筆抽出装置
８０１  領域抽出部
８０２  領域細分部
８０３  画像相関部
８０４  差分処理部
８０５  画像合成部
【図１】
2004178002.tif 000004
【図２】
2004178002.tif 000005
【図３】
2004178002.tif 000006
【図４】
2004178002.tif 000007
【図５】
2004178002.tif 000008
【図６】
2004178002.tif 000009
【図７】
2004178002.tif 000010
【図８】
2004178002.tif 000011