(57)【要約】【課題】  手書きが加えられた原画像から手書き部分を除去し、印刷文字部分のみを取り出す画像処理を行う手書き文字除去画像処理装置と手書き文字除去画像処理方法を提供することを課題とする。【解決手段】  手書き文字を含む原画像に対する膨張処理により全体をぼやかし、膨張処理で得られた画像に対する暗部抽出処理により手書き文字の薄い部分を消去し、暗部抽出処理で得られた画像に対する小領域除去処理により手書き部分の小さな残りを消去し、小領域除去処理で得られた画像と原画像に対して和算出処理を施すことにより、印刷文字部分をきれいに取り出す。【選択図】        図４
2005276188.tif 000002
【特許請求の範囲】
【請求項１】
以下の要素を有することを特徴とする手書き文字除去画像処理装置
（１）原画像を膨張処理する膨張処理部
（２）前記膨張処理を施された画像に対して、第一の閾値と比較して明るい値の画素を白の値に変換する暗部抽出処理を行う暗部抽出処理部
（３）前記暗部抽出処理を施された画像に対して、ラベリングを行い分割領域を求め、分割領域の面積が第二の閾値と比較して小さい場合には、当該分割領域内の画素を白の値に変換する小領域除去処理を行う小領域除去処理部
（４）前記小領域除去処理を施された画像と前記原画像とについて、和を算出する和算出処理部。
【請求項２】
前記暗部抽出処理部は、暗部抽出処理として、更に第一の閾値と比較して暗い値の画素を黒の値に変換する二値化処理を行うことを特徴とする請求項１記載の手書き文字除去画像処理装置。
【請求項３】
以下の要素を有することを特徴とする手書き文字除去画像処理方法
（１）原画像を膨張処理する膨張処理工程
（２）前記膨張処理を施された画像に対して、第一の閾値と比較して明るい値の画素を白の値に変換する暗部抽出処理を行う暗部抽出処理工程
（３）前記暗部抽出処理を施された画像に対して、ラベリングを行い分割領域を求め、分割領域の面積が第二の閾値と比較して小さい場合には、当該分割領域内の画素を白の値に変換する小領域除去処理を行う小領域除去処理工程
（４）前記小領域除去処理を施された画像と前記原画像とについて、和を算出する和算出処理工程。
【請求項４】
手書き文字除去画像処理装置となるコンピュータに、以下の手順を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
（１）原画像を膨張処理する膨張処理手順
（２）前記膨張処理を施された画像に対して、第一の閾値と比較して明るい値の画素を白の値に変換する暗部抽出処理を行う暗部抽出処理手順
（３）前記暗部抽出処理を施された画像に対して、ラベリングを行い分割領域を求め、分割領域の面積が第二の閾値と比較して小さい場合には、当該分割領域内の画素を白の値に変換する小領域除去処理を行う小領域除去処理手順
（４）前記小領域除去処理を施された画像と前記原画像とについて、和を算出する和算出処理手順。
【請求項５】
手書き文字除去画像処理装置となるコンピュータに、以下の手順を実行させるためのプログラム
（１）原画像を膨張処理する膨張処理手順
（２）前記膨張処理を施された画像に対して、第一の閾値と比較して明るい値の画素を白の値に変換する暗部抽出処理を行う暗部抽出処理手順
（３）前記暗部抽出処理を施された画像に対して、ラベリングを行い分割領域を求め、分割領域の面積が第二の閾値と比較して小さい場合には、当該分割領域内の画素を白の値に変換する小領域除去処理を行う小領域除去処理手順
（４）前記小領域除去処理を施された画像と前記原画像とについて、和を算出する和算出処理手順。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手書き文字を除去する画像処理の装置と方法に関する。
【背景技術】
【０００２】
近年、計算機性能の向上に伴い遺伝的アルゴリズム（Ｇｅｎｅｔｉｃ  Ａｌｇｏｒｉｔｈｍｓ：ＧＡ）や遺伝的プログラミング（Ｇｅｎｅｔｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ：ＧＰ）の研究が盛んになってきた。ＧＡやＧＰは生物の進化のしくみを模した最適化手法のひとつであり、さまざまな分野で適用されその有効性が示されている。なかでも筆者が所属する研究グループでは画像処理分野においてこれらの進化論的手法を用いた研究を行ってきた。
【０００３】
先に、発明者の所属する研究グループでは、木構造状画像変換自動生成法ＡＣＴＩＴ（Ａｕｔｏｍａｔｉｃ  Ｃｏｎｓｔｒｕｃｔｉｏｎ  ｏｆ  Ｔｒｅｅ−ｓｔｒｕｃｔｕｒａｌ  Ｉｍａｇｅ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を開発した。
【０００４】
このＡＣＴＩＴは、原画像と原画像に対する理想的な処理結果（目標画像）を与えると、その画像間の処理を近似した画像変換をＧＰによって全自動で最適化する。画像変換はあらかじめ用意したいろいろな画像処理フィルタを木構造状に組み合わせて構築してあり、最適化はそれらのフィルタの組み合わせを変えることによって行う。
【０００５】
一般にＧＰを用いて最適化を行った場合、ＧＰの持つランダムな性質によって、処理目標がおなじであっても生成される木は毎回異なる。ＡＣＴＩＴシステムもまた例外ではなく、処理目標はひとつであってもその解となるフィルタの組み合わせは無数にあるといえる。
【０００６】
本発明では、ＡＣＴＩＴシステムを用いて同じ処理に対し複数の木構造画像処理フィルタを生成し、それを解析して、手書き文字を含む画像から手書き文字部分を除去する画像処理装置及び画像処理方法を求める。
【非特許文献１】青木紳也、長尾智晴，「木構造状画像変換の自動構築法ＡＣＴＩＴ」，映像情報メディア学会誌，映像情報メディア学会，１９９９年，ｖｏｌ．５３，Ｎｏ．６，ｐ．８８８−８９４
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明の目的とするところは、手書き文字を除去する画像処理の装置と方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明に係る手書き文字除去画像処理装置は、
以下の要素を有することを特徴とする
（１）原画像を膨張処理する膨張処理部
（２）前記膨張処理を施された画像に対して、第一の閾値と比較して明るい値の画素を白の値に変換する暗部抽出処理を行う暗部抽出処理部
（３）前記暗部抽出処理を施された画像に対して、ラベリングを行い分割領域を求め、分割領域の面積が第二の閾値と比較して小さい場合には、当該分割領域内の画素を白の値に変換する小領域除去処理を行う小領域除去処理部
（４）前記小領域除去処理を施された画像と前記原画像とについて、和を算出する和算出処理部。
【０００９】
前記暗部抽出処理部は、暗部抽出処理として、更に第一の閾値と比較して暗い値の画素を黒の値に変換する二値化処理を行うことを特徴とする。
【００１０】
本発明に係る手書き文字除去画像処理方法は、
以下の要素を有することを特徴とする
（１）原画像を膨張処理する膨張処理工程
（２）前記膨張処理を施された画像に対して、第一の閾値と比較して明るい値の画素を白の値に変換する暗部抽出処理を行う暗部抽出処理工程
（３）前記暗部抽出処理を施された画像に対して、ラベリングを行い分割領域を求め、分割領域の面積が第二の閾値と比較して小さい場合には、当該分割領域内の画素を白の値に変換する小領域除去処理を行う小領域除去処理工程
（４）前記小領域除去処理を施された画像と前記原画像とについて、和を算出する和算出処理工程。
【００１１】
本発明に係るプログラムを記録したコンピュータ読み取り可能な記録媒体は、
手書き文字除去画像処理装置となるコンピュータに、以下の手順を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴とする
（１）原画像を膨張処理する膨張処理手順
（２）前記膨張処理を施された画像に対して、第一の閾値と比較して明るい値の画素を白の値に変換する暗部抽出処理を行う暗部抽出処理手順
（３）前記暗部抽出処理を施された画像に対して、ラベリングを行い分割領域を求め、分割領域の面積が第二の閾値と比較して小さい場合には、当該分割領域内の画素を白の値に変換する小領域除去処理を行う小領域除去処理手順
（４）前記小領域除去処理を施された画像と前記原画像とについて、和を算出する和算出処理手順。
【００１２】
本発明に係るプログラムは、
手書き文字除去画像処理装置となるコンピュータに、以下の手順を実行させるためのプログラムであることを特徴とする
（１）原画像を膨張処理する膨張処理手順
（２）前記膨張処理を施された画像に対して、第一の閾値と比較して明るい値の画素を白の値に変換する暗部抽出処理を行う暗部抽出処理手順
（３）前記暗部抽出処理を施された画像に対して、ラベリングを行い分割領域を求め、分割領域の面積が第二の閾値と比較して小さい場合には、当該分割領域内の画素を白の値に変換する小領域除去処理を行う小領域除去処理手順
（４）前記小領域除去処理を施された画像と前記原画像とについて、和を算出する和算出処理手順。
【発明の効果】
【００１３】
本発明の手書き文字を除去する画像処理装置及び方法では、有効に手書き文字を削除することができる。
【発明を実施するための最良の形態】
【００１４】
実施の形態１．
まず、解析の対象となる木構造画像処理フィルタを生成する。
【００１５】
その為、処理目標の問題設定をする教師画像は次のようにした。ＡＣＴＩＴは扱うものが画像情報であるため、木構造の中でどのようにして処理が行われているのかを画像として見ることが出来る。この利点を活かすには、目標の処理が行われたかどうかを判断しやすい処理目標を選べばよい。特に処理を見やすい教師画像が望ましい。そこで、今回は図１のような原画像と目標画像（教師画像セット）をもちいた。
【００１６】
この教師画像セットの目標とする処理は、印刷文字と手書き文字の両方が書かれた画像から印刷文字部分だけを抽出するものである。この処理ならば手書き文字部分が消えているかどうかを見ることによって、目的の処理が木構造の中で達成されたかが分かる。よって、見たときに処理構造を理解しやすいと考えられる。
【００１７】
木構造のノード（節）となる画像処理フィルタには、表１のようなものを用いた。
【００１８】
【表１】
2005276188.tif 000003
【００１９】
ACTITで使用した画像処理フィルタの一部は以下のように表される。ただし、各フィルタは1入力の場合は画像F＝[ fij ]を、2入力の場合はF1＝[f1ij ]とF2=[f2ij]を入力し、G=[gij]を出力する変換として定義され、各画素は0からVmaxまでの整数値をとるものとする。すなわち、256階調の画像であればVmax＝255である。また、それぞれgijが0未満になるときは０,Vmaxを超えるばあいにはVmaxとする。
（１）Mean
【００２０】
【数１】
2005276188.tif 000004
【００２１】
（２）Max,Min
【００２２】
【数２】
2005276188.tif 000005
【００２３】
（３）Sobel
【００２４】
【数３】
2005276188.tif 000006
【００２５】
ここで、
【００２６】
【数４】
2005276188.tif 000007
【００２７】
（４）LightEdge,DarkEdge
【００２８】
【数５】
2005276188.tif 000008
【００２９】
ここで、gLijはラプラシアンフィルタの出力で、
【００３０】
【数６】
2005276188.tif 000009
【００３１】
である。
（５）LightPixel,DarkPixel
【００３２】
【数７】
2005276188.tif 000010
【００３３】
ここで、閾値ｔは0<fij< Vmaxであるfijの平均値である。
（６）LargeArea,SmallArea
【００３４】
【数８】
2005276188.tif 000011
【００３５】
ここで、sijは画素（i,j）と４連結であるVmax未満の画素数を表し、閾値ｔはVmax未満の画素を４連結で結んだ画素数の平均値である。
（７）HighPass,LowPass
Fに離散コサイン変換（DCT）を適用し、それぞれ直流成分を除く各成分の振幅の総和を二分する周波数未満、以上の成分を0にし、逆離散コサイン変換を適用した結果をGとする。
（８）Inversion
【００３６】
【数９】
2005276188.tif 000012
【００３７】
（９）LogicalSum,LogicalProd
【００３８】
【数１０】
2005276188.tif 000013
【００３９】
（１０）AlgebraicSum,AlgebraicProd
【００４０】
【数１１】
2005276188.tif 000014
【００４１】
（１１）BoundedSum,BoundedProd
【００４２】
【数１２】
2005276188.tif 000015
【００４３】
木構造画像処理フィルタをＧＰで生成する際に用いた各パラメータは表２のようなものである。
【００４４】
【表２】
2005276188.tif 000016
【００４５】
そのほか、教師画像のサイズは６４×６４、最大階調値Ｖｍａｘ＝２５５である。最適化の終了条件は、世代数２００００までか、あるいは適応度０．９９５以上とした。以上のような条件を用いて、フィルタ総数の最大値が２５のものと１５のものそれぞれ１００本ずつ、計２００本の木構造画像処理フィルタを集めた。
【００４６】
次のフィルタについては同種のフィルタであるとみなすことができる。
【００４７】
【表３】
2005276188.tif 000017
【００４８】
ＡＣＴＩＴで生成した木構造フィルタの部分構造を抽出し、どのような部分構造が最も多く含まれているのかを調べると、Ｌ（０）（Ｓｔｍｅ０）や、Ｌ（０）（Ｓｔｍ０）といった部分構造を含んでいることが分かる。とくにＬ（０）（Ｓｔｍ０）のほうは多くの木がこの構造を含んでおり、かなり全体の特徴をうまく捉えているといえる。
【００４９】
Ｌ（０）（Ｓｔｍ０）の部分構造が実際のデータの木構造中でどのようなながれになっているのか、木構造の中を流れる画像と構造を見比べて検証する。
【００５０】
図２をみると、部分構造の流れの上で画像が処理されていく様子が良く分かる。まずｍ（最小値フィルタ）で黒い部分を膨張させる膨張処理をかけて全体をぼやかし、次にｎ（判別分析法二値化）によって二値化し、手書き部分のぼやかした薄いところはここで白くして除去している。しかし手書き部分の中でも濃い箇所は残ってしまっているのでさらにＳ（分割領域面積が平均値より大きい部分を残す）によって、面積の大きな印刷文字部分は黒いまま残しつつ手書き部分の残りを消去している。これで手書き部分は完全に消去できたがこのままでは印刷文字部分が膨張したままなので原画像と和をとって印刷文字部分の形をきれいにとりだしている。
【００５１】
このように抽出した部分構造の処理を追うことで木構造内の処理過程が容易に理解できるのも、部分構造がこの目標とする処理に対する解の特徴をよく表しているからだと考えられる。ひとつだけではなく、ほかの木においてもこれが当てはまるのかどうかを確認する。
【００５２】
図３をみると、図２と全く同様にして印刷文字部分を抽出していることが分かる。さらに、図３の木では画像処理フィルタｍとｎの間にｆが入っていたりＳとｕの間にｍが入っているが、間にあるノードを無視し、特徴を抽出することができる。
【００５３】
また、図３の木のｕ（＝Ｌ）の左側の枝の出力は原画像とさして変わりがなく、左側の枝はフィルタ数が多いもののさほど機能していない。
【００５４】
部分構造比較により得られた部分構造の処理過程は図４のようにまとめることが出来る。また、この構造を採用した手書き文字除去画像処理装置を図５に示す。手書き文字除去画像処理装置は、原画像入力部５０１、膨張処理部５０２、暗部抽出処理部５０３、小領域除去処理部５０４、及び和算出処理部５０５のモジュールを有している。
【００５５】
原画像入力部５０１は、手書き文字を含む原画像を入力する。膨張処理部５０２は、原画像に対して膨張処理（暗部を膨張させる処理）を行なう。暗部抽出処理部５０３は、膨張処理を施された画像に対して暗部抽出処理（二値化処理も、暗部抽出処理の例である。）を行なう。小領域除去処理部５０４は、暗部抽出処理を施された画像に対して小領域除去処理を行なう。和算出処理部５０５は、小領域除去処理を施された画像と原画像に対して和算出処理を行なう。
【００５６】
次に、各処理について説明する。図６は、膨張処理フローの例を示す図である。前述のMin（記号m）のフィルタに相当する。
【００５７】
画像の各画素について以下の処理を繰り返す（Ｓ６０１）。当該画素の値及び、当該画素の周りの画素（８近傍画素）の値を読み取り（Ｓ６０２）、読み取った９つの画素値のうち、最小の値（最も暗い）を選択し（Ｓ６０３）、選択した最小の値を、新たな画像における当該画素の値とする（Ｓ６０４）。そして、すべての画素について処理した時点で終了する（Ｓ６０５）。
【００５８】
図７は、暗部抽出処理フローの例を示す図である。前述のDarkPixel（記号t）のフィルタに相当する。
【００５９】
まず、画像に含まれる全画素の値の平均を算出する（Ｓ７０１）。そして、画像の各画素について以下の処理を繰り返す（Ｓ７０２）。当該画素の値を、画素値の平均（第一の閾値の例）と比較し（Ｓ７０３）、当該画素値が大きい（明るい）場合には、当該画素の値を最大階調値（白）に変換する（Ｓ７０４）。当該画素値が小さい（暗い）場合には、当該画素の値をそのまま用いる（Ｓ７０５）。これらの処理を、すべての画素について行なった時点で終了する（Ｓ７０６）。
【００６０】
暗部抽出処理として二値化処理を用いてもよい。図８は、二値化処理フローの例を示す図である。前述のBinarizationMean（記号N）のフィルタに相当する。
【００６１】
図７のＳ７０５に代えて、当該画素の値を最小階調値（黒）に変換する（Ｓ８０５）。他は、図７と同様である。
【００６２】
平均値による二値化（Ｎ）および判別分析法によって得られた値による二値化（ｎ）は、閾値と比較して明るい値の画素を白の値に変換する暗部抽出処理の例であり、更に、閾値と比較して暗い値の画素を黒の値に変換する明部抽出処理の例でもある。つまり、二値化は、暗部抽出処理と明部抽出処理を両方行う処理といえる。
【００６３】
図９は、小領域除去処理フローの例を示す図である。前述のLargeArea（記号S）のフィルタに相当する。
【００６４】
まず、画像に対してラベリングを行い、分割領域（例えば、４連結による領域）を求める（Ｓ９０１）。次に、各分割領域の画素数を求め（Ｓ９０２）、これらの分割領域の画素数の平均を算出する（Ｓ９０３）。そして、各分割領域について、以下の処理を繰り返す（Ｓ９０４）。当該分割領域の画素数を、分割領域の画素数の平均（第二の閾値の例）と比較し（Ｓ９０５）、当該分割領域の画素数が小さいには、当該分割領域に含まれるすべての画素の値を、最大階調値（白）に変換する（Ｓ９０６）。当該分割領域の画素数が大きいには、当該分割領域に含まれるすべての画素の値をそのまま用いる。これらの処理を、すべての分割領域について行なった時点で終了する（Ｓ９０７）。
【００６５】
図１０は、和算出処理フローの例を示す図である。前述のLogicalSum（記号L）のフィルタに相当する。
【００６６】
２つの画像で対応する各画素同士について以下の処理を繰り返す（Ｓ１００１）。当該２つの画素の値について、和を算出し（Ｓ１００２）、算出した和を、新たな画像における当該画素の値とする（Ｓ１００３）。すべての画素同士について処理した時点で終了する（Ｓ１００４）。
【００６７】
図で例示した処理以外に、表３に示した同種のフィルタの処理を用いてもよい。
【００６８】
手書き文字を除去する画像処理装置は、コンピュータであり、各要素はプログラムにより処理を実行することができる。また、プログラムを記憶媒体に記憶させ、記憶媒体からコンピュータに読み取られるようにすることができる。
【図面の簡単な説明】
【００６９】
【図１】教師画像セットを示す図である。
【図２】木構造内での部分構造の流れ（その１）を示す図である。
【図３】木構造内での部分構造の流れ（その２）を示す図である。
【図４】手書き文字除去処理を示す図である。
【図５】手書き文字除去画像処理装置の構成を示す図である。
【図６】膨張処理フローの例を示す図である。
【図７】暗部抽出処理フローの例を示す図である。
【図８】二値化処理フローの例を示す図である。
【図９】小領域除去処理フローの例を示す図である。
【図１０】和算出処理フローの例を示す図である。
【符号の説明】
【００７０】
５０１  原画像入力部、５０２  膨張処理部、５０３  暗部抽出処理部、５０４  小領域除去処理部、５０５  和算出処理部。
【図１】
2005276188.tif 000018
【図２】
2005276188.tif 000019
【図３】
2005276188.tif 000020
【図４】
2005276188.tif 000021
【図５】
2005276188.tif 000022
【図６】
2005276188.tif 000023
【図７】
2005276188.tif 000024
【図８】
2005276188.tif 000025
【図９】
2005276188.tif 000026
【図１０】
2005276188.tif 000027