(57)【特許請求の範囲】
【請求項１】
参照画像と、該参照画像に対して所定の幾何学的変換が施されて得られた処理対象画像との座標対応をとる画像位置合わせ方法であって、前記参照画像から抽出されたパターンの座標と、画像マッチングにより抽出された処理対象画像中の同一パターンの座標との対応を基に変換関数のパラメータを計算するとき、該パラメータを推定し、パターンのマッチング距離を基に対応の正しさを表す確率値を算出し、該確率値と、対応座標と該推定したパラメータから算出される変換関数からの外れ度合いとを用いて、誤対応であると判定された対応を削除し、前記変換関数のパラメータを計算することを特徴とする画像位置合わせ方法。
【請求項２】
前記確率値と前記変換関数からの外れ度合いを用いて座標の対応の発生分布を、正しい対応を発生させる分布と誤った対応を発生させる分布の２つの混合モデルとしてモデル化し、正しい対応から発生する確率を、前記パターンマッチングに基づく対応の正しさを表す確率を用いて表したとき、その尤度を最大化する変換関数のパラメータを求め、該パラメータを用いて各対応に対して誤った対応の分布の尤度の比率を求め、該比率が所定の閾値よりも高い対応を誤対応であると判定することを特徴とする請求項１記載の画像位置合わせ方法。
【請求項３】
前記尤度を最大化する変換関数のパラメータを求めるとき、正しい対応であるか誤った対応であるかを示す変数を隠れ変数として用い、ＥＭ法による逐次的計算を行うことを特徴とする請求項２記載の画像位置合わせ方法。
【請求項４】
前記ＥＭ法による逐次的計算を行う際の初期パラメー夕は、大きな残差を持ったデータの寄与度が小さくなるように重みをつけるロバスト推定法により求めることを特徴とする請求項３記載の画像位置合わせ方法。
【請求項５】
前記変換関数のパラメータを推定するとき、前記変換関数をアフィン変換部分と非線形部分に分け、前記アフィン変換による変換関数のパラメータ推定を行い、該パラメータ推定により算出された変換関数に対して残差の推定を行い、該残差の大きさが所定の閾値を越えた場合に非線形関数系を用いた残差部分の追加推定を行うことを特徴とする請求項１記載の画像位置合わせ方法。
【請求項６】
前記非線形関数系として、多層パーセプトロンモデルを用いることを特徴とする請求項５記載の画像位置合わせ方法。
【請求項７】
請求項１乃至６のいずれか１項に記載の画像位置合わせ方法を用いて、ファクシミリから受信した処理対象画像と、予め保持された参照画像との画像位置合わせを行った後、前記参照画像で指定された領域に対応する前記処理対象画像中の領域を、文字認識することを特徴とするファックス文字認識方法。
【請求項８】
請求項１乃至６のいずれか１項に記載の画像位置合わせ方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ある画像と、それにアフィン的な変換を施された画像との座標の対応をとる画像位置合わせ方法、ファックス文字認識方法および記録媒体に関する。
【０００２】
【従来の技術】
画像処理においては、位置や拡大率などの異なるほぼ同一の内容の２つの画像間で、座標の対応をとる技術が用いられる。例えば、ファックス文字認識装置（ＦＡＸＯＣＲ装置）の前処理では、ＦＡＸで送信された画像を原画像と比較することにより、認識対象となる領域を特定することが必要になる。そこで、送信された帳票画像とあらかじめ用意された参照画像との座標対応を取る画像位置合わせの技術が重要となる。画像の変換を推定するためにはまず、送信された処理対象画像のある点が計算機内にあらかじめ保持された参照画像のどの点に対応づけられているかを計算機が自動的に知る必要がある。
【０００３】
ＦＡＸＯＣＲ装置における従来の位置合わせ方法としては、特定の形状で特定の位置に印字されたタイミングマークを利用した手法が用いられていた（例えば、特開平４−２６１２５９号公報を参照）。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記したタイミングマークを用いた方法では、タイミングマークを印字した新たな帳票の作成に要するコストがかかるなどの問題がある。そこで、これを解決するために、本出願人は先に、処理対象画像と参照画像とに共通する複数のパターンを抽出し、抽出されたパターンに関し、該参照画像と該処理対象画像の対応した同一パターンを検出し、該対応したパターンの相互の位置関係を求め、該位置関係に基づき該処理対象画像と該参照画像との位置合わせのための補正式を決定する画像処理方法を提案した（特願平８−５４３０８号）。この方法では、抽出パターンをタイミングマークの代わりに用いている。
【０００５】
ところで、参照画像と処理対象画像とのパターンマッチングによって座標の対応をとる方法では、マッチングの誤りのために誤った対応点データが含まれる可能性がある。そのために、正しい対応点を多く残しながら誤った対応点をすべて取り除くことが重要な課題となり、これまでに、本出願人によってパターンの対応の誤りを削除する手法が提案されているが（特願平８−２４０１５４号）、誤対応が完全に除去されない場合もあり、より精度の高い方法が求められていた。
【０００６】
本発明の目的は、対応する座標から誤対応を高精度に削除する画像位置合わせ方法、ファックス文字認識方法および記録媒体を提供することにある。
【０００７】
【課題を解決するための手段】
前記目的を達成するために、請求項１記載の発明では、参照画像と、該参照画像に対して所定の幾何学的変換が施されて得られた処理対象画像との座標対応をとる画像位置合わせ方法であって、前記参照画像から抽出されたパターンの座標と、画像マッチングにより抽出された処理対象画像中の同一パターンの座標との対応を基に変換関数のパラメータを計算するとき、該パラメータを推定し、パターンのマッチング距離を基に対応の正しさを表す確率値を算出し、該確率値と、対応座標と該推定したパラメータから算出される変換関数からの外れ度合いとを用いて、誤対応であると判定された対応を削除し、前記変換関数のパラメータを計算することを特徴としている。
【０００８】
請求項２記載の発明では、前記確率値と前記変換関数からの外れ度合いを用いて座標の対応の発生分布を、正しい対応を発生させる分布と誤った対応を発生させる分布の２つの混合モデルとしてモデル化し、正しい対応から発生する確率を、前記パターンマッチングに基づく対応の正しさを表す確率を用いて表したとき、その尤度を最大化する変換関数のパラメータを求め、該パラメータを用いて各対応に対して誤った対応の分布の尤度の比率を求め、該比率が所定の閾値よりも高い対応を誤対応であると判定することを特徴としている。
【０００９】
請求項３記載の発明では、前記尤度を最大化する変換関数のパラメータを求めるとき、正しい対応であるか誤った対応であるかを示す変数を隠れ変数として用い、ＥＭ法による逐次的計算を行うことを特徴としている。
【００１０】
請求項４記載の発明では、前記ＥＭ法による逐次的計算を行う際の初期パラメー夕は、大きな残差を持ったデータの寄与度が小さくなるように重みをつけるロバスト推定法により求めることを特徴としている。
【００１１】
請求項５記載の発明では、前記変換関数のパラメータを推定するとき、前記変換関数をアフィン変換部分と非線形部分に分け、前記アフィン変換による変換関数のパラメータ推定を行い、該パラメータ推定により算出された変換関数に対して残差の推定を行い、該残差の大きさが所定の閾値を越えた場合に非線形関数系を用いた残差部分の追加推定を行うことを特徴としている。
【００１２】
請求項６記載の発明では、前記非線形関数系として、多層パーセプトロンモデルを用いることを特徴としている。
【００１３】
請求項７記載の発明では、請求項１乃至６記載の方法を用いて、ファクシミリから受信した処理対象画像と、予め保持された参照画像との画像位置合わせを行った後、前記参照画像で指定された領域に対応する前記処理対象画像中の領域を、文字認識することを特徴としている。
【００１４】
請求項８記載の発明では、請求項１乃至６のいずれか１項に記載の画像位置合わせ方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴としている。
【００１５】
【発明の実施の形態】
以下、本発明の一実施例を図面を用いて具体的に説明する。
本発明の画像位置合わせ方法は、様々な装置、システムに適用できるが、ここではＦＡＸＯＣＲ装置を一例にして説明する。前述したように、ＦＡＸＯＣＲ装置は、ファクシミリにより送られてきた帳票の画像を取り込み、この入力画像（処理対象画像）と同種帳票の参照画像とを位置合わせした後、入力画像中の必要な記載事項（これは、参照画像で予め指定された領域に対応するもの）を切り出し、文字認識処理を行ってデータとして出力するものである。
【００１６】
このＦＡＸＯＣＲ装置は、画像入力部と、画像位置合わせ部と、認識処理部とに大きく分けられる。本発明は画像位置合わせ部に係るものであるが、本発明では、前掲した出願（特願平８−５４３０８号）の手法を一部用いる。すなわち、画像位置合わせ部は、入力画像メモリと、パターン抽出部と、同一パターン抽出部と、参照画像パターンメモリと、対応点検出部からなり、パターン抽出部は入力画像から所定の大きさのパターンを抽出し、同一パターン抽出部は、抽出された入力パターンと同一のパターンを参照画像パターンメモリから見つけ、対応点検出部では、入力画像と参照画像の対応した同一パターンの座標を検出する。
【００１７】
〈実施例１〉
図１は、本発明の実施例１の構成を示す。本発明の画像位置合わせ部は、対応座標取得部１と、正対応確率算出部２と、対応格納部３と、混合モデルパラメータ推定部４と、誤対応削除部５からなる。また、図２は、本発明の処理フローチャートを示す。
【００１８】
まず、対応座標取得部１は、２つの画像間の座標の対応をとるためのデータとして、対応していると想定される、参照画像と処理対象画像の座標の組
【００１９】
【数１】
0003781324.tif 000002
【００２０】
を取得する。ここで
【００２１】
【数２】
0003781324.tif 000003
【００２２】
は参照画像の座標を表す２次元ベクトルであり、
【００２３】
【数３】
0003781324.tif 000004
【００２４】
は処理対象画像の座標を表す２次元ベクトルである。この座標の組の取得のために、前述した出願の方法を用いることができる。
【００２５】
この対応を作成する際には、パターンマッチングが行われるので、これら対応にそれぞれマッチング距離ｄ1，，，，，ｄNが計算されている。このマッチング距離に基づいて、正対応確率算出部２は、各対応に正対応確率ｐ1，，，，ｐNを付与する。これらの確率は、それぞれの対応が正しい確率をマッチングの距離に基づいて算出したものである。座標の対応と正対応確率の組
【００２６】
【数４】
0003781324.tif 000005
【００２７】
は対応格納部３に記憶され、変換関数のパラメータ計算に用いられる。
【００２８】
正対応確率の求め方の一例として、あらかじめ作成した表によるものがあげられる。この方法は、多数の参照画像と処理対象画像のパターンの例に対して、マッチング距離とその対応の正誤の組を与え、マッチング距離ｄを持つ対応が正しい対応である確率ｐ（ｄ）を
ｐ（ｄ）＝（マッチング距離ｄで正しい対応の個数）／（マッチング距離がｄである                対応の個数）                            （１）
により計算し、適当な粗さに量子化したｄに対してｐ（ｄ）を与える正対応確率テーブルをもつものである。
【００２９】
変換関数を求めるためには、パラメータθを持った関数の族ｆ（ｘ；θ）を用いて、データに当てはまるθを計算するというパラメトリック推定法を用いる。例えば、ＦＡＸＯＣＲのオリジナル画像と受信画像との間の変換を求める際には、その変換が拡大縮小、回転などに起因することを考慮して、ｆ（ｘ；θ）をアフィン変換
ｆ（ｘ；θ）＝Ａｘ＋ｂ                              （２）
（θ＝（Ａ，ｂ））に設定するとよい。ここでＡは２×２行列であり、ｂは２次元ベクトルである。
【００３０】
また、本実施例では、正しい対応を発生させる分布と、誤った対応を発生させる分布を、平均が同一で分散が異なる２つの分布によってモデル化し、それぞれの発生頻度をマッチング距離に基づく正対応確率によって定めることを特徴としている。特に計算を簡単にする目的からは、この２つの分布を正規分布に設定すると都合がよい。このため、以降では正規分布の場合のみを説明する。
【００３１】
対応（ｘ，ｙ）がマッチング距離ｄを持つとき、それを発生させる確率モデルを
【００３２】
【数５】
0003781324.tif 000006
【００３３】
で定める。σ，τはそれぞれ正対応、誤対応の誤差分布の分散を表し、σ＜＜τであると考える。これらの分散はあらかじめ問題に対する知識によってある定数に設定しておくものとし、パラメータ推定部４においてデータから推定するパラメータはθのみとする。パラメータθを求める基準として最尤推定を用いる。
【００３４】
推定量
【００３５】
【数６】
0003781324.tif 000007
【００３６】
が得られた後に（ステップ１０１）、誤った対応だと考えられるものを除外する処理を、誤対応削除部５で行う。各対応
【００３７】
【数７】
0003781324.tif 000008
【００３８】
に対し、誤った対応の分布の尤度の比率
【００３９】
【数８】
0003781324.tif 000009
【００４０】
を計算する（ステップ１０２、１０３）。Ｐfalse（ν）は対応
【００４１】
【数９】
0003781324.tif 000010
【００４２】
が誤っている確率を表している。
【００４３】
Ｐfalse（ｎ）がある閾値Ｄth以上の時に（ステップ１０４）、そのデータは誤っているとして削除する（ステップ１０５）。こうして、すべての対応に対して処理が終了した後（ステップ１０６、１０７）、残った対応に対してパラメータの再計算を行い最終的な結果を得る（ステップ１０８）。このパラメータの計算としては、通常の最小２乗誤差推定量を用いればよい。
【００４４】
次に、混合モデルの最尤推定量の求め方について説明する。対応格納部に記憶された座標の対応と正対応確率の組
【００４５】
【数１０】
0003781324.tif 000011
【００４６】
に対し、最尤推定によりθを求めるために、逐次的なパラメータ更新手法であるＥＭ法を用いる。
【００４７】
ＥＭアルゴリズムは、観測されない隠れ変数がある場合に、最尤推定量を得ることを目的とした逐次的手法である。ここで、その一般的な方法を簡単に説明する。パラメータθを持った、変数（ｖ，ｕ）上の確率密度関数の族｛ｐ（ｖ，ｕ；θ）｝を考える。確率変数ｖは観測可能な変数であり、その標本を取得することができるが、変数ｕは隠れ変数と呼ばれ、パラメータθの推定にあたってその標本を採取することができないと仮定する。すべての変数が観測できれば対数尤度
【００４８】
【数１１】
0003781324.tif 000012
【００４９】
を最大化すればよいが、隠れ変数がある場合には、
【００５０】
【数１２】
0003781324.tif 000013
【００５１】
を用いることができないため、逐次的な手法として、現在得られているパラメータを
【００５２】
【数１３】
0003781324.tif 000014
【００５３】
とするとき、隠れ変数ｕについて
【００５４】
【数１４】
0003781324.tif 000015
【００５５】
が与えられた時の条件付き平均をとった
【００５６】
【数１５】
0003781324.tif 000016
【００５７】
を最大にするθを新たな
【００５８】
【数１６】
0003781324.tif 000017
【００５９】
とする。条件付き平均値を計算する過程をＥステップ、対数尤度を計算する過程をＭステップと呼ぶ。ＥＭアルゴリズムはこの２つのステップの繰返しにより尤度の最大化をはかる。
【００６０】
ＥＭアルゴリズムを本発明に適用する場合には、以下のようにモデル化を行う。すなわち、得られた対応（ｘ，ｙ，ｄ）に対し、これが正しい対応であるか誤った対応であるかを示すラベルｕを隠れ変数として導入する。ｕは２次元の変数であり、（１，０）か（０，１）かの何れかの値をとる。隠れ変数も含めた統計モデルは、
【００６１】
【数１７】
0003781324.tif 000018
【００６２】
となる。このモデルに対する周辺分布ｐ（ｙ｜ｘ，ｄ；θ）は（３）式と一致しているため、上式に対する最尤推定ができれば、（３）式に対する最尤推定にもなっている。このモデルに対して上で述べたＥＭアルゴリズムの一般的な枠組を適用すると、隠れ変数に関する期待値は
【００６３】
【数１８】
0003781324.tif 000019
【００６４】
で計算される。ここで、
【００６５】
【数１９】
0003781324.tif 000020
【００６６】
は以下のように定められている。
【００６７】
【数２０】
0003781324.tif 000021
【００６８】
ここで表記を簡単にするため、
【００６９】
【数２１】
0003781324.tif 000022
【００７０】
とおいた。従って、この最大化は以下の（６）式の重み付き２乗誤差最小化により解くことができる。
【００７１】
このＥＭ手法は、図３のような手順で実行される。まず、パラメータθの初期化を行い、初期パラメータをθ（０）とおく（ステップ２０１）。第ｔステップ目には推定量θ（ｔ−１）が得られているとして、各対応
【００７２】
【数２２】
0003781324.tif 000023
【００７３】
に対して上記
【００７４】
【数２３】
0003781324.tif 000024
【００７５】
を計算する（ステップ２０２、２０３）。
【００７６】
第ｔステップの推定量
【００７７】
【数２４】
0003781324.tif 000025
【００７８】
は
【００７９】
【数２５】
0003781324.tif 000026
【００８０】
の解として求められる。特にｆ（ｘ；θ）がアフィン変換の場合には、
【００８１】
【数２６】
0003781324.tif 000027
【００８２】
と書くことにして
【００８３】
【数２７】
0003781324.tif 000028
【００８４】
により計算される（ステップ２０４）。これらの計算が終了判定条件を満すまで繰り返され（ステップ２０５、２０６）、最終的な推定量
【００８５】
【数２８】
0003781324.tif 000029
【００８６】
が得られる（ステップ２０７）。終了判定条件には処理フローに示すように、繰返しの回数を用いてもよいし、推定量の変化量が一定の閾値以内であれば終了としてもよい。
【００８７】
次に、ＥＭ法の繰返し計算を行う際の初期値の決定方法について説明する。ＥＭ法などのような繰返し演算では、初期値によって最終的な結果が大きな影響を受けやすい。そのため、ある程度よい初期値から演算を始めた方がよい。そこで、本発明では、ロバスト推定としてよく知られたＷ推定量を用いる。Ｗ推定量の計算は、図４に示されたような処理フローで行われる。
【００８８】
まず、適当な重み関数ρ（ｕ）を定める。これは大きな残差を持ったデータの寄与を小さくするための関数であり、例えば
【００８９】
【数２９】
0003781324.tif 000030
【００９０】
などを用いる。
【００９１】
まず重みの初期値
【００９２】
【数３０】
0003781324.tif 000031
【００９３】
を、例えばすべて同一の値のように、適当な値で初期化する（ステップ３０１）。第（ｔ−１）段の重みが決まっているとき、第ｔ段の推定値としては、重みつき２乗誤差
【００９４】
【数３１】
0003781324.tif 000032
【００９５】
を最小にする推定量を計算する。アフィン変換の場合には
【００９６】
【数３２】
0003781324.tif 000033
【００９７】
によって得られる（ステップ３０２、３０３）。この推定量を用いて、あらたな重みを
【００９８】
【数３３】
0003781324.tif 000034
【００９９】
によって計算する（ステップ３０４）。この計算を繰返し行う（ステップ３０５、３０６）。最終的にステップ３０７で得られた推定量が、図３のステップ２０１の初期パラメータとなる。
【０１００】
さらに、本実施例では、画像の変換に非線形性が存在する場合にも有効性を持つ。まず、上記した本発明の方法でアフィン変換による推定を行った後、非線形用データとして、アフィン変換による残差
【０１０１】
【数３４】
0003781324.tif 000035
【０１０２】
を算出する。このとき平均２乗残差
【０１０３】
【数３５】
0003781324.tif 000036
【０１０４】
がある閾値以上であると、非線形変換による残差補償を行う。そのために、非線形関数系
【０１０５】
【数３６】
0003781324.tif 000037
【０１０６】
を用意し、データ
【０１０７】
【数３７】
0003781324.tif 000038
【０１０８】
を用いて２乗誤差最小基準により最適なパラメータωを求める。非線形関数系としては、多項式系などのようなものも用いることができるが、本実施例では特に多層パーセプトロンモデルを用いる。ここでは中間素子をＨ個持つ３層パーセブトロンモデルを説明する。このモデルはパラメータ
【０１０９】
【数３８】
0003781324.tif 000039
【０１１０】
に対し、
【０１１１】
【数３９】
0003781324.tif 000040
【０１１２】
という関数系で定義される非線形モデルである。ここでｓ（ｔ）はシグモイド関数と呼ばれ
【０１１３】
【数４０】
0003781324.tif 000041
【０１１４】
という形である。シグモイド関数は局所的な伸び縮みを表現できるので、３層パーセプトロンによる非線形補償は、ファクシミリ画像でしばしば見受けられる、ある方向（特にスキャン方向）への局所的な伸び縮みをよくモデル化できると考えられる。
【０１１５】
３層パーセプトロンのパラメータを最適化するには、公知の技術であるエラーバックプロパゲーションが用いられる。こうして得られたパラメータを
【０１１６】
【数４１】
0003781324.tif 000042
【０１１７】
とすると、画像の変換を計算する際には、
【０１１８】
【数４２】
0003781324.tif 000043
【０１１９】
によって変換先を計算する。
【０１２０】
〈実施例２〉
本発明は上記した実施例に限定されず、ソフトウェアによっても実現することができる。本発明をソフトウェアによって実現する場合には、図５に示すように、ＣＰＵ、ＲＯＭ、ＲＡＭ、表示装置、ハードディスク、キーボード、ＣＤ−ＲＯＭドライブ、スキャナなどからなるコンピュータシステムを用意し、ＣＤ−ＲＯＭなどのコンピュータ読み取り可能な記録媒体には、本発明の画像位置合わせ機能、文字認識機能を実現するプログラムが記録されている。また、ＦＡＸなどから入力された帳票などの画像は一時的にハードディスクなどに格納される。そして、該プログラムが起動されると、一時保存された画像データが読み込まれて、画像位置合わせ処理を実行すると共に、帳票画像の特定領域を文字認識し、その認識結果をディスプレイなどに出力する。
【０１２１】
【発明の効果】
以上、説明したように、本発明によれば、ＦＡＸＯＣＲなどの画像位置合わせにおいて、ロバスト（頑健）で誤りの少ない変換関数のパラメータ推定を行うことが可能となる。その結果、ＦＡＸＯＣＲにおける認識領域の特定精度が向上し、ひいては文字認識の認識率が向上する。
【図面の簡単な説明】
【図１】  本発明の実施例１の構成を示す。
【図２】  本発明の処理フローチャートを示す。
【図３】  ＥＭ法によるパラメータ計算のフローチャートを示す。
【図４】  Ｗ推定量の計算を行うフローチャートを示す。
【図５】  本発明をソフトウェアによって実現する場合の実施例２の構成例を示す。
【符号の説明】
１  対応座標取得部
２  正対応確率算出部
３  対応格納部
４  混合モデルパラメータ推定部
５  誤対応削除部
【図１】
0003781324.tif 000044
【図２】
0003781324.tif 000045
【図３】
0003781324.tif 000046
【図４】
0003781324.tif 000047
【図５】
0003781324.tif 000048