(57)【特許請求の範囲】
【請求項１】
画像認識システムにおいて、マルチ・ビットのピクセル値を有する複数のピクセルからなるサンプル画像を、前景と背景で構成される二値画像である参照画像の集合から認識する方法であって、
前記画像認識システムの正規化手段が、前記サンプル画像のサイズを前記参照画像のサイズまで正規化する正規化ステップと、
前記画像認識システムの判定手段が、前記参照画像の集合の中から、前記サンプル画像の候補画像を判定する判定ステップと、を有し、
前記判定ステップでは、
前記参照画像の集合に含まれる各参照画像を順に処理対象として、当該処理対象の参照画像の前景と背景に対応する前景部分と背景部分とに前記正規化されたサンプル画像のピクセルを区分けし、前記区分けされたサンプル画像の背景部分の最大ピクセル値に対応する第１の値を決定し、前記区分けされたサンプル画像の前景部分の最小ピクセル値から１を減じた値に対応する第２の値を決定し、当該決定された第１の値が前記第２の値以下である場合、当該処理対象の参照画像を最短距離がゼロの候補画像として候補集合に格納するとともに、最短距離がゼロでない候補画像を前記候補集合から廃棄し、当該決定された第１の値が前記第２の値より大きい場合は、更に、最短距離がゼロの候補画像が既に格納されているか否か判断し、最短距離がゼロの候補画像が既に格納されていると判断した場合は当該処理対象の参照画像を前記候補画像にせず、一方、最短距離がゼロの候補画像が既に格納されていないと判断した場合は当該処理対象の参照画像を最短距離がゼロでない暫定の候補画像として前記第１の値と前記第２の値を関連付けて前記候補集合に格納する処理を実行し、
前記参照画像の集合に含まれる参照画像全てに対して前記処理を実行した後に、前記候補集合に最短距離がゼロの候補画像が格納されているか判断し、前記候補集合に最短距離がゼロの候補画像が格納されていると判断した場合は当該格納されている候補画像を判定結果とし、一方、前記候補集合に最短距離がゼロの候補画像が格納されていないと判定した場合は、前記暫定の候補画像に関連付けられた前記第１の値と前記第２の値との間の複数の値を用いて前記サンプル画像を二値化して前記参照画像との間の最短距離を計算し、当該計算された最短距離が許容範囲内にある参照画像を候補画像として判定することを特徴とする方法。
【請求項２】
前記認識すべきサンプル画像は文字画像であることを特徴とする請求項１に記載の方法。
【請求項３】
マルチ・ビットのピクセル値を有する複数のピクセルからなるサンプル画像を、前景と背景で構成される二値画像である参照画像の集合から認識するシステムであって、
前記サンプル画像のサイズを前記参照画像のサイズまで正規化する正規化ユニットと、
前記正規化ユニットと接続して、前記サンプル画像の候補画像を前記参照画像の前記集合の中から判定する判定ユニットと、を有し、
前記判定ユニットは、
前記参照画像の集合に含まれる各参照画像を順に処理対象として、当該処理対象の参照画像の前景と背景に対応する前景部分と背景部分とに前記正規化されたサンプル画像のピクセルを区分けし、前記区分けされたサンプル画像の背景部分の最大ピクセル値に対応する第１の値を決定し、前記区分けされたサンプル画像の前景部分の最小ピクセル値から１を減じた値に対応する第２の値を決定し、当該決定された第１の値が前記第２の値以下である場合、当該処理対象の参照画像を最短距離がゼロの候補画像として候補集合に格納するとともに、最短距離がゼロでない候補画像を前記候補集合から廃棄し、当該決定された第１の値が前記第２の値より大きい場合は、更に、最短距離がゼロの候補画像が既に格納されているか否か判断し、最短距離がゼロの候補画像が既に格納されていると判断した場合は当該処理対象の参照画像を前記候補画像にせず、一方、最短距離がゼロの候補画像が既に格納されていないと判断した場合は当該処理対象の参照画像を最短距離がゼロでない暫定の候補画像として前記第１の値と前記第２の値を関連付けて前記候補集合に格納する処理を実行し、
前記参照画像の集合に含まれる参照画像全てに対して前記処理を実行した後に、前記候補集合に最短距離がゼロの候補画像が格納されているか判断し、前記候補集合に最短距離がゼロの候補画像が格納されていると判断した場合は当該格納されている候補画像を判定結果とし、一方、前記候補集合に最短距離がゼロの候補画像が格納されていないと判定した場合は、前記暫定の候補画像に関連付けられた前記第１の値と前記第２の値との間の複数の値を用いて前記サンプル画像を二値化して前記参照画像との間の最短距離を計算し、当該計算された最短距離が許容範囲内にある参照画像を候補画像として判定することを特徴とするシステム。
【請求項４】
マルチ・ビット値を有する複数のピクセルからなるサンプル画像を二値画像である参照画像の集合から認識するための、コンピュータ内に一体化されたコンピュータ可読コードを記憶したコンピュータ可読媒体であって、
前記サンプル画像のサイズを前記参照画像のサイズまで正規化する正規化ステップのコードと、
参照画像の集合から候補画像の集合を判定する判定ステップのコードとを記憶し、
前記判定ステップでは、
前記参照画像の集合に含まれる各参照画像を順に処理対象として、当該処理対象の参照画像の前景と背景に対応する前景部分と背景部分とに前記正規化されたサンプル画像のピクセルを区分けし、前記区分けされたサンプル画像の背景部分の最大ピクセル値に対応する第１の値を決定し、前記区分けされたサンプル画像の前景部分の最小ピクセル値から１を減じた値に対応する第２の値を決定し、当該決定された第１の値が前記第２の値以下である場合、当該処理対象の参照画像を最短距離がゼロの候補画像として候補集合に格納するとともに、最短距離がゼロでない候補画像を前記候補集合から廃棄し、当該決定された第１の値が前記第２の値より大きい場合は、更に、最短距離がゼロの候補画像が既に格納されているか否か判断し、最短距離がゼロの候補画像が既に格納されていると判断した場合は当該処理対象の参照画像を前記候補画像にせず、一方、最短距離がゼロの候補画像が既に格納されていないと判断した場合は当該処理対象の参照画像を最短距離がゼロでない暫定の候補画像として前記第１の値と前記第２の値を関連付けて前記候補集合に格納する処理を実行し、
前記参照画像の集合に含まれる参照画像全てに対して前記処理を実行した後に、前記候補集合に最短距離がゼロの候補画像が格納されているか判断し、前記候補集合に最短距離がゼロの候補画像が格納されていると判断した場合は当該格納されている候補画像を判定結果とし、一方、前記候補集合に最短距離がゼロの候補画像が格納されていないと判定した場合は、前記暫定の候補画像に関連付けられた前記第１の値と前記第２の値との間の複数の値を用いて前記サンプル画像を二値化して前記参照画像との間の最短距離を計算し、当該計算された最短距離が許容範囲内にある参照画像を候補画像として判定することを特徴とするコンピュータ可読媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は一般に画像認識に関し、特に正規化されたグレースケール画像の分類駆動型閾値処理による光学的文字認識の方法とシステムとに関する。
【０００２】
【従来の技術】
光学的文字認識技術において、画像分類装置は、サンプル画像を参照画像の集合すなわちテンプレートと一致させることを企図する機能ユニットである。ほとんどの文字画像はグレースケールで標本化され、その結果一つの画像ピクセル当たり複数のデータ・ビットが生じるにもかかわらず、画像分類装置は一般にバイナリ(バイ・レベル)入力データに限定されている。グレースケールデータの分析は実質的にもっと複雑で、時間のかかる極めて複雑な技術を必要とする。従って、グレースケール分類装置は存在するものの、容易に利用できるほとんどの画像分類装置ではバイナリ入力データしか受け付けない。“ボックス連結性アプローチを用いるマルチフォント光学的文字認識”に対してKrtolica他に特許された米国特許No. 5,539,840(この米国特許は本明細書に参考文献として取り入れられている)に記載されているシステムのような、光学的文字認識用の様々なバイナリ分類装置が当業では知られている。
【０００３】
サンプル画像にはグレースケールデータが含まれるが、画像分類装置はバイナリデータしか受け入れないので、最初にサンプル画像をグレースケールから黒と白へ変換しなければならない。このステップには通常、閾値処理、あるいは二値化と称されるプロセスが必要とされ、このプロセスには、中間グレーレベル(“二値化閾値”あるいは“閾値”と通常称される)の選択と、ピクセルの原グレーレベルが閾値の値より大きい値を持っているかあるいは小さい値を持っているかによって決められる、各画像ピクセルの値の０又は１のいずれかへの変更と、が含まれる。従来のシステムにおいては一般に、単一の閾値が使用されるサンプル画像の二値化が一回行われ、二値化後にバイナリ出力データが画像分類装置へ与えられる。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の二値化方法で認識処理を実行した場合、閾値処理によって認識精度が劇的に低くなることが多い。画像が閾値化されると画像に関する多くの有益な情報が失われる。例えば、8ビットグレースケール画像には、その閾値処理された画像の8倍のデータが含まれる。このようなデータによって、人間の目は画像を認識する際に助けられるが、従来の画像認識システムでは、これらのデータは閾値処理を行うことで失われてしまう。
【０００５】
更に、閾値処理に伴い画像中へ有害なノイズが入り込む。画像のグレーレベル中の僅かな偏り(deviations)が、閾値処理後、鋸歯状エッジ(jagged edges)、ストレイ(stray)ピクセル、空隙(gaps)及び他のアーティファクトの形ではっきりと現れることが多く、これらのために認識精度が低下する。更に、閾値処理後、サンプル画像は参照画像のサイズまで通常正規化される。しかし、バイナリデータの正規化によって一般にノイズが合成され、認識精度が大幅に低くなる。この場合必要なことは、原グレースケール画像に関するできるだけ多くの情報を保持し、閾値処理と正規化のプロセスに関連するノイズを少なくしながら、バイナリデータをバイナリ画像分類装置へ与えるための方法とシステムである。
【０００６】
先程述べたように、従来のシステムでは、画像分類処理とは別個のステップとして閾値処理が行われるのが普通である。従って、そのようなシステムでは、閾値処理とは単純化又は量子化ステップにすぎない。しかし、図1に示すように、閾値処理は分類処理にとって主要な処理であり、分類処理から簡単に分離できるものではない。例えば、図1のマトリクス(a)は、１ピクセル当たり8ビット(256グレーレベル)で標本化されたグレースケール画像を表す。この二値化閾値(“T”)を128と選択した場合、マトリクス(b)がその結果生じたバイナリ画像を例示するが、この画像はバイナリ画像分類装置によって文字“U”と解釈されることになる。しかし、この閾値を140と選択した場合、マトリクス(c)がその結果生じたバイナリ画像を例示し、この画像はバイナリ画像分類装置によって文字“L”であると解釈されることになる。この解釈は両方とも妥当(valid)である。しかし、各々の場合、二値化閾値の選択は、どのピクセルが前景(“1”)にありどのピクセルが背景(“0”)にあるかを判定するものである。従って、この閾値処理ステップによって、画像分類処理が有効に決定される。
【０００７】
前述の状況は前景と背景との間のコントラストが弱い場合に、また、前景あるいは背景のグレーレベルがサンプル画像を通じて均一でない場合に生じることが多い。人間の目はこれらの異常を容易に補償することができる。しかし、分類前に画像を別個に閾値化する従来の画像認識システムでは頻繁に不正確な結果が生じる。実際、上に示すように、いずれかの閾値の恣意的選択のために、文字画像の妥当で可能性の高い正しい解釈が除かれることがよく起こる。
【０００８】
閾値処理ステップは分類処理とは別個に行われるので、従来のバイナリ画像分類装置では、異なる閾値に基づくような択一的解釈を検出することはできない。もしこの閾値処理を参照画像を事前に知ることと同時に行うことができれば、異なる閾値に基づくサンプル画像についてのいくつかの可能な解釈を決定することができよう。更に、この二値化サンプル画像からの容認できる“距離”を持つ解釈のみを選択することができよう。
【０００９】
この場合必要なことは、異なる閾値を用いて画像のいくつかの解釈を見いだすような、閾値処理と分類ステップとの一体化のための方法とシステムである。更に必要なことは、二値化サンプルと参照画像間の距離を最小化し、解釈を選択するための方法とシステムである。以後、このプロセスを“分類駆動型閾値処理(classification-driven thresholding)”と呼ぶことにする。更に必要なことは、全ての可能な閾値化された画像を参照画像の集合と網羅的に比較することに依らず分類駆動型閾値処理を効率的に行う方法とシステムである。最後に必要なことは、文字画像の望ましい解釈を選択することによって候補集合を明確化するための方法とシステムである。
【００１０】
【課題を解決するための手段】
本発明は、正規化されたグレースケール画像の分類駆動型閾値処理による画像認識のための方法とシステムを提供することによって、従来の画像認識システムの前述の問題点を処理するものである。本発明に従って、サンプル画像(142)はサンプル画像(142)のサイズを参照画像(146)のサイズへ正規化する(404)ことによって認識され、参照画像(146)の集合から候補画像(147)の集合が判定され(406)、候補画像(147)の各々はサンプル画像(142)の異なる二値化(145)からの距離が許容範囲内にある。
【００１１】
本発明によれば、画像認識のためのシステム(120)にはスキャナ(126)、正規化ユニット(134)、距離計算ユニット(136)、分類ユニット(138)、明確化ユニット(140)、並びに表示装置(128)が含まれる。
【００１２】
【発明の実施の態様】
本発明のこれらの及びその他の更に詳細で具体的な目的と特徴を添付図面を参照しながら、以下の明細書に完全に開示する。
【００１３】
手書き若しくは機械印刷文字の画像を認識するという文脈で以下の説明を行う。しかし、本明細書に開示する原理と方法を用いて様々な画像タイプを認識し、更に画像を特徴づけるために用いられるベクトルを特徴づけることもできる。従って、本発明の範囲は文字認識のみに限定されるものではない。更に、以下の説明はグレースケール画像を認識するという文脈におけるものではあるが、本発明の方法とシステムを用いてカラー画像も認識できるということを当業者は認めるであろう。
【００１４】
＜システム構成＞
図2を参照すると、本発明による文字画像を認識するためのシステム120の物理的ブロック図が示されている。一つの実施形態では、本発明は、従来型のパーソナルコンピュータ上で実行されるソフトウェアとして実施される。従って、図2に示されるようなシステム120のハードウェア構成は、他の実施方法も可能ではあるが、そのようなコンピュータからなる構成要素を組み合わせたものとして実施されることが望ましい。
【００１５】
中央演算処理装置(CPU)122によってソフトウェアの命令が実行され、他の構成要素と相互に作用して本発明の方法が実行される。記憶装置124によってデータとソフトウェアプログラムの長期保存が行われるが、この記憶装置はハードディスク装置や他の適当な大容量記憶装置として実装してもよい。スキャナ126によって認識すべき文字を表す二次元配列のピクセル値が得られる。ある好適な実施形態では、スキャナ126は1インチ当たり400ドット(ピクセル)の解像度を備えたデジタルスキャナである。各ピクセルは8ビットグレースケール解像度で量子化される。マウスやキーパッドのような入力装置127は、ユーザがシステム120の操作をコントロールするのを容易にするものである。表示装置128はCPU122の制御の下でテキストとグラフィックを表示するためのCRTやプリンタのような出力装置である。システム120には、例えば、インターネットのようなコンピュータネットワークと接続するためのモデムやイーサネットカードのような通信装置130を含めてもよい。
【００１６】
システム120にはまた、CPU122によって実行されるソフトウェア命令を格納するためのメモリ132も含まれる。メモリ132はランダムアクセスメモリ(RAM)のような標準的記憶装置を用いて実装される。ある好適な実施形態では、メモリ132には、いくつかのソフトウェアオブジェクトや、正規化ユニット134、距離計算ユニット136、分類ユニット138、並びに明確化ユニット140を含むモジュールが含まれる。本解説を通じて、前述のモジュールは別個の機能ユニットであると仮定されているが、様々なユニット機能を組み合わせ一体化して単一のソフトウェアアプリケーションにしてもよいことは当業者によって認識されるであろう。
【００１７】
ある好適な実施形態では、メモリ132を用いて、サンプル画像142、グレーマトリクス144、バイナリマトリクス145、複数の参照画像146、並びに候補集合147が格納される。サンプル画像142はスキャナ126によって得られたビットマップ化されたグレースケール画像である。グレーマトリクス144は整数からなる二次元配列であることが望ましく、この配列を用いてサンプル画像142中のグレースケール情報が特徴づけられる。バイナリマトリクス145はグレーマトリクス144の二値化バージョンであり、グレーマトリクス144と参照画像146との間の距離を計算する際に用いられる。参照画像146はグレーマトリクス144に対して比較される、以前に得られた既知のテンプレートの集合である。グレーマトリクス144のように、参照画像146は二次元配列として格納されていることが望ましいが、この配列にはバイ・レベル(バイナリ)データしか含まれない。候補集合147は有力な認識候補として選択された参照画像146の集合である。
【００１８】
最後に、メモリ132には、上述のソフトウェアオブジェクトやモジュールを管理し、それらのオブジェクトやモジュールにシステムリソースを与えるオペレーティング・システム148が含まれる。
【００１９】
＜画像認識システムにおけるデータの流れ＞
図3を参照すると、本発明による画像認識システム120におけるデータの流れが示されている。最初に、スキャナ126によってサンプル画像142が得られ、一枚の紙のような走査対象物上の一つの画像がピクセル毎に表示される。当業者であれば解るように、通常、テキストの１ページが全部一度に走査される。これは一般にセグメンテーションという追加ステップを必要とし、そのページは個々の文字にセグメント化される。これについては“ボックス連結性アプローチを用いるマルチフォント光学的文字認識”に対してKrtolica他に特許された米国特許No.5,539,840に記載されており、この米国特許の発明主題は本明細書に参考文献として取り入れられている。しかし、説明の便宜上、画像142は、セグメンテーション・プロセスによってつくられるような単一の文字のみを表すものと仮定する。
【００２０】
正規化ユニット134がスキャナ126と接続しているが、このユニットは、サンプル画像142のサイズを参照画像146のサイズへ正規化することによってグレーマトリクス144を生成するものである。以下、図5を参照しながら、このプロセスを更に詳細に説明する。しかし手短に言えば、正規化ユニット134によって、サンプル画像142がグレーマトリクス144に対応する格子上へマップされ、格子の各領域によってマップされたピクセルに対するピクセルの“重み”が計算される。
【００２１】
ある好適な実施形態では、グレーマトリクス144、バイナリマトリクス145、参照画像146は16×16の要素のサイズを備えている。このサイズ自体は本発明にとって決定的に重要な問題ではないが、各マトリクスについてこのサイズが同一であることが望ましい。更に、いくつかの要因に留意してこのサイズを選択しなければならない。例えば、文字のエッジに関する十分な情報を入手しながらノイズを最小化するためにこのサイズを選択すべきであることが当業者によって認識されるであろう。更に、ハードウェアとソフトウェアの実装を簡略化するために二次元のサイズを選択し、コンベンショナルメモリとCPUとに過重な負担をかけないほど十分に小さいサイズを選択するような実際的配慮が関係してくる。
【００２２】
分類ユニット138が正規化ユニット134と接続しているが、この分類ユニットはグレーマトリクス144を参照画像146と比較して候補集合147を判定するためのものである。以下図6A〜6Bを参照しながらこのプロセスを更に詳細に説明する。従来のシステムとは異なり、分類ユニット138は、距離計算ユニット136とともに、グレーマトリクス144の分類駆動型閾値処理によって候補集合147を判定する。一つの好適な実施形態では、この判定は、複数の閾値で二値化されたグレーマトリクス144と参照画像146の集合との間の距離の集合を計算することによって達成される。その後、候補集合147が選択され、候補画像147とサンプル画像142の二値化との間の距離は許容範囲内である。
【００２３】
明確化ユニット140が分類ユニット138と接続しているが、二つ以上の候補が分類ユニット138によって見つけられた場合、このユニットを使って望ましい候補147が選択される。手短に言えば、この選択は、各候補147を原サンプル画像142のサイズへ空間的に正規化し、この後図6Cを参照しながら説明するような分類方法を繰り返すことによって達成される。
【００２４】
最後に、CRTやプリンタのような表示装置128が明確化ユニット140と接続している。認識された候補画像147は表示装置128によってシステム120のユーザへ出力される。唯一の候補画像147が特定されなかった場合、表示装置128はエラーメッセージを出力することが望ましい。
【００２５】
＜画像認識の望ましい方法＞
図4を参照すると、文字画像を認識するための本発明による望ましい方法のフローチャートが示されている。この方法は認識対象文字のサンプル画像142を取得する(S402)ことによって開始される。この取得は、文字を示すピクセル単位に、スキャナ126によって達成される。文字の物理的サイズは異なるので画像142のピクセルのサイズもまた異なる。一般に、手書き文字についてはそのサイズが大きく異なり、縦200ピクセル×横100ピクセルほどのサイズになることもある。これと対照的に、機械で印刷された14ポイントの文字はおおよそ48×32ピクセルのサイズである。また図5を参照すると、文字“M”のサンプル画像142を含む正規化プロセスが図解されている。この例では、サンプル画像142のピクセルのサイズは64×64である。
【００２６】
この方法は、サンプル画像142のサイズを参照画像146のサイズへ正規化する(S404)ことによって続けられる。ある好適な実施形態では、参照画像146は二次元マトリクスとして格納され、それぞれのマトリクスサイズは16×16の要素からなる。従って、比較を行うためにサンプル画像142を同様のサイズのマトリクスに変換すると都合が良い。
【００２７】
図5に示すように、正規化ステップは16×16のボックス502からなる格子500の上へサンプル画像142をマップすることによって達成される。格子500を使って値がグレーマトリクス144へ割り当てられ、各ボックス502はグレーマトリクス144の対応する要素と関連づけられる。上に述べたように、サイズの選択は本発明にとって決定的に重要な問題ではない。しかし、ある好適な実施形態では、サンプル画像142を参照画像146と同じサイズを持つ格子500上へマップしなければならない。
【００２８】
更に図5に示すように、サンプル画像142のサイズが64×64ピクセルなので、各ボックス502は16個のピクセルと関連づけられる。更に、拡大された格子部分506に例示されているように、各ピクセルは対応するグレーレベルを有し、このグレーレベルは0と255の間の整数値nをとる。画像142が得られると、スキャナ126によってこのグレーレベルが判定される。グレーレベル0は完全に白いピクセルに対応し、グレーレベル255は完全に黒いピクセルに対応することが望ましい。0と255の間の値はグレーの濃淡を表す。しかし、スキャナ126の中にはこれらのカラーマッピングを逆転できるものもあることは当業者によって認識されるであろう。
【００２９】
サンプル画像142が格子500上へマップされた後、ボックスに含まれるピクセルのグレーレベルを合計することによって、各ボックス502に対するピクセルの“重み”が計算される。次に、各々の合計は、図5の拡大されたマトリクス部分508に例示されているように、グレーマトリクス144の対応する要素に格納される。正規化プロセスが完了すると、グレーマトリクス144の各要素は格子500によってマップされた領域の適切なピクセルの重みに対応する整数値を持つ。
【００３０】
格子500とサンプル画像142の縦のサイズが横のサイズと同程度に重要であることは当業者であれば認識されうる。例えば、61×47からなるサイズを有するサンプル画像142を16×16のサイズの格子500に区分することもできる。この区分が行われると、ボックス502はピクセルを二等分する傾向がある。近似によってこの問題を補償することはできるものの、認識精度が損なわれる場合がある。従って、ある好適な実施形態では、ピクセルが二等分された場合、影響を受けたピクセルのグレーレベルは、ピクセルを含む二つ又はそれ以上のボックス502の間で比例分割される。このようにして、各ボックス502の相対的重みの正確な計算が可能となる。
【００３１】
更に、ある好適な実施形態では、上に説明した合計プロセスに、当業者に周知の方法を利用した、整数演算で実行する有理数計算が採用される。これと対照的に、浮動小数点演算を用いて値計算を行う場合近似計算が依然として必要であり、速度とメモリという問題が結果として生じる場合がある。従って、すべての値は有理数として格納され、全ての関数が有理数を処理するように適合される。例えば、そのような関数をカスタム展開することによって、あるいは整数演算で実行する有理数計算用のいくつかの標準的パッケージのいずれかを使用して、この処理を行うことができる。
【００３２】
再び図4を参照すると、正規化ステップS404の完了後、グレーマトリクス144はサンプル画像142の正規化されたバージョンとなり、グレースケールデータが含まれる。しかし、参照画像146はバイ・レベルデータから成るので、参照画像146と比較するためにはグレーマトリクス144を二値化しなければならない。従来の方法では、閾値が選択され、次いで標準的閾値処理技術を用いてグレースケールデータが二値化される。しかし、図1に例示されているように、単一の閾値選択を行った場合、妥当で確率の高い画像解釈が除去される場合がある。
【００３３】
従って、ある好適な実施形態では、サンプル画像142の分類駆動型閾値処理を用いて、距離計算ユニット136と接続した分類ユニット138によって候補集合147が判定される(S406)。以下の説明によって、候補集合147を判定する技術を利用する網羅的方法のみならず分類駆動型閾値処理の理論を概説する。その後、分類駆動型閾値処理を行うためのより有効で望ましい方法を提示する。
【００３４】
＜網羅的分類駆動型閾値処理＞
概念的には、分類駆動型閾値処理とは、閾値処理と、全ての可能な閾値で二値化されたグレーマトリクス144を参照画像146の集合と比較することにより候補集合を判定する画像認識の分類ステップと、を統合したものである。図6は、分類駆動型閾値処理の網羅的方法を示すフローチャートである。最初の閾値(“T”)を最小値に設定する(S602)ことによってこの方法は開始される。ある好適な実施形態では、この最小値はゼロである。しかし、代替実施形態では、グレーマトリクス144中の実際の最低値のような他の所望の値でTを開始してもよい。
【００３５】
Tの値のリセット後、次の参照画像146が選択される(S604)。その後、Tを二値化閾値として用いてグレーマトリクス144を二値化し、その結果生じるバイ・レベルデータをバイナリマトリクス145に格納する方法が続けられる。ある好適な実施形態では、T以下のグレーマトリクス144の値を0に、Tより大きい値を1に変更することにより、この二値化プロセスを行う。しかし、本発明の精神から逸脱せずにこの1と0の割り当てを逆にしてもよい。
【００３６】
その後、バイナリマトリクス145と選択された参照画像146との間の距離を計算する(S608)方法が続けられる。ある好適な実施形態では、距離の測定値としてハミング距離が利用される。ハミング距離の計算は当業では周知である。参照マトリクスRとサンプルマトリクスSの二つのマトリクスの各マトリクスが同じサイズで、かつ各マトリクスが1(黒を表す)か0(白を表す)のいずれかの値で総数N個の要素を持ち、RとSの双方の中の値1に等しい対応する要素の数をC[b]で表し、RとSの双方の中の値0に等しい対応する要素の数をC[w]で表すと仮定すると、参照マトリクスRとサンプルマトリクスSとの間のハミング距離H(R,S)は以下のように定義される：
H(R,S) = N-(C[b]+C[w])                         式1
0のハミング距離は、マトリクスRとSとが同一であること意味することは当業者によって認識されるであろう。これらのマトリクスがもっと発散するにつれてハミング距離は大きくなり、ついにはその距離は、一つの画像が完全に黒く、もう一方の画像が完全に白い最大距離に達する。従って、好適な16×16のマトリクス間のこの最大ハミング距離は256である。
【００３７】
この距離が計算された(S608)後、この距離が許容範囲内にあるかどうかの判定(S610)が行われる。一つの好適な実施形態では、0の距離が唯一の容認できる距離であるが、この距離は完全一致を要求するものであろう。しかし、ある好適な実施例では、ノイズやその他の影響によって、結果として非ゼロ距離を生じるストレイピクセルと空隙がつくりだされるので、低い非ゼロ値が実験的に選択される。ある好適な実施形態では、容認できる距離はハミング距離2である。
【００３８】
この距離が許容範囲内にあると判定された(S610)場合、参照画像146の表示データはメモリ132中の候補集合147に格納される(S612)。先程述べたように、参照画像146は周知のテンプレートであり、このテンプレートと関連する文字を備えている。従って好適にはこの関連する文字とハミング距離のみが候補集合147の中に存在する必要がある。
【００３９】
更に、ある好適な実施形態では、現在の候補147と関連するハミング距離が容認できるものではあるが、格納された候補147の距離より大きい場合には、現在の候補147は、正しいものにはなりそうにないので格納してはならない。同様に、現在の候補147の距離が格納された候補147の距離より小さい場合には、格納された候補147を廃棄しなければならない。
【００４０】
次に、もっと多くの参照画像146を比較すべきバイナリマトリクス145がまだ残っているどうかの判定(S614)が行われる。比較すべきもっと多くの参照画像146がまだ残っている場合、この方法はステップS602へ戻り、比較しない場合には方法は完了する。
【００４１】
ステップS610で、距離が許容範囲内にないと判定された場合、方法はTの値を増分する(S616)ことによって継続される。ある好適な実施形態では、この閾値の増分は、グレーレベルの数で割ったグレーマトリクス144の要素の最大の重みと等しい。図5に例示されている例では、閾値の増分は16(4080/255)である。しかし、この増分値は1又は他の任意の数であってもよい。もっとも、閾値の増分を選択する際の速度と精度との間のトレード・オフは当業者によって認められるであろうが。
【００４２】
Tの増分(S616)後、Tが所定の最大値を超えるかどうかの判定(S618)が行われる。ある好適な実施形態では、この最大値はグレーマトリクス144の一つの要素の可能な最大値であり、各ボックス502に含まれるピクセル数に従って変化する。例えば、図5では各ボックス502には16個のピクセルが含まれる。従ってグレーマトリクス144の一つの要素の最大値は4080(255×16)である。ある代替実施形態では、その最大値をグレーマトリクス114に格納された実際の最大値に設定することもできる。その理由は、その値より大きい閾値処理によって全く同一のバイナリマトリクス145が生み出されるからである。ステップS616でこの最大値を超えた場合、方法はステップS614で続けられ、最大値を超えない場合には方法はステップS606へ戻り新しい閾値でグレーマトリクス144が二値化される。
【００４３】
分類駆動型閾値処理のこの“網羅的”方法を図7Dに例示するが、この図は、図7Aのいくつかの閾値で二値化されたグレーマトリクス144と、図7Bと7Cにそれぞれ示される二つの参照画像146aと146bとの間で計算されたハミング距離のグラフである。例示を容易にするために、グレーマトリクス144とこの二つの参照画像146a〜bの各々は5×4要素のサイズを持つ。更に、ある好適な実施形態では、マトリクス144は0と255との間の各整数値で二値化される。しかし、図を簡略化するために、図7Dに示す距離は、指示された地点でのみ計算されたものであり、従って、線は単に視覚化を行うために引かれているにすぎない。
【００４４】
図7Dに示すように、二値化グレーマトリクス144と参照画像146aとの間のハミング距離はT＝153で最小距離(この場合0)に達する。従って、グレーマトリクス144がT＝153で二値化された場合、その結果生じるバイナリマトリクス145は参照画像146aと同一となる。その後、Tが増加するにつれて、その距離はT＝166から始まり増加し始める。同様のグラフが参照画像146bについて提供されている。もっともこの場合最短距離は1であり、T＝199で最短距離に到達している。
【００４５】
図7Dのグラフの各々を関数によって数学的に表現してもよい。
F(T;B,N): = ΣΣ|Bij-I(Nij-T)|                  式2
ここで、各Σはそれぞれi=0〜m-1，j=0〜n-1の範囲であり、BijとNijはそれぞれ、m×nのマトリクスB(参照画像146)とN(グレーマトリクス144)の要素であり、Tは閾値、Iはステップ関数である:
0004497574.tif 000002
前述の方法を適用することによって、グレーマトリクス144からの容認できる距離を持つ候補画像の集合147を判定することができる。しかし、この方法は、0と255の間の各整数値で二値化されたグレーマトリクス144と、各参照画像146との間の距離を計算しなければならないので、“網羅的”である。多数の計算が必要なことは当業者が認めるところであろう。例えば、256個のグレーレベルと256個の参照画像146があると仮定すると、65536(256×256)個の距離を計算し、候補集合147を判定する必要がある。多くのコンピュータにとってこのプロセスはあまりに時間がかかりすぎて実際上使用できないであろう。
【００４６】
＜分類駆動型閾値処理を行うための効率的方法＞
参照画像146の集合が既知であるということを認識することによって、分類駆動型閾値処理を行うもっと効率的方法の達成が可能である。従って、必ずしも全ての距離計算を行う必要はない。実際、最短ハミング距離を得るためにほんのわずかの距離計算は必要となるかもしれない。この目的を達成するためには、図7D中の各グラフが単一の関数ではなく、二つの関数の和を表すということを理解しなければならない。すなわち、一つの関数は参照画像146の“前景”と、グレーマトリクス144の対応する要素との間の距離を表し、一つの関数は参照画像146の“背景”と、グレーマトリクス144の対応する要素との間の距離を表す。ある好適な実施形態では、“前景”とは1を含む参照画像146の部分であり、一方“背景”とは0を含む参照画像146の部分である。
【００４７】
図7Eを参照すると、上に説明した距離関数に対応する4つのグラフ702，703，704，705が示されている。グラフ702は、画像146aの背景と、グレーマトリクス144の対応する要素との間の距離とを表す。グラフ703は、画像146aの前景と、グレーマトリクス144の対応する要素との間の距離を表す。グラフ704と705は、画像146bと関連するという点を除いてグラフ702と703と同様のグラフである。
【００４８】
グラフ702と704によって表される関数はTの単調非増加関数であることを数学的に示すことができる。更に、グラフ703と705によって表される関数はTの単調非減少関数であることを数学的に示すことができる。以下の説明で非増加グラフ702と704がゼロ閾値軸(T)と交わるTの値を以後“T0”と呼ぶことにする。同様に、非減少関数がT軸と交わるTの値を以後“T1”と呼ぶことにする。数学的に、これらの値を次のように計算することができる。
T0:= max{Nij|for all i,j such that Bij = 0};
T1:= min{Nij|for all i,j such that Bij = 1}-1;    式4
図7Eは図示のこれらのマトリクスに対するT0とT1を例示するものである。
【００４９】
これらの関数の数学的性質に基づいて、T0とT1の値を用いて最短ハミング距離が0であるかどうかを判定するか、あるいは、距離が最小になる閾値の範囲を判定することができる。例えば、T0≦T1であればT0とT1の間のTの全ての値についてハミング距離は0になる。一方、T0＞T1であればTの全ての値についてハミング距離は0より大きくなる。ただし最短距離はT0とT1の間で得られる。従って、T0とT1の値を知ることによって多くの二値化と距離計算を行わずに済むことが可能となる。このプロセスの方がずっと効率的であり、従って、分類駆動型閾値処理を行うための望ましい方法が提供される。
【００５０】
図6Aを参照すると、本発明による分類駆動型閾値処理によって候補集合147を判定する望ましい方法のためのフローチャートが示されている。上に説明したように、この方法では参照画像146に関してT0とT1の値をまず第一に決定しなければならない。従って、ある好適な実施形態では、次の参照画像146を選択する(S650)ことによって方法が開始される。その後、図8Cと8Dに例示されるように、グレーマトリクス144が、選択された参照画像146の前景と背景に対応する前景部分710(太枠で示す)と背景部分712とに区分される(S652)。図示の例では、区分されたマトリクス144aは、図8Aの選択された参照画像146aに従う区分けに対応し、区分されたマトリクス144bは、図8Bの選択された参照画像146bに従う区分けに対応する。
【００５１】
グレーマトリクス144が区分された(S652)後、T0とT1の値を決定する(S654)ことによってこの方法は続けられる。ある好適な実施形態では、グレーマトリクス144の背景部分712で最大値を得ることによってT0が決定される。区分されたマトリクス144aの場合、T0は153である。区分されたマトリクス144bについては、T0は199である。その後、前景部分710の最小値-1を得ることによってT1が決定される。区分されたマトリクス144aの場合、T1は165(すなわち166-1)である。区分されたマトリクス144bについては、T1は198(すなわち199-1)である。
【００５２】
次に、T0≦T1かどうかを判定する(S656)ことによってこの方法は続けられる。上に説明したように、T0≦T1であれば、T0とT1の間(T0とT1の両端を含む)のTの全ての値について、バイナリマトリクス145と参照画像146との間のハミング距離は0であり、このことは例えば図8Cの区分されたマトリクス144aの場合真であり、この場合T0(153)はT1(165)より小さい。従って、区分されたマトリクス144aが例えばT＝153で二値化されれば、その結果生じるバイナリマトリクス145は参照画像146aと全く同一となり、完全一致が得られる。これは、T＝153でのハミング距離が0になることが示されている図7Dのグラフ上で確かめることができる。
【００５３】
T0≦T1と判定された(S656)場合、候補集合147中の現在の参照画像146の表示データを格納し(S658)、0より大きい距離を持つ任意の候補147を取り除くことによってこの方法はステップS658で続けられる。ある好適な実施形態では、画像146が完全にバイナリマトリクス145と一致すれば、バイナリマトリクス145から非ゼロ距離を持ついずれの候補147も廃棄しなければならない。なぜならそれらの候補は正しい解釈にはなりそうにないからである。以下に説明するように、非ゼロ距離(すなわちT0＞T1)を持つ候補147はそれらの候補と関連するT0とT1値と共に暫定的に格納される。従って、これらの候補は簡単に特定し廃棄することができる。
【００５４】
しかし、ステップS656でT0＞T1であると判定された場合、最短ハミング距離0で候補147が既に得られたかどうかを判定することによってこの方法は続けられる。好適には、完全一致が既に得られた場合には完全一致に満たないものを格納する必要はない。従って、距離0で候補147が既に得られていればステップS662で方法は続けられ、得られていなければT0とT1に対する関連値をもつ現在の参照画像の表示データを暫定的に格納する(S661)ことによって方法は続けられる。
【００５５】
ある好適な実施形態では、不要な計算を減らすために実際のハミング距離をこの時点では計算しないことが望ましい。候補147についての最短ハミング距離が全ての閾値に対して非ゼロとなることを認識するだけで十分である。その後、0の最短距離をもつ候補147が特定された場合、全ての非ゼロ候補147は距離にかかわらず廃棄される。
【００５６】
T0＞T1である場合の一例が区分されたマトリクス144bに見られる。ここではT0の値(199)がT1の値(198)を超えている。上に説明したように、これは最短ハミング距離がTの全ての値について0より大きくなること、従って最小値はT0とT1の間で得られることを意味する。このことは図7Dを参照しながらグラフ上で確かめることができる。上に述べたように、最短距離をこの時点で計算する必要はない。代わりに、画像146bの表示データが、それぞれT0とT1(すなわち199と198)に対するその関連値と共に暫定的に格納される(S661)。
【００５７】
ステップS658とS661のいずれかのステップの後、バイナリマトリクス145と比較すべきもっと多くの参照画像146がまだ残っているかどうかを判定する(S662)ことによって方法は続けられる。もっと多くの参照画像146がまだ比較のために残っている場合には、方法はステップS650へ戻り、残っていない場合には、少なくとも一つの完全一致(T0≦T1)がステップS656によって得られたかどうかを判定することによってステップS664で方法は続けられる。もし少なくとも一つの完全一致が得られれば、蓋然性の高い候補集合147が判定されたという理由で方法S406は終了する。
【００５８】
次に図6Bを参照すると、完全一致が得られなかった場合、候補集合147はT0とT1値を持ついくつかの暫定的に格納された候補から成る。従って、暫定的に格納された各々の候補147に対する最短ハミング距離を得ることが必要である。その後、ある好適な実施形態では、容認できる距離をもつ候補147のみが保持され他は全て廃棄される。
【００５９】
ステップS664の後、次の格納された候補147を選択する(S666)ことによって方法は続けられる。距離がまだ計算されていない候補147のみが選択されることが望ましい。次に、候補147とグレーマトリクス144との間の最短距離が計算される(S668)。しかしながら、網羅的方法とは異なり、必ずしも全ての可能な二値化をテストする必要はない。先程述べたように、T1とT0の間の値でグレーマトリクス144を閾値処理することによって最短ハミング距離を得ることができる。従って、グレーマトリクス144はT1とT0の間の各整数値で二値化され、候補147からの距離が計算される。得られた最低の距離が最短距離として選択される。
【００６０】
このステップは若干の距離計算を必要とするものの、網羅的方法に比べれば必要な計算ははるかに少ないことを当業者は認めるであろう。実際、図8Bの画像146bが選択された候補である場合、網羅的方法で必要な256回の計算に対してたった二回の距離計算(T＝198と199での)しか必要としない。加えて、Allen GershoとRobert M. Gray著「ベクトル量子化と信号圧縮」(Kluwer Academic Publications、Boston、1992(第5版 1996年))に記載されている三角不等式に基づくベクトル量子化法を用いることによって距離計算の回数を更に減らすことが可能である。
【００６１】
選択された候補147について最短距離を計算した(S668)後、その距離が許容範囲内にあるかどうかを判定する(S670)ことによって方法は続けられる。上に説明したように、小さな、この許容範囲を実験的に決定して、蓋然性の高い候補集合147を選択することが望ましい。この距離が容認できるものでなければ、候補147は廃棄され(S674)、容認できるものであれば、この計算された最短距離が前に決定された候補147の距離以下であるかどうかの判定(S672)が行われる。ある好適な実施形態では、この計算された最短距離が前に決定された距離より大きい場合には、選択された候補147が正しいものである蓋然性は小さく従って廃棄される(S674)。しかし、この計算された最短距離が前に決定された距離以下である場合には、候補集合147にその距離を格納する(S676)ことによって方法は続けられる。
【００６２】
ステップS674とS676のいずれかのステップの後、最短距離がまだ決定されていない候補が残っているかどうかを判定することによって方法は続けられる。まだ候補が残っている場合には、方法はステップS666へ戻り、残っていなければ方法は完了する。
【００６３】
再び図4を参照すると、分類駆動型閾値処理を用いて候補集合147を判定(S406)後、候補集合147のサイズが1より大きいかどうかを判定する(S408)ことによって方法は続けられる。好適には、認識された文字として二つ以上の文字が選択されないことが望ましい。従って、1より大きい候補147がステップS406で得られた場合、候補集合147を明確化する(S408)ことによって方法は続けられる。
【００６４】
選択された閾値に依ってグレースケール画像142の二つの解釈が可能な曖昧な候補集合147の一例が図1に例示されている。例えば、T＝128であれば、画像142は文字“U”と解釈される。しかし、T＝140であれば、画像142は文字“L”と解釈される。両方の解釈とも妥当であり、各解釈ともハミング距離は0である。従来のやり方では、分類に先立つ単一の閾値で画像142が二値化されるので、従来型の画像分類装置ではこれらの解釈の一方は見逃されたであろう。しかし、本発明では、候補集合147は両方の解釈を含めて判定される(S406)。それにもかかわらず、人間の眼が“U”か“L”のいずれかとしてこの文字を認識することができるのであれば唯一の正しい解釈がある。
【００６５】
先程述べたように、原ソース画像142には、正規化されたグレースケールマトリクス144以外の走査された対象物に関するより多くのデータが含まれる。実際、図5に例示されているようにソース画像142の16個のピクセルを使ってグレーマトリクス144の一つの要素がつくられる。従って、候補集合147を明確化し、好適な文字を選択する際に画像142中の追加情報を手助けとすることができる。
【００６６】
この明確化プロセスは図6A〜Bで説明した方法と同様である。しかし、以下に更に詳細に説明するように、候補147の参照画像146の各々は、前に行ったようにソース画像142を参照画像146のサイズまで縮小されるのではなく、先ず最初にソース画像142のサイズまで空間的に正規化(拡大)される。その後、図6A〜Bの分類駆動型閾値処理方法が繰り返されて新しい候補集合147が計算される。
【００６７】
サンプル画像142で使用可能な追加画像データのために、分類駆動型閾値処理法の繰り返しによって原候補147の中のいくつかが除去されることが予期される。しかし、相対的に大きなサイズのソース画像142が与えられた場合このプロセスの結果多数の計算が生じることを当業者は認めるであろう。それにもかかわらず、ある好適な実施形態では、候補集合147は小さくなる傾向があるため、ほんの少数の解釈しか再評価する必要はない。
【００６８】
図6Cを参照すると、候補集合147を明確化し(S410)、望ましい候補を選択する好適な方法が示されている。この方法は、選択された候補147の参照画像146をソース画像142のサイズまで空間的に正規化する(S682)ことによって開始される。バイナリ画像の空間的正規化方法は当業では周知である。例えば、16×16のサイズの参照画像146を64×64のサイズのサンプル画像142のサイズまで空間的に正規化(拡大)する場合、当業者であれば、拡大された画像では参照画像146の各ピクセルを16倍大きく再現しなければならないことを認めるであろう。これが完了したとき、正規化された参照画像146の集合が作られる。
【００６９】
ある好適な実施形態では、図6A〜Bに説明した方法とほぼ同じ方法を用いて新しい候補集合147を決定する(S406)ことによってその方法は続けられる。しかし、今回はグレーマトリクス144が事実上サンプル画像142であり、参照画像146はステップS682でつくられた正規化された参照画像146の集合である。好適には、説明したこの方法に対して行うべき一つの変更として、容認できる距離をステップS670で大きくして、新しいグレーマトリクス144(サンプル画像142)の相対的に大きなサイズを考慮に入れることがある。
【００７０】
ステップS406が完了すると、候補147が一つしか残っていないかどうかの判定(S684)が行われる。一つしか残っていなければ、その残った候補147が好適な候補147として認識される。しかし、二つ以上の候補147が得られた場合には、一つの好適な実施例では候補147の全てが拒絶される。しかし、ある好適な実施形態では、文脈分析あるいは幾何学分析のいずれかを用いてこの曖昧さが解決される(S688)。  手短に言えば、文脈分析とは問題の文字の周辺の文字又は語を参照したり、あるいは恐らく辞書などを参照することによって曖昧さを解決するプロセスである。例えば、文字“U”と“L”のいずれかを決めるとき、単語の最初の７文字が“GRAYSCA”であったという事実によって、正しい解釈は(“GRAYSCALE”という単語のスペルになるように)“L”であるということが示唆される。
【００７１】
同様に、幾何学的分析とは、走査された文字の幾何学的性質を調べることによってあり得ない候補選択を除去するプロセスである。例えば、文字“W”と“I”のいずれかを決定する際、原サンプル画像142のサイズにもどって参照することにより、画像142が相対的に幅が広ければ文字“I”が除去されることになろう。両方の方法とも光学的文字認識の当業者には周知の方法である。例えば、“ボックス連結性アプローチを用いるマルチフォント光学的文字認識”に対してKrtolica他に特許された米国特許No.5,539,840には最小境界フレームの幾何学的性質に基づいて文字を除去するプロセスが開示されている。ステップS686とステップS688のいずれかのステップ後にこの方法は終了する。
【００７２】
再び図4を参照すると、ステップ408か410のいずれかのステップ後、例えば表示装置128か通信装置130のいずれかによって好適な候補147が出力される。あるいは、好適な候補147を記憶装置124に格納してもよい。候補147が特定されなかった場合、又は曖昧さが解決されなかった場合、システム120はエラーメッセージを出力することが望ましい。
【００７３】
上記の説明は好適な実施形態の動作の例示を含むものであるが、本説明は本発明の範囲の限定を意図するものではない。本発明の範囲は上述した請求項によってのみ限定されるべきものである。上記の説明から本発明の精神と範囲に依然として含まれる多くの変形が当業者には明らかであろう。
【図面の簡単な説明】
【図１】異なる二値化閾値の選択によって生じた分類問題の一例を示す図である。
【図２】本発明による文字画像142を認識するためのシステム120の物理ブロック図である。
【図３】本発明による画像認識システム120のデータの流れ図である。
【図４】本発明による文字画像142を認識するための望ましい方法のフローチャートである。
【図５】正規化プロセスの図解を示す図である。
【図６】本発明による候補集合147を判定する網羅的方法を表すフローチャートである。
【図６Ａ】本発明による候補集合147を判定する望ましい方法を表すフローチャートである。
【図６Ｂ】本発明による候補集合147を判定する望ましい方法を表すフローチャートである。
【図６Ｃ】本発明による候補集合147を明確化する望ましい方法を表すフローチャートである。
【図７Ａ】グレーマトリクス144の一例を示す図である。
【図７Ｂ】参照画像146の一例を示す図である。
【図７Ｃ】参照画像146の一例を示す図である。
【図７Ｄ】いくつかの閾値におけるグレーマトリクス144と、それぞれ二つの参照画像146a及び146bとの間で計算されたハミング距離のグラフである。
【図７Ｅ】いくつかの閾値におけるグレーマトリクス144の部分と、それぞれ二つの参照画像146aと146bの部分との間のハミング距離のグラフである。
【図８Ａ】参照画像146の一例を示す図である。
【図８Ｂ】参照画像146の一例を示す図である。
【図８Ｃ】図8Aの参照画像146aの前景と背景によるグレーマトリクス144の区分けを示す図である。
【図８Ｄ】図8Bの参照画像146bの前景と背景によるグレーマトリクス144の区分けを示す図である。
【図１】
0004497574.tif 000003
【図２】
0004497574.tif 000004
【図３】
0004497574.tif 000005
【図４】
0004497574.tif 000006
【図５】
0004497574.tif 000007
【図６】
0004497574.tif 000008
【図６Ａ】
0004497574.tif 000009
【図６Ｂ】
0004497574.tif 000010
【図６Ｃ】
0004497574.tif 000011
【図７Ａ】
0004497574.tif 000012
【図７Ｂ】
0004497574.tif 000013
【図７Ｃ】
0004497574.tif 000014
【図７Ｄ】
0004497574.tif 000015
【図７Ｅ】
0004497574.tif 000016
【図８Ａ】
0004497574.tif 000017
【図８Ｂ】
0004497574.tif 000018
【図８Ｃ】
0004497574.tif 000019
【図８Ｄ】
0004497574.tif 000020