(57)【特許請求の範囲】
【請求項１】
分析されることになる文字を捕捉する文字捕捉手段と、
一次分類メモリ手段を備える少なくとも一つの一次分類手段及び二次分類メモリ手段を備える少なくとも一つの二次分類手段を包含する人工ニューラル・ネットワーク・システムであって、第一の組の文字を学習し、その第一の組の文字を前記一次分類手段に記憶し、前記第一の組の文字に関連付けられる第二の組の文字を前記二次分類手段に記憶する、前記人工ニューラル・ネットワーク・システムと、
前記文字捕捉手段によって捕捉された候補文字を分析する文字分析手段であって、候補文字を前記一次分類手段に記憶された前記第一の組の文字と比較し、前記候補文字が高い信頼性で認識可能である場合には、前記高い信頼性で認識可能な文字を、前記二次分類手段を動的に訓練するために使用し、候補文字が低い信頼性で認識される場合には、前記候補文字を前記二次分類手段に記憶された前記第二の組の文字と比較する、前記文字分析手段とを含む、文字認識システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、概ね、ニューラル・ネットワークに関するものであり、より詳細には、認識された文字を追加の訓練のために使用することによってニューラル・ネットワーク文字認識システムの性能を改良するように成した、オンライン教師なしのニューラル・ネットに基づく学習システムに関するものである。
【０００２】
【従来の技術】
人工ニューラル・ネットワーク（或いは簡単に「ニューラル・ネットワーク」）及びそれらのアプリケーションは、当該分野では周知である。
【０００３】
ニューラル・ネットワークは、標準的な大型の光学式文字認識システムに対して、それらの認識を改良するために結合されてきた。書式及び文書の自動的な処理のために使用された旧式のシステムは、通常は、タイプされ或いは明瞭に印刷された数字及び活字書体に限定されていた。ニューラル・ネットワークは、精度を改善し、様々な文字を認識する。ニューラル・ネットワークは、特定フォント及び全フォントの分類器の両者における文字認識のために広く使用されてきた。一般に、文字の分類は、特徴空間を数個の部分空間に仕切ることとして考慮されることが可能であり、部分空間の夫々は、特定の文字又は共通の文字の特徴に対応する。これは、図１に図解されており、そこではその特徴空間は二次元である。この具体例では、２つの文字、例えば「Ａ」及び「Ｂ」（小さな円によって示される）が、認識されることになる。２つの大きな円は、異なった「Ａ」及び「Ｂ」の様々な特徴を示している。その破線は、分類器の空間の仕切りである。大きな円の重なりは、所定の文字サンプルが、この二次元特徴空間の中では識別され得ないということを暗示している。結果として、完璧な分類器でさえも、誤りを犯すことになるのである。単一文書からの文字は、恐らくは１つ又は２、３種のフォントからのものであり、同様な歪みを有している。その結果、単一文書からの文字は、図１で小さな円「Ａ」によって示されるような特徴空間の中へ集中する傾向があることになる。
【０００４】
先行技術は、文字認識を提供しているが、当該技術は、文字認識の間の分類エラーを削減する手段を設けるものではない。従って、文字認識の間の分類エラーをニューラル・ネットワークを使用して削減するように成したシステムが必要なのである。文字、パターン、シンボル、或いはニューラル・ネットワークの分野において周知であるその他の何らかの媒体に関する認識の間の分類エラーを削減するように成したシステムもまた入り用である。
【０００５】
【発明が解決しようとする課題】
従って、本発明の目的は、文字認識又はその他の媒体の認識の間に分類境界線を一時的に再調整することによって分類エラーを削減し得るシステム及び方法を提供することである。本発明の更なる目的は、認識プロセスの間に分類境界線を調節すべく、オンライン教師なしのニューラル・ネットワーク学習技術を利用し得る手段及び方法を提供することである。
【０００６】
ニューラル・ネットワークは、文字、オブジェクト、シンボル、或いはパターンの認識分野において多くのアプリケーションを有するものであると正しく認識されるべきである。以下の開示は、本文における教示内容の適用可能性に関しては限定的な意味で判断されるべきではない「文字」のようなすべての実行可能な媒体に言及するものとする。
【０００７】
【課題を解決するための手段】
認識された文字を追加の訓練のために使用することによって全フォント分類器の性能を改善するように成した、オンライン教師なしの学習アルゴリズムが提示されている。本発明は、ニューラル・ネットの陰層ノードの出力を特徴ベクトルとして利用する。高い信頼性で認識される文字は、二次分類器を動的に訓練するために使用される。この二次分類器は、ニューラル・ネット層、単純な距離分類器、或いは所定のより複雑な分類器であることが可能である。二次分類器は、訓練された後、オリジナルの主要な分類器と結合される。本発明は、代替的な仕切り位置を形成するために二次分類器のデータを利用することによって、オンライン学習に基づいてニューラル・ネットワークの特徴空間の中に配置される仕切りを再調整することが可能である。その新しい仕切りは、文字認識に衝突があるとき、即ち文字が低い信頼性で分類される場合に、照合され得ることになるのである。
【０００８】
本発明の利点は、人工ニューラル・ネットワーク技術を介してオンライン教師なしの学習を使用することによる分類システムの改良である。本文において開示される適応技術を備えて人工ニューラル・ネットワークを使用すれば、光学式文字認識におけるエラー比率が削減されるのである。
【０００９】
文字認識システムは、人工ニューラル・ネットワーク・システムによって学習され分析されることになる文字を捕捉するためのものとして当該分野では周知である手段を使用する。本発明の人工ニューラル・ネットワーク・システムは、一次及び二次の分類を包含する。訓練用文字は、初めに人工ニューラル・ネットワーク・システムによって一次分類を介して学習される。文字認識システムによって「高い信頼性」で認識され、訓練用文字に対して関係付けられる後続の文字は、前記人工ニューラル・ネットワーク・システムによって二次分類を介して再学習される。操作において、学習され認識されるべく文字捕捉手段によって受信される候補文字は、初めに、一次分類の中における訓練用文字に対して比較され、それらの文字が高い信頼性で認識される場合に確認される（整合される）。候補文字が一次分類を使用しても認識され得ない場合には、それらは、二次分類の中における先に認識された文字に対して比較され、候補文字が確認される。
【００１０】
【発明の実施の形態】
本発明は、固定式のフォントを連続的に認識し、既に認識された文字を使用して、後続の文字の認識を改善する。本発明によって利用される創意に富んだ方法は、２つの主要なステップ：  １）初期訓練及び２）オンライン連続学習に分解されることが可能である。第１に、当該システムは、それが認識しなければならない全フォント及び特定の文字即ちシンボル（これ以降は「文字」とする）に関して概略的に訓練される。これらの文字は、典型的には、欠陥、変動又は偏差を有するものではない。この訓練は、文字認識又はパターンの認識の分野では一般的である。その後、当該システムは、後続の文字をオンラインで学習し、例えばノイズなどによって妨害されることがある特定フォントの文字即ち特性における変動を有効に認識し得る適用可能なツールを提供する。メモリ内にある文字の位置の境界線に依拠し、当該システムは、新しく獲得された文字を記憶された境界線と比較する。その文字が特徴空間内においていずれの集合の中に納まるのか決定するために、ビット・マップからの特徴の抽出が行われる。当該文字は、特徴の抽出及び比較に基づいて分類されるのである。認識における誤りが犯され得るのは、このポイントである。その誤りの理由は、文字の特徴がそれが所属する仕切られた境界線の外側にはみ出してしまうことにある。図２を参照すると、小さな円で表わされた２つの文字、「Ａ」及び「Ｂ」は、二次元である特徴空間の内部において認識されることになる。２つの大きな円は、当該システムによって識別される異なった「Ａ」及び「Ｂ」の様々な特徴を表わしている。その破線は、分類器のための特徴空間の標準的／一次的な仕切り１である。それらの円の重なりは、所定の文字サンプルが、この二次元特徴空間１の中では識別され得ないということを暗示している。結果として、完璧な分類器でさえも、誤りを犯すことになるのである。単一文書からの文字は、恐らくは１つ又は２、３種のフォントからのものであり、同様な歪みを有し得るものである。その結果、単一文書からの文字は、重なった領域の中に含まれる小さな円「Ａ」によって図１で示されるような特徴空間１の中へ集中する傾向があることになる。
【００１１】
本発明は、ニューラル・ネットの陰層ノードの出力を特徴ベクトルとして利用する。高い信頼性で認識される文字は、二次分類器を動的に訓練するために使用される。この二次分類器は、ニューラル・ネット層、単純な距離分類器、或いは所定のより複雑な分類器であることが可能である。二次分類器が訓練された（典型的には文字毎に５個から１０個のサンプルで十分である）後、それは、オリジナルの主要な分類器と結合される。二次分類器は、特徴空間内に形成される代替的な仕切り２（実線として示された）を産み出すことになる。
【００１２】
後続の文字認識の間に、主要な分類器によって低い信頼性で認識される文字は、更なるチェックを受けるべく、二次的な仕切り２の内部において境界線によって形成される二次分類器に対して送付される。重み付きの距離分類器は、二次分類器として採用され得るものである。詳細に言えば、ｉ番目の文字に関するテスト文字と訓練用サンプルの間の距離尺度は、以下のようにして計算されることが可能である：
ｄi＝Σj（ｆj−μij）２／σ2ij
ここで、ｆjはテスト文字のｊ番目の特徴であり、μij及びσ2ijは、ｉ番目の文字のための訓練用データに関するｊ番目の特徴のサンプル平均及びサンプル変動である。実験は、組合せ式の分類器（二次的な仕切り２を使用するもの）が異なったテスト文書に関する異なった程度においてオリジナルの全フォント・ニューラル分類器よりも性能が優れていることを示すことになった。
【００１３】
固定式の分類境界線は、フォントにおける文字の類似性及び文書内における歪みを活用し得るものではない。例えば、図１を参照すると、特徴空間内における重なりに基づいて母集団の中に見出されるエラー即ち曖昧さは、一次的な仕切り１のような固定的な仕切りの結果である。上述のように、本発明は、代替的な仕切り位置がニューラル・ネットワークによって決定され、文字認識に曖昧さがある場合に、この仕切りが照合され得ることになるので、その仕切りをオンライン学習に基づいて再調整することが可能である。
【００１４】
図３のフローチャートを参照すると、候補文字は、先ず初めに、文字認識の分野において周知である文字捕捉手段によって捕捉される。続いて、候補文字は、ニューラル・ネットワークの一次又は二次の分類システムに対して候補文字を比較することによって候補文字が分析され、候補文字に関する整合性を決定するように成した、文字認識システムによって処理されなければならない。そのテストは、以下の通りである：
サンプル文字が高い信頼性で分類される場合には、文字整合性が決定され、文字認識システムに対して処理されるべく提供されることになり、そのサンプルは、後続の使用のために形成される代替的な仕切りを産み出すことになる学習のために使用されることも可能である。
【００１５】
サンプル文字が低い信頼性で分類される場合には、代替的な仕切りが照合され使用されることになり、その結果生じるものは、その文字のための高い信頼性を備えた再分類なのである。
【００１６】
このテスト・シーケンスを通じて、候補文字は、当該システムによってニューラル・ネットワークの一次分類メモリの中に記憶された訓練用文字に対して比較され、前記候補文字が高い信頼性で認識される場合に整合性を見出し、或いは、当該システムによってニューラル・ネットワーク二次分類メモリの中に記憶された先に認識された（訓練後の）文字に対して比較され、当該候補文字が低い信頼性で認識される場合に二次的な仕切りを使用して整合性を見出すのである。候補文字に関して整合する文字が最終的に決定されると、その文字は、前記文字認識システムを介して、例えば当該分野では周知であるメモリ又は再現装置であることが可能である文字生成システムに対して提供される。
【００１７】
図４を参照すると、開示された発明のために必要となるシステム・コンポーネントは、文字認識の分野において適用されるような人工ニューラル・ネットワークの技術では概ね周知のものである。文字認識システム１１は、典型的には、コンピュータ・システム１３の内部に一次分類を組み入れたニューラル・ネットワーク１２と、認識されるべき文字を捕捉し或いはその他の方法で提供する手段１６とを含んで成る。しかしながら、本発明の明確な特徴は、二次分類１５をニューラル・ネットワーク１２の一部として更に設けることである。訓練用文字は、初めに前記人工ニューラル・ネットワーク・システムによって学習され、前記一次分類の中に記憶され（それによって記録され）る。前記文字認識システムによって高い信頼性で認識され、訓練用文字に対して関係付けられる文字は、人工ニューラル・ネットワーク・システムによって再学習され、その後、二次分類１５の中に記憶され（それによって記録され）る。文字分析は、候補文字を分析し認識するためのものとして当該分野では周知であるコンポーネントによって行われるが、本文において開示されるシステムは、候補文字が上述のように高い信頼性であるか或いは低い信頼性によって認識されるかに応じて一次分類の訓練用文字或いは二次分類１５の認識された文字に対する比較を可能にすることによって、学習され認識されることになる文字を捕捉するための既知の手段１６によって受信される候補文字を更に分析する。前記文字認識システムを介して認識された文字を出力し生成する手段１４は、これもまた当該分野では周知のものであり、本発明によって一旦認識された候補文字に対して適用されることが可能である。
【００１８】
本発明は、特定の実施例に関連して説明されているが、この特定の実施例は、限定的ではなく例示的なものとして意図される。様々な修正案は、補正された請求項で規定されるような本発明の精神及び範囲から離れることなく、形成されることが可能である。修正案及び変更案は、本件の明細書を読んで理解すれば、他の者にも思い付かれることになるものである。従って、添付請求項又はその同等物の範囲内に納まる限り、そのようなすべての修正案及び変更案は、包含されるものとして意図されるのである。
【図面の簡単な説明】
【図１】２つの文字が異なった「Ａ」及び「Ｂ」の文字の特徴を表わす２つの大きな円によって認識され、固定式の仕切りの特徴空間が破線で描写されるように成した、当該分野では周知である二次元特徴空間の説明図である。
【図２】破線で描写される代替的な仕切りを設けるべく本発明の適用によって修正されることになった、図１で説明されたような二次元特徴空間の説明図である。
【図３】本発明の方法に関するフローチャートである。
【図４】本発明のシステム・コンポーネントを示しているブロック・ダイヤグラムである。
【図１】
0004044662.tif 000002
【図２】
0004044662.tif 000003
【図３】
0004044662.tif 000004
【図４】
0004044662.tif 000005