(57)【特許請求の範囲】
【請求項１】
入力画像を取得する入力画像取得手段と、
所定数のユニットが配置された競合層を備える自己組織化マップに、前記入力画像における記述箇所の位置座標のベクトルを入力することにより、前記競合層の前記所定数のユニットの重みベクトルを更新し、更新後の前記所定数のユニットの重みベクトルを、前記入力画像における前記所定数の注視点の位置座標のベクトルとして取得する注視点判定手段と、
前記入力画像における前記各注視点の位置の部分画像を前記入力画像から抽出するとともに、それら部分画像に基づいて、該部分画像に示される記述内容の一部の延伸方向を示すデータを生成する部分入力画像データ生成手段と、
判定結果として用いられる複数の記述内容のそれぞれに対応づけて、該記述内容を示すテンプレート画像における前記所定数の注視点の位置の部分画像のそれぞれに示される該記述内容の一部の延伸方向を示すデータを記憶する部分テンプレート画像データ記憶手段と、
前記部分入力画像データ生成手段により生成されるデータと、前記各記述内容に対応づけて前記部分テンプレート画像データ記憶手段に記憶されるデータと、に基づいて、前記入力画像に示される記述内容を判定する記述内容判定手段と、
を含むことを特徴とする画像認識装置。
【請求項２】
請求項１に記載の画像認識装置において、
前記部分テンプレート画像データ記憶手段は、前記各記述内容を示すテンプレート画像の前記所定数の注視点の位置の部分画像のデータのそれぞれを、前記所定数のユニットのいずれかに対応づけて記憶し、
前記記述内容判定手段は、前記各記述内容について、相互に対応関係にあるユニットに対応づけられた、前記入力画像に係るデータと前記各テンプレート画像に係るデータとの各相関量を算出するとともに、それら相関量に基づいて前記入力画像に示される記述内容を判定する、
ことを特徴とする画像認識装置。
【請求項３】
請求項２に記載の画像認識装置において、
前記自己組織化マップの前記競合層には、前記所定数のユニットが回転対称性を有するようにして配置され、
前記記述内容判定手段は、前記回転対称性に従って前記対応関係を変更しながら、前記入力画像に係るデータと前記各テンプレート画像に係るデータとの相関量を算出する、
ことを特徴とする画像認識装置。
【請求項４】
請求項１乃至３のいずれかに記載の画像認識装置において、
前記部分入力画像データ生成手段は、適応部分空間自己組織化マップに前記入力画像における前記各注視点の位置の部分画像を入力し、前記適応部分空間自己組織化マップの応答を、該部分画像に示される記述内容の一部の延伸方向を示すデータとして取得する、
ことを特徴とする画像認識装置。
【請求項５】
入力画像を取得する入力画像取得ステップと、
所定数のユニットが配置された競合層を備える自己組織化マップに、前記入力画像における記述箇所の位置座標のベクトルを入力することにより、前記競合層の前記所定数のユニットの重みベクトルを更新し、更新後の前記所定数のユニットの重みベクトルを、前記入力画像における前記所定数の注視点の位置座標のベクトルとして取得する注視点判定ステップと、
前記入力画像における前記各注視点の位置の部分画像を前記入力画像から抽出するとともに、それら部分画像に基づいて、該部分画像に示される記述内容の一部の延伸方向を示すデータを生成する部分入力画像データ生成ステップと、
判定結果として用いられる複数の記述内容のそれぞれに対応づけて、該記述内容を示すテンプレート画像における前記所定数の注視点の位置の部分画像のそれぞれに示される該記述内容の一部の延伸方向を示すデータを記憶する部分テンプレート画像データ記憶手段を参照して、前記部分入力画像データ生成手段により生成されるデータと、前記各記述内容に対応づけて前記部分テンプレート画像データ記憶手段に記憶されるデータと、に基づいて、前記入力画像に示される記述内容を判定する記述内容判定ステップと、
を含むことを特徴とする画像認識方法。
【請求項６】
入力画像を取得する入力画像取得手段、
所定数のユニットが配置された競合層を備える自己組織化マップに、前記入力画像における記述箇所の位置座標のベクトルを入力することにより、前記競合層の前記所定数のユニットの重みベクトルを更新し、更新後の前記所定数のユニットの重みベクトルを、前記入力画像における前記所定数の注視点の位置座標のベクトルとして取得する注視点判定手段と、
前記入力画像における前記各注視点の位置の部分画像を前記入力画像から抽出するとともに、それら部分画像に基づいて、該部分画像に示される記述内容の一部の延伸方向を示すデータを生成する部分入力画像データ生成手段、
判定結果として用いられる複数の記述内容のそれぞれに対応づけて、該記述内容を示すテンプレート画像における前記所定数の注視点の位置の部分画像のそれぞれに示される該記述内容の一部の延伸方向を示すデータを記憶する部分テンプレート画像データ記憶手段、及び
前記部分入力画像データ生成手段により生成されるデータと、前記各記述内容に対応づけて前記部分テンプレート画像データ記憶手段に記憶されるデータと、に基づいて、前記入力画像に示される記述内容を判定する記述内容判定手段
としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像認識装置、画像認識方法及びプログラムに関し、特に入力画像からそこに示される記述内容を判定する画像認識装置、画像認識方法及びプログラムに関する。
【背景技術】
【０００２】
従来、パターン認識の手法は数多く提案されているが、その中で下記非特許文献１に開示されたネオコグニトロンは、入力画像の局所的な特徴を階層型ニューラルネットワークの各層で抽出するとともに、それらを段階的に統合して、最終的な入力画像のパターン認識を行うものであって、位置ずれ、拡大、縮小に強い画像認識を可能とする技術として知られている。
【非特許文献１】福島邦彦著，「神経回路網と情報処理」，朝倉書店，１９８９年
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記のネオコグニトロンを構成する階層型ニューラルネットワークは非常に多くのパラメータを含んでおり、その調整が非常に困難である。さらに、ネオコグニトロンには、画像認識処理に膨大な時間を要するという問題がある。
【０００４】
本発明は上記課題に鑑みてなされたものであって、その目的は、複雑な調整を要せず、しかも短時間で入力画像に示される記述内容の認識が可能な画像認識装置、画像認識方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明に係る画像認識装置は、入力画像を取得する入力画像取得手段と、前記入力画像における所定数の注視点を判定する注視点判定手段と、前記入力画像における前記各注視点の位置の部分画像に関するデータを生成する部分入力画像データ生成手段と、複数の記述内容のそれぞれに対応づけて、該記述内容を示すテンプレート画像における前記所定数の注視点の位置の部分画像のそれぞれに関するデータを記憶する部分テンプレート画像データ記憶手段と、前記部分入力画像データ生成手段により生成されるデータと、前記各記述内容に対応づけて前記部分テンプレート画像データ記憶手段に記憶されるデータと、に基づいて、前記入力画像に示される記述内容を判定する記述内容判定手段と、を含むことを特徴とする。
【０００６】
また、本発明に係る画像認識方法は、入力画像を取得する入力画像取得ステップと、前記入力画像における所定数の注視点を判定する注視点判定ステップと、前記入力画像における前記各注視点の位置の部分画像に関するデータを生成する部分入力画像データ生成ステップと、複数の記述内容のそれぞれに対応づけて、該記述内容を示すテンプレート画像における前記所定数の注視点の位置の部分画像のそれぞれに関するデータを記憶する部分テンプレート画像データ記憶手段を参照して、前記部分入力画像データ生成ステップで生成されるデータと、前記各記述内容に対応づけて前記部分テンプレート画像データ記憶手段に記憶されるデータと、に基づいて、前記入力画像に示される記述内容を判定する記述内容判定ステップと、を含むことを特徴とする。
【０００７】
さらに、本発明に係るプログラムは、入力画像を取得する入力画像取得手段、前記入力画像における所定数の注視点を判定する注視点判定手段、前記入力画像における前記各注視点の位置の部分画像に関するデータを生成する部分入力画像データ生成手段、複数の記述内容のそれぞれに対応づけて、該記述内容を示すテンプレート画像における前記所定数の注視点の位置の部分画像のそれぞれに関するデータを記憶する部分テンプレート画像データ記憶手段、及び前記部分入力画像データ生成手段により生成されるデータと、前記各記述内容に対応づけて前記部分テンプレート画像データ記憶手段に記憶されるデータと、に基づいて、前記入力画像に示される記述内容を判定する記述内容判定手段としてコンピュータを機能させるためのプログラムである。このプログラムは、例えばＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な情報記憶媒体に格納されてもよい。
【０００８】
本発明では、複数の記述内容（例えば文字や数字など）のそれぞれに対応づけて、該記述内容を示すテンプレート画像の注視点の位置の部分画像に関するデータが、予め記憶手段に記憶される。このデータは、部分画像そのものを示すデータであってもよいし、部分画像の特徴等を示すデータであってもよい。また、入力画像における所定数の注視点が判定されるとともに、その位置の部分画像に関するデータが生成される。このデータも、部分画像そのものを示すデータであってもよいし、部分画像の特徴等を示すデータであってもよい。そして、入力画像から生成されるデータと、各記述内容のテンプレート画像について予め記憶手段に記憶されるデータと、に基づいて、入力画像に示される記述内容が判定される。本発明によれば、入力画像における所定数の注視点の判定、入力画像の部分画像に関するデータの生成、該データとテンプレート画像の部分画像に関するデータとの照査等、比較的調整が容易で、しかも負荷の軽い処理により、入力画像に示される記述内容を判定でき、短時間で入力画像に示される記述内容の認識ができる。
【０００９】
本発明の一態様では、前記注視点判定手段は、前記所定数のユニットが配置された競合層を備える自己組織化マップに、前記入力画像における記述箇所の位置座標のベクトルを入力するとともに、前記競合層の前記所定数のユニットの重みベクトルを前記所定数の注視点の位置座標のベクトルとして取得する。自己組織化マップ（Self Organizing Map；ＳＯＭ）は、トポロジカルマッピングを自己組織的に獲得する工学モデルであり、入力ベクトルを受け付ける入力層のユニットと、入力層のユニットと重みベクトル（ユニットを特徴付けるパラメータ）を介して結合される競合層のユニットと、を含んで構成される。入力ベクトルが受け付けられると、該入力ベクトルに最も近い値を有する重みベクトルを介して結合されている競合層のユニット、及びその近傍のユニットについて、それらの重みベクトルが入力ベクトルに近づくよう更新される。この自己組織化マップに入力画像における記述箇所の位置座標を入力することで、入力画像の記述箇所の位置座標を、競合層の各ユニットの重みベクトルとして得ることができる。
【００１０】
この態様においては、前記部分テンプレート画像データ記憶手段は、前記各記述内容を示すテンプレート画像の前記所定数の注視点の位置の部分画像のデータのそれぞれを、前記所定数のユニットのいずれかに対応づけて記憶してよい。また、前記記述内容判定手段は、前記各記述内容について、相互に対応関係にあるユニットに対応づけられた、前記入力画像に係るデータと前記各テンプレート画像に係るデータとの各相関量を算出するとともに、それら相関量に基づいて前記入力画像に示される記述内容を判定するようにしてよい。
【００１１】
ここで、前記自己組織化マップの前記競合層には、前記所定数のユニットが回転対称性を有するようにして配置されてよい。この場合、前記記述内容判定手段は、前記回転対称性に従って前記対応関係を変更しながら、前記入力画像に係るデータと前記各テンプレート画像に係るデータとの相関量を算出してもよい。こうすれば、入力画像に記述内容が回転した状態で示されていても、適切に記述内容の判定が行えるようになる。
【００１２】
また、本発明の一態様では、前記部分入力画像データ生成手段は、前記入力画像における前記各注視点の位置の部分画像を前記入力画像から抽出するとともに、それら部分画像に基づいて、それらの特徴を示すデータを生成する。こうすれば、入力画像に示される記述内容の認識をさらに高精度に行うことができる。
【００１３】
この態様では、前記部分入力画像データ生成手段は、前記入力画像における前記各注視点の位置の部分画像の特徴を示すデータとして、該部分画像に示される記述内容の一部の延伸方向を示すデータを生成するようにしてよい。前記部分入力画像データ生成手段は、適応部分空間自己組織化マップに前記入力画像における前記各注視点の位置の部分画像を入力し、前記適応部分空間自己組織化マップの応答を、該部分画像に示される記述内容の一部の延伸方向を示すデータとして取得するようにしてよい。
【００１４】
この態様では、前記部分入力画像データ生成手段は、適応部分空間自己組織化マップに前記入力画像における前記各注視点の位置の部分画像を入力し、前記適応部分空間自己組織化マップの応答を、該部分画像の特徴を示すデータとして取得するようにしてよい。適応部分空間自己組織化マップ（Adaptive Subspace Self Organizing Map；ＡＳＳＯＭ）は、様々な方向を持つ二次元正弦波画像を事前に学習しておくことで、方位選択性細胞のような機能を獲得できることが知られているもので、この適応部分空間自己組織化マップを用いることで、部分画像に示された記述内容の一部の特徴、すなわち記述内容の一部の延伸方向を示すデータを容易に生成できるようになる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態について図面に基づき詳細に説明する。
【００１６】
図１は、本発明の実施形態に係る画像認識方法を示すフロー図である。本画像認識方法では、手書きされた「０」、「１」、「２」、「３」、「４」、「５」、「６」、「７」、「８」、「９」のいずれかの数字（記述内容）を示す入力画像を取得すると、この入力画像に示された数字が上記の０〜９のうちいずれであるかを判定する。ここでは、簡単のため、入力画像に示された手書き数字を判定する方法を説明するが、手書き文字、手書きの絵柄、印刷数字、印刷文字、印刷絵柄等、入力画像に示された様々な種類の記述内容を判定するのに本発明を適用してよいのはもちろんである。
【００１７】
図１に示すように、本画像認識方法では、まず手書きの数字が示された入力画像を取得する（Ｓ１０１）。入力画像は、例えば記述部分の画素に０よりも大きな画素値が関連づけられ、それ以外に０の画素値が関連づけられたものであり、二値画像、グレースケール画像、フルカラー画像等、あらゆる形式の画像を用いることができる。
【００１８】
そして、この入力画像の中の所定数（ここでは１９個）の注視点の位置を判定する（Ｓ１０２）。図２は、この注視点の判定処理に用いられる自己組織化マップの構成を示す図である。自己組織化マップ１２（ＳＯＭ）はニューラルネットワークの一種であって、コンピュータ上で仮想的に実現されるものであり、２個のユニットが配置された入力層１４と、注視点の個数と同数である１９個のユニットが配置された競合層１６から構成されている。図３は、図２に示す自己組織化マップの学習処理を示すフロー図である。同図に示すように、この学習処理では、まず競合層１６の各ユニットｊの結合重みベクトルｗ（ｊ）を初期化する（ｊ＝１〜１９；Ｓ２０１）。初期状態においては、図１４に示すようにして、競合層１６に１９個のユニットｊが回転対称を有するようにして配置される。次に、入力層１４のユニットに、入力画像１０における画素値が０よりも大きい画素（記述箇所の画素）の位置座標νｉ＝（ｘｉ，ｙｉ）を入力ベクトルとして入力する（Ｓ２０２）。競合層１６の各ユニットｊは結合重みベクトルｗ（ｊ）が関連づけられており（ｊ＝１〜１９）、次式（１）に従って、入力ベクトルνｉに最も近い値の結合重みベクトルｗに関連づけられたユニットの番号ｃｉを勝者ユニットの番号として決定する（Ｓ２０３）。ここで、ｔは結合重みベクトルｗの更新時刻を示す。
【００１９】
【数１】
0004691659.tif 000002
【００２０】
そして、入力画像１０における輝度が０より大きい全ての画素の位置座標について、Ｓ２０２及びＳ２０３の処理を実行して、各入力ベクトルνｉに対する勝者ユニットｃｉを決定する（ｉ＝１，２，３，…）。その後、次式（２）に従って、競合層１６の各ユニットｊの重みベクトルｗ（ｊ）を更新する（Ｓ２０４）。ここで、ｈｊｃｉ（ｔ）は、近傍係数であり、例えば時刻ｔにおけるユニットｊと勝者ユニットｃｉとの距離に関する減少関数として定義される。
【００２１】
【数２】
0004691659.tif 000003
【００２２】
図５は、図２に示される入力画像１０から得られる入力ベクトルを全て入力し、学習が完了した後の結合重みベクトルｗ（ｊ）の配置を示している。同図に示すように、競合層１６の各ユニットｊの結合重みベクトルｗ（ｊ）は、入力画像１０における画素値が０よりも大きい画素の位置座標に近づいており、本画像認識方法では、これらの結合重みベクトルｗ（ｊ）を、入力画像１０の１９個の注視点の位置座標として利用する。なお、図６は、手書きの０〜９の数字が示された各入力画像を用いた学習後における、重みベクトルｗ（ｊ）を示している。
【００２３】
図１に戻り、本画像認識方法では、次に入力画像の１９個の注視点の位置の各周辺の画像を抽出する（Ｓ１０３）。図７は、図５に示される重みベクトルｗ（ｊ）の位置を中心とした７画素×７画素の大きさの各部分画像を示している。
【００２４】
次に、こうして得られる入力画像の１９個の部分画像のそれぞれについて、特徴データを生成する（Ｓ１０４）。特徴データは１００個（＝１０×１０）の数値データから構成されており、図８には、各部分画像の特徴データが画像として示されている。同図に示される特徴データの画像は、部分画像に示される線分（数字の一部）の方向が共通している場合に（上下左右にシフトしていても）、近似した模様を示すことが分かる。このように、特徴データは、各部分画像に示される記述内容の方向を示すデータとなっている。ここでは、こうした特徴データを、適応部分空間自己組織化マップ（Adaptive Sub-space Self Organizing Map；ＡＳＳＯＭ）を用いて生成しており、その処理については後に詳述する。なお、各部分画像の特徴データは、例えばガボールフィルタを用いて生成してもよい。
【００２５】
図１に再び戻り、以上の処理は、事前に、テンプレート画像群に対しても同様に行われる。すなわち、本画像認識方法では、図９に示すような、複数組の手書き数字を示す画像をテンプレート画像として用意する（Ｓ１０５）。そして、各テンプレート画像に対して、Ｓ１０１の処理と同様にして、１９個の注視点の位置座標を算出する（Ｓ１０６）。さらに、各テンプレート画像から、そのテンプレート画像の１９個の注視点の位置から７画素×７画素の大きさの部分画像を抽出する（Ｓ１０７）。そして、各部分画像の特徴データを、Ｓ１０４の処理と同様にして生成する（Ｓ１０８）。こうして生成される各部分画像の特徴データは、元の入力画像に示されている記述内容（０，１，２，３，…）に関連づけて、事前にハードディスク記憶装置やＥＥＰＲＯＭ等の記憶手段に記憶される（Ｓ１０９）。図１０には、「０」の手書き数字が示されたテンプレート画像から生成された１９個の特徴データの画像を示している。
【００２６】
本画像認識方法では、次に、Ｓ１０４で得られた入力画像のｊ番目の部分画像（自己組織化マップの競合層１６のユニットｊに関する部分画像）の特徴データＵｊと、Ｓ１０９で記憶された、いずれかのテンプレート画像のｊ番目の部分画像の特徴データＶｊと、の相関値Ｒｊを次式（４）に従って算出する。ここで、特徴データＵｊは、ｕｊ１〜ｕｊＭから構成され、特徴データＶｊは、ｖｊ１〜ｖｊＭから構成される（Ｍ＝１００）。そして、入力画像とテンプレート画像との相関値Ｓを、次式（５）に従って算出し、同様にして、他の全てのテンプレート画像と入力画像との相関値Ｓを算出する。
【００２７】
【数３】
0004691659.tif 000004
【００２８】
さらに、上記のように、入力画像やテンプレート画像の注視点を判定するのに用いる自己組織化マップは、その競合層に１９個のユニットが回転対称性を有するようにして配置されているので、この回転対称性に従って、入力画像の部分画像とテンプレート画像の部分画像との対応関係を変更しながら、上記相関値Ｒｊ及び相関値Ｓを算出する（Ｓ１１０）。その後、最も大きな値の相関値Ｓに対応するテンプレート画像の特徴データ群に関連づけて事前に記憶されている記述内容（数字）を、入力画像の記述内容として決定し、それを出力する（Ｓ１１１）。
【００２９】
ここで、各部分画像の特徴データを生成する処理について説明する。図１１は、部分画像の特徴データを生成するのに用いられる、適応部分空間自己組織化マップ（ＡＳＳＯＭ）を示す図である。同図に示す適応部分空間自己組織化マップ２０は、部分画像の画素数である４９個（＝７×７）のユニットが配置された入力層２２と、１０×１０個のユニットが配置された競合層２４と、から構成されている。競合層２４の各ユニットｊには、図１２に模式的に示されるような部分空間２６が関連づけられており、この部分空間２６は４９次元の互いに直交する基底ベクトルｂｈ（ｊ）により張られている（ｈ＜４９）。適応部分空間自己組織化マップ２０の学習のためには、５枚の２次元正弦波画像からなる学習用入力画像組が多数用意される。各学習用入力画像組は、図１３に示すように、１枚の２次元正弦波画像２８ａ、それを上方向に所定画素（ここでは２画素）だけシフトしてなる上シフト画像２８ｂ、左方向に所定画素（ここでは２画素）だけシフトしてなる左シフト画像２８ｃ、右方向に所定画素（ここでは２画素）だけシフトしてなる右シフト画像２８ｄ、及び下方向に所定画素（ここでは２画素）だけシフトしてなる下シフト画像２８ｅの５枚の画像からなる。
【００３０】
適応部分空間自己組織化マップ２０の学習に用いられる入力ベクトルｘ（ｔｐ）は、各学習用入力画像組の中でｔｐ番目の画像の各画素値を要素とする、４９（＝７×７）次元のベクトルである。図１４に示すように、学習時には、まず競合層２４上の各ユニットｊの部分空間２６の基底ベクトルｂｈ（ｊ）を乱数により初期化するとともに、この際、基底ベクトルｂ１（ｊ）と基底ベクトルｂ２（ｊ）とを正規直交化する（Ｓ３０１）。そして、学習用入力画像組から得られる各入力ベクトルｘ（ｔｐ）に対して、次式（５）により、競合層２４上の各ユニットｊに関連づけられた部分空間２６への射影ベクトルＸ（ｊ）（ｔｐ）のノルムを計算する（Ｓ３０２）（ｊ＝１〜１００，ｔｐ＝１〜５（図１５参照））。さらに、次式（６）により、代表勝者ユニットｃを決定する（Ｓ３０３）。
【００３１】
【数４】
0004691659.tif 000005
【００３２】
その後、代表勝者ユニットｃと、競合層２４においてその近傍に配置されたユニットの基底ベクトルを、次式（７）に従って更新する（Ｓ３０４）。ここでλ（ｔ）は学習係数であり、ｈｃ（ｊ）（ｔ）は近傍係数である。これにより、代表勝者ユニットｃと、その近傍のユニットの基底ベクトルｂｈ（ｊ）は、例えば学習用入力画像組に係る入力ベクトル群の平均ベクトル等に近づけられる（ｈ＝１，２）。また、基底ベクトルｂｈ（ｊ）の更新時には、それらの正規直交化が行われる。そして、上記Ｓ３０２乃至Ｓ３０４の処理を、学習係数及び近傍範囲を小さくしながら所定回数だけ繰り返し、さらに同様の処理を他の学習用入力画像組についても実行する。
【００３３】
【数５】
0004691659.tif 000006
【００３４】
図１６は、学習の結果として得られた、競合層２４の各ユニットｊの部分空間２６の基底ベクトルｂｈ（ｊ）を示している（ｊ＝１〜１００）。同図において、各円は競合層２４のユニットを示しており、その中に示された２つの画像は、該ユニットの部分空間２６の２つの基底ベクトルｂ１（ｊ）及びｂ２（ｊ）を示している。このようにして学習がなされた適応部分空間自己組織化マップ２０においては、次式（８）のようにして、競合層２４のユニットｊの部分空間２６への射影ベクトルＸ（ｊ）のノルムを、入力ベクトルｘで除した値である、競合層２４のユニットｊの応答ｕｊを計算すると、上下左右に並行移動した画像については、ほぼ同じ箇所の競合層２４のユニットの応答が大きくなる。
【００３５】
【数６】
0004691659.tif 000007
【００３６】
例えば、図１７（ａ）に示すようにして、幅が１画素のラインが描かれた入力画像（同図最上段）、幅が３画素のラインが描かれた入力画像（同図２段目）、幅が５画素のラインが描かれた入力画像（同図３段目）、幅が１画素であり最上段に比して左に２画素だけシフトした入力画像（同図４段目）、及び幅が１画素であり最上段に比して上に２画素だけシフトした入力画像（同図５段目）を用意し、それらの画素値を要素とする入力ベクトルを、学習後の適応部分空間自己組織化マップ２０に入力し、その応答を求めると、同図（ｂ）のようになる。同図（ｂ）に表された各画像は、同図（ａ）の対応する箇所の入力画像の画素値を要素とする入力ベクトルの応答を示しており、その各画素値は上記応答ｕｊとなっている。この図から分かるように、学習済みの適応部分空間自己組織化マップ２０によれば、位相ズレの関係にある入力画像に対して、ほぼ同様の応答をする。
【００３７】
本実施形態に係る画像認識方法では、入力画像の各注視点の位置の部分画像を抽出すると、この部分画像の画素値を要素とするベクトルを、上述の学習を済ませた適応部分空間自己組織化マップ２０に入力し、その応答（ｕ１〜ｕ１００）を特徴データとして用いている。これにより、部分画像に表された記述部分の方向を示す特徴データを得て、それを記述内容の判定に用いることができ、認識精度を向上させることができる。
【００３８】
また、本画像認識方法によれば、入力画像の注視点を複数判定して、その局所的特徴を基にして記述内容の判定を行うようにしているが、これにより人間の視覚系に近い高精度のパターン認識を実現できる。また、自己組織化マップ１２の処理、適応部分空間自己組織化マップ２０の処理等、比較的負荷の軽い処理により、またパラメータ調整の少ない処理により、簡易且つ短時間で入力画像に示される記述内容の認識ができる。
【００３９】
そして、上述の画像認識方法を用いる画像認識装置は、例えば以下のようにして実現される。図１８は、本実施形態に係る画像認識装置３０の機能ブロック図である。画像認識装置３０はコンピュータを中心として構成されるものであり、所定の認識プログラムを実行することにより、同図に示される各機能が実現される。なお、認識プログラムはコンピュータ読み取り可能な情報記憶媒体に格納され、そこからコンピュータにインストールされてもよいし、インターネット等のデータ通信ネットワークからコンピュータにダウンロードされてもよい。
【００４０】
同図に示すように、画像認識装置３０は、機能的には入力画像取得部３２、注視点判定部３４、部分画像抽出部３６、特徴データ生成部３８、部分テンプレート画像特徴データ記憶部４０、相関演算部４２及び判定出力部４４を含んでいる。ここで、入力画像取得部３２は、入力画像を取得するものであり、例えばデジタルカメラのような撮像手段や、各種方式のタッチパネルにより構成することができる。注視点判定部３４は、図１のＳ１０２の処理を行うものであり、入力画像における所定数の注視点を判定する。すなわち、所定数のユニットが配置された競合層１６を備える自己組織化マップ１２に、入力画像における記述箇所の位置座標のベクトルを入力するとともに、競合層１６の前記所定数のユニットの結合重みベクトルを前記所定数の注視点の位置座標のベクトルとして取得する。
【００４１】
部分画像抽出部３６は、図１のＳ１０３の処理を行うものであり、入力画像における前記各注視点の位置の部分画像を抽出するものである。また、特徴データ生成部３８は、Ｓ１０４の処理を行うものであり、各部分画像の特徴データを生成するものである。ここでは、適応部分空間自己組織化マップ２０に部分画像のベクトルを入力して、その応答を特徴データとして取得する。この特徴データは、各部分画像に示される記述内容の一部の延伸方向を示すものとなる。
【００４２】
次に、部分テンプレート画像特徴データ記憶部４０は、図１のＳ１０９の処理結果として得られるデータを記憶するものであり、複数の記述内容（０〜９）のそれぞれに対応づけて、該記述内容を示すテンプレート画像における注視点の位置の部分画像のそれぞれに関する特徴データを記憶する。そして、相関演算部４２は、図１のＳ１１０の処理を行うものであり、特徴データ生成部３８により生成される、入力画像に関する特徴データ群と、部分テンプレート画像特徴データ記憶部４０に各記述内容に関連づけて記憶される特徴データ群と、の相関値Ｓを算出する。判定出力部４４は、図１のＳ１１１の処理を行うものであり、こうして算出される相関値Ｓの最大値を与える特徴データ群に関連づけられた記述内容を、入力画像の記述内容として、例えばモニタにより表示出力する。
【００４３】
以上の画像認識装置３０によれば、非常に軽い処理で入力画像に示された記述内容の認識が可能であり、例えば携帯情報端末等の非力なコンピュータを用いても、高精度の画像認識が可能となる。
【図面の簡単な説明】
【００４４】
【図１】本発明の実施形態に係る画像認識方法を示すフロー図である。
【図２】注視点の判定に用いる自己組織化マップを示す図である。
【図３】自己組織化マップによる学習処理を示すフロー図である。
【図４】自己組織化マップの結合重みベクトルの初期配置を示す図である。
【図５】自己組織化マップの学習後の結合重みベクトルの配置を示す図である。
【図６】様々な入力画像に対する、自己組織化マップの学習後の結合重みベクトルの配置を示す図である。
【図７】入力画像から各注視点の位置の部分画像を抽出した様子を示す図である。
【図８】各部分画像の特徴データの画像を示す図である。
【図９】テンプレート画像例を示す図である。
【図１０】各テンプレート画像に対して予め生成される特徴データの画像を示す図である。
【図１１】特徴データの生成に用いられる適応部分空間自己組織化マップを示す図である。
【図１２】適応部分空間自己組織化マップの競合層のユニットに関連づけられた部分空間を示す図である。
【図１３】適応部分空間自己組織化マップの学習に用いる学習用入力画像組の一例を示す図である。
【図１４】適応部分空間自己組織化マップの学習処理を示すフロー図である。
【図１５】入力ベクトルが競合層の各ユニットの部分空間に射影される様子を示す図である。
【図１６】学習済みの適応部分空間自己組織化マップの競合層の各ユニットの基底ベクトルを示す図である。
【図１７】適応部分空間自己組織化マップの応答例を示す図である。
【図１８】本発明の実施形態に係る画像認識装置の機能ブロック図である。
【符号の説明】
【００４５】
１０  入力画像、１２  自己組織化マップ（ＳＯＭ）、１４，２２  入力層、１６，２４  競合層、２０  適応部分空間自己組織化マップ（ＡＳＳＯＭ）、２６  部分空間、２８  学習用入力画像組、３０  画像認識装置、３２  入力画像取得部、３４  注視点判定部、３６  部分画像抽出部、３８  特徴データ生成部、４０  部分テンプレート画像特徴データ記憶部、４２  相関演算部、４４  判定出力部。
【図１】
0004691659.tif 000008
【図２】
0004691659.tif 000009
【図３】
0004691659.tif 000010
【図４】
0004691659.tif 000011
【図５】
0004691659.tif 000012
【図６】
0004691659.tif 000013
【図９】
0004691659.tif 000014
【図１１】
0004691659.tif 000015
【図１２】
0004691659.tif 000016
【図１３】
0004691659.tif 000017
【図１４】
0004691659.tif 000018
【図１５】
0004691659.tif 000019
【図１８】
0004691659.tif 000020
【図７】
0004691659.tif 000021
【図８】
0004691659.tif 000022
【図１０】
0004691659.tif 000023
【図１６】
0004691659.tif 000024
【図１７】
0004691659.tif 000025