(57)【要約】【課題】マスク化されたパターンが保存されている場合に、マスクパターンを用いずに、対応するパターンを取り出すことができる、画像認識装置、画像認識方法、および、プログラムを提供することを課題とする。【解決手段】本発明は、複数の画像の元パターンとマスクパターンとの排他的論理和または否定排他的論理和である被マスクパターンに当該マスクパターンを対応付けた連結パターンを神経細胞ユニットからなるニューラルネットワークに学習させた連想記憶モデルにおいて、手がかり画像である照合パターンを連想記憶モデルに導入し、状態を復号化して再構成パターンを求めつつ状態更新を繰り返すことにより、想起結果の再構成パターンを求める際に、状態更新に伴って復号化された再構成パターンと照合パターンとを比較し、当該再構成パターンと当該照合パターン間で値が一致している部分に対応する神経細胞ユニットについては、状態更新時に更新前の状態と同じ値を取り易いように制約する。【選択図】図９
2015095042.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも記憶部と制御部を備えた画像認識装置であって、
上記記憶部は、
複数の画像の元パターンとマスクパターンとの排他的論理和または否定排他的論理和である被マスクパターンに当該マスクパターンを対応付けた連結パターンを、神経細胞ユニットからなるニューラルネットワークに学習させた連想記憶モデルに関する情報を記憶し、
上記制御部は、
指定された、手がかり画像である照合パターンを上記連想記憶モデルに導入し、状態を復号化して再構成パターンを求めつつ状態更新を繰り返すことにより、想起結果の再構成パターンを求める想起手段と、
上記想起手段により上記状態更新に伴って復号化された上記再構成パターンと、上記照合パターンとを比較し、当該再構成パターンと当該照合パターン間で値が一致している部分に対応する上記神経細胞ユニットについては、上記状態更新時に更新前の状態と同じ値を取り易いように制約し、一方、当該値が一致しない部分に対応する上記神経細胞ユニットについては、上記状態更新時に更新前の状態と異なる値を取り易いように制約を加える比較手段と、
を備えたことを特徴とする画像認識装置。
【請求項２】
請求項１に記載の画像認識装置において、
上記想起手段は、
焼き鈍し法により、上記状態更新に伴って温度を徐々に下げることにより上記ニューラルネットワークの状態を収束させて、エネルギー関数の値がローカルミニマムに陥らないように制御すること、
を特徴とする画像認識装置。
【請求項３】
請求項２に記載の画像認識装置において、
上記想起手段は、
１回の上記状態更新ごとに、逆温度に増加率を乗ずることにより、指数関数的に温度を下げること、
を特徴とする画像認識装置。
【請求項４】
請求項３に記載の画像認識装置において、
上記比較手段は、
上記制約を加えるために、上記再構成パターンと上記照合パターン間の値の積の総和に応じて、上記ニューラルネットワークのエネルギー関数の値が小さくなる制約項を設定すること、
を特徴とする画像認識装置。
【請求項５】
請求項４に記載の画像認識装置において、
上記神経細胞ユニットの内部ポテンシャルは、
上記制約項付きのエネルギー関数を当該神経細胞ユニットの状態で偏微分して符号を反転させたものであり、
上記神経細胞ユニットの状態更新確率は、
上記内部ポテンシャルと上記逆温度の積の符号を反転させたものを基数とした指数に１を加えたものを分母とし、１を分子とする分数で表され、
上記想起手段は、
１回の上記状態更新ごとに、上記状態更新確率を再計算すること、
を特徴とする画像認識装置。
【請求項６】
請求項１乃至５のいずれか一つに記載の画像認識装置において、
上記想起手段は、
初期状態で上記ニューラルネットワークをランダムな値に設定し、同期的かつ確率的な更新則に従って、上記ニューラルネットワークの状態を更新すること、
を特徴とする画像認識装置。
【請求項７】
請求項１乃至６に記載の画像認識装置において、
上記マスクパターンは、
ランダムな二値パターンであること、
を特徴とする画像認識装置。
【請求項８】
請求項７に記載の画像認識装置において、
上記被マスクパターンは、
上記複数の画像のうち上記元パターン中の任意の数のビットごとに共通した上記マスクパターンにより作成されたパターンであること、
を特徴とする画像認識装置。
【請求項９】
少なくとも記憶部と制御部を備えたコンピュータにおいて実行される画像認識方法であって、
上記記憶部は、
複数の画像の元パターンとマスクパターンとの排他的論理和または否定排他的論理和である被マスクパターンに当該マスクパターンを対応付けた連結パターンを、神経細胞ユニットからなるニューラルネットワークに学習させた連想記憶モデルに関する情報を記憶しており、
上記制御部において実行される、
指定された、手がかり画像である照合パターンを上記連想記憶モデルに導入し、状態を復号化して再構成パターンを求めつつ状態更新を繰り返すことにより、想起結果の再構成パターンを求める想起手順と、
上記想起手段により上記状態更新に伴って復号化された上記再構成パターンと、上記照合パターンとを比較し、当該再構成パターンと当該照合パターン間で値が一致している部分に対応する上記神経細胞ユニットについては、上記状態更新時に更新前の状態と同じ値を取り易いように制約し、一方、当該値が一致しない部分に対応する上記神経細胞ユニットについては、上記状態更新時に更新前の状態と異なる値を取り易いように制約を加える比較手順と、
を含むことを特徴とする画像認識方法。
【請求項１０】
少なくとも記憶部と制御部を備えたコンピュータに実行させるためのプログラムであって、
上記記憶部は、
複数の画像の元パターンとマスクパターンとの排他的論理和または否定排他的論理和である被マスクパターンに当該マスクパターンを対応付けた連結パターンを、神経細胞ユニットからなるニューラルネットワークに学習させた連想記憶モデルに関する情報を記憶しており、
上記制御部において実行される、
指定された、手がかり画像である照合パターンを上記連想記憶モデルに導入し、状態を復号化して再構成パターンを求めつつ状態更新を繰り返すことにより、想起結果の再構成パターンを求める想起手順と、
上記想起手段により上記状態更新に伴って復号化された上記再構成パターンと、上記照合パターンとを比較し、当該再構成パターンと当該照合パターン間で値が一致している部分に対応する上記神経細胞ユニットについては、上記状態更新時に更新前の状態と同じ値を取り易いように制約し、一方、当該値が一致しない部分に対応する上記神経細胞ユニットについては、上記状態更新時に更新前の状態と異なる値を取り易いように制約を加える比較手順と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置、画像認識方法、および、プログラムに関する。
【背景技術】
【０００２】
従来、ニューラルネットワークにおける連想記憶モデルとして、自己連想記憶モデルや系列連想記憶モデル等が開発されている。
【０００３】
例えば、特許文献１では、記憶層で、自己増殖型ニューラルネットワークを用いて、入力ベクトルのパターンに対応するノードを接続したサブネットワークを構成して、入力ベクトルのサブクラスとして学習し、連想層で、記憶層にて保持された連想のキーとなるキーベクトルのキークラスと、そのキーベクトルから想起される連想クラスとの間に関連を張り、入力されたキーベクトルから、そのキークラス又は連想クラスに対応するノードの重みを想起結果として出力することが開示されている。
【０００４】
また、非特許文献１には、カラー画像を二値データに変換し、あるビットを反転させてリバーシブル符号を生成し、ニューラルネットワークに記憶させることにより、復号化した際に、あるビット表現と反転表現が同じ整数値となるよう調整することが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−８６１３２号公報
【非特許文献】
【０００６】
【非特許文献１】Ｏｋｕ，  Ｍａｋｉｔｏ，  Ａｉｈａｒａ，  Ｋａｚｕｙｕｋｉ，  “Ａｓｓｏｃｉａｔｉｖｅ  ｄｙｎａｍｉｃｓ  ｏｆ  ｃｏｌｏｒ  ｉｍａｇｅｓ  ｉｎ  ａ  ｌａｒｇｅ−ｓｃａｌｅ  ｃｈａｏｔｉｃ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ”，  Ｎｏｎｌｉｎｅａｒ  Ｔｈｅｏｒｙ  ａｎｄ  Ｉｔｓ  Ａｐｐｌｉｃａｔｉｏｎｓ，  ＩＥＩＣＥ，  Ｖｏｌｕｍｅ  ２，  Ｉｓｓｕｅ  ４，  ｐｐ．  ５０８−５２１  （２０１１）．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の連想記憶モデルにおいて、記銘段階で、マスクパターンでマスク化された画像パターンが記憶されている場合に、想起段階で、記銘に用いたマスクパターンを用いずに、手がかりとなる照合パターンのみから想起パターンを得ることができない、という問題点を有していた。
【０００８】
本発明は、上記問題点に鑑みてなされたもので、マスク化されたパターンが保存された連想記憶モデルのニューラルネットワークにおいて、マスクパターンを用いずに、対応するパターンを取り出すことができる、画像認識装置、画像認識方法、および、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
このような目的を達成するため、本発明の画像認識装置は、少なくとも記憶部と制御部を備えた画像認識装置であって、上記記憶部は、複数の画像の元パターンとマスクパターンとの排他的論理和または否定排他的論理和である被マスクパターンに当該マスクパターンを対応付けた連結パターンを、神経細胞ユニットからなるニューラルネットワークに学習させた連想記憶モデルに関する情報を記憶し、上記制御部は、指定された、手がかり画像である照合パターンを上記連想記憶モデルに導入し、状態を復号化して再構成パターンを求めつつ状態更新を繰り返すことにより、想起結果の再構成パターンを求める想起手段と、上記想起手段により上記状態更新に伴って復号化された上記再構成パターンと、上記照合パターンとを比較し、当該再構成パターンと当該照合パターン間で値が一致している部分に対応する上記神経細胞ユニットについては、上記状態更新時に更新前の状態と同じ値を取り易いように制約し、一方、当該値が一致しない部分に対応する上記神経細胞ユニットについては、上記状態更新時に更新前の状態と異なる値を取り易いように制約を加える比較手段と、を備えたことを特徴とする。
【００１０】
また、本発明の画像認識装置は、上記記載の画像認識装置において、上記想起手段は、焼き鈍し法により、上記状態更新に伴って温度を徐々に下げることにより上記ニューラルネットワークの状態を収束させて、エネルギー関数の値がローカルミニマムに陥らないように制御すること、を特徴とする。
【００１１】
また、本発明の画像認識装置は、上記記載の画像認識装置において、上記想起手段は、１回の上記状態更新ごとに、逆温度に増加率を乗ずることにより、指数関数的に温度を下げること、を特徴とする。
【００１２】
また、本発明の画像認識装置は、上記記載の画像認識装置において、上記比較手段は、上記制約を加えるために、上記再構成パターンと上記照合パターン間の値の積の総和に応じて、上記ニューラルネットワークのエネルギー関数の値が小さくなる制約項を設定すること、を特徴とする。
【００１３】
また、本発明の画像認識装置は、上記記載の画像認識装置において、上記神経細胞ユニットの内部ポテンシャルは、上記制約項付きのエネルギー関数を当該神経細胞ユニットの状態で偏微分して符号を反転させたものであり、上記神経細胞ユニットの状態更新確率は、上記内部ポテンシャルと上記逆温度の積の符号を反転させたものを基数とした指数に１を加えたものを分母とし、１を分子とする分数で表され、上記想起手段は、１回の上記状態更新ごとに、上記状態更新確率を再計算すること、を特徴とする。
【００１４】
また、本発明の画像認識装置は、上記記載の画像認識装置において、上記想起手段は、初期状態で上記ニューラルネットワークをランダムな値に設定し、同期的かつ確率的な更新則に従って、上記ニューラルネットワークの状態を更新すること、を特徴とする。
【００１５】
また、本発明の画像認識装置は、上記記載の画像認識装置において、上記マスクパターンは、ランダムな二値パターンであること、を特徴とする。
【００１６】
また、本発明の画像認識装置は、上記記載の画像認識装置において、上記被マスクパターンは、上記複数の画像のうち上記元パターン中の任意の数のビットごとに共通した上記マスクパターンにより作成されたパターンであること、を特徴とする。
【００１７】
また、本発明は画像認識方法に関するものであり、本発明の画像認識方法は、少なくとも記憶部と制御部を備えたコンピュータにおいて実行される画像認識方法であって、上記記憶部は、複数の画像の元パターンとマスクパターンとの排他的論理和または否定排他的論理和である被マスクパターンに当該マスクパターンを対応付けた連結パターンを、神経細胞ユニットからなるニューラルネットワークに学習させた連想記憶モデルに関する情報を記憶しており、上記制御部において実行される、指定された、手がかり画像である照合パターンを上記連想記憶モデルに導入し、状態を復号化して再構成パターンを求めつつ状態更新を繰り返すことにより、想起結果の再構成パターンを求める想起手順と、上記想起手段により上記状態更新に伴って復号化された上記再構成パターンと、上記照合パターンとを比較し、当該再構成パターンと当該照合パターン間で値が一致している部分に対応する上記神経細胞ユニットについては、上記状態更新時に更新前の状態と同じ値を取り易いように制約し、一方、当該値が一致しない部分に対応する上記神経細胞ユニットについては、上記状態更新時に更新前の状態と異なる値を取り易いように制約を加える比較手順と、を含むことを特徴とする。
【００１８】
また、本発明はプログラムに関するものであり、本発明のプログラムは、少なくとも記憶部と制御部を備えたコンピュータに実行させるためのプログラムであって、上記記憶部は、複数の画像の元パターンとマスクパターンとの排他的論理和または否定排他的論理和である被マスクパターンに当該マスクパターンを対応付けた連結パターンを、神経細胞ユニットからなるニューラルネットワークに学習させた連想記憶モデルに関する情報を記憶しており、上記制御部において実行される、指定された、手がかり画像である照合パターンを上記連想記憶モデルに導入し、状態を復号化して再構成パターンを求めつつ状態更新を繰り返すことにより、想起結果の再構成パターンを求める想起手順と、上記想起手段により上記状態更新に伴って復号化された上記再構成パターンと、上記照合パターンとを比較し、当該再構成パターンと当該照合パターン間で値が一致している部分に対応する上記神経細胞ユニットについては、上記状態更新時に更新前の状態と同じ値を取り易いように制約し、一方、当該値が一致しない部分に対応する上記神経細胞ユニットについては、上記状態更新時に更新前の状態と異なる値を取り易いように制約を加える比較手順と、を実行させることを特徴とする。
【００１９】
また、本発明は記録媒体に関するものであり、上記記載のプログラムを記録したことを特徴とする。
【発明の効果】
【００２０】
この発明によれば、複数の画像の元パターンとマスクパターンとの排他的論理和または否定排他的論理和である被マスクパターンに当該マスクパターンを対応付けた連結パターンを神経細胞ユニットからなるニューラルネットワークに学習させた連想記憶モデルにおいて、手がかり画像である照合パターンを連想記憶モデルに導入し、状態を復号化して再構成パターンを求めつつ状態更新を繰り返すことにより、想起結果の再構成パターンを求める際に、状態更新に伴って復号化された再構成パターンと照合パターンとを比較し、当該再構成パターンと当該照合パターン間で値が一致している部分に対応する神経細胞ユニットについては、状態更新時に更新前の状態と同じ値を取り易いように制約する。これにより、連想記憶モデルにおいて、マスク化されたパターンが保存されている場合に、マスクパターンを用いずに、対応するパターンを取り出すことができるという効果を奏する。
【００２１】
また、本発明は、想起段階において、焼き鈍し法により、状態更新に伴って温度を徐々に下げることによりニューラルネットワークの状態を収束させるので、エネルギー関数の値がローカルミニマムに陥らないように制御することができるという効果を奏する。
【００２２】
また、本発明は、１回の上記状態更新ごとに、逆温度に増加率を乗ずることにより、指数関数的に温度を下げるので、焼き鈍し法において、最初のうちは、神経細胞ユニットに状態の変化をほどこしながら、徐々に温度を下げて収束させることができるという効果を奏する。
【００２３】
また、本発明は、制約を加えるために、再構成パターンと照合パターン間の値の積の総和に応じて、ニューラルネットワークのエネルギー関数の値が小さくなる制約項を設定する。これにより、本発明は、再構成パターンと照合パターン間で値が一致するほどエネルギー関数が下がるようにバイアスをかけることができるという効果を奏する。
【００２４】
また、本発明では、神経細胞ユニットの内部ポテンシャルは、制約項付きのエネルギー関数を当該神経細胞ユニットの状態で偏微分して符号を反転させたものであり、神経細胞ユニットの状態更新確率は、内部ポテンシャルと逆温度の積の符号を反転させたものを基数とした指数に１を加えたものを分母とし、１を分子とする分数で表され、想起段階で、１回の上記状態更新ごとに、状態更新確率を再計算する。これにより、温度の高いうちや、再構成パターンと照合パターン間で値が一致していないうちは、神経細胞ユニットの状態の変化を施しつつ、温度の徐々に下がり、再構成パターンと照合パターン間で値が一致してくると、一定の状態に収束するように施すことができるという効果を奏する。
【００２５】
また、本発明は、初期状態でニューラルネットワークをランダムな値に設定し、同期的かつ確率的な更新則に従って、ニューラルネットワークの状態を更新するので、好適に対応するパターンを想起させることができるという効果を奏する。
【００２６】
また、本発明では、マスクパターンは、ランダムな二値パターンであるので、擬似的に直交化された記憶容量の大きいニューラルネットワークから、照合パターンに対応するパターンを見出すことができるという効果を奏する。
【００２７】
また、本発明は、被マスクパターンは、複数の画像の元パターン中の任意の数のビットごとに共通したマスクパターンにより作成されたパターンであるので、マスクパターンが増えることによる連結パターンの延長が抑えられた記憶容量の大きいニューラルネットワークから、照合パターンに対応するパターンを見出すことができるという効果を奏する。
【図面の簡単な説明】
【００２８】
【図１】図１は、連想記憶モデルの記銘段階を模式的に示した図である。
【図２】図２は、連想記憶モデルの想起段階を模式的に示す図である。
【図３】図３は、互いに相関が小さいパターンを記憶させる場合を模式的に示した図である。
【図４】図４は、互いに相関が大きいパターンを記憶させる場合を模式的に示した図である。
【図５】図５は、元パターンとマスクパターンと被マスクパターンと連結パターンの関係を示す図である。
【図６】図６は、ＸＮＯＲ演算およびＸＯＲ演算の一例を示す図である。
【図７】図７は、連結パターンの一例を示す図である。
【図８】図８は、ブロック単位に異なるマスクパターンｒｋを設定した連結パターンの一例を示す図である。
【図９】図９は、本実施の形態が適用される本画像認識装置１００の一例を示すブロック図である。
【図１０】図１０は、本実施の形態における画像認識装置１００の基本処理の一例を示すフローチャートである。
【図１１】図１１は、本実施の形態における画像認識装置１００の想起処理の一例を示すフローチャートである。
【図１２】図１２は、本実施例によるマスク情報を用いずに画像想起を行った結果を示す図である。
【発明を実施するための形態】
【００２９】
以下に、本発明にかかる画像認識装置、画像認識方法、および、プログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。例えば、本実施の形態に示す連想記憶モデルに限らず、様々な連想記憶モデルに本発明を適用してもよい。また、以下の実施の形態では、同期的かつ確率論的な更新が行われる例について説明することがあるが、これに限られず、非同期的更新でも決定論的更新であってもよい。また、本実施の形態において、ニューラルネットワークの結合が疎の場合を例にして説明することがあるが、これに限られず、結合が密なニューラルネットワーク（例えば、全ての神経細胞ユニットが互いに結合しているネットワーク）を用いてもよい。また、以下の実施の形態においては、マスクパターンは、ランダムな二値パターンを例に説明することがあるが、これに限られず、任意のマスクパターンについて本実施の形態を適用することができる。
【００３０】
［本実施の形態の背景］
以下、本発明の実施の形態の背景および概要について図１〜図８を参照して説明し、その後、本実施の形態の構成および処理等について詳細に説明する。
【００３１】
まず、本発明の実施の形態では、前提として、マスク化されたパターンが連想記憶モデルのニューラルネットワークに記憶されるので、まず、その背景について説明する。ここで、図１は、連想記憶モデルの記銘段階を模式的に示した図である。
【００３２】
連想記憶モデルとは、神経回路網（ニューラルネットワーク）モデルの一種である。連想記憶モデルの一種である、ホップフィールド・ネットワークは、１９８２年にＨｏｐｆｉｅｌｄによって提唱されたニューラルネットワークの一モデルである。一例として図１に示すように、神経細胞（ニューロン）ユニットが結合されたニューラルネットワークを構築しておき、神経細胞ユニット間で相互作用させる。神経細胞ユニット間の結合の強さは重み（結合係数）として表現され、学習により強度が増減する。
【００３３】
図１では、ニューラルネットワークに、４つのパターンの二値画像を記憶させる記銘段階が模式的に示されている。自己連想記憶モデルの記銘段階では、複数の記憶パターンを記憶させて、想起段階では、その中から１つのパターンを想起させるものである。ネットワークにおける各神経細胞ユニットは、結合する他の神経細胞ユニットからの入力の総和によって、発火するか否かが決まる。自己連想記憶モデルにおける記憶パターンとは、神経細胞ユニットの活動状態（典型的には、発火状態と休止状態の二種類）の並び方のことである。ホップフィールドのモデルでは、記銘段階で、シナプス結合の重みを特定の学習則（Ｈｅｂｂ則等）に従い定めることで、記憶パターンは、ニューラルネットワークに記憶される。また、想起段階で、ネットワークの状態を表すエネルギー関数が状態更新則に従って単調に減少し、極小値状態に至るまで繰り返し更新処理が実行される。図２は、連想記憶モデルの想起段階を模式的に示す図である。
【００３４】
図２に示すように、自己連想記憶モデルの想起段階では、手がかりとなる照合パターンから、ニューラルネットワークに記憶された元のパターンを探索し、想起されたパターンを得る。より具体的には、記憶パターンを取り出す際には、まず、ニューラルネットワークに手がかりとなる初期パターンを与え、次に、ニューラルネットワークの状態を特定の規則に従い複数回更新することにより、所望の記憶パターンを得る。なお、手がかりパターンは、元のパターンそのものでなくともよく、求めたいパターンの一部を乱したものであってもよい。すなわち、自己連想記憶モデルでは、入力として与えた手がかりパターンと最も似ている記憶済みのパターンが得られる。
【００３５】
ネットワークにおけるニューロンの数（神経細胞ユニット数）Ｎが増えるほど記憶できるパターン数は増えるが、パターン間の相関によって記憶できるパターンの数に限界がある。自己連想記憶モデルが覚えられるパターン数を記憶容量と呼ぶ。理論的な記憶容量の上限として、標準的な学習則や状態更新則を用いた場合には、ニューラルネットワークおよび記憶パターンの大きさＮに対して、およそ０．１４Ｎ程度であることが知られているが、実際には、記憶パターンの相関に大きく影響される。ここで、図３は、互いに相関が小さいパターンを記憶させる場合を、図４は、互いに相関が大きいパターンを記憶させる場合を模式的に示した図である。
【００３６】
図３に示すように、記憶パターンがランダムなパターンであって、互いに相関が小さい場合は、理論的な限界に近い０．１４Ｎの記憶容量が得られる。しかしながら、図４に示すように、互いに似通ったパターンを記憶させる場合、記憶パターン間に相関が大きいために、互いに干渉して、一般に記憶容量は著しく低下してしまう。
【００３７】
従来、この記憶容量の低下の問題に対して、（１）擬似逆行列を用いたり逐次的に重みを調節したりすることによって学習則を改善する方法、（２）末尾にビットを足したりビットの一部を変更したりすることによってパターン自体に変更を加える方法等が提案されている。しかし、従来の手法はいずれも計算負荷が大きいため、神経回路網および記憶パターンの大きさＮが大きい場合には適用することが困難であった。
【００３８】
そこで、本願の発明者らが鋭意検討を行ったことにより新手法を開発するに至った。一例として、本願で用いる記銘の新手法は、（１）記憶パターン（元パターン）に対してマスクパターンを用意し、（２）記憶パターンとマスクパターンのＸＮＯＲ演算またはＸＯＲ演算により被マスクパターンを生成し、（３）マスクパターンと被マスクパターンを連結した連結パターンを神経回路網に記憶させることを基本的な要素としている。このようにマスクパターンを用いて乱雑化することにより、記憶させるパターンを擬似的に直交化して、相関による記憶容量の低下を抑えることができる。ここで、図５は、元パターンとマスクパターンと被マスクパターンと連結パターンの関係を示す図である。
【００３９】
二値の信号列を乱雑化する目的でＸＯＲ演算あるいはＸＮＯＲ演算を行う。図５に示すように、原理としては、元の信号列（元パターン）と、それをマスクするための（擬似）乱数列（ランダムマスク）を用意し、両者のＸＯＲ演算ないしＸＮＯＲ演算を行うことで、乱雑な信号列（被マスクパターン）が得られる。これにより、記憶パターンが乱雑化して相関が小さくなり、パターン間の干渉を低減して、記憶容量の低下を防ぐことができる。
【００４０】
より具体的には、本発明の実施の形態では、（１）ランダムな二値パターン（ランダムマスク）のマスクパターンを生成する。なお、二値の出現確率は均等に１／２であることに限らず、多少のバイアスを加えてもよい。
【００４１】
そして、本実施の形態は、（２）指定された複数の画像の元パターンとマスクパターンとの排他的論理和（ＸＯＲ）または否定排他的論理和（ＸＮＯＲ）を求めることにより被マスクパターンを生成する。一例として、本実施の形態は、画像の一次元二値データを元パターンとして、同じまたは短い長さのランダムな二値データをマスクパターンとして、両データの対応する値同士の排他的論理和（ＸＯＲ）または否定排他的論理和（ＸＮＯＲ）を求めることにより被マスクパターンを生成する。ここで、図６は、ＸＮＯＲ演算およびＸＯＲ演算の一例を示す図である。
【００４２】
元パターン（Ｉｎｐｕｔ１）とマスクパターン（Ｉｎｐｕｔ２）が｛０，１｝の二値データを用いる場合、図６（ａ）に示すＸＮＯＲ演算を行い、被マスクパターンの値（Ｏｕｔｐｕｔ）を得る。なお、二値データは、いずれの２つの値であってもよく、一例として、元パターン（Ｏｒｉｇｉｎａｌ）とマスクパターン（Ｍａｓｋ）が｛１，−１｝の二値データを用いる場合、図６（ｂ）に示すＸＮＯＲ演算を行い、被マスクパターンの値（Ｍａｓｋｅｄ）を得てもよい。この場合のＸＮＯＲ演算は、元パターンｒｉとマスクパターンξｉを掛け合わせたものｒｉ×ξｉに相当する。
【００４３】
一方のＸＯＲ演算では、元パターン（Ｉｎｐｕｔ１）とマスクパターン（Ｉｎｐｕｔ２）が｛０，１｝の二値データを用いる場合、図６（ｃ）に示すＸＯＲ演算を行い、被マスクパターンの値（Ｏｕｔｐｕｔ）を得る。この場合も、二値データは、いずれの２つの値であってもよく、一例として、元パターン（Ｏｒｉｇｉｎａｌ）とマスクパターン（Ｍａｓｋ）が｛１，−１｝の二値データを用いる場合、図６（ｄ）に示すＸＯＲ演算を行い、被マスクパターンの値（Ｍａｓｋｅｄ）を得てもよい。この場合のＸＯＲ演算は、元パターンｒｉとマスクパターンξｉを掛け合わせ符号を入れ替えたもの−ｒｉ×ξｉに相当する。
【００４４】
つづいて、記銘段階では、本実施の形態は、（３）マスクパターンに対応付けた被マスクパターンを連結パターンとして、ニューラルネットワークを用いた連想記憶モデルにて学習させる。なお、連結パターン中のビットの並べ方は、いずれの順序であってもよい。また、連結パターンは、元パターンの情報を完全に保持している。なぜなら、マスクパターンと被マスクパターンのペアに対して再度、同じ論理演算（ＸＮＯＲ／ＸＯＲ）を行うと、元のパターンが復元できるからである。ここで、図７は、連結パターンの一例を示す図である。
【００４５】
一例として図７に示すように、本実施の形態では、一つ一つの元パターンξｋに対して異なるマスクパターンｒｋを用いてＸＯＲ／ＸＮＯＲ演算を行った被マスクパターンｒｋξｋと、マスクパターンｒｋを交互に並べて連結パターンとして記銘させてもよい（ｋはブロック番号）。この場合、元パターンの長さがＮとすると、２Ｎの長さの連結パターンが生成されることとなる。そのため、必要なニューロン数（神経細胞ユニット数）は倍増する。
【００４６】
そこで、複数の元パターンをブロック単位で区切って、ブロック単位ごとに異なるマスクパターン（ランダムマスク等）を設定して、連結パターンの長さを抑えてもよい。すなわち、マスクパターンのビット数を元パターンよりも少なく用意し、同一の要素（マスク）を複数回のＸＮＯＲ演算に続けて使用することで、連結パターンの長さを２Ｎより短くしてもよい。ここで、図８は、ブロック単位に異なるマスクパターンｒｋを設定した連結パターンの一例を示す図である。図８に示すように、本実施の形態は、複数の画像の元パターンを、先頭からＬ−１個ずつのブロック単位（マスクパターンを入れて長さＬのブロック）に区切り、ブロック毎に値が異なるマスクパターンを設定して、ＬＮ／（Ｌ−１）の長さの連結パターンを生成してもよい。図７の場合は、必要なニューロン数（神経細胞ユニット数）が２倍となるが、図８に示すようにブロック長をＬとすることによりＬ／（Ｌ−１）倍に抑えられる。
【００４７】
［本実施の形態の概要］
本実施の形態では、一例として以上のようにマスク化された連結パターンが連想記憶モデルのニューラルネットワークに記憶されていることを前提として、そのニューラルネットワークから、マスクパターンを用いずに、対応するパターンを取り出すことを目的とする。記銘段階に続く想起段階では、通常、手がかりとなる入力パターンから、ニューラルネットワークに記憶された元のパターンを探索し、想起されたパターンを得るが、本実施の形態を適用した場合には、照合パターンに対応するマスクパターンが未知である。
【００４８】
そのため、本実施の形態は、手がかり画像である照合パターンを連想記憶モデルに導入し、状態を復号化して再構成パターンを求めつつ状態更新を繰り返すことにより、想起結果の再構成パターンを求める。
【００４９】
その際、本実施の形態は、状態更新に伴って復号化された再構成パターンと照合パターンとを比較し、当該再構成パターンと当該照合パターン間で値が一致している部分に対応する神経細胞ユニットについては、状態更新時に更新前の状態と同じ値を取り易いように制約し、一方、当該値が一致しない部分に対応する神経細胞ユニットについては、状態更新時に更新前の状態と異なる値を取り易いように制約を加える。この制約により、最初のうちはランダムだった神経細胞ユニットの状態が、一致する部分に対応する神経細胞ユニットでは同じ状態に留まりやすいので、状態更新に従って徐々に未知のマスクパターンを反映した状態に近づいていくことになる。
【００５０】
すなわち、本実施の形態は、ランダムなニューラルネットワークの初期状態が、徐々にマスクパターンを反映した状態に最適化される。ただし、最適化が適切でなければ、真のマスクパターンを反映したグローバルミニマムには至らずに、ローカルミニマムに陥ってしまう場合がある。
【００５１】
ここで、本実施の形態は、最適化手法として、焼き鈍し法（シミュレーテッド・アニーリング法）を用いてもよい。より具体的には、本実施の形態は、焼き鈍し法により、状態更新に伴って温度を徐々に下げることにより、ニューラルネットワークの状態を収束させて、エネルギー関数の値がローカルミニマムに陥らないように制御してもよい。その際、以下の数式で示すように、１回の上記状態更新ごとに、逆温度に増加率を乗ずることにより、指数関数的に温度を下げてもよい。
β（ｔ＋１）＝γβ（ｔ）
（ここで、ｔは状態更新に伴う時刻、β（ｔ）は時刻ｔにおける逆温度、γは増加率であり１より大きな値を取る。）
【００５２】
また、本実施の形態は、上述した制約を加えるために、以下の数式で示すように、再構成パターンと照合パターン間の値の積の総和に応じて、ニューラルネットワークのエネルギー関数の値が小さくなる制約項を設定してもよい。
【数１】
2015095042.tif 000003
（ここで、エネルギー関数Ｅの第１項は、通常のエネルギー関数の項であり、第２項は、本実施の形態にて追加された制約項である。Ｊｉｊは、ｊ番目の神経細胞ユニットからｉ番目の神経細胞ユニットへのシナプス結合の強度を表し、ｘｉ（ｔ）は、時刻ｔにおけるｉ番目の神経細胞ユニットの状態である。また、ｓは、制約項の強度を表すパラメータであり、ｚｋは、手がかりとなる照合パターンの値、ｙｋは、再構成パターンの値である。）
【００５３】
また、本実施の形態は、神経細胞ユニットの内部ポテンシャルｈｉ（ｔ）として、以下の数式に示すように、制約項付きのエネルギー関数Ｅを、当該神経細胞ユニットの状態ｘｉで偏微分して符号を反転させたものを設定してもよい。
【数２】
2015095042.tif 000004
【００５４】
また、本実施の形態は、神経細胞ユニットの状態更新確率Ｐｒｏｂ（ｘｉ（ｔ＋１）＝１）は、以下の数式に示すように、内部ポテンシャルｈｉ（ｔ）と逆温度の積の符号を反転させたものを基数とした指数に１を加えたものを分母とし、１を分子とする分数であってもよい。
【数３】
2015095042.tif 000005
【００５５】
一例として、本実施の形態は、上述した状態更新確率を、１回の状態更新ごとに再計算して、再計算した確率に従って神経細胞ユニットの状態を更新する。これにより、温度が高い初期の段階や、再構成パターンと照合パターン間で値が一致していない段階では、対応する神経細胞ユニットの状態の変化が施される結果となり、一方で、温度が徐々に下がってゆき、再構成パターンと照合パターン間で値が一致してくると、各神経細胞ユニットの状態は一定の状態に収束するように施される。
【００５６】
以上が本実施の形態の概要である。
【００５７】
［画像認識装置の構成］
次に、本画像認識装置の構成について図９を参照して説明する。図９は、本実施の形態が適用される本画像認識装置１００の一例を示すブロック図であり、該構成のうち本実施の形態に関係する部分のみを概念的に示している。
【００５８】
図９に示すように、本実施の形態における画像認識装置１００は、概略的に、制御部１０２と記憶部１０６を少なくとも備え、本実施の形態において、更に、入出力制御インターフェース部１０８と通信制御インターフェース部１０４を備える。ここで、制御部１０２は、画像認識装置１００の全体を統括的に制御するＣＰＵ等である。また、通信制御インターフェース部１０４は、通信回線等に接続されるルータ等の通信装置（図示せず）に接続されるインターフェースであり、入出力制御インターフェース部１０８は、入力部１１２や出力部１１４に接続されるインターフェースである。また、記憶部１０６は、各種のデータベースやテーブルなどを格納する装置である。これら画像認識装置１００の各部は任意の通信路を介して通信可能に接続されている。更に、この画像認識装置１００は、ルータ等の通信装置および専用線等の有線または無線の通信回線を介して、ネットワーク３００に通信可能に接続されている。
【００５９】
記憶部１０６に格納される各種のデータベースやテーブル（ニューロンファイル１０６ｂ等）は、固定ディスク装置等のストレージ手段である。例えば、記憶部１０６は、各種処理に用いる各種のプログラム、テーブル、ファイル、データベース、および、ウェブページ等を格納する。
【００６０】
これら記憶部１０６の各構成要素のうち、ニューロンファイル１０６ｂは、神経細胞ユニットを識別するインデックスに対応付けて、神経細胞ユニット間のパラメータや神経細胞ユニット毎のパラメータ（係数値等）などニューラルネットワークに関するデータを記憶する神経回路網記憶手段である。一例として、ニューロンファイル１０６ｂに記憶されるニューラルネットワークの情報は、神経細胞ユニットｉと神経細胞ユニットｊの間における重みＪｉｊ、時刻ｔ（ｔ＝１，２，３，．．．）における、神経回路網の状態ｘ（ｔ）、再構成パターンｙ（ｔ）、エネルギー関数Ｅ（ｔ）、神経細胞ユニットの内部ポテンシャルｈ（ｔ）等の値である。なお、ニューロンファイル１０６ｂには、予めこれらパラメータのｔ＝０の場合で数値が与えられていない場合、初期パラメータが記憶されてもよい。後述する学習部１０２ｃおよび想起部１０２ｄにより状態更新（ｔ→ｔ＋１）が行われる毎に、上述の値が更新されてもよい。
【００６１】
また、入出力制御インターフェース部１０８は、入力部１１２や出力部１１４の制御を行う。ここで、出力部１１４としては、モニタ（家庭用テレビを含む）の他、スピーカを用いることができる（なお、以下においては出力部１１４をモニタとして記載する場合がある）。また、入力部１１２としては、キーボード、マウス、およびマイク等を用いることができる。
【００６２】
また、図９において、制御部１０２は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）等の制御プログラムや、各種の処理手順等を規定したプログラム、および、所要データを格納するための内部メモリを有する。そして、制御部１０２は、これらのプログラム等により、種々の処理を実行するための情報処理を行う。制御部１０２は、機能概念的に、マスク生成部１０２ａ、論理演算部１０２ｂ、学習部１０２ｃ、想起部１０２ｄ、および、比較部１０２ｅを備える。
【００６３】
このうち、マスク生成部１０２ａは、マスクパターンを生成するマスク生成手段である。本実施の形態において、マスク生成部１０２ａは、ランダムな二値パターンであるマスクパターンを生成する。一例として、マスク生成部１０２ａは、乱数表等を用いて、乱数列ｒμ（μ＝１，２，・・・，Ｐ）を生成してもよい。なお、発生させる二値（例えば、１と−１）の出現確率Ｐｒｏｂ（ｒｉμ＝±１）は、均等に１／２であることに限らず、多少のバイアス（バイアスパラメータａ）を加えて（１±ａ）／２としてもよい。
【００６４】
また、論理演算部１０２ｂは、マスク生成部１０２ａにより生成されたマスクパターン（ランダムマスク等）と、元パターンとの論理演算（ＸＮＯＲ／ＸＯＲ）を行うことにより被マスクパターンを生成する論理演算手段である。例えば、論理演算部１０２ｂは、図６を用いて上述したようにＸＮＯＲ演算またはＸＯＲ演算を行う。
【００６５】
ここで、論理演算部１０２ｂは、複数の画像の元パターン中の任意の数のビットごとにブロック化して、ブロック単位で共通したマスクパターン（ランダムマスク等）を設定して、被マスクパターンを作成してもよい。より具体的には、論理演算部１０２ｂは、複数の画像による長さＮの元パターンを、先頭からＬ−１個ずつのブロック単位に区切り（ただし、ＮはＬ−１で割り切れるものとする。）、ブロック毎に値が異なるマスクパターンを設定して、ＬＮ／（Ｌ−１）の長さの連結パターンを生成してもよい。
【００６６】
また、学習部１０２ｃは、ニューラルネットワークを用いた連想記憶モデルにて連結パターンを学習させる学習手段である。
【００６７】
また、想起部１０２ｄは、ニューラルネットワークを用いた連想記憶モデルにて手がかりとなる照合パターンからパターンを再構成する想起手段である。より具体的には、想起部１０２は、手がかり画像である照合パターンを連想記憶モデルに導入し、状態を復号化して再構成パターンを求めつつ状態更新を繰り返すことにより、想起結果の再構成パターンを求める。ここで、想起部１０２ｄは、比較部１０２ｅにより設定される各神経細胞ユニットの状態更新の制約を受けながらニューラルネットワークの状態更新を行う。
【００６８】
ここで、想起部１０２ｄは、未知のマスクパターンを判定した状態に導くために、焼き鈍し法を用いてニューラルネットワークを収束させてもよい。例えば、想起部１０２ｄは、状態更新に伴って温度を徐々に下げることによりニューラルネットワークの状態を収束させて、エネルギー関数の値がローカルミニマムに陥らないように制御してもよい。ここで、想起部１０２ｄは、１回の上記状態更新ごとに、逆温度に増加率を乗ずることにより、指数関数的に温度を下げてもよい。なお、想起部１０２ｄは、対数関数的に温度を下げてもよい。例えば、想起部１０２ｄは、同期更新の代わりに非同期更新を行い、対数関数的に温度を下げることで、グローバルミニマムに導き易くしてもよい。
【００６９】
また、比較部１０２ｅは、想起部１０２ｄにより状態更新に伴って復号化された再構成パターンと照合パターンとを比較し、当該再構成パターンと当該照合パターン間で値が一致している部分に対応する神経細胞ユニットについては、状態更新時に更新前の状態と同じ値を取り易いように制約し、一方、当該値が一致しない部分に対応する神経細胞ユニットについては、状態更新時に更新前の状態と異なる値を取り易いように制約を加える比較手段である。
【００７０】
ここで、数式による説明を行う。記憶させる元のパターンを｛ξμ１，ξμ２，．．．，ξμＮ｝と表す。μはパターン番号で、１からＰまでの整数値を取る。ξμｉは、μ番目の元パターンのｉ番目の値を表し、本実施の形態では１か−１のいずれかの値を取る。これに対し、マスクパターンは、｛ｒμ１，ｒμ２，．．．，ｒμＮ｝と表す。本実施の形態において、ｒμｉは、μ番目のマスクパターンのｉ番目の値を示し、ランダムに１か−１の値を取る。記憶パターンのある値ξμｉと、それに対応するマスクパターンの値ｒμｉとの間で、ＸＮＯＲ演算をした結果はξμｉｒμｉとなる（ＸＯＲ演算の場合は−ξμｉｒμｉ）。
【００７１】
ブロック長Ｌ＝２の場合、マスクパターン｛ｒμ１，ｒμ２，．．．，ｒμＮ｝と被マスクパターン｛ξμ１ｒμ１，ξμ２ｒμ２，．．．，ξμＮｒμＮ｝から１つずつ交互の取ってきて繋げたもの｛ｒμ１，ξμ１ｒμ１，ｒμ２，ξμ２ｒμ２，．．．，ｒμＮ，ξμＮｒμＮ｝が、学習部１０２ｃの制御によりニューラルネットワークに記憶させる長さ２Ｎの連結パターンである。ここで、記号を置き換えて、連結パターン｛ημ１，ημ２，．．．，ημＮ´｝と表す。ただし、Ｎ´＝２Ｎである。
【００７２】
ブロック長Ｌ＝２以上の場合、μ番目の元パターンのｋ番目のブロックを｛ξμｋ，１，ξμｋ，２，．．．，ξμｋ，Ｌ−１｝と表す。これに対応するマスクパターンの値をｒμｋとし、論理演算（ＸＮＯＲ／ＸＯＲ）および連結操作を行うことで、長さＬのブロック｛ｒμｋ，ｒμｋξμｋ，１，ｒμｋξμｋ，２，．．．，ｒμｋξμｋ，Ｌ−１｝を得る。これをブロック順に並べたものを連結パターンとしてもよい。この場合、Ｎ´＝ＬＮ／（Ｌ−１）となる。なお、上記の連結パターンの並び順は一例であり、連結パターンにおいて被マスクパターンとマスクパターンの並び順は任意である。
【００７３】
学習部１０２ｃによる連結パターンの学習には、一例として、標準的なヘブ学習則を用いてもよい。自己連想記憶モデルの場合、ｊ番目の神経細胞ユニットからｉ番目の神経細胞ユニットへのシナプス結合の強度をＪｉｊと表し、ｉ≠ｊの場合について、学習部１０２ｃは、以下の式に従い値を定める。なお、ｉ＝ｊの場合は、Ｊｉｉ＝０とする。
【数４】
2015095042.tif 000006
【００７４】
ニューラルネットワークの時刻ｔにおける状態を｛ｘ１（ｔ），ｘ２（ｔ），．．．，ｘＮ´（ｔ）｝と表す。ｘｉ（ｔ）は、ｉ番目の神経細胞ユニットの活動状態を表し、１（発火状態）か−１（休止状態）のいずれかの値を取る。ニューラルネットワークの状態更新には、同期更新と非同期更新、決定論的更新と確率的更新のそれぞれの組み合わせにより、４通りが考えられるが、いずれの組み合せを採用してもよい。
【００７５】
本実施の形態において、想起部１０２ｄは、ニューラルネットワークの状態更新時に、比較部１０２ｅの処理により、ニューラルネットワークの状態を復号した再構成パターンと、手がかり画像である照合パターンとがなるべく一致するような制約項を加えつつ、焼き鈍し法により、ニューラルネットワークの状態を徐々に収束させて想起を行ってもよい。
【００７６】
ここで、本実施の形態の制約項は、比較部１０２ｅによる再構成パターンと照合パターン間の比較結果を反映するものであり、値が一致している部分に関しては、対応する神経細胞ユニットに「次の更新時に、現在の状態と同じ値を取りやすい」ように制約を加え、値が一致していない部分に関しては、対応する神経細胞ユニットに「次の更新時に、現在の状態とは異なる値を取りやすい」ように制約を加える項である。この制約項により、再構成パターンと照合パターンとが一致しやすくなる。
【００７７】
また、本実施の形態において、想起部１０２ｄは、一例として、以下の焼き鈍し法を用いてもよい。まず、想起部１０２ｄは、ニューラルネットワークの初期状態をランダムな値に設定し、逆温度パラメータβに初期値を定める。つづいて、想起部１０２ｄは、同期的−確率的更新則に従ってニューラルネットワークの状態を１ステップ分更新する。その後、想起部１０２ｄは、比較部１０２ｅによる比較結果を反映した制約項を再計算し、逆温度パラメータβを増加させて、再びニューラルネットワークの状態更新を行う。想起部１０２ｄは、以上の処理を所定のステップ数繰り返し、最後に得られた再構成パターンを出力部１１４等に出力してもよい。ここで、数式について整理すると以下のようになる。
・元パターン（長さＮ）：｛ξμ１，ξμ２，．．．，ξμＮ｝（μ＝１，２，．．．，Ｐ）
・マスクパターン（長さＮ）：｛ｒμ１，ｒμ２，．．．，ｒμＮ｝（μ＝１，２，．．．，Ｐ）
・被マスクパターン（長さＮ）：｛ξμ１ｒμ１，ξμ２ｒμ２，．．．，ξμＮｒμＮ｝（μ＝１，２，．．．，Ｐ）
・連結パターン（長さ２Ｎ）：｛ημ１，ημ２，．．．，ημ２Ｎ｝（μ＝１，２，．．．，Ｐ）
・照合パターン（長さＮ）：｛ｚ１，ｚ２，．．．，ｚＮ｝
・ニューラルネットワークの状態：｛ｘ１（ｔ），ｘ２（ｔ），．．．，ｘ２Ｎ（ｔ）｝（ｔ＝０，１，２，．．．）
・再構成パターン（長さＮ）：｛ｙ１（ｔ），ｙ２（ｔ），．．．，ｙＮ（ｔ）｝（ｔ＝０，１，２，．．．）
【００７８】
一例として、想起部１０２ｄは、以下の数式を用いて、状態更新ごとに比較部１０２ｅによる比較結果を反映した、制約項付きのエネルギー関数Ｅの値を求めてもよい。
【数５】
2015095042.tif 000007
【００７９】
また、一例として、想起部１０２ｄは、以下の数式を用いて、ニューラルネットワークの各神経細胞ユニットの内部ポテンシャルｈｉ（ｔ）を求めてもよい。
【数６】
2015095042.tif 000008
【００８０】
また、一例として、想起部１０２ｄは、以下の数式を用いて、ニューラルネットワークの各神経細胞ユニットの状態更新確率Ｐｒｏｂ（ｘｉ（ｔ＋１）＝１）を求めてもよい。
【数７】
2015095042.tif 000009
ここで、想起部１０２ｄは、状態更新（ｔ→ｔ＋１）のたびに、増加率βにて逆温度βを再設定する（すなわち、β（ｔ＋１）＝γβ（ｔ））。
【００８１】
以上のように、一例として、想起部１０２ｄは、１回の状態更新ごとに、比較部１０２ｅによる比較結果を反映した制約項付きエネルギー関数Ｅによる内部ポテンシャルｈｉ（ｔ）と逆温度β（ｔ）を再計算し、それらによって定められる各神経細胞ユニットの状態更新確率を再計算する。この逐次更新される各神経細胞ユニットの状態更新確率により、逆温度βが低い初期条件や、再構成パターンと照合パターン間で値が一致していない部分では、対応する神経細胞ユニットの状態更新確率は高いので、当該神経細胞ユニットの状態ｘ（ｔ）の変化（０⇔１）が施される。一方、逆温度β（ｔ）が指数関数的（γｔ−１）に上昇して、再構成パターンと照合パターン間で値が一致してくると、対応する神経細胞ユニットの状態更新確率は低くなり、当該神経細胞ユニットの状態は一定の安定状態に落ちつき、ニューラルネットワーク全体が収束するようになる。
【００８２】
一方、想起部１０２ｄは、所定のステップ数の状態更新を行うと収束したとみなして、そのときの状態を復号化した再構成パターンを出力部１１４等に出力する。なお、閾値以下のエネルギー関数の値を得られない場合は、想起が失敗したとして、逆温度の増加率γの値を下げるなど再設定を行った上で、再度、初期状態から想起処理を繰返してもよい。なお、想起部１０２ｄは、以下の式を用いて、ニューラルネットワークの状態を復号してもよい。なお、再構成パターンを｛ｙ１（ｔ），ｙ２（ｔ），．．．，ｙＮ（ｔ）｝と表す。
ｙｋ（ｔ）＝ｘ２ｋ−１（ｔ）ｘ２ｋ（ｔ）
【００８３】
以上が、本実施の形態における画像認識装置１００の構成の一例である。なお、画像認識装置１００は、ネットワーク３００を介して外部システム２００に接続されてもよい。この場合、通信制御インターフェース部１０４は、画像認識装置１００とネットワーク３００（またはルータ等の通信装置）との間における通信制御を行う。すなわち、通信制御インターフェース部１０４は、他の端末と通信回線を介してデータを通信する機能を有する。また、ネットワーク３００は、画像認識装置１００と外部システム２００とを相互に接続する機能を有し、例えば、インターネット等である。
【００８４】
また、外部システム２００は、ネットワーク３００を介して、画像認識装置１００と相互に接続され、各種パラメータに関する外部データベースや、接続されたコンピュータ（情報処理装置）に画像認識方法を実行させるためのプログラム等を提供する機能を有する。
【００８５】
ここで、外部システム２００は、ＷＥＢサーバやＡＳＰサーバ等として構成していてもよい。また、外部システム２００のハードウェア構成は、一般に市販されるワークステーション、パーソナルコンピュータ等の情報処理装置およびその付属装置により構成していてもよい。また、外部システム２００の各機能は、外部システム２００のハードウェア構成中のＣＰＵ、ディスク装置、メモリ装置、入力装置、出力装置、通信制御装置等およびそれらを制御するプログラム等により実現される。
【００８６】
以上で、本実施の形態の構成の説明を終える。
【００８７】
［画像認識装置１００の処理］
次に、このように構成された本実施の形態における画像認識装置１００の処理の一例について、以下に図１０を参照して詳細に説明する。図１０は、本実施の形態における画像認識装置１００の基本処理の一例を示すフローチャートである。
【００８８】
図１０に示すように、まず、マスク生成部１０２ａは、ランダムな二値パターンであるランダムマスクを生成する（ステップＳＡ−１）。一例として、マスク生成部１０２ａは、乱数表等を用いて、乱数列ｒμ（μ＝１，２，・・・，Ｐ）を生成してもよい。
【００８９】
そして、論理演算部１０２ｂは、マスク生成部１０２ａにより生成されたマスクパターン（ランダムマスク）と元パターンとの論理演算（ＸＮＯＲ演算またはＸＯＲ演算）を行うことにより被マスクパターンを生成する（ステップＳＡ−２）。
【００９０】
そして、学習部１０２ｃは、ニューラルネットワークを用いた連想記憶モデルにて連結パターンを学習させる（ステップＳＡ−３）。
【００９１】
そして、想起部１０２ｄは、手がかり画像である照合パターンを連想記憶モデルに導入し、状態を復号化して再構成パターンを求めつつ、状態更新を繰り返すことにより、想起結果の再構成パターンを求める（ステップＳＡ−４）。その際、想起部１０２ｄは、比較部１０２ｅにより状態更新ごとに設定される各神経細胞ユニットの状態更新の制約を受けながらニューラルネットワークの状態更新を行う。すなわち、比較部１０２ｅは、想起部１０２ｄにより状態更新に伴って復号化された再構成パターンと照合パターンとを比較し、当該再構成パターンと当該照合パターン間で値が一致している部分に対応する神経細胞ユニットについては、状態更新時に更新前の状態と同じ値を取り易いように制約し、一方、当該値が一致しない部分に対応する神経細胞ユニットについては、状態更新時に更新前の状態と異なる値を取り易いように制約を加える。所定のステップ数の状態更新を行うと、想起部１０２ｄは、そのときの状態を復号化した再構成パターンを出力部１１４等に出力して処理を終了する。
【００９２】
以上が、本実施形態における画像認識装置１００の基本処理の一例である。
【００９３】
［想起処理］
つぎに、画像認識装置１００の基本処理の一部を具体化した想起処理の一例について以下に図１１を参照して説明する。図１１は、本実施の形態における画像認識装置１００の想起処理の一例を示すフローチャートである。
【００９４】
図１１に示すように、想起部１０２ｄは、利用者に入力部１１２等を介して、手がかりとなる画像データである照合パターンを入力させるよう制御する（ステップＳＡ−４１）。このほか、想起部１０２ｄは、利用者に入力部１１２等を介して、冷却率γ、初期逆温度β０、状態更新させるステップ数Ｔを設定させてもよい。
【００９５】
そして、想起部１０２ｄは、ニューラルネットワークを初期化し、時刻ｔに１を代入するとともに、逆温度βにβ０を代入する（ステップＳＡ−４２）。
【００９６】
そして、想起部１０２ｄは、ニューラルネットワークの状態を復号化して、出力として再構成パターンを計算する（ステップＳＡ−４３）。
【００９７】
そして、比較部１０２ｅは、入力された照合パターンと、出力された再構成パターンを比較して、制約項を計算する（ステップＳＡ−４４）。
【００９８】
そして、想起部１０２ｄは、比較部１０２ｅにより計算された制約項を含むエネルギー関数の値Ｅ（ｔ）と逆温度β（ｔ）に従って、各神経細胞ユニットの状態更新確率Ｐｒｏｂ（ｘｉ（ｔ＋１）＝１）を求め、その確率に従ってニューラルネットワークを更新する（ステップＳＡ−４５）。
【００９９】
そして、想起部１０２ｄは、更新したステップ数である時刻ｔが、所定のステップ数Ｔに到達したか否かを判定する（ステップＳＡ−４６）。
【０１００】
所定のステップ数Ｔに到達していない場合は（ステップＳＡ−４６，Ｎｏ）、想起部１０２ｄは、ｔをインクリメント（ｔ→ｔ＋１）し、逆温度β（ｔ）にγを乗じてβ（ｔ＋１）を設定し（ステップＳＡ−４７）、上述したステップＳＡ−４３〜ＳＡ−４６の処理を繰返す。
【０１０１】
一方、所定のステップ数Ｔに達した場合は（ステップＳＡ−４６，Ｙｅｓ）、想起部１０２ｄは、そのときのニューラルネットワークの状態を復号化して再構成パターンを取得し出力部１１４に出力し、想起処理を終える（ステップＳＡ−４８）。
【０１０２】
［実施例］
つづいて、上述した実施の形態を適用して、マスク情報を用いずに画像想起を行った実施例について、以下に図１２を参照して説明する。図１２は、本実施例によるマスク情報を用いずに画像想起を行った結果を示す図である。
【０１０３】
本実施例では、上述した本実施の形態による制約付き焼き鈍し法を用いた。本実施例で用いた記憶画像は、公開画像データベースのＵＳＣ−ＳＩＰＩ  ｉｍａｇｅ  ｄａｔａｂａｓｅの中から選んだ４枚の画像（Ｌｅｎａ，  Ｍａｎｄｒｉｌｌ，  Ｐｅｐｐｅｒｓ，  Ｔｒｅｅ）である。これらの画像は２４ビットＲＧＢで表現されており、画像のサイズを縦６４ピクセル、横６４ピクセルに縮小した後、二値データに変換して使用した。二値データの長さはＮ＝９８３０４ビットであった。
【０１０４】
これらの元データをブロック長Ｌ＝２で連結パターンに変換し、結合が疎な自己連想記憶モデルに記憶した。各神経細胞ユニットが受け取る結合数は一律にＫ＝１５００とし、結合元は神経細胞ユニット毎にランダムに定めた。また、結合重みを正規化するために学習則を一部変更し、通常の式では神経細胞ユニット数Ｎ´で割るところを、代わりにＫで割った。
【０１０５】
数値計算の条件は、制約の強さがｓ＝０．７、逆温度の初期値がβ（０）＝１．０、逆温度の増幅率がγ＝１．０５と設定した。神経回路網の初期状態は、ランダムな状態を用いた。手掛かりパターンとして、４種類の完全な記憶データ（図１２の第１列の上から４つの画像）と、２種類のノイズ有りデータ（同第１列の下から２つの画像）を用いた。ノイズ有りデータは、一つはＬｅｎａ画像に対応する二値データに対しランダムに１０％のビットを反転して作成し、もう一つはＬｅｎａ画像の左２０％を黒で塗りつぶした画像を二値データ化して作成した。両者は元データからの反転ビット数がほぼ同じである。
【０１０６】
以上の条件で制約付き焼き鈍し法により状態更新を行ったところ、いずれも５０ステップ以内に対応する画像出力が得られた。状態更新が確率的であるので結果は試行毎に変わる可能性があるが、制約付き焼き鈍し法を繰り返し試してみたところ、ほとんどの場合で正しい画像が出力された。特に、手掛かりパターンがノイズ有りの場合でも、対応するＬｅｎａ画像を想起することが出来た。以上より、提案する制約付き焼き鈍し法によって、マスク情報無しに手掛かりパターンから対応する記憶パターンを正しく取り出せることが示された。なお、本実施例では、実際にはカラー画像を用いてカラーの再構成画像を得られたが、電子出願の様式上、図１２では白黒で表示している。本実施例の結果得られたカラー画像については、公表論文を参照することができる（Ｍａｋｉｔｏ  Ｏｋｕ，  Ｔａｋａｋｉ  Ｍａｋｉｎｏ，  ａｎｄ  Ｋａｚｕｙｕｋｉ  Ａｉｈａｒａ，  “Ｐｓｅｕｄｏ−Ｏｒｔｈｏｇｏｎａｌｉｚａｔｉｏｎ  ｏｆ  Ｍｅｍｏｒｙ  Ｐａｔｔｅｒｎｓ  ｆｏｒ  Ａｓｓｏｃｉａｔｉｖｅ  Ｍｅｍｏｒｙ”  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ  ａｎｄ  Ｌｅａｒｎｉｎｇ  Ｓｙｓｔｅｍｓ，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ，  ２０１３，  Ｖｏｌｕｍｅ：２４  ，  Ｉｓｓｕｅ：  １１，  ｐｐ．１８７７−１８８７）。
【０１０７】
以上で、本実施の形態の説明を終える。
【０１０８】
［他の実施の形態］
さて、これまで本発明の実施の形態について説明したが、本発明は、上述した実施の形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてよいものである。
【０１０９】
また、画像認識装置１００がスタンドアローンの形態で処理を行う場合を一例に説明したが、画像認識装置１００は、クライアント端末からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。
【０１１０】
また、実施の形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。
【０１１１】
このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。
【０１１２】
また、画像認識装置１００に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。
【０１１３】
例えば、画像認識装置１００の各装置が備える処理機能、特に制御部１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）および当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。なお、プログラムは、後述する記録媒体に記録されており、必要に応じて画像認識装置１００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤなどの記憶部１０６などには、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）として協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。
【０１１４】
また、このコンピュータプログラムは、画像認識装置１００に対して任意のネットワーク３００を介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。
【０１１５】
また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ  Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。
【０１１６】
また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施の形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。
【０１１７】
記憶部１０６に格納される各種のデータベース等（ニューロンファイル１０６ｂ等）は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および、ウェブページ用ファイル等を格納する。
【０１１８】
また、画像認識装置１００は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、画像認識装置１００は、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。
【０１１９】
更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。
【産業上の利用可能性】
【０１２０】
以上詳述に説明したように、本発明によれば、マスク化されたパターンが保存された連想記憶モデルのニューラルネットワークにおいて、マスクパターンを用いずに、対応するパターンを取り出すことができる、画像認識装置、画像認識方法、および、プログラムを提供することができ、特に画像認識や画像処理などの様々な分野において極めて有用である。
【符号の説明】
【０１２１】
１００  画像認識装置
１０２  制御部
１０２ａ  マスク生成部
１０２ｂ  論理演算部
１０２ｃ  学習部
１０２ｄ  想起部
１０２ｅ  比較部
１０４  通信制御インターフェース部
１０６  記憶部
１０６ｂ  ニューロンファイル
１０８  入出力制御インターフェース部
１１２  入力部
１１４  出力部
２００  外部システム
３００  ネットワーク
【図１】
2015095042.tif 000010
【図２】
2015095042.tif 000011
【図３】
2015095042.tif 000012
【図４】
2015095042.tif 000013
【図５】
2015095042.tif 000014
【図６】
2015095042.tif 000015
【図７】
2015095042.tif 000016
【図８】
2015095042.tif 000017
【図９】
2015095042.tif 000018
【図１０】
2015095042.tif 000019
【図１１】
2015095042.tif 000020
【図１２】
2015095042.tif 000021