(57)【特許請求の範囲】
【請求項１】
ニューラルネットワークによって画像パターンを識別する方法であって、
少なくとも入力層と出力層とその間の隠れ層とを備えた３層以上の階層的構造から成り、
各層のユニットは上下の層と双方向の全結合を持つと共に、同一の層での結合は持たず、
また、ボトムアップの結合とトップダウンの結合は、それぞれ異なる値を持つことが可能である画像認識モデルを用い、
入力層にノイズの含まれた画像の元信号を入力し、出力層に入力パターンのカテゴリーラベルを与えることによって、
ボトムアップとトップダウンの双方向の動作により、再び入力層に、カテゴリーに関する知識に基づいてノイズが軽減された画像を再構成する
ことを特徴とする画像識別方法。
【請求項２】
画像パターンを識別するためのニューラルネットワークモデルであって、
少なくとも入力層と出力層とその間の隠れ層とを備えた３層以上の階層的構造から成り、
各層のユニットは上下の層と双方向の全結合を持つと共に、同一の層での結合は持たず、
また、ボトムアップの結合とトップダウンの結合は、それぞれ異なる値を持つことが可能であり、
入力層にノイズの含まれた画像の元信号を入力し、出力層に入力パターンのカテゴリーラベルを与えることによって、
ボトムアップとトップダウンの双方向の動作により、再び入力層に、カテゴリーに関する知識に基づいてノイズが軽減された画像が再構成される
ことを特徴とする画像認識モデル。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、一部が欠けたり、ノイズが混入した画像パターンを認識する際に、対象に関して予め有しているカテゴリー知識を用いて、もとの画像パターンを再構成する画像識別方法とそれに用いるニューラルネットワークモデルに関する。
【０００２】
【従来の技術】
視覚認識においては、対象の物理的な形態だけでなく、見る側が対象に対して持つ知識も重要な役割を果たしている。
また日常場面においても、よく知っている対象は見慣れない対象に比べてその認識が容易であることなどから、このような対象に対する知識が、視覚処理において機能的に有効な働きを持っていることが考えられる。
【０００３】
対象が所定の属性によって分類されるカテゴリーに関するカテゴリー知識を獲得することが、対象の認識の仕方をどのように変化させるかを、類似性評定課題を通じて調べた従来技術はある。そこでは、カテゴリー知識の獲得により、同一カテゴリー対象間の類似性が高まる結果が得られている。また、このようなカテゴリー知識の効果は、カテゴリー内において典型性の高い事例に対してより強く働くことも示されている。
また、カテゴリー知識の獲得による視覚認識の脳内活動の変化を調べた従来技術がある。そこでは、ドットパターンを用いて、カテゴリー知識を持つ対象を見ている時と、持たない対象を見ている時との脳活動の差をfMRIを用いて調べており、カテゴリー知識を持つ対象を見る方が初期視覚野における活性レベルが低くなることが示されている。
【０００４】
以上のような人間における視覚認識では、対象に対する視覚入力を、ボトムアップに処理するだけでなく、知識を用いてトップダウンに処理するすることで、画像パターンの認識効率を上昇させていると考えられる。
しかし、従来技術では、画像パターンの識別感度に限界があった。
【０００５】
【発明が解決しようとする課題】
そこで、本発明は、人間の視覚認識の様式を応用して、画像パターンを識別する際に、対象に関して予め有しているカテゴリー知識を用いて、画像パターンの識別感度を上昇させる方法とモデルを提供することを課題とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明の画像識別方法及び画像認識モデルは次の構成を備える。
本発明のモデルは、少なくとも入力層と出力層とその間の隠れ層とを備えた３層以上の階層的構造から成るニューラルネットワークモデルであり、各層のユニットは上下の層と双方向の全結合を持つと共に、同一の層での結合は持たず、また、ボトムアップの結合とトップダウンの結合は、それぞれ異なる値を持つことが可能であることを特徴とする。
【０００７】
ネットワークには、事前に、パターンに対するカテゴリー知識を付与するための学習を行っておく。
【０００８】
ネットワークの学習アルゴリズムとして、入力があったときに、ネットワークのボトムアップとトップダウンの動作により再び入力値が再構成される尤度を最大化するアルゴリズムを用いて、隠れ層の内部表現の獲得と、入力値から正しいカテゴリーラベルを出力するようにする。
【０００９】
【発明の実施の形態】
以下に、本発明の実施形態を図面を用いて説明する。
脳においては多くの部位が相互に結合を持っており、低次の感覚入力の領野からボトムアップに高次の領野へ信号を送るだけでなく、高次の領野から低次の領野へ向けての結合も存在し、ボトムアップとトップダウンの相互の結合によって処理が行われていると考えられる。実際、公知技術では知識からの影響がトップダウンに働いていることが示唆されており、また高次の領野からのトップダウンのカテゴリー情報が存在することも示されている。
本モデルにおいては、カテゴリー情報がトップダウンに働き、ボトムアップの視覚入力とトップダウンの影響の相互の影響過程により内部表現が形成されるネットワークモデルを構築した。
【００１０】
このような働きを実現するために、ネットワークモデルには相互の方向に結合を持つ階層的な構造を用いた。
図１にそのネットワークの構造を示す。ネットワークは３層の階層構造を持ち、各層のユニットは上下の層と双方向の全結合を持ち、同一の層での結合は持たない。また、ボトムアップの結合とトップダウンの結合はそれぞれ異なる値を持つことができる。入力層には視覚入力に対応する画像パターンが入力され、カテゴリー学習条件では最上位の第３層にカテゴリーラベルが与えられる。
ネットワークの動作の目標は、隠れ層の内部表現から入力層の画像パターンを再生できるような内部表現を獲得することと、それに加えて、入力パターンから正しいカテゴリーラベルを出力することである。
【００１１】
上記のような動作目標を達成するため、ネットワークの学習則にはWake−Sleepアルゴリズムを用いた。Wake−Sleepアルゴリズムはもともと、相互結合を持つ階層的ネットワークの教師なし学習アルゴリズムとして考えられたものであり、入力パターンから自己組織化により、ネットワークに内部モデルを構成するための学習アルゴリズムである。
自己組織化のネットワークにおいては、どのような評価基準で内部表現を形成するかが問題となる。公知技術によれば、Wake−Sleepアルゴリズムは、パターンが入力されたときに、ネットワークのボトムアップとトップダウンの動作により再び入力パターンが再構成される尤度を最大化するような学習アルゴリズムになっている。このような尤度の対数の負値をネットワークのエネルギー関数と考えたときに、Wake−Sleepアルゴリズムはネットワークのヘルムホルツ自由エネルギーを結合荷重に関して最小化する学習アルゴリズムとなっていることから、Wake−Sleepアルゴリズムを用いたニューラルネットワークはヘルムホルツマシンとも呼ばれる。
【００１２】
また、Wake−Sleepアルゴリズムは、できるだけ簡潔でありながら、入力パターンをできるだけ正確に再構成できるような内部表現（圧縮表現）を獲得するためのアルゴリズムであることをMDL原理（Rissanen，1989）の観点から説明している公知技術もあり、Wake−Sleepアルゴリズムが入力パターンの再構成が可能な限りにおいて、データの記述長が最小となるようなネットワークの内部表現を近似的に獲得することが示されている。
【００１３】
Wake−Sleepアルゴリズムによるネットワークの細かな動作手順は次の通りである。
ネットワークの各ユニットは確率的に活性値０または１をとり、その確率はユニットヘの入力の値により決まる。ｉ層のあるユニットヘの入力xiは以下の式により表される。
【式１】
0003682533.tif 000002
【００１４】
ここで、biはこのユニットのバイアス、Sjはユニットに結合しているj層のユニットの活性値、Wijはその結合荷重である。このxiにより、ユニットの活性が１の値をとる確率piは、
【式２】
0003682533.tif 000003
により決まる。
【００１５】
Wake-Sleepアルゴリズムではネットワークの学習はWakeフェーズとSleepフェーズの２つのフェーズで行われる。ここで同じユニットの活性確率を、ボトムアップによる活性確率qと、トップダウンによる活性確率pとに区別しておく。またボトムアップの結合荷重をφで表し,トップダウンの結合荷重をθで表す(図１)。
まず、Wakeフェーズではボトムアッブの入力から各ユニットの活性確率qと活性値sαを求める.次に上位の層の活性値sαをもとにトップダウンの入力から、ユニットの活性確率pを求める。このように、ネットワークの活性はトップダウンとボトムアップで別々に求められ、双方向結合による活性の反響などは行わない。Wakeフェーズで学習を行うのはトップダウンの結合θのみで、トップダウンの入力により得られる活性値がボトムアップで得られるものに近づくように、以下の式でθを修正し学習を行っていく(∈は学習率)。
【式３】
0003682533.tif 000004
【００１６】
Sleepフェーズではトップダウンの入力から各ユニットの活性確率pと活性値sｒを求める。次に下位の層の活性値sｒをもとにボトムアップの入力からユニットの活性確率qを求める。Sleepフェーズで学習を行うのはボトムアップの結合φのみで、ボトムアップの入力により得られる活性値がトップダウンで得られるものに近づくように以下の式でφを修正し学習を行っていく。
【式４】
0003682533.tif 000005
【００１７】
このWakeフェーズとSleepフェーズを１回の学習ごとに行い、入力からボトムアップに内部表現を構成し、内部表現から入力を再構成できるように結合荷重θ,φを修正していく。
【００１８】
これを用いて、シミュレーションを次のように行った。
ネットワークヘの入力は図２に示したような１０×１０のピクセルパターンを図の部分を１、地の部分を０として、１００次元の｛０，１｝のベクトルパターンにして入力パターンとした。よって入力ユニットの数は１００個である。入力パターンは２つのカテゴリーからなり、図２に示したものと同様の８０個のパターンを用いた。各カテゴリーに属するパターンは４０個ずつであった。中間層ユニットは１５個とし、出力層のユニットは各カテゴリーに対応するものとして２個を設けた。
【００１９】
シミュレーションではネットワークにカテゴリーラベルを与えるカテゴリー学習条件と、カテゴリーラベルを与えない統制条件を行い、両条件の差を比較することで、カテゴリー知識を与えることの有効性を示した。
【００２０】
カテゴリー学習条件では、まず８０個のパターンをWake−Sleepアルゴリズムにより学習していく。ただしWakeフェーズにおいて出力層のユニットの活性値は、入力パターンが属するカテゴリーに応じて｛１  ０｝または｛０  １｝の活性値に固定する。またSleepフェーズでは、出力層における始めのトップダウンの活性は、｛１  ０｝か｛０  １｝が等確率で出現するようにした。
公知技術に、このような教師ありのWake−Sleepアルゴリズムに関して述べられており、カテゴリーラベルの出力を教師として与えることにより、ボトムアップのモデルにおいて入力パターンの特徴fが与えられたときにカテゴリー０を出力する条件付確率P（C｜f）を学習し、トップダウンのモデルにおいてカテゴリーCが与えられたときに特徴fを出力する条件付確率P（f｜C）を学習できることが示されている。これにより、カテゴリー知識からのトップダウンの影響がP（f｜C）に応じてカテゴリーと結びつきの強い特徴に対して与えられることになる。
【００２１】
統制条件でも同様に８０個のパターンを用いるが、Wakeフェーズにおいて、出力層におけるカテゴリーラベルヘの活性値の固定は行わず、またSleepフェーズでは出力層における始めのトップダウンの活性は、出力ユニットヘのバイアス項の入力のみから活性値を求めた。
【００２２】
このようにカテゴリー学習条件、統制条件ともに同じ３層構造のネットワークを用いるが、カテゴリー学習条件では出力層にカテゴリーラベルを与え、入力パターンからカテゴリーラベルを出力できるようにし、さらにカテゴリーラベルから内部表現にトップダウンに影響を与えるようになっているのに対し、統制条件では自己組織化により内部表現を学習するのみとなっている。
いずれの条件においても学習率はE＝０．００１とし、重みの初期値は全て０とした。各条件で別々のネットワークで学習を行い、８０個のパターンをランダムな順序で入力することを１回の学習として、これを１００，０００回行った。
【００２３】
学習が完了したネットワークに対して、ノイズの含まれた入力パターンからネットワークの動作による再構成におけるパターン識別の感度を調べた。ここでは学習時とは異なり、入力パターンからのボトムアッブの活性とボトムアップにより得られた出力層における表現からのトップダウンの活性を同時に行って、双方向の活性サイクルを繰り返し行い、活性パターンの変化が収束した時点での内部表現を入力パターンの内部表現とした。このようにすることで、ボトムアップとトッブダウンの情報の両方の効果を受けた内部表現を求めることができる。双方向の活性サイクルはユニットヘの入力値の変化が全て０．００１以下になるまで行った。
【００２４】
シミュレーションではまず、図２の５つの図形の劣化していない状態を入力パターンとして入力し、双方向の活性を繰り返して安定状態に達した時点での隠れ層の活性パターンをそれぞれ求めておく。ここでの活性パターンは確率的に求めた｛０，１｝のパターンではなく、ユニットの活性確率そのものを用いた。
つぎに入力パターンの活性値を弱め、さらにランダムなノイズを加えたものを入力パターンとして、双方向の活性をネットワークの状態変化がほぼなくなるまで繰り返し行う。ネットワークの動作が安定した時点での隠れ層の活性確率のパターンに関して、あらかじめ求めておいた劣化していない状態でのパターンの隠れ層の表現の中から、ユークリッド距離が最も近いパターンを入力されたパターンと判断することで、パターン問の混同行列を求めた。混同行列とは呈示されたパターンに対してどのパターンと答えたかの頻度を、呈示パターン×回答パターンの行列に表したものである。パターンの劣化のレベルは，もとの入力パターンにe-6.5，e-5.5，e-4.5，e-3.5，e-2.5，e-1.5をそれぞれ掛けたものの６段階を用い、ノイズは全ての劣化レベルにおいて平均０，標準偏差０．０５の正規乱数を加えることで与えた。ただし値が負になったものは０とした。
このようにしてパターンと劣化レベルごとに、ランダムなノイズを変えて１００回のシミュレーションを行い、全体で３０００回の試行から混同行列を作成した。
【００２５】
学習の結果、ネットワークの学習の進度は、ボトムアップにより形成される各ユニットの活性確率qと、トップダウンにより形成される各ユニットの活性確率ρとの間のKullback−Leibler情報量（KL）を学習誤差として、その大きさにより測られる。ただし、カテゴリー学習条件においては出力層の活性がカテゴリーラベルに固定されるため、KLの値は入力層と隠れ層においてのみ求めた。また統制条件においてもカテゴリー学習条件との比較のため、同様に入力層と隠れ層のみからKLの値を求めた。
図３に学習経過におけるKLの変化を示す。これから１００，０００回の学習により、どちらの条件でもKLが十分小さくなり、学習がほぼ収束していることが分かる。
【００２６】
また内部表現から入力パターンの再構成ができているかを調べるために、入力パターンから隠れ層の活性をボトムアップに求め、得られた隠れ層の活性パターンから入力パターンをトップダウンに再構成し、もとのパターンとの誤差（パターンベクトル間のユークリッド距離）を求めた。
図４に学習経過における誤差の変化を示す。これから，学習により誤差は非常に小さくなり、内部表現からの入力パターンの再構成が問題なくできるようになっていることが分かる。
またカテゴリー学習条件においては、早い段階においてカテゴリー学習を達成し、２４８回目の学習以降は常に１００％の正答率を達成した。
【００２７】
次に、シミュレーションの結果を見ていく。ここでは、シミュレーションにより得られた混同行列をもとにネットワークのパターンの識別感度を調べた。混同行列はパターン間の聞違いやすさ、逆にいえばパターン間の識別感度を表すものであり、混同が多いほどそのパターン間の識別が難しく、少ないほど識別が容易であったことを表す。混同行列をパターン間の識別感度に展開するモデルはいくつか提案されているが、ここでは多くの場面においてデータヘの適合が優れているLuceのモデルを用いた。またモデルの適用の手続きは、Gilmoreらと同様にし、パターン間の弁別感度としてLuceのモデルにおけるパターン間の距離dを求めた。
図５に弁別感度の劣化レベルごとの変化を示す。図５にみられるように、パターンの情報が増えるにつれて識別感度は上昇していくのが分かる。またカテゴリー学習条件の方が統制条件に比べ弁別感度が高くなる傾向も見られた。
【００２８】
次にネットワークの内部表現（隠れ層ユニットにおける活性パターン）に関して、カテゴリーラベルが与えられた場合と与えられない場合との違いを調べた。ここでも内部表現を求める際には、双方向の活性を繰り返し行って安定状態における隠れ層ユニットの活性確立を求めた。またパターンセットには、カテゴリー学習に用いた８０個のパターンを用いた。
【００２９】
まず、パターンごとの隠れ層ユニットの活性確率の総和を求めることで、隠れ層の全体としての活性レベルを求めた。カテゴリー学習条件、統制条件のそれぞれで活性レベルのパターンセット全体での平均値を求めたところ、カテゴリー学習条件では６．８５８４であったのに対し、統制条件では７．５２６５であった。また、隠れ層のユニットの活性の分布がどのようなものであるかを調べるため、隠れ層ユニットの活性分布のエントロピーHを以下の式で求めた。
【式５】
0003682533.tif 000006
【００３０】
ここでは、隠れ層のユニットjのパターンセット全体に対する平均活性確率を表す。カテゴリー学習条件ではH＝５．８９４５であり，統制条件ではH＝９．２２５８であった。
このようにカテゴリー学習条件においてエントロピーが低く、かつ全体の活性レベルが低い内部表現を用いていることから、内部表現における一つのパターンの表現に関して、統制条件では多くのユニットが中程度ずつ関与するが、カテゴリー学習条件ではより限定された少ないユニット数でパターンを表現するようになっていることがわかる。
【００３１】
ここで見られたような、カテゴリー学習条件における活性分布の偏りや活性ユニット数の減少は、カテゴリー知識が与えられたことによる効果であると考えられる。MDL原理に基づいてこのような符号化表現を考えると、まずカテゴリー情報が与えられない場合、パターンを最も効率的に符号化したとして、その平均符号長は、
【式６】
0003682533.tif 000007
のようになると考えられる。ここで、fjはパターンに含まれる特徴を表し、P(fj)はパターン空間全体におけるその確率分布を表す。
ここでカテゴリー知識が与えられた場合には、カテゴリーごとの特徴の確率分布をもとに符号化を行えば、より効率的な符号化が可能となり、その平均符号長は、
【式７】
0003682533.tif 000008
となる。
カテゴリー分類が特微空間内で分離できるようにうまく定義できていれば、P（fj|Ck）は、P（fj）よりも分散の小さい偏った分布を取り、そのエントロピーも小さくなることから、式（８）の平均符号長は、式（７）の平均符号長よりも小さな値をとる。Wake−Sleepアルゴリズムは記述長を最小にする内部表現を求めるアルゴリズムになっており、カテゴリー学習条件のネットワークの方が隠れ層の内部表現において、よりエントロピーの低い表現が獲得できたのは、このような効果によるものと考えられる。
【００３２】
また実際に、カテゴリー学習条件のネットワークの方が統制条件のネットワークよりもカテゴリーごとに分離した表現を用いていることを確かめるために、隠れ層ユニットの活性確率の分布が、カテゴリーごとにどの程度異なるかを調べた。ここではカテゴリー学習に用いたパターンに関して、カテゴリーごとの隠れ層のユニットの平均発火確率（qj,c1，qj,c2）を求め、以下の式により内部表現のカテゴリー間でのKL情報量を求めた。
【式８】
0003682533.tif 000009
【００３３】
その結果、カテゴリー学習条件ではKL＝２１．４６１９であったのに対し、統制条件ではKL＝１３．４９４５であり、カテゴリー学習条件のネットワークの方が、内部表現においてカテゴリー間でより分離した表現を用いていることが分かった。
【００３４】
シミュレーションの結果、カテゴリー知識を与えることでパターンの識別率が向上することが示された。このことから、カテゴリー知識の対象の識別における有効な働きが、カテゴリー知識からのトップダウンの効果により説明できることがわかった。
【００３５】
シミュレーションでは、カテゴリー学習条件の方が統制条件よりも活性レベルが低く、かつエントロピーの低い内部表現を獲得することができ、さらにカテゴリー間で分離した内部表現を獲得していた。これらの結果から、カテゴリー学習条件のネットワークにおいては、カテゴリー知識によりパターンの分布をより限定することで、効率的に入力パターンを表現していると考えられる。このことから、カテゴリー知識の獲得は、単に対象の識別において有効であるだけでなく、その処理の効率化においても有効であると考えられる。
【００３６】
本発明では、ボトムアッブとトッブダウンの相互の処理の機能的役割や計算論的意味を特にカテゴリー知識に関して考察したが、このような双方向処理は脳内において大きな役割を果たしていると考えられ、今回調べたような視覚認識におけるカテゴリー知識の影響だけでなく、認識のあらゆる場面に見られるものと考えられる。
【００３７】
このような視覚認識は、ロボットやセンサーによる対象の認知や、モンタージュ写真の製作、伝送時に劣化したデータの修復などに活用できる。
【００３８】
【発明の効果】
本発明の画像識別の方法は、上述の構成を備えることによって、次の効果を奏する。
画像の識別において、事前に画像に対するカテゴリー知識をニューラルネットワークに学習させておくことで、その後一部が欠けたり劣化したパターンが与えられた時に、そのパターンから自動的に学習したカテゴリーラベルを出力し、その出力をもとにパターンの再構成を行うことで、パターンの識別効率を上昇させることができる。またこのようなカテゴリー知識を用いた効果は、画像認識に限らず、広くパターン認識に応用可能である。
【図面の簡単な説明】
【図１】ネットワークの構造を示す説明図
【図２】入力パターンを示す説明図
【図３】ニューラルネットワークの学習誤差を示すグラフ
【図４】内部表現から入力パターンを再構成する誤差を示すグラフ
【図５】シミュレーションによる図形識別率の変化を示すグラフ
【図１】
0003682533.tif 000010
【図２】
0003682533.tif 000011
【図３】
0003682533.tif 000012
【図４】
0003682533.tif 000013
【図５】
0003682533.tif 000014