(57)【特許請求の範囲】
【請求項１】
複数のパルス出力演算素子と、当該パルス出力演算素子のうち予め設定されたパルス出力演算素子間をそれぞれ結合する複数の結合素子と、当該結合されるパルス出力演算素子から当該複数の結合素子へのパルス信号を選択的に通過させるためのゲート回路と、を備える並列パルス信号処理装置であって、
前記パルス出力演算素子は更に、
複数の時系列パルス信号を入力する入力手段と、
前記入力された複数の時系列パルス信号に基づいて変調処理を行う変調処理手段と、
前記変調処理の結果に基づいて、パルス信号の出力を行うパルス出力手段と
を備え、
前記ゲート回路は、前記結合されるパルス出力演算素子のそれぞれからの信号のうち上位の出力レベルに相当するパルス信号を選択的に入力し、該入力されたパルス信号の個数をカウントし、当該個数が所定個数Ｎ（Ｎは１より大きい自然数）に達するまで当該入力されたパルス信号を前記複数の結合素子へ通過させることにより、前記選択的に入力されたパルス信号のうち最上位の出力レベルから上位Ｎ番目の出力レベルまでの各出力レベルのパルス信号を前記複数の結合素子へ通過させることを特徴とする並列パルス信号処理装置。
【請求項２】
タイミング信号を発生させるためのタイミング信号発生回路を更に備え、
前記ゲート回路は前記タイミング信号発生回路からのタイミング信号の入力後に、前記結合されるパルス出力演算素子のそれぞれからの信号のうち上位の出力レベルに相当する前記所定個数Ｎのパルス信号を選択的に通過させることを特徴とする請求項１に記載の並列パルス信号処理装置。
【請求項３】
前記ゲート回路は、前記結合されるパルス出力演算素子からの信号のうち、前記タイミング信号発生回路からのタイミング信号に対する遅延が少ない信号の順に選択的に通過させることを特徴とする請求項２に記載の並列パルス信号処理装置。
【請求項４】
前記ゲート回路は、前記複数の結合素子に結合するバスに接続し、当該バス上を伝播する前記パルス信号に対して上位出力レベルに相当する前記所定個数Ｎのパルス信号を選択的に通過させることを特徴とする請求項１又は２に記載の並列パルス信号処理装置。
【請求項５】
前記パルス出力演算素子は、時間窓において入力パルス信号列を積分し、当該積分値に応じた位相または周波数でパルス信号出力を行うことを特徴とする請求項１又は２に記載の並列パルス信号処理装置。
【請求項６】
前記ゲート回路は、前記複数の結合素子のうち、変調の大きさを表す結合強度が予め設定されたレベル以上で極大値をとる結合素子に選択的に接続するスイッチング回路を含むことを特徴とする請求項１又は２に記載の並列パルス信号処理装置。
【請求項７】
前記ゲート回路は、前記複数の結合素子のうち、変調の大きさを表す結合強度が予め設定されたレベル以上の結合素子に選択的に接続するスイッチング回路を含むことを特徴とする請求項１又は２に記載の並列パルス信号処理装置。
【請求項８】
前記ゲート回路は、前記結合されるパルス出力演算素子からの信号のうち、基準時刻に対する遅延が少ない信号の順に選択的に通過させることを特徴とする請求項１又は２に記載の並列パルス信号処理装置。
【請求項９】
前記ゲート回路は、複数の前記パルス信号から最大出力レベルの信号を選択的に通過させることを特徴とする請求項１又は２に記載の並列パルス信号処理装置。
【請求項１０】
複数のパルス出力演算素子と、当該パルス出力演算素子のうち予め設定されたパルス出力演算素子間をそれぞれ結合する複数の結合素子と、当該結合されるパルス出力演算素子から当該複数の結合素子へのパルス信号を選択的に通過させるためのゲート回路と、を備える並列パルス信号処理装置の制御方法であって、
前記パルス出力演算素子は更に、
複数の時系列パルス信号を入力し、
前記入力された複数の時系列パルス信号に基づいて変調処理を行い、
前記変調処理の結果に基づいて、パルス信号の出力を行い、
前記ゲート回路は、前記結合されるパルス出力演算素子のそれぞれからの信号のうち上位の出力レベルに相当するパルス信号を選択的に入力し、該入力されたパルス信号の個数をカウントし、当該個数が所定個数Ｎ（Ｎは１より大きい自然数）に達するまで当該入力されたパルス信号を前記複数の結合素子へ通過させることにより、前記選択的に入力されたパルス信号のうち最上位の出力レベルから上位Ｎ番目の出力レベルまでの各出力レベルのパルス信号を前記複数の結合素子へ通過させることを特徴とする並列パルス信号処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パターン認識機能を有する並列パルス信号処理回路または神経回路網に関するものである。
【背景技術】
【０００２】
従来、大規模な神経回路網を小規模の回路で実現するための方式として、従来から開示されるようなパルス信号を発生するニューロンモデルを用い、時分割多重処理を行う構成が知られる（例えば特許文献１，２を参照）。また、その他にも、パルス列を出力する素子と一次記憶手段を用いてニューロン素子を構成することにより、配線問題の軽減が可能な構成が従来から開示されている（例えば特許文献３を参照）。
【０００３】
一方、画像認識の分野においては、特定の認識対象に特化した認識処理アルゴリズムを生体の情報処理機構にヒントを得た神経回路網モデルにより実現するパターン認識方法（階層的テンプレートマッチングを行う方法）が提案されている（例えば特許文献４、非特許文献１を参照）。
【０００４】
また、生体の神経回路網による情報処理機構をより忠実に取り入れようとする試みとして、アクションポテンシャルに相当するパルス列による情報の伝達表現を行う神経回路網モデル回路が提案されている（例えば非特許文献２，特許文献５乃至９を参照）。
【０００５】
パルス列生成ニューロンからなる神経回路網により特定対象の認識、検出を行う方法としては、結合入力(linking inputs)と供給入力(feeding inputs)を前提としたEckhornらによる高次（２次以上）のモデル（例えば非特許文献３を参照）、即ち、パルス結合神経回路網(以下、ＰＣＮＮと略す) を用いた方式がある（例えば特許文献１０、非特許文献４を参照）。
【特許文献１】特公平５−４７８７０号公報
【特許文献２】特許第２６７９７３０号公報
【特許文献３】特公平６−９３２４９号公報
【特許文献４】特公昭６０-７１２号公報
【特許文献５】特開平７-２６２１５７号公報
【特許文献６】特開平７-３３４４７８号公報
【特許文献７】特開平８-１５３１４８号公報
【特許文献８】特許２６２４１４３号公報
【特許文献９】特許２８７９６７０号公報
【特許文献１０】ＵＳＰ５６６４０６５
【非特許文献１】Fukushima & Miyake, １９８２ Neocognitron: A new algorithm for pattern recognition tolerant of deformation and shifts in position, Pattern Recognition, vol.１５, pp.４５５-４６９
【非特許文献２】Murray et al., １９９１ Pulse-Stream VLSI Neural Networks Mixing Analog and Digital Techniques, IEEE Trans. on Neural Networks, vol.２, pp.１９３-２０４.
【非特許文献３】Eckhorn, et al. １９９０, Feature linking via synchronization among distributed assemblies: Simulation of results from cat cortex, Neural Computation, Vol.２, pp.２９３-３０７
【非特許文献４】Broussard, et al. １９９９, Physiologically Motivated Image Fusion for Object Detection using a Pulse Coupled Neural Network, IEEE Trans. on Neural Networks, vol. １０, pp.５５４-５６３
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記従来例に示す神経回路網のうち、時分割多重処理を行う構成では、シナプス結合の数とともに処理時間が増大するという問題があり、他の構成では、シナプス結合の数が多くなるほど回路規模の増大と配線問題が顕著になること、およびシナプス結合を通じた信号の加算により保持すべき情報（荷重和値など）のダイナミックレンジが増大することなどから電子回路化することが困難であった。
【０００７】
本発明は以上の問題に鑑みて成されたものであり、配線問題を軽減し、小回路規模化と低消費電力化をもたらすことを目的とする。
【課題を解決するための手段】
【０００８】
本発明の目的を達成するために、例えば本発明の並列パルス信号処理装置は以下の構成を備える。
【０００９】
即ち、複数のパルス出力演算素子と、当該パルス出力演算素子のうち予め設定されたパルス出力演算素子間をそれぞれ結合する複数の結合素子と、当該結合されるパルス出力演算素子から当該複数の結合素子へのパルス信号を選択的に通過させるためのゲート回路と、を備える並列パルス信号処理装置であって、
前記パルス出力演算素子は更に、
複数の時系列パルス信号を入力する入力手段と、
前記入力された複数の時系列パルス信号に基づいて変調処理を行う変調処理手段と、
前記変調処理の結果に基づいて、パルス信号の出力を行うパルス出力手段と
を備え、
前記ゲート回路は、前記結合されるパルス出力演算素子のそれぞれからの信号のうち上位の出力レベルに相当するパルス信号を選択的に入力し、該入力されたパルス信号の個数をカウントし、当該個数が所定個数Ｎ（Ｎは１より大きい自然数）に達するまで当該入力されたパルス信号を前記複数の結合素子へ通過させることにより、前記選択的に入力されたパルス信号のうち最上位の出力レベルから上位Ｎ番目の出力レベルまでの各出力レベルのパルス信号を前記複数の結合素子へ通過させることを特徴とする。
【発明の効果】
【００２８】
本発明の構成により、特徴検出に有意な信号のみを選択し、シナプス結合の全てについて信号加算を行わない（たとえ信号レベルが全て非ゼロの場合であっても）構成とするので、配線問題を軽減し、小回路規模化と低消費電力化をもたらすことができる。
【発明を実施するための最良の形態】
【００２９】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００３０】
［第１の実施形態］
＜全体構成概要＞
図１は、並列パルス信号処理装置の要部構成を示し、データ入力制御回路１、ニューロンアレイ回路ブロック２、シナプスアレイ回路ブロック３、処理結果保持メモリ４、ゲート回路５、信号生成回路６、および全体制御回路７を主たる構成要素とする。
【００３１】
図１において、データ入力制御回路１は、画像データなどをセンサ或いはデータベース等から入力する為の制御回路で内部に一次記憶用メモリを有する。ニューロンアレイ回路ブロック２は、図４に示すような階層処理構造中の所定階層に属するニューロン回路が複数個配列する。即ち、本実施形態では、任意の時間帯にニューロンアレイ回路ブロック２およびシナプスアレイ回路ブロック３を用いて実現するのは、多層神経回路網の一階層（または一階層中の一特徴クラスの検出に関与するニューロン）であり他の階層に属するニューロン（または他の特徴クラスの検出に関与するニューロン）については異なる時間帯に実現する。
【００３２】
シナプスアレイ回路ブロック３は、ニューロン間のシナプス結合回路が２次元アレイ状に配列する。ここでは、異なる階層間でシナプス結合がある場合について説明する。シナプスアレイ回路ブロック３は、ある一つ以上の階層レベルへのシナプス結合を実現する。
【００３３】
シナプスアレイ回路ブロック３は全体制御回路７により、ニューロンアレイ回路ブロック２内のニューロン回路との結合構造が制御される。全体制御回路７は、内部のメモリ（不図示）に特徴クラスに応じた受容野構造データを格納している。受容野構造データについては後述する。処理結果保持メモリ４は、ニューロンアレイ回路ブロック２からの出力を一時的に保持するメモリである。
【００３４】
信号生成回路６は、シナプスアレイ回路ブロック３にニューロンアレイからの出力信号を供給する。全体制御回路７は各回路ブロックの動作を制御して多層神経回路網において下位層から上位層への信号入出力を制御する。なお、受容野構造データを格納するデータは全体制御回路７内部のメモリに格納されていることは、本実施形態の主要な作用をもたらすものではない。
【００３５】
従って、受容野構造データを記憶する手段としては、並列パルス信号処理装置の外部メモリ、或いは、図１の構成に並列パルス信号処理装置の一部として別途付加されるメモリなど、図１とは異なる構成により実現するものであっても良いことはいうまでもない。
【００３６】
図２は上記並列パルス信号処理によって実現するネットワーク回路網全体の構成を概念的に示す図である。図２に概念的に示すような多層神経回路網をアナログ・デジタル混載または融合型回路として実装する場合、２次元平面にニューロン、シナプス等の構成要素を全て並列配置し、並列処理を実現することは困難な場合が多い。そのため、本実施形態においても少数のニューロンまたはシナプス回路要素を用いて時分割処理を行う。
【００３７】
図２に示すネットワークは、画像として与えられる対象（またはその幾何学的特徴など）の認識及び検出に必要な情報を主として扱うものであり、その基本構造は階層構造を有するいわゆるConvolutionalネットワーク構造(文献１：LeCun, Y. and Bengio, Y., １９９５, “Convolutional Networks for Images Speech, and Time Series” in Handbook of Brain Theory and Neural Networks (M. Arbib, Ed.), MIT Press, pp.２５５-２５８)である。
【００３８】
但しここでは、後で説明する特徴検出層と特徴統合層との層間結合にシナプス結合とゲート回路(後述)を用いている点が従来の基本構造と異なる。このネットワークの最終出力（最上位層出力）は認識結果、即ち検出された対象のカテゴリ及びその入力データ上での位置情報である。以下、図２に示す各要素について概要を説明する。
【００３９】
データ入力層１は、画像センサ手段の場合はＣＭＯＳセンサ或いはＣＣＤ素子等の光電変換素子から構成される。特徴検出層(１,０)は、入力画像データから低次特徴検出を行い、Gabor wavelet変換その他による多重解像度処理により、画像パターンの局所的な低次の特徴（幾何学的特徴のほか色成分特徴を含んでもよい）を全画面の各位置(或いは、全画面にわたる所定のサンプリング点の各点)において同一箇所で複数のスケールレベル又は解像度で複数の特徴カテゴリの数だけ検出する。
【００４０】
特徴検出層の各ニューロン素子は、特徴量の種類（例えば、幾何学的特徴として所定方向の線分を抽出する場合にはその幾何学的構造である線分の傾き）に応じた受容野構造を有し、その程度に応じたパルス列を発生する。
【００４１】
特徴検出層（１，ｋ）は、全体として複数の解像度（又はスケールレベル）での処理チャネルを形成する（但しｋ≧０）。Gabor wavelet変換を特徴検出層（１，０）で行う場合を例にとると、スケールレベルが同一で方向選択性の異なるGaborフィルタカーネルを受容野構造に持つ特徴検出細胞のセットは、特徴検出層（１，０）において一つの処理チャネルを形成し、後続の層（１，１）においても、それら特徴検出細胞からの出力を受ける特徴検出細胞（より高次の特徴を検出する）は、当該処理チャネルと同一のチャネルに属する。
【００４２】
なお、Gabor wavelet変換を神経回路網で行う方法の詳細については、文献２：Daugman (１９８８)による（IEEE Trans. on Acoustics, Speech, and Signal Processing, vol.３６, pp.１１６９-１１７９）を参照されたい。
【００４３】
更に後続の層（１，ｋ）（但しｋ＞１）においても、同様に（２，ｋ―１）層において同一チャネルを形成する複数の特徴統合細胞からの出力を受ける特徴検出細胞は、当該チャネルに属するように構成される。各処理チャネルは、同一スケールレベル（又は解像度）での処理が進行していくものであり、階層的並列処理により低次特徴から高次特徴までの検出及び認識を行う。
【００４４】
異なる処理チャネル間では、同じ階層レベル(検出される特徴の複雑さが同レベル)であれば、検出される特徴の違いは、同一カテゴリであるが、互いに異なるスケールで検出されたものであることにある。例えば、中次の特徴として顔の中の「目」のパターンを考えたとき、サイズの異なる「目」の検出がそれぞれのチャネルで行われる。即ち、画像中の与えられたサイズの「目」に対してスケールレベル選択性の異なる複数の処理チャネルにおいて検出が試みられる。
【００４５】
次に特徴統合層について説明する。
【００４６】
特徴統合層（２，０），（２，１）・・・では、各ニューロン素子は、特徴検出層（１，０）からの入力を受け、前述したサブサンプリングのための所定の受容野構造（以下、受容野とは直前の層の出力素子との結合範囲を、受容野構造とはその結合荷重の分布を意味する）を有する。即ち、特徴検出層（１，０）からの同一受容野内の複数ニューロン素子出力を統合することにより、局所平均化、或いは、局所的な領域内での最大値検出等による代表値抽出（サブサンプリング）などの演算を行う。
【００４７】
特徴統合層内の画像特徴部ニューロンの各受容野は同一層内のニューロン間で共通の構造を有している。各特徴検出層（１，１）、（１，２）、・・・、（１，Ｎ）及び各特徴統合層（２，１）、（２，２）、・・・、（２，Ｎ）は、それぞれ所定の受容野構造を持ち、上述した各層と同様に前者（（１，１）、・・・）は、各特徴検出モジュールにおいて複数の異なる特徴の検出を行い、後者（（２，１）、・・・）は、前段の特徴検出層からの複数特徴に関する検出結果の統合を行う。但し、前者の特徴検出層は同一チャネルに属する前段の特徴統合層の細胞素子出力を受けるように結合（配線）されている。
【００４８】
次にゲート回路５について説明する。
【００４９】
ゲート回路５は、同一層内の複数のニューロン素子からの出力のうち、出力レベルが大きいパルス信号を選択的に通過させる。特徴統合層からの出力を選択的に通過させるゲート回路は、後段の特徴検出層ニューロンに付随し、その特徴検出層ニューロンが入力を受ける低次の特徴クラスごとに特徴統合層ニューロン出力のうち上位出力レベルの信号を選択的に通過させる。また、特徴検出層から特徴統合層への出力を選択的に通過させるゲート回路としての機能は、後段の特徴統合層ニューロンが行うサブサンプリング機能により実現し、図１に示すゲート回路５は用いないものとする。
【００５０】
従って、ゲート回路５は特徴統合層から特徴検出層への出力信号のうち上位レベルの出力信号（更に条件をつけるとすると出力分布の極大値をとり、かつその極大値の上位レベルの信号でもよい）を選択的に通過させるものとして以下に説明する。
【００５１】
ゲート回路５は、特徴検出層ニューロンの受容野内にあって所定の特徴クラス（下位レベル）に属する特徴統合層ニューロンからのパルス信号出力の信号レベルを検出し、１つの特徴クラスに付きｋ個（ｋは自然数）の上位出力レベル（例えば、最大レベルから上位ｋ番目のレベルまで）の信号を通過させる。
【００５２】
特徴検出層ニューロンが同じ特徴クラスに属する複数の特徴（ただし、入力データ上の位置は互いに異なるものとする）の検出を必要とする場合には、必要とされる局所特徴数に上記ｋを乗算した数、またはその同程度の数とし、かつゲート回路はその特徴クラスの特徴統合層ニューロン出力のうち極大値をとる出力信号のうち上位の信号を選択する機能を有する。このような機能は所定のWTA回路により実現することができる（例えば、文献３：G. Indiveri (２００１) “A Neuromorphic VLSI Device for Implementing ２-D Selective Attention Systems,” IEEE Trans. On Neural Networks, vol.１２, pp.１４５５-１４６３.を参照）。即ち、この場合には特定の特徴クラスに属する特徴統合層ニューロン出力をクラスタリングして得られる各クラスタのピークレベルの信号を選択する。なお、極大値及びその近傍の信号を選択しても良い。
【００５３】
本実施形態では、特徴統合層に存在する特徴クラスごとに以上のような機能を有するゲート回路が少なくとも一つ特徴統合層と後段の特徴検出層の間に設定される。
【００５４】
図１３は、特徴統合層のｊ及びｊ＋１番目の特徴クラスからの出力について、それぞれを受け持つゲート回路５jと５j+１が各クラス内の出力分布から上位２個の極大値信号を選択的に通過させることを模式的に示したものである。同図において点線で示した箇所が、選択された部分を示すものである。
【００５５】
ゲート回路５の構成を図３Ａに示す。ゲート回路５は、前段の層からの信号選択部５０、クロック信号入力部５１、カウンタ５２、ゲートスイッチ５３、ゲート制御回路５４などから構成される。
【００５６】
信号選択部５０は、そのゲート回路５と対応する特徴検出層ニューロンの受容野に属する特徴統合層ニューロンからの信号のうち既に説明したような所定の基準を満たす信号だけを選択的に入力する。例えば、前段の特徴統合層ニューロン出力がメモリに一時的に格納される場合、受容野に属する各ニューロン出力が格納されているメモリアドレスを適切に設定する（例えば、上位ｋ個の出力信号を選択する）ことにより信号の選択的入力を行う。以下、このような場合を前提として説明する。
【００５７】
ゲート回路のカウンタ５２は、選択的に通過させたパルス信号数をカウントする為のものであり、クロック信号入力部５１からのタイミング信号によりリセットされる。ゲート制御回路５４は、カウンタ５２の値が所定の上限値に達するとゲートスイッチ５３を開き、以後パルス信号は後段の層に出力されない。
【００５８】
特徴検出層への信号の並列入力が時分割で部分的に行われる（例えば、ある特徴クラスを検出する特徴検出ニューロン全体の４分の１に対応する受容野分の特徴統合層からの信号を一度に入力する）場合には、制御回路は受容野が互いに重なり合わない特徴検出層ニューロンを並列入力可能な数だけ選択する。この場合、次にゲート制御回路の信号選択部５０は各特徴検出層ニューロンの受容野に対応する特徴統合層ニューロン出力を格納するメモリアドレスを設定して各出力データを読み込む。上述した並列入力以降の入力ステップでは、受容野が互いに重なり合わない条件は保持しながら、前の入力ステップで入力したものと順次異なる受容野からの入力を行う。
【００５９】
ゲート回路の信号選択部５０は一般的に、通過させる信号の数ｋが１の場合、いわゆるWinner take all（WTA）回路としての機能を持つ。特徴統合層からの出力が位相変調されたパルス信号である場合には、信号のレベルを基準時刻からの遅延量によってその信号レベルを検出する。基準時刻は、全体制御回路７内部のタイミング素子からのクロックパルス信号の入力により与えられる。
【００６０】
ゲート回路は、図５に示す構成に限定されるものではなく、上述した信号選択機能を有するものであれば良いことは言うまでもない。なお、以上の説明では一つの特徴クラスについて一つのゲート回路を設定したが、特徴統合層の複数の特徴クラスからの信号について一括して上位レベルの出力信号（極大値信号であることを条件としても良い）を選択的に通過させても良い。この場合は、ある特徴クラスで上位レベル信号であっても複数クラスの全体としては上位ではない信号は、ゲート回路を通過できないことは言うまでもない。
【００６１】
次にニューロン素子間の結合手段としてのシナプス回路について説明する。
【００６２】
本実施形態でのシナプス回路は、層間結合を実現し、図７Ａに示すように、神経細胞（ニューロン）の軸索または樹状突起に相当する信号伝達部（配線または遅延線）、及びシナプス結合部である。図７Ａでは、ある特徴検出（統合）細胞に対する受容野を形成する特徴統合(検出)細胞のニューロン群（ｎｊ）からの出力（当該細胞から見ると入力）に関与する結合部の構成を示している。図７Ａにおいて、各ニューロン素子ｎｊは、パルス信号列（スパイクトレイン）を出力する。
【００６３】
いわゆる興奮性結合は、シナプス回路においてパルス信号の増幅を行い、抑制性結合は逆に減衰を与えるものである。パルス信号により情報の伝達を行う場合、増幅及び減衰はパルス信号の振幅変調、パルス幅変調、位相変調、周波数変調のいずれによっても実現することができる。
【００６４】
本実施形態においては、シナプス結合部Ｓは、パルスの位相変調素子として用いる場合には、信号の増幅はパルス到着時間の実質的な進み（或いは、少ない位相遅延量）として、減衰は実質的な遅れ（或いは、大きな位相遅延量）として変換される。即ち、定性的には興奮性結合は、ある基準位相に対する到着パルスの位相の進みを、抑制性結合では同様に遅れを与えるものである。シナプス結合手段としては、この他にパルス幅変調、周波数変調などいずれの変調方法を用いても構わない（本実施形態では、パルス位相変調を用いて説明する）。シナプス結合部とニューロン素子とを、それぞれまとめて図７Ｂに示すような回路ブロックを構成してもよい。
【００６５】
次に、各層を構成するニューロン素子について説明する。各ニューロン素子はパルス信号を入力し、パルス信号を出力するパルス信号の変調出力素子であり、例えば入力信号（アクションポテンシャルに相当するパルス列）を時空間的に線形加算した結果が閾値を越したら発火し、パルス状信号を出力するようないわゆるintegrate-and-fireニューロン、或いはパルス信号の位相、幅などの非線形変換回路を用いても良い。
【００６６】
特徴検出層（１、ｋ＋１）の画像特徴部ニューロン素子は、入力として特徴統合層（２、ｋ）の複数の特徴クラスに属するニューロン素子からの出力を受ける。
【００６７】
一方、特徴統合層（２、ｋ＋１）のニューロン素子は、そのニューロン素子と同じ特徴クラスに属する特徴検出層ニューロン素子からの出力を受ける。
【００６８】
図４は、ニューロン素子をIntegrate-and-fire回路としたときに用いられるニューロン素子のパルス発生回路の動作原理を表す基本構成の一例を示す。ここでは、３種類の入力として、特徴統合層または特徴検出層からの興奮性入力若しくは抑制性の入力、及び、全体制御回路７にあるタイミング素子からの入力を受けるものとして構成されている。３番目の入力信号は後述する時間窓の発生タイミング（入力パルス信号の時間積分開始のタイミング）信号を与えるためのものである。
【００６９】
興奮性入力側のキャパシタＣ１及び抵抗Ｒ１回路の時定数は、キャパシタＣ２及び抵抗Ｒ２回路の時定数より小さく、定常状態では、トランジスタＴ１，Ｔ２，Ｔ３は遮断されている。なお、抵抗は実際には、能動負荷たるトランジスタで構成される。
【００７０】
キャパシタＣ１の電位が増加し、キャパシタＣ２のそれよりトランジスタＴ１の閾値だけ上回ると、Ｔ１はアクティブになり、更にトランジスタＴ２，Ｔ３をアクティブにする。トランジスタＴ２，Ｔ３は、電流ミラー回路を構成し、図４の回路の出力は、不図示の出力回路によりキャパシタＣ１側から出力される。キャパシタＣ２の電荷蓄積量が最大となるとトランジスタＴ１は遮断され、その結果としてトランジスタＴ２及びＴ３も遮断され、上記正のフィードバックは０となる様に構成されている。
【００７１】
いわゆる不応期にはキャパシタＣ２は放電し、Ｃ１の電位がＣ２の電位よりＴ１の閾値分より大とならない限り、ニューロンは応答しない。キャパシタＣ１，Ｃ２の交互充放電の繰り返しにより周期的なパルスが出力され、その周波数は一般的には興奮性入力のレベルに対応してきまる。但し、不応期が存在することにより、最大値で制限されるようにすることもできるし、一定周波数を出力するようにもできる。
【００７２】
なお、上記Integrate-and-Fire機能を有する素子を用いず、シナプス後のパルス信号が加算された内部状態を所定のニューロン活性化関数（シグモイド関数など）に基づいて変調されたパルス信号のかたちで出力する回路を用いても良い。
【００７３】
ニューロン素子でのパルス信号積分特性を制御する役割をもつのが、時間窓重み関数発生回路である。この回路によりキャパシタの電位（及び電荷蓄積量）は時間的に制御される。この制御特性を反映するのが、入力パルスに対する後述の時間窓内での重み付き加算である（図１１Ａ〜図１１Ｄを参照）。
【００７４】
この重みにシナプス荷重値を対応させる場合には、時間窓重み関数発生回路は信号レベルとシナプス荷重値の積に相当する値が得られるように入力パルスの到着時間に応じた重み関数を生成する。即ち、パルスの到着時間の遅れ増大とともに乗算される重みの値が減少するように関数波形が設定される。関数波形の生成は、アナログ発振回路を使うか、デジタル回路でルックアップテーブル法や関数生成法によりデジタル波形を作り出し、それをＤ／Ａ変換器によりアナログ波形にする方法を用いてもよい。
【００７５】
この基準電圧制御回路は、タイミング素子からの入力タイミング（又は、後続層のニューロンとの相互結合入力）に基づき、基準電圧信号（図１１Ｂの重み関数に相当）を発生する。
【００７６】
一般的に、入力信号の上記総和と出力レベル（パルス位相、パルス周波数、パルス幅など）の関係は、そのニューロンの感度特性によって変化し、また、その感度特性は上位層からのトップダウンの入力により変化させることができる。以下では、説明の便宜上、入力信号総和値に応じたパルス出力の周波数は急峻に立ち上がるように回路パラメータが設定されているものとし（従って周波数ドメインでは殆ど２値）、パルス位相変調により、出力レベル（位相変調を与えたタイミングなど）が変動するものとする。
【００７７】
特徴統合層内の画像特徴部ニューロンからの出力により、時間窓内の重み関数で上記基準電圧が制御される結果、特徴検出層ニューロンからの出力特性（例えばパルス出力の位相）が変化する。位相変調がなされる場合には、この位相をニューロンの出力レベルとして用いることができる。
【００７８】
また、ニューロン出力（シナプス前）の位相は、後述するように時間窓の始期を基準とし、その基準時からの遅れ（位相）は基準パルス（タイミング素子出力その他による）を受けた時の電荷蓄積量により決まるような出力特性を有する。このような出力特性を与える回路構成の詳細については、本実施形態の主眼とする所ではないので省略する。シナプス後のパルス位相が当該シナプスにより与えられる固有の位相変調量にシナプス前の位相を加算したものとする場合には、シナプス荷重とシナプス前信号との乗算（通常行われる演算）は、後述する時間窓重み関数において行われる。
【００７９】
なお、窓関数などを用いることにより得られる入力の総和値が閾値を越えたときに、所定タイミング遅れて発振出力を出すような公知の回路構成を用いてもよい。
【００８０】
特徴検出層のニューロンは前述したように特徴カテゴリに応じた受容野構造を有し、前段の層（入力層または特徴統合層）のニューロンからの入力パルス信号（電流値または電位）の時間窓関数による後述の荷重総和値が閾値以上となったとき、その総和値に応じて、例えばシグモイド関数等の一定レベルに漸近的に飽和するような非減少かつ非線形な関数、即ちいわゆるsquashing関数値をとるような出力（ここでは位相変化で与える；周波数、振幅、パルス幅基準での変化となる構成でもよい）でパルス出力を行う。
【００８１】
＜シナプス回路等＞
図４は、シナプス結合部Siにおいてニューロンniの結合先である各ニューロンｎ’ｊへのシナプス結合強度（位相遅延等に関する変調の大きさを意味する）を与える各小回路がマトリクス的に配置されていることを示す。
【００８２】
図９Ｂに示すように各シナプス結合小回路４０１は、学習回路４０２と位相遅延回路４０３とからなる。学習回路４０２は、位相遅延回路４０３の特性を変化させることにより、上記遅延量を調整し、また、その特性値（或いはその制御値）を浮遊ゲート素子、或いは浮遊ゲート素子と結合したキャパシタ上に記憶するものである。
【００８３】
位相遅延回路４０３はパルス位相変調回路であり、例えば、図１０Ａに示すような単安定マルチバイブレータ５０６、５０７及び、抵抗５０１、５０４、キャパシタ５０３、５０５、トランジスタ５０２を用いた構成がある。図１０Ｂは単安定マルチバイブレータ５０６へ入力された方形波Ｐ１、単安定マルチバイブレータ５０６から出力される方形波Ｐ２、単安定マルチバイブレータ５０７から出力される方形波Ｐ３の各タイミングを表している。
【００８４】
位相遅延回路４０３の動作機構の詳細については説明を省略するが、Ｐ１のパルス幅は、充電電流によるキャパシタ５０３の電圧が予め定められた閾値に達するまでの時間で決まり、Ｐ２の幅は抵抗５０４とキャパシタ５０５による時定数で決まる。Ｐ２のパルス幅が（図１０Ｂの点線方形波のように）広がって、その立ち下がり時点が後にずれるとＰ３の立ち上がり時点も同じ量ずれるが、Ｐ３のパルス幅は変わらないので、結果的に入力パルスの位相だけが変調されて出力されたことになる。
【００８５】
位相遅延量は、シナプス結合に入力される前のパルス信号とシナプス結合後のパルス信号とでシナプス荷重に相当する位相遅延の変換により与えられる。本実施形態では、シナプス荷重値が大きいほど小さい位相遅延量になるようにする。
【００８６】
なお、シナプス結合回路としては位相遅延回路を用いる代わりに後述する所定の重み関数を用いた時間窓積分回路を用いても良い。この場合は、パルス信号にシナプス荷重に相当する重みがパルス信号に乗算されるように構成する。
【００８７】
制御電圧Ｅｃを基準電圧のリフレッシュ回路５０９と結合荷重を与えるキャパシタ５０８への電荷蓄積量制御を行う学習回路４０２で変化させることにより、パルス位相（遅延量）を制御することができる。この結合荷重の長期保持のためには、学習動作後に不図示の浮遊ゲート素子等のアナログメモリへ、或いはデジタルメモリ（SDRAM,MRAMなど）への書き込み等を行って結合荷重を格納してもよい。
【００８８】
パルスの同時到着、或いは所定の位相変調量を実現するシナプスでの学習回路の例としては、図９Ａに示すような回路要素を有するものを用いればよい。即ち、学習回路４０２をパルス伝播時間計測回路５１０（ここで、伝播時間とは、ある層のニューロンの前シナプスでのパルス出力時刻と次の層上にある出力先ニューロンでの当該パルスの到着時刻との時間差をさす）、時間窓発生回路５１１、及び伝播時間が一定値となるようにシナプス部でのパルス位相変調量を調整するパルス位相変調量調整回路５１２から構成できる。
【００８９】
伝播時間計測回路５１０としては、後述するような同一局所受容野を形成するタイミング素子からのクロックパルスを入力し、所定の時間幅（時間窓：図３Ｂ参照）において、そのクロックパルスのカウンタ回路からの出力に基づき伝播時間を求めるような構成などが用いられる。
【００９０】
＜特徴検出層(１,０)での処理＞
特徴検出層１０の各ニューロンは、ｇｍｎに対応する受容野構造を有する。同じスケールインデックスｍを有するｇｍｎは同じサイズの受容野を有し、演算上は対応するカーネルｇｍｎサイズもスケールインデックスに応じた大きさを有するようにしてある。ここでは、最も粗いスケールから順に入力画像上の３０×３０、１５×１５、７×７のサイズとした。各ニューロンは、分布重み係数と画像データとの積和入力を行って得られるウエーブレット変換係数値の非線型squashing関数となる出力レベル（ここでは位相基準とする；但し、周波数、振幅、パルス幅基準となる構成でもよい）でパルス出力を行う。この結果、この層（１,０）全体の出力として、Gabor wavelet変換が行われたことになる。
【００９１】
＜特徴検出層での処理（中次、高次特徴抽出）＞
後続の特徴検出層（(１,１)、(１,２)、・・・）では、中次から高次の画像特徴を入力画像上の所定サンプリング位置で検出する。各ニューロンは、上記特徴検出層(１,０)とは異なり、検出すべき特徴パターンに固有の受容野構造をいわゆるHebb学習則等により形成する。後の層ほど特徴検出を行う局所的な領域のサイズが認識対象全体のサイズに段階的に近くなり、幾何学的には中次または高次の特徴を検出する。例えば、顔の検出認識を行う場合には中次（または高次）の特徴とは顔を構成する目、鼻、口等の図形要素のレベルでの特徴を表す。なお、特徴検出層ニューロンは一般的に(低次、高次特徴抽出に依らず)、出力の安定化のために抑制性(分流型抑制：shunting inhibition)の結合を前段の層出力に基づいて受けるような機構を有してもよい。
【００９２】
＜特徴統合層（画像特徴部）での処理＞
特徴統合層（(２,０)、(２,１)、・・・）のニューロン素子について説明する。図２に示すごとく特徴検出層（例えば（１，０））から特徴統合層（例えば（２，０））への結合は、当該特徴統合ニューロンの受容野内にある前段の特徴検出層の同一特徴要素（タイプ）のニューロン素子から興奮性結合の入力及び後述するタイミング素子出力(PNout１)をともに図４の興奮性入力側で受けるように構成され、統合層のニューロン素子の機能は前述したごとく、特徴カテゴリごとの局所平均化或いは最大値検出その他のサブサンプリング等である。
【００９３】
特徴統合層ニューロンによれば、複数の同一種類の特徴に関するパルスを入力し、それらを局所的な領域（受容野）で統合して平均化する（或いは、受容野内での最大値等の代表値を算出する）ことにより、その特徴の位置のゆらぎ、変形に対しても確実に検出することができる。このため、特徴統合層ニューロン素子の受容野構造は、特徴カテゴリによらず一様（例えば、いずれも所定サイズの矩形領域であって、かつ感度または重み係数がその中で一様分布するなど）となるように構成してよい。
【００９４】
＜パターン検出の動作原理＞
以下、図２に示すネットワーク構成をパターン認識装置に適用する場合の２次元図形パターンのパルス符号化と検出方法について説明する。図８Ａは、特徴統合層から特徴検出層への（例えば、図１の層（２,０）から層（１,１）への）パルス信号の伝播の様子を模式的に示したものである。ゲート回路５がシナプス結合素子(Sj)の前にあり、特徴検出に有意なパルス信号（Ｐ１，Ｐ３）のみを通過させることを示している。図８Ａではシナプス結合素子Ｓ１，Ｓ３により変調を受けるパルスのみが伝播することを示している。特徴統合層側の各ニューロンｎｉは、それぞれ異なる特徴量（或いは特徴要素）に対応し、特徴検出層側のニューロンｎ’ｊは、同一受容野内の各特徴を組み合わせて得られる、より高次の特徴（図形要素）の検出に関与する。
【００９５】
特徴統合層ニューロンから特徴検出層ニューロンへの結合により特徴統合層出力の上位レベルのみ伝達させるために、上位レベルの極大値をとるパルス信号についてだけ開くゲート回路５をシナプス結合回路の入力側に設定してある。
タイミングパルス信号（PN）入力があったときに、特徴統合層ニューロンからの出力パルス信号は、シナプス結合回路で位相変調などの変調処理を受けて次の特徴検出層に伝播し、特徴検出層ニューロンでは特徴統合層ニューロンからのシナプス結合を経由したパルス信号の時間的積分が時間積分窓の範囲内で行われる。
【００９６】
ここに、時間窓は特徴検出細胞（ｎ’ｉ）ごとに定められ、当該細胞に関して同一受容野を形成する特徴統合層内の各ニューロンに対して共通であり、時間窓積分の時間範囲を与える。
【００９７】
図８Ａではゲート回路５は、特徴検出層ニューロンのシナプス結合の前にある。ゲート回路５に信号を入力するニューロンは、特徴検出層ニューロンの受容野を構成し、かつ同じ特徴クラスに属する全ての特徴統合層ニューロンである。本実施形態での特徴検出層ニューロンは、ゲート回路５を通過後の各パルス信号の時間窓積分を並列的に行う。図８Ｂはこのときのシナプス後の信号が並列的に時間窓積分される様子（ほぼ同じ時間帯に複数の時間窓積分を行う様子）を模式的に表す。
【００９８】
タイミング素子は、全体制御回路７にあって、タイミングパルス信号を層番号（２，ｋ−１）の各特徴統合細胞、及び各特徴検出細胞（層番号（１，ｋ））に出力することにより、特徴検出細胞が時間的に入力を加算する際の時間窓発生のタイミング信号を与えている。この時間窓の開始時刻が各特徴統合細胞から出力されるパルスの到着時間を図る基準時となる。即ち、タイミング素子は特徴統合細胞からのパルス出力時刻、及び特徴検出細胞での時間窓積分の基準パルスを与える。
【００９９】
本実施形態では、特徴検出層の前段の層である特徴統合層上の同一受容野内の各低次特徴要素に相当するニューロンであって入力画像中において所定の局所的特徴の検出に関与したものは、それぞれ所定の位相で同期発火（パルス出力）することになる。一般的に特徴統合層のニューロンであって位置が異なるが同一の高次の特徴を検出する特徴検出ニューロンへの結合が存在する（この場合、受容野は異なるが、高次の同じ特徴を構成する結合を有する）。この時、これら特徴検出ニューロンとの間でも同期発火することはいうまでもない。
【０１００】
各パルスはシナプス回路を通過すると所定量の位相遅延が与えられ、更に信号伝達線を通って特徴検出細胞に到着する。パルスの時間軸上の並びを、特徴検出細胞の時間軸上において点線で表したパルス（Ｐ１，Ｐ２，Ｐ３）により示す。
【０１０１】
特徴検出細胞において各パルス（Ｐ１，Ｐ２，Ｐ３）の時間窓積分(通常、一回の積分とする；但し、多数回にわたる時間窓積分による電荷蓄積、または平均化処理を行ってもよい)の結果、閾値より大となった場合には、時間窓の終了時刻を基準としてパルス出力（Ｐｄ）がなされる。なお、同図に示した学習時の時間窓とは、後で説明する学習則を実行する際に参照されるものである。
【０１０２】
＜特徴検出層処理＞
以下、特徴検出層で主に行われる処理(学習時、認識時)について説明する。各特徴検出層においては、前述したようにスケールレベルごとに設定される処理チャネル内において同一受容野からの複数の異なる特徴に関するパルス信号を入力し、時空間的重み付き総和（荷重和）演算と閾値処理を行う。
【０１０３】
また、特徴検出層上の各ニューロンにおいては入力パルスの時空間的重み付き総和（荷重和）の演算は、ニューロンに到着したパルス列について所定幅の時間窓においてのみ行われる。時間窓内の重み付き加算を実現する手段は、図４に示したニューロン素子回路に限らず、他の方法で実現してもよいことは言うまでもない。
【０１０４】
この時間窓は、実際のニューロンの不応期(refractory period)以外の時間帯にある程度対応している。即ち、不応期(時間窓以外の時間範囲)にはどのような入力を受けてもニューロンからの出力はないが、その時間範囲以外の時間窓では入力レベルに応じた発火を行うという点が実際のニューロンと類似している。
【０１０５】
本実施形態では、各層での処理に共通して制御回路内にあるタイミング素子（固定周波数でパルス出力）からのタイミングパルス信号を入力することにより、上述した時間窓開始時期のニューロン間での共通化をもたらしている。図１に示すような構成において、シナプスアレイ回路ブロック３とニューロンアレイ回路ブロック２を図２に示す階層構造全体の一層分とすると、タイミング信号は層内で共通して用いられる。また、シナプスアレイ回路ブロック３とニューロンアレイ回路ブロック２を図２に示す階層構造全体のうち一部に相当する複数の層が実現されるように構成した場合であっても、時間窓の同期制御は（仮に必要であったとしても）ネットワーク全体にわたって行う必要は無く、タイミング信号のskew等の問題は全体として緩和されている。
【０１０６】
＜撮像装置、ロボット視覚ヘッドなどへ搭載した応用例＞
本実施形態の構成に係る並列パルス信号処理手段をパターン認識(検出)装置としてロボット視覚ヘッド、或いは光軸方向制御機構を有する撮像装置に搭載させることにより、視野内の特定被写体を高速に検出し、最適撮影（自動フォーカシングや特定被写体の色補正、露出等）制御を行うことができる。この場合の構成について、図１２を参照して説明する。
【０１０７】
図１２の撮像装置９は、撮影レンズおよびズーム撮影及び光軸方向制御用の駆動制御機構を含む結像光学系９２、CCD又はＣＭＯＳイメージセンサー９３、撮像パラメータの計測手段９４、映像信号処理回路９５、記憶手段９６、撮像動作の制御、撮像条件の制御などの制御用信号を発生する制御信号発生手段９７、EVFなどファインダーを兼ねた表示ディスプレイ９８、ストロボ発光手段９９、記録媒体９１０、そして注視認識処理手段９１１（上述した本実施形態での階層構造を持った並列パルス信号処理回路からなるパターン認識装置）などを具備する。
【０１０８】
この撮像装置は、撮像手段内の映像センサから入力される画像信号から予め登録された人物の存在する方向を推定し、当該方向へ撮像光学系の光軸制御を行って顔画像の検出(存在位置、サイズの検出)を注視認識処理手段９１１により行う。その人物の位置（存在方向）、サイズ情報は制御信号発生手段に９７に入力されると、同制御信号発生手段９７は、撮像パラメータ計測手段９４からの出力に基づき、その人物に対するピント制御、露出条件制御、ホワイトバランス制御などを最適に行う制御信号を発生する。
【０１０９】
上述した実施形態に係る並列パルス信号処理装置をこのように画像からパターン検出(認識)を行う撮像装置に用いることにより、当該被写体の検出(認識)機能を確実に、低消費電力で、かつ高速（リアルタイム）に実現して、人物等の検出とそれに基づく撮影の最適制御（ＡＦ、ＡＥなど）を行うことができる。
【０１１０】
［第２の実施形態］
本実施形態では、ニューロン素子へのパルス信号は、シナプス結合後の各信号を束ねて伝播する為の共通バスラインを通じて入力され、特徴検出層ニューロンに対しては、前段の特徴統合層出力のうち、特徴クラスに固有の位相変調を受けたパルスが時系列的に入力される。ゲート回路５をシナプス結合回路の後方であってシナプス結合が収束する共通バスライン上に設定する。
【０１１１】
本実施形態で用いるゲート回路の構成を図６に示す。ゲート回路５は、前段の層からの信号選択部５１０、クロック信号入力部５１１、カウンタ５１２、ゲートスイッチ５１３、ゲート制御回路５１４、遅延時間ベースでの比較器５１５などから構成される。ここでの信号選択部５１０は、処理結果保持メモリ４にアクセスして、受容野からの信号を取り出すためのものであり、いわゆるWTA的な機能は有しない。
【０１１２】
一方、比較器５１５はタイミング素子から与えられる基準時刻に対する到着パルス時刻の遅延量に基づいて上位レベルの信号（或いは上位レベルの極大値信号）だけを選択するための回路で時間軸ドメインでのWTA回路とみなすことができる。その他の構成要素の機能は、第１の実施形態で説明した図３Ａに示す構成の各要素と同様である。
【０１１３】
図８Ｃでは、各ニューロン間結合には、パルスの伝播時間とニューロンｎｉからニューロンｎ’ｊへのシナプス結合（Ｓｊ，ｉ）での時間遅れ等による固有（特徴に固有）の遅延が生じ、その結果としてニューロンｎ’ｊに到着するパルス列Ｐｉは、特徴統合層の各ニューロンからパルス出力がなされる限り、学習によって決まるシナプス結合での遅延量により、所定の順序（及び間隔）になっている（図８Ｃでは、Ｐ４，Ｐ３，Ｐ２，Ｐ１の順に到着するように示されている）。ゲート回路５は、シナプス結合により変調を受け、共通バス上を伝播するパルス列に対して上述したように選択的にパルス信号を通す。
【０１１４】
図８Ｄは、タイミング信号が特徴統合層ニューロンに入力された後についての層番号（２，ｋ）上の特徴統合細胞ｎ１、ｎ２、ｎ３（それぞれ異なる種類の特徴を表す）から、層番号（１，ｋ＋１）上のある特徴検出細胞（ｎ’ｊ）（より上位の特徴検出を行う）へのパルス伝播のタイミング等を示す。
【０１１５】
特徴検出層ニューロンの内部状態の算出処理は、所定の重み付き時間窓積分により行われる。図８Ｃにおいて、特徴検出層ニューロンでは、タイミング素子からの入力がある前は後述する時間窓積分は行われず、タイミング素子からのパルス入力をトリガーとして、同積分が行われる。
【０１１６】
図８Ｃに示す不応期は、特徴検出細胞の発火直後から次の時間窓開始時刻までの時間帯である。不応期の長さと時間窓の幅は任意に設定可能であることはいうまでもなく、同図に示したように時間窓に比べて不応期を短くとらなくてもよい。
【０１１７】
各特徴量に対応するパルスは予め学習により定められた遅延量（位相）により、所定の時間間隔で到着する。このパルス到着時間パターンの学習制御は、本実施形態の主眼ではないので詳しくは説明しないが、例えば、ある図形パターンを構成する特徴要素がその図形の検出に最も寄与する特徴であるほど先に到着し、そのままでは、パルス到着時間がほぼ等しくなる特徴要素間では、互いに一定量だけ時間的に離れて到着するような競争学習を導入する。或いは、予め決められた特徴要素(認識対象を構成する特徴要素であって、特に重要と考えられるもの：例えば、平均曲率の大きい特徴、直線性の高い特徴など)間で異なる時間間隔で到着する様に設計してもよい。
【０１１８】
＜パルス出力の時空間的統合及びネットワーク特性＞
次に入力パルスの時空間的重み付き総和（荷重和）の演算について説明する。図１１Ｂに示すごとく、各ニューロンでは、上記サブ時間窓(タイムスロット毎に所定の重み関数で入力パルスの荷重和がとられ、各荷重和の総和が閾値と比較される。τｊはサブ時間窓ｊの重み関数の中心位置を表し、時間窓の開始時刻基準（開始時間からの経過時間）で表す。重み関数は一般に所定の中心位置（検出予定の特徴が検出された場合のパルス到着時間を表す）からの距離（時間軸上でのずれ）の関数になる。
【０１１９】
シナプスで特徴の種類に応じた位相変調が行われ、シナプス荷重値と信号との乗算が行われない場合には、時間窓積分において前段の層でのニューロン出力レベルにシナプス荷重に応じた乗算を時間軸上の重み関数値を参照して行う。
【０１２０】
なお、各サブ時間窓内での重み関数形状が対称の場合、若しくは時間軸上での距離の関数となっている場合、ニューロンの各サブ時間窓(タイムスロット)の重み関数の中心位置τが、ニューロン間の学習後の時間遅れとすると、入力パルスの時空間的重み付き総和（荷重和）を行う神経回路網は一種の時間軸ドメインのRadial Basis Function Network（以下ＲＢＦと略す）とみなすことができる。
【０１２１】
重み関数としては、非対称形状（図１１Ｂに示すように）や負の値をとるものであってもよい。例えば、ある特徴検出層のニューロンが三角形を最終的に検出することが予定されている場合に、その図形パターンの構成要素でないことが明らかな特徴（Ｆｆａｌｓｅ）が検出された場合には、他の特徴要素からの寄与が大きくても三角形の検出出力が最終的になされないように、入力の総和値算出処理において、当該特徴（Ｆｆａｌｓｅ）に対応するパルスからは、負の寄与を与えるような重み関数及び特徴検出(統合)細胞からの結合を与えておくことができる。
【０１２２】
特徴検出層のニューロンｎｉへの入力信号の時空間和Ｘｉ（ｔ）は、
【０１２３】
【数１】
0004780921.tif 000002
【０１２４】
ここに、εｊは、ニューロンｎｊからの出力パルスの初期位相、ＦＴｉは時間窓重み関数であり、ニューロンｎｉとの同期発火により、０に収束するか、又はタイミングパルス入力により、時間窓の位相を０に強制同期する場合には、εｊは常に０としてよい。
図１１Ａのパルス入力と図１１Ｂに示す重み関数による荷重和を実行すると、図１１Ｄに示すような荷重和値の時間的遷移が得られる。特徴検出ニューロンは、この荷重和値が閾値（Ｖｔ）に達するとパルス出力を行う。ニューロンｎｉからの出力パルス信号は、前述したように、入力信号の時空間和（いわゆる総入力和）のsquashing非線形関数となる出力レベルと学習により与えられた時間遅れ（位相）をもって上位層のニューロンに出力される（パルス出力は固定周波数（２値）とし、学習によって決まる固定遅延量に相当する位相に入力信号の時空間和についてのsquashing非線形関数となる位相変調量を加えて出力される）。
【０１２５】
以下、簡単のために三角形を特徴として検出する特徴検出ニューロンについて説明する。その前段の特徴統合層は、図１１Ｃに示すような各種向きを持ったＬ字パターン（ｆ１１，ｆ１２，・・・，）、Ｌ字パターンとの連続性（連結性）を有する線分の組み合わせパターン（ｆ２１，ｆ２２，・・・）、三角形を構成する２辺の一部の組み合わせ（ｆ３１，・・・）、などのような図形的特徴(特徴要素)に反応するものとする。
【０１２６】
また、同図のｆ４１，ｆ４２，ｆ４３は向きの異なる三角形を構成する特徴であって、ｆ１１，ｆ１２，ｆ１３に対応する特徴を示している。学習により層間結合をなすニューロン間に固有の遅延量が設定された結果、三角形の特徴検出ニューロンにおいては、時間窓を分割して得られる各サブ時間窓（タイムスロット）（ｗ１，ｗ２，・・・）において、三角形を構成する主要かつ異なる特徴に対応するパルスが到着するように予め設定がなされる。
【０１２７】
例えば、時間窓をｎ分割した後のｗ１，ｗ２，・・・、ｗｎには図１１Ａに示すごとく、全体として三角形を構成するような特徴のセットの組み合わせに対応するパルスが初めに到着する。ここに、Ｌ字パターン（ｆ１１，ｆ１２，ｆ１３）は、それぞれｗ１，ｗ２，ｗ３内に到着し、特徴要素（ｆ２１，ｆ２２，ｆ２３）に対応するパルスは、それぞれｗ１，ｗ２，ｗ３内に到着するように学習により遅延量が設定されている。
【０１２８】
特徴要素（ｆ３１，ｆ３２，ｆ３３）対応のパルスも同様の順序で到着する。図１１Ａの場合、一つのサブ時間窓（タイムスロット）にそれぞれ一つの特徴要素に対応するパルスが到着する。
【０１２９】
重要な特徴ほど早いサブ時間窓にパルスが到着するように予め設定されているとすると、当該サブ時間窓での重み関数値が他のサブ時間窓での値より大きくすることにより、重要度の高い特徴ほど検出されやすくすることができる。この重要度（特徴間の検出優先度）は学習により獲得されるか、予め定義しておくこともできる。
【０１３０】
サブ時間窓(タイムスロット)への分割数、各サブ時間窓(タイムスロット)の幅および特徴のクラスおよび特徴に対応するパルスの時間間隔の割り当てなどは上述した説明に限らず、変更可能であることはいうまでもない。
【０１３１】
［第３の実施形態］
本実施形態では、特徴検出層ニューロンの受容野を構成するシナプス結合の分布に基づいてゲート回路は強度が極大となり、絶対値が上位ｋ個（ｋは自然数）の範囲に収まるシナプス結合を選択し、該当するシナプス結合からのパルス信号だけを通過させる。
【０１３２】
図５は、本実施形態に係る並列パルス信号処理装置の要部構成を示し、データ入力制御回路１００、ニューロンアレイ回路ブロック２００、シナプスアレイ回路ブロック３００、処理結果保持メモリ４００、ゲート回路５００、信号生成回路６００、および全体制御回路７００を主たる構成要素とする。各構成要素の機能は、ゲート回路５００を除いて第１の実施形態と同じである。
【０１３３】
第１の実施形態との構成上の違いは、ゲート回路はシナプスアレイ回路ブロック３００にアクセスし、有意なシナプス結合を選択する点である。有意なシナプス結合とは、上記したように強度が極大となり、絶対値が上位ｋ個（ｋは自然数）の範囲に収まるシナプス結合を意味する。
【０１３４】
図３Ｂに信号選択部６０、クロック信号入力部６１、およびゲート制御回路６４を主たる構成要素とするゲート回路５００の構成を示す。信号選択部６０は、図１のシナプス結合回路アレイ３００内部のメモリからシナプス結合データを一旦全て読み出し、然る後、上位ｋ個の極大値に相当するシナプス結合の荷重値を格納するメモリアドレスから抽出するようなWTA回路（第１の実施形態で示した文献３を参照）としての機能を備え、有意なシナプス結合のアドレスを選択する。ゲート制御回路６４は、信号選択部で抽出したシナプス結合により変調されたパルス信号をクロック信号入力部６１からのタイミング信号に同期して選択的に通過させる。
【図面の簡単な説明】
【０１３５】
【図１】並列パルス信号処理装置の要部構成を示すブロック図である。
【図２】ネットワーク全体構成を概念的に示す図である。
【図３Ａ】ゲート回路５の構成を示す図である。
【図３Ｂ】ゲート回路５００の構成を示す図である。
【図４】シナプス回路の構成を示す図である。
【図５】本発明の第３の実施形態に係る並列パルス信号処理装置の要部構成を示す図である。
【図６】本発明の第２の実施形態に係るゲート回路の構成を示す図である。
【図７Ａ】シナプス回路及びニューロン回路の結合関係を概念的に示す図である。
【図７Ｂ】シナプス回路及びニューロン回路の結合関係を概念的に示す図である。
【図８Ａ】特徴統合層から特徴検出層への（例えば、図１の層（２,０）から層（１,１）への）パルス信号の伝播の様子を模式的に示した図である。
【図８Ｂ】ゲート回路５を通過後の各パルス信号の時間窓積分を並列的に行うときのシナプス後の信号が並列的に時間窓積分される様子（ほぼ同じ時間帯に複数の時間窓積分を行う様子）を模式的に表す図である。
【図８Ｃ】第２の実施形態におけるニューロン間結合を示す図である。
【図８Ｄ】タイミング信号が特徴統合層ニューロンに入力された後についての層番号（２，ｋ）上の特徴統合細胞ｎ１、ｎ２、ｎ３（それぞれ異なる種類の特徴を表す）から、層番号（１，ｋ＋１）上のある特徴検出細胞（ｎ’ｊ）（より上位の特徴検出を行う）へのパルス伝播のタイミング等を示す図である。
【図９Ａ】学習回路の構成を示す図である。
【図９Ｂ】シナプス回路の構成を示す図である。
【図１０Ａ】パルス位相変調回路の構成を示す図である。
【図１０Ｂ】単安定マルチバイブレータ５０６へ入力された方形波Ｐ１、単安定マルチバイブレータ５０６から出力される方形波Ｐ２、単安定マルチバイブレータ５０７から出力される方形波Ｐ３の各タイミングを示す図である。
【図１１Ａ】第２の実施形態で用いるパルス間隔パターンによる高次の図形情報の検出を行う際の特徴検出ニューロンに入力される異なる特徴要素に対応する複数パルスを示す図である。
【図１１Ｂ】第２の実施形態で用いるパルス間隔パターンによる高次の図形情報の検出を行う際の特徴検出ニューロンに入力される異なる特徴要素に対応する複数パルスを処理する際の重み関数分布の例を示す図である。
【図１１Ｃ】三角形を特徴として検出する特徴検出ニューロンが反応する、各種向きを持ったＬ字パターン（ｆ１１，ｆ１２，・・・，）、Ｌ字パターンとの連続性（連結性）を有する線分の組み合わせパターン（ｆ２１，ｆ２２，・・・）、三角形を構成する２辺の一部の組み合わせ（ｆ３１，・・・）、などのような図形的特徴(特徴要素)を示す図である。
【図１１Ｄ】図１１Ａのパルス入力と図１１Ｂに示す重み関数による荷重和を実行し、得られる荷重和値の時間的遷移を示す図である。
【図１２】本発明の第１の実施形態の構成に係る並列パルス信号処理手段をパターン認識(検出)装置とし、このパターン認識装置を搭載した撮影装置の構成例を示す図である。
【図１３】ゲート回路が特徴統合層出力のうち、各特徴クラス内での極大値上位信号を選択的に通過させる様子を模式的に示した図である。
【図１】
0004780921.tif 000003
【図２】
0004780921.tif 000004
【図３Ａ】
0004780921.tif 000005
【図３Ｂ】
0004780921.tif 000006
【図４】
0004780921.tif 000007
【図５】
0004780921.tif 000008
【図６】
0004780921.tif 000009
【図７Ａ】
0004780921.tif 000010
【図７Ｂ】
0004780921.tif 000011
【図８Ａ】
0004780921.tif 000012
【図８Ｂ】
0004780921.tif 000013
【図８Ｃ】
0004780921.tif 000014
【図８Ｄ】
0004780921.tif 000015
【図９Ａ】
0004780921.tif 000016
【図９Ｂ】
0004780921.tif 000017
【図１０Ａ】
0004780921.tif 000018
【図１０Ｂ】
0004780921.tif 000019
【図１１Ａ】
0004780921.tif 000020
【図１１Ｂ】
0004780921.tif 000021
【図１１Ｃ】
0004780921.tif 000022
【図１１Ｄ】
0004780921.tif 000023
【図１２】
0004780921.tif 000024
【図１３】
0004780921.tif 000025