(57)【特許請求の範囲】
【請求項１】
フーリエ級数信号を用いて演算する学習しきい素子で構成された階層型ニューラル・ネットワーク・システムであって、
第１層は、ネットワークへの入力信号を正弦波信号に変換し、さらにそれらを加算して複数のフーリエ級数信号を生成した後に、それらのフーリエ級数信号で群変調する群変調器と、群変調された信号で第２層への搬送波を変調する変調器とを有し、
各中間層は、それぞれの層に対応した搬送波に同調した入力信号用同調器および復調器と、群復調器を内蔵した複数の学習しきい素子と、前記複数の学習しきい素子の正弦波出力信号から複数のフーリエ級数信号を生成した後に、それらのフーリエ級数信号で群変調する群変調器と、群変調された信号で次の層への搬送波を変調する変調器とを有する
ことを特徴とする階層型ニューラル・ネットワーク・システム。
【請求項２】
請求項１に記載の階層型ニューラル・ネットワーク・システムにおいて、
ネットワークの各層の素子への教師信号を正弦波信号に変換し、さらにそれらを加算して複数のフーリエ級数信号を生成した後に、それらのフーリエ級数信号で各層ごとに群変調する群変調器と、
前記群変調器の出力で各層に対応した搬送波を変調する変調器と、
各層ごとの対応する搬送波に同調した教師信号用同調器および復調器とを有し、
第２層以降を構成する前記学習しきい素子は、群変調に用いられた教師用の前記複数のフーリエ級数信号中から自己あての教師信号を含むフーリエ級数信号を群復調する群復調器を有する
ことを特徴とする階層型ニューラル・ネットワーク・システム。
【請求項３】
請求項２に記載の階層型ニューラル・ネットワーク・システムにおいて、
前記第２層以降を構成する学習しきい素子は、入力総和計算部と、出力信号発生部と、教師信号計算部と、結合荷重メモリ部と、結合荷重修正部とを有し、
前記入力総和計算部、前記結合荷重メモリ部および前記結合荷重修正部は、内蔵された群複調器からの出力信号を処理できる
ことを特徴とする階層型ニューラル・ネットワーク・システム。
【請求項４】
請求項１〜３のいずれかに記載の階層型ニューラル・ネットワーク・システムにおいて、
前記群復調器は、スーパヘテロダイン方式を取り入れていることを特徴とする階層型ニューラル・ネットワーク・システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ニューラル・ネットワーク・システムに関し、特にフーリエ級数型学習しきい素子を用いたニューラル・ネットワーク・システムに関する。
【０００２】
【技術的背景】
人間の大脳皮質は約１４０億の神経細胞で構成された大規模なネットワークであり、機械知能を人間の知能に近づける一つの道は大規模な人工ニューラル・ネットワークを実現することである。人工ニューラル・ネットワークは、神経細胞のモデル素子で構成されている。図１に神経細胞の離散時間学習しきい素子モデルを示す。可変結合の数はｎ＋１個、ｗｉは第ｉ可変結合の結合荷重、ｘｉはそれへの入力信号、ｚは出力信号、ｙは教師信号である。ｘｎ＋１は特別な入力信号で、常時１である。τは離散時間で、０，１，２，…の整数値をとる。ｙ（τ）とｚ（τ）は必ずしもτにおいてではなく、実際にはτとτ＋１の間で発生してもよい。
図１に示される離散時間学習しきい素子モデルにおける入出力関係は、
【数１】
0003758982.tif 000002
で示す入力荷重和ｓ（τ）を用いて、以下のように表される。
【数２】
0003758982.tif 000003
ここで、ｆ（・）はｓを独立変数、ｚを従属変数としたときの出力関数で、単位ステップ関数や以下のようなシグモイド関数などが用いられる。
【数３】
0003758982.tif 000004
結合荷重ｗｉ（τ）（ｉ＝１，２，…，ｎ）は、ｙ（τ）またはｚ（τ）の発生後、すなわちτとτ＋１の間に、以下の式（３）のように変更される。
【数４】
0003758982.tif 000005
ここで、αは学習定数、ｒは学習信号である。学習信号は、一般Ｈｅｂｂ学習法では以下の表１に示すように、学習法の種類によってそれぞれ異なった形の計算式で与えられる。
【表１】
0003758982.tif 000006
【０００３】
しかしながら、現在のニューラル・ネットワークＬＳＩは、大規模化しようとすると配線が非常に複雑になると同時に、ＬＳＩの大部分の面積を配線が占めるという問題が生じる。そのため、素子数はせいぜい数千程度が限界である。この問題を解決するために、本出願の発明者は、ベクトルの成分をフーリエ係数として一つの周期信号に変換することを考え、これをフーリエ級数信号と名づけた。
フーリエ級数信号は、各フーリエ係数に情報を担わせることにより、複数個の情報あるいは多次元の情報を一つの信号で表現でき、かつ１本の信号線で伝送できるので、情報表現および情報伝送の上で大変便利である。さらに、情報処理の上でもいろいろな利点が考えられる。例えば、ベクトルの各成分をフーリエ係数にとれば、ベクトルの加算、減算、内積演算が簡単なアナログ回路で短時間に実行できる。これを、図２〜図４を用いて説明する。
図２は、ベクトルの各成分がどのようにフーリエ係数と対応するかを示している。図２において、ベクトルＡ＝（ａ１，ａ２，ａ３，…）とベクトルＢ＝（ｂ１，ｂ２，ｂ３，…）の成分であるａ１，ａ２，ａ３，…およびｂ１，ｂ２，ｂ３，…が、それぞれフーリエ級数信号である関数ＦＡ（ｔ）とＦＢ（ｔ）におけるフーリエ係数となっていることを示している。
【０００４】
図３および図４は、ベクトルの加減算と内積演算がフーリエ級数信号ではどのように実現するかを示している。図３（ａ）は、ベクトルの加減算を示している。これで理解できるように、ベクトルの各成分ごとに演算回路を設ける必要がある。これに対して、図３（ｂ）に示されているように、フーリエ級数信号の場合は、１個のアナログ加減算回路でベクトルの加減算を行うことができる。また、図４（ａ）にはベクトルの内積演算を示している。これも各成分ごとの乗算回路と総和を計算する加算回路とが必要である。図４（ｂ）に示されているように、フーリエ級数信号の場合は、１個のアナログ乗算回路と１個のアナログ積分回路とでベクトルの内積演算を行うことができる。
フーリエ級数信号を用いることで、これらの演算回路の構成等から、
▲１▼ベクトル演算が簡単なアナログ電子回路で実行することができる。
▲２▼演算回路の入力線が、常に２本でよい。
という利点があることが分かる。
【０００５】
このように、本発明の発明者は、上述の利点を生かして、フーリエ級数信号を用いた学習しきい素子を構成すると共に、それを用いてニューラル・ネットワークを構成できるようにし、これをフーリエ級数型学習しきい素子（Fourier series-type learning threshold element：Ｆｏｌｔｈｒｅｔ）と名づけた（電子情報通信学会論文誌  Ｄ−ＩＩ  Vol.J75-D-II No.1 pp.145-151  「フーリエ級数型学習しきい素子−Ｆｏｌｔｈｒｅｔ−」１９９２年１月；電子情報通信学会論文誌  Ｄ−ＩＩ  Vol.J76-D-II No.3 pp.680-688  「ニューラルコンピュータのための基本素子ＧＨ−Ｆｏｌｔｈｒｅｔ」１９９３年３月等を参照）。
【０００６】
＜ＧＨ−Ｆｏｌｔｈｒｅｔ＞
図５〜図７で、ＧＨ−Ｆｏｌｔｈｒｅｔの構成について説明する。このＧＨ−Ｆｏｌｔｈｒｅｔは、上述の表１に示すような一般Ｈｅｂｂ学習（General Hebbian learning）が可能なＦｏｌｔｈｒｅｔである。
まずｎ＋１個の入力信号ｘｉ（τ）（ｉ＝１，２，…，ｎ，ｎ＋１）とｎ＋１個の結合荷重ｗｉ（τ）（ｉ＝１，２，…，ｎ＋１）を、それぞれ以下の式（４）と（５）に示すフーリエ級数信号Ｆｘ（τ）（ｔ），Ｆｗ（τ）（ｔ）で表現する。
【数５】
0003758982.tif 000007
ここで、ωはフーリエ級数信号の基本角周波数、Ｔはフーリエ級数信号の周期で、２π／ωに等しい。［  ］はガウス記号である。
図５（ａ）は、上述の式（１）の入力の総和の計算を、式（４）、式（５）で定義したフーリエ級数信号で行う場合、図５（ｂ）は、上述の式（３）の結合荷重の修正の計算を、同様にフーリエ級数信号で行う場合を示している。
図５で示すように、これらの式は以下の式（６）、式（７）で表される。
【数６】
0003758982.tif 000008
なお、λ（τ）は入力時刻を連続時間で表したものである。ＧＨ−Ｆｏｌｔｈｒｅｔでは１単位時間は２Ｔとなり、はじめの１周期間すなわちλ（τ）からλ（τ）＋Ｔにおいては、ｓ（τ）等が求められる。λ（０）は０である。図６は、これらの演算をアナログ回路で行うことを示している。図６（ａ）はフーリエ級数信号を用いて入力の総和の計算を行うための回路で、乗算器３１２および積分器３１４で構成されている。図６（ｂ）は、同じくフーリエ級数信号を用いて結合荷重の修正の計算を行う回路を示しており、乗算器３２４、増幅器（増幅率α）３２３、加算器３２２で構成されている。
【０００７】
図７は、これらの回路を用いて構成したＧＨ−Ｆｏｌｔｈｒｅｔのブロック図である。ＧＨ−Ｆｏｌｔｈｒｅｔは、入力総和計算部３１０、出力信号発生部３６０、結合荷重修正部３２０、結合荷重メモリ部３３０、教師信号計算部３４０で構成されている。結合荷重メモリ部３３０は、ＡＤ変換器、ＤＡ変換器、および、デジタル・メモリで構成してもよい。
この図７では、入力線は２本で、１本はＦｘ（τ）（ｔ）のため、もう１本は教師信号を含んだ信号ｙ（τ）ξ（ｔ）のためである。なお、ξ（ｔ）は、振幅１の正弦波信号で、直流信号であるｙ（τ）を交流信号に変換している。
さて、時刻λ（τ）にＦx（τ）（ｔ）がまず入力される。Ｆx（τ）（ｔ）は乗算器３１２により、結合荷重メモリ部３３０に記憶されているフーリエ級数信号Ｆｗ（τ）（ｔ）と乗算され、さらに積分器３１４により１周期間積分されて、ｓ（τ）が求められる。これから、出力信号発生部３６０の関数演算器３６２により、ｚ（τ）＝ｆ（ｓ（τ））を計算する。この信号はサンプル・ホールド３６４および３６６により遅延される。従って、時刻λ（τ）の時点では、時刻λ（τ−１）の出力信号ｚ（τ−１）をｐ（τ）（ｔ）として出力することになる。振幅１の正弦波であるζ（ｔ）との掛け算を乗算器３６８により行い、Ｐ（τ）（ｔ）として出力する。
Ｆｗ（τ）（ｔ）の変更は、教師信号計算部３４０において、入力された信号ｙ（τ）ξ（ｔ）から教師信号ｙ（τ）を計算し、次に、学習信号計算器３２６において、ｙ（τ），ｓ（τ），ｚ（τ）等を用いて学習信号ｒ（τ）を計算し、これとＦｘ（τ）（ｔ）により行う。この学習信号ｒ（τ）は、表１に示した学習法により規定されている。変更によって得られるＦｗ（τ＋１）（ｔ）は、結合荷重メモリ部３３０におけるＦｗ（τ）（ｔ）を保持しているメモリ３３４とは別のメモリ３３５に１周期分書き込まれる。これら二つのメモリ３３４，３３５は並列に接続され、学習期間中それぞれの役割は単位時間ごとに交互に切り換わる。すなわち、一方のメモリがＦｗ（τ）（ｔ）の読出し用であれば、他方はＦｗ（τ＋１）（ｔ）の書込み用である。学習期間後に切換えは行われず、一つのメモリ内の信号が常に読み出される。
【０００８】
＜ネットワーク（回路網）＞
ネットワークの基本構造としては、相互結合型、階層型、混合型の三種類がある。混合型は、階層型において層内部の素子を相互結合したものや、隣接した層だけでなく離れた層の間にも結合を設けたものなどさまざまな形態がある。階層型や混合型は、相互結合型において特定の素子間の結合荷重を０に固定したものとみなすことができ、そのような意味では相互結合型の特殊な場合である。従って、情報処理のみを考えるなら、相互結合型をＧＨ−Ｆｏｌｔｈｒｅｔによって実現すれば、他のネットワークも同じ方法で実現できる。
しかし、学習まで考えると話は別である。相互結合型の場合には、ＧＨ−Ｆｏｌｔｈｒｅｔによってネットワークを実現すれば、そのまま学習も可能となる。それに対して、階層型や混合型の場合には、ＧＨ−Ｆｏｌｔｈｒｅｔによってネットワークを実現しても、各ＧＨ−Ｆｏｌｔｈｒｅｔが入力信号を選択するようにしなければネットワークの学習はできない。なぜなら、そのような選択をしないと、常に０でなければならない結合荷重が結合荷重の変更時に０でなくなってしまう可能性があるからである。従って、ＧＨ−Ｆｏｌｔｈｒｅｔでネットワークを実現する場合、相互結合型とその他のネットワークを別個に分けて考える必要がある。
【０００９】
＜階層型ネットワーク＞
図８は階層型ネットワークの構成を図示したものである。各層の素子は、第１層（入力層）・・・第Ｌ層（中間層）・・・第Ｍ層（出力層）にｎ１個・・・ｎＬ個・・・ｎＭ個づつ配置されている。ただし、入力層の素子は、１個の入力信号をそのまま出力して、第２層に送るものである。第２層から出力層までの素子はすべて学習しきい素子である。入力層でもある第１層の各素子への入力信号
【数７】
0003758982.tif 000009
をｋ個のグループに分け、それぞれのグループに含まれる入力信号を成分とするベクトルをｘ＜１｜１＞，・・・，ｘ＜１｜ｋ＞と表し、入力信号全体をベクトルｘ＜１＞として表している。第１層を構成するそれぞれの素子の出力信号を
【数８】
0003758982.tif 000010
とし、この出力信号全体を、これらの出力信号を成分とするベクトルｚ＜１＞と表すと、これは、最初の中間層である第２層の入力ベクトルｘ＜２＞となっている。同様に第Ｌ層（中間層）の入力ベクトルｘ＜Ｌ＞は、第Ｌ−１層の出力ベクトルｚ＜Ｌ−１＞であり、第Ｌ層の出力ベクトルｚ＜Ｌ＞は、次の層の入力ベクトルとなっている。この階層型ネットワークの出力は、第Ｍ層からの出力ベクトルｚ＜Ｍ＞である。なお、第１層に限って、ベクトルｘ＜１＞とベクトルｚ＜１＞は等しい。
また、第２層以降には、それぞれの素子に、その素子への教師信号
【数９】
0003758982.tif 000011
が入力されている。
【００１０】
＜ＧＨ−Ｆｏｌｔｈｒｅｔによる階層型ネットワーク＞
図８に示した階層型ネットワークをＧＨ−Ｆｏｌｔｈｒｅｔで構成したものを図９（ａ）に示す。ネットワークの各素子４４２，４４６，４５２，４５６，４６２．４６６に一つの周波数を割り当て、それぞれの素子の出力信号線からはその周波数の正弦波が出力されるようにして、すべての素子の入力用信号線と出力用信号線を１本の共通の信号線に接続している。図９（ａ）の場合、帯域フィルタ４３２，４３４．４３６を各層に１個ずつ配置し、結合荷重の変更時に別の層の入力信号が混入しないようにしている。周波数分割多重方式により、図９（ｂ）に示すように、各層に入力されるフーリエ級数信号Ｆｘ＜Ｌ＞（ｔ）（Ｌ＝２，３，…，Ｍ）の占有する周波数帯域は互いに重ならないようにとってあり、各フィルタの通過帯域はこれらの周波数帯域の一つを内部に含む。周波数は後の層ほど高くなる。この階層型ネットワークの場合、各帯域フィルタでの待ち時間を１周期とすると、信号が第１層に入力されてから第Ｍ層より出力されるまでの時間は３（Ｍ−１）Ｔとなる。
図９（ａ）に示すように、第２層の入力Ｆｘ＜２＞（ｔ）は第２層の帯域フィルタＢＰＦ＜２＞４３２を通過して第２層の各ＧＨ−Ｆｏｌｔｈｒｅｔに供給される。なお、図９（ｂ）から理解できるように、第２層から第Ｍ層までの全素子数をｖとすると、入力信号線に伝送される信号の周波数範囲は、ωから［（ｎ１＋ｖ−ｎＭ＋Ｍ−１）／２］・ω以上となる。
以上述べた方法のほかに、帯域フィルタを各ＧＨ−Ｆｏｌｔｈｒｅｔに内蔵させる方法も考えられる。この場合、ネットワークは図９の中の帯域フィルタを取り除いた形で実現される。
ただ、帯域フィルタを用いると、１単位時間を３周期から４周期ぐらいにしなければならず、スループットが低下する。従って、フーリエ級数信号の基本周波数および帯域フィルタの通過帯域をできるだけ高い方にもっていくことが必要になる。
大規模なネットワークを実現する場合には、以上述べたいずれの方法でも、使用する周波数は非常に低いところから高いところまで相当広範囲にわたる。そのため、ハードウェア化する上でさまざまな問題が出てくる。例えば、加算器や乗算器あるいは積分器の高域遮断周波数をかなり高くしなければならないし、入力信号線４１０や教師信号線４２０についても伝送帯域を低い方から高い方まで相当広くしなければならない。
しかし、実際的には、Ｆｏｌｔｈｒｅｔに用いられる回路部品の使用周波数帯域に制限があるため、Ｆｏｌｔｈｒｅｔネットワークが利用できる周波数帯域をどこまでも際限なく広げることはできない。このために、ネットワークの素子数の拡大には限界があり、大規模なニューラル・ネットワークＬＳＩの実現は大きな課題である。
【００１１】
【発明が解決しようとする課題】
本発明の目的は、Ｆｏｌｔｈｒｅｔネットワークの以上に述べた課題を解決して、ネットワークが利用できる周波数帯域幅を大幅に拡大し、大規模ニューラル・ネットワークＬＳＩの実現を可能とすることである。
【課題を解決するための手段】
上記目的を達成するために、本発明は、フーリエ級数信号を用いて演算する学習しきい素子で構成された階層型ニューラル・ネットワーク・システムであって、第１層は、ネットワークへの入力信号を正弦波信号に変換し、さらにそれらを加算して複数のフーリエ級数信号を生成した後に、それらのフーリエ級数信号で群変調する群変調器と、群変調された信号で第２層への搬送波を変調する変調器とを有し、中間層は、それぞれの層に対応した搬送波に同調した入力信号用同調器および復調器と、群復調器を内蔵した複数の学習しきい素子と、前記複数の学習しきい素子の正弦波出力から複数のフーリエ級数信号を生成した後、それらのフーリエ級数信号で群変調する群変調器と、群変調された信号で次の層への搬送波を変調する変調器とを有するものである。
この階層型ニューラル・ネットワーク・システムは、ネットワークの各層への教師信号を正弦波信号に変換し、さらにそれらを加算して複数のフーリエ級数信号を生成した後、それらのフーリエ級数信号で各層ごとに群変調する群変調器と、前記変調器の出力で各層に対応した搬送波を変調する変調器と、各層ごとに対応する搬送波に同調した教師信号用同調器と復調器とを有し、第２層以降を構成する前記学習しきい素子は、群変調信号中から自己あての教師信号を含んだフーリエ級数信号を群復調する群復調器を有してもいる。
また、前記第２層以降を構成する学習しきい素子は、入力総和計算部と、出力信号発生部と、教師信号計算部と、結合荷重メモリ部と、結合荷重修正部とを有し、前記入力総和計算部、前記結合荷重メモリ部および前記結合荷重修正部は、内蔵された群復調器からの出力信号を処理できる。
前記群復調器は、スーパヘテロダイン方式を取り入れることが望ましい。
【００１２】
【発明の実施の形態】
本発明の実施形態を、図面を参照して詳細に説明する。
本発明は、周波数範囲が制限された無数のフーリエ級数信号を用いて群変調を行うことにより、ネットワークが利用できる周波数帯域幅を大幅に拡大し、ニューラル・ネットワークを構成する多数のＦｏｌｔｈｒｅｔを使用できるようにした。
＜群変調＞
まず、群変調について説明する。群変調は、搬送式多重通信方式において、いくつかの音声通話路をまとめて変調して一つの通話路群（前群）を作り、この１束の通話路群を１群とし、他の通話路群と合わせて、また変調して通話路群（基礎群）を作成する等を繰り返すことで、多数の通話路をまとめて搬送することをいう。良く用いられる群変調の例を表２に示す。
【表２】
0003758982.tif 000012
表２では、３つの音声チャネルをまとめて前群とし、４つの前群をまとめて基礎群（Ｇ）としている。また、５つの基礎群（Ｇ）をまとめて基礎超群（ＳＧ）とし、５つの基礎超群（ＳＧ）をまとめて基礎主群（ＭＧ）としている。３つの基礎主群（ＭＧ）で基礎超主群（ＳＭＧ）を構成し、４つの基礎超主群をまとめて基礎巨群を構成している。基礎巨群では、最終的にチャネル数３６００、周波数帯域４２．６ＭＨｚから５９．７ＭＨｚ、帯域幅１７．ＭＨｚである。
【００１３】
＜Ｆｏｌｔｈｒｅｔネットワークへの応用＞
上述の群変調方式の、Ｆｏｌｔｈｒｅｔネットワークへの応用について説明する。フーリエ級数信号で搬送波を変調した信号を集めてまず前群を作る。次に、このようにして作られた前群を一つの信号として扱い、複数個の前群で周波数のさらに高い搬送波を変調して基礎群を作る。さらに基礎群を一つの信号として、同様の多重化を行い、基礎超群を作る。これを繰り返し適用することにより、基礎主群、基礎超主群、基礎巨群等を作ることができる。このような群変調により、ネットワークを構成する実質的なＦｏｌｔｈｒｅｔ数を限りなく拡大していくことができる。
この群変調を用いた階層型ネットワークを構成するフーリエ級数型学習しきい素子を図１０に示す。図１０は、群復調器を内蔵した群変調用ＧＨ−Ｆｏｌｔｈｒｅｔ６００の構成を示している。図１０における群変調用ＧＨ−Ｆｏｌｔｈｒｅｔの基本的構成は、図７に示したＧＨ−Ｆｏｌｔｈｒｅｔの構成と同様である。図１０において、フーリエ級数信号Ｆｙ（τ）（ｔ）に対する群複調器６１０は、第Ｌ層第ｉグループのＧＨ−Ｆｏｌｔｈｒｅｔに対して復調を行い、この素子に対する教師信号を含んだフーリエ級数信号を出力する。また、フーリエ級数信号Ｆｘ（τ）（ｔ）に対する群復調器６２０は、第Ｌ層の素子に対するすべての入力信号を含んだｋ個のフーリエ級数信号Ｆｘ（τ）＜Ｌ｜１＞（ｔ），・・・，Ｆｘ（τ）＜Ｌ｜ｋ＞（ｔ）を復調することができる。このｋ個のフーリエ級数信号Ｆｘ（τ）＜Ｌ｜１＞（ｔ），・・・，Ｆｘ（τ）＜Ｌ｜ｋ＞（ｔ）に対して、それぞれに対応した結合荷重を含んだフーリエ級数信号をｋ個の乗算器６４２・・・乗算器６４５により掛け合わせた後、ｋ個の積分器６４３・・・積分器６４７により積分され。その総和を加算器６４９でとる。結合荷重を含んだフーリエ級数信号は、ｋ個の結合荷重メモリ部６３２・・・結合荷重メモリ部６３６により発生する。この結合荷重メモリ部に記憶されている結合荷重を含むフーリエ級数信号は、それぞれｋ個ある乗算器６３５・・・乗算器６３９、増幅器６３４・・・増幅器６３８および加算器６３３・・・加算器６３７で構成される結合荷重修正部により修正される。他の教師信号計算部や出力信号発生部の構成は、図７に示したＧＨ−Ｆｏｌｔｈｒｅｔと同じである。このような図１０に示した構成の群複調器を内蔵した群変調用ＧＨ−Ｆｏｌｔｈｒｅｔは、実質的に図７のＧＨ−Ｆｏｌｔｈｒｅｔのｋ個分に相当する。
【００１４】
図１１は、図１０の群復調器を内蔵した群変調用ＧＨ−Ｆｏｌｔｈｒｅｔを用いて構成した階層型ネットワークの例を示している。図１１において、第１層（入力層）では、入力信号
【数１０】
0003758982.tif 000013
をそれぞれ正弦波信号に変換し、それらをｋ個のグループに分け、各グループの正弦波信号を加算することにより、ｋ個のフーリエ級数信号Ｆｘ（τ）＜１｜１＞（ｔ），・・・，Ｆｘ（τ）＜１｜ｋ＞（ｔ）を構成する。第１層では入力信号がそのまま出力されて第２層に送られるので、これらのフーリエ級数信号は第２層の入力として送られるフーリエ級数信号Ｆｘ（τ）＜２｜１＞（ｔ），・・・，Ｆｘ（τ）＜２｜ｋ＞（ｔ）に等しい。これらのｋ個のフーリエ級数信号は、群変調器７２６において群変調に用いられ、群変調された信号で第２層に対応した周波数ω＜２＞の搬送波を変調してから、入力信号線５１４を介して第２層を構成するＧＨ−Ｆｏｌｔｈｒｅｔに伝搬している。第２層では、周波数ω＜２＞の同調器７４２と復調器７４４の対により、第１層から第２層に送られた群変調された信号を受信する。
また、第２層、第３層・・・第Ｍ層に対する教師信号
【数１１】
0003758982.tif 000014
も同様に、それぞれ正弦波信号に変換し、それらを各層ごとに複数のグループに分け、各グループの正弦波信号を加算することにより、各層に対応したｍ個のフーリエ級数信号Ｆｙ（τ）＜２｜１＞（ｔ），・・・，Ｆｙ（τ）＜２｜ｍ＞（ｔ），Ｆｙ（τ）＜３｜１＞（ｔ），・・・，Ｆｙ（τ）＜３｜ｍ＞（ｔ），・・・，Ｆｙ（τ）＜Ｍ｜１＞（ｔ），・・・，Ｆｙ（τ）＜Ｍ｜ｍ＞（ｔ）を得ている。これらのフーリエ級数信号を用いて、それぞれ各層ごとに、群変調器７２２，群変調器７２３，・・・，群変調器７２４により群変調した後、さらに変調器７１２，変調器７１３，・・・，変調器７１４により各層に対応した周波数ω＜２＞，ω＜３＞，・・・，ω＜Ｍ＞の搬送波を変調する。第２層では、教師信号線５１２から送られるこれらの変調信号は、周波数ω＜２＞の同調器７３２および復調器７３４により復調されて、第２層の各素子に対する教師信号を含む群変調信号が得られる。
第２層において、教師信号線５１２から同調器７３２および復調器７３４で受信した群変調信号、入力信号線５１４から同調器７４２および復調器７４４で受信した群変調信号はともに、群変調用ＧＨ−Ｆｏｌｔｈｒｅｔ７５２，７５４，・・・，７５６に入力される。それぞれの群変調用ＧＨ−Ｆｏｌｔｈｒｅｔでは、図１０に示されているように、それぞれの素子に対する教師信号を含むフーリエ級数信号を、内部の群復調器６１０で復調して受信している。また、それぞれの素子へのｋ個の入力フーリエ級数信号を、群復調器６２０で復調して受信している。群変調用ＧＨ−Ｆｏｌｔｈｒｅｔは、実質的にｋ個のＧＨ−Ｆｏｌｔｈｒｅｔとして動作する。
第２層を構成している各ＧＨ−Ｆｏｌｔｈｒｅｔからの正弦波出力は、加算器７７２〜７７６によりグループごとに加算され、次の第３層への入力フーリエ級数信号Ｆｘ（τ）＜３｜１＞（ｔ），・・・，Ｆｘ（τ）＜３｜ｋ＞（ｔ）に構成される。これらのフーリエ級数信号は、群変調器７６２で搬送波を群変調するのに用いられる。この群変調信号で、変調器７６４において第３層に対応する周波数ω＜３＞の搬送波を変調して、入力信号線５１４に戻される。
第３層以降は、第２層と同様の構成を有しており、各層ごとに、同調器と復調器のペアでその層に対応した周波数の変調波を受信している。
【００１５】
＜スーパヘテロダイン技術の利用＞
周波数が非常に高い搬送波を用いたときの高周波域の問題解決法として、群復調に、多重スーパヘテロダイン技術を利用することができる。
群変調は、前に説明したように、変調を多重に繰り返して、段階ごとに高い周波数となる。このような群変調された信号を復調するためには、逆に高い周波数から順次低い周波数へと復調していくことが必要である。この復調にスーパヘテロダイン技術を用いるのである。この技術を利用することにより、高選択度により混信を防ぐことができ、精度のよい信号が得られることや、高周波の微弱信号を容易に増幅できるなど、大規模なネットワークを実現することに有利に働く。
【００１６】
＜まとめ＞
このように周波数帯域が制限された無数のフーリエ級数信号に群変調を適用することにより、ネットワークが利用できる周波数帯域幅を大幅に拡大し、大規模ニューラル・ネットワークＬＳＩの実現を可能とした。なお、高周波域でシャープな同調フィルタの設計が困難である等のため、多重スーパヘテロダイン方式も同時に取り入れるとよい。
【００１７】
超大規模人工ニューラル・ネットワークがハードウェア的に実現すれば、しかもＬＳＩの形になれば、以下のことが可能となる。
▲１▼  人間の持つ大規模で複雑な知識ネットワーク、特に暗黙知の部分を学習できるようになる。
▲２▼  巨大で複雑なメカニズムが存在し、数式等で記述できないシステムや処理過程の順モデルや逆モデルを学習により実現できるようになる。
▲３▼  人間に近い能力や特性を持った機械知能を実現できる。
したがって、超大規模人工ニューラル・ネットワークがハードウェア的に実現することの効果として、以下のことが期待できる。
▲１▼  人間の持つ大規模で複雑な知識ネットワーク、特に暗黙知の部分を学習できるようになれば、自然言語の意味処理、機械翻訳、名医に近い自動診断、ベテランドライバーのような自動運転や自律走行による施設の一部の無人化などが期待できる。
▲２▼  巨大で複雑なメカニズムが存在し、数式等で記述できないシステムや処理過程の順モデルや逆モデルを学習により実現できるようになれば、人間しかできないような複雑なパターン認識や動画像処理、巨大で複雑なプラントの制御等が期待できる。
▲３▼  人間に近い能力を持った機械知能を実現できれば、あらかじめ決められた作業をするだけではなく、自らも考え、人の相談にも応じることができる自動車、家庭電化製品、ワープロ、各種ロボットの実現が期待できる。
▲４▼  巨大プログラムの一部を大規模人工ニューラル・ネットワークで置き換えることにより、労力と時間およびコストの大幅な削減が期待できる。
▲５▼  既存のあらゆる工学システムに組み込んで、人間のような高い学習能力と知能を持たせることができるようになる。
【００１８】
【発明の効果】
上述したように、本発明では、周波数帯域が制限された無数のフーリエ級数信号に群変調を適用することにより、ネットワークが利用できる周波数帯域幅を大幅に拡大し、大規模ニューラル・ネットワークＬＳＩの実現を可能とした。
【図面の簡単な説明】
【図１】学習しきい素子を示す図である。
【図２】ベクトルのフーリエ級数化を説明する図である。
【図３】ベクトルの加減算のフーリエ級数信号による実現法を説明する図である。
【図４】ベクトルの内積演算のフーリエ級数信号による実現法を説明する図である。
【図５】学習しきい素子内部演算のフーリエ級数信号による実現法を説明する図である。
【図６】フーリエ級数信号を用いる場合の学習しきい素子内部の演算回路を説明する図である。
【図７】ＧＨ−Ｆｏｌｔｈｒｅｔの構成を示す図である。
【図８】階層型ネットワークの構成を説明する図である。
【図９】帯域フィルタを用いてＧＨ−Ｆｏｌｔｈｒｅｔにより階層型ネットワークを構成することを説明する図である。
【図１０】群変調を用いて階層型ネットワークを構成するためのＧＨ−Ｆｏｌｔｈｒｅｔの構成を示す図である。
【図１１】群変調用ＧＨ−Ｆｏｌｔｈｒｅｔを用いて構成した階層型ネットワークを示す図である。
【符号の説明】
３１０            入力総和計算部
３１２            乗算器
３１４            積分器
３２０            結合荷重修正部
３２２            加算器
３２３            増幅器
３２４            乗算器
３２５            サンプル・ホールド
３２６            学習信号計算器
３３０            結合荷重メモリ部
３３４，３３５        メモリ
３４０            教師信号計算部
３４２            積分器
３４４            正弦波メモリ
３４６            乗算器
３６０            出力信号発生部
３６２            関数演算器
３６４，３６６        サンプル・ホールド
３６７            正弦波メモリ
３６８            乗算器
４１０            教師信号線
４２０            入力信号線
４４２，４４６，４５２，４５６，４６２，４６６    ＧＨ−Ｆｏｌｔｈｒｅｔ４３２，４３４，４３６    帯域フィルタ
５１２            教師信号線
５１４            入力信号線
６１０            群復調器
６２０            群復調器
６３２，６３６        結合荷重メモリ部
６３３，６３７        加算器
６３４，６３８        増幅器
６３５，６３９        乗算器
６４２，６４５        乗算器
６４３，６４７        積分器
６４９            加算器
７２６            群変調器
７１２，７１３，７１４    変調器
７１６            変調器
７２２，７２３，７２４    群変調器
７３２            同調器
７３４            復調器
７４２            同調器
７４４            復調器
７５２，７５４，７５６    群変調用ＧＨ−Ｆｏｌｔｈｒｅｔ
７６２            群変調器
７６４            変調器
７７２，７７６        加算器
【図１】
0003758982.tif 000015
【図２】
0003758982.tif 000016
【図３】
0003758982.tif 000017
【図４】
0003758982.tif 000018
【図５】
0003758982.tif 000019
【図６】
0003758982.tif 000020
【図７】
0003758982.tif 000021
【図８】
0003758982.tif 000022
【図９】
0003758982.tif 000023
【図１０】
0003758982.tif 000024
【図１１】
0003758982.tif 000025