(57)【要約】  ＦＣ型ニューラルネットワーク回路における接続部の占有面積を大幅に低減することが可能なニューラルネットワーク回路を提供する。  自己学習機能を有する学習装置を構成し且つ脳機能に対応したアナログ型のニューラルネットワーク回路ＳＳにおいて、複数（ｎ個）の入力側のニューロンＮＲと、複数（ｍ個且つｎ＝ｍの場合を含む）の出力側のニューロンＮＲと、一の入力側ニューロンＮＲと一の出力側ニューロンＮＲとをそれぞれ接続する（ｎ×ｍ）個の接続部ＣＮと、自己学習制御部Ｃと、を備え、（ｎ×ｍ）個の接続部ＣＮは、脳機能としての正の重み付け機能のみに対応した接続部ＣＮと、当該脳機能としての負の重み付け機能のみに対応した接続部ＣＮと、により構成されている。
2018168293.tif 000002
【特許請求の範囲】
【請求項１】
脳機能に対応したアナログ型のニューラルネットワーク回路を備えた自己学習型の重み符号固定学習装置において、
前記ニューラルネットワーク回路は、
入力データに相当する入力信号がそれぞれ入力される複数（ｎ個）の入力部と、
出力データに相当する出力信号がそれぞれ出力される複数（ｍ個且つｎ＝ｍの場合を含む）の出力部と、
一の前記入力部と一の前記出力部とをそれぞれ接続する（ｎ×ｍ）個の接続部と、
により構成されており、
前記出力データを前記出力部から前記重み符号固定学習装置に再入力した結果として前記入力部から出力されるデータが元の前記入力データと一致するように当該重み符号固定学習装置を制御して、前記自己学習の機能を実行させる制御手段を備え、
（ｎ×ｍ）個の前記接続部は、前記脳機能としての正の重み付け機能のみに対応した前記接続部である正専用接続部と、当該脳機能としての負の重み付け機能のみに対応した前記接続部である負専用接続部と、により構成されていることを特徴とする重み符号固定学習装置。
【請求項２】
請求項１に記載の重み符号固定学習装置において、
前記正専用接続部と前記負専用接続部とが同数であることを特徴とする重み符号固定学習装置。
【請求項３】
請求項１又は請求項２に記載の重み符号固定学習装置において、
前記正専用接続部及び前記負専用接続部が、（ｎ×ｍ）個の前記接続部において一様乱数的に分布していることを特徴とする重み符号固定学習装置。
【請求項４】
請求項１又は請求項２に記載の重み符号固定学習装置において、
前記正専用接続部及び前記負専用接続部が、（ｎ×ｍ）個の前記接続部において規則的に分布していることを特徴とする重み符号固定学習装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ニューラルネットワーク回路を備えた重み符号固定学習装置の技術分野に属し、より詳細には、脳機能に対応するアナログ型のニューラルネットワーク回路を備えた自己学習型の重み符号固定学習装置の技術分野に属する。
【背景技術】
【０００２】
近年、人の脳機能に対応したニューラルネットワーク回路を用いた深層学習機能（いわゆるディープラーニング機能）に関連する研究開発が盛んに行われている。このとき、ニューラルネットワーク回路を具体的に実現する場合には、デジタル回路が用いられる場合とアナログ回路が用いられる場合とがある。ここで、前者は処理能力としては高いが大規模なハードウェア構成が必要となると共に消費電力が大きくなるため、例えばデータセンタ等において用いられる。これに対して後者は、処理能力はデジタル回路が用いられる場合より劣るものの、ハードウェア構成としての最小化及び消費電力の低減が期待できるため、例えば上記データセンタ等に接続される端末装置用として利用されることが多い。そして、後者に関する先行技術としては、例えば下記特許文献１に開示されている技術が挙げられる。【０００３】
この特許文献１には、アナログ回路により構成された（即ちアナログ型の）ニューラルネットワーク回路であって、入力側のニューロンの全てと出力側のニューロンの全てとを、それぞれの重み付けに対応した抵抗値を有する接続部により一対一に接続する、深層学習用のいわゆる全結合（ＦＣ（Full Connection））型ニューラルネットワーク回路が開示されている。この場合の重み付けとは、当該ニューラルネットワーク回路が対応すべき脳機能に対応した重み付けであり、特許文献１に開示されているニューラルネットワーク回路では、各接続部の抵抗値を可変抵抗素子により構成することで当該重み付けに対応させている。このようなＦＣ型ニューラルネットワーク回路は、例えば近傍結合型等の他の形式のニューラルネットワーク回路や、より大規模なニューラルネットワーク回路の一部として活用できるため、それ自体の更なる処理能力の向上と共に、回路規模（占有面積）の縮小化が望まれる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２８２７８２号公報（第１図、第３図等）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、上記ニューラルネットワーク回路の機能を脳機能により近付けるためには、一般に、上記重み付けとして、正の重み付けに加えて負の重み付けを用いることが必要となる。一方、上記接続部としての抵抗値は、各接続部において一定（即ち抵抗値固定式）である。よって、このような接続部により上記正の重み付けと負の重み付けとを共に実現しようとすると、入力側の一ニューロンに対応する入力データに相当する入力信号を、絶対値が等しい正の入力信号と負の入力信号とに分け、同じ抵抗値を有する二つの抵抗にこれら二つの入力信号を選択的に入力する構成とする必要がある。このとき、上記「選択的に入力する」とは、正の重み付けを実現する場合には正の入力信号のみを入力し、負の重み付けを実現する場合には負の入力信号のみを入力することを意味する。なお、正の重み付けを実現する場合には、結果的に負の入力信号用の抵抗は使用されないことになり、また負の重み付けを実現する場合には、結果的に正の入力信号用の提供は使用されないことになるが、正の重み付けを実現するか負の重み付けを実現するかは、対応させる脳機能によりニューラルネットワーク回路ごとに異なるため、回路としての汎用性を実現するためには、入力側の一のニューロンと出力側の一のニューロンとを接続する一の接続部ごとに上記二つの抵抗を予め造っておく必要がある。そしてこの場合には、当該二つの抵抗により一つの接続部が構成されることから、接続部としての回路規模（占有面積）が結果として二倍となってしまい、当該占有面積の縮小化が図れないという問題点があった。【０００６】
そしてこの問題点は、入力側のニューロンの数と出力側のニューロンの数とを乗じた数だけ接続部が必要となるＦＣ型ニューラルネットワーク回路では、接続部の多数化に伴い、占有面積の増大がより深刻化するという問題点に繋がる。【０００７】
そこで本発明は、上記の各問題点に鑑みて為されたもので、その課題の一例は、ＦＣ型ニューラルネットワーク回路における接続部の占有面積を大幅に低減することが可能な自己学習型の重み符号固定学習装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、請求項１に記載の発明は、脳機能に対応したアナログ型のニューラルネットワーク回路を備えた自己学習型の重み符号固定学習装置において、前記ニューラルネットワーク回路は、入力データに相当する入力信号がそれぞれ入力される複数（ｎ個）の入力部と、出力データに相当する出力信号がそれぞれ出力される複数（ｍ個且つｎ＝ｍの場合を含む）の出力部と、一の前記入力部と一の前記出力部とをそれぞれ接続する（ｎ×ｍ）個の接続部と、により構成されており、前記出力データを前記出力部から前記重み符号固定学習装置に再入力した結果として前記入力部から出力されるデータが元の前記入力データと一致するように当該重み符号固定学習装置を制御して、前記自己学習の機能を実行させる自己学習制御部等の制御手段を備え、（ｎ×ｍ）個の前記接続部は、前記脳機能としての正の重み付け機能のみに対応した前記接続部である正専用接続部と、当該脳機能としての負の重み付け機能のみに対応した前記接続部である負専用接続部と、により構成されている。【０００９】
請求項１に記載の発明は、ｎ個の入力部と、ｍ個の出力部と、（ｎ×ｍ）個の接続部と、自己学習の機能を実行させる制御手段と、を備え、（ｎ×ｍ）個の接続部が正専用接続部及び負専用接続部により構成されている。よって、正専用接続部及び負専用接続部から各接続部が構成されているので、ニューラルネットワーク回路における接続部の占有面積を大幅に低減することができる。【００１０】
上記の課題を解決するために、請求項２に記載の発明は、請求項１に記載の重み符号固定学習装置において、前記正専用接続部と前記負専用接続部とが同数であるように構成される。【００１１】
請求項２に記載の発明によれば、請求項１に記載の発明の作用に加えて、正専用接続部と負専用接続部とが同数であるので、重み符号固定学習装置としての学習能力を向上させつつ、接続部の占有面積を大幅に低減することができる。【００１２】
上記の課題を解決するために、請求項３に記載の発明は、請求項１又は請求項２に記載の重み符号固定学習装置において、前記正専用接続部及び前記負専用接続部が、（ｎ×ｍ）個の前記接続部において一様乱数的に分布しているように構成される。【００１３】
請求項３に記載の発明によれば、請求項１又は請求項２に記載の発明の作用に加えて、正専用接続部及び負専用接続部が、（ｎ×ｍ）個の接続部において一様乱数的に分布しているので、従来と同様の学習能力及び汎化能力を共に維持しつつ、接続部の占有面積を大幅に低減することができる。【００１４】
上記の課題を解決するために、請求項４に記載の発明は、請求項１又は請求項２に記載の重み符号固定学習装置において、前記正専用接続部及び前記負専用接続部が、（ｎ×ｍ）個の前記接続部において規則的に分布しているように構成される。【００１５】
請求項４に記載の発明によれば、請求項１又は請求項２に記載の発明の作用に加えて、正専用接続部及び負専用接続部が、（ｎ×ｍ）個の接続部において規則的に分布しているので、従来と同様の学習能力を維持しつつ、接続部の占有面積を大幅に低減することができる。
【発明の効果】
【００１６】
本発明によれば、ｎ個の入力部と、ｍ個の出力部と、（ｎ×ｍ）個の接続部と、自己学習機能を実行させる制御手段と、を備え、（ｎ×ｍ）個の接続部が正専用接続部及び負専用接続部により構成されている。【００１７】
従って、正専用接続部及び負専用接続部から各接続部が構成されているので、アナログ型のニューラルネットワーク回路を備えた自己学習型の重み符号固定学習装置における接続部の占有面積を大幅に低減することができる。
【図面の簡単な説明】
【００１８】
【図１】一つのニューロンをモデル化したユニットを示す図である。
【図２】第１実施形態に係るニューラルネットワーク回路を示す図である。
【図３】第１実施形態に係るニューラルネットワーク回路の一部等を示す図であり、（ａ）は当該一部を示す図であり、（ｂ）は当該一部をアナログ回路により構成した場合のニューラルネットワーク回路を示す図である。
【図４】第２実施形態に係るニューラルネットワーク回路を示す図である。
【発明を実施するための形態】
【００１９】
次に、本発明に係る実施形態について、図面に基づいてそれぞれ説明する。なお以下に説明する各実施形態は、人の脳機能をアナログ型のニューラルネットワーク回路によりモデル化する場合について本発明を適用した場合の実施形態等である。
【００２０】
（Ｉ）第１実施形態
初めに、本発明に係る第１実施形態について、図１乃至図３を用いて説明する。なお、図１は一つのニューロンをモデル化したユニットを示す図であり、図２は第１実施形態に係るニューラルネットワーク回路を示す図であり、図３は当該ニューラルネットワーク回路の一部等を示す図である。
【００２１】
（Ａ）ニューラルネットワークについて
先ず、上記脳機能をモデル化したニューラルネットワークについて、図１を用いて一般的に説明する。
【００２２】
一般に人の脳の中には、多数のニューロン（神経細胞）が存在しているとされている。脳の中で各ニューロンは、多数の他のニューロンからの電気信号を受信し、また更に他の多数のニューロンへ電気信号を送信している。そして脳は、各ニューロン間のこれら電気信号の流れによって、様々な情報処理を行っているとされている。このとき、各ニューロン間における電気信号の送受信は、シナプスと呼ばれる細胞を介して行われる。そして、脳における上記ニューロン間の電気信号の送受信をモデル化してコンピュータ内に脳機能を実現しようとしたものが、ニューラルネットワークである。
【００２３】
より具体的にニューラルネットワークでは図１に例示するように、外部から入力される複数の入力データＩ1、入力データＩ2、…、入力データＩn（ｎは自然数。以下同様。）のそれぞれに対する乗算処理、加算処理及び活性化関数の適用処理が、一つのユニットとしてのニューロンＮＲを中心として実行され、その結果をそのニューロンＮＲからの出力データＯとすることで、脳機能における一つのニューロンに対する上記電気信号の送受信をモデル化する。なお以下の説明において、上記活性化関数の適用処理を、単に「活性化処理」と称する。このとき一つのニューロンＮＲについて、複数の入力データＩ1、入力データＩ2、…、入力データＩnそれぞれに対応して予め設定された（つまり既定の）重み付け係数Ｗ1、重み付け係数Ｗ2、…、重み付け係数Ｗnを当該入力データＩ1、入力データＩ2、…、入力データＩnに対してそれぞれ乗算することで上記乗算処理が実行される。その後、各入力データＩ1、入力データＩ2、…、入力データＩnに対する上記乗算処理の結果のそれぞれを加算する上記加算処理が当該ニューロンＮＲについて実行される。そして次に、上記加算処理の結果に既定の活性化関数Ｆを適用する上記活性化処理が実行され、その結果を上記出力データΟとして他の一又は複数のニューロンにＮＲに出力する。上述した一連の乗算処理、加算処理及び活性化処理を数式で表すと、図１に示す式（１）となる。このとき、重み付け係数Ｗ1、重み付け係数Ｗ2、…、重み付け係数Ｗnを入力データＩ1、入力データＩ2、…、入力データＩnにそれぞれ乗算する乗算処理が、ニューロンＮＲ間の上記電気信号のやり取りにおける上記シナプスの作用に相当する。
【００２４】
（Ｂ）第１実施形態に係るニューラルネットワーク回路について
次に、図１に例示するニューロンＮＲを複数備えた第１実施形態に係るニューラルネットワーク回路ＳＳについて、図２を用いて説明する。このニューラルネットワーク回路ＳＳが本発明に係る「学習装置」の一例に相当する。
【００２５】
図２に示すように、図１に例示する一つのニューロンＮＲ（一ユニット）が多数集まってシナプスにより互いに接続されることにより、脳全体がニューラルネットワークＮＷとしてモデル化される。なお以下の説明において、入力データＩ1乃至入力データＩnに共通の事項を説明する場合、単に「入力データＩ」と称する。また同様に、出力データＯ1乃至出力データＯnに共通の事項を説明する場合、単に「出力データＯ」と称する。更に同様に、重み付け係数Ｗ1乃至重み付け係数Ｗnに共通の事項を説明する場合、単に「重み付け係数Ｗ」と称する。
【００２６】
一方第１実施形態に係るニューラルネットワーク回路ＳＳは、上記ニューラルネットワークＮＷに加えて、当該ニューラルネットワークＮＷにおける自己学習機能を制御する自己学習制御部Ｃを備える。第１実施形態に係る自己学習制御部Ｃは、ニューラルネットワークＮＷ全体としての出力データＯをその出力側からニューラルネットワークＮＷに再入力した結果としてその入力側から出力されるデータが元の入力データＩと一致するようにニューラルネットワークＮＷを制御して、ニューラルネットワーク回路ＳＳとしての自己学習機能を実行させる。この自己学習制御部Ｃが本発明に係る「制御手段」の一例に相当する。
【００２７】
次に、第１実施形態に係るニューラルネットワーク回路ＳＳの一部の構成を、アナログ型のニューラルネットワーク回路を用いて具体化した構成について、図３を用いて説明する。なお以下の説明では、図３（ａ）に示す七つのニューロンＮＲにより構成されるニューラルネットワーク回路ＳＳの一部を用いて、第１実施形態に係るアナログ型のニューラルネットワーク回路ＳＳの構成を説明する。また図３では、図２に示した自己学習制御部Ｃの記載を省略している。
【００２８】
このとき図３（ａ）においては、入力データＩ1乃至入力データＩ4がそれぞれ入力される入力側のニューロンＮＲi1乃至ニューロンＮＲi4と、出力データＯ1乃至出力データＯ3がそれぞれ出力される出力側のニューロンＮＲo1乃至ニューロンＮＲo3と、が、それぞれ相互に接続されている。即ち、入力側のニューロンＮＲi1は出力側のニューロンＮＲo1乃至ニューロンＮＲo3の全てに接続されており、入力側のニューロンＮＲi2も当該ニューロンＮＲo1乃至ニューロンＮＲo3の全てに接続されており、入力側のニューロンＮＲi3も当該ニューロンＮＲo1乃至ニューロンＮＲo3の全てに接続されており、入力側のニューロンＮＲi4も当該ニューロンＮＲo1乃至ニューロンＮＲo3の全てに接続されている。なお以下の説明において、ニューロンＮＲi1乃至ニューロンＮＲi4及びニューロンＮＲo1乃至ニューロンＮＲo3について共通の事項を説明する場合、単に「ニューロンＮＲ」と称する。そして、図３（ａ）においてニューロンＮＲi1乃至ニューロンＮＲi4とニューロンＮＲo1乃至ニューロンＮＲo3との間に示されている矢印が、各ニューロンＮＲ間の上記重み付け係数Ｗに対応している。また、ニューロンＮＲi1乃至ニューロンＮＲi4が本発明に係る「入力部」の一例に相当し、ニューロンＮＲo1乃至ニューロンＮＲo3が本発明に係る「出力部」の一例に相当する。
【００２９】
そして図３（ｂ）に示すように、第１実施形態に係るニューラルネットワーク回路ＳＳは、ニューロンＮＲi1乃至ニューロンＮＲi4にそれぞれ接続され且つ入力データＩ1乃至入力データＩ4に対応した正電圧が印加される四本の正電圧線Ｌi1+乃至正電圧線Ｌi4+と、ニューロンＮＲi1乃至ニューロンＮＲi4にそれぞれ接続されて入力データＩ1乃至入力データＩ4のそれぞれに対応した負電圧が印加される四本の負電圧線Ｌi1-乃至負電圧線Ｌi4-と、ニューロンＮＲo1乃至ニューロンＮＲo3にそれぞれ接続された三本の正電圧線Ｌo1+乃至正電圧線Ｌo3+と、ニューロンＮＲo1乃至ニューロンＮＲo3にそれぞれ接続された三本の負電圧線Ｌo1-乃至負電圧線Ｌo3-と、を備えている。このとき、正電圧線Ｌi1+乃至正電圧線Ｌi4+と、負電圧線Ｌi1-乃至負電圧線Ｌi4-と、正電圧線Ｌo1+乃至正電圧線Ｌo3+と、負電圧線Ｌo1-乃至負電圧線Ｌo3-と、は、例えばフォトリソグラフィ技術により各々別個の層内に形成されている。
【００３０】
そして図３（ｂ）においては、ニューロンＮＲi1とニューロンＮＲo1とを接続する接続部ＣＮ１１が正電圧線Ｌi1+、負電圧線Ｌi1-、正電圧線Ｌo1+及び負電圧線Ｌo1-により形成され、ニューロンＮＲi1とニューロンＮＲo2とを接続する接続部ＣＮ１２が正電圧線Ｌi1+、負電圧線Ｌi1-、正電圧線Ｌo2+及び負電圧線Ｌo2-により形成され、ニューロンＮＲi1とニューロンＮＲo3とを接続する接続部ＣＮ１３が正電圧線Ｌi1+、負電圧線Ｌi1-、正電圧線Ｌo3+及び負電圧線Ｌo3-により形成される。また、ニューロンＮＲi2とニューロンＮＲo1とを接続する接続部ＣＮ２１が正電圧線Ｌi2+、負電圧線Ｌi2-、正電圧線Ｌo1+及び負電圧線Ｌo1-により形成され、ニューロンＮＲi2とニューロンＮＲo2とを接続する接続部ＣＮ２２が正電圧線Ｌi2+、負電圧線Ｌi2-、正電圧線Ｌo2+及び負電圧線Ｌo2-により形成され、ニューロンＮＲi2とニューロンＮＲo3とを接続する接続部ＣＮ２３が正電圧線Ｌi2+、負電圧線Ｌi2-、正電圧線Ｌo3+及び負電圧線Ｌo3-により形成される。また、ニューロンＮＲi3とニューロンＮＲo1とを接続する接続部ＣＮ３１が正電圧線Ｌi3+、負電圧線Ｌi3-、正電圧線Ｌo1+及び負電圧線Ｌo1-により形成され、ニューロンＮＲi3とニューロンＮＲo2とを接続する接続部ＣＮ３２が正電圧線Ｌi3+、負電圧線Ｌi3-、正電圧線Ｌo2+及び負電圧線Ｌo2-により形成され、ニューロンＮＲi3とニューロンＮＲo3とを接続する接続部ＣＮ３３が正電圧線Ｌi3+、負電圧線Ｌi3-、正電圧線Ｌo3+及び負電圧線Ｌo3-により形成される。更に、ニューロンＮＲi4とニューロンＮＲo1とを接続する接続部ＣＮ４１が正電圧線Ｌi4+、負電圧線Ｌi4-、正電圧線Ｌo1+及び負電圧線Ｌo1-により形成され、ニューロンＮＲi4とニューロンＮＲo2とを接続する接続部ＣＮ４２が正電圧線Ｌi4+、負電圧線Ｌi4-、正電圧線Ｌo2+及び負電圧線Ｌo2-により形成され、ニューロンＮＲi4とニューロンＮＲo3とを接続する接続部ＣＮ４３が正電圧線Ｌi4+、負電圧線Ｌi4-、正電圧線Ｌo3+及び負電圧線Ｌo3-により形成される。なお以下の説明において、上記接続部ＣＮ１１乃至上記接続部ＣＮ１３、上記接続部ＣＮ２１乃至上記接続部ＣＮ２３、上記接続部ＣＮ３１乃至上記接続部ＣＮ３３、及び上記接続部ＣＮ４１乃至上記接続部ＣＮ４３に共通する事項を説明する場合、単に「接続部ＣＮ」と称する。そして、各接続部ＣＮのそれぞれにおいては、正電圧線同士（例えば正電圧線Ｌi1+と正電圧線Ｌo1+。以下、同様。）又は負電圧線同士（例えば負電圧線Ｌi1-と負電圧線Ｌo1-。以下、同様）のいずれか一方のみが、それが対応する上記重み付け係数Ｗにそれぞれ対応する抵抗値の抵抗素子により接続される。
【００３１】
そして図３（ｂ）に示す第１実施形態に係るニューラルネットワーク回路ＳＳでは、各接続部ＣＮに含まれる各電圧線のいずれが上記抵抗素子により接続されるかは、正電圧線同士が接続されている接続部ＣＮ１１等の数と負電圧線同士が接続されている接続部ＣＮ１３等の数とが当該ニューラルネットワーク回路ＳＳ全体について同数となり、更に、正電圧線同士が接続された接続部ＣＮ１１等と、負電圧線同士が接続された接続部ＣＮ１３等が、当該ニューラルネットワーク回路ＳＳ全体について一様乱数的に（即ちランダムに）分布するように、予め決定される。これは、本願の発明者らの研究により、各接続部ＣＮ１１等において正電圧線同士又は負電圧線同士のいずれか一方のみを抵抗素子により接続する場合であっても、正電圧線同士が接続されている接続部ＣＮ１１等の数と負電圧線同士が接続されている接続部ＣＮ１１等の数とがニューラルネットワーク回路ＳＳ全体について同数となり、更に、それらがニューラルネットワーク回路ＳＳ全体について一様乱数的に分布していれば、ニューラルネットワーク回路ＳＳ全体の学習機能及び汎化機能において従来と同様の性能が担保されることが発見されたことによる。ここで上記汎化機能とは、未学習の入力データＩを正しく分類する機能をいう。また、正電圧線同士のみが接続されている接続部ＣＮ１１等が本発明に係る「正専用接続部」の一例に相当し、負電圧線同士のみが接続されている接続部ＣＮ１３等が本発明に係る「負専用接続部」の一例に相当する。
【００３２】
ここで、図３（ｂ）に例示する第１実施形態に係るニューラルネットワーク回路ＳＳでは、接続部ＣＮ１１においては正電圧線Ｌi1+と正電圧線Ｌo1+のみが抵抗素子Ｒ１により接続されており、当該抵抗素子Ｒ１の抵抗値がニューロンＮＲi1とニューロンＮＲo1とを接続する際の上記正の重み付け係数Ｗに対応している。なお、正電圧線Ｌi1+と正電圧線Ｌo1+との抵抗素子Ｒ１による接続の態様は、具体的には、例えば上記特許文献１の第１図又は第３図に記載されている可変抵抗素子を用いた電圧線の接続態様と基本的に同一である（以下の各接続部ＣＮにおいて同様）。また接続部ＣＮ１２においては正電圧線Ｌi1+と正電圧線Ｌo2+のみが抵抗素子Ｒ５により接続されており、当該抵抗素子Ｒ５の抵抗値がニューロンＮＲi1とニューロンＮＲo2とを接続する際の上記正の重み付け係数Ｗに対応している。また接続部ＣＮ１３においては負電圧線Ｌi1-と負電圧線Ｌo3-のみが抵抗素子Ｒ９により接続されており、当該抵抗素子Ｒ９の抵抗値がニューロンＮＲi1とニューロンＮＲo3とを接続する際の上記負の重み付け係数Ｗに対応している。更に、接続部ＣＮ２１においては負電圧線Ｌi2-と負電圧線Ｌo1-のみが抵抗素子Ｒ２により接続されており、当該抵抗素子Ｒ２の抵抗値がニューロンＮＲi2とニューロンＮＲo1とを接続する際の上記負の重み付け係数Ｗに対応している。また接続部ＣＮ２２においては正電圧線Ｌi2+と正電圧線Ｌo2+のみが抵抗素子Ｒ６により接続されており、当該抵抗素子Ｒ６の抵抗値がニューロンＮＲi2とニューロンＮＲo2とを接続する際の上記正の重み付け係数Ｗに対応している。また接続部ＣＮ２３においては正電圧線Ｌi2+と正電圧線Ｌo3+のみが抵抗素子Ｒ１０により接続されており、当該抵抗素子Ｒ１０の抵抗値がニューロンＮＲi2とニューロンＮＲo3とを接続する際の上記正の重み付け係数Ｗに対応している。
【００３３】
更にまた、接続部ＣＮ３１においては正電圧線Ｌi3+と正電圧線Ｌo1+のみが抵抗素子Ｒ３により接続されており、当該抵抗素子Ｒ３の抵抗値がニューロンＮＲi3とニューロンＮＲo1とを接続する際の上記正の重み付け係数Ｗに対応している。また接続部ＣＮ３２においては負電圧線Ｌi3-と負電圧線Ｌo2-のみが抵抗素子Ｒ７により接続されており、当該抵抗素子Ｒ７の抵抗値がニューロンＮＲi3とニューロンＮＲo2とを接続する際の上記負の重み付け係数Ｗに対応している。また接続部ＣＮ３３においては正電圧線Ｌi3+と正電圧線Ｌo3+のみが抵抗素子Ｒ１１により接続されており、当該抵抗素子Ｒ１１の抵抗値がニューロンＮＲi3とニューロンＮＲo3とを接続する際の上記正の重み付け係数Ｗに対応している。更に接続部ＣＮ４１においては負電圧線Ｌi4-と負電圧線Ｌo1-のみが抵抗素子Ｒ４により接続されており、当該抵抗素子Ｒ４の抵抗値がニューロンＮＲi4とニューロンＮＲo1とを接続する際の上記負の重み付け係数Ｗに対応している。また接続部ＣＮ４２においては負電圧線Ｌi4-と負電圧線Ｌo2-のみが抵抗素子Ｒ８により接続されており、当該抵抗素子Ｒ８の抵抗値がニューロンＮＲi4とニューロンＮＲo2とを接続する際の上記負の重み付け係数Ｗに対応している。最後に接続部ＣＮ４３においては負電圧線Ｌi4-と負電圧線Ｌo3-のみが抵抗素子Ｒ１２により接続されており、当該抵抗素子Ｒ１２の抵抗値がニューロンＮＲi4とニューロンＮＲo3とを接続する際の上記負の重み付け係数Ｗに対応している。
【００３４】
以上説明したように、第１実施形態に係るニューラルネットワーク回路ＳＳの構成によれば、入力側のニューロンＮＲi1乃至ニューロンＮＲi4と、出力側のニューロンＮＲo1乃至ニューロンＮＲo3と、接続部ＣＮと、自己学習制御部Ｃと、を備え、各制御部ＣＮが、正電圧線同士のみが接続されている接続部ＣＮ１１等と負電圧線同士のみが接続されている接続部ＣＮ１３等により構成されている。よって、ニューラルネットワーク回路ＳＳにおける接続部ＣＮの占有面積を大幅に低減することができる。
【００３５】
また、正電圧線同士のみが接続されている接続部ＣＮ１１等の数と負電圧線同士のみが接続されている接続部ＣＮ１３等の数とが同数であるので、ニューラルネットワーク回路ＳＳとしての学習能力を向上させつつ、接続部ＣＮの占有面積を大幅に低減することができる。
【００３６】
更に、正電圧線同士のみが接続されている接続部ＣＮ１１等及び負電圧線同士のみが接続されている接続部ＣＮ１３等が一様乱数的に分布しているので、従来と同様の学習能力及び汎化能力を共に維持しつつ、接続部ＣＮの占有面積を大幅に低減することができる。
【００３７】
（Ｃ）第１実施形態に係るニューラルネットワーク回路の構成による学習効果等について
次に、本願の発明者ら研究による、第１実施形態に係るニューラルネットワーク回路ＳＳの構成による学習効果等について、以下に（ａ）乃至（ｃ）として説明する。
（ａ）本願の発明者らは、第１実施形態に係るニューラルネットワーク回路ＳＳの構成を用いて、入力側のニューロンＮＲを７８４個とし、出力側のニューロンＮＲを２９３個としたニューラルネットワーク回路ＳＳを含む一層のオードエンコーダを製作し、手書き数字の認識に関する実験を行った。この結果、パターンオーバーラップ（即ち、上記オードエンコーダに学習させた数字パターンの復元率）が約９１％（より具体的には９１．４％（入力側のニューロンＮＲを７８４個とし、出力側のニューロンＮＲを２９３個とし、更に３０パーセントの重み付け係数をパーセプトロン学習則でランダムに更新した場合の値））となり、例えば上記特許文献１に記載されている技術を用いた従来法（９１．１％）と変わらない復元率が得られた。
（ｂ）また本願の発明者らは、第１実施形態に係るニューラルネットワーク回路ＳＳの構成を用いて二次元畳み込みオードエンコーダを製作し、同様の実験を行った。この結果、パターンオーバーラップが約９７％（より具体的には９７．０％（入力側のニューロンＮＲ及び出力側のニューロンＮＲを共に７８４個とし、畳み込みストライドを１とし、更に３０パーセントの重み付け係数をパーセプトロン学習則でランダムに更新した場合の値））となり、従来法（９１．４％）を上回る復元率が得られた。
（ｃ）本願の発明者らは更なる多層化の実験を行い、最終的に三層のバックプロパゲーションアルゴリズムを付加して同様の実験を行ったところ、いずれの総数でもパターンオーバーラップが約９１％以上となり、十分な時間をかけて学習を行えば高機能化が期待できることを確認した。
【００３８】
（II）第２実施形態
次に、本発明に係る他の実施形態である第２実施形態について、図４を用いて説明する。なお、図４は第２実施形態に係るニューラルネットワーク回路を示す図である。また図４において、第１実施形態に係るニューラルネットワーク回路ＳＳと同一の構成部材については、同一の部材番号を付して細部の説明を省略する。
【００３９】
図４に示すように、第２実施形態に係るニューラルネットワーク回路ＳＳ１は、入力側のニューロンＮＲi1及びニューロンＮＲi3にそれぞれ接続されて入力データＩ1及び入力データＩ3に対応した正電圧がそれぞれ印加される正電圧線Ｌi1+及び正電圧線Ｌi3+と、入力側のニューロンＮＲi2及びニューロンＮＲi4にそれぞれ接続されて入力データＩ2及び入力データＩ4のそれぞれに対応した負電圧が印加される負電圧線Ｌi2-及び負電圧線Ｌi4-と、出力側のニューロンＮＲo1乃至ニューロンＮＲo3にそれぞれ接続された電圧線Ｌo1乃至電圧線Ｌo3と、を備えている。このとき、正電圧線Ｌi1+及び正電圧線Ｌi3+と、負電圧線Ｌi2-及び負電圧線Ｌi4-と、電圧線Ｌo1乃至電圧線Ｌo3と、は、例えば上記フォトリソグラフィ技術により各々別個の層内に形成される。
【００４０】
そして、ニューロンＮＲi1とニューロンＮＲo1とを接続する接続部ＣＮ１１が正電圧線Ｌi1+と電圧線Ｌo1とにより形成され、ニューロンＮＲi1とニューロンＮＲo2とを接続する接続部ＣＮ１２が正電圧線Ｌi1+と電圧線Ｌo2とにより形成され、ニューロンＮＲi1とニューロンＮＲo3とを接続する接続部ＣＮ１３が正電圧線Ｌi1+と電圧線Ｌo3とにより形成される。また、ニューロンＮＲi2とニューロンＮＲo1とを接続する接続部ＣＮ２１が負電圧線Ｌi2-と電圧線Ｌo1により形成され、ニューロンＮＲi2とニューロンＮＲo2とを接続する接続部ＣＮ２２が負電圧線Ｌi2-と電圧線Ｌo2により形成され、ニューロンＮＲi2とニューロンＮＲo3とを接続する接続部ＣＮ２３が負電圧線Ｌi2-と電圧線Ｌo3により形成される。また、ニューロンＮＲi3とニューロンＮＲo1とを接続する接続部ＣＮ３１が正電圧線Ｌi3+と電圧線Ｌo1により形成され、ニューロンＮＲi3とニューロンＮＲo2とを接続する接続部ＣＮ３２が正電圧線Ｌi3+と電圧線Ｌo2により形成され、ニューロンＮＲi3とニューロンＮＲo3とを接続する接続部ＣＮ３３が正電圧線Ｌi3+と電圧線Ｌo3により形成される。更に、ニューロンＮＲi4とニューロンＮＲo1とを接続する接続部ＣＮ４１が負電圧線Ｌi4-と電圧線Ｌo1により形成され、ニューロンＮＲi4とニューロンＮＲo2とを接続する接続部ＣＮ４２が負電圧線Ｌi4-と電圧線Ｌo2により形成され、ニューロンＮＲi4とニューロンＮＲo3とを接続する接続部ＣＮ４３が負電圧線Ｌi4-と電圧線Ｌo3により形成される。そして、各接続部ＣＮのそれぞれにおいては、それぞれを構成する電圧線同士が、各接続部ＣＮとしての上記重み付け係数Ｗにそれぞれ対応した抵抗値の抵抗素子により接続される。
【００４１】
そして図４に示す第２実施形態に係るニューラルネットワーク回路ＳＳ１では、正電圧線Ｌi1+及び正電圧線Ｌi3+と電圧線Ｌo1乃至電圧線Ｌo3とが接続されている接続部ＣＮの数と、負電圧線Ｌi2-及び負電圧線Ｌi4-と電圧線Ｌo1乃至電圧線Ｌo3とが接続されている接続部ＣＮの数と、が当該ニューラルネットワーク回路ＳＳ１全体について同数となり、更に、正電圧線Ｌi1+及び正電圧線Ｌi3+と電圧線Ｌo1乃至電圧線Ｌo3とが接続されている接続部ＣＮと、負電圧線Ｌi2-及び負電圧線Ｌi4-と電圧線Ｌo1乃至電圧線Ｌo3とが接続されている接続部ＣＮと、が、当該ニューラルネットワーク回路ＳＳ１全体について規則的に分布するように、予め決定される。これは、本願の発明者らの研究により、各接続部ＣＮにおいて正電圧線と電圧線Ｌo1等同士、又は負電圧線と電圧線Ｌo1等同士のいずれか一方を抵抗素子により接続する場合であっても、正電圧線等と電圧線Ｌo1等同士が接続されている接続部ＣＮ１１等の数と、負電圧線と電圧線Ｌo1等同士が接続されている接続部ＣＮ２１等の数とがニューラルネットワーク回路ＳＳ１全体について同数となり、更に、それらがニューラルネットワーク回路ＳＳ１全体について規則的に分布していれば、ニューラルネットワーク回路ＳＳ１全体の学習機能においては従来と同様の性能が担保されることが発見されたことによる。
【００４２】
ここで、図４に例示する第２実施形態に係るニューラルネットワーク回路ＳＳ１では、接続部ＣＮ１１においては正電圧線Ｌi1+と電圧線Ｌo1が抵抗素子Ｒ２０により接続されており、当該抵抗素子Ｒ２０の抵抗値がニューロンＮＲi1とニューロンＮＲo1とを接続する際の上記正の重み付け係数Ｗに対応している。また接続部ＣＮ１２においては正電圧線Ｌi1+と電圧線Ｌo2が抵抗素子Ｒ２４により接続されており、当該抵抗素子Ｒ２４の抵抗値がニューロンＮＲi1とニューロンＮＲo2とを接続する際の上記正の重み付け係数Ｗに対応している。また接続部ＣＮ１３においては正電圧線Ｌi1+と電圧線Ｌo3が抵抗素子Ｒ２８により接続されており、当該抵抗素子Ｒ２８の抵抗値がニューロンＮＲi1とニューロンＮＲo3とを接続する際の上記正の重み付け係数Ｗに対応している。更に、接続部ＣＮ２１においては負電圧線Ｌi2-と電圧線Ｌo1が抵抗素子Ｒ２１により接続されており、当該抵抗素子Ｒ２１の抵抗値がニューロンＮＲi2とニューロンＮＲo1とを接続する際の上記負の重み付け係数Ｗに対応している。また接続部ＣＮ２２においては負電圧線Ｌi2-と電圧線Ｌo2が抵抗素子Ｒ２５により接続されており、当該抵抗素子Ｒ２５の抵抗値がニューロンＮＲi2とニューロンＮＲo2とを接続する際の上記負の重み付け係数Ｗに対応している。また接続部ＣＮ２３においては負電圧線Ｌi2-と電圧線Ｌo3が抵抗素子Ｒ２９により接続されており、当該抵抗素子Ｒ２９の抵抗値がニューロンＮＲi2とニューロンＮＲo3とを接続する際の上記負の重み付け係数Ｗに対応している。
【００４３】
更にまた、接続部ＣＮ３１においては正電圧線Ｌi3+と電圧線Ｌo1が抵抗素子Ｒ２２により接続されており、当該抵抗素子Ｒ２２の抵抗値がニューロンＮＲi3とニューロンＮＲo1とを接続する際の上記正の重み付け係数Ｗに対応している。また接続部ＣＮ３２においては正電圧線Ｌi3+と電圧線Ｌo2が抵抗素子Ｒ２６により接続されており、当該抵抗素子Ｒ２６の抵抗値がニューロンＮＲi3とニューロンＮＲo2とを接続する際の上記正の重み付け係数Ｗに対応している。また接続部ＣＮ３３においては正電圧線Ｌi3+と電圧線Ｌo3が抵抗素子Ｒ３０により接続されており、当該抵抗素子Ｒ３０の抵抗値がニューロンＮＲi3とニューロンＮＲo3とを接続する際の上記正の重み付け係数Ｗに対応している。更に接続部ＣＮ４１においては負電圧線Ｌi4-と電圧線Ｌo1が抵抗素子Ｒ２３により接続されており、当該抵抗素子Ｒ２３の抵抗値がニューロンＮＲi4とニューロンＮＲo1とを接続する際の上記負の重み付け係数Ｗに対応している。また接続部ＣＮ４２においては負電圧線Ｌi4-と電圧線Ｌo2が抵抗素子Ｒ２７により接続されており、当該抵抗素子Ｒ２７の抵抗値がニューロンＮＲi4とニューロンＮＲo2とを接続する際の上記負の重み付け係数Ｗに対応している。最後に接続部ＣＮ４３においては負電圧線Ｌi4-と電圧線Ｌo3が抵抗素子Ｒ３１により接続されており、当該抵抗素子Ｒ３１の抵抗値がニューロンＮＲi4とニューロンＮＲo3とを接続する際の上記負の重み付け係数Ｗに対応している。
【００４４】
以上説明したように、第２実施形態に係るニューラルネットワーク回路ＳＳ１の構成によれば、入力側のニューロンＮＲi1乃至ニューロンＮＲi4と、出力側のニューロンＮＲo1乃至ニューロンＮＲo3と、接続部ＣＮと、自己学習制御部Ｃと、を備え、各制御部ＣＮが、正電圧線が接続されている接続部ＣＮ１１等と負電圧線が接続されている接続部ＣＮ２１等により構成されている。よって、ニューラルネットワーク回路ＳＳ１における接続部ＣＮの占有面積を大幅に低減することができる。
【００４５】
また、正電圧線が接続されている接続部ＣＮ１１等の数と負電圧線が接続されている接続部ＣＮ２１等の数とが同数であるので、ニューラルネットワーク回路ＳＳ１としての学習能力を向上させつつ、接続部ＣＮの占有面積を大幅に低減することができる。
【００４６】
更に、正電圧線が接続されている接続部ＣＮ１１等及び負電圧線が接続されている接続部ＣＮ２１等が規則的に分布しているので、従来と同様の学習能力を維持しつつ、接続部ＣＮの占有面積を大幅に低減することができる。
【産業上の利用可能性】
【００４７】
以上それぞれ説明したように、本発明はニューラルネットワーク回路の分野に利用することが可能であり、特に当該ニューラルネットワーク回路を含む学習装置の分野に適用すれば特に顕著な効果が得られる。
【符号の説明】
【００４８】
Ｃ    自己学習制御部
ＳＳ、ＳＳ１    ニューラルネットワーク回路
Ｉ1、Ｉ2、Ｉn    入力データ
ＮＲ、ＮＲi1、ＮＲi2、ＮＲi3、ＮＲi4、ＮＲo1、ＮＲo2、ＮＲo3    ニューロン
Ｗ1、Ｗ2、Ｗn    重み付け係数
Ｏ、Ｏ1、Ｏ2、Ｏ3    出力データ
ＮＷ    ニューラルネットワーク
Ｌi1+、Ｌi2+、Ｌi3+、Ｌi4+、Ｌo1+、Ｌo2+、Ｌo3+    正電圧線
Ｌi1-、Ｌi2-、Ｌi3-、Ｌi4-、Ｌo1-、Ｌo2-、Ｌo3-    負電圧線
Ｌo1、Ｌo2、Ｌo3    電圧線
ＣＮ１１、ＣＮ１２、ＣＮ１３、ＣＮ２１、ＣＮ２２、ＣＮ２３、ＣＮ３１、ＣＮ３２、ＣＮ３３、ＣＮ４１、ＣＮ４２、ＣＮ４３    接続部
Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６、Ｒ７、Ｒ８、Ｒ９、Ｒ１０、Ｒ１１、Ｒ１２、Ｒ２０、Ｒ２１、Ｒ２２、Ｒ２３、Ｒ２４、Ｒ２５、Ｒ２６、Ｒ２７、Ｒ２８、Ｒ２９、Ｒ３０、Ｒ３１    抵抗素子
【図１】
2018168293.tif 000003
【図２】
2018168293.tif 000004
【図３】
2018168293.tif 000005
【図４】
2018168293.tif 000006
【手続補正書】
【提出日】平成30年10月12日(2018.10.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
脳機能に対応したアナログ型のニューラルネットワーク回路を備えた自己学習型の重み符号固定学習装置において、
前記ニューラルネットワーク回路は、
入力データに相当する入力信号がそれぞれ入力される複数（ｎ個）の入力部と、
出力データに相当する出力信号がそれぞれ入力される複数（ｍ個且つｎ＝ｍの場合を含む）の出力部と、
一の前記入力部と一の前記出力部とをそれぞれ接続する（ｎ×ｍ）個の接続部と、
により構成されており、
前記出力データを前記出力部から前記重み符号固定学習装置に再入力した結果として前記入力部から出力されるデータが元の前記入力データと一致するように当該重み符号固定学習装置を制御して、前記自己学習機能を実行させる制御手段を備え、
（ｎ×ｍ）個の前記接続部は、前記脳機能としての正の重み付け係数に対応した抵抗値の抵抗素子である正重み付け抵抗素子により一の前記入力部と一の前記出力部が接続され且つ当該脳機能としての負の重み付け係数に対応した抵抗値の抵抗素子である負重み付け抵抗素子を含まない前記接続部である正専用接続部と、前記負重み付け抵抗素子により一の前記入力部と一の前記出力部が接続され且つ前記正重み付け抵抗素子を含まない前記接続部である負専用接続部と、により構成されていることを特徴とする重み符号固定学習装置。
【請求項２】
請求項１に記載の重み符号固定学習装置において、
前記正専用接続部と前記負専用接続部とが同数であることを特徴とする重み符号固定学習装置。
【請求項３】
請求項１又は請求項２に記載の重み符号固定学習装置において、
前記正専用接続部及び前記負専用接続部が、（ｎ×ｍ）個の前記接続部において一様乱数的に分布していることを特徴とする重み符号固定学習装置。
【請求項４】
請求項１又は請求項２に記載の重み符号固定学習装置において、
前記正専用接続部及び前記負専用接続部が、（ｎ×ｍ）個の前記接続部において規則的に分布していることを特徴とする重み符号固定学習装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
る。そしてこの場合には、当該二つの抵抗により一つの接続部が構成されることから、接続部としての回路規模（占有面積）が結果として二倍となってしまい、当該専有面積の最小化が図れないという問題点があった。
［０００６］
そしてこの問題点は、入力側のニューロンの数と出力側のニューロンの数とを乗じた数だけ接続部が必要となるＦＣ型ニューラルネットワーク回路では、接続部の多数化に伴い、専有面積の増大がより深刻化するという問題点に繋がる。
［０００７］
そこで本発明は、上記の各問題点に鑑みて為されたもので、その課第の一例は、ＦＣ型ニューラルネットワーク回路における接続部の専有面積を大幅に低減することが可能な自己学習型の重み符号固定学習装置を提供することにある。
課題を解決するための手段
［０００８］
上記の課題を解決するために、請求項１に記載の発明は、脳機能に対応したアナログ型のニューラルネットワーク回路を備えた自己学習型の重み符号固定学習装置において、前記ニューラルネットワーク回路は、入力データに相当する入力信号がそれぞれ入力される複数（ｎ個）の入力部と、出力データに相当する出力信号がそれぞれ入力される複数（ｍ個且つｎ＝ｍの場合を含む）の出力部と、一の前記入力部と一の前記出力部とをそれぞれ接続する（ｎ×ｍ）個の接続部と、により構成されており、前記出力データを前記出力部から前記重み符号固定学習装置に再入力した結果として前記入力部から出力されるデータが元の前記入力データと一致するように当該重み符号固定学習装置を制御して、前記自己学習機能を実行させる自己学習制御部等の制御手段を備え、（ｎ×ｍ）個の前記接続部は、前記脳機能としての正の重み付け係数に対応した抵抗値の抵抗素子である正重み付け抵抗素子により一の前記入力部と一の前記出力部が接続され且つ当該脳機能としての負の重み付け係数に対応した抵抗値の抵抗素子である負重み付け抵抗素子を含まない前記接続部である正専用接続部と、前記負重み付け抵抗素子により一の前記入力部と一の前記出力部が接続され且つ前記正重み付け抵抗素子を含まない前記接続部である負専用接続部と、により構成されている。
［０００９］
請求項１に記載の発明によれば、ｎ個の入力部と、ｍ個の出力部と、（ｎ×ｍ）個の接続部と、自己学習の機能を実行させる制御手段と、を備え、（ｎ×ｍ
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
）個の接続部が、正重み付け抵抗素子により一の入力部と一の出力部が接続されており且つ負重み付け抵抗素子を含まない正専用接続部と、負重み付け抵抗素子により一の入力部と一の出力部が接続され且つ正重み付け抵抗素子を含まない負専用接続部と、により構成されている。よって、正専用接続部及び負専用接続部から各接続部が構成されでいるので、ニューラルネットワーク回路における接続部の専有面積を大幅に低減することができる。
［００１０］
上記の課題を解決するために、請求項２に記載の発明は、請求項１に記載の重み符号固定学習装置において、前記正専用接続部と前記負専用接続部とが同数であるように構成される。
［００１１］
請求項２に記載の発明によれば、請求項１に記載の発明の作用に加えて、正専用接続部と負専用接続部とが同数であるので、重み符号固定学習装置としての学習能力を向上させつつ、接続部の専有面積を大幅に低減することができる。
［００１２］
上記の課題を解決するために、請求項３に記載の発明は、請求項１又は請求項２に記載の重み符号固定学習装置において、前記正専用接続部及び前記負専用接続部が、（ｎ×ｍ）個の前記接続部において一様乱数的に分布しているように構成される。
［００１３］
請求項３に記載の発明によれば、請求項１又は請求項２に記載の発明の作用に加えて、正専用接続部及び負専用接続部が、（ｎ×ｍ）個の接続部において一様乱数的に分布しているので、従来と同様の学習能力及び汎化能力を共に維持しつつ、接続部の専有面積を大幅に低減することができる。
［００１４］
上記の課題を解決するために、請求項４に記載の発明は、請求項１又は請求項２に記載の重み符号固定学習装置において、前記正専用接続部及び前記負専用接続部が、（ｎ×ｍ）個の前記接続部において規則的に分布しているように構成される。
［００１５］
請求項４に記載の発明によれば、請求項１又は請求項２に記載の発明の作用に加えて、正専用接続部及び負専用接続部が、（ｎ×ｍ）個の接続部において規則的に分布しているので、従来と同様の学習能力を維持しつつ、接続部の専有面積を大幅に低減することができる。
発明の効果
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
［００１６］
本発明によれば、ｎ個の入力部と、ｍ個の出力部と、（ｎ×ｍ）個の接続部と、自己学習の機能を実行させる制御手段と、を備え、（ｎ×ｍ）個の接続部が、正重み付け抵抗素子により一の入力部と一の出力部が接続されており且つ負重み付け抵抗素子を含まない正専用接続部と、負重み付け抵抗素子により一の入力部と一の出力部が接続され且つ正重み付け抵抗素子を含まない負専用接続部と、により構成されている。
［００１７］
従って、正専用接続部及び負専用接続部から各接続部が構成されているので、アナログ型のニューラルネットワーク回路を備えた自己学習型の重み符号固定学習装置における接続部の専有面積を大幅に低減することができる。
図面の簡単な説明
［００１８］
［図１］一つのニューロンをモデル化したユニットを示す図である。
［図２］第１実施形態に係るニューラルネットワーク回路を示す図である。
［図３］第１実施形態に係るニューラルネットワーク回路の一部等を示す図であり、（ａ）は当該一部を示す図であり、（ｂ）は当該一部をアナログ回路により構成した場合のニューラルネットワーク回路を示す図である。
［図４］第２実施形態に係るニューラルネットワーク回路を示す図である。
発明を実施するための形態
［００１９］
次に、本発明に係る実施形態について、図面に基づいてそれぞれ説明する。なお以下に説明する各実施形態は、人の脳機能をアナログ型のニューラルネットワーク回路によりモデル化する場合について本発明を適用した場合の実施形態等である。
［００２０］
（Ｉ）第１実施形態
初めに、本発明に係る第１実施形態について、図１乃至図３を用いて説明する。なお、図１は一つのニューロンをモデル化したユニットを示す図であり、図２は第１実施形態に係るニューラルネットワーク回路を示す図であり、図３は当該ニューラルネットワーク回路の一部等を示す図である。
［００２１］
（Ａ）ニューラルネットワークについて
先ず、上記脳機能をモデル化したニューラルネットワークについて、図１を用いて一般的に説明する。
［００２２］
一般に人の脳の中には、多数のニューロン（神経細胞）が存在しているとされている。脳の中で各ニューロンは、多数の他のニューロンからの電気信
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
次に、本願の発明者らの研究による、第１実施形態に係るニューラルネットワーク回路ＳＳの構成による学習効果等について、以下に（ａ）乃至（ｃ）として説明する。
（ａ）本願の発明者らは、第１実施形態に係るニューラルネットワーク回路ＳＳの構成を用いて、入力側のニューロンＮＲを７８４個とし、出力側のニューロンＮＲを２９３個としたニューラルネットワーク回路ＳＳを含む一層のオードエンコーダを製作し、手書き数字の認識に関する実験を行った。この結果、パターンオーバーラップ（即ち、上記オードエンコーダに学習させた数字パターンの復元率）が約９１％（より具体的には９１．４％（入力側のニューロンＮＲを７８４個とし、出力側のニューロンＮＲを２９３個とし、更に３０パーセントの重み付け係数をパーセプトロン学習則でランダムに更新した場合の値））となり、例えば上記特許文献１に記載されている技術を用いた従来法（９１．１％）と変わらない復元率が得られた。
（ｂ）また本願の発明者らは、第１実施形態に係るニューラルネットワーク回路ＳＳの構成を用いて二次元畳み込みオードエンコーダを製作し、同様の実験を行った。この結果、パターンオーバーラップが約９７％（より具体的には９７．０％（入力側のニューロンＮＲ及び出力側のニューロンＮＲを共に７８４個とし、畳み込みストライドを１とし、更に３０パーセントの重み付け係数をパーセプトロン学習則でランダムに更新した場合の値））となり、従来法（９１．４％）を上回る復元率が得られた。
（ｃ）本願の発明者らは更なる多層化の実験を行い、最終的に三層のバックプロパゲーションアルゴリズムを付加して同様の実験を行ったところ、いずれの総数でもパターンオーバーラップが約９１％以上となり、十分な時間をかけて学習を行えば高機能化が期待できることを確認した。
［００３８］
（ＩＩ）第２実施形態
次に、本発明に係る他の実施形態である第２実施形態について、図４を用いて説明する。なお、図４は第２実施形態に係るニューラルネットワーク回路を示す図である。また図４において、第１実施形態に係るニューラルネッ
【国際調査報告】
2018168293.tif 000007
2018168293.tif 000008
2018168293.tif 000009
2018168293.tif 000010