(57)【要約】  人間の脳の神経回路の仕組みを模したニューラルネットワーク構造等を提供する。ニューラルネットワーク構造は、複数のニューロン部と、複数のニューロン部を結びつけるシナプス部とを有し、一のニューロン部の発火または未発火の出力値とシナプス部の重み係数との積を１回以上加算した総和に応じて、シナプス部を介して一のニューロン部と接続されている他のニューロン部が発火するニューラルネットワーク構造であって、一のニューロン部の発火による出力値が、他のニューロン部およびシナプス部を介して、一のニューロン部自身に伝播するループ構造を備える。
2018180499.tif 000002
【特許請求の範囲】
【請求項１】
複数のニューロン部と、前記複数のニューロン部を結びつけるシナプス部とを有し、一の前記ニューロン部の発火または未発火の出力値と前記シナプス部の重み係数との積を１回以上加算した総和に応じて、前記シナプス部を介して前記一のニューロン部と接続されている他の前記ニューロン部が発火するニューラルネットワーク構造であって、
前記一のニューロン部の発火による出力値が、前記他のニューロン部および前記シナプス部を介して、前記一のニューロン部自身に伝播するループ構造を備えるニューラルネットワーク構造。
【請求項２】
請求項１に記載のニューラルネットワーク構造と、
前記ループ構造を伝播することにより前記一のニューロン部が発火することによって出力する出力値を入力値として受け取る他のニューラルネットワーク構造と、
を備えることを特徴とするニューラルネットワーク構造。
【請求項３】
前記ループ構造における伝播が１回以上行われ１回以上の入力を受け取る前記他のニューラルネットワーク構造において、一連の前記ニューロン部は、前記入力を発火による出力値から受け取ることで前記総和が閾値以上となり、所定の機能を発現することを特徴とする請求項２に記載のニューラルネットワーク構造。
【請求項４】
一の前記ニューロン部と他の１以上の前記ニューロン部との論理積を算出する論理積算出部と、
一の前記ニューロン部と他の１以上の前記ニューロン部との論理和を算出する論理和算出部と、
一の前記ニューロン部の論理否定を算出する論理否定算出部と、
を備えることを特徴とする請求項３に記載のニューラルネットワーク構造。
【請求項５】
前記論理積算出部、前記論理和算出部、前記論理否定算出部のいずれかまたは組み合わせにより、より高次の機能を発現する一連の前記ニューロン部を形成することを特徴とする請求項４に記載のニューラルネットワーク構造。
【請求項６】
一の機能を発現する前記一連のニューロン部は、他の機能を発現する１以上の前記一連のニューロン部と接続されていて、かつ、前記総和が閾値以上となることで発火することを特徴とする請求項３または５に記載のニューラルネットワーク構造。
【請求項７】
第１の前記ニューロン部と、第２の前記ニューロン部および他の複数の前記ニューロン部からなり前記第２のニューロン部の発火による出力値が前記他の複数のニューロン部を介して前記第２のニューロン部自身に伝播する構造を有する発振ニューロン部とを有し、前記第１のニューロン部から前記第２のニューロン部への方向で結びつけるシナプス部は、１回の前記総和で前記第２のニューロン部が発火する発火重み係数を有し、
前記発振ニューロン部内の前記ニューロン部同士を結びつけるシナプス部は、１回の前記総和で前記ニューロン部が発火する発火重み係数を有し、
前記発振ニューロン部内の前記ニューロン部から前記第１のニューロン部への方向で結びつけるシナプス部は、閾値未満のため前記第１のニューロン部が発火しない未発火重み係数を有する、
発振部を備えることを特徴とする請求項６に記載のニューラルネットワーク構造。
【請求項８】
前記一連のニューロン部から構成される長期記憶部と、
前記ループ構造と１以上の前記発振部から構成される短期記憶部と、
を備えることを特徴とする請求項７に記載のニューラルネットワーク構造。
【請求項９】
複数の前記ニューロン部を有する、請求項８に記載の第１ニューラルネットワーク構造と、複数の前記ニューロン部を有する、請求項８に記載の第２ニューラルネットワーク構造と、を含み、
前記第１ニューラルネットワーク構造に含まれる前記ニューロン部と、前記第２ニューラルネットワーク構造に含まれる前記ニューロン部とを結びつける前記シナプス部を備えることを特徴とするニューラルネットワーク構造。
【請求項１０】
前記第１ニューラルネットワーク構造は、１以上の前記第２ニューラルネットワーク構造を制御する機能を有するマスタであり、
前記第２ニューラルネットワーク構造は、前記第１ニューラルネットワーク構造の制御下で機能するスレーブであることを特徴とする請求項９に記載のニューラルネットワーク構造。
【請求項１１】
前記第１ニューラルネットワーク構造は、汎用的または計画的機能を有し、
前記第２ニューラルネットワーク構造は、個別的または実行的機能を有することを特徴とする請求項１０に記載のニューラルネットワーク構造。
【請求項１２】
前記第１ニューラルネットワーク構造に含まれる前記ニューロン部と、前記第２ニューラルネットワーク構造に含まれる前記ニューロン部とを結びつける前記シナプス部の重み係数は、当該シナプス部が結びつける両端の前記ニューロン部が同時に発火した場合に増加することを特徴とする請求項９乃至請求項１１のいずれかに記載のニューラルネットワーク構造。
【請求項１３】
前記ループ構造における伝播が１回以上行われ１回以上の入力を受け取る前記他のニューラルネットワーク構造において、一連の前記ニューロン部は、自身が属する前記他のニューラルネットワーク構造以外の前記他のニューラルネットワーク構造に属する前記ニューロン部の発火による出力値から入力を受け取ることで前記総和が閾値以上となり、所定の機能を発現することを特徴とする請求項２乃至請求項１２に記載のニューラルネットワーク構造。
【請求項１４】
自身が属する前記他のニューラルネットワーク構造以外の前記他のニューラルネットワーク構造に属する前記ニューロン部の発火による出力値から入力を受け取ることで前記総和が閾値以上となった前記一連のニューロン部は、
自身が属する前記他のニューラルネットワーク構造に属する前記ニューロン部の発火による出力値のみから入力を受け取った場合の前記一連のニューロン部内で発火した前記ニューロン部と、
自身が属さない前記他のニューラルネットワーク構造に属する前記ニューロン部の発火による出力値から入力を受け取った場合の前記一連のニューロン部内で発火した前記ニューロン部と、
を比較し、発火した前記ニューロン部の一致割合が所定値以上か否かを判定することにより評価されることを特徴とする請求項１３に記載のニューラルネットワーク構造。
【請求項１５】
前記他のニューラルネットワーク構造において、所定の機能を発現している第１の前記一連のニューロン部の中の少なくとも１つのニューロン部と、前記第１の一連のニューロン部とは異なる所定の機能を発現している第２の前記一連のニューロン部の中の少なくとも１つのニューロン部とが同時に発火した場合、前記第１の一連のニューロン部と前記第２の一連のニューロン部を結びつける前記シナプス部の重み係数は増加することを特徴とする請求項３乃至請求項１４のいずれかに記載のニューラルネットワーク構造。
【請求項１６】
前記ニューロン部および前記シナプス部を構成する演算素子と、
前記重み係数を記憶する記憶素子と、
前記総和を計算する加算回路と、
を備え、請求項１乃至請求項１５のいずれかに記載のニューラルネットワーク構造を含む電子回路。
【請求項１７】
前記記憶素子は、メモリスタで実装されることを特徴とする請求項１６に記載の電子回路。
【請求項１８】
請求項１６または１７に記載の電子回路と、
外部から光学的入力、音響的入力、電気的入力、または物理的動作の入力を受け付けて、電気信号に変換する入力部と、
外部へ電気信号を光学的出力、音響的出力、電気的出力、物理的動作の出力に変換する出力部と、
を備え、
前記入力部は、電気信号を前記ニューラルネットワーク構造に含まれる前記ニューロン部に入力し、
前記出力部は、前記ニューラルネットワーク構造に含まれる前記ニューロン部からの電気信号を受け付ける、
ことを特徴とする情報処理システム。
【請求項１９】
複数のニューロン部と前記複数のニューロン部を結びつけるシナプス部とを有するニューラルネットワーク構造において、前記ニューロン部および前記シナプス部を介して発火を伝播させる方法であって、
第１の前記ニューロン部が発火し、前記シナプス部を介して第２の前記ニューロン部に伝播させるステップと、
第（Ｎ−１）の前記ニューロン部は、第（Ｎ−２）の前記ニューロン部からの発火が伝播されると発火し、前記シナプス部を介して第Ｎの前記ニューロン部に伝播させるステップと、
前記第Ｎのニューロン部は、前記第（Ｎ−１）のニューロン部からの発火が伝播されると発火し（Ｎは３以上の自然数）、前記シナプス部を介して前記第１のニューロン部に伝播させるステップと、
を含む方法。
【請求項２０】
請求項１９に記載の方法のすべてのステップを実行するための命令を含み、コンピュータ上で実行されるプログラム。
【請求項２１】
請求項１乃至１５のいずれかに記載のニューラルネットワーク構造のシミュレーションをコンピュータ上で実行するプログラムであって、
前記重み係数を増減する記憶強化／劣化ステップと、
前記総和を計算する加算ステップと、
記憶した前記重み係数および計算した前記総和に基づき、一の前記ニューロン部が前記シナプス部を介して他の前記ニューロン部に発火を伝播させるまたは伝播させないことのシミュレーションを行う処理ステップと、
を実行するプログラム。
【請求項２２】
複数のニューロン部と、前記複数のニューロン部を結びつけるシナプス部とを有し、一の前記ニューロン部の発火または未発火の出力値と前記シナプス部の重み係数との積を１回以上加算した総和に応じて、前記シナプス部を介して前記一のニューロン部と接続されている他の前記ニューロン部が発火するニューラルネットワーク構造であって、
前記一のニューロン部に対して一の入力を与えると、前記一のニューロン部は発火し、該発火による出力値が、前記他のニューロン部および前記シナプス部を介して、前記一のニューロン部自身に伝播し発火するニューラルネットワーク構造。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ニューラルネットワーク構造、電子回路、情報処理システム、方法、およびプログラムに関する。
【背景技術】
【０００２】
人間の脳の神経細胞（以下、ニューロンという）は、人間が認識、判断、記憶などを行うための機能を有している。例えば、ニューロンは、ある事象を繰り返し入力されるとその事象を記憶し、その後その事象と同じ事象のものであるか否かを認識して、同じ事象のものである場合に、それに反応して信号を出力するようになる。また、ニューロンでは、同じ情報が繰り返し入力されるほど、記憶が容易になり、その情報が入力されたときに容易に反応できるようになり、より信号が出力され易くなる。【０００３】
このようなことが可能となるのは、ニューロンの構造によるものと考えられている。すなわち、ニューロンは、シナプスを介して多数のニューロンが接続され、入力された情報に対応するニューロンからニューロンへの伝達が行われ、入力情報が記憶された情報と一致していると、他のニューロンに信号を出力する。そして、同じ情報が繰り返し入力されるほど、所定のニューロンとニューロンとの結び付きが強くなるという特性を有している。このため、繰り返し入力されていた情報が再度入力されたときに、所定のニューロンからニューロンへの伝達が行われ易くなり、そのニューロンが反応して他のニューロンへより信号が出力され易くなると考えられている。【０００４】
従来から、人間が行う認識、判断、記憶といった行為をコンピュータ上で実現することが試みられており、コンピュータ上でニューラルネットワークを構築する技術が知られている。ニューラルネットワークは、ニューロンの機能を数式や回路によりモデル化したものである。ニューロンは、入力信号により付加される電位が閾（しきい）値を超えると、パルスを発する（発火する）という機能を有する。ニューラルネットワークでは、このような機能を、非線形関数やキャパシタ等を用いて実現する。ニューロン間を結ぶシナプスは、時間的・空間的に異なる伝播効率を有し、認識、判断、記憶といった結果により、ニューロン間の接続関係や各ニューロン間の伝播効率によって変化する。ニューラルネットワークにおいては、これを、非線形関数の出力値やキャパシタの充満率などを結合強度（重み係数）で重み付けして、後段のニューロンの非線形関数に代入したり、充満率に加えたりすることでモデル化している。【０００５】
ニューラルネットワークに関しては、様々なモデルが提唱されている。たとえば、非特許文献１に記述されているように、Ｇ．Ｅｄｅｌｍａｎらは、Ｎｅｕｒａｌ  Ｄａｒｗｉｎｉｓｍによる学習を取り入れた人工脳システムを考案した。現在、ニューラルネットワークにおいて、代表的なモデルとしては、階層型ニューラルネットワークが挙げられる。階層型ニューラルネットワークは、外部からの入力信号を受け取る複数の入力層ニューロンを含む入力層と、外部に出力信号を送出する複数の出力層ニューロンを含む出力層と、入力層ニューロンと出力層ニューロンとの間に設けられる複数の中間層ニューロンを含む１層以上の中間層とを有するモデルである。【０００６】
たとえば、特許文献１は、正確かつ高速なニューラルネットワークの学習を実現する階層型ニューラルネットワークの学習システム及び方法を開示する。この階層型ニューラルネットワークの学習システムは、階層型ニューラルネットワークの各層を構成する各マップの各ニューロンにつながる経路のうち伝播する信号と結合強度値との適合度が最も高い経路等を選択し、それ以外の経路はスパースとみなす処理を当該マップ単位で行い、階層型ニューラルネットワークに入力された入力信号を順方向に伝播させて出力信号を取得し、得られた出力信号と入力信号と組になっている目標信号とを比較し、これらの一致度合に応じて上記選択した経路を伝播する信号と結合強度値との適合度を増減させる調整を行う。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１５−２１０７４７号公報
【非特許文献】
【０００８】
【非特許文献１】Edelman G.、Neural Darwinism.、Basic Books、New York、1987
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述した階層型ニューラルネットワークでは、高い正答率を得るためのシナプスの結合の重み係数の学習方法として、バックプロパゲーション法が知られている。しかし、高い精度で正答にたどり着くためには、大量のデータにより学習させてやる必要があるため、階層型ニューラルネットワークを新たな適用分野へ活用することは、困難を伴い多くの時間を要する。【００１０】
また、上述した階層型ニューラルネットワークでは、学習をさせてアルゴリズムが形成できたとしても、そのアルゴリズムから外れるケースには全く対応できない。したがって、階層型ニューラルネットワークの適用領域としては、個別のアルゴリズムで対応可能な、ゲーム、画像認識、自動運転、投資判断などの特定の領域に向いている（所謂、弱いＡＩ）。しかしながら、複数のアルゴリズムの中から、その場の状況に適したアルゴリズムを選択して実行させることはできない（フレーム問題）。【００１１】
また、上述した階層型ニューラルネットワークでは、１つのニューロンをある概念に対応させることはできるが、そのニューロンに対して、その概念に関連する形状、性質、特徴、名称などの、いわゆる意味を持たせることはできない（記号接地問題）。【００１２】
さらにまた、上述した階層型ニューラルネットワークでは、システム全体の入力から出力に向かって、興奮状態（発火や刺激などとも言う）を次々と伝播させることはできるが、最終的な出力に至らないときは、それ以上の結果を求めることができない。【００１３】
さらにまた、上述した階層型ニューラルネットワークでは、一連の手順に従って、タイミングを合わせながら、手順の実行の有無や、実行結果の如何に応じて、後続する手順を取捨選択しながら、逐次的に実行することはできない。すなわち、手続的な処理は、プログラムでは実行できるが、従来のニューラルネットワークでは実行することができない。【００１４】
本発明は、かかる事情を鑑みて、所謂「強いＡＩ」目指して考案されたものであり、人間の脳の神経回路の仕組みを模したニューラルネットワーク構造、このニューラルネットワーク構造を含む電子回路および情報処理システム、方法、およびプログラムを提供するものである。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、複数のニューロン部と、複数のニューロン部を結びつけるシナプス部とを有し、一のニューロン部の発火または未発火の出力値とシナプス部の重み係数との積を１回以上加算した総和に応じて、シナプス部を介して一のニューロン部と接続されている他のニューロン部が発火するニューラルネットワーク構造であって、一のニューロン部の発火による出力値が、他のニューロン部およびシナプス部を介して、一のニューロン部自身に伝播するループ構造を備えるニューラルネットワーク構造が提供される。
これによれば、ニューラルネットワーク構造においてループ構造が含まれることにより、そのループ構造に含まれるあるニューロン部が発火による出力値すなわち刺激を受けるとその刺激がループ構造内を次々と伝播してゆくこととなるため、ループ構造内で刺激が連続的に伝播しつづけるように機能させることと、ループ構造内のニューロン部がループ構造内の刺激が伝播される都度一定の時間間隔をおいて繰り返し興奮するように機能させることができるニューラルネットワーク構造を提供することができる。【００１６】
さらに、上記のニューラルネットワーク構造と、ループ構造を伝播することにより一のニューロン部が発火することによって出力する出力値を入力値として受け取る他のニューラルネットワーク構造と、を備えることを特徴としてもよい。
これによれば、ループ構造に含まれるあるニューロン部から刺激を受ける、ループ構造に含まれない他のニューラルネットワーク構造において、繰り返しその刺激を受けるたびに、ニューロン部の興奮を高めることができる。【００１７】
さらに、ループ構造における伝播が１回以上行われ１回以上の入力を受け取る他のニューラルネットワーク構造において、一連のニューロン部は、入力を発火による出力値から受け取ることで総和が閾値以上となり、所定の機能を発現することを特徴としてもよい。
これによれば、ループ構造に含まれるあるニューロン部から刺激を受ける、ループ構造に含まれない他のニューラルネットワーク構造において、繰り返しその刺激を受けることによって、ニューロン部の興奮が次第に高められ、興奮が閾値を越えて発火したニューロン部が増加し、刺激がより広範囲に伝播するような一連のニューロン部を形成し、所定の機能を発現させることができる。ニューラルネットワーク構造において接続された一連のニューロン部が形成され、その一連のニューロン部に対応する所定の機能が発現することで、ある概念に関するニューロン部が、その概念に関連する概念に関するニューロン部と接続され、関連する概念群により所謂「意味」をニューラルネットワーク構造内に持たせることができる。【００１８】
さらに、一のニューロン部と他の１以上のニューロン部との論理積を算出する論理積算出部と、一のニューロン部と他の１以上のニューロン部との論理和を算出する論理和算出部と、一のニューロン部の論理否定を算出する論理否定算出部と、を備えることを特徴としてもよい。
これによれば、ニューロン部同士の論理積算出部および論理和算出部、およびニューロン部の論理否定算出部を備えることで、ニューロン部のすべての演算処理が可能となる。【００１９】
さらに、論理積算出部、論理和算出部、論理否定算出部のいずれかまたは組み合わせにより、より高次の機能を発現する一連のニューロン部を形成することを特徴としてもよい。
これによれば、ニューロン部を演算することで、より複雑な機能を発現する一連のニューロン部の形成が可能となる。【００２０】
さらに、一の機能を発現する一連のニューロン部は、他の機能を発現する１以上の一連のニューロン部とあらかじめ接続されており、かつ、総和が閾値以上となることで発火することを特徴としてもよい。
これによれば、関連する概念群である「意味」が発火することで、より広い概念群としてのより高次の「意味」の発火が容易になる状況を形成することができる。【００２１】
さらに、第１のニューロン部と、第２のニューロン部および他の複数のニューロン部からなり第２のニューロン部の発火による出力値が他の複数のニューロン部を介して第２のニューロン部自身に伝播する構造を有する発振ニューロン部とを有し、第１のニューロン部から第２のニューロン部への方向で結びつけるシナプス部は、１回の総和で第２のニューロン部が発火する発火重み係数を有し、発振ニューロン部内のニューロン部同士を結びつけるシナプス部は、１回の総和でニューロン部が発火する発火重み係数を有し、発振ニューロン部内のニューロン部から第１のニューロン部への方向で結びつけるシナプス部は、閾値未満のため第１のニューロン部が発火しない未発火重み係数を有する発振部を備えることを特徴としてもよい。
これによれば、刺激を受けて一度興奮状態になった第１のニューロン部を、その潜在的な興奮状態を一定期間持続させることができる。【００２２】
さらに、一連のニューロン部から構成される長期記憶部と、ループ構造と１以上の発振部から構成される短期記憶部と、を備えることを特徴としてもよい。
これによれば、ニューロン部により長期および短期の記憶を保持することが可能となる。【００２３】
さらに、複数のニューロン部を有し、上記の第１のニューラルネットワーク構造と、複数のニューロン部を有し、上記の第２のニューラルネットワーク構造と、を含み、第１ニューラルネットワーク構造に含まれるニューロン部と、第２ニューラルネットワーク構造に含まれるニューロン部とを結びつけるシナプス部を備えることを特徴としてもよい。
これによれば、長期記憶や短期記憶などが保持された異なるニューラルネットワーク構造に含まれるニューロン部を接続するシナプス部を備えることで、異なる体系のニューラルネットワーク構造の間で連携を行うことが可能になる。【００２４】
さらに、第１ニューラルネットワーク構造は、１以上の第２ニューラルネットワーク構造を制御する機能を有するマスタであり、第２ニューラルネットワーク構造は、第１ニューラルネットワーク構造の制御下で機能するスレーブであることを特徴としてもよい。
これによれば、１つの主となるニューラルネットワーク構造が、他のニューラルネットワーク構造を制御することで、階層構造によって統制を効かせた、より大きなニューラルネットワーク構造を有することができる。【００２５】
さらに、第１ニューラルネットワーク構造は、汎用的または計画的機能を有し、第２ニューラルネットワーク構造は、個別的または実行的機能を有することを特徴としてもよい。
これによれば、汎用的または計画的な機能を発現するニューラルネットワーク構造の下で、個別的または実行的な機能を発現させることができる。【００２６】
さらに、第１ニューラルネットワーク構造に含まれるニューロン部と、第２ニューラルネットワーク構造に含まれるニューロン部とを結びつけるシナプス部の重み係数は、当該シナプス部が結びつける両端のニューロン部が同時に発火した場合に増加することを特徴としてもよい。
これによれば、異なる一連のニューロン部間や異なるニューラルネットワーク構造間での強い結合が促され、所定の機能を発現する一連のニューロン部を形成し易くなる。【００２７】
さらに、ループ構造における伝播が１回以上行われ１回以上の入力を受け取る他のニューラルネットワーク構造において、一連のニューロン部は、自身が属する他のニューラルネットワーク構造以外の他のニューラルネットワーク構造に属するニューロン部の発火による出力値から入力を受け取ることで総和が閾値以上となり、所定の機能を発現することを特徴としてもよい。
これによれば、もう少しで出力を得られる準興奮状態にある一連のニューロン部に対して、関連する情報などを追加刺激として与えることで出力情報を得られるようになる。【００２８】
さらに、自身が属する他のニューラルネットワーク構造以外の他のニューラルネットワーク構造に属するニューロン部の発火による出力値から入力を受け取ることで総和が閾値以上となった一連のニューロン部は、自身が属する他のニューラルネットワーク構造に属するニューロン部の発火による出力値のみから入力を受け取った場合の一連のニューロン部内で発火したニューロン部と、自身が属さない他のニューラルネットワーク構造に属するニューロン部の発火による出力値から入力を受け取った場合の一連のニューロン部内で発火したニューロン部と、を比較し、発火したニューロン部の一致割合が所定値以上か否かを判定することにより評価されることを特徴としてもよい。
これによれば、連想機能において出力された出力情報の妥当性を確保することができる。【００２９】
さらに、他のニューラルネットワーク構造において、所定の機能を発現している第１の一連のニューロン部の中の少なくとも１つのニューロン部と、第１の一連のニューロン部とは異なる所定の機能を発現している第２の一連のニューロン部の中の少なくとも１つのニューロン部とが同時に発火した場合、第１の一連のニューロン部と第２の一連のニューロン部を結びつけるシナプス部の重み係数は増加することを特徴としてもよい。
これによれば、異なる一連のニューロン部間や異なるニューラルネットワーク構造間での強い結合が促され、ニューラルネットワーク構造間の関連を結びつけやすくなる。【００３０】
上記課題を解決するために、ニューロン部およびシナプス部を構成する演算素子と、重み係数を記憶する記憶素子と、総和を計算する加算回路と、を備え、上記のニューラルネットワーク構造を含む電子回路が提供される。
これによれば、ループ構造を含むニューラルネットワーク構造を形成することができる電子回路を提供することができる。【００３１】
さらに、記憶素子は、メモリスタ素子で実装されることを特徴としてもよい。
これによれば、単に０か１かのデジタル値だけでなく、複数の値を取り得る記憶素子を、受動素子であるメモリスタ素子１個だけで形成でき、しかも、記憶した値を電気抵抗として利用することはもちろん、流した電流の累積値によって記憶値を増減させることもでき、また、メモリスタ素子の記憶は不揮発性であるので、電源を遮断しても記憶を保持することができる。【００３２】
上記課題を解決するために、上記の電子回路と、外部から光学的入力、音響的入力、電気的入力、または物理的動作の入力を受け付けて、電気信号に変換する入力部と、外部へ電気信号を光学的出力、音響的出力、電気的出力、物理的動作の出力に変換する出力部と、を備え、入力部は、電気信号をニューラルネットワーク構造に含まれるニューロン部に入力し、出力部は、ニューラルネットワーク構造に含まれるニューロン部からの電気信号を受け付けることを特徴とする情報処理システムが提供される。
これによれば、外部からの各種入力に呼応した視覚的、音声的、概念的、または物理的な意味を持つ所謂概念ニューロン部を形成し、またこのニューロン部と関連するニューロン部を接続させることによって、概念ニューロン部に、より広範で豊かな意味を持たせ、現実世界の意味に立脚したニューラルネットワーク構造を実現するとともに、ニューラルネットワーク構造の出力を外部に作用させることができる情報処理システムを提供することができる。【００３３】
上記課題を解決するために、複数のニューロン部と複数のニューロン部を結びつけるシナプス部とを有するニューラルネットワーク構造において、ニューロン部およびシナプス部を介して発火を伝播させる方法であって、第１のニューロン部が発火し、シナプス部を介して第２のニューロン部に伝播させるステップと、第（Ｎ−１）のニューロン部は、第（Ｎ−２）のニューロン部からの発火が伝播されると発火し、シナプス部を介して第Ｎのニューロン部に伝播させるステップと、第Ｎのニューロン部は、第（Ｎ−１）のニューロン部からの発火が伝播されると発火し（Ｎは３以上の自然数）、シナプス部を介して第１のニューロン部に伝播させるステップと、を含む方法を提供することができる。
これによれば、刺激を受けるとその刺激が繰り返し自分自身に伝わることとなるため、ニューラルネットワーク構造（ループ構造）内において、刺激が連続的に伝播しつづけるように機能させることと、ニューラルネットワーク構造（ループ構造）内のニューロン部が連続的に伝播する刺激が伝播される都度一定の時間間隔をおいて繰り返し興奮するように機能させることができる方法を提供することができる。【００３４】
上記課題を解決するために、上記の方法のすべてのステップを実行するための命令を含み、コンピュータ上で実行されるプログラムを提供することができる。
これによれば、通常のノイマン型コンピュータを用いて、ループ構造を含むニューラルネットワーク構造を機能させることができる方法を実行するプログラムを提供することができる。【００３５】
上記課題を解決するために、上記のニューラルネットワーク構造のシミュレーションをコンピュータ上で実行するプログラムであって、重み係数を記憶する記憶ステップと、総和を計算する加算ステップと、記憶した重み係数および計算した総和に基づき、一のニューロン部がシナプス部を介して他のニューロン部に発火を伝播させるまたは伝播させないことのシミュレーションを行う処理ステップと、を実行するプログラムを提供することができる。
これによれば、通常のノイマン型コンピュータを用いて、ループ構造を含むニューラルネットワーク構造をシミュレーションするプログラムを提供することができる。【００３６】
上記課題を解決するために、複数のニューロン部と、複数のニューロン部を結びつけるシナプス部とを有し、一のニューロン部の発火または未発火の出力値とシナプス部の重み係数との積を１回以上加算した総和に応じて、シナプス部を介して一のニューロン部と接続されている他のニューロン部が発火するニューラルネットワーク構造であって、一のニューロン部に対して一の入力を与えると、一のニューロン部は発火し、その発火による出力値が、他のニューロン部およびシナプス部を介して、その一のニューロン部自身に伝播し発火するニューラルネットワーク構造を提供することができる。
これによれば、ニューラルネットワーク構造において、あるニューロン部に入力すると発火し、その発火による出力値すなわち刺激が繰り返し自分自身に伝わることで、その刺激を連続的に伝播させることができるニューラルネットワーク構造を提供することができる。
【発明の効果】
【００３７】
以上説明したように、本発明によれば、人間の脳の神経回路の仕組みを模したニューラルネットワーク構造、このニューラルネットワーク構造を含む電子回路および情報処理システム、方法、およびプログラムを提供できる。
【図面の簡単な説明】
【００３８】
【図１】（Ａ）ニューロンとシナプスによる脳情報処理機能を示す説明図、（Ｂ）ニューラルネットワーク構造のモデル図。
【図２】本発明に係る第１実施例のニューラルネットワーク構造における、（Ａ）ループ構造を示す模式図、（Ｂ）ループ構造におけるシナプス部の結合強度を示す表。
【図３】（Ａ）ループ構造がないニューラルネットワーク構造における興奮の伝播を示す模式図、（Ｂ）本発明に係る第１実施例のニューラルネットワーク構造におけるループ構造がある場合の興奮の伝播を示す模式図。
【図４】本発明に係る第１実施例のニューラルネットワーク構造において、ニューロン部の繋がりにより意味を形成することを説明する模式図。
【図５】本発明に係る第１実施例のニューラルネットワーク構造において、記号接地問題を解決することを説明する模式図。
【図６】本発明に係る第２実施例のニューラルネットワーク構造における、（Ａ）論理積構造（ＡＮＤ回路）を示す模式図、（Ｂ）論理和構造（ＯＲ回路）を示す模式図、（Ｃ）論理否定構造（ＮＯＴ回路）を示す模式図、（Ｄ）ラッチ構造（Ｌａｔｃｈ回路）を示す模式図、（Ｅ）フリップフロップ構造（Ｆｌｉｐ−Ｆｌｏｐ回路）を示す模式図。
【図７】本発明に係る第２実施例のニューラルネットワーク構造における、（Ａ）論理積構造の例、（Ｂ）論理和構造の例、（Ｃ）論理否定構造の例、（Ｄ）フリップフロップ構造の例を示す模式図。
【図８】本発明に係る第２実施例のニューラルネットワーク構造におけるラッチ構造の例を示す模式図。
【図９】本発明に係る第２実施例のニューラルネットワーク構造における、（Ａ）発振回路の例を示す模式図、（Ｂ）発振回路におけるシナプス部の結合強度を示す表。
【図１０】本発明に係る第２実施例のニューラルネットワーク構造におけるシナプス部の結合強度の強化機構の例を示す模式図。
【図１１】本発明に係る第２実施例のニューラルネットワーク構造におけるループ構造がある場合の興奮の伝播を示す模式図。
【図１２】本発明に係る第３実施例のニューラルネットワーク構造における興奮の伝播を示す模式図。
【図１３】本発明に係る第３実施例のニューラルネットワーク構造においてパズルを解く例を示す模式図。
【図１４】本発明に係る第３実施例のニューラルネットワーク構造においてマスタスレーブの関係を示す模式図。
【図１５】本発明に係る情報処理システムの構成を示す模式図。
【図１６】本発明に係る情報処理システムにおける、領野機能ユニットの連携を示す模式図。
【図１７】本発明に係る第４実施例のニューラルネットワーク構造における機能を示す模式図。
【図１８】本発明に係る第４実施例のニューラルネットワーク構造における学習機能を示す模式図。
【図１９】本発明に係る第４実施例のニューラルネットワーク構造における連想機能を示す模式図。
【図２０】本発明に係る第４実施例のニューラルネットワーク構造における評価機能を示す模式図。
【図２１】本発明に係る第４実施例のニューラルネットワーク構造において、脳の領野間での連携を例にして学習機能を示す模式図。
【発明を実施するための形態】
【００３９】
本明細書において用いる場合、「ニューラルネットワーク構造」という言葉は、生物学的ニューロンをシミュレーションするように構成されたアーキテクチャを表す。ニューラルネットワーク構造は、生物学的な脳のニューロンおよびシナプスと機能的にほぼ同等である構造、すなわち要素と要素間の繋がりを意味する。したがって、本発明の実施形態のニューラルネットワーク構造を含む電子回路および情報処理システムは、生物学的ニューロンをモデル化した様々な素子や電子回路を含むことができる。さらに、本発明の実施形態に従ったニューラルネットワーク構造を含むコンピュータは、生物学的ニューロンをモデル化した様々な処理要素やアルゴリズム（コンピュータ・シミュレーションを含む）を含むことができる。
【００４０】
図１に示すように、ニューラルネットワーク構造は、脳の情報処理機能を工学的にモデル化したものであり、ニューロン部と呼ばれる神経細胞に対応する素子を多数結合した構造を有している。ニューラルネットワーク構造は、複数のニューロン部と複数のシナプス部とを備えている。なお、本図は、図面の見易さのため、２つのニューロン部がシナプス部を介して相互に接続されている様子を示すが、実際には、多数のニューロン部が多数のシナプス部を介して相互に接続されている。また、便宜上、１つのニューロン部には３つのシナプス部からの入力と、３つのシナプス部への出力を記載するが、これに限定されないことは言うまでもない。
【００４１】
一のニューロン部は、シナプス部を介して他のニューロン部から入力Ｉｎ１〜Ｉｎ３（刺激とも言う）を受け取ると、自身の内部に電位を蓄積する。この入力Ｉｎ１〜Ｉｎ３は、複数の他のニューロン部から非同期的に与えられる。ニューロン部の内部電位が所定の閾値を超えると、ニューロン部は発火し、出力Ｏｕｔ１〜Ｏｕｔ３を生成する。出力Ｏｕｔ２を入力（図では入力Ｉｎ２）として受け取ったニューロン部は、内部に電位を蓄積して、さらに接続されたニューロン部に刺激が伝播していくことが可能となる。
【００４２】
このニューロン部は、たとえば、積分回路を構成するキャパシタとオペアンプを備え（図示せず）、シナプス部から出力される電流を用いてキャパシタを充電することにより内部に電位を蓄積する。１つのニューロン部には多くのシナプス部（図では３つ）があり、それら多くのシナプス部から受け取る電位の総和がニューロン部の内部電位となる。その内部電位が予め定められた閾値を越えると、そのニューロン部は出力Ｏｕｔ１〜Ｏｕｔ３を出力（発火）し、その内部電位をリセットしたり、経時的に減衰させたりする。ニューロン部は、頻繁に入力Ｉｎ１〜Ｉｎ３を受け取ると内部電位が閾値に近い状態が維持され、このような状態は、僅かな入力でも発火しやすいので興奮しやすい状態（潜在的興奮状態）であると言える。
【００４３】
シナプス部またはニューロン部におけるシナプス部からの受け入れ口の部分には、各シナプス部に対応した同様な積分回路を有してもよい。これらは、この積分回路の容量の大小や充満率の高低により、シナプス部の結合強度（重み係数、重み付けとも言う）として機能する。そうすると、あるニューロン部の出力値とシナプス部等の重み係数との積は、繰り返し加算されて総和されることで、そのニューロン部の内部電位の蓄積の程度や速さに影響を与える。
【００４４】
上述したように、本発明に係るニューラルネットワーク構造は、複数のニューロン部と、複数のニューロン部を結びつけるシナプス部とを有し、一のニューロン部の発火または未発火の出力値とシナプス部の重み係数との積を１回以上加算した総和に応じて、シナプス部を介して一のニューロン部と接続されている他のニューロン部が発火するニューラルネットワーク構造である。また、このような処理要素を含む構造を、コンピュータ上で実行されるソフトウェアのアルゴリズムとして実装することは、当業者であれば可能であろう。たとえば、シナプス部がそれぞれ重み係数ｗ１〜ｗ３を有するとすると、ニューロン部の内部電位を示す関数Ｆは、式（１）で表すことができる。
Ｆ＝Ｉｎ１＊ｗ１＋Ｉｎ２＊ｗ２＋Ｉｎ３＊ｗ３ ・・・式（１）
（ただし、Ｉｎ１〜Ｉｎ３：０または１）
このようなアルゴリズムを含むソフトウェアをノイマン型のコンピュータ
上で実行することは可能である。
【００４５】
＜第１実施例＞
図２を参照して、本実施例のニューラルネットワーク構造を説明する。このニューラルネットワーク構造は、ループ構造を備える。ループ構造とは、本図に示すように、ニューロン部１の発火（１）による出力値が、他のニューロン部２〜１０およびそれらのシナプス部を介して、元のニューロン部１自身に伝播する構造を言う。本実施例にループ構造は、１０個のニューロン部から構成されているが、本発明において個数が限定されることはない。これらの１０個のニューロン部は、シナプス部を介してループ状に接続されている。
【００４６】
ニューロン部１は、何らかのきっかけにより興奮状態となり発火（１）が行われる。その発火（１）を入力されたニューロン部２は、興奮状態となり発火（２）が行われる。以降同様に、ニューロン部Ｎは興奮状態となり発火Ｎが行われる。ニューロン部１０で発火（１０）が行われると、その発火（１０）はニューロン部１に入力される。そして、発火（１０）を入力されたニューロン部１は、また興奮状態となり発火（１）が行われる。したがって、ループ構造内のいずれかのニューロン部が一度興奮状態となると、次々と興奮状態が伝播し、それが繰り返されるので、興奮状態が維持された状態となる。
【００４７】
人間の脳には、運動系ループ、眼球運動系ループ、辺縁系ループ、前頭前野ループの４つのループがあることが知られているが、本発明におけるニューラルネットワーク構造におけるループ構造は、前頭前野ループに相当するものと考えられる。前頭前野ループが脳波におけるベータ波に相当するとすれば、毎秒約２０周回しており、これは、１ニューロン当たり２ミリ秒の伝達時間を要するので、ニューロン２５個分に相当すると考えられる。
【００４８】
なお、ループ構造内に含まれるニューロン部におけるシナプス部の重み係数は、本図（Ｂ）に示すように、後段のニューロン部のみに対しては必ず興奮状態になり発火する重み係数（表中「９」）が設定されている。なお、本明細書においては、ニューロン部は、出力値とシナプス部の重み係数との積を１回以上加算した総和が８以上となると興奮するものとする。
【００４９】
また、ループ構造内のあるニューロン部（本図（Ａ）ではニューロン部１）は、このループ構造に含まれないニューロン部にも接続されており、興奮状態となり発火した場合には、そのループ構造外のニューロン部にも発火が伝播される。ニューロン部１は、ニューロン部２に対して発火（１）と２周目の発火（１１）を伝播すると共に、ループ構造外のニューロン部に対しても発火（１）、２周目の発火（１１）、３周目の発火（２１）、、、というように伝播する。したがって、ループ構造があることにより、ループ構造に含まれない他のニューロン部に対して、一定の時間間隔をおいて繰り返し興奮するように発火を伝播することができる。
【００５０】
図３（Ａ）に示すように、ループ構造が存在しないニューラルネットワーク構造においては、仮にあるニューロン部が１回刺激を受けても、そのニューラルネットワーク構造に含まれる後段のニューロン部にそれが伝播するとは限らず、途中で発火が行われなくなることがある。本図では、発火（１）と発火（２）が行われたが、そこで止まったことを示している。そうすると、このニューラルネットワーク構造は、多くのニューロン部が興奮状態となることがないので、興奮状態または興奮状態に近い状態が維持された一連のニューロン部をなかなか形成することができない。
【００５１】
一方、図３（Ｂ）に示すように、ループ構造が存在するニューラルネットワーク構造においては、ループ構造内のあるニューロン部が一旦興奮状態となると、一定の時間間隔をおいて繰り返し興奮するようになるので、ループ構造外のニューロン部に対して一定の時間間隔をおいて繰り返し発火を伝播させることができる。そうすると、１周目では、ループ構造外のニューロン部では発火（１）と発火（２）で止まったかもしれないが、２周目では発火（３）と発火（４）が行われ、３周目では発火（５）と発火（６）が行われることとなり、興奮状態となるニューロン部が多くなり次々に発火が伝播するようになる。したがって、興奮状態または興奮し易い状態（潜在的興奮状態）のニューロン部が多くなり、所定の機能を発現する一連のニューロン部を形成しやすくなる。また、このような繰り返し刺激を受けることで、ニューロン部とニューロン部との結び付きが強くなり、所定の機能を発現する一連のニューロン部を形成しやすくなる。
【００５２】
このように、ニューラルネットワーク構造においてループ構造が含まれることにより、そのループ構造に含まれるあるニューロン部が発火による出力値すなわち刺激を受けるとその刺激がループ構造内を次々と伝播してゆくこととなるため、ループ構造内で刺激が連続的に伝播しつづけるように機能させ、また、ループ構造内のニューロン部がループ構造内の刺激が伝播される都度一定の時間間隔をおいて繰り返し興奮するように機能させることができるニューラルネットワーク構造を提供することができる。
【００５３】
また、本実施例におけるニューラルネットワーク構造は、上述したループ構造のニューラルネットワーク構造と、そのループ構造を伝播することによりあるニューロン部が発火することによって出力する出力値を入力値として受け取る他のニューラルネットワーク構造とを備える。図３（Ｂ）に示すように、ループ構造外にあるニューラルネットワーク構造では、一定の時間間隔をおいて繰り返し刺激を受けることで、興奮状態または興奮し易い状態のニューロン部が多くなり、所定の機能を発現しやすくなる。このように、ループ構造に含まれるあるニューロン部から刺激を受ける、ループ構造に含まれない他のニューラルネットワーク構造において、繰り返しその刺激を受けるたびに、ニューロン部の興奮を高めることができる。
【００５４】
興奮状態または潜在的興奮状態のニューロン部が多くなり、所定の機能を発現しやすくなるとは、脳情報処理機能において、思考を深めてゆくと結論が導出されやすくなることと同義である。ループ構造における伝播が１回以上行われ１回以上の入力を受け取るループ構造の外のニューラルネットワーク構造において、一連のニューロン部は、発火による出力値から入力を受け取ることで総和が閾値以上となり、所定の機能を発現する。
【００５５】
総和が閾値以上となることにより一連のニューロン部となった所定の機能とは、たとえば、ニューロン部の総和が閾値以上となり必ず発火することで所謂繋がった状態になり一群の概念を形成することである。図４を参照して、ニューロン部が発火する状態（繋がった状態）となっている一連のニューロン部が「意味」を備えることを説明する。たとえば、本発明にかかるニューラルネットワーク構造では、『「シマウマ」』という概念が一定回数以上刺激されると、「シマウマ」ニューロン部が形成される。
【００５６】
また、『「シマウマ」の模様は？』という問いと、それに対する答えを教えられると、「シマウマ」ニューロン部と「縞」ニューロン部が、また、「模様」ニューロン部と「縞」ニューロン部がほとんど同時に興奮するので、それぞれのニューロンを結ぶシナプスの結合強度が高まる。そして、同時興奮がある程度繰り返されると、「シマウマ」ニューロン部と「模様」ニューロン部に対して、「縞」ニューロン部が繋がった状態となる。これで、「シマウマ」ニューロン部が持つ「シマウマ」の概念と、「模様」ニューロン部が持つ「模様」の概念に対して、「縞」模様の概念が関連付けられる。
【００５７】
また、『「シマウマ」の形は？』という問いと、それに対する答えを教えられると、「シマウマ」ニューロン部と「ウマ形状」ニューロンが、また、「形状」ニューロン部と「ウマ形状」ニューロン部がほとんど同時に興奮するので、それぞれのニューロンを結ぶシナプスの結合強度が高まる。そして、その同時興奮がある程度繰り返されると、「シマウマ」ニューロン部と「ウマ形状」ニューロン部に対して、「縞」ニューロン部が繋がった状態となる。これで、「シマウマ」ニューロン部が持つ「シマウマ」の概念と、「形状」ニューロン部が持つ「形状」の概念に対して、「ウマ形状」の概念が関連付けられる。
【００５８】
また、「シマウマ」ニューロン部は、日本語の「音」ニューロン部である「し」ニューロン部と、「ま」ニューロン部と、「う」ニューロン部と、「ま」ニューロン部とが一連に繋がった日本語の名前の「単語」ニューロン部である「しまうま」ニューロン部と繋がった状態となる。また、「縞」ニューロン部は、日本語の「音」ニューロン部である「し」ニューロン部と、「ま」ニューロン部とが一連に繋がった日本語の名前の「単語」ニューロン部である「しま」ニューロン部と繋がった状態となる。
【００５９】
また、「シマウマ」ニューロン部が持つ概念の上位概念は、「動物」という概念であることを一定回数以上教えられると、「シマウマ」ニューロン部は、「動物」という概念を持つ「動物」ニューロン部と繋がった状態となる。そして、「動物」ニューロン部が持つ概念の下位概念は、「ライオン」や「キリン」といった概念であることを一定回数以上教えられると、「動物」という概念を持つ「動物」ニューロン部は、「ライオン」ニューロン部や「キリン」ニューロン部と繋がった状態となる。また、「どうぶつ」ニューロン部は、日本語の「音」ニューロン部である「ど」ニューロン部と、「う」ニューロン部と、「ぶ」ニューロン部と、「つ」ニューロン部とが一連に繋がった日本語の名前の「単語」ニューロン部である「どうぶつ」ニューロン部と繋がった状態となる。
【００６０】
このように、「シマウマ」ニューロン部が意味するところは、「シマウマ」ニューロン部が繋がった状態となっている他のニューロン部によって決まってくる。ニューラルネットワーク構造において、このようなニューロン部に繋がりにより概念や意味を与えることで、従来技術に比べると飛躍的に効率が良くなる。たとえば、ノイマン型のコンピュータ上で従来のプログラムで同様なことを実現しようとする、単語の途中で区切った場合に意味があるかどうかを調べたり、その概念の「模様」や「形状」などの特徴をあらかじめ記憶させておいて検索したりする必要がある。しかし、単語を区切る組み合わせは様々にあるので演算量が膨大になる。また、特徴を網羅的に記憶させるためには、大きな記憶領域が必要になる。いずれの場合も、あまり効率的ではない。
【００６１】
このように、ループ構造に含まれるあるニューロン部から刺激を受ける、ループ構造に含まれない他のニューラルネットワーク構造において、繰り返しその刺激を受けることによって、ニューロン部の興奮が次第に高められ、興奮が閾値を越えて発火したニューロン部が増加し、刺激がより広範囲に伝播するような一連のニューロン部を形成し、所定の機能を発現させることができる。また、ニューラルネットワーク構造において接続された一連のニューロン部が形成され、その一連のニューロン部に対応する所定の機能が発現することで、ある概念に関するニューロン部が、その概念に関連する概念に関するニューロン部と接続され、関連する概念群により所謂「意味」をニューラルネットワーク構造内に持たせることができる。
【００６２】
上述したように、ニューラルネットワーク構造において刺激がより広範囲に伝播するような一連のニューロン部を形成し、所謂「意味」をニューラルネットワーク構造内に持たせることができることにより、従来から「強いＡＩ」に対して議論のある記号接地問題を解決することができる。図５（Ａ）に示すように、階層型ニューラルネットワークでは、１つのニューロン部をある概念に対応させることはできるが、そのニューロン部に対して、その概念に関連する形状、性質、特徴、名称などの、いわゆる意味を持たせることはできないという記号接地問題を有すると言われている。
【００６３】
あるシンボル（記号）があった場合、それが意味するものと結びつけることが必要だが、従来型の情報処理システムにおいては解決されていない。たとえば、シマウマは、シマのある馬だということが人間には理解できるが、従来の情報処理システムにはできない。本発明にかかるニューラルネットワーク構造では、ニューロン部の意味は、図４や図５（Ｂ）に示すように、そのニューロン部が結びつくものによって決まるとの考え方に立ち、ある概念を意味するニューロン部に対して、名前、形状、他の概念のニューロン部との結びつきを形成すれば、それらがその概念ニューロンの意味そのものとなる。その結果、物事の概念や意味を理解することで、本当の意味での自然な会話や、人間が一般的に処理している事物を扱える強い人工知能を作ることができる。
【００６４】
＜第２実施例＞
図６を参照して、本実施例のニューラルネットワーク構造を説明する。なお、本実施例のニューラルネットワーク構造は、上記実施例のニューラルネットワーク構造を含むものとする。本実施例のニューラルネットワーク構造は、２つのニューロン部の論理積を算出する論理積構造、２つのニューロン部の論理和を算出する論理和構造、ニューロン部の論理否定構造、状態を保持することができるラッチ構造およびフリップフロップ構造のニューロン部を備える。これらの構造は、総和が閾値以上となることにより一連のニューロン部となった所定の機能の発現でもある。
【００６５】
図６（Ａ）は、論理積構造（ＡＮＤ回路）を示す。論理積構造を有するニューラルネットワーク構造は、ニューロン部１とニューロン部３およびニューロン部２とニューロン部３が重み係数４のシナプス部で接続されており、ニューロン部１とニューロン部２の両方が興奮状態となり発火した場合にはニューロン部３が発火する。いずれか一方が発火しない場合には、ニューロン部３は発火しない。
【００６６】
図６（Ｂ）は、論理和構造（ＯＲ回路）を示す。論理和構造を有するニューラルネットワーク構造は、ニューロン部１とニューロン部３およびニューロン部２とニューロン部３が重み係数９のシナプス部で接続されており、ニューロン部１とニューロン部２のいずれかが興奮状態となり発火した場合にはニューロン部３が発火する。いずれも発火しない場合には、ニューロン部３は発火しない。
【００６７】
図６（Ｃ）は、論理否定構造（ＮＯＴ回路）を示す。論理否定構造を有するニューラルネットワーク構造は、ニューロン部１とニューロン部２が重み係数−９のシナプス部で接続されており、ニューロン部１が興奮状態となり発火した場合には、他のニューロン部からの刺激があったとしても、ニューロン部２は発火しにくくなる。ニューロン部１が発火しない場合には、他のニューロン部からの刺激があれば、ニューロン部２は発火する可能性がある。
【００６８】
図６（Ｄ）および（Ｅ）は、値や状態を保持するためのラッチ構造（Ｌａｔｃｈ回路）およびフリップフロップ構造（Ｆｌｉｐ−Ｆｌｏｐ回路）を示す。ラッチ構造では、ニューロン部１が発火してもニューロン部２に他から発火が伝達されないとニューロン部２は発火しない。フリップフロップ構造では、ニューロン部１が発火するとニューロン部３の興奮状態が維持され、ニューロン部２が発火するとニューロン部４の興奮状態が維持される。なお、ニューラルネットワーク構造は、論理積構造、論理和構造および論理否定構造を有していれば、ラッチ構造およびフリップフロップ構造と同値の構造を形成することができる。
【００６９】
このように、ニューロン部同士の論理積演算部および論理和演算部、およびニューロン部の論理否定演算部を備えることで、ニューロン部のすべての演算処理が可能となる。さらに、論理積算出部、論理和算出部、論理否定算出部の組み合わせによりラッチ構造やフリップフロップ構造などのような、複雑な論理構造やより高次の機能を発現する一連のニューロン部を形成することがでる。
【００７０】
図７および図８を参照して、それぞれの構造の使用例を示す。図７（Ａ）は、論理積構造の例である。「シマ」の概念を持つニューロン部Ａと「ウマ」の概念を持つニューロン部Ｂとが論理積構造に入力されると、「シマウマ」という概念を持つニューロン部Ｃが興奮する。「シマ」ニューロン部だけまたは「ウマ」ニューロン部だけでは「シマウマ」ニューロン部は興奮しない。
【００７１】
本図（Ｂ）は、論理和構造の例である。「シマウマ」の音を持つニューロン部Ｄと「シマウマ」の画像（イメージ）を持つニューロン部Ｅのいずれかが論理和構造に入力されると、「シマウマ」の概念を持つニューロン部Ｃが興奮する。無論、「シマウマ」の音を持つニューロン部Ｄと「シマウマ」の画像（イメージ）を持つニューロン部Ｅとの両方が論理和構造に入力されても、「シマウマ」の概念を持つニューロン部Ｃが興奮する。
【００７２】
本図（Ｃ）は、論理否定構造の例である。「シマウマ」の概念を持つニューロン部Ｃが入力されると、「本物のウマではない」という概念を持つニューロン部Ｆは興奮しない。
【００７３】
本図（Ｄ）は、フリップフロップ構造の例である。「シマウマ」の音を持つニューロン部Ｄが入力されると、「シマウマ」の概念を持つニューロン部Ｃの興奮が持続し、「ウマ」の音を持つニューロン部Ｇが入力されると、「ウマ」の概念を持つニューロン部Ｂの興奮が持続する。
【００７４】
図８は、ラッチ構造の例である。この例では２つの数字の足し算を示す。「２と」という言葉に対応するニューロン部１１と、「３を」という言葉に対応するニューロン部１２と、「足す（和）」という言葉に対応するニューロン部１３が、それぞれ、「２」という数字の概念のニューロン部２１、「３」という数字の概念のニューロン部２２、「足す」という演算概念のニューロン部２３を興奮させ、全部のニューロンの興奮がそろったタイミングでタイミング信号を送ると、後段の「５」という数字の概念のニューロン部３が興奮する。
【００７５】
また、ある機能を発現する一連のニューロン部は、他の機能を発現する１以上の一連のニューロン部とあらかじめ接続されており、かつ、総和が閾値以上となることで発火してもよい。たとえば、「シ」という「音」ニューロン部と「マ」という「音」ニューロン部からなる一連の「音」ニューロン部である「シマ」の音を持つ「音」ニューロン部と、「ウ」という「音」ニューロン部と「マ」という「音」ニューロン部からなる一連の「音」ニューロン部である「ウマ」の音を持つ「音」ニューロン部と、を論理積構造に入力すると発火して、新たな「シマウマ」の音を持つ「音」ニューロン部を形成することができる。このように、関連する概念群である「意味」が発火することで、より広い概念群としてのより高次の「意味」の発火が容易になる状況を形成することができる。
【００７６】
本実施例のニューラルネットワーク構造は、さらに、図９に示す発振回路（発振部）を備えてもよい。発振回路は、第１のニューロン部１と、第２のニューロン部２および他のニューロン部３とから構成される。なお、他のニューロン部３は、本図では１つ示すが、これに限定されず１つ以上あってもよい。発振回路は、ニューロン部１と、ニューロン部２とニューロン部３からなり第２のニューロン部２の発火による出力値がニューロン部３を介してニューロン部２自身に伝播する構造を有する発振ニューロン部とを有する。
【００７７】
ニューロン部１からニューロン部２への方向で結びつけるシナプス部は、１回の総和でニューロン部２が発火する結合強度である発火重み係数９を有する。また、発振ニューロン部内のニューロン部同士すなわちニューロン部２とニューロン部３を結びつけるシナプス部は、１回の総和でニューロン部がそれぞれ発火する結合強度である発火重み係数９を有する。発振ニューロン部内のニューロン部２およびニューロン部３からニューロン部１への方向で結びつけるシナプス部は、１回の総和が閾値未満のため第１のニューロン部が発火しない結合強度である未発火重み係数４を有する。
【００７８】
ニューロン部１は、外部から刺激（１）を受けると、ニューロン部２に対して必ず発火（２）が行われ、ニューロン部３に対しては発火しない。発火（２）すなわち刺激（２）を受けたニューロン部２は、ニューロン部１からニューロン部２への方向に結びつけるシナプス部は１回の総和で発火する重み係数９を有しているのでニューロン部３に対しては、発火（３）が行われると共に、ニューロン部１の方へ結びつけるシナプス部は重み係数４の１回の総和では発火しない未発火重み係数を有するため、ニューロン部１に対しても発火（３）は行われるが、それだけでニューロン部１は興奮状態とはならない。
【００７９】
発火（３）すなわち刺激（３）を受けたニューロン部３は、重み係数９で以ってニューロン部２に対して発火（４）が行われると共に、重み係数４で以ってニューロン部１に対して発火（４）が行われる。そうすると、刺激（４）を受けたニューロン部２はニューロン部１とニューロン部３に対して発火（５）を行い、刺激（４）を受けたニューロン部１はこれだけでは興奮状態とはならない。
【００８０】
以降、同様に、各ニューロン部の間で発火（６）、（７）、（８）、、、と行われることになる。これにより、一旦、ニューロン部１に対して刺激が伝わると、ニューロン部２とニューロン部３の間で互いに発火／刺激を繰り返し行い、ニューロン部２またはニューロン部３のどちらかが必ず興奮状態におかれることになる。そして、ニューロン部２とニューロン部３は、ニューロン部１に対して未発火重み係数で以って刺激を与えているので、ニューロン部１は興奮状態とはならないもの、興奮しやすい状態（潜在的興奮状態）が維持されることとなる。
【００８１】
すなわち、本ニューラルネットワーク構造は、第１のニューロン部１と、第２のニューロン部２および他のニューロン部３からなり第２のニューロン部の発火による出力値が他の複数のニューロン部を介して第２のニューロン部自身に伝播する構造を有する発振ニューロン部とを有し、第１のニューロン部から第２のニューロン部への方向で結びつけるシナプス部は、１回の総和で第２のニューロン部が発火する発火重み係数を有し、発振ニューロン部内のニューロン部同士を結びつけるシナプス部は、１回の総和でニューロン部が発火する発火重み係数を有し、発振ニューロン部内のニューロン部から第１のニューロン部への方向で結びつけるシナプス部は、総和が閾値未満のため第１のニューロン部が発火しない未発火重み係数を有する発振部を備える。これによれば、刺激を受けて一度興奮状態になった第１のニューロン部を、その潜在的な興奮状態、すなわち興奮しやすい状態を一定期間持続させることができる。
【００８２】
このように、あるニューロン部を興奮しやすい状態に一定期間持続させることで、本ニューラルネットワーク構造は、ニューロン部においてある一定期間事象や状態を記憶することができる短期記憶部を備えることが可能となる。さらに、発振回路をループ構造と組み合わせることで、発振回路が発振する一定期間を繰り返して数十秒間の短期記憶を可能とすることができ、後述する思考につなげることが可能となる。
【００８３】
本実施例のニューラルネットワーク構造は、さらに、シナプス部の結合強度の強化機構を備えてもよい。この強化機構は、図１０に示すように、結合強度の変換テーブルを備え、入力側のニューロン部１と出力側のニューロン部２が一定時間以内に同時に興奮した場合に、当該ニューロン部間のシナプス結合の強度を強化するものである。人間の脳におけるニューロンは、ある事象を繰り返し入力されるとその事象を記憶し、その後その事象と同じ事象のものであるか否かを認識して、同じ事象のものである場合に、それに反応して信号を出力するようになる。そして、同じ情報が繰り返されるほど記憶することが容易になる。
【００８４】
この強化機構は、この脳における機能をモデル化したものであり、入力側のニューロン部１と出力側のニューロン部２が一定時間以内に同時に興奮することは、ある事象を繰り返し入力される状態であり、同じ情報が繰り返されるほど記憶することが容易になることは、結合強度を強化してより興奮状態になり発火しやすくなる状態を表している。長期記憶は、シナプス部がこのように強化された結合強度を有し、興奮状態になりやすい一連のニューロン部により形成することができる。人間の脳情報処理機能では、概ね７回の刺激で長期記憶が形成されるところ、この変換テーブルの例では３回の刺激で長期記憶が形成されるように設定している。この回数が多いと、長期記憶が形成されにくくなるが、一度形成された記憶は忘れにくく、また、誤って記憶が形成される確率が下がる。回数が少ないと、一度形成された記憶でも忘れやすく、また、誤って記憶が形成される確率も高くなるが、長期記憶の形成は容易になる。ここでは３回で長期記憶が形成される設定にしているが、３回に限定されるものではない。
【００８５】
このように、本ニューラルネットワーク構造は、一連のニューロン部から構成される長期記憶部を備える。また、本ニューラルネットワーク構造は、ループ構造と１以上の発振回路から構成される短期記憶部を備える。これによれば、ニューロン部により長期および短期の記憶を保持することが可能となる。なお、人間の脳では、短期記憶と長期記憶に加え、感覚記憶があると言われている。この感覚記憶は、本ニューラルネットワーク構造では、ニューラルネットワーク構造に情報を入力するための入力部における入力バッファとして実現されることができる。
【００８６】
図１１を参照して、図３（Ｂ）で説明した内容をさらに詳しく説明する。図１１に示すニューラルネットワーク構造は、ループ構造と、そのループ構造を伝播することによりあるニューロン部が発火して出力した出力値を入力値として受け取る他のニューラルネットワーク構造とを備える。ループ構造内のシナプス部は１回の総和で興奮状態となる８以上の重み係数を有しており、ニューロン部はすべて強い結合強度（強結合）を有している。他のニューラルネットワーク構造内のニューロン部１〜６は、それぞれ上述した発振回路を備えている。そして、ループ構造内のニューロン部と他のニューラルネットワーク構造内のニューロン部１〜６は、複数回の総和で興奮状態となる重み係数を有するシナプス部で弱結合されている。また、ニューロン部１とニューロン部２、ニューロン部２とニューロン部３、ニューロン部４とニューロン部５、およびニューロン部６とニューロン部７の間は強結合、その他は弱結合しているとする。
【００８７】
まず、他のニューラルネットワーク構造のニューロン部１に強結合のシナプスを介して閾値以上の強い刺激が与えられる。そうすると、ニューロン部１が興奮状態となりニューロン部２に対して発火し、ニューロン部２も発火してニューロン部３まで最初の刺激が伝播する。しかし、ニューロン部１とニューロン部３の発火タイミングはずれるので、ニューロン部４は発火しない。なお、ニューロン部１〜３は、発振回路を有しているので潜在的な興奮状態を一定期間保持する。
【００８８】
その間に、ループ構造内のニューロン部から弱結合のシナプスを介して、閾値未満の弱い刺激をうける。その刺激は、ニューロン部１〜６に対して伝達され、ニューロン部１〜３は潜在的興奮状態を持続しているので、弱い刺激であってもニューロン部１とニューロン部３は同時に発火する。そうすると、ニューロン部４は、弱結合のみのシナプス部で接続されているが、ループ構造内のニューロン部、ニューロン部１、およびニューロン部３から同時に刺激を受けるので興奮状態となり発火する。ニューロン部４が発火するとニューロン部５まで伝播する。しかし、ニューロン部３とニューロン部５の発火タイミングはずれるので、ニューロン部６は発火しない。なお、ニューロン部１〜６は、発振回路を有しているので潜在的な興奮状態を一定期間保持する。
【００８９】
またその間に、ループ構造内のニューロン部から弱結合のシナプスを介して、閾値未満の弱い刺激をうける。その刺激は、ニューロン部１〜６に対して伝達され、ニューロン部１〜５は潜在的興奮状態を持続しているので、弱い刺激であってもニューロン部３とニューロン部５は同時に発火する。そうすると、ニューロン部６は、弱結合のみのシナプス部で接続されているが、ループ構造内のニューロン部、ニューロン部３、およびニューロン部５から同時に刺激を受けるので興奮状態となり発火する。ニューロン部６が発火すると、他のニューラルネットワーク構造における最後に伝播するニューロン部７まで伝播する。
【００９０】
このように、ループ構造がなければ、ニューロン部１とニューロン部２で刺激が止まってしまい、所定の機能を発現する一連のニューロン部を形成できないまたは形成することに多くの時間を要することになるが、ループ構造があることでまたはループ構造と発振回路と組み合わせることで、所定の機能を発現する一連のニューロン部を形成しやすくなると言える。また、ループ構造があると、あるニューロン部に対して一つの入力を与えると、そのニューロン部は発火し、その発火による出力値が、他のニューロン部およびシナプス部を介して、そのニューロン部自身に伝播し発火する。
【００９１】
このように、ニューラルネットワーク構造においてループ構造が含まれることにより、そのループ構造に含まれるあるニューロン部が発火による出力値すなわち刺激を受けるとその刺激がループ構造内を次々と伝播してゆくこととなるため、ループ構造内で刺激が連続的に伝播しつづけるように機能させ、また、ループ構造内のニューロン部がループ構造内の刺激が伝播される都度一定の時間間隔をおいて繰り返し興奮するように機能させることができる。また、あるニューロン部に入力すると発火し、その発火による出力値すなわち刺激が繰り返し自分自身に伝わることで、その刺激を連続的に伝播させることができる。
【００９２】
ニューラルネットワーク構造において、興奮状態または潜在的興奮状態の一連のニューロン部が多くなり、所定の機能を発現しやすくなるとは、脳情報処理機能において、思考を深めてゆくと結論が導出されやすくなることと同等であり、人間同様の方法で思考していると考えることも可能である。
【００９３】
＜第３実施例＞
図１２を参照して、本実施例のニューラルネットワーク構造を説明する。なお、本実施例のニューラルネットワーク構造は、上記実施例のニューラルネットワーク構造を含むものとする。本実施例のニューラルネットワーク構造は、第１ニューラルネットワーク構造と、第２ニューラルネットワーク構造とを含み、第１ニューラルネットワーク構造に含まれるニューロン部と、第２ニューラルネットワーク構造に含まれるニューロン部とを結びつけるシナプス部を備える。すなわち、本ニューラルネットワーク構造は、２つまたはそれ以上の異なるニューラルネットワーク構造を含み、これらのニューラルネットワーク構造を繋ぐシナプス部を有する。
【００９４】
図１２に示すニューラルネットワーク構造は、ループ構造と、そのループ構造を伝播することによりあるニューロン部が発火して出力した出力値を入力値として受け取る第１のニューラルネットワーク構造と、第１のニューラルネットワーク構造内のニューロン部とシナプス部で接続されたニューロン部を含む第２のニューラルネットワーク構造を備える。
【００９５】
ループ構造内のシナプス部は、ループ形状に沿って１回の総和で興奮状態となる８以上の重み係数を有しており、ループを形成するニューロン部はすべて強い結合強度（強結合）で隣接するニューロン部と繋がっている。第１のニューラルネットワーク構造内のニューロン部１〜１０は、それぞれ上述した発振回路を備えている。そして、ループ構造内のニューロン部と第１のニューラルネットワーク構造内のニューロン部２〜９は、複数回の総和で興奮状態となる重み係数を有するシナプス部で弱結合されている。
【００９６】
また、ニューロン部１とニューロン部２、ニューロン部９とニューロン部１０の間は強結合、その他は弱結合しているとする。また、第１のニューラルネットワーク構造内のニューロン部と第２のニューラルネットワーク構造内のニューロン部は、強結合している。また、第２のニューラルネットワーク構造は、手順１〜４を含む。手順１〜４は、数個のニューロン部がすべて強結合された構造を備える。したがって、手順１〜４は、所定の機能を発現する一連のニューロン部が形成された状態であり、手順１〜４により記憶や意味を備えている状態である。
【００９７】
まず、第１のニューラルネットワーク構造のニューロン部１に強結合の刺激が与えられる。そうすると、ニューロン部１が興奮状態となりニューロン部２に対して発火し、第２のニューラルネットワーク構造の手順１内のニューロン部まで最初の刺激が伝播する。そして、手順１内のニューロン部はすべて強結合しているので、第１のニューラルネットワーク構造内のニューロン部３まで伝播する。しかし、ニューロン部２とニューロン部３の発火タイミングはずれるので、ニューロン部４は発火しない。なお、ニューロン部２およびニューロン部３は、発振回路を有しているので潜在的な興奮状態を一定期間保持する。
【００９８】
その間に、ループ構造内のニューロン部から弱結合の刺激をうける。その刺激は、ニューロン部２〜９に対して伝達され、ニューロン部１とニューロン部３は潜在的興奮状態を持続しているので、弱結合の刺激であってもニューロン部２とニューロン部３は同時に発火する。そうすると、ニューロン部４は、弱結合のみのシナプス部で接続されているが、ループ構造内のニューロン部、ニューロン部２、およびニューロン部３から同時に刺激を受けるので興奮状態となり発火する。ニューロン部４が発火すると第２のニューラルネットワーク構造内の手順２内のニューロン部まで伝播する。そして、手順２内のニューロン部はすべて強結合しているので、第１のニューラルネットワーク構造内のニューロン部５まで伝播する。しかし、ニューロン部４とニューロン部５の発火タイミングはずれるので、ニューロン部６は発火しない。なお、ニューロン部２〜９は、発振回路を有しているので潜在的な興奮状態を一定期間保持する。
【００９９】
またその間に、ループ構造内のニューロン部から弱結合の刺激をうける。その刺激は、ニューロン部２〜９に対して伝達され、ニューロン部４とニューロン部５は潜在的興奮状態を持続しているので、弱結合の刺激であってもニューロン部４とニューロン部５は同時に発火する。そうすると、ニューロン部６は、弱結合のみのシナプス部で接続されているが、ループ構造内のニューロン部、ニューロン部４、およびニューロン部５から同時に刺激を受けるので興奮状態となり発火する。ニューロン部６が発火すると第２のニューラルネットワーク構造内の手順３内のニューロン部まで伝播する。そして、手順３内のニューロン部はすべて強結合しているので、第１のニューラルネットワーク構造内のニューロン部７まで伝播する。しかし、ニューロン部６とニューロン部７の発火タイミングはずれるので、ニューロン部８は発火しない。なお、ニューロン部２〜９は、発振回路を有しているので潜在的な興奮状態を一定期間保持する。
【０１００】
またその間に、ループ構造内のニューロン部から弱結合の刺激をうける。その刺激は、ニューロン部２〜９に対して伝達され、ニューロン部６とニューロン部７は潜在的興奮状態を持続しているので、弱結合の刺激であってもニューロン部６とニューロン部７は同時に発火する。そうすると、ニューロン部８は、弱結合のみのシナプス部で接続されているが、ループ構造内のニューロン部、ニューロン部６、およびニューロン部７から同時に刺激を受けるので興奮状態となり発火する。ニューロン部８が発火すると第２のニューラルネットワーク構造内の手順４内のニューロン部まで伝播する。そして、手順４内のニューロン部はすべて強結合しているので、第１のニューラルネットワーク構造内のニューロン部９まで伝播する。そして、ニューロン部９も発火し、第１のニューラルネットワーク構造における最後に伝播するニューロン部１０まで伝播する。
【０１０１】
このように、ニューラルネットワーク構造においてループ構造が含まれることにより、そのループ構造に含まれるあるニューロン部が発火による出力値すなわち刺激を受けるとその刺激がループ構造内を次々と伝播してゆくこととなるため、ループ構造内で刺激が連続的に伝播しつづけるように機能させることができる。そして、長期記憶や短期記憶などが保持された異なるニューラルネットワーク構造に含まれるニューロン部を接続するシナプス部を備えることで、異なる体系のニューラルネットワーク構造の間で連携を行うことが可能になる。
【０１０２】
たとえば、このニューラルネットワーク構造は、手続き的な処理を実行するのに適している。図１２では、第１のニューラルネットワーク構造を計画レベルのニューラルネットワーク構造と呼び、第２のニューラルネットワーク構造を実行レベルのニューラルネットワーク構造と呼んでいるが、たとえば、本図に示すニューラルネットワーク構造により、大きな計画に基づきながら、細かい行動（手順）を実行していくことが可能になる。
【０１０３】
図１３を参照して、パズルを解く例に基づき手続き的な処理について説明する。なお、本図ではループ構造は省略している。まず、計画レベルの最初のニューロン部で、パズルを解くという意思があり発火（１）が行われる。発火（１）が行われると、パズルを解くために思いつくアルゴリズムについて、実行レベルのニューロン部の中で探索するための発火（２）、発火（３）、発火（４）が行われる。たとえば、発火（２）は「まっすぐ上にあげる」という手順を有するニューロン部へ、発火（３）は「ななめにひねる」という手順を有するニューロン部へ、発火（４）は「回転させる」という手順を有するニューロン部へ行われる。
【０１０４】
計画レベルのニューロン部から実行レベルのニューロン部へは弱結合の刺激が与えられる。しかし、「まっすぐ上にあげる」という手順を有するニューロン部から、「ななめにひねる」という手順を有するニューロン部から、「回転させる」という手順を有するニューロン部から、それぞれ計画レベルのニューロン部へ返答するニューロン部への結合強度は、「回転させる」という手順を有するニューロン部からの結合強度が最も高い状態（強結合）である。そうすると、計画レベルのニューロン部へ返答するニューロン部へは、「回転させる」ニューロン部から入力される可能性が高い。したがって、実行レベルから計画レベルへは、発火（６）が行われ、「回転させる」というアルゴリズムが返答される。計画レベルのニューロン部としては、パズルを解くにあたって有力なアルゴリズムは「回転させる」ことであると選択したことになる。
【０１０５】
その後、計画レベルでは、「実行する」ニューロン部へ刺激が伝播し、「実行する」ニューロン部は、実行レベルの「回転させるを実行する」ニューロン部に対して発火する。以降、実行レベルで所定の手順が実行され、結果（本図で「はずれた」）が計画レベルのニューロン部へ伝播する。
【０１０６】
このように、第１のニューラルネットワーク構造は、汎用的または計画的機能を有し、第２ニューラルネットワーク構造は、個別的または実行的機能を有することで、汎用的または計画的な機能を発現するニューラルネットワーク構造の下で、個別的または実行的な機能を発現させることができるようになる。
【０１０７】
この例では、計画レベルのニューラルネットワーク構造は、実行レベルのニューラルネットワーク構造からアルゴリズムを選択することができることを示した。従来型の情報処理システムでは、複数のアルゴリズムの中から、その場の状況に適したアルゴリズムを選択して実行させることはできないというフレーム問題を有すると言われている。従来型の情報処理システムは、起こりうる全てを考慮すると無限の時間がかかってしまうので、特定のテーマや範囲に枠（フレーム）をはめて、その枠の中だけで処理しようとする。
【０１０８】
しかし、現実世界のあらゆる事象に対処しようとすると、振るい分けをしなければならない可能性が無数にあるため、抽出する段階で無限の時間がかかってしまう。本発明では、そもそも人間でも、全てを考慮してから行動しているわけではないという考え方に立ち、複数のフレームを用意しておき、現実世界の状況に対して、連想系のニューラルネットワーク構造を利用して、最も合致するフレームを探索することによって、瞬時に抽出可能とする。このニューラルネットワーク構造によれば、現実的な時間内に答えを出せ、実用化に耐える強い人工知能の機能を有する情報処理システムを作製することができる。
【０１０９】
また、図１４（Ａ）に示すように、第１ニューラルネットワーク構造は、１以上の第２ニューラルネットワーク構造を制御する機能を有するマスタであり、第２ニューラルネットワーク構造は、第１ニューラルネットワーク構造の制御下で機能するスレーブであってもよい。これによれば、１つの主となるニューラルネットワーク構造が、他のニューラルネットワーク構造を制御することで、階層構造によって統制を効かせた、より大きなニューラルネットワーク構造を有することができる。
【０１１０】
また、図１４（Ｂ）に示すように、２つのニューラルネットワーク構造が互いに自分がマスタであり、相手がスレーブであると認識しているようなデュアルマスタスレーブ構成であってもよい。これによれば、相互に相手のニューロン部を制御しながら、自分のニューラルネットワーク構造の所定の目的を達することができる。
【０１１１】
また、図１４（Ｃ）に示すように、マスタスレーブの一方をニューラルネットワーク構造ではなく従来のプログラムとしてもよい。プログラムは、本能的な「無意識」の行動を内蔵することで提供し、また所定の機能を発現する一連のニューロン部は、生得的な「意識」のある行動を機能として提供する。
【０１１２】
＜第４実施例＞
図１７〜図２１を参照して、本願発明のニューラルネットワーク構造を使用した機能（学習機能、連想機能、および評価機能）について説明する。ここで、図１７に示すように、学習機能とは、ニューラルネットワーク構造においてシナプス部の結合強度を高めるための機能、すなわちニューロン部を結びつけるシナプス部の重み係数を増加させ、ニューロン部間あるいはニューラルネットワーク構造間の強い結合を促し、所定の機能を発現する一連のニューロン部を形成し易くするための機能である。また、連想機能とは、ニューラルネットワーク構造に対する入力に加えて、その入力だけでは一連のニューロン部を形成できず出力することはないが、別の異なるニューラルネットワーク構造または一連のニューロン部からの刺激（追加刺激）を受けることで、出力を得やすくするための機能を言う。また、評価機能とは、連想機能で得られた出力情報の妥当性を評価するための機能を言う。
【０１１３】
たとえば、図１８に示すように、学習に関する従来方式では、左右に関連の無い２つのニューラルネットワークがあったとしても両者は繋がるようなことはない。しかし、同図に示すように、本実施例での学習機能は、関連の無い２つのニューラルネットワークであったとしても、同時に興奮（発火）したニューロン部があった場合には、両ニューロン部には何らかの関連があるとみなして両ニューロン部を結びつけるシナプス部を形成し、そのシナプス部の重み係数を増加させる。このように、たまたま同時に興奮したニューロン部を結びつけることで、１つのニューラルネットワーク構造だけでは出力しえなかったことも出力できるようになる。なお、発火の厳密な同時性を求めるものではなく、所定の機能を発現している一連のニューロン部の中で連続的に発火する少なくとも１つのニューロンと、それとは異なる一連のニューロン部の中で連続的に発火する少なくとも１つのニューロンとが同時期に興奮するということでもよい。
【０１１４】
すなわち、他のニューラルネットワーク構造において、所定の機能を発現している第１の一連のニューロン部の中の少なくとも１つのニューロン部と、第１の一連のニューロン部とは異なる所定の機能を発現している第２の一連のニューロン部の中の少なくとも１つのニューロン部とが同時に発火した場合、第１の一連のニューロン部と第２の一連のニューロン部を結びつけるシナプス部の重み係数は増加する。さらに、このような学習機能は、上記実施例でも説明したあるニューラルネットワーク構造に含まれるニューロン部と、異なるニューラルネットワーク構造に含まれるニューロン部と間でも同様である。すなわち、第１ニューラルネットワーク構造に含まれるニューロン部と、第１ニューラルネットワーク構造とは異なる第２ニューラルネットワーク構造に含まれるニューロン部とを結びつけるシナプス部の重み係数は、そのシナプス部が結びつける両端のニューロン部が同時に発火した場合に増加してもよい。
【０１１５】
このような学習機能により、異なる一連のニューロン部間や異なるニューラルネットワーク構造間での強い結合が促され、所定の機能を発現する一連のニューロン部を形成し易くなり、またニューラルネットワーク構造間の関連を結びつけやすくなる。たとえば、人間の大脳では入力側のニューロン部と出力側のニューロンが同時に興奮すると、両者をつなぐシナプス結合が強化されると言われているが、別々の関連の無い知識と思っていたことが結びつくことで、１つの系ではわからなかったことも新たな「発見」をすることができるようになる。たとえば、地球と月の物理的関係に関する知識とリンゴが落ちる事象とが関連付けられる如くである。
【０１１６】
これに関連して、人間の脳の領野間での連携を題材に検証を行った（図２１参照）。なお、この検証に用い、本図に示されている画面は、Ｕｎｉｔｙという統合開発環境の上で作成された。本題材例では、同時に発火した時は同じ概念と捉えることで、視覚野と聴覚野に接合する概念ネットワーク内のニューロン部が、概念ネットワーク内のニューロン部に付属する属性を統合することを示す。画面の上段には、視覚野が示されており、その視覚野の中には、左から、林檎、蜜柑、甜瓜（メロン）、苺、バナナ、葡萄、檸檬、人参、大根、茄子にそれぞれ対応する形状ニューロン部が既に形成され、表示されている。また、同様に、画面の下段には、聴覚野が示されており、その聴覚野の中には、左から、林檎、蜜柑、甜瓜（メロン）、苺、バナナ、葡萄、檸檬、人参、大根、茄子にそれぞれ対応する言葉ニューロン部が既に形成され、表示されている。視覚野と聴覚野に接合する概念ネットワーク内のニューロン部が、視覚野と聴覚野の中間に多数表示されている。
【０１１７】
なお、概念ネットワークとは、同等の概念や異なる概念を結びつけるための繋がりのない中間ニューロン部を用意しておき、異なるニューラルネットワーク構造に属する複数のニューロン部が同時発火したのを契機に、これらの複数のニューロン部を結びつけ、新たな概念を形成し学習を促進するための仕掛けである。
【０１１８】
まず、本図の太短点線で示す手順１を説明する。手順１では、幼児にバナナを見せながらバナナという言葉を聞かせるように、視覚野のバナナの形状に相当するニューロン部と聴覚野のバナナという言葉に相当するニューロン部を同時に興奮（発火）させる。そうすると、概念ネットワーク内の中間ニューロン部の一つが、バナナという概念に相当するニューロン部に変化する。なお、入力のニューロンは、楕円で囲んであり、出力のニューロンは、矩形の点線で囲んである。
【０１１９】
次に、本図の太長点線で示す手順２を説明する。手順２では、幼児にバナナを見せながらバナナの味は甘いという概念を教えるように、視覚野のバナナの形状に相当するニューロン部と、味という概念の下の甘いという概念に相当するニューロン部を同時に興奮（発火）させる。そうすると、概念ネットワーク内の中間ニューロン部の一つが、甘い味という概念に相当するニューロン部に変化すると共に、甘い味という概念に相当するニューロン部とバナナという概念に相当するニューロン部と間にシナプス部が形成され、バナナと言う概念は甘い味という概念と双方向に結び付けられる。
【０１２０】
次に、本図の太一点鎖線で示す手順３を説明する。手順３では、幼児にバナナの味は？という質問をするように、聴覚野のバナナという言葉に相当するニューロン部と味に相当するニューロン部を刺激し興奮（発火）させる。そうすると、視覚野の刺激によりバナナというものの味は甘いというシナプス部で結びつけられた一連のニューロン部が既に形成されているので、聴覚野のバナナという言葉に相当するニューロン部から、バナナという概念のニューロン部を経由して、甘い味という概念に結びつけられるので、バナナの味は甘いという答えが得られた。
【０１２１】
このように、本検証では、概念領域において、形状ニューロン部と言葉ニューロン部間のシナプス部が形成されてつながり、概念ニューロンが形成できることを確認できた。また、同時発火した時は同じ概念と捉え、視覚野や聴覚野につながる概念ネットワーク内のニューロン部が、概念ネットワーク内のニューロン部に付属する属性が統合されること（属性統合）を確認できた。
【０１２２】
図１９は、連想機能の流れを示す。連想機能は、１つのニューラルネットワーク構造に対する入力に加えて、それとは異なるニューラルネットワーク構造または一連のニューロン部からの入力（追加刺激）を受けて、出力を得やすくする。たとえば、食べ物の画像の中のバナナの画像を与えられ、細長く少し湾曲した黄緑色の食べ物などの特徴は抽出できるが、準興奮状態であるがバナナの概念を出力できない一連のニューロン部がある場合、甘い味という概念を追加的に刺激として入力してやることで、バナナの概念を出力する一連のニューロン部を形成する。本図（Ａ）では、あるニューラルネットワーク構造に入力情報に加えて、一連のニューロン部を興奮させようとすることを示す。本図（Ｂ）では、入力された刺激がある程度ニューロン部を伝播するが、出力情報に対応するニューロン部までは刺激は伝播せず興奮状態とならないため、出力情報は得られないことを示す。しかし、本図（Ｃ）では、そのような状態の一連のニューロン部の中のニューロン部に対して、系外のニューロン部から追加的な刺激を受けると出力情報に対応するニューロン部まで刺激が伝播し、出力情報が得られるようになることを示す。
【０１２３】
このように、連想機能は、一連のニューロン部は、自身が属する他のニューラルネットワーク構造以外の他のニューラルネットワーク構造に属するニューロン部の発火による出力値から入力を受け取ることで、一連のニューロン部の出力値とシナプス部の重み係数との積の総和が閾値以上となり、所定の機能を発現するように機能する。このように、もう少しで出力を得られる準興奮状態にある一連のニューロン部に対して、関連する情報などを追加刺激として与えることで出力情報を得られるようになる。
【０１２４】
ただし、得られた出力情報の確度が高いものか否かの評価は必要である。その評価を行うために、評価機能を使用する。評価機能とは、図２０に示すように、連想機能によって得られた出力情報について、入力情報と照合し、出力情報の確度を求め、また、出力情報と判断した理由を抽出する機能である。たとえば、本図左側のニューラルネットワーク構造のように入力情報を受けて興奮したニューロン部の興奮パターンと、本図右側のニューラルネットワーク構造のように追加刺激を受けて出力情報を出力した時の出力情報に対応するニューロン部から逆方向にたどったニューロン部の興奮パターンとを比較する。評価機能では、これらを比較して、興奮したニューロン部の一致度が高いほど、出力情報の確度が高いと評価する。
【０１２５】
すなわち、評価機能は、連想機能により、自身が属する他のニューラルネットワーク構造以外の他のニューラルネットワーク構造に属するニューロン部の発火による出力値から入力を受け取ることで総和が閾値以上となった一連のニューロン部に対して機能するものである。そして、評価機能は、自身が属する他のニューラルネットワーク構造に属するニューロン部の発火による出力値のみから入力を受け取った場合の一連のニューロン部内で発火したニューロン部と、自身が属さない他のニューラルネットワーク構造に属するニューロン部の発火による出力値から入力を受け取った場合の一連のニューロン部内で発火したニューロン部と、を比較し、発火したニューロン部の一致割合が所定値以上か否かを判定することにより評価する。このような評価機能を有することで、連想機能において出力された出力情報の妥当性を確保することができる。
【０１２６】
上述したすべてのニューラルネットワーク構造は、大別して、２通りの方法で実現できる。１つは、ノイマン型コンピュータ上に、ソフトウェアでシミュレータを構築する方法である。もう１つは、ニューロンを電子回路でモデル化し、それを多数実装したハードウェアを構築する方法である。前者は、小規模なそして試行的なニューラルネットワーク構造に向いており、後者は、大規模なそして本格的なニューラルネットワーク構造に向いている。
【０１２７】
上述したニューラルネットワーク構造をハードウェアにより実現するための電子回路は、ニューロン部およびシナプス部を構成する演算素子と、重み係数を記憶する記憶素子と、総和を計算する加算回路とから構成される。ニューロン部およびシナプス部を構成する演算素子は、多入力１出力型の半導体素子であり、この素子が多数集積することでニューラルネットワーク構造を構成する。総和を計算する加算回路は、ニューロン部が発火した場合シナプス部の重み係数を加算するための回路である。回路の構成は、０と１の２値で表現されるデジタル値を加算する既知の回路によって構成することができる。
【０１２８】
重み係数を記憶する記憶素子は、値を保持する機能を備える半導体素子であり、各シナプス部に対応して少なくとも１つ存在する。なお、この記憶素子は、メモリスタ素子で実装されてもよい。これによれば、単に０か１かのデジタル値だけでなく、複数の値を取り得る記憶素子を、受動素子であるメモリスタ素子１個だけで形成でき、しかも、記憶した値を電気抵抗として利用することはもちろん、流した電流の累積値によって記憶値を増減させることもでき、また、メモリスタ素子の記憶は不揮発性であるので、電源を遮断しても記憶を保持することができる。
【０１２９】
ニューロン部およびシナプス部を構成する複数の演算素子の一部において、上述したループ構造を始めとしたニューラルネットワーク構造を構成することで、係るニューラルネットワーク構造を含む電子回路を提供することができる。なお、電子回路は、シリコンなどの半導体でできた基板の上に多数の電子素子や配線によりニューラルネットワーク構造を実装した回路、所謂ニューロチップであってもよい。
【０１３０】
図１５に示すように、情報処理システム１００は、上述した電子回路であるニューロチップ１０と、ニューロチップ１０が複数設けられたニューロボード２０と、ニューロボード２０が複数集まり論理的な構成を有する領野機能ユニット３０と、複数の領野機能ユニット３０が連携して統合的に機能させるためのバックパネル６０と、外部から光学的入力、音響的入力、電気的入力、または物理的動作の入力を受け付けて、電気信号に変換する入力部４０と、外部へ電気信号を光学的出力、音響的出力、電気的出力、物理的動作の出力に変換する出力部５０と、を備える。
【０１３１】
１ヒューマンレベルは概ね１００億ニューロン／システムと言われているが、ニューロボード２０は、ニューロン部を構成するニューロチップ１０の集積度をさらに高めるために用いられる。領野機能ユニット３０は、複数のニューロボード２０がある機能を実現するための論理的なまとまりである。領野機能ユニット３０は、たとえば音声や画像の領野においては図１６に示すように、音声解析機能や画像解析機能を有する領野、単語や形状の領野、概念の領野、文法機能の領野、意思決定機能の領野といった様々な領野がある。それぞれの領野には多数のニューロンチップ１０が必要となるため、複数のニューロボード２０を用いて実現する。
【０１３２】
入力部４０は、情報処理システム１００の外部から与えられる、光の、音の、電気的、物理的な刺激などあらゆる刺激を入力として受けて電気的信号に変換する装置である。たとえば、カメラ、マイク、センサなどである。出力部５０は、逆にニューロンチップ１０が電気的に出力した信号を、光の、音の、電気的、物理的な出力を行うものである。たとえば、ディスプレイ、スピーカ、通信機器、アクチュエータである。
【０１３３】
情報処理システム１００は、入力部４０から入力される外界の刺激に対して、それぞれ関連する領野機能ユニット３０が機能し、出力部５０により反応する。情報処理システム１００は、これらの過程において、ニューラルネットワーク構造に形成されたループ構造により統合され、情報処理システム１００内のニューロン部が興奮しやすく、ニューロン部間を刺激が伝播しやすくなっている。
【０１３４】
このように、外部からの各種入力に呼応した視覚的、音声的、具体的、抽象的、または物理的な意味を持つ所謂概念ニューロン部を形成し、またこのニューロン部と関連するニューロン部を接続させることによって、概念ニューロン部に、より広範で豊かな意味を持たせ、現実世界の意味に立脚したニューラルネットワーク構造を実現するとともに、ニューラルネットワーク構造の出力を外部に作用させることができる情報処理システム１００を提供することができる。
【０１３５】
ノイマン型コンピュータ上にソフトウェアのシミュレータとして、本発明にかかるニューラルネットワーク構造を構築することも可能である。このシミュレータソフトウェアでは、複数のニューロン部と複数のニューロン部を結びつけるシナプス部とを有するニューラルネットワーク構造において、ニューロン部およびシナプス部を介して発火を伝播させる方法を実装する。具体的には、シミュレータソフトウェアは、
第１のニューロン部が発火し、シナプス部を介して第２のニューロン部に伝播させるステップと、
第（Ｎ−１）のニューロン部は、第（Ｎ−２）のニューロン部からの発火が伝播されると発火し、シナプス部を介して第Ｎのニューロン部に伝播させるステップと、
第Ｎのニューロン部は、第（Ｎ−１）のニューロン部からの発火が伝播されると発火し（Ｎは３以上の自然数）、シナプス部を介して第１のニューロン部に伝播させるステップと、
を含む。これによれば、刺激を受けるとその刺激が繰り返し自分自身に伝わることとなるため、ニューラルネットワーク構造（ループ構造）内において、刺激が連続的に伝播しつづけるように機能させることと、ニューラルネットワーク構造（ループ構造）内のニューロン部が連続的に伝播する刺激が伝播される都度一定の時間間隔をおいて繰り返し興奮するように機能させることができるシミュレータソフトウェアおよびその方法を提供することができる。
【０１３６】
また、上述したステップを実行するための命令を含み、コンピュータ上で実行されるプログラムを提供することができる。これによれば、通常のノイマン型コンピュータを用いて、ループ構造を含むニューラルネットワーク構造を機能させることができる方法を実行するプログラムを提供することができる。
【０１３７】
また、このプログラムは、ニューラルネットワーク構造のシミュレーションをコンピュータ上で実行するプログラムであってもよい。このプログラムは、
シナプス部の重み係数を増減する記憶強化／劣化ステップと、
一のニューロン部の発火または未発火の出力値とシナプス部の重み係数との積を１回以上加算した総和を計算する加算ステップと、
記憶した重み係数および計算した総和に基づき、一のニューロン部がシナプス部を介して他のニューロン部に発火を伝播させるまたは伝播させないことのシミュレーションを行う処理ステップと、
を実行するプログラムである。これによれば、通常のノイマン型コンピュータを用いて、ループ構造を含むニューラルネットワーク構造をシミュレーションするプログラムを提供することができる。
【０１３８】
なお、本発明は、例示した実施例に限定するものではなく、特許請求の範囲の各項に記載された内容から逸脱しない範囲の構成による実施が可能である。すなわち、本発明は、主に特定の実施形態に関して特に図示され、かつ説明されているが、本発明の技術的思想および目的の範囲から逸脱することなく、以上述べた実施形態に対し、数量、その他の詳細な構成において、当業者が様々な変形を加えることができるものである。
【符号の説明】
【０１３９】
１００    情報処理システム
１０      ニューロチップ（電子回路）
２０      ニューロボード
３０      領野機能ユニット
４０      入力部
５０      出力部
【図１】
2018180499.tif 000003
【図２】
2018180499.tif 000004
【図３】
2018180499.tif 000005
【図４】
2018180499.tif 000006
【図５】
2018180499.tif 000007
【図６】
2018180499.tif 000008
【図７】
2018180499.tif 000009
【図８】
2018180499.tif 000010
【図９】
2018180499.tif 000011
【図１０】
2018180499.tif 000012
【図１１】
2018180499.tif 000013
【図１２】
2018180499.tif 000014
【図１３】
2018180499.tif 000015
【図１４】
2018180499.tif 000016
【図１５】
2018180499.tif 000017
【図１６】
2018180499.tif 000018
【図１７】
2018180499.tif 000019
【図１８】
2018180499.tif 000020
【図１９】
2018180499.tif 000021
【図２０】
2018180499.tif 000022
【図２１】
2018180499.tif 000023
【手続補正書】
【提出日】令和1年10月4日(2019.10.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のニューロン部と、前記複数のニューロン部を結びつけるシナプス部とを有し、一の前記ニューロン部の発火または未発火の出力値と前記シナプス部の重み係数との積を１回以上加算した総和に応じて、前記シナプス部を介して前記一のニューロン部と接続されている他の前記ニューロン部が発火するニューラルネットワーク構造であって、前記一のニューロン部の発火による出力値が、前記他のニューロン部および前記シナプス部を介して、前記一のニューロン部自身に伝播するループ構造を備えるニューラルネットワーク構造と、
前記ループ構造を伝播することにより前記一のニューロン部が発火することによって出力する出力値を入力値として受け取る他のニューラルネットワーク構造と、
を備え、
前記ループ構造における伝播が１回以上行われ１回以上の入力を受け取る前記他のニューラルネットワーク構造において、一連の前記ニューロン部は、前記入力を発火による出力値から受け取ることで前記総和が閾値以上となり、所定の機能を発現し、
第１の前記ニューロン部と、第２の前記ニューロン部および他の複数の前記ニューロン部からなり前記第２のニューロン部の発火による出力値が前記他の複数のニューロン部を介して前記第２のニューロン部自身に伝播する構造を有する発振ニューロン部とを有し、前記第１のニューロン部から前記第２のニューロン部への方向で結びつけるシナプス部は、１回の前記総和で前記第２のニューロン部が発火する発火重み係数を有し、
前記発振ニューロン部内の前記ニューロン部同士を結びつけるシナプス部は、１回の前記総和で前記ニューロン部が発火する発火重み係数を有し、
前記発振ニューロン部内の前記ニューロン部から前記第１のニューロン部への方向で結びつけるシナプス部は、閾値未満のため前記第１のニューロン部が発火しない未発火重み係数を有する、
発振部を備えることを特徴とするニューラルネットワーク構造。
【請求項２】
一の前記ニューロン部と他の１以上の前記ニューロン部との論理積を算出する論理積算出部と、
一の前記ニューロン部と他の１以上の前記ニューロン部との論理和を算出する論理和算出部と、
一の前記ニューロン部の論理否定を算出する論理否定算出部と、
を備えることを特徴とする請求項１に記載のニューラルネットワーク構造。
【請求項３】
前記論理積算出部、前記論理和算出部、前記論理否定算出部のいずれかまたは組み合わせにより、より高次の機能を発現する一連の前記ニューロン部を形成することを特徴とする請求項２に記載のニューラルネットワーク構造。
【請求項４】
一の機能を発現する前記一連のニューロン部は、他の機能を発現する１以上の前記一連のニューロン部と接続されていて、かつ、前記総和が閾値以上となることで発火することを特徴とする請求項１または３に記載のニューラルネットワーク構造。
【請求項５】
前記一連のニューロン部から構成される長期記憶部と、
前記ループ構造と１以上の前記発振部から構成される短期記憶部と、
を備えることを特徴とする請求項１に記載のニューラルネットワーク構造。
【請求項６】
複数の前記ニューロン部を有する、請求項５に記載の第１ニューラルネットワーク構造と、複数の前記ニューロン部を有する、請求項５に記載の第２ニューラルネットワーク構造と、を含み、
前記第１ニューラルネットワーク構造に含まれる前記ニューロン部と、前記第２ニューラルネットワーク構造に含まれる前記ニューロン部とを結びつける前記シナプス部を備えることを特徴とするニューラルネットワーク構造。
【請求項７】
前記第１ニューラルネットワーク構造は、１以上の前記第２ニューラルネットワーク構造を制御する機能を有するマスタであり、
前記第２ニューラルネットワーク構造は、前記第１ニューラルネットワーク構造の制御下で機能するスレーブであることを特徴とする請求項６に記載のニューラルネットワーク構造。
【請求項８】
前記第１ニューラルネットワーク構造は、汎用的または計画的機能を有し、
前記第２ニューラルネットワーク構造は、個別的または実行的機能を有することを特徴とする請求項７に記載のニューラルネットワーク構造。
【請求項９】
前記第１ニューラルネットワーク構造に含まれる前記ニューロン部と、前記第２ニューラルネットワーク構造に含まれる前記ニューロン部とを結びつける前記シナプス部の重み係数は、当該シナプス部が結びつける両端の前記ニューロン部が同時に発火した場合に増加することを特徴とする請求項６乃至請求項８のいずれかに記載のニューラルネットワーク構造。
【請求項１０】
前記ループ構造における伝播が１回以上行われ１回以上の入力を受け取る前記他のニューラルネットワーク構造において、一連の前記ニューロン部は、自身が属する前記他のニューラルネットワーク構造以外の前記他のニューラルネットワーク構造に属する前記ニューロン部の発火による出力値から入力を受け取ることで前記総和が閾値以上となり、所定の機能を発現することを特徴とする請求項１乃至請求項９に記載のニューラルネットワーク構造。
【請求項１１】
自身が属する前記他のニューラルネットワーク構造以外の前記他のニューラルネットワーク構造に属する前記ニューロン部の発火による出力値から入力を受け取ることで前記総和が閾値以上となった前記一連のニューロン部は、
自身が属する前記他のニューラルネットワーク構造に属する前記ニューロン部の発火による出力値のみから入力を受け取った場合の前記一連のニューロン部内で発火した前記ニューロン部と、
自身が属さない前記他のニューラルネットワーク構造に属する前記ニューロン部の発火による出力値から入力を受け取った場合の前記一連のニューロン部内で発火した前記ニューロン部と、
を比較し、発火した前記ニューロン部の一致割合が所定値以上か否かを判定することにより評価されることを特徴とする請求項１０に記載のニューラルネットワーク構造。
【請求項１２】
前記他のニューラルネットワーク構造において、所定の機能を発現している第１の前記一連のニューロン部の中の少なくとも１つのニューロン部と、前記第１の一連のニューロン部とは異なる所定の機能を発現している第２の前記一連のニューロン部の中の少なくとも１つのニューロン部とが同時に発火した場合、前記第１の一連のニューロン部と前記第２の一連のニューロン部を結びつける前記シナプス部の重み係数は増加することを特徴とする請求項１乃至請求項１１のいずれかに記載のニューラルネットワーク構造。
【請求項１３】
前記ニューロン部および前記シナプス部を構成する演算素子と、
前記重み係数を記憶する記憶素子と、
前記総和を計算する加算回路と、
を備え、請求項１乃至請求項１２のいずれかに記載のニューラルネットワーク構造を含む電子回路。
【請求項１４】
前記記憶素子は、メモリスタで実装されることを特徴とする請求項１３に記載の電子回路。
【請求項１５】
請求項１３または１４に記載の電子回路と、
外部から光学的入力、音響的入力、電気的入力、または物理的動作の入力を受け付けて、電気信号に変換する入力部と、
外部へ電気信号を光学的出力、音響的出力、電気的出力、物理的動作の出力に変換する出力部と、
を備え、
前記入力部は、電気信号を前記ニューラルネットワーク構造に含まれる前記ニューロン部に入力し、
前記出力部は、前記ニューラルネットワーク構造に含まれる前記ニューロン部からの電気信号を受け付ける、
ことを特徴とする情報処理システム。
【請求項１６】
請求項１乃至１２のいずれかに記載のニューラルネットワーク構造のシミュレーションをコンピュータ上で実行するプログラムであって、
前記重み係数を増減する記憶強化／劣化ステップと、
前記総和を計算する加算ステップと、
記憶した前記重み係数および計算した前記総和に基づき、一の前記ニューロン部が前記シナプス部を介して他の前記ニューロン部に発火を伝播させるまたは伝播させないことのシミュレーションを行う処理ステップと、
を実行するプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
上記課題を解決するために、複数のニューロン部と、複数のニューロン部を結びつけるシナプス部とを有し、一のニューロン部の発火または未発火の出力値とシナプス部の重み係数との積を１回以上加算した総和に応じて、シナプス部を介して一のニューロン部と接続されている他のニューロン部が発火するニューラルネットワーク構造であって、一のニューロン部の発火による出力値が、他のニューロン部およびシナプス部を介して、一のニューロン部自身に伝播するループ構造を備えるニューラルネットワーク構造と、ループ構造を伝播することにより一のニューロン部が発火することによって出力する出力値を入力値として受け取る他のニューラルネットワーク構造と、を備え、ループ構造における伝播が１回以上行われ１回以上の入力を受け取る他のニューラルネットワーク構造において、一連のニューロン部は、入力を発火による出力値から受け取ることで総和が閾値以上となり、所定の機能を発現し、第１のニューロン部と、第２のニューロン部および他の複数のニューロン部からなり第２のニューロン部の発火による出力値が他の複数のニューロン部を介して第２のニューロン部自身に伝播する構造を有する発振ニューロン部とを有し、第１のニューロン部から第２のニューロン部への方向で結びつけるシナプス部は、１回の総和で第２のニューロン部が発火する発火重み係数を有し、発振ニューロン部内のニューロン部同士を結びつけるシナプス部は、１回の総和でニューロン部が発火する発火重み係数を有し、発振ニューロン部内のニューロン部から第１のニューロン部への方向で結びつけるシナプス部は、閾値未満のため第１のニューロン部が発火しない未発火重み係数を有する発振部を備えることを特徴とするニューラルネットワーク構造が提供される。
これによれば、ニューラルネットワーク構造においてループ構造が含まれることにより、そのループ構造に含まれるあるニューロン部が発火による出力値すなわち刺激を受けるとその刺激がループ構造内を次々と伝播してゆくこととなるため、ループ構造内で刺激が連続的に伝播しつづけるように機能させることと、ループ構造内のニューロン部がループ構造内の刺激が伝播される都度一定の時間間隔をおいて繰り返し興奮するように機能させることができるニューラルネットワーク構造を提供することができる。さらに、ループ構造に含まれるあるニューロン部から刺激を受ける、ループ構造に含まれない他のニューラルネットワーク構造において、繰り返しその刺激を受けるたびに、ニューロン部の興奮を高めることができる。さらに、ループ構造に含まれるあるニューロン部から刺激を受ける、ループ構造に含まれない他のニューラルネットワーク構造において、繰り返しその刺激を受けることによって、ニューロン部の興奮が次第に高められ、興奮が閾値を越えて発火したニューロン部が増加し、刺激がより広範囲に伝播するような一連のニューロン部を形成し、所定の機能を発現させることができる。ニューラルネットワーク構造において接続された一連のニューロン部が形成され、その一連のニューロン部に対応する所定の機能が発現することで、ある概念に関するニューロン部が、その概念に関連する概念に関するニューロン部と接続され、関連する概念群により所謂「意味」をニューラルネットワーク構造内に持たせることができる。さらに、刺激を受けて一度興奮状態になった第１のニューロン部を、その潜在的な興奮状態を一定期間持続させることができる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】削除
【補正の内容】
【国際調査報告】
2018180499.tif 000024
2018180499.tif 000025
2018180499.tif 000026
2018180499.tif 000027