"ハードウェア、ソフトウェア、またはその組合せで実現されるニューラルネットワークデバイスであって、アセンブリ間リンクによって相互結合されるノードアセンブリの集合を備え、各々のノードアセンブリ自体は複数のアセンブリ内リンクによって相互結合されるノードのネットワークを含み、前記アセンブリ間リンクおよび前記アセンブリ内リンクの各々は関連付けられた重みを有し、各々の重みは関連付けられた前記リンクによって接続される前記ノード同士の間の結合の強さを実現し、各々のアセンブリ内の前記ノードは、前記ノードアセンブリの他のもの内のノードに結合されるよりもそのアセンブリ内の他のノードに結合される見込みがより高い、ニューラルネットワークデバイス。前記アセンブリ間リンクと関連付けられる前記重みは、特定の目的に向けた前記ニューラルデバイスの学習を実現する、請求項1に記載のニューラルネットワークデバイス。前記アセンブリ内リンクは、前記アセンブリ間リンクよりもより少ない程度で前記特定の目的に向けた前記ニューラルデバイスの前記学習を実現する、請求項2に記載のニューラルネットワークデバイス。前記ノード同士が結合され、前記ノードアセンブリは一対の結合性プロファイルに応じて形成される、請求項1から3のいずれかに記載のニューラルネットワークデバイス。前記ノードアセンブリの各々内の平均重みの変動は、より多数のリンクを有するノードアセンブリについて一般的に減少する、請求項1から4のいずれかに記載のニューラルネットワークデバイス。各々それぞれのノードアセンブリとの相互結合の平均強さは、前記それぞれのノードアセンブリ内のリンクの数が前記それぞれのノードアセンブリ内のノードの数を超えるとそれぞれの限界に漸近的に近付く、請求項1から5のいずれかに記載のニューラルネットワークデバイス。前記それぞれの限界は実質的に同一である、請求項6に記載のニューラルネットワークデバイス。同じノードアセンブリ内のノードの数よりも少ない数のアセンブリ内リンクを有するノードアセンブリについては、前記アセンブリ内リンクの前記重みの大きさは1組のレベルの区別可能な個別のレベルと関連付けられる、請求項1から7のいずれかに記載のニューラルネットワークデバイス。各々の個別のレベルは、前記アセンブリ内の異なる数のノードと関連付けられる、請求項8に記載のニューラルネットワークデバイス。各々のアセンブリ内リンクの前記アセンブリ内の他のノードの数に基づいて前記アセンブリ内リンクの各々の重みの大きさを変更するように構成されるアダプタ要素をさらに備える、請求項1から9のいずれかに記載のニューラルネットワークデバイス。前記アダプタ要素は、前記ニューラルネットワークデバイスが学習される前に各々の重みの大きさを変更するように構成される、請求項10に記載のニューラルネットワークデバイス。前記ニューラルネットワークデバイスは学習されていない、請求項1から11のいずれかに記載のニューラルネットワークデバイス。前記ノードアセンブリ内のノードの数に基づいて各々のノードアセンブリ中のノード同士の間の結合の確率を変更するように構成されるアダプタ要素をさらに備える、請求項1から12のいずれかに記載のニューラルネットワークデバイス。前記アダプタ要素は、前記ニューラルネットワークデバイスが学習される前に各々の重みの大きさを変更するように構成される、請求項13に記載のニューラルネットワークデバイス。前記リンクは相互リンクおよび非相互リンクを備える、請求項1から14のいずれかに記載のニューラルネットワークデバイス。前記非相互リンクは前記相互リンクの約2倍一般的である、請求項15に記載のニューラルネットワークデバイス。各々のアセンブリ内の前記ノードは、前記ノードアセンブリ内の他のアセンブリにおけるノードに結合されるよりも、そのアセンブリにおける他のノードに結合される見込みが約2倍高い、請求項1から16のいずれかに記載のニューラルネットワークデバイス。10個から100個の間のノードを有するノードアセンブリの数は、10個未満および100個を超えるノードを有するノードアセンブリの数よりも多い、請求項1から17のいずれかに記載のニューラルネットワークデバイス。10個から100個の間のノードアセンブリが存在する、請求項1から18のいずれかに記載のニューラルネットワークデバイス。ニューラルネットワークデバイスを形成する、機械で実現される方法であって、ハードウェア、ソフトウェア、またはその組合せで実現されるノードのネットワークを形成するステップと、前記ノードによって共有される多数の共通の近傍を実現する確率を有するノードを結合するまたは切離すことによって前記ネットワークのノード同士の間のリンクを割当てるまたは再割当てするステップとを備える、方法。準定常状態に達するまで前記割当てるまたは再割当てするステップを繰返すステップをさらに備える、請求項20に記載の方法。前記準定常状態は、請求項1から19のいずれか1項に記載のニューラルネットワークデバイスを備える、請求項21に記載の方法。前記ノードは、一対の結合性プロファイルに応じて結合される、請求項20から22のいずれか1項に記載の方法。前記ノードのネットワークを学習するステップをさらに備える、請求項20から23のいずれか1項に記載の方法。前記ノードのネットワークを学習するステップは、相対的に安定した重みを用いて前記ノードアセンブリ内のリンクを重み付けするステップと、前記ノードアセンブリ内のリンクの前記重みを相対的に変えないままにしながら、ノードアセンブリ同士の間のリンクを重み付けして前記学習を実現するステップとを備える、請求項24に記載の方法。第1および第2のノードの両者に共通に結合されるノードの数に基づいて前記第1のノードと前記第2のノードとの間の各々のリンクに重みを割当てるステップをさらに備える、請求項20から25のいずれか1項に記載の方法。ランダムな割当てプロセスまたは、リンクされる2つのノードの確率に従ってリンク割当てがなされるプロセスのいずれかに応じて最初のリンクの組を割当てるステップをさらに備える、請求項20から26のいずれか1項に記載の方法。前記方法は学習されていないニューラルネットワークデバイスを形成する、請求項20から27のいずれか1項に記載の方法。各々それぞれのノードアセンブリ内のリンクの数がそのそれぞれのノードアセンブリ内のノードの数を超えるまで割当てまたは再割当てのステップを繰返すステップをさらに備える、請求項20から28のいずれか1項に記載の方法。前記リンクの数が前記ノードの数を超えると限界に近付く重みを用いて前記それぞれのノードアセンブリの各々におけるリンクを重み付けするステップをさらに備える、請求項29に記載の方法。異なるサイズのノードアセンブリについての前記限界は実質的に同じである、請求項30に記載の方法。ニューラルネットワークは、ネットワーク内で所望の信号の流れを発生させるようにおよび所望の情報処理または情報記憶結果を達成するように学習可能である。一般的に、ニューラルネットワークの学習は、学習段階の間にノード同士の間の結合の配置および/または強さを変更する。所与の入力の組についてニューラルネットワークによって十分に適切な処理結果が達成されると、ニューラルネットワークが学習されたと考えることができる。さまざまな異なるデバイスでニューラルネットワークを用いて非線形データ処理および分析を行なうことができる。非線形データ処理は重ね合わせの原理を満たさない。すなわち、定めるべき変数を独立した成分の線形の和として書くことができない。非線形データ処理が有用である文脈の例は、パターンおよび配列認識、新規性検出および逐次意思決定、複素システムモデリング、ならびにさまざまな他の文脈でのシステムおよび技術を含む。要約この明細書は、学習されたおよび学習されていないニューラルネットワークの組織化に向けた方策、ならびにニューラルネットワークの組織化の方法を記載する。ラットの新皮質における生体ニューロンの組織化の研究は、ニューラルネットワーク中のノードがどのように有利に組織化可能であるかについてのきっかけを与えた。ラットの新皮質中の生体ニューロンの組織化を模倣する相互結合を有するニューラルネットワークは、改良された情報処理および/または情報記憶を達成するように学習可能である。この明細書に記載される主題の第1の局面では、ニューラルネットワークデバイスは、ハードウェア、ソフトウェア、またはその組合せで実現される。ニューラルネットワークデバイスは、アセンブリ間リンクによって相互結合されるノードアセンブリの集合を含み、各々のノードアセンブリ自体は複数のアセンブリ内リンクによって相互結合されるノードのネットワークを備え、アセンブリ間リンクおよびアセンブリ内リンクの各々は関連付けられた重みを有し、各々の重みは関連付けられたリンクによって接続されるノード同士の間の結合の強さを実現し、各アセンブリ内のノードは、ノードアセンブリの他のもの内のノードに結合されるよりも、そのアセンブリ内の他のノードに結合される見込みがより高い。この明細書に記載される主題の第2の局面では、ニューラルネットワークデバイスを形成する機械で実現される方法は、ハードウェア、ソフトウェア、またはその組合せで実現されるノードのネットワークを形成するステップと、ノードが共有する多数の共通の近傍を実現する確率を有するノードを結合するまたは切離すことによってネットワークのノード同士の間のリンクを割当てるまたは再割当てするステップとを含む。これらおよび他の局面は以下の特徴のうち1つ以上を含むことができる。アセンブリ間リンクと関連付けられる重みは、特定の目的に向けたニューラルデバイスの学習を実現することができる。アセンブリ内リンクは、アセンブリ間リンクよりもより少ない程度で特定の目的に向けたニューラルデバイスの学習を実現することができる。ノード同士を結合可能であり、1対の結合性プロファイルに応じてノードアセンブリが形成される。各ノードアセンブリ内の平均重みの変動は、より多数のリンクを有するノードアセンブリについて一般的に減少し得る。各個別のノードアセンブリとの相互結合の平均強さは、それぞれのノードアセンブリ内のリンクの数がそれぞれのノードアセンブリ内のノードの数を超えるとそれぞれの限界に漸近的に近付くことができる。たとえば、それぞれの限界は実質的に同一であることができる。同じノードアセンブリ内のノードの数よりも少ない数のアセンブリ内リンクを有するノードアセンブリについては、アセンブリ内リンクの重みの大きさは、1組のレベルの区別可能な個別のレベルと関連付けることができる。たとえば、各個別のレベルは、アセンブリ内の異なる数のノードと関連付けることができる。ニューラルネットワークデバイスは、各々のアセンブリ内リンクのアセンブリ内の他のノードの数に基づいてアセンブリ内リンクの各々の重みの大きさを変更するように構成されるアダプタ要素を含むことができる。たとえば、アダプタ要素は、ニューラルネットワークデバイスが学習される前に各々の重みの大きさを変更するように構成可能である。そのようなニューラルネットワークデバイスは学習されていないものであり得る。ニューラルネットワークデバイスは、ノードアセンブリ内のノードの数に基づいて各々のノードアセンブリ中のノード同士の間の結合の確率を変更するように構成されるアダプタ要素を含むことができる。たとえば、アダプタ要素は、ニューラルネットワークデバイスが学習される前に各々の重みの大きさを変更するように構成可能である。リンクは、相互リンクおよび非相互リンクを含むことができる。非相互リンクは相互リンクよりも約2倍一般的であり得る。アセンブリ内のノードは、ノードアセンブリの他のもの内のノードに結合されるよりも、そのアセンブリ内の他のノードに結合される見込みが約2倍高くなり得る。10個から100個の間のノードを有するノードアセンブリの数は、10個未満および100個を超えるノードを有するノードアセンブリの数よりも多い可能性がある。ニューラルネットワークデバイスは、10個から100個の間のノードアセンブリを有することができる。準定常状態に達するまで割当ておよび再割当てを繰返すことができる。ノードは1対の結合性プロファイルに応じて結合可能である。ノードのネットワークは、たとえば、相対的に安定した重みを用いてノードアセンブリ内のリンクを重み付けすることによって、およびノードアセンブリ内のリンクの重みを相対的に変えないままにしながらノードアセンブリ同士の間のリンクを重み付けして学習を実現することによって学習可能である。重みは、第1および第2のノードの両者に共通に結合されるノードの数に基づいて第1のノードと第2のノードとの間の各々のリンクに割当て可能である。最初のリンクの組は、ランダムな割当てプロセス、またはリンクされる2つのノードの確率に従ってリンク割当てがなされるプロセスのいずれかに応じて割当て可能である。学習されていないニューラルネットワークデバイスは当該方法によって形成可能である。割当てまたは再割当ては、各個別のノードアセンブリ内のリンクの数がその個別のノードアセンブリ内のノードの数を超えるまで繰返すことができる。それぞれのノードアセンブリ中のリンクは、リンクの数がノードの数を超えると限界に近づく重みを用いて重み付け可能である。異なるサイズのノードアセンブリについての限界は実質的に同じであり得る。この明細書に記載する主題の1つ以上の実施形態の詳細を添付の図面および以下の説明に述べる。主題の他の特徴、局面、および利点は、説明、図面、および請求項から明らかになるであろう。さまざまな図面中の同じ参照番号および名称は同じ要素を示す。詳細な説明図1は、ニューラルネットワークデバイス100の概略図である。ニューラルネットワークデバイス100は、相互結合されたノードのシステムを用いる生体ニューロンのネットワークの情報エンコードおよび他の処理能力を模倣するデバイスである。ニューラルネットワークデバイス100は、ハードウェア、ソフトウェア、またはその組合せで実現可能である。ニューラルネットワークデバイス100は、複数のリンク110によって相互結合される複数のノード105を含む。ノード105は、生体ネットワーク中のニューロンと類似の個別の情報処理構成である。ノード105は一般的に、リンク110のうち1つ以上にわたって受信される1つ以上の入力信号を処理して、リンク110のうち1つ以上にわたって出力される1つ以上の出力信号を発生する。たとえば、いくつかの実現例では、ノード105は、複数の入力信号に重み付けを行ない、その和を求め、1つ以上の非線形活性化関数を通して和を渡し、1つ以上の出力信号を出力する人工ニューロンであり得る。ニューラルネットワークデバイス100中のノード105は、複数のノードアセンブリ115、120、125、130に組織化される。各々のノードアセンブリ115、120、125、130はノードの集合である。各々それぞれのノードアセンブリ115、120、125、130内のノード105は、ノードアセンブリ115、120、125、130の他のものの中のノードとよりも、同じそれぞれのノードアセンブリ115、120、125、130内の他のノードとのリンク110を確立する見込みがより高い。たとえば、いくつかの実現例では、各々のノードアセンブリ115、120、125、130内のノード105は、ノードアセンブリ115、120、125、130の他のものの中のノードよりも、同じそれぞれのノードアセンブリ115、120、125、130内の他のノードとのリンク110を確立する見込みが1.5倍超または2倍超より高い。異なるノードアセンブリ115、120、125、130内に異なる数のノード105を見出すことができる。たとえば、図示される実現例では、ノードアセンブリ115、120は各々6個のノード105を含む一方で、ノードアセンブリ125は7個のノード105を含み、ノードアセンブリ130は4個のノード105を含む。明瞭性のため、ノードアセンブリ115、120、125、130は別々の二次元境界によって分離されたものとして示されるが、ノード105の複数レベルの相互結合ネットワークもノードアセンブリに組織化可能である。さらに以下に記載のように、ノードアセンブリ115、120、125、130-ならびにノードアセンブリ115、120、125、130の内側および外側の両方のノードへのノード105の結合性-は生体ニューロンのクラスタの特徴を模倣する1つ以上の特徴を有することができる。リンク110はノード105同士の間の結合であり、生体ネットワーク中のニューロン同士の間のシナプス結合および他の結合と類似している。リンク110は、たとえば、フィードフォワードリンク、フィードバックリンク、繰返しリンク、またはその組合せを含むことができる。リンク110は一方向性たとえば入来または外向または二方向性すなわち相互であり得る。リンク110は、リンク110によって結合されるノード105同士の間の関係に応じて分類可能である。たとえば、リンク110のうちあるもの、すなわちアセンブリ内リンク145は、単一のノードアセンブリ115、120、125、130内にあるノード105同士を結合する。他のリンク110、すなわちアセンブリ間のリンク150は、ノードアセンブリ115、120、125、130のうち異なるものの中にあるノード105同士を結合する。異なるノードアセンブリ115、120、125、130内に異なる数のアセンブリ内リンク145を見出すことができる。たとえば、図示される実現例では、ノードアセンブリ115は6つのアセンブリ内リンク145を含む。ノードアセンブリ120は7つのアセンブリ内リンク145を含む。ノードアセンブリ125は8つのアセンブリ内リンク145を含む。ノードアセンブリ130は5つのアセンブリ内リンク145を含む。このように、同じ数のノード110を含むノードアセンブリたとえばノードアセンブリ115、120ですら異なる数のアセンブリ内リンク145を含むことができる。ニューラルネットワークデバイス100は、ニューラルネットワークデバイス100もノードアセンブリ115、120、125、130のいずれもハブノードを含まない点でハブフリーである。ハブノードは、ネットワークまたはネットワークアセンブリ中の他のノードよりも、区別可能な程度により多数のリンクを有するノードである。たとえば、車輪型ネットワーク中の中央ノードすなわち、他のノードがすべて3つのリンクを有するネットワーク中にn-1個のリンクを有するノードがハブノードの例である。ハブノードの他の例は、そのノードアセンブリ内のノード当たりのリンクの全体的な分布パターン外にある、多数のリンクを有するノードアセンブリ中のノードを含む。そのようなノードアセンブリ中のノードはこのように、同一の3つのリンクを有するようには拘束されないが、むしろ、たとえば以下にさらに記載するように分散可能である。いくつかの実現例では、ノードアセンブリのグループ中のノードたとえばニューラルネットワークデバイス100中のノードのすべてなどはすべて同じ階層を有することができる。リンク110のうち各々は、リンクされたノード105同士の間の結合の強さを特徴付ける関連付けられた重みを有することができる。重みは、生体ネットワーク中のニューロン同士の間のシナプス結合および他の結合の強さに類似している。以下にさらに記載されるように、いくつかの実現例では、単一のノードアセンブリ115、120、125、130中のアセンブリ内リンク145は、ノード105の数および/またはノードアセンブリ内側のアセンブリ内リンク145の数を実現する重みを有することができる。いくつかの実現例では、アセンブリ内リンク145の重みの大きさは、相対的に低い変動varianceを有することができる。-所与の数のノード105を有するノードアセンブリ115、120、125、130中の少なくともいくつかの数のアセンブリ内リンク145については-、変動は、ノードアセンブリ内のアセンブリ内リンクの重みの大きさが1組の区別可能な個別のレベルのうち1つのレベルと関連付けられる相対的に少ない数のアセンブリ内リンク145を有する程度に十分低い。ニューラルネットワークデバイス100が学習されると、重みは所望の信号の流れを発生させるように、かつ所望の情報処理または情報記憶結果を達成するように適合する。いくつかの実現例では、アセンブリ内リンクの重みの大きさはニューラルネットワークデバイス100の任意の学習から相対的に独立していることができる。いくつかの実現例では、学習は、アセンブリ間リンク150の重みにおいて主にまたは排他的にすら実現される。図2-図12は、学習されたおよび学習されていないニューラルネットワークデバイスの両者が有するように組織化され得る特徴の例示的な例の提示である。これらの1つ以上の特徴は情報処理および/または記憶を容易にすることができる。たとえば、図2A-図2Fは、12個のノードを有する学習されたまたは学習されていないニューラルネットワークデバイスの実現例中の異なる数のノードのグループ内に異なる数のリンクが現われることができる頻度の例示的な例を示すグラフである。特に、図2Aは、0から6個の間のリンクが3つのノードのグループの中に現われる頻度の例示的な例を示すグラフ205である。図2Bは、0から9個のリンクが4個のノードのグループの中に現われる頻度の例示的な例を示すグラフ210である。図2Cは、0から11個の間のリンクが5個のノードのグループの中に現われる頻度の例示的な例を示すグラフ215である。図2Dは、0から15個の間のリンクが6個のノードのグループの中に現われる頻度の例示的な例を示すグラフ220である。図2Eは、0から19個のリンクが7個のノードのグループの中に現われる頻度の例示的な例を示すグラフ225である。図2Fは、0から22個のリンクが8個のノードのグループの中に現われる頻度の例示的な例を示すグラフ230である。図2A-図2F中のノードのグループはノードアセンブリを形成するノードでは必ずしもない。むしろ、これらのグループはおそらくニューラルネットワークデバイス内のノードの可能なランダムなグループ分けを表わし得る。このように、いくつかのそのようなノードのグループがグループ中のノード同士の間に有するリンクが0である可能性がある。3個を超えるノードを有するグループについては、グループ内に1つのリンクが現われる頻度は、0個のリンクがグループ内に現われる頻度よりも高い。さらに、4個以上のノードを有するグループについては、グループ内に現われるリンクの数がグループ内のノードの数と同じである頻度が約101である。4個以上のノードを有するこれらのグループについては、それらのグループ内のノードの数を超えるグループ内に現われるリンクの数は約101より少ない。図2A-図2F中のこれらのグループ内にリンクが現われる頻度は、結合がランダムに割当てられた場合にリンクが現われると予測されるであろう頻度とは異なる。図3A-図3Fは、そのような差、すなわち図2A-図2F中のグループ内にリンクが現われる可能性がある頻度と、結合がランダムに割当てられた場合にリンクが現われると予測されるであろう頻度との差の例示的な例を示すグラフである。このアプリケーションに見出されるこれらおよび他の例示的な例で、全体的な結合の確率は0.15であった。学習されたおよび学習されていないニューラルネットワークデバイスは、他の全体的な結合確率において対応する特徴を有するように組織化可能である。図2A-図2F中のこれらの差は、予測を超えるリンクの存在すなわちパラメータの正の値および予測されるリンクのないことすなわちパラメータの負の値を実現する正規化されたパラメータの観点で示される。図示される実現例では、この正規化されたパラメータは、特定のグループ内にリンクが現われる実際の頻度と、結合がランダムに割当てられた場合にリンクが現われると予測されるであろう頻度との差を計算することによって導出される。そして、計算された差は、結合がランダムに割当てられた場合にリンクが現われると予測されるであろう頻度によって正規化される。特に、図3Aは、0から6個の間のリンクが3つのノードのグループの中に現われる頻度の予測からのずれの例示的な例を示すグラフ305である。図3Bは、0から9個の間のリンクが4個のノードのグループの中に現われる頻度の予測からのずれの例示的な例を示すグラフ310である。図3Cは、0から11個の間のリンクが5個のノードのグループの中に現われる頻度の予測からのずれの例示的な例を示すグラフ315である。図3Dは、0から15個の間のリンクが6個のノードのグループの中に現われる頻度の予測からのずれの例示的な例を示すグラフ320である。図3Eは、0から19個の間のリンクが7個のノードのグループの中に現われる頻度の予測からのずれの例示的な例を示すグラフ325である。図3Fは、0から22個の間のリンクが8個のノードのグループの中に現われる頻度の予測からのずれの例示的な例を示すグラフ330である。図3A-図3F中のノードのグループは、ノードアセンブリを形成するノードでは必ずしもない。むしろ、これらのノードのグループはニューラルネットワークデバイス内のノードの可能なランダムなグループ分けを表わす。すべてのサイズのグループについて、ノードのランダムなグループ分け内で、結合がランダムに割当てられた場合に予測されるであろうよりも、相対的により多数のリンクがより高頻度である。予測からのこれらのずれは一般的に、ランダムなグループ分け内のノードの数を超えるリンクの数で顕著になる。たとえば、グラフ310は、4個のノードのランダムなグループ分けが、結合がランダムに割当てられた場合に予測されるであろうよりも、5個以上のリンクを有する見込みがより高いことを示す。別の例として、グラフ315は、5個のノードのランダムなグループ分けが、結合がランダムに割当てられた場合に予測されるであろうよりも、6個以上のリンクを有する見込みがより高いことを示す。また別の例として、グラフ320は、結合がランダムに割当てられた場合に予測されるであろうよりも、6個のノードのランダムなグループ分けが7個以上のリンクを有する見込みがより高いことを示す。たとえば、6個以上のノードのグループにおいて、ノードのランダムなグループ分け内で、中間の数のリンクは、結合がランダムに割当てられた場合に予測されるであろうよりもより低頻度である。予測からのこれらのずれは一般的に、ランダムなグループ分け内のノードの数よりも少ないリンクの数で顕著であるが、ランダムなグループ分け内のノードの数の約半分以上である。たとえば、グラフ320は、6個のノードのランダムなグループ分けが、結合がランダムに割当てられた場合に予測されるであろうよりも、3個、4個、または5個のリンクを有する見込みがより低いことを示す。別の例として、グラフ325は、7個のノードのランダムなグループ分けが、結合がランダムに割当てられた場合に予測されるであろうよりも、4個、5個、または6個のリンクを有する見込みがより低いことを示す。また別の例として、グラフ330は、8個のノードのランダムなグループ分けが、結合がランダムに割当てられた場合に予測されるであろうよりも、4個、5個、6個、または7個の8個または9個もリンクを有する見込みがより低いことを示す。ニューラルネットワークデバイスの実現例中のノードの結合性が生体ニューロンのクラスタの特徴を模倣する1つ以上の特徴を有することができる別の態様は、共通の近傍を共有する任意の2つのノード自体がリンクされる確率の範囲内である。図4A、図4Bは、異なる数の共通の近傍を共有する所与の対のノード自体が学習されたまたは学習されていないニューラルネットワークデバイスの実現例でリンクされる可能性を実現する異なる確率の例示的な例を示すグラフである。共通の近傍は、1対のノードの各々にリンクされる第3のノードである。図4Aで、グラフ405は、0個、1個、2個、3個、および4個の共通の近傍を共有するニューラルネットワークデバイス中の所与の1対のノード自体が12個のノードを有するニューラルネットワークデバイスの実現例でリンクされる例示的な確率の1つの例示的な組を示す。示されるように、1対のノードが共有する共通の近傍の数が増大すると、1対のノード自体がリンクされる確率が増大する。1対のノード同士の間の結合の可能性はこのように、対の中のノードが共有する共通の近傍の数とはっきりと相関している。比較のため、1対のノードがリンクされる確率が対によって共有される共通の近傍の数と独立していれば、結合確率は増大しないであろうが、むしろ、対の中のノードによって共有される共通の近傍の数とともに一定のままになるであろう。図4Bで、グラフ410は、0個、1個、2個、3個、および4個の共通の近傍を共有する所与の対のノード自体が12個のノードを有するニューラルネットワークデバイスの実現例においてリンクされる確率の線形に増大する組の例示的な例を示す。示されるように、1対のノードが共有する共通の近傍の数が増大すると、1対のノード自体がリンクされる確率が線形に増大する。1対のノード同士の間の結合の可能性はこのように、対の中のノードが共有する共通の近傍の数とはっきりと相関する。たとえば、4個の共通の近傍を共有する1対のノードは、共通の近傍を全く共有しない1対のノードよりも結合される見込みがほぼ3倍高い。グラフ405、410は、共通の近傍を共有するノードの対自体が12個のノードを有するニューラルネットワークデバイス中でリンクされ、対応の性質が他のサイズのニューラルネットワークデバイス中に実現され得る例示的な確率を示す。学習されたまたは学習されていないニューラルネットワークデバイスのいくつかの実現例では、ノードが結合される確率は共通の近傍とのリンクの種類も実現する。たとえば、いくつかの実現例では、同じ共通の近傍から入力を受けるノードの対は、同じ共通の近傍への出力が結合されるノードの対よりも、結合される見込みがより高い。いくつかの実現例では、任意の2個のノード自体がリンクされる確率が共通の近傍の数を実現するだけでなく、それらの2個のノードの間の相互結合の強さすなわちリンクの重みが共有される共通の近傍の数を具現化する。特に、2個のノードの間の相互結合の強さは、共有される共通の近傍の数が増大すると増大する。共通の近傍を共有する所与の1対のノード自体がリンクされる増大した可能性を用いて、特定のノードアセンブリ内のノードが、他のノードアセンブリ中のノードとよりも、その同じアセンブリ内の他のノードとリンクされる見込みがより高いノードアセンブリを含む学習されたおよび学習されていないニューラルネットワークデバイスを形成することができる。そのようなノードアセンブリの例は、ノードアセンブリ115、120、125、130である図1。特に、ノード同士の間のリンクが存在する確率に応じて、学習されていないニューラルネットワークデバイスにおいてすらリンクを形成することができる。さまざまな異なる方策を用いてそのようなニューラルネットワークデバイスを形成することができる。たとえば、いくつかの実現例では、リンクの最初の組を、ランダムな割当てプロセスと、たとえばリンクされている2つの生体ニューロンの距離依存確率を模倣する確率空間に従ってリンク割当てがなされるプロセスとを含むさまざまな異なるプロセスのうち任意のものに応じて1組のノードに割当てることができる。そのような最初のリンクの組の割当ての後、ネットワークが所望のリンク確率または他の特性を実現するまで、リンク再割当てプロセスを用いてニューラルネットワークを再組織化することができる。たとえば、リンク再割当ては、ノード同士の間のリンクを取除き、次に取除かれたリンクを、共有される共通の近傍の数および/またはそれらの共通の近傍とのリンクの種類を実現する確率に応じて新しいノードに再割当てする繰返しプロセスを含むことができる。このように、学習が始まる前であっても、ニューラルネットワークデバイスを組織化して所望の特性を有するようにリンク再割当てプロセスを用いることができる。他の実施形態では、最初のリンクの組の割当てが所望のリンク確率または他の特性も実現する。換言すると、すべてのリンク割当てが所望の特性を実現することができる。そのような実現例では、1組のノードへのリンクの最初の割当てはリンク割当てに顕著な程度に影響しないかもしれない。なぜなら、異なるリンクが存在する確率がほぼ等しければリンクが疎らになるからである。しかしながら、リンクの密度が増大し、ノードが共通の近傍を共有し始めると、共通の近傍を有するノード自体がリンクされる確率が増大する。より多くのリンク割当てがなされるにつれ、ノードは、ノードが他のノードアセンブリ中のノードとよりも1つのノードアセンブリ内の他のノードにリンクされる見込みがより高くなるノードアセンブリにグループ分けされる傾向がある。いくつかの実現例では、そのようなリンク割当てプロセスは、ノード同士の間のリンクを取除き、次にリンクが新しいノード同士の間に存在する確率に応じてリンクを新しいノードに再割当てする繰返しプロセスを含むことができる。学習されていないニューラルネットワークデバイスであっても、そのような再割当てプロセスを用いて組織化することができる。換言すると、このように、学習の前にノードアセンブリを形成可能であり、ニューラルネットワークデバイスを学習する前にリンク再割当てを伴うまたは伴わないリンク割当てを行なうことができる。予め存在するノードアセンブリの場合、ニューラルネットワークデバイスの学習は、ノードアセンブリの先在に従って組織化されるニューラルネットワーク-およびニューラルネットワーク中のノードアセンブリ-によって所望の情報処理または情報記憶結果を達成するニューラルネットワークデバイスを生じることができる。いくつかの実現例では、ニューラルネットワークデバイスが学習されるにつれて、リンク再割当てを伴うまたは伴わないそのようなリンク割当てをなすことができる。たとえば、学習は、ニューラルネットワークデバイスで開始することができる。学習が進行するにつれ、ニューラルネットワークデバイスの学習が必要とされる情報処理または情報記憶にあまり重要でないリンクすなわち低い重み付けのリンクを優先的に取除き、新しいノード同士の間にリンクが存在する確率に応じてこれを新しいノードに再割当てすることができる。時には、再割当てされたリンクがニューラルネットワークデバイスの学習が必要とされる情報処理または情報記憶に重要となるかもしれず、ニューラルネットワークデバイスは、再割当てに適合するように余分な学習を必要とするであろう。実際、ニューラルネットワークデバイスの学習が必要とされる情報処理または情報記憶に以前に関連したリンクが、より関連が薄くなるかもしれず、それに応じてこれを再割当て可能である。この点で、ニューラルネットワークデバイスは、ニューラルネットワークデバイスが時間とともに再組織化するにつれて生体可塑性を模倣することができる。割当ておよび/または再割当てプロセスは、ハードウェア、ソフトウェア、またはその組合せで実現されるアダプタ要素によって、所望の特性を有するニューラルネットワークデバイスを達成するように実現可能である。たとえば、いくつかの実現例では、そのようなアダプタ要素は、学習されていないニューラルネットワークデバイスで重みの割当ておよび/または変更を行なうコンピュータシステムの一部となることができる。他の実現例では、そのようなアダプタ要素は、ニューラルネットワークを学習して所望の信号の流れを発生させるニューラルネットワークデバイスのトレーナと関連して動作し、またはその一部となることができる。ニューラルネットワークデバイスの実現例でのノードの結合性が、生体ニューロンのクラスタの特徴を模倣する1つ以上の特徴を有することができる別の態様は、ノード同士の間の相互結合の強さすなわちリンクの重みにおいてである。図5A、図5Bは、12個のノードを有する学習されたまたは学習されていないニューラルネットワークデバイスの実現例における6個のノードのグループまたはアセンブリ内のノード同士の間の相互結合の異なる平均強さの例示的な例を示すグラフである。ノードのグループは単一のノードアセンブリを形成するノードでは必ずしもない。むしろ、これらのノードのグループは、ニューラルネットワークデバイス内のノードの可能なランダムなグループ分けである。しかしながら、ニューラルネットワークデバイス中のノードの数は相対的に少量すなわち12個のノードであるので、ランダムに選択されたノードが実際には単一のノードアセンブリの一部である可能性が相対的に高い。このように、これらのノードのグループの性質をノードアセンブリに外挿可能である。そのような相互結合の強さは、ハードウェア、ソフトウェア、またはその組合せで実現されるアダプタ要素によって割当ておよび/または変更可能である。たとえば、いくつかの実現例では、そのようなアダプタ要素は、学習されていないニューラルネットワークデバイスで重みの割当ておよび/または変更を行なうコンピュータシステムの一部となることができる。他の実現例では、そのようなアダプタ要素は、ニューラルネットワークを学習して所望の信号の流れを発生させるニューラルネットワークデバイスのトレーナと関連して動作し、またはその一部となることができる。図5Aのグラフ505で、グループまたはアセンブリ内のリンクの数が、少なくとも、グループまたはアセンブリ内のノードの数以下のリンクの数について増大するにつれて、グループまたはアセンブリ内のノード同士の間の相互結合の強さの例示的な例を表わす重みが増大する。特に、図示されるグラフ表現において、リンクの数が増大するにつれて、相互結合の平均強さは、少なくとも、6個以下のリンクを有する12個のノードを有するニューラルネットワークデバイス中の6個のノードのグループまたはアセンブリについて増大する。さらに、グループまたはアセンブリ内のノード同士の間の相互結合の例示的な例を表わす重みは、グループまたはアセンブリ内のリンクの数がそのグループまたはアセンブリ内のノードの数を超えて増大するにつれて区別不可能になる傾向がある。特に、図示されるグラフ表現において、相互結合の平均強さは、7個以上のリンクを有する12個のノードを有するニューラルネットワークデバイス中の6個のノードのグループまたはアセンブリについて区別不可能になる傾向がある。さらに、相互結合の強さの大きさは、グループまたはアセンブリ内のノードの数以下のリンクの数について区別可能な程度に個別のレベルと関連付けられる。特に、1つのリンクを有する6個のノードのグループまたはアセンブリは、相互結合510の平均強さを有する。2つのリンクを有する6個のノードのグループまたはアセンブリは、相互結合515の平均強さを有する。3つのリンクを有する6個のノードのグループまたはアセンブリは、相互結合520の平均強さを有する。4つのリンクを有する6個のノードのグループまたはアセンブリは、相互結合525の平均強さを有する。5つのリンクを有する6個のノードのグループまたはアセンブリは、相互結合530の平均強さを有する。6つのリンクを有する6個のノードのグループまたはアセンブリは、相互結合535の平均強さを有する。相互結合585の平均強さは、7つ以上のリンクを有する6個のノードのグループまたはアセンブリについて区別不可能になり得る。図5Bのグラフ550で、ニューラルネットワークデバイスのいくつかの実現例におけるノードアセンブリ内のノード同士の間の相互結合の強さの例示的な例を示す強さは、グループまたはアセンブリ内のリンクの数が増大するにつれて増大する。特に、相互結合の平均強さは、グループまたはアセンブリ内のリンクの数が増大するにつれて、付加的なリンクの減少当たりの相互結合の強さの増大の大きさとともに非線形的に増大する。例示的に提示される例では、相互結合の平均強さは、グループまたはアセンブリ内のリンクの数がグループまたはアセンブリ内のノードの数を超えると、漸近的に限界に近付く。いくつかの実現例では、相互結合の平均強さに対するこの限界は、生体ニューロン同士の間の最も強い相互結合を表わす飽和レベルを模倣する。たとえば、相互結合の平均強さに対する限界は、グループまたはアセンブリ内のノードの数とは独立していることができ、異なるサイズのグループまたはアセンブリについて実質的に同一であることができる。さらに、リンクの相互結合の強さの大きさは、少なくともいくつかの数のリンクについて区別可能な程度に個別のレベルと関連付けられる。たとえば、1つのリンクを有する6個のノードのグループまたはアセンブリは、相互結合555の平均強さを有する。2つのリンクを有する6個のノードのグループまたはアセンブリは、相互結合560の平均強さを有する。3つのリンクを有する6個のノードのグループまたはアセンブリは、相互結合565の平均強さを有する。4つのリンクを有する6個のノードのグループまたはアセンブリは、相互結合570の平均強さを有する。5つのリンクを有する6個のノードのグループまたはアセンブリは、相互結合575の平均強さを有する。6つのリンクを有する6個のノードのグループまたはアセンブリは、相互結合580の平均強さを有する。相互結合の平均強さは、12以上のリンクを有する6個のノードのグループまたはアセンブリまで増大し続ける。グラフ505、550は12個のノードを有するニューラルネットワークデバイスにおける6個のノードを有するグループまたはアセンブリについての例示的な例のみを示すが、他のサイズのグループまたはアセンブリ内のノード同士の間の相互結合の平均強さは、他のサイズのニューラルネットワークデバイスにおいて実現可能な同程度の性質を有してもよい。ノードのグループまたはアセンブリ内のノード同士の間の相互結合の平均強さがそれらのグループまたはアセンブリ内のリンクの数を表わしている場合、グループまたはノードアセンブリ内のリンクの重みが必ずしもニューラルネットワークデバイスの学習を表わしているわけではない。この点で、上述のように、重みは学習の間に所望の信号の流れを発生させ、かつ所望の情報処理または情報記憶結果を達成するように適合する。高度に相互結合されたグループまたはアセンブリたとえば、グループまたはアセンブリ内のリンクの数がグループまたはアセンブリ内のノードの数を超えるグループは、他のグループまたはノードアセンブリ中のノードよりも、ノードがグループまたはノードアセンブリ内の他のノードに結合される見込みがより高いグループまたはノードアセンブリであろう。しかしながら、ノードの高度に結合されたグループまたはアセンブリの重みが区別不可能になり、かつおそらくは漸近的に限界に近付きすらする場合、特殊化された学習を実現する重みは、異なるグループまたはアセンブリ中のノード同士の間のリンクの重みにおいて主にまたは排他的にも具現化される。いくつかの実現例で、-学習されたまたは学習されていないニューラルネットワークデバイスのノードのグループ内の相互結合の平均強さが各グループ内のリンクの数を表わし、かつ-任意の対のノード同士が結合される確率がそれらのノードによって共有される共通の近傍の数を表わしているならば、ノードの対の間の相互結合の平均強さもそれらのノードが共有する共通の近傍の数を実現することができる。この点で、ランダムに選択されたノードのグループが多数の共通の近傍を有する1対のノードを含む場合は、その対のノード同士が結合される確率がより高くなる。そのようなランダムに選択されたノードのグループすなわち、多数の共通の近傍を有する1対のノードを有するグループはこのように、より少ない共通の近傍を有する1対のノードを有するノードのグループよりも多くのリンクを有しやすい。相互結合の平均強さはグループ内のリンクの数が増大するにつれて増大するので、より多くの数の共通の近傍を有する1対のノードを含むランダムに選択されたグループは、より高い相互結合の平均強さを有しやすくなる。いくつかの実現例では、学習されたまたは学習されていないニューラルネットワークデバイス中のノードは、グループまたはアセンブリ中のそれらのノードが共有する共通の近傍の数を実現する相互結合の平均強さを有することができる。そのような相互結合の強さは、ハードウェア、ソフトウェア、またはその組合せで実現されるアダプタ要素によって割当ておよび/または変更可能である。たとえば、いくつかの実現例では、そのようなアダプタ要素は、学習されていないニューラルネットワークデバイスで重みを割当てるおよび/または変更するコンピュータシステムの一部となることができる。他の実現例では、そのようなアダプタ要素は、ニューラルネットワークを学習して所望の信号の流れを発生させるニューラルネットワークデバイスのトレーナと関連して動作し、またはその一部となることができる。図6は、12個のノードを有する学習されたまたは学習されていないニューラルネットワークデバイスの実現例における異なる数の相互結合を有するノード同士の間の相互結合の強さの異なる確率密度分布の例示的な例を示すグラフ600である。特に、プロット605は、0個の共通の近傍を有するノード同士の間のリンクが相互結合の特定の強さを有する確率の例示的な例を示す。プロット610は、1つの共通の近傍を有するノード同士の間のリンクが相互結合の特定の強さを有する確率の例示的な例を示す。プロット615は、2つの共通の近傍を有するノード同士の間のリンクが相互結合の特定の強さを有する確率の例示的な例を示す。プロット620は、3つの共通の近傍を有するノード同士の間のリンクが相互結合の特定の強さを有する確率の例示的な例を示す。示されるように、共通の近傍の数が増大すると、ノード同士の間の相互結合の平均強さが増大する。さらに、プロット605、610、615、620が示す例示的な確率分布は正側に歪んでいる。いくつかの実現例では、正の歪みは、示されるように共通の近傍の数が増大するにつれて増大する。グラフ600は、12個のノードを有するニューラルネットワークデバイスでの相互結合の強さの例示的な確率密度分布を示すが、対応の性質は他のサイズのニューラルネットワークデバイスで実現可能である。ニューラルネットワークデバイスのいくつかの実現例では、相互結合の強さの変動は、ノードのランダムに選択されたグループまたはアセンブリ内のリンクの数が増大するにつれて減少する傾向にある。図7A、図7Bは、学習されたまたは学習されていないニューラルネットワークデバイスの実現例における6個のノードのグループまたはアセンブリ内のノード同士の間の相互結合の平均強さの異なる変動の例示的な例を示すグラフである。ノードのグループは、単一のノードアセンブリを形成するノードでは必ずしもない。むしろ、これらのノードのグループは、ニューラルネットワークデバイス内のノードの可能なランダムなグループ分けである。しかしながら、ニューラルネットワークデバイス中のノードの数は相対的に少量すなわち12個のノードであるため、ランダムに選択されたノードは実際、単一のノードアセンブリの一部である可能性が相対的に高い。このように、これらのノードのグループの性質をノードアセンブリに外挿可能である。相互結合の平均強さのそのような変動は、ハードウェア、ソフトウェア、またはその組合せで実現されるアダプタ要素によって達成可能である。たとえば、いくつかの実現例では、そのようなアダプタ要素は、学習されていないニューラルネットワークデバイスで重みを割当てるおよび/または変更するコンピュータシステムの一部となることができる。他の実現例では、そのようなアダプタ要素は、ニューラルネットワークを学習して所望の信号の流れを発生させるニューラルネットワークデバイスのトレーナと関連して動作し、またはその一部となることができる。図7Aのグラフ705で、相互結合の強さを表わす重みの変動は、6個のノードのさまざまなグループまたはアセンブリ内のリンクの数が増大するにつれて減少する傾向にある。換言すると、相互結合の平均強さは、さまざまなグループまたはアセンブリ内のリンクの数が増大するとより均一になる傾向にある。例示的なグラフ表現では、変動の減少は滑らかではない。たとえば、4つのリンクを有する6個のノードのグループまたはアセンブリについての相互結合の平均強さの変動は、3つのリンクを有する6個のノードのグループまたはアセンブリについての相互結合の平均強さの変動よりも高い。図7Bのグラフ710において、相互結合の強さを表わす重みの変動も、6個のノードのさまざまなグループまたはアセンブリ内のリンクの数が増大するにつれて減少する。例示的なグラフ表現では変動の減少は滑らかである。例示的な表示では、付加的なリンク当たりの減少率は、リンクの数がノードの数の半分以下であるグループまたはアセンブリについて最も高いすなわち、6個のノードの例示的なグループまたはアセンブリについてリンクが3つ以下のグループまたはアセンブリ。付加的なリンク当たりの減少率は、リンクの数がノードの数とほぼ同じグループまたはアセンブリについて減少し、付加的なリンク当たりの減少率は、リンクの数がノードの数の2倍以上であるグループまたはアセンブリについて増大する。他の実現例では、付加的なリンク当たりの減少率は一定である。グラフ705、710は6個のノードを有するグループまたはアセンブリのみを図示するが、他のサイズのグループまたはアセンブリ内のノード同士の間の相互結合の平均強さの変動は同程度の性質を有するかもしれない。前述のように、学習されたおよび学習されていないニューラルネットワークデバイスのいくつかの実現例では、ノードアセンブリ内のノードは、他のノードアセンブリ中のノードとよりも、そのノードアセンブリ内の他のノードとリンクされる見込みがより高い。たとえば、いくつかの実現例では、ノードアセンブリ内のノードは、他のノードアセンブリ中のノードとよりも、そのノードアセンブリ内の他のノードとリンクされる見込みが1.5倍よりも高いまたは2倍よりも高い。図8は、ノードアセンブリ内の1対のノード同士および2つの異なるノードアセンブリ中の1対のノード同士がリンクされる確率の例示的な例を示すグラフ800である。示される例示的な実現例では、単一のノードアセンブリ内のノード同士は、異なるノードアセンブリ中のノードとよりも、リンクされる見込みが約2倍高い。特に、単一のノードアセンブリ内のノードの対についての平均結合確率は0.14±0.02であり、これは、異なるノードアセンブリに属するノードの対についての確率0.07±0.005の約2倍の確率である。学習されたまたは学習されていないニューラルネットワークデバイスのいくつかの実現例では、ノードアセンブリ内のノードの平均数はノード10個から100個の間である。いくつかの実現例では、学習されたまたは学習されていないニューラルネットワークデバイスは、そのようなノードアセンブリ単位の10から100個の間を含むことができる。図9A、図9Bは、学習されたまたは学習されていないニューラルネットワークデバイス中のノードアセンブリのサイズの異なる分布の例示的な例を示すグラフである。図9Aのグラフ905では、10個から100個の間のノードを有するノードアセンブリの数は、10個未満および100個を超えるノードを有するアセンブリの数よりも多い。実際、100個を超えるノードを有するノードアセンブリは、いくつかの実現例では、十分なリンクを共有してアセンブリを相互結合するかつアセンブリとなる別々のノードアセンブリによって形成されることがある。さらに、ノードアセンブリの例示的な分布ははっきりと歪んでいる。図9Bのグラフ910では、10個から100個の間のノードを有するノードアセンブリの数は、10個未満および100個を超えるノードを有するアセンブリの数よりも多い。例示的な分布では、ノードアセンブリのサイズは滑らかに変化し、アセンブリ当たりノード20個から30個の間で最大に到達する。100個を超えるノードを有するノードアセンブリは、いくつかの実現例では、十分なリンクを共有してアセンブリを相互結合するかつアセンブリとなる別々のノードアセンブリによって形成されることがある。さらに、ノードアセンブリの例示的な分布は正側に歪んでいる。ノードアセンブリ内のノードが、異なるノードアセンブリ中のノードとよりもリンクされる見込みがより高い学習されたおよび学習されていないニューラルネットワークデバイスのいくつかの実現例では、ニューラルネットワークデバイスのクラスタ係数がより高い。クラスタ係数は、ニューラルネットワークデバイス中のどのノードに向けてともにまとまる傾向があるかの度合いの尺度である。本明細書中で用いられるように、頂点のクラスタ係数は、おそらく頂点同士の間に存在し得るリンクの数で除算されるその近傍内の頂点同士の間のリンクの割合であるすなわち、いわゆるローカルクラスタ係数またはストロガッツクラスタ係数。図10は、ノードアセンブリ結合性を含む学習されたおよび学習されていないニューラルネットワークデバイスについてのクラスタ係数と、-比較のための-同じ1対の結合確率を有するランダムな結合性を有するネットワークについてのクラスタ係数1010との例示的な例を示すグラフ1000である。見られるように、ノードアセンブリ結合性を有するクラスタ係数は、ランダムな結合性を有するクラスタ係数よりも区別可能な程度により大きい。ノードアセンブリ内のノード同士が、異なるノードアセンブリ中のノード同士よりもリンクされる見込みがより高い学習されたおよび学習されていないニューラルネットワークデバイスのいくつかの実現例では、ノード当たりの入来する結合の数はべき乗則スケールフリーネットワークにおいてよりも、より急激に減少する。図11は、ノードアセンブリ結合性を含む学習されたおよび学習されていないニューラルネットワークデバイスについての入来する結合の累積分布の例示的プロット1105と、-比較のための-べき乗則スケールフリーネットワークにおける入来する結合の累積分布のプロット1110とを示すグラフ1100である。示されるように、そのようなスケールフリーネットワークでは、べき乗則は、対数-対数プロットにおいて減少する傾斜の直線で表わされる。他方で、プロット1105で示される入来する結合の累積分布は相対的に一定であるが、対数-対数スケール上においてより急激に減少する。このより急激な減少は、生体ニューロン中の入来する結合に対する形態学的制約および他の制約を模倣する。そのような制約の例は、樹木状の樹枝状分枝および生体ニューロンにおいて結合を形成するために利用可能な脊椎の数とを含む。そのような制約を実現するニューラルネットワークは、ノードがはるかに多数の相互結合を自由に形成し、ノード当たりの結合の数がはるかに広い分布を有するスケールフリーネットワークとは対照をなす。ノードアセンブリ内のノード同士が、異なるノードアセンブリの中のノード同士よりもリンクされる見込みがより高い学習されたおよび学習されていないニューラルネットワークデバイスのいくつかの実現例では、共通の近傍を多数有するノードの対の数と共通の近傍がほとんどないノードの対の数との両者が、ランダムなネットワーク中においてよりもより多い。図12は、ノードアセンブリ結合性を含む学習されたおよび学習されていないニューラルネットワークデバイスについてノードの対が共有する多数の共通の近傍の確率密度分布のプロット1205と、-比較のための-ランダムな結合性を有するネットワーク中のノードの対が共有する共通の近傍の数のプロット1210との例示的な例を示すグラフ1200である。見られるように、共通の近傍を多数有するノードの対の数と共通の近傍がほとんどないノードの対の数とは、ランダムなネットワーク中よりもより多い。ニューラルネットワークデバイスは、上述の特徴のうち1つ以上を有するように組織化可能である。たとえば、図13は、ニューラルネットワークデバイスを組織化するのに用いることができるプロセス1300のフローチャートである。プロセス1300は、機械読取可能命令のうち1つ以上の組の論理に従って動作を行なう1つ以上のデータ処理装置のシステムによって行なうことができる。たとえば、プロセス1300は、学習の前または学習の間にニューラルネットワークデバイスを組織化するためのソフトウェアを実行する1つ以上のコンピュータのシステムによって行なうことができる。プロセス1300を行なうシステムは、1305において、ノードの集合の中から1対のノードを選択する。ノードの対は、たとえばノードの多次元アレイを横断することによって、ランダムにまたはノード選択のための組織化方策に従って選択可能である。いくつかの実現例では、その中から対が選択されるノードの集合が、たとえば、任意のノードの対が結合される可能性を実現する確率空間に配列される。確率空間はこのように、ニューロン同士が結合される確率がニューロン同士の間の離間距離の関数である生体ニューロンのシステムを模倣することができる。いくつかの実現例では、ノードは確率空間内で周期的に配列されない。たとえば、いくつかの実現例では、確率空間中のさもなければ周期的な位置の付近で異なるノードに相対的に小さな摂動を与えることができる。他の実現例では、ノードは確率空間中の位置にランダムに割当て可能である。プロセス1300を行なうシステムは、1310において、選択された対のノードが共有する共通の近傍の数を判断する。共通の近傍の数は、ノードの集合内に既に存在するリンクの記録から判断することができる。プロセス1300を行なうシステムは、1315において、選択されたノードの対がリンクされる確率も判断する。判断された確率は共通の近傍の数を表わす。たとえば、いくつかの実現例では、確率は、グラフ405、410図4A、図4Bにおいて与えられる例示的な結合確率に従って判断される。任意の対のノードが結合される可能性を実現する確率空間中にノードが配列される実現例では、共通の近傍の数は確率空間の生の確率を修正する。選択されたノードの対がリンクされる判断された確率を用いて、プロセス1300を行なうシステムは、決定1320において、選択されたノード同士がリンクされるべきか否かも判断する。たとえば、ランダムに選ばれた数を、選択されたノードの対がリンクされる確率と比較することができ、ランダムに選ばれた数が確率内に入れば、システムはノード同士がリンクされるべきであると判断する。選択されたノード同士がリンクされるべきであるという判断に応答して、プロセス1300を行なうシステムは、1325において、選択されたノード同士の間のリンクを形成し、1305に戻って別のノードを選択する。リンクは、たとえば、ノードの集合内に存在するリンクの記録中の新しいリンクの命令を記録することによって形成可能である。記録は1つ以上のデータ記憶デバイス内に記憶可能である。選択されたノード同士がリンクされるべきではないという判断に応答して、プロセス1300を行なうシステムは、1305に戻って別の対のノードを選択する。ある点で、十分な密度のリンクに到達した後、システムはプロセス1300を出る図示せず。いくつかの実現例では、プロセス1300を行なうシステムは、1315において、異なる種類のリンクについてノード同士がリンクされる異なる確率を判断する。たとえば、システムは、ノード同士が相互関係でリンクされる第1の確率と、ノード同士が非相互関係でリンクされる第1の確率とを判断してもよい。いくつかの実現例では、非相互関係は相互関係の約2倍一般的である。そのような異なる確率を、1320において、選択されたノード同士がリンクされるべきか否かを判断するにあたって用いることができる。1325において形成されるリンクの種類は、したがって、結果を表わし得る。プロセス1300などのプロセスの1つの例示的な実現例を今回MATLABコードとして示す。上述のように、いくつかの実現例では、再割当てプロセスも用いることができる。たとえば、図14は、リンクを再割当し、かつニューラルネットワークデバイスを組織化するために用いることができるプロセス1400のフローチャートである。プロセス1400は、1つ以上の組の機械読取可能命令の論理に従って動作を行なう1つ以上のデータ処理装置のシステムによって行なうことができる。たとえば、プロセス1400は、学習の前または学習の間にニューラルネットワークデバイスを組織化するためのソフトウェアを実行する1つ以上のコンピュータのシステムによって行なうことができる。プロセス1400は、他の活動とは分離してまたはこれと関連して行なうことができる。たとえば、いくつかの実現例では、プロセス1400は、プロセス1300図13と関連して行なうことができる。プロセス1400を行なうシステムは、1405において、ノードに割当てられたリンクを有するニューラルネットワークの特徴付けにアクセスする。リンクはネットワーク内の初期密度を有し得る。いくつかの実現例では、アクセスされたネットワークは全く学習されていない。他の実現例では、アクセスされたネットワークは部分的に学習されているかまたは十分によく学習されて適切な処理結果を達成する。プロセス1400を行なうシステムは、1410において、ニューラルネットワーク内のリンクのサブセットを選択する。いくつかの実現例では、たとえば、ニューラルネットワークの残余が変わらないままであれば、それらの2つのノード同士の間に新しいリンクが形成される可能性を比較することによって、1つ以上のリンクが選択される。そのような実現例では、新しく形成される可能性が最も低いであろうリンクを優先して選択することができる。いくつかの実現例では、ニューラルネットワークがそのために部分的にまたは完全に学習される情報処理または情報記憶へのリンクの寄与を判断することによって1つ以上のリンクを選択する。そのような実現例では、情報処理または情報記憶に対する寄与が最も小さいたとえば重みが最も低いリンクを優先して選択可能である。いくつかの実現例では、リンクが新しく形成されるであろう可能性と情報処理または情報記憶に対するリンクの寄与との両者に基づいて1つ以上のリンクが優先的に選択される。プロセス1400を行なうシステムは、1415において、ニューラルネットワークから選択されたリンクのサブセットを取除く。たとえば、ニューラルネットワーク内のリンクの記録からリンクを取除くことができる。そのような記録を1つ以上のデータ記憶デバイスに記憶可能である。プロセス1400を行なうシステムは、1420において、ニューラルネットワークに1つ以上の新しいリンクを加えることも行なう。たとえば、いくつかの実現例では、システムは、プロセス1300などのプロセスを用いて、選択された対のノードがリンクされるべきか否かを判断し、1つ以上の新しいリンクを形成することができる。いくつかの実現例では、ニューラルネットワークに追加される新しいリンクの数はニューラルネットワークから取除かれるリンクの数と釣り合いをとり、ニューラルネットワーク内の全体的なリンク密度が保たれる。いくつかの実現例では、プロセス1400を行なうシステムは、ニューラルネットワークがたとえばクラスタ係数または結合性構造において準定常状態に達するまで、繰返しリンクを選択し、取除き、追加する。たとえば、いくつかの実現例では、取除くために1410において選択されるノードは、1420において追加される新しいノードの可能性に相当するかそれよりも高い、新しく形成される可能性を有する。別の例として、いくつかの実現例では、取除くために1410において選択されるノードは、さらなる学習の後に1420において追加される新しいノードによってなされる情報処理または記憶に対する寄与に相当するかそれよりも大きい情報処理または記憶に寄与する。プロセス1400などのプロセスの1つの例示的な実現例を今回MATLABコードとして示す。共通の近傍の効果をモデリングするのに用いられるネットワーク再組織化機能のMATLABコードプロセス1300,1400のいずれか一方または両者を用いて組織化されるニューラルネットワークデバイスも学習可能である。学習は、ノード同士の間のリンクの重みを適合させて所望の情報処理または情報記憶の結果を達成する。いくつかの実現例では、そのような学習は、ノードアセンブリ同士の間のリンクの重みを、ノードアセンブリ内のリンクの重みよりもより大きな程度で適合させる。図15は、ニューラルネットワークデバイスを形成するためのプロセス1500のフローチャートである。プロセス1500は、1つ以上の組の機械読取可能命令の論理に従って動作を行なう1つ以上のデータ処理装置のシステムによって行なうことができる。たとえば、プロセス1500は、学習の前またはその間にニューラルネットワークデバイスを組織化するためのソフトウェアを実行する1つ以上のコンピュータのシステムによって行なうことができる。プロセス1500は他の活動とは分離してまたはこれと関連して行なうことができる。たとえば、いくつかの実現例では、プロセス1500は、プロセス1300、1400図13、図14のうち一方または両者に関連して行なうことができる。プロセス1500を行なうシステムは、1505において、内部の特性が規定されたノードアセンブリのグループを形成する。ノードアセンブリの内部特性は、ノードおよびノードアセンブリ内のリンクの特性であり、たとえば異なるノードアセンブリ同士の間のリンクの配置および重みを除外する。いくつかの実現例では、異なるノードアセンブリは相対的に安定したおよび再生可能な内部特性を有するように規定可能である。内部特性は、そのようなノードアセンブリから形成されるニューラルネットワークデバイスの学習の影響が個別のノードアセンブリ内のリンクの配置および重みに対して相対的に小さい点で安定することができる。内部特性は、ノードアセンブリの組織化および重み付けが異なる設計規則を一貫して実現できるという点で再生可能であり得る。そのような特性に達するための設計規則の例は、図2-図12に提示されかつ上述される例示的な例のうち1つ以上を含む。ノードアセンブリのグループは、新しいリンク形成および再割当てを含むプロセスによって形成可能である。たとえば、ノードアセンブリのグループは、プロセス1300図13、プロセス1400図14、またはプロセス1300、1400図13、1400の組合せを用いて形成可能である。規定可能な内部特性の1つの例は、各々のノードアセンブリ中の活動のレベルである。各々それぞれのノードアセンブリの活動のレベルは、たとえば、そのノードアセンブリ内のノードの数、そのノードアセンブリ内のリンクの数、そのノードアセンブリ内のリンクの重み、またはこれらの特徴のうち2つ以上の組合せを実現するように規定可能である。たとえば、いくつかの実現例では、所与の数のノードおよびアセンブリ内リンクについて、アセンブリ内リンクの重みがニューラルネットワークデバイスの上限または飽和レベルに近付くノードアセンブリを形成することができる。図16は、ノードアセンブリの例示的なグループ1600の概略図である。グループ1600は、ノードアセンブリ1605、1610、1615、1620、1625を含む。ノードアセンブリ1605、1610、1615、1620、1625は、たとえば図2-図12に提示されかつ上述されるたとえば特性の例示的な例を含む、相対的に安定したかつ再生可能な内部特性を有することができる。たとえば、いくつかの実現例では、ノードアセンブリ1605、1610、1615、1620、1625のすべてにおけるアセンブリ内リンクの重みは、ニューラルネットワークデバイスの上限または飽和レベルに近付く。図15に戻って、プロセス1500を行なうシステムは、1510において、ノードアセンブリ同士の間のリンクを割当てしかつ重み付けして、所望の情報処理または情報記憶結果を達成する。このように、割当ておよび重み付けはニューラルネットワークデバイスを学習する。学習は、ノードアセンブリ内の相対的により安定したリンク中よりはむしろ、ノードアセンブリ同士の間のリンク中で優先的に実現される。いくつかの実現例では、割当ておよび重み付けは、新しいアセンブリ間リンクの形成、アセンブリ間リンクの再割当て、またはアセンブリ間リンクの形成および再割当ての両方を含むことができる。図17は、そのようなアセンブリ間リンク1705がノードアセンブリ1605、1610、1615、1620、1625の間に形成された例示的なニューラルネットワークデバイス1700の概略図である。アセンブリ間リンク1705の配置および重みは、所望の情報処理または情報記憶結果を達成するようにニューラルネットワークデバイス1700を調整する学習を実現することができる。この明細書に記載の主題および動作の実施形態は、デジタル電子回路構成、またはコンピュータソフトウェア、ファームウェア、もしくはこの明細書に開示される構造およびそれらの構造的均等物を含むハードウェア、またはそれらのうち1つ以上の組合せで実現可能である。この明細書に記載される主題の実施形態は、1つ以上のコンピュータプログラム、すなわちデータ処理装置による実行またはデータ処理装置の動作を制御するためのコンピュータ記憶媒体にエンコードされるコンピュータプログラム命令のうち1つ以上のモジュールとして実現可能である。これに代えてまたは加えて、プログラム命令は、データ処理装置による実行に好適な受信器装置への送信のための情報をエンコードするように生成される、たとえば機械で生成される電気、光学、または電磁信号である人工的に生成された伝播信号にエンコード可能である。コンピュータ記憶媒体は、コンピュータ読出可能記憶デバイス、コンピュータ読出可能記憶基板、ランダムもしくはシリアルアクセスメモリアレイもしくはデバイス、またはその1つ以上の組合せであり得るかもしくはその中に含まれ得る。さらに、コンピュータ記憶媒体は伝播信号ではない一方で、コンピュータ記憶媒体は、人工的に生成される伝播信号にエンコードされるコンピュータプログラム命令の発信元または宛先であり得る。コンピュータ記憶媒体も、1つ以上の別個の物理的構成要素または媒体たとえば複数のCD、ディスク、または他の記憶デバイスであり得るかまたはその中に含まれ得る。この明細書に記載される動作は、1つ以上のコンピュータ読出可能記憶デバイスに記憶されるまたは他のソースから受信されるデータに対してデータ処理装置によって行なわれる動作として実現可能である。データ処理装置という用語は、一例として、プログラマブルプロセッサ、コンピュータ、システムオンチップ、または以上のもののうち複数のものまたはその組合せを含む、データを処理するためのすべての種類の装置、デバイス、および機械を包含する。装置は、たとえばFPGAフィールドプログラマブルゲートアレイまたはASIC特定用途向け集積回路などの特殊目的論理回路構成を含み得る。装置は、ハードウェアに加えて、たとえば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、またはそれらのうち1つ以上の組合せを構成するコードである問題のコンピュータプログラムのための実行環境を作り出すコードも含み得る。装置および実行環境は、ウェブサービス、分散計算およびグリッド計算インフラストラクチャなどのさまざまな異なる計算モデルインフラストラクチャを実現可能である。プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても公知のコンピュータプログラムは、コンパイル型言語またはインタープリタ型言語、宣言型言語または手続型言語を含む任意の形態のプログラミング言語で記述することができ、これは、スタンドアローンプログラムとして、またはモジュール、構成要素、サブルーチン、オブジェクト、もしくは計算環境における使用に好適な他のユニットとして含む任意の形態で配備可能である。コンピュータプログラムは、ファイルシステム中のファイルに対応してもよいが、その必要はない。プログラムは、問題のプログラム専用の単一のファイルまたは複数の連動したファイルたとえば、1つ以上のモジュール、サブプログラム、またはコードの部分を記憶するファイル中に他のプログラムまたはデータたとえば、マークアップ言語文書中に記憶された1つ以上のスクリプトを保持するファイルの部分に記憶可能である。コンピュータプログラムは、1つのコンピュータ上で、または1つのサイトに位置するもしくは複数のサイトにわたって分散され、通信ネットワークによって相互結合される複数のコンピュータ上で実行されるように配備可能である。この明細書に記載されるプロセスおよび論理のフローは、1つ以上のコンピュータプログラムを実行して、入力データに対して演算を行ない、かつ出力を生成することによってアクションを実行する1つ以上のプログラマブルプロセッサによって実行ことができる。プロセスおよび論理のフローは、たとえばFPGAフィールドプログラマブルゲートアレイまたはASIC特定用途向け集積回路などの特殊目的論理回路構成によっても行なうことができ、かつ装置はそのようなものとして実現可能でもある。コンピュータプログラムの実行に好適なプロセッサは、一例として、汎用および特殊目的マイクロプロセッサの両者、ならびに任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサを含む。一般的に、プロセッサは、読出専用メモリまたはランダムアクセスメモリまたはその両者から命令およびデータを受信する。コンピュータの必須の要素は、命令に従ってアクションを行なうためのプロセッサと、命令およびデータを記憶するための1つ以上のメモリデバイスとである。一般的にコンピュータは、たとえば磁気ディスク、磁気光学ディスク、もしくは光学ディスクなどのデータを記憶するための1つ以上の大容量記憶デバイスも含み、またはそれらからデータを受信しまたはそれらにデータを転送し、またはその両者を行なうように動作するように結合もされる。しかしながら、コンピュータはそのようなデバイスを有する必要はない。さらに、2、3の例を挙げると、コンピュータを、携帯電話、パーソナルデジタルアシスタントPDA、携帯音声または映像プレーヤ、ゲーム機、全地球位置把握システムGPS受信器、または携帯型記憶デバイスたとえばユニバーサルシリアルバスUSBフラッシュドライブなどの別のデバイスに埋込むことができる。コンピュータプログラム命令およびデータを記憶するのに好適なデバイスは、一例として、たとえば、EPROM、EEPROM、およびフラッシュメモリデバイスなどの半導体メモリデバイスと、たとえば内部ハードディスクまたは取外し可能ディスクなどの磁気ディスクと、磁気光学ディスクと、CD-ROMおよびDVD-ROMディスクとを含む不揮発性メモリ、媒体、およびメモリデバイスのすべての形態を含む。プロセッサおよびメモリは、特殊目的論理回路構成によって補足可能である、またはこの中に組入れ可能である。ユーザとの対話を提供するため、この明細書に記載される主題の実施形態は、CRT陰極線管またはLCD液晶ディスプレイモニタなどのユーザに情報を表示するための表示デバイスと、キーボードと、ユーザがコンピュータに入力を与えることができるたとえばマウスまたはトラックボールなどのポインティングデバイスとを有するコンピュータ上で実現可能である。他の種類のデバイスを用いて同様にユーザとの対話を提供することもできる。たとえば、ユーザに与えられるフィードバックは、たとえば視覚的フィードバック、聴覚的フィードバック、または触覚的フィードバックなどの任意の形態の感覚フィードバックであり得、ユーザからの入力は、音響、音声、または触覚による入力を含む任意の形態で受信可能である。さらに、コンピュータは、たとえば、ウェブブラウザから受信する要求に応答してユーザのクライアントデバイス上のウェブブラウザにウェブページを送ることによってなど、ユーザが用いるデバイスに文書を送るおよびそこから文書を受けることによってユーザと対話することができる。この明細書は多数の具体的な実現例の詳細を含有するが、これらはいずれかの発明または請求され得るものの範囲に対する限定としてではなく、むしろ特定の発明の特定の実施形態に特有の特徴の説明として解釈されるべきである。別個の実施形態の文脈でこの明細書で説明されるある特徴は、単一の実施形態中での組合せで実現することもできる。これに対し、単一の実施形態の文脈で説明されるさまざまな特徴を複数の実施形態で別個にまたは任意の好適な副次的組合せで実現することもできる。さらに、特徴はある組合せで作用するものとして上述され当初はそのようにすら請求されることがあるが、請求される組合せからの1つ以上の特徴は、いくつかの場合、組合せから削除することができ、請求された組合せは副次的組合せまたは副次的組合せの変形に向けられることがある。同様に、特定の順で図面に動作を示したが、これは、そのような動作が示した特定の順でもしくは連続した順で行なわれること、またはすべての図示される動作が行なわれて望ましい結果を達成することを要件とするものとして理解されるべきではない。ある状況では、マルチタスキングおよび並行処理が有利であるかもしれない。さらに、上述の実施形態中のさまざまなシステム構成要素の分離は、すべての実施形態でのそのような分離を要件とするものとして理解されるべきではなく、これは、記載のプログラム構成要素およびシステムを、単一のソフトウェア製品にともに一体化する、または複数のソフトウェア製品にパッケージングすることが一般的に可能であると理解すべきである。このように、主題の特定の実施形態を説明した。他の実施形態が以下の請求項の範囲内に入る。いくつかの場合、請求項に記載されるアクションを異なる順序で行なうことができ、依然として望ましい結果を達成することができる。さらに、添付の図に示すプロセスは必ずしも、示される特定の順序または連続した順序を要件として望ましい結果を達成するものではない。ある実現例では、マルチタスキングおよび並行処理が有利であるかもしれない。"