Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03109.jsonl.gz/33

Welche Netzwerkarchitekturen sind sinnvoll? Eine `vernünftige' Netzarchitektur spiegelt gewöhnlich die beim Lösungsansatz für eine gegebene Problemklasse auftretenden Unterprobleme wider. Oft erhält man die geeignete Gesamtarchitektur durch Zusammenschaltung verschiedener Untermodule mit jeweils eigener Zielfunktion (Kapitel 3, 4, 6, 7). Ausgaben des einen adaptiven Moduls werden häufig zu Eingaben eines anderen adaptiven Moduls - im Rahmen dieser Arbeit muß allerdings dafür Sorge getragen werden, daß durch die Hintereinanderschaltung verschiedener KNN das Differenzierbarkeitskriterium nicht verletzt wird.
Gewisse Grundbausteine erweisen sich in höchst unterschiedlichen Kontexten als sinnvoll und werden daher in unseren Netzarchitekturen immer wieder auftreten. Alle in den folgenden Kapiteln untersuchten neuronalen Netze bestehen aus einem Paar : ist eine Menge von zu biologischen Neuronen korrespondierenden Knoten , ist eine Menge von zu biologischen Nervenfasern korrespondierenden gerichteten Kanten oder Verbindungen zwischen den Knoten. Zu jedem Knoten gehört zu jedem Zeitpunkt eine der Feuerrate eines Neurons entsprechende reelle Aktivation. Zu jeder Kante gehört ein zu einer Synapsenstärke korrespondierendes reelles Gewicht. Eine Teilmenge von wird als die Menge der Eingabeknoten ausgezeichnet. Eingabeknoten werden zu jedem Zeitpunkt durch sensorische Wahrnehmung von Eingabevektoren aus der Umgebung aktiviert. Alle anderen Knoten (die sogenannten Nichteingabeknoten) berechnen ihre Aktivationen durch differenzierbare Funktionen der Aktivationen von Knoten, von denen sie Verbindungen erhalten. Häufig wird eine Teilmenge der Nichteingabeknoten als die Menge der Ausgabeknoten ausgezeichnet. Ausgabeknoten dienen in der Regel zur Übermittlung der vom Netzwerk berechneten Ergebnisse an die Umgebung - sie stellen die Schnittstelle zur Außenwelt dar. Zielfunktionen sind häufig Funktionen der Aktivationen der Ausgabeknoten.
Azyklische Netze. Häufig lassen sich Netzwerke ohne
rückkoppelnde Verbindungen in sinnvoller
Weise als Untermodule in umfangreichere adaptive Systeme
einbetten (siehe Kapitel 3, 4, 6, 7).
Wir definieren, was bei einem azyklischen Netz oder
Netzmodul unter einer Lage zu verstehen ist.
Die erste Lage ist die Menge aller Eingabeknoten.
Die -te Lage ist die Menge aller Knoten, zu denen ausgehend von der
ersten Lage mindestens ein Kantenpfad der Länge führt, aber
kein Kantenpfad der Länge .
Ein Kantenpfad der Länge ist hierbei eine Liste
Rekurrente Netze. Ist es möglich, in einem gegebenen Netzwerk wenigstens einen Knoten zu finden, von dem aus ein Kantenpfad auf selbst führt, so sprechen wir von einem zyklischen oder rekurrenten Netzwerk oder einem Netzwerk mit zyklischen oder rekurrenten Verbindungen. Viele der zu besprechenden Netze werden zyklische Verbindungen aufweisen. Der Grund dafür ist: In rekurrenten Netzwerken vermögen zu einem gegebenen Zeitpunkt stattfindende Eingabeereignisse einen Einfluß darauf auszuüben, wie spätere Eingaben verarbeitet werden. Somit eröffnet sich ein Potential für ein Kurzzeitgedächtnis in Form wandernder Aktivationen. Im allgemeinen können beliebige zeitliche Verzögerungen zwischen irgendwelchen Eingaben und ihren späteren Konsequenzen auftreten. Rückkoppelnde Verbindungen erlauben sequenzverarbeitende Algorithmen, die über simple Eingabe/Ausgabe-Assoziation hinausgehen.