Für neuronale Netze wurden eine Reihe von Architekturen und Topologien entwickelt. Hier sollen nur sog. vorwärtsgekoppelte Netze betrachtet werden, die aus einer Eingabeschicht und zwei inneren Schichten sowie einer Ausgabeschicht bestehen.
Figure: Vorwärtsgekoppeltes neuronales Netz mit zwei Schichten
von inneren Neuronen
Das Netzwerk soll darauf trainiert werden, eine Operation der Art
so auszuführen, daß für alle Paare von Trainingsmustern die zu einer
bestimmten Eingabe gehörende Ausgabe mit maximaler Genauigkeit vom
Netzwerk ermittelt wird.
Dabei seien die Reizstärken der Neuronen
der Eingabeschicht, und der Funktionswert O von f an der Stelle
die Reizstärke des Neurons in der Ausgabeschicht.
Figure: Zur Funktionsweise eines einzelnen Neurons
Das j-te Neuron einer Schicht berechnet die Stärke
seines Ausgabereizes aus den
Stärken
der Ausgabereize der Neuronen
der vorherigen Schicht wie folgt:
Dabei sind
Als Gleichung für die Reizstärke O des Neurons in der Ausgabeschicht
ergibt sich somit nach () und (
):
wobei die wie in Gleichung (
)
zu verstehen sind. Dabei sind die Neuronen der Eingabeschicht mit i,
die der ersten bzw. zweiten inneren Schicht mit j bzw. k, und das
Neuron der Ausgabeschicht mit o indiziert.