Die Werte der in Gleichung (
)
werden mit Hilfe des
Backpropagation-Algorithmus bestimmt. Als Trainingsmuster werden dabei
Mengen der Form
verwendet. Die
Eingabereizstärken
des
p-ten Paares von Trainingsmustern sind dabei bestimmt durch
und die Stärke des Ausgabereizes durch
wobei die vorherzusagende Funktion (
) sei, und
die Länge des Zeitintervalles bestimmt, nach dem die Vorhersage
des Funktionswertes erfolgen soll.
Nach (
) und (
) gilt somit:
Damit läßt sich ein Maß für den Vorhersagefehler definieren:
In f stecken alle momentan noch unbekannten Gewichte , die zu
Anfang des Lernprozesses zufällige Werte haben, wodurch relativ
große Vorhersagefehler
für alle Muster
auftreten.
Man untersucht nun, wie sich der Fehler ändert, wenn man ein Gewicht
verändert. Dazu bildet man die partielle Ableitung
. Das Gewicht wird
nun ein kleines Stück so verändert, daß der Fehler kleiner wird:
Wenn man die Ableitungen ausrechnet, stellt man fest, daß es effektiv ist, zunächst die Gewichte des Ausgangsneurons, dann die Gewichte der zweiten inneren Schicht und erst am Schluß die Gewichte der ersten inneren Schicht anpaßt. Diese Methode nennt man Backpropagation, weil die Informationen über die Verbesserung der Gewichte in die andere Richtung als die Reize laufen.
Die Formel () bewirkt nur eine kleine Verbesserung
und auch nur bezüglich eines Musters
. Sie muß deshalb für
alle Muster und die ganze Prozedur z.B 500 mal wiederholt werden,
bis der Vorhersagefehler klein genug geworden ist.
. PRÄDIKTION EINER FUNKTION DURCH EIN N.N.