Die Werte der in Gleichung () werden mit Hilfe des Backpropagation-Algorithmus bestimmt. Als Trainingsmuster werden dabei Mengen der Form verwendet. Die Eingabereizstärken des p-ten Paares von Trainingsmustern sind dabei bestimmt durch
und die Stärke des Ausgabereizes durch
wobei die vorherzusagende Funktion () sei, und die Länge des Zeitintervalles bestimmt, nach dem die Vorhersage des Funktionswertes erfolgen soll. Nach () und () gilt somit:
Damit läßt sich ein Maß für den Vorhersagefehler definieren:
In f stecken alle momentan noch unbekannten Gewichte , die zu Anfang des Lernprozesses zufällige Werte haben, wodurch relativ große Vorhersagefehler für alle Muster auftreten.
Man untersucht nun, wie sich der Fehler ändert, wenn man ein Gewicht verändert. Dazu bildet man die partielle Ableitung . Das Gewicht wird nun ein kleines Stück so verändert, daß der Fehler kleiner wird:
Wenn man die Ableitungen ausrechnet, stellt man fest, daß es effektiv ist, zunächst die Gewichte des Ausgangsneurons, dann die Gewichte der zweiten inneren Schicht und erst am Schluß die Gewichte der ersten inneren Schicht anpaßt. Diese Methode nennt man Backpropagation, weil die Informationen über die Verbesserung der Gewichte in die andere Richtung als die Reize laufen.
Die Formel () bewirkt nur eine kleine Verbesserung und auch nur bezüglich eines Musters . Sie muß deshalb für alle Muster und die ganze Prozedur z.B 500 mal wiederholt werden, bis der Vorhersagefehler klein genug geworden ist.
. PRÄDIKTION EINER FUNKTION DURCH EIN N.N.