Neuronale Netze

Als „Entdecker“ der neuronalen Netze gelten Warren McCulloch und Walter Pitts im Jahr 1943.

Eine grobe Unterteilung des Forschungsgebiets kann erfolgen in Netze, die menschl. Verhalten simulieren und in Netze, die konkrete Anwendungsprobleme lösen sollen.

NN bestehen aus Neuronen, sog. UNITS.

  • Input-Units: Units, die von der Außenwelt Signale (Reize, Muster) empfangen können.
  • Hidden-Units: Units, die sich zwischen Input- und Output-Units befinden und eine interne Repräsentation der Außenwelt beinhalten.
  • Output-Units: Units, die Signale an die Außenwelt weitergeben.

Übereinander liegende Units bilden eine SCHICHT. Verbindungen zwischen Units haben KANTEN. Stärke der Verbindung wird repräsentiert durch GEWICHTE. Je größer/kleiner das Gewicht, desto höher/hemmender der Einfluss des Ausgangsneurons auf die Empfängerunit. WISSEN in NNs ist in den Gewichten der Kanten gespeichert, LERNEN bedeutet in dem Kontext eine Veränderung der Gewichtungen.

Der INPUT eines Neurons ergibt sich aus dem Output (Aktivitätslevel) eines anderen Neurons, sowie der Gewichtung der Kante von diesem Neuron zu diesem. (multiplikativ)

Alle Inputs eines Neurons addiert ergibt den sog. NETZINPUT eines Neurons: Für den Input eines Neurons i, von einem Neuron j ausgehend, dessen Aktivitätslevel (Output) ist und deren verbindene Kante das Gewicht besitzt.

Netzinput für das entsprechende Neuron ist entsprechend:

Aus dem Input eines Neurons leitet sich dann die Aktivität/der Output her. Das kann linear erfolgen, oder auch mit Schwellwert, binär oder sigmoid (z.b. Tangens-Hyperbolicus-Funktion).

Trainings- und Testphase: Training kann supervised oder unsupervised erfolgen. supervised: Ergebnisvektor vorgegeben, Gewichte werden entsprechend optimiert. unsupervised: Es wird kein Output vorgegeben. Die Gewichtsveränderungen erfolgen in Abhängigkeit der Ähnlichkeit der Gewichte mit den Inputreizen.

Testphase: In der Testphase werden keine Gewichte verändert. Es wird auf Grundlage der bereits modifizierten Gewichte aus der Trainingsphase untersucht, ob das Netz etwas gelernt hat. Dazu präsentiert man den Inputneuronen Reize und prüft, welchen Output das neuronale Netz berechnet.

Zwei verschiedene Arten von Reizen können unterschieden werden: Ausgangsreize: Durch erneute Präsentation der zu lernenden Ausgangsreize wird geprüft, ob das neuronale Netz das Trainingsmaterial erfasst hat. Neue Reize: Durch Präsentation neuer Reize kann man feststellen, ob das Netz über die zu lernenden Reize hinaus in der Lage ist, Aufgaben zu lösen. Anders formuliert: Findet eine Generalisierung/Verallgemeinerung auf neue Reize statt?

Lernregeln:

Beispiel: Hebb-Regel:
„Das Gewicht zwischen zwei Neuronen wird dann verändert, wenn beide Neuronen aktiv sind.“ Die Größe der Gewichtsveränderung bemisst sich aufgrund dreier Werte:

  • dem Aktivitätslevel (bzw. Output) der sendenden Unit
  • dem Aktivitätslevel (bzw. Output) der empfangenden Unit
  • einem vorher festgelegten, positiven Lernparameter

Als Formel ausgedrückt lautet die Hebb-Regel wie folgt:

Grundlage ist die Funktionsweise des Gehirns.
„Je häufiger ein Neuron A gleichzeitig mit Neuron B aktiv ist, umso bevorzugter werden die beiden Neuronen aufeinander reagieren“ Nachgewiesen mit Hilfe von synaptischen Übertragungen zwischen Neuronen.

Quelle: http://www.neuronalesnetz.de/