Zwei Inputs

Offensichtlich ist ein Input viel zu wenig, um neuronale Netze interessant zu machen. Mathematisch gesehen ist es sehr leicht ein Neuron mit beliebig viele Inputs zu versehen. Rein rechnerisch führt man für jeden Input ein Gewicht ein, multipliziert den Wert an dem Input mit diesem Gewicht und summiert das Ganz für alle Inputs auf. Dadurch erhält man das Gesamtsignal:

Gesamtsignal

z = f\left(w_x \cdot x + w_y \cdot y + w_b\right)

Damit ist ein Neuron eine zwei-dimensionale Funktion, die den beiden Input-Werten $x$ und $y$ ein Outputsignal $z$ zuordnet. (Wenn Du nicht weißt, was eine zwei-dimensionale Funktion ist, lies die den Exkurs durch.)

Das Neuron

Damit wir experimentieren können, benötigen wir ein Neuron mit zwei Inputs. Es ist links dargestellt. Rechts daneben ist die Darstellung der zwei-dimensionalen Funktion des Neurons.

Text

Experimentiere mit den Gewichten

Verändere die Gewichte, um zu sehen, wie sie sich auf die Funktion des Neurons auswirken.

Wenn man ein Input-Gewicht und das Bias-Gewicht auf 0 stellt, kann man gut die drei-dimensionale Form der Aktivierungsfunktion erkennen.

Das Training

Das Training eines Neurons mit mehren Inputs erfolgt genauso, wie mit einem Input. Allerdings muss man für jeden Input einen Trainingswert haben. Also benötigen wir jetzt drei Werte pro Datensatz. Zwei für die beiden Inputs und den dritten als zu lernenden Output.

Als Beispiel nehmen wir das Logische Oder. D.h. die Input-Signale sind entweder 0 oder 1 und das Outputsignal ist 1, wenn mindestens einer der Inputs 1 ist und 0 sonst.

Die logischen Operatoren

[Klick mich!]

Da in der Informatik letztlich alles auf Bits und damit nur zwei Werte heruntergebrochen wird, 0 und 1, spielt das Rechnen mit diesen Werten eine besondere Rolle. Und dafür führte bereits 1847 der Mathematiker George Boole die Boolesche Algebra ein. Sie kennt nur ein paar grundlegende Rechenoperationen, die auch logische Operatoren genannt werden.

In der booleschen Algebra werden die beiden Werte 0 und 1 als Wahrheitswerte interpretiert. Dabei steht die 1 für wahr und der Wert 0 für falsch. Hat man nun zwei Werte $x$ und $y$ , dann kann man sagen, dass der Ausdruck $x \text{ ODER }y$ nur dann wahr ist, wenn mindestens eines von beiden wahr ist. Also

x \text{ ODER } y = \begin{cases} 1 & \text{falls } x=1 \text{ oder } y = 1 \\ 0 & \text{sonst } \end{cases}

Das ODER nennt man inklusiv, da es auch erlaubt, dass beide Werte wahr sind.

Das logische Und $x\text{ UND }y$ ist nur wahr, wenn beide Werte wahr sind. Also

x \text{ UND } y = \begin{cases} 1 & \text{falls } x=1 \text{ und } y = 1 \\ 0 & \text{sonst } \end{cases}

Die Negation oder das logische Nicht kippt den Wert eines Bits. Also

\text{NICHT } x = \begin{cases} 1 & \text{falls } x=0 \\ 0 & \text{sonst } \end{cases}

Das logische XOR oder Exklusive Oder entspricht dem umgangssprachlichen Entweder-Oder. Es ist nur wahr, wenn nur einer der beioden Werte wahr ist und der andere nicht. Also

x \text{ XOR } y = \begin{cases} 1 & \text{falls entweder } x=1 \text{ oder } y = 1 \\ 0 & \text{sonst } \end{cases}

Zeit für ein leichtes Training

Lasse das Neuron das Logische Oder lernen.
Verändere anschließend die Trainingsdaten so, dass das Neuron das Logische Und lernt. (D.h. Setze den Output Wert im zweiten und dritten Datensatz auf 0).
Verändere anschließend die Trainingsdaten so, dass das Neuron das Logische Xor lernt. (D.h. Setze die Outputs im zweiten und dritten Datensatz auf 1 und den im letzten Datensatz auf 0).

Welche Unterschiede stellst du zwischen den drei Fällen fest?

Epochen: Lernrate:

Was Du beobachtet haben solltest

[Klick mich!]

Wie es weiter geht

Im nächsten Schritt lernst Du, wie man durch die Kombination vieler Neuronen den KI-Winter beendete.

Zur vorherigen Seite

Zum Inhaltsverzeichnis

Zur nächsten Seite

Version 0.0