Niemand kann sagen, ob Androiden von elektrischen Schafen träumen werden, aber sie werden mit ziemlicher Sicherheit Ruhezeiten benötigen, die ähnliche Vorteile bieten wie der Schlaf für lebende Gehirne, so eine neue Untersuchung des Los Alamos National Laboratory.
“Wir untersuchen neuronaler Netzwerke, also Systeme, die so viel lernen wie lebende Gehirne”, sagte der Computerwissenschaftler Yijing Watkins vom Los Alamos National Laboratory. “Wir waren fasziniert von der Aussicht, einen neuromorphen Prozessor auf eine Art und Weise zu trainieren, die analog dazu ist, wie Menschen und andere biologische Systeme während der Kindheitsentwicklung von ihrer Umwelt lernen”.
Watkins und ihr Forschungsteam stellten fest, dass die Netzwerksimulationen nach ununterbrochenen Phasen des unbeaufsichtigten Lernens instabil wurden. Als sie die Netzwerke Zuständen aussetzten, die analog zu den Wellen sind, die lebende Gehirne im Schlaf erfahren, wurde die Stabilität wiederhergestellt. “Es war, als ob wir den neuronalen Netzen das Äquivalent einer guten Nachtruhe gäben”, sagte Watkins.
Die Entdeckung kam zustande, als das Forschungsteam daran arbeitete, neuronale Netzwerke zu entwickeln, die der Art und Weise, wie Menschen und andere biologische Systeme sehen lernen, sehr nahe kommen. Die Gruppe kämpfte zunächst mit der Stabilisierung simulierter neuronaler Netze, die sich einem unbeaufsichtigten Wörterbuch-Training unterziehen, bei dem Objekte klassifiziert werden, ohne dass sie zuvor mit Beispielen verglichen werden können.
“Die Frage, wie man verhindert, dass lernende Systeme instabil werden, stellt sich eigentlich nur, wenn man versucht, biologisch realistische neuromorphe Prozessoren mit Spikes einzusetzen oder wenn man versucht, die Biologie selbst zu verstehen”, sagte der Informatiker und Studienkoautor Garrett Kenyon aus Los Alamos. “Die überwiegende Mehrheit der Forscher im Bereich des maschinellen Lernens, des Tiefenlernens und der künstlichen Intelligenz stößt nie auf dieses Problem, weil sie in den sehr künstlichen Systemen, die sie studieren, den Luxus haben, globale mathematische Operationen durchzuführen, die den Effekt haben, den gesamten dynamischen Gewinn des Systems zu regulieren.
Die Forscher bezeichnen die Entscheidung, die Netzwerke einem künstlichen Analogon des Schlafs auszusetzen, als beinahe letzten Versuch, sie zu stabilisieren. Sie experimentierten mit verschiedenen Arten von Geräuschen, die in etwa mit dem Rauschen vergleichbar sind, das man beim Abstimmen eines Radios zwischen den Stationen antreffen kann. Die besten Ergebnisse erzielten sie, wenn sie Wellen des so genannten Gaußschen Rauschens verwendeten, das einen weiten Frequenz- und Amplitudenbereich umfasst. Sie stellen die Hypothese auf, dass das Rauschen den Input imitiert, den biologische Neuronen während des Slow-Wave-Schlafs empfangen. Die Ergebnisse deuten darauf hin, dass der Slow-Wave-Schlaf teilweise dafür sorgen kann, dass kortikale Neuronen ihre Stabilität behalten und nicht halluzinieren.
Das nächste Ziel der Gruppen ist die Implementierung ihres Algorithmus auf Intels neuromorphem Loihi-Chip. Sie hoffen, Loihi von Zeit zu Zeit schlafen zu lassen, damit es in der Lage ist, Informationen von einer Silizium-Retina-Kamera in Echtzeit stabil zu verarbeiten. Wenn die Ergebnisse die Notwendigkeit von Schlaf in künstlichen Gehirnen bestätigen, können wir wahrscheinlich erwarten, dass dasselbe auch für Androiden und andere intelligente Maschinen gilt, die in der Zukunft entstehen könnten.
Quelle/Sender: DOE/Los Alamos National Laboratory