Das Zeitalter des "Neuromorphic Computing" Von der Hardware hinter der Digitalisierung und den KI-Geschäftsmodellen hin zu ethischen und ökologischen Dilemmata

Sowohl die Digitalisierung wie auch der Aufbau von Geschäftsmodellen mit der künstlichen Intelligenz (kurz: KI) erfordern eine geeignete Hardware. Genauso wie unsere Gedanken nicht ohne Gehirn funktionieren können, so kann auch nichts "Digitales" ohne ein entsprechendes Gerät laufen. Unsere Gedanken können nur so komplex werden, wie es unsere Hardware – also unser Gehirn – erlaubt. Man kann also sagen, dass unsere biologischen Anlagen den "Bottleneck" für unser Denken darstellen. Oder anders ausgedrückt: Je leistungsfähiger die Biologie, desto besser wird das, was daraus produziert wird. Ein kleines Beispiel könnte diesen Punkt noch etwas besser exemplifizieren: Stellen Sie sich eine Person vor, die entweder keine Augen oder keinen visuellen Kortex im Gehirn hat. Damit fehlt die Grundvoraussetzung, die wir Menschen brauchen, um überhaupt sehen zu können. Ohne die entsprechende Biologie kommen wir auch nicht zu einem Bewusstseinszustand, der das Erlebnis "Sehen" erzeugt.

Die Bedingungen für eine KI

Dieses Beispiel trifft zwar auf Menschen zu, doch in der Welt der Maschinen funktioniert das genau gleich. Die Hardware ist entscheidend für die Software. Ein "künstlich intelligentes" System hat bekanntlich zwei starke Limitierungen (oder "Bottlenecks"): zum einen ist es die Datenmenge und zum anderen die Rechenkapazität der Maschine.

In den 1950er Jahren entwickelte Frank Rosenblatt bereits die erste KI (das sog. Perceptron), damit kam er aber nicht sehr weit. Auch als Geoffrey Hinton in den 1990er Jahren die Multilayer-KI erfand und rund 20 Jahre später mit der Erfindung des "Convolutional Neural Network" (CNN) namens AlexNet die Geburtsstunde der modernen KI im Jahr 2012 einläutete, hatte er mit den beiden Limitierungen zu kämpfen.

Bei den heutigen Systemen, die mit maschinellem Lernen arbeiten, ist die Situation immer noch ähnlich: Sie brauchen ziemlich leistungsstarke Rechner, um die Vielzahl von Matrixmultiplikationen durchzuführen. Gleichzeitig benötigen sie einen riesigen Berg voller Daten, um überhaupt adäquat trainiert zu werden. Mittlerweile gibt es innovative und kreative Trainingsmodelle, die stetig zur Erhöhung der Datenmenge geführt haben: die Palette reicht von gelabelten und ungelabelten Daten, über Few-Shot- und neuerdings auch Zero- Shot-Lernmodellen, bis hin zu klassischen Reinforcement-Learning-Ansätzen. Das Ganze wird möglich gemacht durch die vielleicht einflussreichste Erfindung unserer Zeit: das Internet. Mittlerweile gibt es online so viele Daten, dass man damit gut eine KI trainieren kann.

So können beispielsweise gewisse "Natural Language Processing (NLP)"-Modelle schon relativ gut sprechen. Auch Computer-Vision-Programme werden in der Bildverarbeitung immer besser, sie haben aber noch ziemlich Probleme in der Krebserkennung bei MRI-Bildern. Für die Unterscheidung zwischen krebsversehrten von gesundem Gewebe braucht es nämlich oft strukturierte Daten von Experten, die aber wenig Zeit haben und viel kosten. Informatiker/innen versuchen, dieses Problem der Datenknappheit über Umwege zu umgehen (z.B. mit statistischen Bootstrapping-Methoden).

In den letzten Jahren sind die neuronalen Modelle immer besser geworden. Somit verlagert sich der Bottleneck heutzutage stärker auf die Hardware.

Die Superlative: Super- & Quantencomputer

Die Forschung rund um die KI nennt sich "Cognitive Computing". Dazu gehört zum einen die Neuroinformatik (Software) und zum anderen die Technologieentwicklung zur besseren Signalprozessierung (Hardware). Ein normaler Computer besteht aus CPUs (Central Processing Units) für diverse komplexe Rechenaufgaben und aus GPUs (Graphics Processing Units) für die Parallelisierung von gleichförmigen Rechenaufgaben. Moderne Supercomputer, welche gezielt für das Training der besten KI-Modellen entworfen wurden, sind hochkonzentriert an CPUs und vor allem an GPUs. Google und DeepMind haben die Technik mit ihren TPUs (Tensor Processing Units) noch weiter perfektioniert. Doch so langsam stossen die riesigen Rechenfarmen an ihre Grenzen. Hier verschmelzen ökonomische und ökologische Probleme: CPUs, GPUs und TPUs sind extrem energiehungrig. Das bedeutet, dass der Stromverzehr für das Trainieren grosser KI-Modelle mit über einer Milliarde Parameter nicht nur Millionen von Dollar kostet, sondern dass dies auch sehr umweltbelastend ist. Zum Vergleich: das Trainieren eines einzigen der grössten Modelle frisst so viel Energie, dass man damit eine kleine Stadt in derselben Zeit mit Strom versorgen könnte. So etwas kann man zwar im Einzelfall für die Forschung akzeptieren, doch das Prinzip ist nicht wirklich skalierbar.

Zumindest auf dem Papier würden Quantencomputer hier Abhilfe schaffen. Wenn eine Maschine nicht mit Bits (mit Einsen und Nullen), sondern mit Qubits (also mit Einsen, Nullen und deren Superposition) arbeitet, dann scheint die Rechenkapazität des Computers im Vergleich zu herkömmlichen Prozessen förmlich zu explodieren. Hier liegt auch eine grosse Angst hinter diesem Wettrennen versteckt: Wer zuerst einen allseits einsatzfähigen Quantencomputer entwickelt, könnte ohne mit den Wimpern zu zucken sämtliche Verschlüsselungstechnik aushebeln – weder die Bank, die medizinische Datenablage, noch die Blockchains wären hier sicher. Allerdings bleibt dies wohl noch für eine geraume Zeit Zukunftsmusik, denn ein Quantensystem muss heute auf fast null Kelvin (-273 Celsius) runter gekühlt werden. Die neusten Varianten, sog. "Silicon Qubits", funktionieren zwar bei fast einem Kelvin, doch das ist immer noch sehr weit weg vom normalen Alltagsgebrauch. Das langfristige Ziel wäre es, mit "Hot Qubits" zu arbeiten, die bestenfalls bei Zimmertemperatur funktionieren. Doch erst die nächsten Jahrzehnte werden zeigen, ob dies ein realistisches Ziel ist.

Neuromorphic Computing: ein Gehirn aus Draht?

Im Gegensatz zu Quantencomputern in unseren Hosentaschen ist eine andere bahnbrechende Technologie in greifbarer Nähe. Die Rede ist von "Neuromorphic Computing", welche von dem grundlegenden Anliegen getrieben ist, die Verschaltungen auf den maschinellen Chips stärker nach dem Vorbild des menschlichen Gehirns zu modellieren. Wenn wir versuchen, die Software der KI immer mehr wie das Gehirn zu programmieren, dann müssten wir doch auch die entsprechende Verdrahtung stärker danach ausrichten – oder etwa nicht?

Klassische Rechenoperationen laufen über CPUs, GPUs und TPUs relativ gut, doch diese sind nicht wirklich ideal dafür, um den Anforderungen einer KI gerecht zu werden. Diese soll schliesslich die neuronalen Kapazitäten imitieren. Letztes Jahr hat eine Studie gezeigt, dass der differenzielle Output eines einzigen menschlichen Neurons ca. tausend künstliche "Neuronen" (Knoten) in einem künstlichen Netzwerk erfordert. In anderen Worten: Um die Fähigkeit eines einzelnen menschlichen Neurons tatsächlich abzubilden, braucht es ca. tausend künstliche "Neuronen" der KI (Beniaguev et al., 2021). Eines der grössten Probleme der klassischen Rechner liegt in ihrer Architektur. Herkömmliche Computerchips sind nach der sog. von-Neumann-Architektur aufgebaut. Das bedeutet, dass der Speicher ("Memory") vom Rechner (Prozessor) getrennt ist. Das resultiert in einem konstanten Hin und Her zwischen Speicher und Recheneinheit – und damit geht letztlich sehr viel Energie verloren.

Das menschliche Gehirn funktioniert ziemlich anders und im neuromorphen Chip versucht man dem näherzukommen. Die Operationen, die unser Gehirn ausführt, werden direkt in der Struktur als Erinnerungen abgelegt und diese Strukturen führen das Denken durch. Also: Gedächtnis und Ausführung sind nicht getrennt, sondern liegen eigentlich in denselben Anlagen. Damit wird das Gehirn zum technischen Wunderwerk, denn es benötigt weniger Energie als eine Glühbirne und trotzdem kann es komplexere Aufgaben bewältigen (z.B. Bilder erkennen) als der beste Supercomputer. Das versucht man sich nun in dieser neuen Technologie zu Nutze zu machen.

Um dies zu erreichen, haben Forschende den "Memristoren" entwickelt, woraus der "Neuristor" entstanden ist. Es handelt sich dabei um ein elektronisches Element, welches das Verhalten eines Neurons nachahmen soll. Im Moment gibt es verschiedene neuromorphe Modelle, die in Entwicklung sind. Dazu gehören TrueNorth von IBM oder Loihi-2 von Intel. Das grösste Aufsehen hat der Prozessor Akida von Brainchip erregt, da es den Konkurrenten voraus ist und bereits kommerziell in Serie ging. Erste Anwendungen in der Wirtschaft laufen nun bereits mit Akida. Damit wird KI nicht nur besser, sondern auch wesentlich ökologischer, denn neuromorphe Chips brauchen nämlich nur einen Bruchteil der Energie von herkömmlichen Chips. Deswegen spricht man bei solchen Chips auch von "KI-Acceleratoren".

"Brain on a Dish"

Mit dem neuromorphen Computing sind wir ziemlich nahe an der Grenze zwischen Realität und Science Fiction. Diese Grenze wird nun aber definitiv überschritten, wenn wir den Blick auf Australien lenken. Dort befindet sich ein Start-up namens Corticallabs, welches die Idee des Neuromorphings beim Wort nimmt. Das Team verwendet echte Hirnzellen des Menschen und lässt sie mit einem elektrischen Chip verschmelzen. Sie nennen ihr Produkt "Brain on a Dish", weil es genau das ist: eine Art Gehirn auf einer Platte. Vielleicht kann man hier zwar noch nicht wirklich von einem Gehirn sprechen, doch mit diesem Vorgehen kommt das Team der Neuromorphologie näher als alle Konkurrenten. Ihr Ziel ist es, eine KI mit der Hilfe von echten Hirnzellen zu entwickeln. Sie sprechen hier allerdings nicht mehr von künstlicher, sondern von synthetischer Intelligenz. Um diese Hirnzellen zu gewinnen, braucht man übrigens keine Schädel aufzubrechen. Man kann die Neuronen mittels induzierten pluripotenten Stammzellen im Labor herstellen. Dazu nimmt man irgendeine menschliche Zelle, lässt sie durch sog. Yamanaka-Faktoren zu Stammzellen revertieren und danach kann man sie zu Neuronen züchten.

Vor ein paar Monaten ist es dem australischen Team nun tatsächlich gelungen, den neuronalen Chip zu verwenden, um gegen eine KI das uralte Spiel "Pong" zu spielen. Gemäss ihren Aussagen war der Chip mit den menschlichen Neuronen wesentliche schneller im Erlernen des Spiels als die KI (allerdings nur unter vergleichbaren Bedingungen – eine "normale" KI kann nämlich mehrere Spiele parallel und im Zeitraffer durchspielen).

Zum Schluss: Fragen über Fragen

Diese jüngste Technologie deckt eine ganze Reihe neuer Fragen auf: Wie ethisch ist es, menschliche Hirnzellen für Computerzwecke zu instrumentalisieren? Können diese Chips irgendwann ein Bewusstsein evozieren? Selbst wenn die Antwort hier ein klares "Nein" wäre, können diese Zellen Schmerz empfinden? Sind echte Neuronen-Chips wünschenswerter als künstliche neuromorphe Chips?

Wir müssen als Gesellschaft darauf Acht geben, dass die ethische Diskussion nicht hinter einem interessanten Geschäftsmodell abhandenkommt. In der Praxis kämpft das Experiment allerdings noch mit vielen Schwierigkeiten aus dem echten Leben. Menschliche Neuronen sind halt eben biologische Zellen und damit diese überleben, müssen die Chips ein lebensfähiges Ökosystem bilden. Nach einer gewissen Zeit sterben diese Zellen und müssen ersetzt werden. Solche Eigenheiten finden sich bei Silicon-Chips nicht vor. Die neuromorphen Chips bieten allerdings heute bereits Möglichkeiten, die weitaus effizienter und ökologischer sind als dies bei den klassischen Chips der Fall ist.

Der Bottleneck der künstlichen oder gar der synthetischen Intelligenz verlagert sich im Moment immer weiter in Richtung der Hardware. Mit dieser Forschung entstehen neue Möglichkeiten, die sich in einer Vielzahl von Applikationen und Use-Cases niederschlagen werden. Es ist daher ratsam, diese bahnbrechenden Entwicklungen im Auge zu behalten, jedoch den Blick auf die ethischen und nachhaltigkeitsbezogenen Dimensionen nicht ausser Acht zu lassen.

Quellen und weiterführende Informationen 

Beniaguev, D., Segev, I., & London, M. (2021). Single cortical neurons as deep artificial neural networks. Neuron, 109(17), 2727-2739.e3. 

Deng, L., Tang, H., & Roy, K. (2021). Editorial: Understanding and Bridging the Gap Between Neuromorphic Computing and Machine Learning. Frontiers in Computational Neuroscience, 15. 

Lee, C., Sarwar, S. S., Panda, P., Srinivasan, G., & Roy, K. (2020). Enabling Spike-Based Backpropagation for Training Deep Neural Network Architectures. Frontiers in Neuroscience, 14. 

Liu, S.-C., Delbruck, T., Indiveri, G., Whatley, A., & Douglas, R. (2015). Event-Based Neuromorphic Systems. John Wiley & Sons.

Scharnhorst, K. (2018). Beyond Moore Neuromorphic Chips: Harnessing Complexity in Atomic Switch Networks for Alternative Computing. University of California, Los Angeles.

Shi, M., Zhang, T., & Zeng, Y. (2020). A Curiosity-Based Learning Method for Spiking Neural Networks. Frontiers in Computational Neuroscience, 14. 

Wan, Q., & Shi, Y. (2022). Neuromorphic Devices for Brain-inspired Computing: Artificial Intelligence, Perception, and Robotics. John Wiley & Sons.

Zheng, N., & Mazumder, P. (2019). Learning in Energy-Efficient Neuromorphic Computing: Algorithm and Architecture Co-Design. John Wiley & Sons.