Der „Hype“ um die Künstliche Intelligenz (KI) ist in vielen Bereichen einer gewissen Ernüchterung gewichen. Viele Anwendungsfälle funktionieren als „Proof of Concept“ blendend, schaffen aber den Sprung in die raue Wirklichkeit nicht, in der Algorithmen robust mit schlechten Daten, unerwarteten Situationen und sich verändernden Randbedingungen umgehen müssten. Und von der Komplexität eines menschlichen Gehirns sind die künstlichen Denkmaschinen weiterhin noch weit entfernt.
Und dennoch: Die Leistungsfähigkeit von KI ist verblüffend, wenn sie in spezialisierten Disziplinen präzise trainiert wird. Die größten Fortschritte liegen dabei vor allem in den Prozessen, wie KI angelernt wird. Dann sind erstaunliche Fähigkeiten möglich, von der Erkennung versteckter Muster bis zum Austausch von Gesichtern in Videos. Wir Menschen werden uns daran gewöhnen müssen, uns in vielen Einzeldisziplinen den Maschinen geschlagen zu geben.
In der Teildisziplin des Maschinellen Lernens (ML) geschieht diese Problemlösung automatisiert und nicht vom Menschen vorprogrammiert. In diesem Lernprozess liegt der Schlüssel für den Durchbruch.
Die ersten Schachcomputer arbeiteten noch stur die Spielregeln ab, um den besten Zug zu finden. Die Expertensysteme der 80er und 90er Jahre versuchten, mit explizit vorgegebenen Regelwerken und strukturierten Datenbanken zu Entscheidungen zu gelangen.
Die Erfolge waren recht bescheiden. Als Haupthindernis stellte sich vor allem heraus, dass die Komplexität der Regel- und Wissensbasis schnell zu hoch wurde (Millionen von Regeln sind unübersichtlich). Um komplexe Probleme zu lösen, mussten genauso komplexe Systeme gebaut, gewartet, parametriert, getestet werden. Und die Geschwindigkeit, diese Systeme zu perfektionieren, war nicht hoch genug, um wirklich Mehrwert zu bringen.
Ein weiteres Problem waren die aus heutiger Sicht beschränkten Möglichkeiten zur Speicherung, Verarbeitung und vor allem die Verfügbarkeit massiver Daten. Die Übersetzung von Sprachen zum Beispiel war auf diese Weise nicht zufriedenstellend zu lösen: Hohe Komplexität, Mehrdeutigkeiten, tausende von Wörtern, verschachtelte Syntax – das ging regelbasiert suboptimal.
Von Regeln zum Machine Learning
Machine Learning dreht nun den Spieß um: Nicht der Mensch gibt die Struktur vor, sondern die Lernmaschine erarbeitet sich die Struktur der Daten selber, Regeln stehen dabei nicht im Vordergrund. Ein kleines Kind lernt Sprache nicht, indem man ihm die Grammatik erklärt – es fängt an, die innere Struktur der gehörten Sprache zu imitieren und entschlüsseln. Damit das funktioniert, ist viel Training mit vielen Beispieldaten notwendig. Oder mathematisch betrachtet: Die ML-Algorithmen sind nichts anderes als beispielsweise komplexe Gleichungssysteme und Funktionen mit vielen Parametern, die anhand der Trainingsdaten eingestellt und optimiert werden müssen.
Ziel des Maschinellen Lernens ist immer, zu generalisieren, das heißt aus einer Menge bekannter Daten die unterliegenden Regelmäßigkeiten so zu schätzen, dass neue, nie gesehene Daten ebenfalls gut vorhergesagt werden können. Mit anderen Worten: Struktur wird aus den Daten so extrahiert, dass sie übertragbar ist.
Der Fundus der ML-Methoden ist dabei recht groß. Sie lassen sich in verschiedene Schubladen stecken, die unüberwachten (Label nicht vorhanden) und überwachten Methoden (Label vorhanden). Die Klassifizierer ordnen Datensätze Kategorien zu. Die Regression sagt zukünftiges Verhalten voraus. Die Clusterer gruppieren ähnliche Fälle zusammen. Die Recommender faktorisieren riesige Matrizen und quantifizieren dadurch persönliche Interessen.
Typische Aufgaben sind auch die Reduzierung der Komplexität und Dimensionalität, die Auswahl und Parametrierung von Modellen oder das Ermitteln und Normalisieren sogenannter Features in den Daten – den Größen, die die Entscheidungsgrundlage für den Algorithmus sein werden, sowie die Visualisierung komplexer Daten.
Das Finden der richtigen Features ist dabei meist eine anspruchsvolle Aufgabe.
©scikit-learn developers
Ab ins Fitness-Studio
Auch in der Art des Trainings gibt es verschiedene Vorgehensweisen. Generell benötigen ML-Algorithmen eine Trainingsphase, in der die Parameter anhand von Beispieldaten richtig eingestellt werden. Meist wird vom verfügbaren Datensatz ein Teil für das Training verwendet und der noch unbekannte Teil dann zum Test des Algorithmus, um seine Generalisierungsfähigkeit abzuschätzen.
Lernt der Algorithmus supervised, so muss für jeden Datensatz mitgeliefert werden, was er bedeutet oder was die richtige Antwort ist. „Das hier ist ein Hund, das auch, aber jenes ist eine Katze.“ Die Algorithmen passen darauf ihre Parameter an, um ein optimales Ergebnis für neue Daten zu erhalten. Und hier liegt der Hund begraben: Was heißt „optimal“?
Die erste Frage ist, welche Art von Fehlern man minimieren möchte. Nehmen wir einen Algorithmus, der erkennen soll, ob sich auf einem Röntgenbild ein Tumor befindet. Soll der Algorithmus sicher alle Tumoren erkennen und lieber auch einmal einen Fehlalarm auslösen als einen zu übersehen? Ist eine Fehlalarm-Quote von 50 Prozent aber akzeptabel?
Zielgrößen wie „false negative“ oder „false positive“ müssen für jeden Anwendungsfall definiert werden. Diese Zielgrößen haben auch entscheidenden Einfluss darauf, wie gut sich der Algorithmus im wahren Leben – außerhalb der Trainingsdaten – bewegt, wenn also Echtdaten bearbeitet werden.
Die Fähigkeit zur Übertragung der Eigenschaften von Trainingsdaten auf die Echtdaten wird wie oben schon bemerkt Generalisierung genannt. Bildlich gesprochen: Ein Algorithmus, der im ‚Fitnessstudio‘ perfekte Übungen absolviert, mag oft schlecht im Zehnkampf draußen sein.
Lernen geht auch unsupervised: Der Algorithmus findet hierbei eigenständig heraus, welche Strukturen in den Datensätzen verborgen sind. Welche Datensätze sind sich „ähnlich“? Aber auch hier gilt wieder: Ähnlichkeit muss vorher definiert werden über Metriken, die Abstand oder Nähe zweier Datenpunkte voneinander definieren.
Selber groß
Neben dem supervised und unsupervised learning gibt es zwei weitere Trainingsmethoden, die sich als besonders erfolgreich erweisen. Beobachten wir ein Kleinkind, wie es die Welt entdeckt, so wird klar, dass es neben dem Lernen am Beispiel anderer auch versucht, innerhalb der ihm zugänglichen Umgebung Verhaltensweisen auszuprobieren. So lernt es, die Konsequenzen von Situationen und Aktionen einzuschätzen. Wer als Kind einmal auf die heiße Herdplatte gefasst hat, lernt gleichzeitig, sich von anderen sehr warmen Regionen fernzuhalten – denn nach warm folgt wohl heiß und dann tut es weh.
Reinforcement learning imitiert diesen Lernprozess. Der Algorithmus kann in einer definierten Umgebung Aktionen auslösen und Systemzustände verändern. Jeder neue Zustand wird entweder belohnt oder bestraft. Daraus lässt sich nicht nur ableiten, welche nächste Aktion gut oder schlecht ist – auch den Systemzuständen selber kann eine positive oder negative Tendenz zugeschrieben werden.
Recht einleuchtend ist dies zum Beispiel bei der Steuerung eines Flugzeugs. Wenn das Flugzeug zu langsam fliegt, reißt die Strömung ab, was kurze Zeit später zu einer recht ungünstigen Rückkopplung führt. Damit sind auch Flugzustände, in deren Folge das Flugzeug später zu langsam werden wird, ebenfalls ungünstig.
Lernen auf der grünen Wiese
Die vierte Variante zu lernen bekam eine Ende 2017 eine hohe Aufmerksamkeit dur ch eine neue Variante eines Go-Algorithmus. Bereits 2015 hatte ein Team von Deep Mind den Algorithmus Alpha Go für das Brettspiel Go trainiert, das durch seine extreme Komplexität bislang als schwer beherrschbar galt. Dabei waren dem Algorithmus zum Training noch bereits bekannte Spielzüge vorgesetzt worden – am Ende besiegte Alpha Go den weltbesten Spieler.
Ende 2017 dann der nächste Paukenschlag: In der neuen Variante Alpha Zero lernte der Algorithmus nun alles, indem er allein gegen sich selber spielte. Keine menschlich erzeugte Wissensbasis mehr – die Spielregeln reichten aus, um nach bereits wenigen Stunden alles zu schlagen, was vorher an Schach- oder Go-Programmen auf dem Markt war. Hinter diesem bemerkenswerten Erfolg stecken adverseriale Netze, die zu einer bestimmten Klasse von KI-Algorithmen gehören: den Neuronalen Netzen.
Allzweckwaffe Neuronale Netze
Ganz offensichtlich scheint die neuronale Struktur unseres Gehirns recht gut für die Aufgaben der physischen Welt, in der wir leben, geeignet zu sein. Seit den 1960er Jahren wird daher versucht, das Gehirn sehr stark vereinfacht nachzubilden: Neuronen und Synapsen werden durch Knoten und die Verbindungen dazwischen simuliert.
Auch wenn die neuronalen Netze der KI heute nur noch wenig mit unserem Gehirn zu tun haben, kann man sich vorstellen, dass beim Training die Stärken dieser Verbindungen so eingestellt werden, dass aus den Eingangssignalen die gewünschten Prädiktionsergebnisse möglichst gut vorhergesagt werden. Die Gestaltungsmöglichkeiten, wie die Knoten in Schichten angeordnet und verbunden werden, sind dabei sehr groß.
Das einfachste Neuronale Netz hat drei Schichten: Die Eingabe-Schicht entspricht der Struktur der Eingangsdaten, zum Beispiel der Anzahl Pixel eines Bildes. Die Ausgabe-Schicht bildet die Struktur der Ergebnisse ab, zum Beispiel 10 Knoten, die für die Ziffern von 0 bis 9 stehen. Dazwischen liegt ein „Hidden Layer“, der die Verknüpfung zwischen Ein- und Ausgabe herstellt. Die Anzahl dieser Hidden Layers, die Anordnung der Knoten und auch die Modellierung der Verbindungen sind Parameter, um die Netze möglich effizient zu machen. Viele „Hidden Layer“ ergeben ein tiefes Neuronales Netz (man spricht von deep learning).
©LearnDataSci
Nach der ersten Begeisterung in den 1980er bis 2000er Jahren wurde es allerdings sehr still um die Neuronalen Netze – bis die Computerspiele-Industrie durchstartete. Danke, Spielkonsolen!
Einer der Bremsklötze war jahrelang die unzureichende Rechenpower gewesen. Obwohl sich die Leistung der CPUs weiterhin an das Mooresche Gesetz (Verdoppelung alle 18 Monate) gehalten hatte, konnten sie den massiven Anforderungen des Machine Learnings immer noch nicht gerecht werden.
Die Ursache dafür liegt in der Architektur der Prozessoren: Während die regulären CPUs darauf getrimmt sind, skalare Daten (Zahlen) sehr schnell zu verarbeiten, brauchen die meisten ML-Algorithmen eine massive Verarbeitung von Matrizen. Und das können interessanterweise die GPUs von Spielkonsolen besonders gut. Ihre Graphics Processing Units sind darauf optimiert, genau solche komplexen Daten extrem schnell zu verarbeiten.
Mit dem daraufhin einsetzenden Höhenflug des Neuronalen Netze ging auch die Spezialisierung der HW (Hardware) weiter. Google entwickelte veröffentlichte 2017 die zweite Generation einer Tensor Processing Unit speziell für ML-Anwendungen wie Tensorflow, Handyhersteller wie Huawei integrieren in ihre Smartphones speziell für ML optimierte Chips. Die Rechenleistung ist dabei enorm: Googles TPU schafft einzeln bereits 180 TFlops und als Cluster zusammengeschaltet 11,5 PFlops. Das ist fast 150 Millionen Mal schneller als der erste Supercomputer – die Cray-1A aus dem Jahre 1976.
Ab in die Cloud
Wer heute selber Neuronale Netze nutzen und trainieren möchte, braucht sich um Software und Hardware sowieso wenig Gedanken zu machen. Cloud-Plattformen wie Amazon Web Services (AWS, MXNET) oder Googles Colab liefern Methodik und Rechenpower frei Haus. Insbesondere Googles Tensorflow ist dabei ein beliebter Kandidat für einen schnellen Einstieg ins Thema.
Zur Ansteuerung bietet sich beispielsweise die auf Python basierende Bibliothek Keras an. Eine komplette Implementierung einer KI-Anwendung ist auf diese Weise innerhalb von einer Handvoll Code-Zeilen möglich, die notwendige Rechenkraft lässt sich in der Cloud großzügig skalieren. Machine-Learning-Methoden sind damit heute bereits Standard-Ware – die Kunst liegt nicht in der Verfügbarkeit, sondern in der Auswahl, der Modellierung, dem Training und der spezifischen Anwendung.
©P3 Dualspace
Tiefes Lernen…
Die eigentlichen Superstars der Szene sind die Neuronalen Netze, die sich unter dem Schlagwort „Deep Learning“ ausbreiten (erste tiefe neuronale Netzwerkstrukturen gab es übrigens bereits in Fukushimas Neocognitron (1980)). Sie haben besonders viele („tiefe“) Schichten im Vergleich zu den „shallow“ Netzen. Populär wurden sie, als das 2010 gegründete und 2014 von Google übernommene Startup Deep Mind zeigte, dass auch ein selbstlernender Algorithmus ohne wesentliche Vorkenntnisse den Menschen in kurzer Zeit schlagen kann.
Ein einfaches Neuronales Netz mit drei Schichten (Input, Hidden Layer, Output) kann bereits Klassifikationsaufgaben wie das direkte Zuordnen von Ziffern gut lösen. Für komplexere Strukturen reicht das jedoch nicht aus. Die Fähigkeiten des Netzwerks müssen durch weitere Schichten und Knoten erweitert werden. Eine durch die biologischen Strukturen der Bildverarbeitung im Gehirn inspirierte Netzwerk-Architektur sind dabei Convolutional Neural Networks (CNN oder Convnet).
©Aphex34 (Own work)
Bei der Verarbeitung eines Bildes kann jedes Pixel relevante Informationen erhalten. Wenn sich alle Knoten der inneren Schichten mit jedem Pixel in der Eingangsschicht verbinden, so muss aber eine enorm hohe Anzahl von Verbindungsgewichten gelernt werden. CNNs lösen dieses Problem, indem sie Knoten so bündeln, dass jeder Bereich nur einen bestimmten Ausschnitt der Eingangsschicht lernt – so wie Neuronen, die für ein bestimmtes Gesichtsfeld zuständig sind. Die gebündelten Knoten überlappen sich teilweise und werden ergänzt durch Schichten, die voll vernetzt sind. So können sie geometrische Muster erkennen. CNNs werden vor allem in der Verarbeitung von Bildern, Videos und Sprache eingesetzt.
… mit Gedächtnis
Leider haben aber auch diese Netze einen gravierenden Nachteil: Ihre Knoten haben kein Gedächtnis. Das Netz lernt keine zeitlichen Zusammenhänge, jeder Eingangszustand wird völlig unabhängig von seiner Vorgeschichte bewertet. Viele Probleme der realen Welt sind zeitlich jedoch stetig, die Vorgeschichte der Eingangssignale liefert wichtige Informationen über den aktuellen Zustand. Ein Objekt in einem Videostream bewegt sich von Frame zu Frame, ein gesprochenes Wort besteht aus einer zeitlich zusammenhängenden Lautfolge.
Recurrent Neural Networks (RNN) lösen dieses Problem, indem sie nicht nur das Eingangssignal verarbeiten, sondern zusätzlich die inneren Zustände des Netzwerks vom Eingangssignal davor. Diese „inneren Zustände“ sind nichts anderes als die Gewichtsfaktoren der einzelnen Netzwerkknoten in den Schichten zwischen Ein- und Ausgangsschicht. Sie sind sozusagen der Geisteszustand des Netzwerks und bilden ab, auf welche Weise das Netz zu seiner Entscheidung kommt. Die Entscheidung des Netzwerks hängt nun also nicht mehr nur vom aktuellen Eingangssignal ab, sondern auch davon, was das Netz direkt davor gesehen und „gedacht“ hat. Damit wird die Leistungsfähigkeit für zeitlich kontinuierliche Signale deutlich erhöht.
Die Kunst des gezielten Vergessens
Wenn ein solch rückgekoppeltes Netz trainiert wird, stößt man jedoch auf ein gravierendes Problem. Nehmen wir als Analogie das Lesen dieses Textes: Um diesen Satz hier verstehen zu können, hilft es Ihnen, wenn Sie sich an den bisherigen Verlauf des Artikels erinnern. Kontraproduktiv wäre jedoch, wenn dabei jedes einzelne Wort, jeder einzelne Buchstabe gleich präsent wäre. Die Reduktion des vorher Gelesenen auf die wichtigen Aspekte ist notwendig – daher machen wir uns ja auch Notizen.
Beim Training Neuronaler Netze passiert etwas Ähnliches – mathematisch gesprochen bekommt man ein Gradientenproblem bei der sogenannten Backpropagation, die für die Bestimmung der Knotengewichte beim Training angewandt wird. Wird dem Netz das Bild einer Katze gezeigt, so soll auch eine Katze erkannt werden, aber kein Hund. Die Abweichung vom gewünschten Ergebnis wird dann zurückverfolgt („Backpropagation“) und die Gewichte der Verbindungen so lange verändert, bis der Zuordnungsfehler kleiner und kleiner wird.
Werden nun ständig alle vorherigen Informationen berücksichtigt und mitgeschleppt, so werden die relevanten Informationen verwässert und reichen nicht mehr aus, um die entscheidenden Knoten ausreichend zum „Feuern“ zu bringen. Eine Lösung dafür wurde 1996 gefunden: Die Long-Short-Term-Memory-(LSTM)-Netze behalten die wichtigen Informationen der Vergangenheit und vergessen gezielt die unwichtigen. Das Netz macht sich gewissermaßen Notizen, was in der Vergangenheit wichtig war.
LSTMs sind heute die Arbeitspferde und Grundlage von Siri, Alexa und Co. Ihre Stärken spielen sie bei der Erkennung von Sprache, Bildern und Videos besonders aus. Ein Kurzzeitgedächtnis hilft beim Verständnis von Rhythmen, Grammatik, der Bewegung von Robotern, aber auch bei der Vorhersage von Zeitreihen.
Verstehen wir unsere Maschinen noch? Je mehr intelligente Maschinen Aufgaben und Entscheidungen übernehmen, desto kritischer wird die Frage: Machen sie das auch richtig?
Beim Trainingsprozess wird der Algorithmus zunächst mit den Trainingsdaten angelernt, dann auf die Testdaten losgelassen und geschaut, ob das Ergebnis gut genug ist. Nur – waren die Trainingsdaten gut genug? Und werden die realen Daten ausreichend ähnlich zu den Trainingsdaten sein? Was passiert, wenn ein autonomes Fahrzeug mit europäischen Daten trainiert wurde und zum ersten Mal auf eine Giraffe trifft?
Eine ähnliche Fragestellung ist, ob der Machine-Learning-Algorithmus unbemerkt voreingenommen ist, ob er einen Bias gelernt hat, der die Entscheidungen verfälscht. Generell gilt leider: Einen Bias gibt es immer. Aber kennen wir ihn? Und ist er auch akzeptabel?
Was passiert, wenn ein Algorithmus sich aus der Wohnadresse und Einkommensstruktur Hilfsgrößen rekonstruiert, die wir aus Sicht der Diskriminierungsfreiheit bewusst ausgeblendet haben?
Es ist noch offen, wie wir gesellschaftlich damit umgehen werden und ob etwa Algorithmen einer Regulierung unterworfen werden. Die Anforderungen an die Betreiber sozialer Netzwerke, um sog. Fakenews zu unterbinden, sind erste Beispiele in diese Richtung.
Schau mir in die Augen
Es gibt aber auch Hoffnung: Kein Algorithmus ist eine Black Box. Wir reden über Gleichungssysteme und Funktionen, nur eben mit sehr vielen Parametern. Daher ist das Bewerten etwa eines Neuronalen Netzes durch bloßes „Hinschauen“ zwar kaum möglich. Sehr wohl aber gibt es Methoden, die unter dem Begriff „Explanation“ ermöglichen, die Gründe für eine Entscheidung eines Neuronalen Netzes aufzudecken. Der Algorithmus erkennt zu Recht, dass dieses Foto ein Pferd darstellt. Aber woran hat er das festgemacht?
Viele Beispiele zeigen, dass zwar das Ergebnis richtig sein kann, nicht aber unbedingt der Grund dafür. Das bedeutet: Sobald statt des Trainingsdatensatzes echte Daten verwendet werden, können Fehlentscheidungen unerwartet auftauchen.
©P3 Dualspace
©P3 Dualspace
Genies oder Fachidioten?
Die plakativsten Berührungspunkte zu Machine-Learning-Algorithmen sind sicherlich die Sprachassistenz-Systeme, die zunehmend präsenter auf dem Markt werden. Von einer Bedienungshilfe für das Smartphone sind sie zu einer eigenständigen Klasse von Geräten geworden, die im Haushalt mitlauschen und per Sprache Funktionen ansteuern, für die bislang ein Hardware-Device benötigt wurde. Die Bedeutung des Smartphones als zentrale Schnittstelle soll so in Zukunft abnehmen.
Damit ein solcher Chatbot funktioniert, benötigt er verschiedene Bausteine. Die Spracherkennung als solches funktioniert heute bereits erstaunlich gut, selbst in Umgebungen mit massiven Störgeräuschen können verschiedenste Sprecher ohne vorheriges Anlernen meist gut „verstanden“ werden.
Der zweite Schritt – die Übersetzung des verstandenen Textes in Intentionen und Anweisungen sowie die Generierung eines passenden Gesprächsfadens – ist jedoch eine viel schwierigere Aufgabe. Hier sind die Erfahrungen mit Chatbots noch sehr ernüchternd; bereits bei alltäglichen Konversationen und Anforderungen strecken alle ihre Waffen. Was bislang funktioniert, sind spezifische Bots, die beispielsweise den Startdialog in einem Call-Center automatisiert führen und damit ein Routing und Priorisierung der Kundenanfragen erzielen.
Bedingt erfolgreich sind auch Bots, die auf Basis einer strukturierten Q&A-Datenbasis Anfragen zu definierten Antworten wiedergeben können.
Alles andere jedoch ist noch weit davon entfernt, den Turing-Test zu bestehen, sobald der Korridor des trainierten Fachgebiets verlassen wird: Kann ein Mensch im Dialog den Algorithmus noch als solchen erkennen?
Noch keine KI ohne Kindergärtner
Kehren wir zurück zur großen Frage vom Beginn des Artikels: Die KI als Weltbedrohung , starke KI auf Augenhöhe mit der menschlichen Kreativität?
Noch gibt es keinen harten Beleg dafür, dass dies tatsächlich geschehen wird. Alle KI-Methoden müssen bislang noch von Menschen programmiert und überwacht werden. In manchen einfachen Einzeldisziplinen könnten wir schon in Kürze deutlich weniger Menschen einsetzen. Dies kann auch gesellschaftliche Vorteile haben, ersetzt die KI doch vor allem eintönige Arbeiten.
Das große Spiel ist aber die Frage, ob es uns gelingt, Algorithmen, die sich eigenständig weiterentwickeln, auch auf breiter Front nutzbringend mit dem Menschen gemeinsam in Arbeitsumgebungen einzusetzen. Denn menschliche und künstliche Intelligenz ergänzen sich prima.
Bildnachweise:
scikit-learn developers: https://scikit-learn.org/stable/auto_examples/classification/plot_classifier_comparison.html
LearnDataSci: Bild über https://commons.wikimedia.org/w/index.php?curid=49369360 mit Quellenangabe LearnDataSci
Aphex34 (Own work): Bild über Typical_cnn.png:Wikimedia Commons