Wie entsteht eine KI-Blackbox? Einblicke in den Maschinenraum von KI und ML

Die Zutaten für eine KI-Anwendung sind kein großes Geheimnis. Die beiden wichtigsten sind die Modelle und Algorithmen, die von einem KI-Entwickler oder Data Scientist entworfen werden, und die Daten, mit denen sie trainiert werden. Unterhalb oder oberhalb (je nach Blickwinkel) dieser sehr allgemeinen Ebene aber fangen die Fragen und Unsicherheiten außerhalb der Expertenzirkel schon an. Was passiert tatsächlich in einer KI-Blackbox, die uns beim Kreditkartenantrag hilft, im Kundendialog antwortet oder uns vermeintlich wohlklingende, aber lediglich assoziative Texte ohne Plausibilitäts-Check schreibt? Pegasystems   , Anbieter einer Low-Code-Plattform, die die Agilität weltweit führender Unternehmen steigert, hat die fünf Stationen unter die Lupe genommen, die eine KI-Anwendung durchlaufen muss:

Die Modelle und Algorithmen

Algorithmen gewichten beispielsweise bestimmte Merkmale. In der Risikobewertung (etwa bei einem Kreditantrag) sind das Faktoren wie Wohngebiet, Alter oder Beruf. Das daraus resultierende Scoring ist dabei unterschiedlich transparent, abhängig von dem verwendeten KI-Modell. Einfache Klassifizierer sind in der Regel transparenter und nachvollziehbarer als neuronale Netze. Für alle KI-gesteuerten Entscheidungen sollten jedoch der Gleichbehandlungsgrundsatz und die Diskriminanzfreiheit berücksichtigt werden. Modelle und Algorithmen sollten daher so angelegt sein, dass sie Vorurteile und Diskriminierungen (Bias) vermeiden.



Die Daten

Über Art und Umfang der für das KI-Modell verwendeten Daten entscheidet in der Regel der KI-Entwickler oder Data Scientist. Dazu kommen später je nach Modell die Daten aus dem laufenden Betrieb, die quasi automatisch eingespeist und zum kontinuierlichen Lernen verwendet werden. Ansätze wie Explainable AI verfolgen das Ziel, sowohl die Funktionsweise der Algorithmen als auch Art und Ursprung der verwendeten Trainingsdaten transparenter zu machen.



Das Training

Daten sind dazu da, die Modelle einmalig und/oder kontinuierlich zu trainieren und so praxistauglicher zu machen. Typische Methoden sind das adaptive Lernen und die Selbstoptimierung. Dieses Lernen kann sowohl gesteuert als auch unkontrolliert (etwa bei der Mustererkennung) ablaufen.



Das Tuning

Tuning ist notwendig, um auf die ständigen Veränderungen (beispielsweise neue Rahmenbedingungen) zu reagieren. Gradmesser dafür sind Kennzahlen und Performancemetriken (etwa Precision, Recall und ROC), die zyklisch evaluiert werden. Sinkt der ROC beispielsweise unter definierte Schwellenwerte, sollten die Ursachen analysiert werden. Je nach Ergebnis werden dann bestehende Algorithmen und Modelle durch das Einspeisen aktuellerer Trainingsdaten an die neue Realität angepasst oder gegebenenfalls neue entworfen.



Der Mensch

Die Selbstoptimierung durch die Maschine allein funktioniert (noch) nicht. Aufgabe des Menschen ist und bleibt es, Ziele zu definieren, alle dafür notwendigen Komponenten zusammenzubringen, in einen Kontext zu setzen und die Ergebnisse zu kontrollieren. Dabei sollte das 4-Augen-Prinzip gelten, um Fehler und Irrwege frühzeitig zu erkennen.

"Es gibt kein perfektes KI-System, das ein für alle Mal funktioniert, es muss vielmehr ständig weiterentwickelt werden", erläutert Florian Lauck-Wunderlich , Senior Project Delivery Leader bei Pegasystems. "Um so wichtiger ist die strikte Einhaltung von Compliance-Vorgaben bei der KI-Entwicklung und -Nutzung. Dafür sorgen vor allem die Transparenz von Daten und Algorithmen, deren Dokumentation und Nachvollziehbarkeit sowie die Revisionssicherheit.