Experten-Talk wie sich KI, ML und Business Rules optimal ergänzen

Die Künstliche Intelligenz hält Einzug in viele Business-Bereiche von Unternehmen. Das gilt insbesondere auch dort, wo bisher automatisierte Geschäftsentscheidungen über ein Regelwerk („Business Rules“) erfolgen. Das weltweit bekannte IT-Beratungsunternehmen Gartner hat in seinem Whitepaper „How to Use Machine Learning, Business Rules and Optimization in Decision Management“ herausgestellt, dass es für Unternehmen durchaus schwierig sein kann, bei der Wahl der passenden Technik den strategisch besten Weg zu finden.

In ACTICO finden Unternehmen einen Partner, der seit vielen Jahren KI-Techniken wie Machine Learning für automatisierte Geschäftsentscheidungen einsetzt und die Abwägungen aus der Praxis kennt, die Gartner in seinem Whitepaper einem größeren Publikum zugänglich gemacht hat. Wir konnten mit Thomas Cotic, Co-Founder und Beiratsvorsitzender bei ACTICO, zum Einsatz von KI und Machine Learning in Decision Management Systemen und den Thesen aus dem Gartner-Papier interviewen.

Gartner spricht von der Automatisierung von Geschäftsentscheidungen. Wo werden sie hauptsächlich eingesetzt?

Bei ACTICO fassen wir das gerne unter dem Begriff Intelligente Automatisierung zusammen. Und die kommt dann beispielweise bei einer Kreditvergabe oder einer Produktempfehlung zum Einsatz. Das sind typische Anwendungen im Finanzbereich. Es gibt aber auch Handelsunternehmen, die solche Systeme zur Steuerung von Warenströmen einsetzen.

Nehmen Sie einfach mal das Bestandsmanagement in einem Supermarkt. Da sollen die Regale immer gut bestückt sein, aber auch nicht zu viel Ware im Lager liegen (die verderben könnten). Heutzutage bestellt man nicht mehr manuell, sondern macht die Menge von saisonalen Bedingungen, dem aktuellen Bestand und den nächsten Terminen der Liefer-LKWs abhängig. Es gibt da auch Ansätze aus dem Bereich Predictive Maintenance, die man kombinieren kann, um etwa die Supply Chain auszusteuern.

Aber dazu braucht es ja auch historische Daten, auf denen man aufbauen kann?

Exakt. Es gibt dafür Zeitreihen- und Warengruppen-Informationen, die sich sehr gut zur Steuerung eignen. Andere Kunden setzen solche Systeme auch ein, um ihre Produktions-Maschinen optimal zu betreiben. Statt darauf zu warten, dass sie ausfallen, ziehen sie bestimmte Merkmale und Messswerte heran, um vorherzusagen, wann eine Wartung notwendig ist.

Sind solche Systeme in der Handhabung nicht sehr komplex?

Es geht dann ja darum, komplexe Entscheidungslogiken zu automatisieren. Oftmals sind sie klassischerweise in einer Programmiersprache abgebildet. Häufig möchte man diese Logik aber an neuere Erkenntnisse anpassen. Und dieser Wunsch kommt dann von einem Nicht-Programmierer.

Wir verfolgen daher einen grafischen Modellierungsansatz. Dazu gehört auch der Bereich des Machine Learnings. Wir versuchen es so zu vereinfachen, dass es nicht nur der Data Scientist anwenden, sondern auch von einem Business-Analysten umgesetzt werden kann. Das sind oft technische affine Mitarbeiter, die aber keinen Programmier-Background haben. Wenn diese Personen mit Excel gut umgehen können, können Sie auch mit unserem System arbeiten.

Wie performant ist ein DMS, wenn sehr viele Regeln anzuwenden sind?

Unabhängig davon, ob es um reine regelbasierte oder Machine-Learning-Systeme geht, wird aus der grafischen Modellierung Java-Code generiert, der hoch performant ist. Überall da, wo es um Masse und um die Veränderbarkeit und Komplexität von Regeln geht, ist der Einsatz von Decision Management Systemen sinnvoll.

Treffen diese Systeme die Entscheidungen auch selbstständig oder ist das eher unterstützend gedacht?

Das Ziel ist schon, einen hohen Automatisierungsgrad zu erreichen. Manchmal ist das nicht möglich, weil noch ein Freigabeprozess notwendig ist oder weil noch Informationen fehlen. Dann kann der Fachanwender innerhalb der Anwendung die Entscheidung final treffen. Das soll aber eher die Ausnahme sein. Das Ziel ist eine möglichst vollständige Automatisierung.

Wäre das nicht eher von Vorteil, wenn zum Schluss noch mal ein Mensch die Entscheidung bestätigt?

In den heutigen Internet-Zeiten ist das vielfach gar nicht mehr möglich: Wenn Sie heute auf eine Bankseite gehen und wollen sofort eine Kreditzusage bekommen (beispielsweise für die Finanzierung eines Fernsehers oder Autos), erhalten Sie sofort eine Aussage, ob das möglich ist oder nicht. Sie geben einfach nur die nötigen Informationen ein und erwarten eine sofortige Entscheidung. Der Knackpunkt ist hierbei (im Gegensatz zu Business Process Management Systemen), auch bei hochvolumigen Anfragen mit großen Datenmengen in Echtzeit valide Entscheidungen treffen zu können.

Damit lassen sich natürlich auch enorme Kosteneinsparpotenziale realisieren. Das erfordert aber eine hohe Digitalisierung im Unternehmen, um vollautomatisch auf alle relevanten Informationen zugreifen zu können – etwas, was die Digitalisierung in Unternehmen vorantreibt.

Welches Wissen braucht man für die Einführung eines DMS? Reichen die Daten oder braucht man auch noch Expertenwissen?

Beides: Auf der einen Seite hat man Expertenwissen, um das man nicht herumkommt, und das in den Köpfen der Experten sitzt. Dafür nutzen wir unseren grafischen Modellierungsansatz, um das Wissen in das System zu überführen. Auf der anderen Seite haben wir aber auch Wissen und Entscheidungslogiken in Form von Daten. Das lässt sich mittels Machine Learning extrahieren.

Beide Ansätze lassen sich aber miteinander kombinieren. Nehmen wir mal ein Beispiel aus der Finanzbranche: Wenn Sie aufgrund der vorhandenen Daten eine gewisse Affinität eines Kunden zu bestimmten Finanzprodukten haben, ist noch lange nicht geklärt, ob das Finanzinstitut ihnen aufgrund von Vorgaben diese Produkte anbieten darf (wenn es zum Beispiel weiß, dass der Kunde sein Geld nur risikoarm anlegen will). Das basiert auf regelbasiertem Wissen, dass zum Beispiel ein Bankberater hat. Da es sich um klar formulierte Vorgaben handelt, ist es für das Lernen aus Daten nicht geeignet.

Das heißt, die Compliance-Aspekte werden eher über Regeln abgebildet. Um aber herauszufinden, welche Produkte sich für einen Kunden eigenen, greift man eher auf Daten zurück, die darauf basieren, was andere ähnliche Kunden gekauft haben. Es gibt relativ viele Bereiche, wo man das datengetriebene und das regelbasierte Wissen kombinieren möchte. Und das ist auf unserer Plattform auch problemlos möglich. Sie brauchen aber auf jeden Fall dieses Expertenwissen, das wir in Regeln abbilden können, um zu Entscheidungen zu kommen.

Sägen die Experten nicht am eigenen Ast, wenn sie ihr Wissen in das DMS übertragen?

Natürlich führt das auch dazu, dass sich die Tätigkeit der Fachleute verändert. Statt die Entscheidungen immer wieder selbst zu fällen, kümmern sie sich mehr darum, dass Regelwerk im System zu pflegen und zu optimieren. Für das Unternehmen hat das auch den Vorteil, dass das System größere Volumen schneller abarbeiten kann. Denn diese Experten sind eine knappe Ressource, die sich im Arbeitsmarkt nicht leicht finden lässt und oftmals das Wachstum ausbremst.

Wie wird sichergestellt, dass insbesondere im Bereich Machine Learning die Modelle neue Muster lernen, wenn neue Daten verfügbar sind?

Ein gutes Beispiel hierfür ist die Corona-Pandemie, weil sie sehr dynamisch ist, wir keine historischen Daten haben und ständig neue Daten in den Datenpool fließen. Bei vielen Machine-Learning-Anwendungen kann auf Daten mehrerer Jahre zurückgreifen, die es hier nicht gibt.

Deshalb verfolgen wir hier einen Ansatz, der bei neuen Daten sich automatisch anpasst. Die Stichworte hierbei sind Machine-Learning Lifecycle-Automatisierung und Continuous Intelligence. Wir können – im Gegensatz zu Data Scientists, die ihre Modelle selbst aus den Daten erzeugen und die selten den Weg von der Analyse in die Produktion finden – per ML automatisch Modelle erstellen, die wir in die Entscheidungsfindung integrieren.

Und unter Continuous Intelligence verstehen wir die Fähigkeit, dass sich die Modelle automatisch an die veränderten Daten, der sogenannten Drift, anpassen. Normalerweise basiert das ML-Modell ja auf Daten, mit denen es trainiert wurde. Wenn jetzt neue Daten vorliegen, muss das ML-Modell nachtariert werden. Aber nicht jedes einzelne neue Muster hat eine statistische Relevanz. Es geht also darum, die Drift eines Modells zu erkennen. Wenn die Vorhersagen des Modells langsam schlechter werden, ist es die Kunst, den richtigen Zeitpunkt zu erwischen, um solche Systeme automatisch nachzutrainieren. Dieser Automatismus ist ein Teil des ML-Lifecycles und funktioniert ohne das Eingreifen eines Data Scientists.

Kommen dann auch Systeme zum Einsatz, die auf dynamischen Modellen mit aktuellen Daten beruhen oder werden die ML-Systeme meistens vorher trainiert?

Aktuell ist es häufig so, dass zwar ein ML-Modell erstellt wird, aber das Nachtrainieren in der Regel nicht erfolgt. Nach unserer Erfahrung zeigen sich schon nach wenigen Monaten Alterungseffekte, wenn man die Modelle nicht nachtrainiert. Übergibt man das dann einem Data Scientist, der ein neues Modell erstellt und das an die IT gibt, dauert es zu lange. Bis dann ein neues Modell zum Einsatz kommt, liegen bereits wieder neuere Daten vor. Wenn man das automatisiert, kann man viel schneller auf Veränderungen im Markt reagieren.

Werden dazu nur die Daten aus anderen Systemen übernommen oder können Sie auch externe ML-Systeme anbinden?

Wir können natürlich externe Systeme anbinden, entweder auf Datenebene oder auch über Programme in Python oder R. Das sind wir sehr flexibel.

Besteht nicht die Gefahr, dass sich ein solches System verselbstständigt, wenn das Lernen selbst auch automatisiert wird?

Ja, aber das lässt sich durchaus steuern. Man kann beispielsweise die Ergebnisse aus dem Machine Learning mit dafür erstellten Regeln überwachen. Sinnvoll ist es beispielsweise Wertebereiche vorzugeben, innerhalb derer sich die Ergebnisse der KI bewegen müssen. Liegen sie außerhalb, kann das System regelbasiert eingreifen und zum Beispiel mit Expertenwissen übersteuern oder den Hinweis geben, dass hier ein erneutes Training angestoßen werden muss. Dieses Verhalten ist Teil der AI Governance, bei der regelbasiertes Wissen zur Überwachung von Machine Learning zum Einsatz kommt.

Kann man den Nutzen in Zahlen fassen, was wären typische Beispiele?

Im Betrugsumfeld haben unsere Kunden 40% bis 80% weniger Fälle, bei denen eine manuelle Abklärung notwendig ist. Sie setzen unsere Systeme auch im Marketing ein, um festzulegen, wann welche Kampagnen auf Webseiten gestartet und ausgespielt werden. Hier geht es darum, die Effektivität zu steigern und innerhalb des Budgets den maximalen Nutzen zu erzielen. Hier hat eine nachgelagerte Analyse gezeigt, dass das ML-System um 65% effektiver als der klassische Marketingansatz war.

Wie wird die Arbeit der Menschen beeinflusst?

Wenn sie mit Machine Learning beginnen und große Datenmengen dafür einsetzen, kommt relativ schnell die Frage auf: „Warum ist jetzt dieses Ergebnis herausgekommen?”. Und das ist gar nicht so einfach zu beantworten. Mit statistischen Analysen können Sie Muster herausfiltern, die auf maximal 4 bis 5 Faktoren beruhen. Aber bei unseren Machine-Learning-Modellen sind oft 50 bis 100 Einflussfaktoren berücksichtigt.

Hier kommt die Erklärbarkeit ins Spiel. Wenn Sie die Einflussfaktoren automatisiert variieren, können Sie ermitteln, wie sich Veränderungen an den Ausgangsdaten auf das Ergebnis auswirken. Nimmt man dann ein oder zwei Regeln hinzu, die auf Expertenwissen basieren, ergeben sich ganz neue Konstellationen. In gewisser Weise lernt hierbei der Mensch von der Maschine. Das liegt auch daran, dass das ML-System Muster findet, die vorher niemand gesehen hat.

Wir hatten auch den Fall, dass im Rahmen der Betrugserkennung eine große Anzahl von Entscheidungen, die durch Experten getroffen wurden, mit den Ergebnissen des ML-Systems verglichen hat. Bei vielen Fällen waren sich beide einig, aber bei etlichen auch nicht. Wer hat dann Recht? Hier konnten wir dann durch eine Supervision die Entscheidungen noch einmal detaillierter betrachten und die Erkenntnisse zurückspielen. Das hat für den Experten neue Erkenntnisse gebracht, und wir konnten das Machine-Learning-Modell anpassen und die Entscheidungsquote verbessern.

Wo sehen Sie die Herausforderungen bei der Umsetzung von automatisierten Entscheidungssystemen?

Viele Kunden beschäftigen sich mittlerweile intensiv mit Machine Learning, aber es gibt viele Ressentiments und letztlich wird es produktiv deshalb bisher selten eingesetzt. Der Weg bis zum produktiven System ist oft noch steinig.

Woran liegt das?

Es fehlt oft an den Mechanismen und Prozessen für das Deployment und für Anpassungen. Sie müssen ja auch das Altern der eingesetzten Modelle berücksichtigen, also neu trainieren und dafür sorgen, dass diese wieder ins operative System überführt werden. Gartner spricht hierbei von MLOps in Anlehnung an DevOps. Die Trennung von Fachabteilung, die Modelle entwickeln, und IT, die sich um das Deployment kümmert, funktioniert nicht. Das Berufsbild des MLOps, der von der Entwicklung bis zur Produktion alles verantwortet, gibt es bisher kaum. Er ist aber nötig.

Der MLOp ist der Schlüssel, dass man ML-basierte Entscheidungen auch nachhaltig in die produktiven Systeme übernimmt und einen automatisierten Lifecycle implementieren kann.

Müssten Unternehmen nicht einen großen Bedarf an der Automatisierung von Entscheidungen haben?

In vielen großen Unternehmen gibt es heutzutage viele Datenbanken und noch mehr Anwendungen, die auf diese Daten zugreifen. Die ‚Intelligenz‘ der Anwendungen zur Kreditvergabe oder Betrugserkennung steckt dabei in Java-Code. Oftmals fällen diese vielen System ganz ähnliche Entscheidungen. Wenn es dann Gesetzesänderungen gibt, müssen Sie alle Systeme anpassen. Besser wäre es, dass nur an einer Stelle vornehmen zu müssen.

Aktuell ist es so, dass die ‚Intelligenz‘ dieser Systeme über viele Systeme verstreut und damit nicht wiederverwendbar ist. Das erzeugt sehr hohe Kosten, gerade auch bei der Wartung. Unternehmen sollten deshalb darüber nachdenken, ob sie nicht besser eine zentrale Instanz für die Intelligenz implementieren. Wir sprechen in dem Zusammenhang von einer Central Decision Engine, auf die alle anderen Systeme zugreifen können.

Das ist auch wichtig für die Compliance: Sie müssen einem Kunden, egal über welches System er sich an sie wendet (Telefon, E-Mail, Webseite, App, vor Ort), die richtige Auskunft geben. Und das muss auch flexibel und schnell änderbar sein, um auf aktuelle Entwicklungen wie jetzt beispielsweise Corona reagieren zu können. Heutzutage müssen die Unternehmen dann auf den nächsten Release-Zyklus warten.

Wie wirkt sich das auf die Kosten aus?

Wir haben Kunden, die uns sagen, dass sie im Wartungsbereich mit diesem Ansatz 70% bis 80% der Kosten einsparen, weil sie sich von den traditionellen Software-Release-Zyklen entkoppeln. Gerade bei Banken gibt es oft wenige Releases pro Jahr, was dazu führt, dass selbst kleine Änderungen oder Updates von ML-Modellen viel zu selten möglich sind.

Und wie oft ändern sich Regeln? Das ist viel häufiger als die Prozesse, die dahinter liegen. Deshalb ist es sinnvoll, Mechanismen und Tools zu etablieren, die solche Veränderungen schnell umsetzen können. Nur so können Sie ein vernünftiges Time-to-Market erreichen.

Auch wenn Sie eine Idee haben und diese umsetzen wollen, dann müssen Sie das nicht erst in die IT geben, wo es programmiert wird und Sie mehrere Feedback-Runden benötigen, damit es auch so umgesetzt wird, wie Sie es brauchen. Sie können dies direkt in der Fachabteilung mit dem DMS implementieren, was viel Zeit und natürlich Kosten spart.