Actico_Element_16-9_Verauf eb-mb-rb_300

Das Beste aus zwei Welten: Die RAG Pipeline im Companion for First

Wenn die Software zum Sparringspartner wird

Bitte anschnallen, die Reise Richtung Zukunft ist in vollem Gange. Derzeit entwickeln wir für First ein optionales Modul, das das Beste aus der KI-Welt in den Arbeitsalltag der institutionellen Kapitalanlageverwaltung bringen wird. Mit dem Companion for First können unsere Kunden ihre First-Instanz auf Wunsch um das Verständnis von Sprache und leistungsfähige, agentische KI-Funktionen ergänzen. Erstmals wird unser Erfolgsprodukt damit in die Lage versetzt, schriftliche Fragen in natürlicher Sprache entgegenzunehmen und zu beantworten.

First ist die bewährte Branchenlösung der Fact für die umfassende Verwaltung von Kapitalanlagen durch institutionelle Anleger. Bestandsführung, Buchhaltung, Solvency II, Meldewesen, Risikocontrolling, ESG – alles inklusive und dank modernster Cloud-Technik nicht an spezifische Endgeräte, speziell eingerichtete Arbeitsplätze oder enge Betriebszeiten gebunden. Alles, was man für die Nutzung von First benötigt, ist ein herkömmlicher Internet-Zugang und ein moderner Web-Browser.

Mehr zu dieser Lösung

Aufgaben einer RAG Pipeline

Was haben Chatbots, Übersetzungssysteme, Sentiment-Analyse (Ermittlung von Nutzerstimmungen) und Assistenten wie der Companion for First gemeinsam? Sie alle sind auf die intelligente Verarbeitung von Sprache durch Large Language Models (LLM) angewiesen. So nennt sich die KI-Funktion, die hinter Systemen wie ChatGPT von OpenAI, Claude von Anthropic oder Googles DeepMind steckt.

Sie möchten das Whitepaper lieber hören?

Hier geht es zum Podcast

speech bubble

Herausforderungen an die RAG Pipeline im Companion for First

Im Aufbau einer RAG Pipeline spiegeln sich die spezifischen Herausforderungen und Merkmale einer Anwendung wider, die LLMs für die Sprachverarbeitung nutzt. Bei First sind dies:

Die deutsche Finanzsprache

Es geht darum, dem LLM das Wissen über verschiedene Begriffe für identische Konzepte („Wertpapier“, „Gattung“, „Asset“, „Kapitalanlage“) und deutsche Sprachbesonderheiten wie Komposita („Apple-Aktien“, „Öko-Fonds“) mitzugeben – letztendlich alles, was die Nutzer von First an fachspezifischen Termini und Formulierungen einbringen könnten und über das Grundwissen einer LLM hinausgeht.

Komponenten der RAG Pipeline im Companion for First

Sechs zentrale Komponenten bilden die RAG Pipeline im Companion for First. Sie werden stufenweise durchlaufen und beliefern einander mit Informationen. Aus diesem Grund ist es nicht möglich, die verschiedenen Komponenten parallel auszuführen.

Es können aber sehr wohl mehrere RAG Pipelines für unterschiedliche Nutzeranfragen und in mehreren Instanzen von First gleichzeitig aktiv sein. Zur Orchestrierung dieser Abläufe werden etablierte Software-Bibliotheken (Funktionssammlungen) wie LangGraph und LangChain genutzt, die sich für diesen Zweck bewährt haben.

1. Query Processing

Der Query Processing bildet den Einstieg in die Verarbeitungskette.

Darin wird die natürlichsprachige Benutzeranfrage in eine strukturierte und maschinenlesbare Form für die Weiterverarbeitung transformiert. Dieser Vorgang ist vollständig deterministisch, das heißt, er läuft immer nach denselben Regeln ab und liefert bei gleichem Input auch dieselben Ergebnisse (siehe unten).

2. Retrieval Process

Der Retrieval Process dient der Wissensbeschaffung.

Basierend auf den strukturierten Queries aus dem vorhergehenden Verarbeitungsschritt werden Informationen aus den jeweils passenden Datenquellen ermittelt. Für die Suche nach Wortbedeutungen kommt beispielsweise eine interne Vektordatenbank mit bekannten Begriffen aus der Finanzwelt zum Einsatz. Solche Vektordatenbanken sind das Mittel der Wahl, wenn es um kontextbezogene semantische Ähnlichkeiten von Begriffen geht. „Aktien“, „Shares“ oder „Wertpapiere“ werden so beispielsweise auf das Konzept „Aktie“ reduziert, wenn der Kontext dies sinnvoll erscheinen lässt. Damit wird klar, worauf sich die weitere Verarbeitung in den nächsten Stufen der Pipeline beziehen soll.

Als Rückfallebene für nicht aufgelöste Begriffe dient ein externes LLM, beispielsweise wenn der Anwender abstrakt nach den „Top-DAX Unternehmen“ fragt. Das LLM liefert dann im besten Falle eine aktuelle Liste dieser Unternehmen. Ist auch damit keine Auflösung möglich, muss vor der weiteren Verarbeitung beim Nutzer nachgefragt werden.

3. LLM Processing

Den LLM Processing kann man sich wie das Gehirn der RAG Pipeline vorstellen.

Aus dem zuvor gesammelten Kontext und der ursprünglichen Benutzeranfrage wird eine Frage an das LLM formuliert. Das LLM generiert daraufhin eine intelligente, handlungsorientierte Antwort. Sie beschreibt, was in den nachfolgenden Verarbeitungsstufen der Pipeline genau zu tun ist, um die Nutzeranfrage zu beantworten. Diese „To-Dos“ beziehen sich auf die Tools aus dem internen Werkzeugkasten von First Cloud. Für jede Aufgabe gibt es das passende Tool, und das LLM weiß durch den vom Companion übermittelten Kontext, welche dieser Werkzeuge für die jeweilige Anfrage genutzt werden können.

4. Tool Execution

Mit der Tool Execution gelangt man in die Ausführungsebene der RAG Pipeline.

Die Antworten des LLM aus der vorherigen Stufe werden anhand der darin genannten Tools in konkrete Aktionen umgesetzt. Zunächst werden aber potenzielle Abhängigkeiten zwischen den angestrebten Tool-Aufrufen geprüft. Daraus wird die beste Reihenfolge für deren Ausführung ermittelt. Je nach Tool werden anschließend mittels passender SQL-Befehle beispielsweise Kennzahlen, Verlaufs- und Stammdaten aus der First Cloud-Datenbank extrahiert oder etwa aktuelle Kursdaten über externe Börsensysteme abgerufen.

5. Validation & Formatting

Validation & Formatting dienen der Ergebnisaufbereitung und Qualitätssicherung innerhalb der RAG Pipeline.

Die rohen Tool-Ergebnisse werden in verlässliche, fachlich korrekte und für den Nutzer verständliche Antworten in Form von Texten, Grafiken oder Tabellen umgesetzt.

6. Caching & Performance

Bei Caching & Performance geht es um die Effizienz der RAG Pipeline.

Dabei werden Systemressourcen optimiert und akzeptable Antwortzeiten für den produktiven Betrieb sichergestellt. So wird beispielsweise geschaut, ob Teilergebnisse aus der Verarbeitungskette gespeichert (gecached) werden können, damit man bei zukünftigen ähnlichen Anfragen unmittelbar auf diese Ergebnisse zurückgreifen kann. Das spart Zeit und Ressourcen.

Gut zu wissen:

Der Unterschied zwischen Deterministisch versus Stochastisch

Betrachtet man die verschiedenen Komponenten innerhalb der RAG Pipeline des Companions, erkennt man die Trennlinie von externer Funktionalität (LLM-Zugriff) und interner Funktionalität (alle weiteren Module). Diese Trennlinie bildet auch die Grenze zwischen klassischer, deterministischer Informatik und KI-Technik, wo Wahrscheinlichkeiten eine bedeutende Rolle spielen.

Deterministisch bedeutet in diesem Zusammenhang, dass eine Programmfunktion immer den gleichen Output liefert, wenn sie mit dem identischen Input konfrontiert wird. Nun mögen beispielsweise Aktienkurse von Minute zu Minute schwanken, aber wenn man eine entsprechende Programmfunktion nach dem Kurs der Apple-Aktie zu einem gegebenen Zeitpunkt mit Datum und Uhrzeit fragt, dann sollte immer derselbe Betrag in US-Dollar zurückgeliefert werden. Alles andere wäre ein Programmfehler.

Fragen zu KI oder RAG Pipeline? Die FAQ erklären’s einfach.

Zum FAQ

Die nächsten Stationen unserer Reise

Mit diesem Whitepaper haben wir die Grundlagen der RAG Pipeline im Companion for First beleuchtet. In den kommenden Ausgaben der Reihe werfen wir den Blick tiefer ins Innere des Systems: Wie das Query Processing funktioniert, welche Rolle Tooling und Training bei der Weiterentwicklung spielen und wie der Companion nahtlos in die Fact eingebunden ist.

Schritt für Schritt entsteht so ein vollständiges Bild, das zeigt, wie agentische KI-Technologie in einem hochregulierten Umfeld zuverlässig Mehrwert stiftet.

Das könnte Sie auch interessieren