Eine kurze Geschichte der Künstlichen Intelligenz – von den Anfängen bis zum Companion for First

Die Geschichte beginnt im 18. Jahrhundert mit dem, was man heute einen bitterbösen Fake nennen würde: einer schachspielenden Puppe in orientalischen Gewändern, die ab 1769 halb Europa in Staunen versetzte. Niemand war dem lebensgroßen Roboter, der sich hinter einer massiven Holztruhe erhob, im Schachspiel gewachsen. Kein Wunder, schließlich befand sich in der Truhe, hinter einer komplexen Mechanik verborgen, ein menschlicher Schachmeister. Er war es, der die Puppe und ihr Schachspiel dirigierte.

Es sollten zwei Jahrhunderte verstreichen, bis eine KI wieder von sich reden machte.

Der deutsch-jüdische Emigrant Joseph Weizenbaum veröffentlichte 1966 als Juniorprofessor am Massachusetts Institute of Technology (MIT) das Computerprogramm ELIZA. Erstmals demonstrierte er damit die Verarbeitung natürlicher Sprache durch einen Computer.

In einer speziellen Variante simulierte ELIZA das Gespräch mit einem Psychotherapeuten. Es schien den berühmten „Turing-Test“ zu bestehen, da vielen Nutzern nicht gewahr wurde, dass sie mit einer Maschine kommunizierten, der sie im Dialog teilweise intimste Details preisgaben. ELIZA wurde als Meilenstein der Künstlichen Intelligenz gefeiert und gilt heute als Urvater aller Chatbots. Doch in den folgenden Jahrzehnten kehrte Ernüchterung ein.

Erst in den 1990er Jahren nahm die KI-Forschung wieder Fahrt auf. 1996 wurde zum ersten Mal ein amtierender Schachweltmeister von einem Computer geschlagen, Gari Kasparow von IBMs Deep Blue. Und diesmal war der Sieg tatsächlich kein Fake.

In den 2020er-Jahren gelang dann mit ChatGPT und Co. ein echter Quantensprung. Beflügelt wurde er von der Verfeinerung der KI-Algorithmen und der Entwicklung immer schnellerer Grafikprozessoren (GPUs).

Ursprünglich für die Visualisierung von 3D-Welten in Computerspielen konzipiert, beschleunigen moderne Grafikprozessoren das Training und die Nutzung von KI-Modellen enorm. Einfach, weil die grundlegenden mathematischen Operationen im Hintergrund – die Addition und die Multiplikation von Matrizen – für E-Games und KI-Anwendungen ähnlich sind. Außerdem verfügen moderne GPUs über Dutzende bis Tausende sogenannter „Shader“, in denen diese Berechnungen parallel ablaufen können. Ein herkömmlicher PC-Prozessor bietet einen so hohen Grad der Parallelisierung typischerweise nicht.

Lernen im biologischen Sinne heißt, dass neue Verbindungen zwischen Neuronen geknüpft und Gewichtungen angepasst werden. Anders als früher gedacht, ist dies bis ins hohe Alter möglich, wie man heute weiß (Stichwort „Neuroplastizität“).

Entscheidend ist, dass Wissen und Denken in der Vernetzung eines neuronalen Systems begründet liegen. Es gibt nicht das eine Neuron, das die Oma erkennt oder weiß, dass zwei plus zwei vier ergibt. Wenn das Abbild einer bekannten Person in unserem Sichtfeld erscheint oder wenn wir eine mathematische Aufgabe lösen, sind immer komplexe Netzwerke tausender Neuronen beteiligt, die in diesem Moment aktiviert werden.

Und bei keinen zwei Menschen werden dies ganz genau die gleichen Netzwerke sein. Zwar gibt es Hirnfunktionen (die Sinne, das Denken, die motorische Steuerung etc.), die sich entwicklungsgeschichtlich grob bestimmten Hirnarealen zuordnen lassen. Die konkrete Ausformung der Netzwerke ist aber vor allem ein Produkt unserer individuellen Lebens- und Lerngeschichte.

Ursprünglich sprach man in diesem Zusammenhang primär vom „Maschinellen Lernen (ML)“. Dieser Begriff ist mittlerweile etwas in den Hintergrund gerückt, weil KI-Systeme heute über das reine Lernen hinausgehen. Er beschreibt jedoch korrekt, was beim Training geschieht – bei großen Sprachmodellen ebenso wie beim „Companion for First“.

Anders als im Gehirn wird die Menge der vorhandenen Neuronen und ihre Verknüpfung bei KI-Systemen von Beginn an fest vorgegeben. Lernen findet hier ausschließlich als Anpassung der Gewichtungen an den durch Software abstrahierten Neuroneneingängen statt.

In den Anfängen der KI-Forschung arbeitete man mit dreischichtigen Modellen, einer Input-Schicht, einer Verarbeitungsschicht und einer Output-Schicht. Doch das führte nicht zum gewünschten Ziel, wie bald auch mathematisch gezeigt werden konnte. Man benötigte mehr untereinander verknüpfte neuronale Zwischenschichten zwischen Input und Output, die sogenannten „Hidden Layers“.

Erst mit ihnen und passenden Lernalgorithmen wurde sogenanntes „Deep Learning“ möglich. Es sorgt dafür, dass durch das Training ähnlicher, aber individuell verschiedener Inhalte abstrakte Merkmale extrahiert und im Netzwerk gespeichert werden können. Auf diese Weise lernt ein Neuronales Netzwerk etwa die Gemeinsamkeiten des Konzepts „Katze“ und nicht nur die konkreten Individuen aus den Bildern zu erkennen, auf die es trainiert wurde. Es geht um Muster, Ähnlichkeiten und Wahrscheinlichkeiten.

Anders als in unserem Hirn sind diese Verbindungen fest vorgegeben und weitgehend statisch. Da wächst also nichts nach (Stichwort: Neuroplastizität). Alle Gewichtungen sind jedoch zunächst undefiniert und das System deshalb komplett untrainiert. Es weiß und vermag weniger als ein Baby im Mutterleib. Seine Fähigkeiten erhält ein KI-System erst durch Training, das man sich in seinen Grundzügen stark vereinfacht als Prozess von Versuch und Irrtum (Trial and Error) vorstellen kann. Man gibt Daten in die Input-Schicht, schickt sie durch das Netzwerk und schaut, was in der Output-Schicht herauskommt. Zunächst einmal sicher nicht das Richtige. Lernen bedeutet nun, die Gewichte der beteiligten Neuronen in den verschiedenen Schichten immer besser zu adjustieren, bis in der Output- Schicht das gewünschte Resultat erscheint. Das ist die Aufgabe der Software, mit der ein solches KI-Modell trainiert wird.

Diesem Prozess liegen komplexe mathematische Verfahren zugrunde, deren Entwicklung in den 1980er Jahren erst die Voraussetzung für den Durchbruch beim maschinellen Lernen schuf „Backpropagation“. Viele weitere Entwicklungen mussten folgen, bis KI-Systeme ihre heutige Leistungsfähigkeit erreichten. Durch das Trainieren entsteht allerdings noch keine Allgemeine Intelligenz, wie wir sie dem Menschen zuschreiben, sondern letztendlich „nur“ eine Art Programmierung, was von dem System bei welchem Input erwartet wird.

Selbst ein so leistungsfähiges System wie ChatGPT versteht tatsächlich relativ wenig von unserer Welt, auch wenn es anders erscheinen mag. Aber es weiß durch Milliardenfaches Training sehr gut, welcher Begriff sich an eine vorhergehende Wortfolge vermutlich anschließt – immer abhängig vom jeweiligen Kontext. Letztendlich geht es also um antrainierte Wahrscheinlichkeiten, und das Wort mit der größten Wahrscheinlichkeit wird gewählt. Klingt verrückt, ist aber so.

Traditionelle Computersoftware arbeitet regelbasiert. Die Regeln sind in Entscheidungsbäumen oder sogenannten State-Machines kodiert. Als Bestandteil des Programmcodes liegen sie offen zutage und können durch die Entwickler deshalb leicht verändert und korrigiert werden.

Bei einem KI-System sieht man hingegen nichts vom eingespeicherten Wissen, außer Millionen oder gar Milliarden von Gewichtungen als Teil eines vernetzten Systems. Wo darin welche Informationen verborgen liegen, lässt sich weder ausmachen noch nachträglich einfach korrigieren. Denn dann müsste man die Gewichtungen an vielen Stellen des Netzes anpassen, mit potenziell weitreichenden Folgen für weiteres darin gespeichertes Wissen.

Tatsächlich sind KI-Systeme bis heute nicht besonders gut darin, wenn man Informationen nachträglich ergänzen oder ändern will, das sogenannte „Finetuning“. Genau wie die Aktualisierung der Wissensbasis (die Welt dreht sich schnell), erfordert das Tilgen von Falschaussagen deshalb in der Regel einen kompletten neuen Trainingsdurchlauf eines KI-Modells.

Und der kann bei entsprechend großen Modellen Tage und Wochen in Anspruch nehmen und Kosten in Millionenhöhe verursachen. Für den Companion for First mit seinem klar umgrenzten Aufgabenfeld gilt das übrigens nicht: Hier reicht die Nachtzeit für das Training auf die täglich veränderten Datenbestände vollkommen aus.

Übrigens lernen KI-Systeme gerade erst, zu erklären, wie sie zu einem bestimmten Output gelangt sind. Dies gilt auch für das Schlussfolgern (Reasoning), das den Menschen zum logischen Denken befähigt. Ausgeprägte Meta-Fähigkeiten gibt es bislang in KI-Modellen also (noch) nicht.

Im Fokus der Öffentlichkeit stehen vor allem die großen Sprachmodelle (Large Language Models, LLMs), aus denen man per Sprache Wissensbestände abrufen und zusammenfassen lassen kann. Dies kommt nicht von ungefähr, schließlich sind die Entwicklung von Sprache und Intelligenz eng miteinander verknüpft.

Die computergestützte Verarbeitung von Sprache durch Computer nennt man „Natural Language Processing“ (NLP). Zu dieser Fähigkeit kommt bei Large Language Models ihr enormes Weltwissen hinzu, das sie zumeist aus öffentlich zugänglichen Quellen beziehen: Wikipedia, Büchersammlungen, Datenbanken und Millionen von regelmäßig durchsuchten Internet-Seiten mit Nachrichten und Informationen.

Woher sollten sie diese Daten auch sonst beziehen? Kein Unternehmen allein könnte eine solch umfassende Wissensbasis zusammentragen. Doch das birgt auch Konfliktpotenzial. Nicht alle im Internet verfügbaren Informationen und Inhalte sind gemeinfrei. Und nicht alle sind auch tatsächlich korrekt.

Ein gut formulierter Prompt kann ein LLM dazu bringen, präzise, relevante und hilfreiche Antworten zu generieren. Ein schlecht formulierter Prompt führt hingegen regelmäßig zu ungenauen oder unerwünschten Ergebnissen.

Geht es um reine Wissensinhalte im Sinne von Wer, Was, Wann, Wo, Warum etc., spielt das Prompt-Engineering eine eher untergeordnete Rolle. Dafür reicht eine klar formulierte umgangssprachliche Frage in der Regel aus: „Wer siegte in der Schlacht von Hastings?“, sofern man das ganz dringend wissen möchte.

Aber bereits, wenn man eine Zusammenfassung von Inhalten wünscht oder der KI kreative Leistungen abverlangen will, macht das Prompt-Engineering den entscheidenden Unterschied in der Richtung und Qualität des Outputs aus.

Allerdings handelt es sich beim Prompt-Engineering keinesfalls um eine exakte Wissenschaft. Vielmehr geht es um „Best Practices“. Es kommt darauf an, das jeweilige KI-Modell und seine Vorgehensweise ein Stück weit zu „verstehen“. In der Regel ist es zielführend, dafür ein wenig zu experimentieren und die eigenen Prompts Schritt für Schritt zu verfeinern.

Aus diesem Grund findet zumindest das Training von LLMs fast ausschließlich in riesigen Rechenzentren mit tausenden von PCs und noch viel mehr parallel arbeitenden GPUs statt. Anschließend können zumindest kleinere Modelle aber durchaus auch lokal auf modernen PCs ablaufen, wie es Microsoft beispielsweise mit seinem Copilot vormacht.

Der Companion for First wird dort ausgeführt, wo auch First betrieben wird: in der ACTICO Cloud unter MS-Azure. Jede Nacht wird er auf die tagesaktuellen Datenbestände der Kunden trainiert, tagsüber stellt er sein Wissen dann im Rahmen von First zur Verfügung. In einem der nachfolgenden Whitepaper werden wir ausführlich auf diese Zusammenhänge eingehen.

Geschätzt wird, dass der Strombedarf aller weltweit installierten KI-Systeme bis 2030 dem einer Industrienation wie Japan gleichkommt. Das torpediert massiv die CO²-Ziele der großen Internet-Konzerne und trägt – pikanterweise – zur aktuellen Renaissance der Kernkraft bei. Denn die gilt als CO²-neutral.

Intensiv wird deshalb an verbesserten Algorithmen, Prozessoren und Techniken für KI-Systeme geforscht. Doch es existieren auch einfache Maßnahmenden Strombedarf in der KI-Nutzung unmittelbar zu reduzieren: indem man nicht zwangsläufig auf die größten Modelle setzt. Schließlich skaliert der Ressourcenverbrauch mit der Anzahl der Parameter in den Modellen.

Schon jetzt ist ein Trend zu kleineren Modellen zu beobachten, die mit deutlich weniger Parametern ähnlich gute Ergebnisse wie ihre großen Vorbilder erzielen. Dies ist der Ansatz, den wir beim Companion for First verfolgen. Denn der Companion muss zwar Sprache grundlegend verstehen und in ihre Bestandteile zerlegen können, er muss aber nichts über mittelalterliche Ritterkultur oder die Funktionsweise der Photosynthese wissen. Das Weltwissen darf den größten Modellen vorbehalten bleiben. Der Companion for First benötigt es in seiner klar definierten Rolle als Finanzassistent in First nicht.

Eine solche RAG Pipeline bildet das Herzstück des Companion for First. Sie ist mehrstufig organisiert, wobei sie an ausgewählten Stellen auf die Dienste externer LLMs zurückgreift. Diese fungieren quasi als die Arbeitsesel der Sprachverarbeitung, um zu verstehen, was der Nutzer vom Companion möchte.

Es geht darum herauszufinden, welche konkreten Informationen abgerufen werden sollen, für welchen Zeitraum und in welcher Form die Aufbereitung der Daten gewünscht ist, etwa als Listen, Texte oder Grafiken. Unter Umständen fragt der Companion auch einmal nach, wenn er etwas nicht versteht. Die Abläufe sind nicht ganz trivial, führen aber zuverlässig zu den gewünschten Ergebnissen. Wir werden den Aufbau der RAG Pipeline im Companion for First deshalb in einem der nachfolgenden Whitepaper im Detail vorstellen.