In meinen ersten Monaten mit KI-Entwicklung habe ich Nächte damit verbracht, Anweisungen für Sprachmodelle zu tippen. Ich dachte, ein paar ausgeklügelte Prompts würden reichen, um Geschäftsprobleme zu lösen. Am nächsten Tag hatte das Modell alles vergessen, erfand Zahlen und klang wie ein Callcenter-Skript.
Das war ein harter Schlag fürs Ego und die nützlichste Lektion, die ich zu dem Thema hatte.
Ein großer Teil der LinkedIn-Blase redet bis heute von „Prompt Engineering“. Prompts sind Pflaster auf einem offenen Bruch. Wenn die Datenstruktur dahinter ein Chaos ist, nützt der beste Prompt nichts.
Ein Sprachmodell ohne Anbindung zu nutzen, ist ungefähr so, als würden Sie einen fähigen Analysten in einen fensterlosen Raum sperren, ihm das Internet abklemmen und sagen: „Lösen Sie meine Firmenprobleme.“
Wenn KI im Unternehmen Zeit sparen und Geld bringen soll, braucht das Modell eine Architektur drumherum. Genau die baue ich für meine Kunden. Fünf Bausteine sind dabei fast immer im Spiel.
1. RAG: Antworten aus Ihren eigenen Dokumenten
Wenn ein Sprachmodell eine Antwort nicht kennt, erfindet es eine. Das ist keine böse Absicht. Das Modell sagt das wahrscheinlichste nächste Wort voraus, nicht das nachweislich richtige.
RAG (Retrieval-Augmented Generation) schaltet einen Schritt davor. Bevor das Modell formuliert, durchsucht das System Ihre PDFs, Handbücher oder Verträge und legt ihm die passenden Stellen vor. Die Antwort steht dann auf Ihren Dokumenten und lässt sich bis zur Quelle zurückverfolgen. Halluzinationen verschwinden damit nicht komplett, aber sie werden selten und vor allem überprüfbar.
2. Agent Memory: Kontext über die Sitzung hinaus
Ein Standardmodell vergisst Sie, sobald das Chatfenster zu ist. Im Kundenservice oder bei einem Assistenzsystem ist das ein Problem.
Agent Memory stellt einen Speicher daneben: ein Kurzzeitgedächtnis für den laufenden Verlauf und ein Langzeitgedächtnis für alles, was länger gilt. Das System weiß dann auch drei Wochen später noch, dass dieser Kunde den Premium-Tarif nutzt, beim letzten Kontakt verärgert war und keine langen Erklärungen mag.
3. Das KI-Wiki: Wissen abfragbar machen
Wie viel Zeit verbringen Ihre Mitarbeiter damit, in Confluence, Notion oder gewachsenen Ordnerstrukturen das Spesenformular oder alte Projektdaten zu suchen?
Über dasselbe Firmenwissen lässt sich eine Schicht legen, die auf Fragen antwortet statt auf Stichwörter. Auf „Wer hat 2022 das Logistikproblem bei Kunde X gelöst?“ kommt eine Antwort samt Verweis auf das Dokument, aus dem sie stammt. Technisch ist das RAG, nur angewendet auf die internen Systeme statt auf eine einzelne Dokumentensammlung.
4. Fine-Tuning: Verhalten festlegen
Nicht jede KI soll klingen wie ein Assistent aus dem Silicon Valley. Und manche Systeme müssen ihre Ausgabe in einem festen Format liefern, weil eine Software direkt weiterverarbeitet.
Beides ist eine Frage des Trainings, nicht des Prompts. Beim Fine-Tuning trainiere ich ein vorhandenes Modell mit Ihren Beispielen nach, bis es den Tonfall Ihrer Marke trifft oder zuverlässig sauberes JSON zurückgibt. Ich nutze dafür Unsloth, weil sich damit auch kleinere Modelle auf überschaubarer Hardware anpassen lassen.
Wichtig ist die Abgrenzung: Fine-Tuning ändert das Verhalten, nicht den Wissensstand. Für aktuelle Fakten bleibt RAG zuständig.
5. Knowledge Graphs: Zusammenhänge über mehrere Ecken
Bei stark verflochtenen Daten reicht Suchen nicht. Stellen Sie sich die Pinnwand eines Ermittlers vor, auf der Fotos mit roten Fäden verbunden sind: Wer kennt wen, welche Tochterfirma gehört zu wem, welches Bauteil hängt an welcher Lieferkette.
Ein Knowledge Graph macht das mit Ihren Texten. Personen, Firmen, Produkte und Vorgänge werden zu Knoten, die Beziehungen dazwischen zu Kanten. Eine reine Ähnlichkeitssuche findet den einen passenden Absatz, der Graph findet den Weg von A über B nach C. Für Recherche, Compliance und juristische Analysen ist das der Unterschied zwischen einem Treffer und einer Antwort.
Was die Kombination bringt
Einzeln sind das Werkzeuge. Nützlich werden sie im Zusammenspiel. Ein interner Support-Agent aus diesen Bausteinen unterscheidet sich so von einer Standardlösung:
| Standard-KI aus der Box | Gebaute Architektur | |
|---|---|---|
| Wissen | Trainingsstand liegt Monate bis Jahre zurück, Lücken werden geraten | liest in Ihren aktuellen Dokumenten und Datenbanken |
| Gedächtnis | endet mit dem Chatfenster | behält den Verlauf über Wochen |
| Tonfall | der Standard des Anbieters | die Sprache Ihrer Marke |
| Logik | scheitert an verketteten Abhängigkeiten | verfolgt Lieferketten über mehrere Stufen |
Das kostet mehr als ein Chatbot-Abo. Die Daten müssen aufbereitet, die Zugriffsrechte sauber geregelt und der Betrieb überwacht werden. Bei kleinen, klar umrissenen Aufgaben ist das Standardmodell die vernünftigere Wahl. Sobald ein System aber verlässlich mit Ihrem eigenen Wissen arbeiten soll, führt an einer Architektur kein Weg vorbei.
Wenn Sie an diesem Punkt sind, lassen Sie uns reden.