Retrieval Augmented Generation: Wie du Sprachmodelle mit eigenen Daten erweiterst

Retrieval Augmented Generation (RAG) verbindet ein großes Sprachmodell mit externen Datenquellen. Die Methode erlaubt es dem Modell, während der Antwortgenerierung auf aktuelle Firmen-Dokumente oder Wissensdatenbanken zuzugreifen.

Große Sprachmodelle besitzen ein breites Allgemeinwissen. Sie kennen jedoch keine internen Dokumente, aktuellen Verträge oder spezifischen Kundendaten deines Unternehmens. RAG schließt diese Lücke ohne teures Nachtrainieren des Modells.

Das Prinzip kombiniert zwei Schritte: Zuerst sucht das System relevante Informationen aus deinen Daten (Retrieval). Danach nutzt das Modell diese Fundstellen als Kontext für die Erstellung einer präzisen Antwort (Generation).

Für die Umsetzung von RAG sind drei technische Komponenten erforderlich. Du benötigst ein Basissprachmodell, eine geeignete Vektordatenbank und deine aufbereiteten Unternehmensdaten.

Zudem solltest du Grundkenntnisse im Umgang mit KI-Schnittstellen und Datenverarbeitung mitbringen. Ein aufwendiges KI-Cluster ist nicht nötig, da das Sprachmodell selbst unverändert bleibt.

• Ein großes Sprachmodell (LLM) über eine Schnittstelle

• Eine Vektordatenbank zur Speicherung von Dokument-Embeddings

• Eine Daten-Pipeline für den Textimport und die Aufbereitung

Sprachmodelle arbeiten mit einem festen Wissensstand. Informationen nach dem Stichtag des Trainings sind dem Modell nicht bekannt. Wenn das Modell Antworten auf unbekannte Fragen sucht, erzeugt es mitunter falsche Fakten.

Zusätzlich verändern sich Unternehmensdaten kontinuierlich. Richtlinien, Handbücher oder Produktkataloge werden regelmäßig aktualisiert. Ein kontinuierliches Nachtrainieren des Modells wäre extrem zeitaufwendig und kostenintensiv.

RAG löst dieses Problem elegant. Das Sprachmodell muss die Fakten nicht im eigenen Gedächtnis speichern. Es liest die Fakten direkt aus deinen aktuellen Dokumenten ab, sobald eine Frage gestellt wird.

Der Prozess von der Nutzerfrage bis zur fertigen Antwort läuft in wenigen Sekunden ab. Die Datenarchitektur verbindet dafür Suche und Texterstellung.

Schritt 1: Deine Dokumente werden in kurze Abschnitte unterteilt und als Vektoren (Embeddings) in einer Spezialdatenbank gespeichert.

Schritt 2: Ein Nutzer stellt eine Frage. Das System wandelt diese Frage ebenfalls in einen Vektor um.

Schritt 3: Die Datenbank vergleicht den Vektor der Frage mit den gespeicherten Dokumenten und filtert die passendsten Abschnitte heraus.

Schritt 4: Das System übermittelt die Nutzerfrage zusammen mit den gefundenen Textabschnitten an das Sprachmodell.

Schritt 5: Das Sprachmodell formuliert eine Antwort auf Basis der mitgelieferten Fakten.

Beim Fine-Tuning passt du die Gewichte des neuronalen Netzes an. Das Sprachmodell erlernt dadurch eine bestimmte Tonalität, eine Fachsprache oder ein spezifisches Ausgabeformat.

Für dynamisches Wissen eignet sich Fine-Tuning jedoch kaum. Neue Fakten lassen sich schwer gezielt einpflegen oder löschen.

RAG verändert das Modell selbst nicht. Es liefert dem Modell lediglich den passenden Kontext im Prompt mit. RAG ist flexibler, transparenter und kostengünstiger, wenn es um die Aktualisierung von Fakten geht.

RAG kommt vor allem dort zum Einsatz, wo präzises Wissen aus internen Quellen benötigt wird. Ein klassischer Anwendungsfall ist die interne Unternehmenssuche.

Mitarbeitende stellen Fragen zu Richtlinien oder Prozessen und erhalten sofort die richtige Antwort inklusive Quellenangabe aus dem Intranet.

Auch im Kundenservice überzeugt die Technik. Chatbots beantworten Anfragen auf Basis von Handbüchern und Ticket-Systemen, ohne falsche Informationen zu erfinden.