RAG in der Verwaltung: Berechtigungen und Evaluation vor Modellwahl
Bei Retrieval-Augmented Generation entscheiden Datenzugriff, Berechtigungsfilter und messbare Retrieval-Qualität oft früher über den Projekterfolg als die Wahl des Sprachmodells.
Berechtigung muss vor dem Retrieval wirken
Ein RAG-System darf keine Dokumente in den Kontext laden, die der aufrufende Benutzer nicht sehen darf. Dokument- oder Chunk-Filter können Zugriffsmetadaten berücksichtigen, ersetzen aber nicht die Authentisierung und Autorisierung der Anwendung. Negative Berechtigungstests gehören deshalb in jeden Pilot.
Index und Quelle driften auseinander
Änderungen an Gruppen, Dokumentrechten, Löschungen und Versionen müssen zeitnah im Suchindex ankommen. Ohne definiertes Synchronisations- und Löschmodell kann ein technisch korrekter RAG-Stack veraltete oder inzwischen unzulässige Inhalte ausgeben.
Retrieval und Antwortqualität getrennt messen
Retrieve-only-Tests zeigen, ob die richtige Evidenz gefunden wird. Retrieve-and-generate-Tests bewerten zusätzlich, ob das Modell daraus eine korrekte und belegte Antwort erzeugt. Diese Trennung verhindert, dass ein gutes Sprachmodell schlechte Suchqualität kaschiert.
Quellenanzeige ist ein Kontrollmechanismus
Fundstellen, Dokumentversion und gegebenenfalls Abschnittsbezug helfen Nutzern, Antworten zu prüfen. Für Fachverfahren oder rechtlich relevante Auskünfte sollte die generierte Antwort nicht zur alleinigen Entscheidungsgrundlage werden.
Modelle erst auf stabilem Benchmark vergleichen
Wenn Testfragen, Berechtigungen, Index und Bewertungsmetriken feststehen, lässt sich die Modellwahl reproduzierbar vergleichen. Ohne diesen Fixpunkt vermischen sich Modell-, Retrieval- und Datenqualitätsänderungen.