Deutsche technische RAG — als das Standard-Framework nicht reichte, haben wir es selbst gebaut

Mandantenfähig per Konstruktion, fail-closed bei Kollisionen. Jeder Mandant lebt auf eigener Subdomain, mit eigener Postgres-Datenbank (Supabase), eigenem Pinecone-Namespace, eigenen Upload-Pfaden, eigener CORS-Allow-List und eigenem MinIO-Bucket. Die Mandantenkonfiguration wird per Middleware-Resolver mit TTL-Caching zur Request-Zeit geladen. Die Konfigurationsschicht verweigert den Start, wenn zwei Mandanten versehentlich dieselbe DB-URL oder denselben Namespace teilen.

Dateinamen-Routing vor dem Retrieval. Viele technische Fragen nennen das Dokument direkt („das DIN-1610-Verfahren", „das DN-800-Datenblatt"). Eine Router-Stufe erkennt Ziel-Dateinamen aus dem Frage-Text und schaltet auf einen Full-File-Bypass: wenn das Zielset klein ist, ruft das Retrieval diese Dateien Ende-zu-Ende ab, statt Chunks zu raten. Allein das hat eine Klasse von „das System antwortet mit der falschen Produktfamilie"-Fehlern behoben.

Pro-Mandant Synonymerweiterung. Domänenvokabulare sind als pro-Mandant JSON-Wörterbücher kodiert — Beton-Rohr-Terminologie für den einen Mandanten, Kanalnetz-Terminologie für den anderen. Die Erweiterung läuft vor dem Retrieval, mit der Original-Anfrage als Fallback, sodass wir nie Recall verlieren.

Hybrides Retrieval — unseres, nicht ihres. Dense Vectors über OpenAI text-embedding-3-large (Matryoshka-trunkiert auf 1024 Dimensionen) in Pinecone, sparse über bm25s (eine schnelle BM25-Neuimplementierung), fusioniert via Reciprocal Rank Fusion. Ein Cross-Encoder-Reranker (mmarco-mMiniLMv2-L12, mehrsprachig) reranked den fusionierten Satz. Eine optionale LLM-als-Reranker-Stufe steht hinter einem Flag für schwierige Fragen bereit.

Page-Floor und Diversitäts-Cap — die unscheinbaren Fixes, die die Bench gewonnen haben. Wenn das Zielset bekannt ist, garantiert die Page-Floor-Stufe mindestens einen Chunk pro Seite aus den Zieldateien, sodass ein einzelner hochbewerteter Chunk nicht den Rest des Dokuments verdrängt. Ein Diversitäts-Cap begrenzt dann, wie viele Chunks eine einzelne Seite beisteuern darf, und verhindert, dass das Kontextfenster auf einem Abschnitt sättigt.

Anchor-Boost auf DIN-/EN-/DWA-Referenzen. Ein Chunker-Pass extrahiert DIN \d+(-\d+)?, DWA-[AM] \d+(-\d+)?, EN \d+(-\d+)?, ISO \d+(-\d+)? und speichert sie in den Chunk-Metadaten. Die Retrieval-Stufe boostet Chunks, deren Anchor-Set die Anfrage überschneidet. Der Synthesizer wird angewiesen, jede Normreferenz wortgleich zu erhalten.

Token-Budget-bewusster Kontext-Trim. Das Kontextbudget wird mit tiktoken erzwungen, nicht mit einer ungefähren Zeichenanzahl — wir wissen also exakt, was das Modell sieht, und kürzen nie versehentlich mitten in einer Tabelle.

Synthese mit pro-Mandant Few-Shot-Beispielen. Der Synthesizer (OpenAI Chat Completion) bekommt pro-Mandant Few-Shot-Beispiele, die das LLM lehren, DIN-Bezeichner wortgleich zu erhalten, Komposita-Nomenklatur unverändert zurückzugeben und auf Deutsch zu bleiben. Determinismus ist konfig-gesteuert (seed=42, temperature=0) für reproduzierbare Antworten in einem regulierten Kontext.

Coverage-Retry. Nach der Generierung vergleicht die Pipeline die Anchors im abgerufenen Kontext mit den Anchors in der Antwort. Wenn das LLM einen Anchor fallen gelassen hat, der hätte zitiert werden müssen, wird die Synthese erneut mit explizit aufgeführtem Anchor im Prompt ausgeführt. Billig, mechanisch — und es hat eine ganze Klasse von „das Modell hat die DIN-Nummer wegzusammengefasst"-Fehlern eliminiert.

Empirische Bench, kein Bauchgefühl. Ein 23-Fälle-Goldset pro Mandant läuft in CI. Jeder Booster ist Feature-geflaggt, sodass die Bench Gewinne pro Feature zuordnet, nicht pro Release. Wir wussten, welches Custom-Stück seinen Platz verdient hat — und welches nicht.

1. Das Framework war das Problem, nicht ein fehlendes Feature. DAG-basierte Pipelines verstecken Zwischenzustände. Auf einem Korpus, in dem Chunk-Verlust der dominante Fehlertyp ist, ist das katastrophal. Eine einzige Python-Funktion mit expliziten Stufen hat uns nichts gekostet — und uns den Debugger zurückgegeben.

2. Dateinamen-Routing vor dem Retrieval schlägt smarteres Retrieval. Wenn der Nutzer das Dokument benennt, ruf dieses Dokument ab, nicht seinen nächsten Nachbarn im Embedding-Raum. Trivialer Code, große Wirkung.

3. Pro-Mandant Synonym-JSON ist auf technischem Deutsch unverhältnismäßig wirksam. „Betonrohr" / „Rohr" / „DN 800" / „Druckrohr" mappen alle aufeinander. Baukklassenbezeichnungen ebenso. Domänenwörterbücher schlagen Fine-Tuning in dieser Größenordnung — und bleiben für den Kunden lesbar.

4. Page-Floor + Diversitäts-Cap reparieren die Retrieval-Form, nicht die Retrieval-Scores. Eine fehlende Seite auf einer Zieldatei hat mehr Antworten ruiniert als jedes Embedding-Modell-Upgrade gerettet hat. ≥1 Chunk pro Seite zu erzwingen und den Pro-Seite-Beitrag zu deckeln hat die Lücke geschlossen.

5. Coverage-Retry ist der billigste Genauigkeitsgewinn, den wir haben. Anchors im Kontext mit Anchors in der Antwort vergleichen. Hat das LLM einen fallen gelassen, mit gepinntem Anchor erneut prompten. Zwei Extra-Requests auf den schlechten Fällen, null Kosten auf den guten.

6. Eine Gold-Bench mit pro-Feature-Flags ist, wie man weiß, was gewirkt hat. Ohne sie sieht jeder Booster essentiell aus. Mit ihr stirbt toter Code — und lebender Code verdient seinen Platz.