Wir haben ein Messgerüst für ein Problem gebaut, das derzeit Dutzende Kliniken zu lösen versuchen: aus unstrukturierten ärztlichen Aufzeichnungen automatisch ICD-10-GM-Codes vorzuschlagen, vollständig auf eigener Infrastruktur, ohne Zugriff auf externe APIs.
Wir haben nicht mit der Modellwahl begonnen. Wir haben mit der Frage begonnen, die üblicherweise zuletzt gestellt wird: welche Obergrenze an Genauigkeit diese Architektur prinzipiell erreichen kann — und drei Ergebnisse bekommen, die die Arbeitsreihenfolge verändern.
- Die Obergrenze des Systems setzt nicht das Sprachmodell, sondern die Suche im Katalog. Wir haben sie gemessen: 0,854. Kein Modell kann sie überschreiten — das folgt aus dem Aufbau der Pipeline, nicht aus der Gewichtsqualität.
- Die naheliegendste Implementierung — „Notiz in einen Vektor umwandeln und den ähnlichsten Code finden" — hat eine Obergrenze von 3,9 %. Sie scheitert nicht, weil das Modell schwach ist, sondern weil die Aufgabe falsch gestellt ist.
- Der Standardweg, den offiziellen BfArM-Katalog zu parsen, verliert stillschweigend 27 % des Code-Raums. Kein Fehler, keine Warnung — ein Teil der Codes gelangt schlicht nie in den Index.
Alle drei wurden auf CPU ermittelt, vor der ersten gemieteten GPU-Stunde. Unten steht, wie genau — und was daraus für die Klinik folgt.
Warum das überhaupt Geld wert ist
Ein deutsches Akutkrankenhaus rechnet nicht zeilenweise ab, sondern pro Fall, zugeordnet zu einer G-DRG-Gruppe. Der Kodierer wählt Hauptdiagnose, Nebendiagnosen und OPS-Prozeduren; ein zertifizierter Grouper macht aus dieser Menge zusammen mit Alter, Geschlecht, Verweildauer und Beatmungsstunden eine Abrechnungsgruppe. Das Gewicht der Gruppe wird mit dem regionalen Basisfallwert multipliziert — daraus ergibt sich der Betrag.
Daraus folgen zwei ökonomische Fakten, die die Anforderungen an das System bestimmen:
Eine einzelne Nebendiagnose verändert die Rechnung um Hunderte oder Tausende Euro. Kodierungsvollständigkeit ist keine Sauberkeit, sondern Umsatz.
Aufkodierung ist strafbar. Der Medizinische Dienst prüft im Auftrag der Kasse Fälle stichprobenartig: der Gutachter fordert die Dokumentation an und prüft, ob der abgerechnete Code durch das dort Geschriebene gestützt ist. Wird er nicht gestützt, wird der Fall herabkodiert, das Geld zurückgezahlt und ein Strafzuschlag ergänzt.
Die Asymmetrie hier ist entscheidend und diktiert die Architektur. Fehlende Spezifität kostet wenig. Ein nicht gestützter Zusatzcode kostet Rückzahlung plus Strafe. Ein System, das auf „richtigen Code treffen" optimiert ist, und eines, das auf „richtigen, prüfungsfesten Code treffen" optimiert ist, sind zwei verschiedene Produkte.
Und ein dritter Faktor: die Daten verlassen die Klinik nicht. Nicht aus Sparsamkeit — aufgrund der Regulierung. Ärztliche Aufzeichnungen sind Gesundheitsdaten im Sinne von Art. 9 DSGVO. Im deutschen Gesundheitswesen schließen vertragliche Zusagen eines Cloud-Anbieters diese Diskussion in der Regel nicht. Also läuft die Inferenz innerhalb des Perimeters, auf fester Hardware — und das verändert das Engineering stärker, als man annimmt: Leistung lässt sich nicht nachträglich hinzufügen, sie wird im Voraus geplant.
Eine architektonische Entscheidung, aus der alles Weitere folgt
Das Modell erzeugt keinen Code. Das Modell wählt einen Code aus einer Liste.
ICD-10-GM 2026 ist ein geschlossener Katalog von 16.905 Codes, den BfArM jährlich neu veröffentlicht. Freie Generierung erzeugt zwei Fehlermodi, die durch keine Prompt-Formulierung abgestellt werden: nicht existierende Codes und real existierende, in der zugewiesenen Rolle jedoch unzulässige Codes. Beide sind in der Durchschnittsgenauigkeit unsichtbar und in der Prüfung teuer.
Deshalb wird die Aufgabe so umformuliert, dass keiner der beiden Modi darstellbar ist:
| Schritt | Ausgeführt von | Warum genau so |
|---|---|---|
| 1. Extraktion | LLM | Nur ein Sprachmodell verwandelt klinische Prosa in eine normalisierte Aussage mit Quellenverweis |
| 2. Kandidatensuche | ohne Modell | Suche über einer geschlossenen Menge — das ist Search; und hier liegt die Systemobergrenze |
| 3. Auswahl | LLM | Das Codefeld ist ein JSON-Enum genau über den gefundenen Kandidaten, beim Decodieren erzwungen |
| 4. Validierung | ohne Modell | Der Katalog stellt dies als Fakten fest; ein Feldvergleich ist zuverlässiger und tausendfach billiger als eine Modellabfrage |
| 5. Review | Mensch | Art. 22 DSGVO, und Geld hängt vom Code ab |
Der Unterschied zwischen „wir haben das Modell gebeten, nichts zu erfinden" und „in seinem Ausgabealphabet gibt es keine Symbole, mit denen sich etwas erfinden ließe" ist der Unterschied zwischen Hoffnung und Garantie. Das Erste wird im Call diskutiert, das Zweite in einer Prüfung vorgelegt.
Direkte Folge für die Arbeitsreihenfolge: wenn Schritt 3 nur aus dem wählen kann, was Schritt 2 gefunden hat, ist Search-Recall eine harte Obergrenze für die Genauigkeit des gesamten Systems. Das ist als Erstes zu messen. Und es wird ohne GPU gemessen.
Was sich in den BfArM-Daten fand
Sämtliche Referenzwerke veröffentlicht BfArM kostenlos und maschinenlesbar. Die Nutzungsbedingungen verlangen, den Klassifikator nicht zu verändern und die Quelle zu nennen — im Produkt bedeutet das korrekte Attribution mit Versionsangabe, und das wird explizit gelöst, nicht als Nebenwirkung.
ClaML verliert 4.571 Codes
Das ClaML-XML-Format ist das, wonach man zuerst greift: strukturell, offiziell, dafür gemacht. Es enthält 12.606 Klassen. Der Release enthält 16.905 Codes.
Der Unterschied liegt darin, dass fünfstellige Codes über Modifier/ModifierClass-Vorlagen definiert werden, nicht als eigenständige Elemente. Der Parser sieht sie nicht und meldet das nicht: keine Exception, keine Warnung. Der Index enthält einen Teil des Code-Raums schlicht nicht — überwiegend Traumatologie, also genau das, wovon Operationsprotokolle voll sind.
Das korrekte Gerüst des Katalogs ist die Datei kodes.txt aus dem Metadatenpaket, in der BfArM diese Codes offiziell selbst ausgeschrieben hat — nicht als unsere Auslegung der Vorlagen. ClaML bleibt Quelle für das, was in der CSV nicht steht: Inklusionen, Exklusionen, Kodierhinweise.
Der offizielle Abrechenbarkeitsindikator liegt bereits im Katalog
Die Felder §295 und §301 SGB V: ist ein Code als Hauptdiagnose ambulant bzw. stationär zulässig. Von 16.905 Codes sind 14.370 terminal, und 13.041 sind geeignet, eine stationäre Hauptdiagnose zu tragen.
Das ist die Zielmenge für die Suche. Und es ist ein Argument einer anderen Klasse: nicht „wir haben entschieden, dass dieser Code terminal ist", sondern „BfArM stellt fest, dass mit diesem Code nach §301 kodiert wird". Das Erste wird in der Prüfung diskutiert, das Zweite nicht.
Die Regelschicht gibt es umsonst
Geschlechtsbeschränkungen (983 Codes nur weiblich, 161 nur männlich), Altersgrenzen, Kennzeichen für meldepflichtige Krankheiten nach IfSG, Markierung „in Mitteleuropa selten". 2.316 abrechenbare Codes haben eine Geschlechts- oder Altersbeschränkung.
Ein 27-Milliarden-Parameter-Modell zu fragen, ob ein Code für spontane Geburten für einen 34-jährigen Mann plausibel ist, ist langsamer, teurer und unzuverlässiger als ein einzelner Feldvergleich mit dem Katalog. Und jede Einwendung ist auf ein konkretes Feld des offiziellen Referenzwerks rückführbar — genau das legt man einem Gutachter vor.
89.304 vom Regulator kuratierte Zuordnungen
Alpha-ID-SE ordnet lebendiger Formulierung einen Code zu: „blutendes Magengeschwür → K25.0". 89.304 valide Einträge, kuratiert von BfArM.
Solche Zuordnungen werden sonst monatelang beauftragt oder händisch erstellt. Hier sind sie offiziell, kostenlos und in einsatzbereitem Format — gleichzeitig heute der Index für die Suche und morgen der Datensatz fürs Fine-Tuning.
Abdeckung: 77,6 % der abrechenbaren Codes haben mindestens ein Synonym. Die Struktur der Lücke ist wichtiger als die Zahl — die 2.914 Codes ohne Synonym sind fast ausschließlich Restkategorien vom Typ Sonstige und nicht näher bezeichnet. Für die Restekiste gibt es keinen umgangssprachlichen Namen. Aber genau nach ihr greift der Kodierer, wenn die Dokumentation unvollständig ist — also im häufigsten schwierigen Fall stützt sich die Suche allein auf den bürokratischen Titel. Das ist eine strukturelle Beschränkung jedes Retrieval-First-Designs und wird durch Regeln und explizite Ablehnung gelöst, nicht durch bessere Suche.
Kleine Fallen, die Integrationszeit gekostet hätten
Die Trennzeichen sind über die Dateien desselben Release nicht vereinheitlicht — und Parsing mit dem falschen Trennzeichen liefert keinen Fehler, sondern eine leere Synonymtabelle und stillschweigend schlechtere Suche. Kodierungen sind historisch gemischt. Alpha-ID ist kumulativ: es enthält Einträge, die in vorigen Runden zurückgezogen wurden, mit Gültigkeits-Flag — sie zu indexieren heißt, mit Begriffen zu kodieren, von denen der Regulator sich distanziert hat.
Was die Retrieval-Messungen ergaben
Der Bewertungssatz wurde nach leave-one-synonym-out gebaut: für Codes mit mehreren Termen wird ein Term als Anfrage entnommen und gleichzeitig aus dem indexierten Text entfernt. Ohne diese Entfernung misst die Messung Zeichenketten-Retrieval — unser erster Durchlauf ohne sie ergab recall@20 = 0,994, was ein Zeichen für eine kaputte Messung war, nicht für eine gelöste Aufgabe. Nach Stratifizierung nach den 21 Kapiteln und harter Leakage-Prüfung:
| Retriever | recall@1 | recall@20 | cat3@20 |
|---|---|---|---|
| BM25 | 0,412 | 0,710 | 0,798 |
| Dense (multilingual-e5-base) | 0,518 | 0,838 | 0,904 |
| Hybrid (RRF) | 0,478 | 0,844 | 0,916 |
| Hybrid (multilingual-e5-large) | 0,494 | 0,854 | 0,900 |
Vier Schlussfolgerungen, drei davon gegen die verbreitete Auffassung.
Vektorielle Suche schlägt die lexikalische um 13 Punkte. Wir hatten das Gegenteil erwartet: auf Fachterminologie mit deutschen Komposita spricht die Intuition für BM25. Der Grund liegt im Aufbau der Messung — mit entnommenem Term wird die Anfrage zur Paraphrase, und Paraphrase ist genau das, was die Wortüberlappung nicht fängt.
Hybrid ist auf Position 1 schlechter als reines Dense und auf Position 20 besser. RRF arbeitet mit Rängen, und ein starkes Dense-Top-1 wird von einem schwachen BM25-Top-1 verwässert. Das Muster reproduziert sich auf zwei unabhängigen Embeddern — es ist also eine Eigenschaft der Methode. Praktische Folge: die entscheidende Metrik hängt davon ab, was Sie dem Modell übergeben — einen Code oder eine Liste. „Hybrid ist immer besser" ist eine Parole, kein Ergebnis.
Die Vervierfachung der Embedder-Größe brachte einen von null nicht unterscheidbaren Zuwachs. 0,844 → 0,854 bei einer Standardabweichung von etwa ±1,6 Punkten auf 500 Anfragen. Modellkapazität ist hier nicht die bindende Beschränkung. Der Hebel ist Domänenanpassung an jenen 89 Tausend Paaren, die es bereits gibt.
Eine Obergrenze von 0,854 bedeutet, dass in etwa einem von sieben Fällen der richtige Code nicht unter den Kandidaten ist. Die Verlängerung der Liste von 20 auf 50 kauft etwa 4 Punkte und kostet Prompt-Tokens auf jeder Anfrage. Das ist ein Regler „Genauigkeit gegen Kosten" — er wird bewusst gesetzt, nicht auf Default belassen.
Das Hauptergebnis: die Aufgabenstellung wiegt mehr als das Modell
Wir haben die Suche über einem Korpus ärztlicher Aufzeichnungen ohne jegliches Sprachmodell laufen lassen, drei verschiedene Anfragen eingespeist und das Top-1 als Vorhersage genommen.
| Was in die Suche eingespeist wird | top-1 | Obergrenze |
|---|---|---|
| Die gesamte Notiz, im Durchschnitt 312 Wörter | 0,010 | 0,039 |
| Das genaue Evidenzzitat aus dem Dokument | 0,049 | 0,196 |
| Der offizielle Katalogtitel des Codes | 0,843 | 0,951 |
Die erste Zeile ist das Urteil über die naive Architektur. Eine 312-Wörter-Notiz besteht aus Hauptdiagnose plus drei bis vier Nebendiagnosen, plus fünf verworfenen Differenzialdiagnosen, plus Laborwerten, plus Medikation, plus Reiseanamnese. Das Embedding eines solchen Textes ist der Zentroid des gesamten Aufenthalts; die Zieldiagnose macht einen kleinen Anteil des Signals aus, und verneinte Varianten tragen gleichgewichtig bei.
Die zweite Zeile ist überraschender. Selbst ein perfektes Zitat aus dem Dokument liefert 19,6 %. Der Arzt schreibt klinisch, der Katalog ist bürokratisch geschrieben. Der Schluss, den es zu betonen lohnt: Evidenzspannen existieren fürs Audit, nicht für die Suche.
Die dritte Zeile beweist, dass der Index in Ordnung ist. Das Problem ist nicht die Suche, sondern der Text, mit dem man sie anspricht.
Daraus folgt die Neudefinition der ersten Stufe. Die Aufgabe des Sprachmodells ist nicht „Diagnosen extrahieren", sondern „einen kurzen kanonischen Term im Register des Katalogs ausgeben, den die Suche trifft". Und die Diagnose muss abgeleitet werden: der Text sagt nicht „akute virale Hepatitis", er sagt erhöhte Transaminasen, negative Serologie und eine Reise nach Südostasien.
Im Code ist das eine Config-Zeile — die Anfrage wird aus normalisierten Feldern zusammengesetzt, nicht aus dem Zitat. Diese Zeile ohne drei gemessene Zahlen zu verteidigen, ist unmöglich. Mit ihnen ist sie offensichtlich.
Eine Nebenbeobachtung aus der dritten Zeile, wichtig fürs Produkt: top-1 = 0,843 bei Anfrage mit dem exakten offiziellen Katalogtitel heißt, dass rund 15 % der Codes selbst durch den eigenen Titel nicht eindeutig identifiziert werden — Restkategorien kollidieren mit Nachbarn. Das behebt keine Modellqualität. Das behebt Ablehnung und Anzeige einer Gruppe ähnlicher Codes für einen Menschen.
Durchsatz: das ist ein nächtlicher Prozess, kein interaktiver
Messung auf einer L40S-Karte, zweistufige Pipeline:
| Concurrency | Fälle/s | Multiplikator | p50 | p95 |
|---|---|---|---|---|
| 1 | 0,022 | 1× | 46,3 s | 55,0 s |
| 8 | 0,144 | 6,5× | 59,6 s | 71,8 s |
| 32 | 0,336 | 15,3× | 85,2 s | 113,9 s |
46 Sekunden pro Fall bei einem Nutzer heißt: diese Pipeline kann nicht interaktiv sein. Dafür ist der Batch fast linear: 15× Durchsatz bei 1,84× Latenz.
Für die Klinik ist das eine architektonische Konsequenz, keine Optimierung. Kodierung im deutschen Akutkrankenhaus geschieht nach Entlassung, im Controlling, in Chargen — ein nächtlicher Lauf fällt mit dem Prozess zusammen, er ist kein Kompromiss. Morgens öffnet der Kodierer eine fertige Arbeitsliste.
Und dasselbe entscheidet darüber, ob die vorhandene Hardware für den Dokumentenfluss der Klinik ausreicht. Bei fester Leistung ist Durchsatzplanung eine frühzeitige und teuer zu revidierende Entscheidung. Deshalb beginnt die Auslegung mit dem Lastprofil — Dokumente pro Tag, tolerierbare Verzögerung, tolerierbare Warteschlangentiefe — und erst danach wird die Modellgröße gewählt. Nicht umgekehrt.
Was das der Klinik bringt
Es folgt ein Rechenmodell, kein gemessenes Ergebnis. Parameter werden mit Ihren ersetzt; wir zeigen die Struktur der Rechnung, weil sie wichtiger ist als konkrete Zahlen.
Der Effekt liegt nicht im Ersatz von Kodierern. Er liegt an drei Stellen.
Vollständigkeit. Nebendiagnosen, die die Dokumentation stützt, aber nicht abgerechnet werden, sind entgangener Umsatz bei bereits geleisteter Versorgung. Das System liest jedes Dokument vollständig, jedes Mal, ohne Ermüdung gegen Schichtende. Effektschätzung = (Anteil der Fälle mit gefundener zusätzlicher gestützter Diagnose) × (durchschnittliche DRG-Gewichtsdifferenz) × (Basisfallwert) × (Fälle pro Jahr).
Prüfungsfestigkeit. Jeder Vorschlag kommt mit einem wörtlichen Zitat aus dem Dokument und mit Versionsangabe des Referenzwerks im Audit-Log. Bei einer MD-Anfrage wird die Antwort in Minuten zusammengestellt statt in Stunden Aktenarbeit. Zusätzlich schneidet die deterministische Schicht einen Teil der Aufkodierungen ab, bevor sie in die Rechnung geraten — und Aufkodierung ist es, was die Strafe kostet.
Kodiererzeit. Die Arbeit verlagert sich vom Suchen im 17-Tausend-Positionen-Referenzwerk auf das Bestätigen eines fertigen Vorschlags mit hervorgehobener Begründung. Schätzung = (durchschnittliche Zeit pro Fall) × (erwarteter Anteil ohne Korrektur durchgehender Fälle) × (Fälle pro Jahr).
Die Schlüsselmetrik ist dabei nicht die Code-Genauigkeit. Code-Genauigkeit ist eine Präsentationsmetrik. Für die Klinik zählen:
- Übereinstimmung auf DRG-Ebene: gruppiert der Fall in dieselbe Abrechnungsgruppe
- CMI-Delta
- Anteil ohne Korrektur durch das Review gehender Fälle
- Precision und Recall separat auf Fallebene, weil ein Zusatzcode und ein fehlender Code unterschiedlich viel kosten
Und die wertvollste Investition sind die retrospektiven Daten, die Sie bereits haben. Jahre kodierter, MD-geprüfter Fälle sind ein gebrauchsfertiger Bewertungssatz in Größenordnungen von Zehntausenden Beispielen mit verifizierter Antwort. Er muss weder erzeugt noch annotiert werden. Auf ihm wird die reale Obergrenze gemessen, und auf ihm wird die Suche feinjustiert.
Es gibt hier ein nicht offensichtliches Risiko, das vorab zu kennen ist. Trainiert man auf historischen Codes, trainiert man das System auf die Kodiergewohnheiten einer konkreten Klinik — inklusive derer, die der MD beanstandet hat. Deshalb wird die Trainingsstichprobe auf Fälle gefiltert, die die Prüfung bestanden haben, nicht auf alle abgerechneten Fälle, und die Qualitätsmetrik ist die Übereinstimmung mit prüfungsfest gebliebenen Codes, nicht mit historisch abgerechneten. Der Unterschied zwischen diesen beiden Setzungen ist der Unterschied zwischen einem nützlichen System und einer Maschine zur systematischen Reproduktion vergangener Fehler im Maßstab.
Was wir nicht gemessen haben und warum wir das sagen
Der Korpus ist synthetisch. Echte deutsche klinische Aufzeichnungen sind praktisch nicht öffentlich verfügbar. Wir haben den Korpus „rückwärts" erzeugt: zuerst der Code, dann eine plausible Notiz dazu, mit Verwerfung von Texten, in die der Code selbst oder der wörtliche Katalogtitel durchsickerte. Die Methode gibt praktisch kein Label-Rauschen und erlaubt es, den Korpus zu teilen. Sie bildet die echten Dokumentationslücken, Diktatfehler oder Templates einer konkreten Klinik nicht ab. Deshalb sind alle Genauigkeitszahlen eine Obergrenze, keine Prognose.
Die Modellmatrix ist nicht durchgekehrt. Vergleich von Modellen, Quantisierungen und FP8-Degradation an seltener deutscher Terminologie ist Arbeit, die auf der Hardware des Auftraggebers gemacht wird, weil die Antwort davon abhängt, welche Hardware steht. Auf einer 24-GB- und auf einer 48-GB-Karte sind das unterschiedliche Antworten, und eine fremde Antwort zu übernehmen, ist sinnlos.
Den Grouper schreiben wir nicht. Ein zertifizierter Grouper wird lizenziert, nicht nachgebaut. Regeln zur Wahl der Hauptdiagnose (DKR) wirken auf Fallebene, nicht auf einer einzelnen Notiz — das ist eine eigene Schicht.
Wir listen das als ersten Punkt auf, nicht als letzten, weil in einer regulierten Domäne die Liste dessen, was das System nicht leistet, Teil seiner Beschreibung ist. Ein Anbieter ohne diese Liste hat entweder nicht gemessen oder wird es nicht sagen.
Wie wir vorschlagen zu starten
Woche 1–2. Bewertungssatz aus Ihren Daten. Retrospektive kodierte Fälle, die den MD passiert haben. Wir messen die reale Retrieval-Obergrenze auf Ihrer Dokumentation — vor jeder Entwicklung. Fällt sie niedrig aus, ändert das den Plan, und das früh zu erfahren, ist billiger.
Woche 3–4. Lastprofil und Benchmark auf Ihrer Hardware. Dokumente pro Tag, tolerierbare Verzögerung, verfügbare VRAM. Die Modell-/Quantisierungsmatrix läuft auf der Karte, die bei Ihnen steht. Ergebnis: eine belastbare Modellwahl mit Zahlen, keine Empfehlung.
Monat 2–3. Pipeline und Review-Worklist. Extraktion, Suche, deterministische Regelschicht, Bestätigungs-UI mit Begründungs-Highlighting. Audit-Log mit Katalogversion und Gewichts-Hash bei jeder Entscheidung.
Danach. Fine-Tuning der Suche auf Ihren Daten. 89 Tausend BfArM-Paare plus die Korrekturen Ihrer Kodierer, die aus dem verpflichtenden Review anwachsen. Das System verbessert sich aus Arbeit, die ohnehin geschieht.
Diese Reihenfolge deshalb, weil die gemessene Obergrenze in der Suche liegt und nicht im Generator, und weil die ersten Schritte um eine Größenordnung günstiger sind als die späteren.
Die Studie wurde auf offiziellen Publikationen des BfArM durchgeführt: ICD-10-GM 2026 (Systematik, Metadaten, Alphabetisches Verzeichnis, Alpha-ID-SE) und OPS 2026. Die Klassifikatoren werden unverändert verwendet. Es wurden keine personenbezogenen Daten oder klinische Dokumentation in der Studie verwendet; der Bewertungskorpus ist synthetisch.
Wir gehen Methodik und Zahlen gerne in einem technischen Termin durch — inklusive Repository mit dem Benchmark-Harnisch.