Schweizerdeutsche Voicemails zu strukturierten Bestellungen — ein Drei-Modell-Ensemble, das Whispers Looping-Halluzinationen beendet hat

Die Kundin sortierte das Excel absteigend nach Konfidenz. In den Dateien mit Konfidenz 0,95 fand sie das hier:

Die Konfidenz war invertiert. Je sicherer das Modell, desto schlechter der Output. Dateien im Konfidenzbereich 0,70–0,80 enthielten perfekte Bestell-Transkripte – Kundennummer, Restaurant, Mengen, Produktnamen.

Das Urteil der Kundin, wörtlich zitiert: „Das ist Müll."

Whisper ist autoregressiv. Es generiert Text Token für Token, jeder Token abhängig vom vorherigen. Wenn das Audio undeutlich ist – wie Telefon-Voicemails routinemäßig sind – hängt sich das Modell am zuletzt erkannten Token fest und beginnt, ihn zu wiederholen. Ein bekannter Fehlermodus: Looping-Halluzination. Das Paradox: einen einzelnen Token zu wiederholen, ist für das Modell einfach – jede weitere Wiederholung hat hohe Wahrscheinlichkeit – daher schießt die Konfidenz genau dort in die Höhe, wo der Output kaputt ist.

Whisper hat eine ganze Suite an Schutzmechanismen dagegen: Wiederholungs-Strafe, Compression-Ratio-Filter, kaskadierende Temperatur-Fallback für schwierige Segmente, Kontextisolation. Alle müssen explizit aktiviert werden. Im ersten Lauf waren sie aus – wir hatten die Parameter aus der Spezifikation „wie gegeben" verwendet, ohne Anpassung an das reale Audioprofil des Kunden.

Warum ein Ensemble? In M1 ließen wir den Schweizer Fine-Tune und Whisper Turbo auf 100 Worst-Case-Dateien laufen. Turbo gewann 74, Swiss gewann 16, der Rest war unentschieden. Die Gewinne sind unkorreliert – Swiss rettete Turbo auf 10 Dateien, wo Turbo in Loops lief. Mit Gemini 2.5 Pro (multimodaler LLM, nicht autoregressiv über Audio-Tokens) kommt eine dritte Architektur hinzu, die Whispers Looping-Fehlermodus nicht teilt und Kundenkontext im Prompt nutzen kann.

Der Arbiter. Claude 4.7 Opus sieht alle drei Transkripte zusammen mit deterministischen Trust-Signalen (Loop-Detektor-Output, Compression-Ratio, Agreement-Metriken) und wählt die beste Version – oder merget sie – und extrahiert dann eine strukturierte Bestellung (Kundennummer, Restaurantname, Positionen mit Menge und SKU-Match gegen die Vermo-Stammdatendatei).

Zwei-Stufen-Arbitration zur Kostenreduktion. Wenn alle drei Transkriber übereinstimmen, bestätigt und extrahiert ein leichter Prompt auf Claude Haiku. Bei Uneinigkeit läuft der volle Opus-Prompt. Das spart rund 60 % gegenüber einem Opus-Aufruf pro Datei.

1. Ein spezialisiertes Modell ist nicht immer das beste Modell. Der Schweizer Fine-Tune sah 300 Stunden Dialekt. Vanilla Whisper Turbo sah 680 000 Stunden über verschiedene Sprachen – und gewann den Head-to-Head auf diesem spezifischen Audioprofil. Breite kompensierte Spezialisierung. Beides testen, nicht annehmen.

2. Parameter zählen mehr als das Modell. Derselbe Schweizer Fine-Tune mit falschen Parametern produzierte 50 Zeilen Müll. Mit dem richtigen Anti-Halluzinations-Stack aktiviert, produzierte er lesbaren Text. Der Unterschied zwischen „Projekt gescheitert" und „produktionsbereit" waren sechs Konfigurationswerte, nicht ein anderes Modell.

3. Konfidenz lügt. Autoregressive LLM-Konfidenz misst, wie sicher das Modell bei jedem nächsten Token ist – nicht, ob die Sequenz die Realität beschreibt. Sie kann zu 95 % sicher von komplettem Unsinn sein. Man braucht externe Checks: einen deterministischen Loop-Detektor, Compression-Ratio-Filter, Cross-Model-Agreement. Wir behandeln Konfidenz jetzt als ein Signal unter mehreren, nicht als Wahrheit.

4. Dialekt ist faktisch eine eigene Sprache. Schwyzerdütsch hat keine einheitliche Schriftform. Eine Pipeline, die für Hochdeutsch funktioniert, kann auf demselben Audio in Dialekt komplett scheitern – und umgekehrt. Jeder Schweizerdeutsch-Deployment sollte auf dem tatsächlichen Audio des Kunden getestet werden, nicht auf öffentlichen Benchmarks.