Jeder Modell‑Test und jeder Benchmark in diesem Blog folgt dem unten beschriebenen Verfahren. Wir veröffentlichen es, damit Sie unsere Schlussfolgerungen selbst beurteilen können – und sie anhand der Ausgangstexte überprüfen können, die wir zeigen.
Was wir bewerten
Wir testen die auf BelinDoc verfügbaren KI‑Übersetzungsmodelle an den Aufgaben, die Nutzer tatsächlich in einen Dokumentenübersetzer bringen, nicht an abstrakten Ranglisten. Ein Standard‑Modell‑Benchmark umfasst bis zu acht Dokumentszenarien, von denen jedes eine bestimmte Schwachstelle prüft (frühere oder gezielte Tests verwenden weniger und nennen die genaue Anzahl im Artikel):
| Szenario | Richtung | Was es prüft |
|---|---|---|
| Wissenschaftliches Abstract | EN → ZH | Fachjargon, Passivkonstruktionen, formales Register |
| Klausel eines Rechtsvertrags | EN → ZH | Verschachtelte lange Sätze, Präzision, Juristendeutsch |
| Technisches Dokument mit Code | EN → ZH | Bezeichner in Backticks müssen unübersetzt bleiben |
| Literarische Prosa | ZH → EN | Klassisch gefärbtes Register, Rhythmus, Bildsprache |
| Manga‑Dialog | JA → EN | Umgangssprachliches Register, Figurenstimme, Satzendpartikeln |
| Markdown‑Tabelle | EN → ZH | Tabellenstruktur, Fehlercodes, Einheiten |
| Terminologiekonsistenz im Langdokument | EN → ZH | Ein mehrdeutiger Begriff, über alle Absätze hinweg konsistent übersetzt |
| OCR‑Rauschen | EN → ZH | Der Ausgangstext enthält Scan‑Artefakte; das Modell soll die Absicht rekonstruieren, nicht die Fehler kopieren |
Wo möglich verwenden wir die exakten Ausgangstexte früherer Runden unverändert wieder, damit sich Ergebnisse im Zeitverlauf vergleichen lassen und nicht nur gegen die Modelle einer einzelnen Runde.
Jede Runde testet die aktuellen Flaggschiff‑Modelle direkt nebeneinander in derselben Arena – zum Beispiel die neueste Generation von OpenAI, Anthropic, Google und DeepSeek, ergänzt um die vorherige Generation zum Vergleich.
Wie wir bewerten
- Jede Zelle wird mehrfach ausgeführt; wir nehmen den Median. Ein einzelner API‑Aufruf unterliegt serverseitiger Varianz, und aus einer einzigen Stichprobe Schlüsse zu ziehen bedeutet, Zufall als Erkenntnis zu veröffentlichen.
- Doppelt blinde Bewertung, und die Bewerter sind keine Teilnehmer. Die Kandidatenübersetzungen werden zu A / B / C… anonymisiert (in jeder Runde unabhängig neu gemischt) und von zwei unabhängigen LLM‑Judges auf einer Skala von 1–5 in den Dimensionen Treue, Flüssigkeit, Terminologie, Stil und Formatierung bewertet. Kein Judge steht selbst auf der Teilnehmerliste – ein Modell seine eigene Ausgabe benoten zu lassen, führt Verzerrung ein.
| Dimension | Was sie misst |
|---|---|
| Treue | Bedeutung erhalten; nichts ausgelassen oder erfunden |
| Flüssigkeit | Natürliche Formulierung in der Zielsprache |
| Terminologie | Konsistente, branchenübliche Begriffe |
| Stil | Register und Tonfall entsprechen dem Original |
| Formatierung | Layout, Tabellen und Struktur erhalten |
Wie die Bewertungen aggregiert werden. Die fünf Dimensionen werden gleich gewichtet. Für jede Übersetzung mitteln wir die fünf Dimensionen pro Judge und mitteln anschließend die beiden Judges; die Bewertung eines Modells in einem Szenario ist der Median seiner wiederholten Durchläufe; seine Gesamtbewertung ist der Mittelwert seiner Bewertungen pro Szenario. Kosten pro Punkt = die Kosten des Modells pro Aufruf ÷ seine Gesamtbewertung.
Wie wir Fairness sichern
- Derselbe Prompt für jedes Modell. Alle Kandidaten übersetzen unter einer identischen, minimalen Anweisung, sodass wir das Modell messen – nicht das Prompt‑Engineering.
- Blinde Kennzeichnung. Die Judges sehen die Übersetzungen, nicht die Modellnamen; die Kennzeichnungen werden für jeden Judge unabhängig gemischt.
- Ausgangstext wird gezeigt. Jeder Test veröffentlicht den Originaltext neben den Kandidatenübersetzungen, sodass Sie unsere Bewertung an der tatsächlichen Ausgabe überprüfen können, statt sie uns einfach glauben zu müssen.
Über die Qualität hinaus
Übersetzungsqualität ist nicht die ganze Entscheidung, daher erfasst jede Runde außerdem die Latenz (Zeit für die Übersetzung einer Standardstichprobe), die Kosten (einschließlich Vergleichen der Kosten pro Punkt) und die Formaterhaltung – ob Tabellen, Spalten und Struktur in der Ausgabe erhalten bleiben, geprüft durch die Szenarien Markdown‑Tabelle und OCR‑Rauschen. Hinweis: Dies sind Tests an Textfragmenten, nicht an vollständigen Dokumenten; das Verhalten bei großen mehrseitigen oder gescannten PDFs kann davon abweichen (siehe Grenzen).
Daten und Aufzeichnung
Jeder Artikel zeigt – pro Szenario – den Ausgangstext, die Übersetzung jedes Modells und die Bewertungen je Dimension, sodass sich jedes Ergebnis direkt auf der Seite an der tatsächlichen Ausgabe überprüfen lässt. Dahinter werden der vollständige Satz an Rohübersetzungen, die Judge‑Bewertungen und die Aggregationsskripte archiviert, und die Zahlen in jedem Artikel werden direkt aus diesem Archiv übernommen.
Wie oft wir aktualisieren
Wir führen Tests erneut durch, wenn ein Modell eine neue Version veröffentlicht oder ein größeres Update erscheint, und überarbeiten die betroffenen Artikel, statt veraltete Zahlen stehen zu lassen. Jeder Artikel zeigt sein Datum der letzten Aktualisierung, damit Sie wissen, wie aktuell die Ergebnisse sind.
Redaktionelle Unabhängigkeit
- Offenlegung: BelinDoc ist unser eigenes Produkt. Es taucht in diesen Vergleichen auf, weil es auf denselben Modellen läuft, die wir testen.
- Wir veröffentlichen auch, wo wir verlieren. Wenn ein konkurrierendes Modell oder ein Drittanbieter‑Werkzeug in einem Szenario besser abschneidet als die Option, die wir empfehlen würden, sagen wir das – Tests sind nur nützlich, wenn sie ehrlich über die Kompromisse sind.
- Wir wählen keine Stichproben gezielt aus, um ein Ergebnis zu beschönigen, und wir passen Bewertungen nicht nachträglich an.
Grenzen
- Die Bewerter sind LLMs, keine menschlichen Übersetzer. LLM‑Judges sind bei überprüfbaren Dimensionen wie Treue und Terminologie einigermaßen zuverlässig; behandeln Sie den „Stil“ mit größerer Vorsicht.
- Die Modellausgabe variiert von Durchlauf zu Durchlauf; der Median über mehrere Wiederholungen reduziert dies, doch die Bewertungen bleiben ein durchdachter Orientierungspunkt, keine Garantie für jedes Dokument.
- Jede Runde deckt eine begrenzte Menge an Szenarien und eine angegebene Sprachrichtung ab – starke Ergebnisse in einer Domäne garantieren nicht dieselben anderswo.
Fragen zu unseren Tests? Kontakt.