Produktupdate: Start von Wordvice AI Detector 2.0

Neun Monate nach der Veröffentlichung von AI Detector 1.0 im Dezember 2025 bringen wir ein umfassendes Modell-Update.

In den vergangenen neun Monaten hat sich künstliche Intelligenz in außergewöhnlichem Tempo weiterentwickelt, mit neuen Technologien und Modellen, die fast täglich erscheinen. Auch die Art und Weise, wie Menschen und KI im Schreibprozess zusammenarbeiten, hat sich rasant verändert. Gleichzeitig haben sich die Diskussionen darüber verstärkt, wie KI-generierter Text erkannt werden sollte, wie Erkennungsergebnisse von Menschen überprüft werden sollten und welche ethischen oder praktischen Maßnahmen folgen sollten. Trotz dieser anhaltenden Diskussionen gibt es noch immer keinen klaren Konsens, während sich die KI-Technologie weiterhin bemerkenswert schnell entwickelt.

Vor diesem sich rasch wandelnden Hintergrund hat Wordvice die Leistung seiner bestehenden Modelle kontinuierlich verbessert und gleichzeitig grundlegendere Änderungen sowohl am Modell selbst als auch am gesamten Service in Betracht gezogen. Insbesondere unser Forschungspapier "Style as a Confound: False Positives in AI Detection of Non-Native Academic Writing", das auf der EMNLP 2026 vorgestellt werden soll, hat unser technisches Verständnis dafür vertieft, wie von Menschen verfasste und professionell redigierte Texte mit KI-Erkennungssystemen interagieren. Lesen Sie mehr in unserem Blogbeitrag.

Und heute stellen wir AI Detector 2.0 vor.

Bei diesem Update geht es nicht einfach darum, mehr KI-generierten Text zu erkennen. Der Fokus liegt auf der zuverlässigeren Identifizierung von KI-umgeschriebenem Text und schwierigen Grenzfällen, die in der realen Wordvice-Nutzung auftreten. Wir haben außerdem die satzweisen Informationen verbessert, damit Nutzer die Erkennungsergebnisse besser verstehen und überprüfen können.

Die drei wichtigsten Verbesserungen in AI Detector 2.0 sind:

• Ein Modell zur Erkennung von KI-generiertem Text, das mit Daten aus einer Vielzahl von Quellen trainiert wurde
• Hard Negative Mining (HNM), das zusätzliches Training auf schwierige Fälle konzentriert, die häufig falsch klassifiziert werden
• Ein Boundary Detector, der Teile eines Dokuments hervorhebt, die auf Satzebene relativ stärkere KI-generierte Muster zeigen

In unserer internen Evaluierung erreichte das finale Modell einen F1-Score von 0,9773 und einen AUROC von 0,9979 auf dem In-Domain-Testset. Insbesondere bei der Erkennung von KI-Umschreibungen, bei denen KI verwendet wird, um bestehenden Text umzuschreiben, erreichte das Modell einen F1-Score von 0,9819 und einen Recall von 0,9917.

Starke Leistungskennzahlen bedeuten jedoch nicht, dass KI-Erkennungsergebnisse als endgültiger Beweis für die Urheberschaft behandelt werden können. Ein KI-Detektor liefert ein Signal dafür, wie stark ein Text den vom Modell gelernten KI-generierten Mustern ähnelt. Seine Ergebnisse sollten daher zusammen mit dem Schreibprozess, dem Kontext, dem Überarbeitungsverlauf und einer menschlichen Überprüfung interpretiert werden.

Wir aktualisieren außerdem unsere Nutzungsrichtlinie. Damit zahlende Nutzer den AI Detector praktisch ohne Einschränkung verwenden können, wird das monatliche Nutzungslimit auf 1 Million Zeichen erhöht. Dies spiegelt unsere Auffassung wider, dass ein KI-Detektor nicht nur einmal zur Überprüfung eines fertigen Dokuments verwendet werden sollte. Stattdessen kann er während des gesamten Schreib- und Überarbeitungsprozesses genutzt werden, um KI-spezifische Muster oder "AI Slop" zu erkennen und zu reduzieren und so letztlich eine höhere Textqualität zu erzielen.

Im September hat Wordvice außerdem ein Projekt zur Verbesserung der AI-Detector-Leistung mit offizieller Unterstützung der Publication Industry Promotion Agency of Korea gestartet. Aufbauend auf dieser Arbeit planen wir bis Ende des Jahres ein zweites größeres Update. Das nächste Update wird über die reine Identifizierung KI-ähnlicher Schreibmuster hinausgehen und sich auf praktische Probleme konzentrieren, die durch nachlässige oder unangemessene Nutzung von KI entstehen können, einschließlich Quellenüberprüfung und Prüfungen der logischen Konsistenz.

Wir freuen uns, im weiteren Projektverlauf mehr mitzuteilen. Im Folgenden werfen wir einen genaueren Blick auf die Modellarchitektur, die Trainingsmethodik, die Evaluierungsdaten und die detaillierte Leistung von AI Detector 2.0.

Was ist technisch anders in Detector 2.0?

1. Trainiert auf einer breiteren Palette realer Schreibmuster

Detector 2.0 wurde mit rund 600.000 von Menschen verfassten und KI-generierten Texten trainiert. Die Trainingsdaten umfassen akademisches und allgemeines Schreiben sowie eine breite Palette an KI-generierten und KI-umgeschriebenen Texten, sodass das Modell Muster lernen kann, die die reale Nutzung genauer widerspiegeln.

Eine reine Erhöhung der Trainingsdatenmenge reichte jedoch nicht aus.

Unsere Analyse des ursprünglichen Modells zeigte, dass sich Fehlklassifizierungen tendenziell auf schwierige Grenzfälle konzentrierten. In einigen Fällen identifizierte das Modell von Menschen verfassten Text als KI-generiert. In anderen Fällen ähnelte KI-generierter Text stark menschlichem Schreiben und wurde nicht erkannt.

Um dies zu beheben, identifiziert Detector 2.0 diese schwierigen Fälle separat und legt beim zusätzlichen Training größeren Wert auf sie.

2. Hard Negative Mining konzentriert das Training auf schwierige Fälle

Nach der ersten Trainingsphase haben wir Beispiele ausgewählt, die das Modell relativ schwer klassifizieren konnte, und sie in eine zusätzliche Trainingsrunde einbezogen. Intern nennen wir diesen Prozess Hard Negative Mining (HNM).

Konkret haben wir von Menschen verfasste Texte ausgewählt, die relativ hohe KI-Generierungswerte erhielten, sowie KI-generierte Texte, die relativ niedrige KI-Generierungswerte erhielten. Mit anderen Worten: Der Prozess sammelt nicht einfach Beispiele, die das Modell falsch klassifiziert hat. Er konzentriert sich breiter auf Fälle, in denen die Unterscheidung zwischen menschlichem und KI-Schreiben für das Modell schwierig zu treffen ist, unabhängig davon, ob seine ursprüngliche Vorhersage technisch korrekt war.

In der zweiten Trainingsphase wurden diesen schwierigen Beispielen ein höheres Gewicht zugewiesen, sodass sie im Trainingsprozess häufiger auftraten. Dadurch konnte sich das Modell nicht nur auf Beispiele konzentrieren, die bereits leicht zu unterscheiden waren, sondern auch auf Texte, die in der realen Erkennung echte Herausforderungen darstellen.

3. Detailliertere Analyse auf Satz- und Segmentebene hinzugefügt

Detector 2.0 geht über ein einzelnes Ergebnis für ein gesamtes Dokument hinaus. Er liefert auch detailliertere Informationen darüber, wo KI-generierte Muster im Text stärker auftreten.

Der Boundary Detector ist ein Modell auf Token-Ebene, das menschliche oder KI-generierte Muster für einzelne Tokens klassifiziert. Diese Token-Level-Scores werden anschließend auf Wort- und Satzebene aggregiert, sodass Nutzer Abschnitte eines Dokuments identifizieren können, in denen KI-generierte Muster relativ stärker ausgeprägt sind.

Diese Boundary-Analyse ist von Detector 2.0s satzweisem Analysepfad getrennt. Während der Boundary Detector Token-Level-Vorhersagen aggregiert, um detaillierte Muster innerhalb eines Dokuments hervorzuheben, wird der Satzscore von einem separaten Modell erzeugt, das jeden Satz zusammen mit seinem umgebenden Kontext bewertet.

Das endgültige Erkennungsergebnis berücksichtigt sowohl die dokumentweite Erkennung als auch die satzweise Analyse, während diese einzelnen Analysepfade zusätzliche erklärende Informationen liefern. Die Boundary-Hervorhebungen und Satzscores werden daher auf unterschiedliche Weise erzeugt und sollten entsprechend ihrer jeweiligen Rolle interpretiert werden.

Wie hat sich die Erkennung von KI-Umschreibungen verbessert?

Die Auswirkung von HNM zeigte sich besonders deutlich in unserer Evaluierung von KI-umgeschriebenem Text, bei dem KI verwendet wird, um vorhandenen Inhalt umzuschreiben.

Bewertungsmetrik	Ausgangsmodell	Detector 2.0	Veränderung
AI Rewrite F1	Ca. 0,955	0,9819	+0,027
AI Rewrite Recall	Ca. 0,933	0,9917	+0,059

Auf einem separaten In-Domain-Testset erreichte das finale Modell außerdem einen F1-Score von 0,9773 und einen AUROC von 0,9979.

Insbesondere stieg der Recall bei der AI-Rewrite-Evaluierung von etwa 0,933 auf 0,9917. Dies zeigt, dass innerhalb dieses Evaluierungsdatensatzes weniger KI-umgeschriebene Texte fälschlicherweise als von Menschen verfasst eingestuft wurden.

Das Ziel von Detector 2.0 war nicht einfach, die allgemeinen Leistungskennzahlen zu verbessern. Ein zentrales Ziel war es, die Erkennung von KI-umgeschriebenem Text und schwierigen Grenzfällen zu verbessern, mit denen bestehende Detektoren in der realen Nutzung Schwierigkeiten haben können.

Wie können satzweise Informationen genutzt werden?

Wenn ein Detektor nur ein dokumentweites Ergebnis wie "Ähnlich zu KI-generierten Mustern" liefert, kann es für Nutzer schwierig sein zu verstehen, was zu diesem Ergebnis beigetragen hat.

Detector 2.0 liefert detailliertere Informationen darüber, wo KI-generierte Muster im Text relativ stark auftreten, und hilft Nutzern, zu erkennen, welche Teile eine genauere Überprüfung rechtfertigen könnten.

Zum Beispiel:

Satz	KI-Ähnlichkeit
"This study examines…"	0,82
"We propose a novel…"	0,31

Ein Wert von 0,82 bedeutet nicht, dass eine Wahrscheinlichkeit von 82 % besteht, dass der Satz von KI geschrieben wurde.

Diese Werte sind relative Indikatoren, die so gestaltet sind, dass die vom Modell identifizierten Muster für Nutzer leichter zu interpretieren sind. Ein hoher Wert für einen bestimmten Satz sollte daher nicht als Beweis dafür behandelt werden, dass der Satz KI-generiert wurde.

Der Zweck satzweiser Informationen ist es, Nutzern zu helfen zu erkennen, welche Teile eines Dokuments eine genauere Überprüfung erfordern könnten.

Wie wurde der Boundary Detector evaluiert?

Wir haben den Boundary Detector anhand eines öffentlichen Benchmarks zur Erkennung von KI-Text evaluiert, der darauf ausgelegt ist, Übergangspunkte zwischen von Menschen verfasstem und KI-generiertem Text zu identifizieren.

Die primäre Bewertungsmetrik war der MAE (Mean Absolute Error), der den durchschnittlichen Abstand zwischen dem vorhergesagten Mensch/KI-Übergangspunkt und dem tatsächlichen Übergangspunkt misst. Ein niedrigerer MAE deutet auf eine genauere Grenzerkennung hin.

Zum Vergleich sind unten zuvor berichtete Ergebnisse auf demselben SemEval-Testset dargestellt.

System	Overall MAE ↓
SemEval offizielle Baseline	21,54
TM-TREK	15,68
DeepPavlov	13,38
Wordvice Boundary Detector	7,16

Diese Tabelle sollte jedoch nicht als direkter Leistungsvergleich der Systeme interpretiert werden.

Jedes System wurde mit unterschiedlichen Datensätzen und Trainingsbedingungen trainiert, sodass allein anhand von Ergebnissen auf demselben Testset keine absolute Leistungsüberlegenheit festgestellt werden kann. Diese Ergebnisse zeigen vielmehr, wie der Wordvice Boundary Detector auf demselben öffentlichen Benchmark abgeschnitten hat.

Stärker bei vertrauten akademischen Texten, aber mehr Vorsicht in neuen Domänen erforderlich

Allgemeine Leistungskennzahlen erzählen nur einen Teil der Geschichte. Ebenso wichtig ist es zu verstehen, wo ein Modell gut funktioniert und wo es auf größere Schwierigkeiten stoßen kann.

Wenn wir die Ergebnisse des Boundary Detectors nach Datenumgebung aufschlüsseln, zeigt sich ein deutlicher Unterschied.

Evaluierungsumgebung	MAE ↓	Token F1
Akademische Texte ähnlich der Trainingsverteilung	2,72	0,987
Unbekannte externe Domänen	15,96	0,956
Insgesamt	7,16	0,973

Der Boundary Detector zeigte eine starke Leistung bei akademischen Texten, die der Trainingsverteilung ähnlich waren, während die Fehlerrate bei externen Domänen, die im Training nicht vertreten waren, zunahm.

Dies ist eine wichtige Einschränkung von KI-Erkennungssystemen. Eine starke Gesamtleistung bei einem Datensatz garantiert nicht das gleiche Genauigkeitsniveau über jede Sprache, Domäne oder Art des Schreibens hinweg.

Detector 2.0 spiegelt diese Einschränkung auch im Produkterlebnis wider. Wenn nicht genügend Eingabeinformationen vorliegen oder eine Sprache oder Domäne noch nicht ausreichend validiert wurde, erhalten Nutzer zusätzliche Hinweise, die zu einer vorsichtigeren Interpretation der Ergebnisse anregen.

Derzeit ist die satzweise Analyse am umfassendsten für englische akademische Texte validiert. Satzweise Ergebnisse für nicht-englischen Text oder Text, der wesentlich von der Trainingsverteilung abweicht, sollten daher mit größerer Vorsicht interpretiert werden.

Was ändert sich in der realen Nutzung?

Die praktischen Verbesserungen in Detector 2.0 lassen sich wie folgt zusammenfassen.

Nutzungsszenario	Herausforderung bei bestehender Erkennung	Verbesserung durch Detector 2.0
KI generiert den gesamten Text	Schwierig, das gesamte Spektrum der KI-Generierungsmuster zu erfassen	Training auf einer breiteren Palette menschlicher und KI-generierter Schreibmuster
Von Menschen verfasster Text wird von KI umgeschrieben	Umschreiben kann den Text natürlicher und schwerer erkennbar erscheinen lassen	Stärkere Trainingsgewichtung schwieriger AI-Rewrite-Fälle durch HNM
Ein Mensch schreibt in einem KI-ähnlichen Stil	Von Menschen verfasster Text kann fälschlicherweise als KI-generiert identifiziert werden	Schwierige, von Menschen verfasste Fälle werden in zusätzliches Training einbezogen
KI-Muster treten stark nur in einem Teil eines Dokuments auf	Ein dokumentweites Ergebnis allein zeigt nicht, welche Abschnitte überprüft werden müssen	Satz- und segmentweise Informationen durch den Boundary Detector und die Satzanalyse
Text ist kurz oder gehört zu einer weniger validierten Domäne	Begrenzte Informationen könnten Nutzer dazu verleiten, dem Ergebnis zu viel Vertrauen zu schenken	Zusätzliche Hinweise fördern eine vorsichtigere Interpretation