KI-Detektoren: warum ihre Ergebnisse keine Entscheidungsgrundlage sind

KI-Detektoren versprechen eine einfache Antwort auf die Frage, ob ein Text von ChatGPT stammt oder von einem Menschen. Verlässlich liefern können sie diese Antwort nicht. Die Werkzeuge irren in beide Richtungen: Sie übersehen KI-Texte und markieren menschliche Texte als maschinell. Das deutlichste Signal kommt vom bekanntesten Anbieter selbst: OpenAI hat den eigenen Detektor „AI Classifier" im Juli 2023 nach nur einem halben Jahr wegen geringer Trefferquote eingestellt. Wer Bewerbungen, Schülerarbeiten oder Kundentexte allein auf Basis eines Detektor-Scores beurteilt, trifft Entscheidungen auf unsicherer Grundlage. Besser sind klare Regeln und nachvollziehbare Prozesse.

Der Hersteller selbst gab auf: OpenAIs eingestellter Detektor

OpenAI veröffentlichte den AI Classifier im Januar 2023 und nannte die Grenzen von Beginn an offen: Das Werkzeug erkannte nach eigenen Angaben nur 26 Prozent der KI-geschriebenen Texte korrekt, stufte zugleich aber 9 Prozent der von Menschen geschriebenen Texte fälschlich als KI-Text ein. Zum 20. Juli 2023 zog das Unternehmen die Konsequenz und schaltete den Detektor ab, als Grund nannte es dessen geringe Trefferquote („low rate of accuracy"). In den eigenen Hinweisen für Lehrkräfte wird OpenAI noch deutlicher: Kein Detektor habe sich bislang als zuverlässig erwiesen. Ein eigener Testlauf stufte sogar Shakespeare-Texte und die amerikanische Unabhängigkeitserklärung als KI-generiert ein, und schon kleine Umformulierungen genügten, um Detektoren zu umgehen.

Fehlalarme treffen vor allem Nicht-Muttersprachler

Ein Forschungsteam der Stanford University hat 2023 in der Fachzeitschrift Patterns sieben verbreitete Detektoren mit Texten realer Menschen getestet. Aufsätze von US-Schülern mit Englisch als Muttersprache bewerteten die Werkzeuge nahezu fehlerfrei. Englisch-Aufsätze von Nicht-Muttersprachlern aus einem TOEFL-Sprachtest stuften sie dagegen im Durchschnitt zu 61 Prozent fälschlich als KI-generiert ein, 89 von 91 Aufsätzen wurden von mindestens einem Detektor markiert. Die Autoren warnen ausdrücklich davor, solche Werkzeuge in Bewertungssituationen mit Folgen einzusetzen. Institutionen reagieren bereits: Die Vanderbilt University deaktivierte 2023 die KI-Erkennung der Plagiatssoftware Turnitin. Selbst bei der vom Hersteller angegebenen Fehlalarmquote von nur einem Prozent wären dort rechnerisch rund 750 der 75.000 im Jahr 2022 eingereichten Arbeiten zu Unrecht verdächtigt worden.

Was das für Ihren Betrieb bedeutet

Im Unternehmensalltag wird das an drei Stellen konkret. Erstens Bewerbungen: Wer Kandidaten aussortiert, weil ein Detektor beim Anschreiben anschlägt, stützt sich auf ein Werkzeug, das nachweislich häufig irrt und Menschen mit Deutsch oder Englisch als Fremdsprache besonders oft trifft. Zweitens Ausbildung: Ein KI-Vorwurf ohne Beleg beschädigt Vertrauen und lässt sich im Streitfall kaum halten, denn ein Score ist kein Beweis. Drittens Kundenkommunikation und eingekaufte Texte: Ob ein Text mit KI-Unterstützung entstanden ist, sagt nichts darüber, ob er fachlich stimmt. Die inhaltliche Prüfung bleibt in jedem Fall Ihre Aufgabe.

Prozesse statt Detektor-Glaube

Verlässlicher als jeder Score sind Regeln und Transparenz. Legen Sie fest, wofür Ihr Team KI-Werkzeuge nutzen darf und wo Kennzeichnung oder Freigabe nötig ist, am besten verankert in Ihrer IT-Compliance. Bewerten Sie Texte nach Entstehung und Substanz: Wer einen Text selbst erarbeitet hat, kann Zwischenstände zeigen, Quellen nennen und Rückfragen beantworten. In Bewerbungsverfahren sagt ein Fachgespräch oder eine kurze Arbeitsprobe unter realen Bedingungen mehr als jede Software. Ein technisches Wettrüsten mit Detektoren können Sie dagegen nicht gewinnen.

Häufige Fragen

Gibt es inzwischen Detektoren, die zuverlässig arbeiten?

Kein Anbieter hat bislang öffentlich nachgewiesen, dass sein Werkzeug KI-Texte durchgehend sicher erkennt. Die Grundprobleme bleiben bestehen: KI-Texte lassen sich leicht umformulieren, und sachliche, formelhafte menschliche Texte ähneln statistisch der KI-Ausgabe. Ein Detektor-Ergebnis taugt höchstens als Anlass für ein Gespräch, nicht als Beleg.

Dürfen wir eine Bewerbung aussortieren, wenn der Detektor anschlägt?

Technisch hindert Sie niemand daran, fair und belastbar ist es nicht. Der Score belegt keine KI-Nutzung, und die Fehlalarme treffen bestimmte Gruppen überproportional. Wenn der Umgang mit KI für die Stelle relevant ist, fragen Sie im Gespräch direkt danach oder lassen Sie eine kurze Aufgabe unter realen Bedingungen bearbeiten.

Unser Tool zeigt „98 Prozent KI-Wahrscheinlichkeit". Ist das kein Beweis?

Nein. Der Wert ist eine statistische Schätzung ohne jeden Einblick in die Entstehung des Texts. Dieselben Werkzeuge vergeben nachweislich auch für rein menschliche Texte hohe Werte. Behandeln Sie die Zahl als vagen Hinweis, dem Sie nur zusammen mit anderen Anhaltspunkten nachgehen.

So unterstützt Sie die High5Manufaktur GmbH

Die High5Manufaktur GmbH begleitet kleine und mittlere Unternehmen im Raum Karlsruhe und bundesweit beim vernünftigen Einsatz von KI im Arbeitsalltag: mit klaren Nutzungsregeln für Ihr Team, sicher konfigurierten Microsoft-365-Umgebungen und laufender Betreuung im Rahmen unserer Managed Services. Kurze Wege, direkter Ansprechpartner, keine anonyme Hotline.

Quellen

• OpenAI: New AI classifier for indicating AI-written text (mit Abschalthinweis vom 20.07.2023)
• OpenAI Help Center: How can educators respond to students presenting AI-generated content as their own?
• Liang et al.: GPT detectors are biased against non-native English writers, Patterns (2023)
• Vanderbilt University: Guidance on AI detection and why we're disabling Turnitin's AI detector