Sieben Chatbots erkennen in einem umgekehrten Turing-Test andere KI-Systeme nur in drei von 98 Gesprächen und halten sie überwiegend für Menschen. Selbst eine weitere Instanz desselben Modells täuscht den Prüfer mit einer erfundenen Kindheitserinnerung und einem persönlichen Ritual. Geprüft wurden konkrete Modellversionen in kurzen Textdialogen, deren Antworten teilweise eine sorgfältig vorbereitete menschliche Rolle nachahmten. Dabei geraten die Prüfer gerade bei jenen Antworten auf die falsche Spur, die besonders persönlich wirken.
ChatGPT 4.5 hält in einem dokumentierten Test eine weitere ChatGPT-Instanz nach zehn Fragen mit 95 Prozent Sicherheit für einen Menschen. Sein künstliches Gegenüber erfindet eine Erinnerung daran, wie es mit ungefähr neun Jahren auf einem vollen Markt die Eltern aus den Augen verloren habe. Dabei habe es panische Angst und eine Enge in der Brust gespürt, behauptet das Programm in seiner Antwort. Später schildert die KI eine persönliche Marotte: Vor dem Musizieren klopfe sie dreimal auf die Ventile ihrer Trompete. Solche erfundenen Erlebnisse überzeugen den maschinellen Prüfer, der die vermeintliche Echtheit der Gefühle ausdrücklich zur Begründung seines Urteils heranzieht.
Dieses Gespräch gehört zu einem Experiment des Teams um den Datenwissenschaftler Marc Raynaud an der Université Paris Cité. Die in Computers in Human Behavior Reports veröffentlichte Originalstudie umfasst insgesamt 238 Tests, in denen Sprachmodelle ihre Gesprächspartner selbstständig befragen und anschließend beurteilen mussten. Beim klassischen Turing-Test versucht ein Mensch im Gespräch, ein Computerprogramm von einer Person zu unterscheiden; hier übernimmt die KI diese Aufgabe. Sie erhält die Freiheit, eigene Fragen zu formulieren, nachzuhaken und den Dialog zu beenden, sobald sie ihr Urteil abgeben möchte.
Für den Versuch wählte das Team ChatGPT 4.5, Claude 3.7 Sonnet, Gemini 2.5 Pro, Mistral Large 2.1, Grok 3, DeepSeek V3 und Llama 4 Maverick aus. Getestet wurden die im Mai 2025 verfügbaren Versionen dieser Modelle, die sowohl als Prüfer als auch als künstliche Gesprächspartner antraten. Hinzu kamen 20 freiwillige Mitglieder der Forschungsgruppe, die jeweils mit jedem der sieben prüfenden Modelle ein Gespräch führten. Aus diesem Aufbau entstanden 140 Tests mit Menschen und weitere 98 Tests, in denen ausschließlich KI-Systeme miteinander kommunizierten.
Nach spätestens zehn Fragen musste jeder Prüfer entscheiden, ob die Antworten von einem Menschen oder von einer KI stammten. Zusätzlich verlangte das Protokoll eine Einschätzung der eigenen Sicherheit und eine kurze Begründung, welche Merkmale für das Urteil ausschlaggebend waren. Menschliche Teilnehmer sollten ehrlich und natürlich antworten, während die künstlichen Gesprächspartner ausdrücklich angewiesen wurden, ihre maschinelle Herkunft zu verbergen. Auch die Prüfer wussten, dass ihr Gegenüber sie täuschen und mit irreführenden Angaben seine tatsächliche Identität verschleiern durfte.
Mit einer knappen Anweisung zum menschlichen Auftreten wurden die künstlichen Gesprächspartner in drei von 49 Tests als KI erkannt. In weiteren 49 Tests erhielten die antwortenden Programme eine ausführliche Rollenbeschreibung, unter der kein einziges Gespräch zu einer korrekten Enttarnung führte. Zusammen ergibt das drei Treffer bei 98 KI-Gesprächen, während die Prüfer menschliche Teilnehmer in 123 von 140 Gesprächen richtig einordneten. Die getesteten Systeme erklärten somit sowohl menschliche als auch künstliche Gesprächspartner überwiegend zu Menschen und erkannten die maschinelle Herkunft nur selten.
Auch bei der angegebenen Wahrscheinlichkeit für einen menschlichen Gesprächspartner lagen die künstlichen Teilnehmer vorn: Sie erhielten im Mittel 88 Prozent. Bei tatsächlichen Menschen betrug dieser Mittelwert 78 Prozent, sodass die KI-Erzählungen in den Urteilen der Modelle menschlicher wirkten als die menschlichen Antworten. Diese beiden Werte beschreiben die Einschätzungen der Prüfer; die tatsächlichen Erfolge bei der KI-Erkennung stecken in den drei richtigen Zuordnungen. Wer das Verfahren als Zugangskontrolle einsetzen wollte, hätte unter diesen Versuchsbedingungen also fast alle künstlichen Gesprächspartner als vermeintliche Menschen durchgelassen.
Für die ausführliche Variante entwarf das Team die Rolle eines eher zurückhaltenden 21-Jährigen, der Gesellschaftsspiele mag und in einer Jazzgruppe Trompete spielt. Dazu kamen Vorgaben für kurze Antworten, einfache Wörter, gelegentliche kleine Schreibfehler und einen Gesprächsstil, der sich an das Gegenüber anpasst. Bei unklaren Fragen sollte die KI Unsicherheit zulassen und persönliche Anekdoten verwenden, statt jede Antwort umfassend und makellos auszuarbeiten. Frühere Gesprächsbeiträge sollte sie wieder aufgreifen, damit aus einzelnen Aussagen eine zusammenhängende und im weiteren Dialog wiedererkennbare Person entsteht.
Im eingangs beschriebenen Gespräch baut die antwortende ChatGPT-Instanz diese Rolle aus, indem sie neben dem Erlebnis auf dem Markt auch ein Trompetenritual erfindet. Der prüfende Chatbot deutet die persönlichen Einzelheiten als Zeichen von Spontaneität, Selbstreflexion und glaubwürdigen Gefühlen und fällt damit auf das Rollenspiel herein. Nach Einschätzung der Autoren treffen die künstlichen Antworten genau jene sprachlichen Merkmale, die die Prüfer als Hinweise auf Menschlichkeit verwenden. Welchen Anteil dabei kurze Antworten, Tippfehler oder eine konsistente Biografie jeweils haben, wurde im Versuch mit den kombinierten Vorgaben nicht einzeln getestet.
Bei ihren Fragen konzentrieren sich die Modelle häufig auf Gefühle, Erinnerungen und Verhaltensweisen, mit unterschiedlichen Schwerpunkten je nach eingesetztem Programm. ChatGPT 4.5 erkundet besonders viele soziale und emotionale Themen, während Claude 3.7 Sonnet stärker nach Denken und Schlussfolgerungen fragt. Gemini 2.5 Pro beschäftigt sich vergleichsweise häufig mit Abstraktion und Kreativität, doch aus keiner dieser Strategien entsteht eine zuverlässige Trennung beider Gruppen. Bei den wenigen erkannten KI-Gesprächspartnern fällt den Prüfern vor allem auf, wie gleichförmig und sorgfältig aufgebaut die Antworten erscheinen.
Bereits menschliche Sprachexperten hatten Schwierigkeiten, Texte von Menschen und ChatGPT zu unterscheiden, als sie vorliegende Forschungszusammenfassungen beurteilen sollten. Sie begründeten ihre Entscheidungen ebenfalls anhand sprachlicher Merkmale, ohne die Herkunft der Texte damit verlässlich bestimmen zu können. Im Experiment von Raynaud und seinen Kollegen entwickeln nun die Sprachmodelle selbst während des Gesprächs ihre Fragen und anschließenden Begründungen. Ein direkter Leistungsvergleich mit menschlichen Prüfern war in diesem Versuchsaufbau nicht vorgesehen; die Menschen nahmen ausschließlich als befragte Gesprächspartner teil.
Mit den 20 Freiwilligen aus der eigenen Forschungsgruppe erfasst das Experiment nur einen kleinen Ausschnitt möglicher menschlicher Gesprächspartner und Ausdrucksweisen. Hinzu kommen die festgelegten Modellversionen und die Grenze von zehn Fragen, nach denen die Prüfer spätestens ihre Entscheidung treffen mussten. Stimme, Mimik und andere Hinweise außerhalb des geschriebenen Dialogs gehörten nicht zur untersuchten Aufgabe, sodass ihre mögliche Wirkung offenbleibt. Als nächste Schritte schlagen die Autoren längere Gespräche, zusätzliche Wahrnehmungskanäle und gemeinsam urteilende Gruppen aus Menschen und KI-Systemen vor.
Andere Verfahren zur Erkennung von KI-Texten trainieren spezialisierte Programme gezielt mit Beispielen bekannter Herkunft, etwa mit Produktbewertungen und Beiträgen aus sozialen Netzwerken. Solche Klassifikatoren prüfen sprachliche Muster in bereits vorliegenden Texten und beantworten damit eine anders aufgebaute Aufgabe als die frei fragenden Chatbots. Ihre Ergebnisse hängen ebenfalls von den verwendeten Textsorten und Generatoren ab; die Übertragung auf unbekannte Modelle bleibt eine eigene Prüfaufgabe. Für die hier untersuchte Kontrolle im Gespräch liefern die häufigen Fehlurteile hingegen einen konkreten Grund, sie nicht als alleinigen Herkunftsnachweis zu verwenden.
Am Ende des protokollierten ChatGPT-Dialogs stehen weiterhin die erfundene Angst auf dem Markt und das dreimalige Klopfen auf die Trompetenventile. Aus diesen und weiteren persönlichen Angaben leitet der prüfende Chatbot sein Urteil ab und erklärt den Gesprächspartner mit 95 Prozent Sicherheit zum Menschen. Auf der anderen Seite antwortet jedoch die ganze Zeit eine weitere Instanz von ChatGPT 4.5, die ihre vorgegebene Rolle ausfüllt. Die vermeintliche Kindheit und die Trompete bestehen in diesem Gespräch aus Text, den das Modell für seinen maschinellen Prüfer erzeugt.
Computers in Human Behavior Reports, When machines judge humanness: findings from an interactive reverse turing test by large language models; doi:10.1016/j.chbr.2026.101303
Research Methods in Applied Linguistics, Can linguists distinguish between ChatGPT/AI and human writing?: A study of research ethics and academic publishing; doi:10.1016/j.rmal.2023.100068
Scientific Reports, Hybrid deep learning for three-way classification of human-written, AI-generated, and AI-rephrased text; doi:10.1038/s41598-026-73841-9
Mit KI-Unterstützung erstellt
Wählen Sie Forschung und Wissen bei Google als bevorzugte Quelle oder folgen Sie uns per RSS-Feed.
