KI-Zusammenfassungen von Besprechungen, Nachrichten oder Polizeivideos verbreiten sich rasant, doch sie enthalten häufig Fehler. Eine Studie der Georgetown University und der University of Washington zeigt, dass solche Fehler falsche Erinnerungen erzeugen können. Teilnehmer, die eine fehlerhafte Zusammenfassung eines Videos gelesen hatten, erinnerten sich deutlich schlechter an das Gesehene. Überraschend ist vor allem, welcher Umstand an diesem Effekt nichts änderte.
Das menschliche Gedächtnis arbeitet nicht wie eine Videokamera, die Ereignisse unverändert speichert. Beim Erinnern setzt das Gehirn das Erlebte jedes Mal neu zusammen, und dabei können spätere Informationen die ursprüngliche Erinnerung überschreiben. Auf diese Weise entstehen falsche Erinnerungen, die sich für die Betroffenen völlig echt anfühlen. Die Psychologie nennt den zugrunde liegenden Vorgang Fehlinformationseffekt. Bekannt wurde er durch Experimente aus den 1970er Jahren, in denen Versuchspersonen einen Autounfall gesehen hatten und sich später je nach Formulierung der Fragen an höhere Geschwindigkeiten oder sogar an zerbrochenes Glas erinnerten, das es nie gegeben hatte. Seitdem ist gut belegt, dass irreführende Angaben nach einem Ereignis die Aussagen von Zeugen verändern können. Neu ist die Quelle solcher Fehlinformation: Immer häufiger lesen Menschen nicht mehr das Original, sondern eine automatisch erstellte Zusammenfassung, die Sprachmodelle wie ChatGPT oder Gemini in wenigen Sätzen liefern.
Genau diese Entwicklung untersuchten die Forscherin Mattea Sim vom Massive Data Institute der McCourt School of Public Policy an der Georgetown University, der Informatiker Yoshi Kohno von derselben Universität und Yael Eiger, Doktorandin an der University of Washington. Ihre Arbeit mit dem Titel „AI-Enabled Human Memory Manipulation“ ist als Preprint veröffentlicht und wird im Oktober 2026 auf der Ninth AAAI/ACM Conference on AI, Ethics and Society vorgestellt, einer Fachtagung, deren Beiträge von unabhängigen Gutachtern geprüft werden. Die Forscher gingen in zwei Schritten vor. Zunächst prüften sie, wie zuverlässig aktuelle Sprachmodelle Videos zusammenfassen. Anschließend testeten sie in einem Experiment, ob fehlerhafte Zusammenfassungen die Erinnerung der Leser an ein zuvor gesehenes Ereignis verändern. Beide Teile liefern Ergebnisse, die für den Einsatz solcher Systeme in sensiblen Bereichen wie Polizei oder Medizin von Bedeutung sind, in denen es auf genaue Erinnerungen ankommt.
Im ersten Teil ließen die Forscher die Sprachmodelle ChatGPT von OpenAI und Gemini von Google animierte Videos zusammenfassen und werteten die Ergebnisse systematisch aus. Die Fehler reichten von falsch wiedergegebenen Einzelheiten über frei erfundene Angaben bis zu Auslassungen, wobei Letztere die häufigste Fehlerart waren. Über alle getesteten Aufforderungen und Modelle hinweg fehlten in den Zusammenfassungen im Mittel 51,6 Prozent der zentralen Details. Besonders auffällig war ein Befund zum wichtigsten Ereignis des Videos, in dem ein Auto einen Fußgänger erfasst: Bis auf eine einzige Zusammenfassung, also in 95 Prozent der Fälle, erwähnte keine den Zusammenstoß. Mitautorin Yael Eiger zeigte sich nach Angaben der Universität überrascht, wie schlecht die Zusammenfassungen trotz des fortgeschrittenen Entwicklungsstands der Systeme ausfielen. Getestet wurden allerdings die frei zugänglichen Verbraucherversionen der Modelle, nicht spezielle Unternehmensversionen, die etwa Behörden einsetzen könnten.
Für das Experiment sahen die Teilnehmer eines von zwei animierten Videos, die aus einer neueren Wiederholung der klassischen Unfallstudien stammen. Darin nähert sich ein rotes Auto einer Kreuzung, an der entweder ein Stoppschild oder ein Schild zur Vorfahrtsgewährung steht, biegt rechts ab und erfasst einen Fußgänger, der danach wieder aufsteht und auf den ausgestiegenen Fahrer trifft. 24 bis 48 Stunden später lasen die Teilnehmer eine Zusammenfassung des Videos, die entweder korrekt war oder ein gezielt verändertes Detail enthielt. Anschließend sollten sie angeben, welches der beiden Schilder sie gesehen hatten. Das Ergebnis, das die Georgetown University in ihrer Mitteilung zusammenfasst, fällt deutlich aus: Nach einer korrekten Zusammenfassung antworteten 83,6 Prozent richtig, nach einer irreführenden nur noch 44,8 Prozent. Insgesamt hatten 331 Personen beide Teile des Versuchs abgeschlossen.
Vor dem Lesen erfuhren die Teilnehmer, ob die Zusammenfassung angeblich von einer KI oder von einem menschlichen Protokollanten stammte. Tatsächlich hatte in allen Fällen ChatGPT den Text erzeugt, teils wurden Passagen aus mehreren Antworten zusammengesetzt, damit die Bedingungen einheitlich blieben. Naheliegend wäre die Erwartung, dass Menschen einer Maschine weniger vertrauen und deren Angaben kritischer prüfen. Das Experiment zeigte jedoch etwas anderes: Die irreführende Zusammenfassung verzerrte die Erinnerung unabhängig davon, ob die Teilnehmer glaubten, ein Mensch oder eine KI habe sie geschrieben. Auch das allgemeine Vertrauen in künstliche Intelligenz und die Vertrautheit mit solchen Werkzeugen spielten für die Stärke des Effekts keine Rolle. Nach Einschätzung der Autoren taugt der oft zitierte Mensch als Kontrollinstanz deshalb nur bedingt als Schutz, weil die Fehler der Maschine seine eigene Erinnerung verändern können, statt von ihm erkannt und korrigiert zu werden.
Besonders heikel sind die Befunde für Bereiche, in denen genaue Erinnerungen über Schicksale entscheiden. Polizeibehörden setzen zunehmend Programme ein, die Aufnahmen von Körperkameras automatisch zusammenfassen oder Berichtsentwürfe erstellen. Yael Eiger, die sich mit Technologie im Strafvollzugssystem beschäftigt, äußerte die Sorge, dass solche Werkzeuge ohne gründliche Prüfung eingeführt werden. Die Forscher betonen allerdings, dass sie keine echten Polizeivideos verwendet haben, sondern animierte Szenen. Ähnliche Risiken bestehen im Berufsalltag, denn Zusammenfassungen von Besprechungen, E-Mails oder Nachrichtenartikeln prägen, woran sich Menschen später erinnern. In der Preprint-Fassung der Studie kommen die Autoren zu dem Schluss, dass KI auch ohne jede böse Absicht Fehlinformation erzeugen kann, die das Gedächtnis spürbar beeinflusst. Für den Einsatz in sensiblen Bereichen wünschen sich die Forscher deshalb mehr unabhängige Prüfungen solcher Systeme.
Die Arbeit reiht sich in eine lange Forschungstradition ein, die zeigt, wie formbar Erinnerungen sind. Neu ist, dass nicht ein fragender Mensch die Erinnerung verändert, sondern ein Text, den eine Maschine ohne Absicht fehlerhaft formuliert hat. Wie stark neue Informationen ein bereits gefestigtes Bild verschieben können, zeigt auch eine Studienreihe, nach der der erste Eindruck von einer Person kippt, sobald sich deren wahrgenommene Attraktivität verändert. Die Studie hat allerdings Grenzen. Es handelt sich um ein Experiment mit animierten Szenen und einem einzelnen, gezielt veränderten Detail, zudem liegt die Arbeit bislang als Preprint vor, auch wenn sie für eine begutachtete Fachtagung angenommen wurde. Als nächsten Schritt wollen die Forscher untersuchen, wie sich KI-Zusammenfassungen echter Aufnahmen von Körperkameras auf die Erinnerung an Begegnungen zwischen Polizei und Bürgern auswirken.
arXiv, AI-Enabled Human Memory Manipulation: Misleading AI-Generated Summaries Distort Human Memory; doi:10.48550/arXiv.2609.28820