Robert Klatt
Ein KI hat anhand von Hirnscans die Gedanken von Menschen in Sprache übersetzt. Das nicht-invasive System könnte in Zukunft Menschen mit Locked-In-Syndrom bei der Kommunikation helfen.
Austin (U.S.A.). Die Wissenschaft arbeitet seit Langen an Brain-Computer-Interfaces (BCI), also Hirn-Computer-Schnittstellen, die die Hirnaktivität in Sprache oder motorische Signale transformieren können. Die bisher erfolgreichsten Ansätze verwenden Elektroden, die in das Gehirn der Menschen implantiert werden, um die neuronale Aktivität mit hoher Genauigkeit erfassen zu können. Die Implantation von Elektroden ist jedoch ein invasives und riskantes Verfahren. Nicht-invasive Methoden, die etwa Gehirnströmen an der Kopfoberfläche messen, haben hingegen eine deutlich geringere Präzision und konnten bisher nur einzelne Wörter oder Phrasen korrekt erkennen.
Wissenschaftler der University of Texas (UT) um Jerry Tang haben nun ein neuartiges System an drei Probanden getestet, das ohne die Notwendigkeit implantierter Elektroden grundlegende Gedanken in fortlaufenden Text umwandeln kann. Laut ihrer Publikation im Fachmagazin Nature Neuroscience kombinierten sie dazu die funktionelle Magnetresonanztomographie (fMRT), welche den Blutfluss und somit die Gehirnaktivität visualisiert, mit einer Künstlichen Intelligenz (KI), die die Messdaten in Sprache übersetzt.
Während der Vorbereitungsphase hörten die Versuchsteilnehmer insgesamt 16 Stunden lang verschiedenen Erzählungen, während ihre Gehirnaktivitäten mittels MRT-Scanner erfasst wurden. Auf Basis dieser Daten schulten Tang und seine Kollegen die GPT-1-Software, den Vorläufer des Chatbots ChatGPT.
Das Hauptziel bestand nicht darin, die Gedanken der Probanden wortwörtlich zu interpretieren, sondern den semantischen Gehalt zu erfassen und in verbale Kommunikation umzuwandeln. Tatsächlich gelang es GPT, aus den aufgezeichneten Gehirnscan-Bildern eine Geschichte zu rekonstruieren, die der ursprünglich gehörten zumindest in gewissem Maße ähnelte, wenn die Testpersonen im Versuchsverlauf einer bisher nicht verwendeten Erzählung lauschten.
Laut Alexander Huth waren die Ergebnisse der nicht-invasive Methode deutlich besser als bei vorherigen Versuchen. Die aus den Hirnscans dekodierten Sätze waren teilweise ähnlich zu den tatsächlich gehörten. Aus „Ich habe noch keinen Führerschein“ dekodierte die KI etwa „Sie hatte noch nicht angefangen, fahren zu lernen.“
„Für eine nicht-invasive Methode ist dies ein echter Sprung nach vorn im Vergleich zu dem, was bisher gemacht wurde, nämlich typischerweise einzelne Wörter oder kurze Sätze. Wir bringen das Modell dazu, kontinuierliche Sprache über längere Zeiträume mit komplizierten Ideen zu entschlüsseln.“
In zahlreichen Situationen wich die generierte Übersetzung jedoch von der ursprünglichen Bedeutung ab. Die Genauigkeit verringerte sich weiter, wenn die Versuchsteilnehmer die Erzählung nicht tatsächlich hörten, sondern sie sich lediglich aktiv vorstellten oder wenn sie einen animierten Stummfilm betrachteten.
Rainer Goebel, Neurowissenschaftler an der Universität Maastricht, der nicht an der Studie beteiligt, erklärt, dass die Ergebnisse für ein vollwertiges BCI noch zu schlecht waren.
„Der Decoder war dahingehend erfolgreich, dass viele ausgewählte Phrasen bei neuen, nicht trainierten Geschichten Wörter des Originaltextes enthielten, oder zumindest einen ähnlichen Bedeutungsgehalt aufwiesen. Es gab aber auch recht viele Fehler, was für ein vollwertiges BCI sehr schlecht ist, da es für kritische Anwendungen, zum Beispiel Kommunikation bei Locked-In-Patienten, vor allem darauf ankommt, keine falschen Aussagen zu generieren.“
Trotz der genannten Einschränkungen betrachten Tang und sein Team die Resultate als eine Basis für zukünftige Untersuchungen, die eventuell Locked-In-Patienten die Kommunikation mit ihrer Umwelt ermöglichen könnten. Allerdings ist ein fMRT-System für diesen Zweck ungeeignet, da die Probanden in der großen und kostenintensiven Röhre liegen müssen, um Hirnscans aufzunehmen. Dennoch besteht die Möglichkeit, dass diese Technologie auf portable Systeme wie funktionelle Nahinfrarotspektroskopie (fNIRS) adaptierbar sein könnte, erklärt Huth.
„fNIRS misst, wo im Gehirn zu verschiedenen Zeitpunkten mehr oder weniger Blut fließt, was, wie sich herausstellt, genau die gleiche Art von Signal ist, die fMRT misst.“
Das Forschungsteam hat sich ebenfalls mit der Problematik auseinandergesetzt, ob die Technologie eingesetzt werden könnte, um die Gedanken einer Person ohne deren Einwilligung auszulesen. Die durchgeführten Experimente zeigten jedoch, dass die Auswertung ausschließlich bei der Person funktioniert, auf die das System über mehrere Stunden hinweg und unter aktiver Beteiligung trainiert wurde.
Selbst in diesen Fällen lieferte die Methode nur dann aussagekräftige Ergebnisse, wenn die Testperson während der Messung gezielt an die Erzählung dachte. Sobald die Versuchsperson abgelenkt war, konnte die Software die Gedanken nicht mehr korrekt erfassen. Laut Tang achten die Forscher zudem darauf, dass ihre Technik nicht missbraucht werden kann.
„Wir nehmen die Bedenken sehr ernst, dass das Verfahren für schlechte Zwecke verwendet werden könnte, und haben daran gearbeitet, dies zu vermeiden. Wir wollen sicherstellen, dass die Menschen diese Art von Technologien nur dann nutzen, wenn sie es wollen und es ihnen hilft.“
Nature Neuroscience, doi: 10.1038/s41593-023-01304-9