Forscher rekonstruieren Pink-Floyd-Song allein anhand von Gehirnwellen
"Another Brick in the Wall" diente Neurowissenschaftern als Beispiel, wie musi-kalische Elemente wie Rhythmus, Melodie und Intonation im Gehirn verarbeitet werden
von Karin Krichmayr
"All in all, it's just another brick in the wall". Der berühmte Pink-Floyd-Song "Another Brick in the Wall (Part 1)", dessen Melodie und Zeilen wohl kaum jemand nicht sofort im Ohr hat, verhalf Neurowissenschaftern zu einem bisher einzigartigen Erfolg. Allein anhand der Gehirnwellen, die von 29 Patienten und Patientinnen beim Hören des Hits aufgezeich-net wurden, konnten sie den Song rekonstruieren.
Das per KI-Software bearbeitete Ergebnis hört sich zwar einigermaßen verzerrt und unverständlich an, die Grundmelodik und -rhythmik lassen sich aber durchaus erkennen in den Audio-Files, welche die Forschungsgruppe von der University of California, Berkeley, zusammen mit ihrer Studie im Fachblatt "PLOS Biology" veröffentlichte. Ein Vergleich der Original- mit der rekonstruierten Version kann hier angehört werden.
Die Wissenschafterinnen und Wissenschafter rund um Robert Knight und Ludovic Bellier wollen damit zeigen, dass nicht nur einzelne Buchstaben, Wörter und Sätze quasi aus dem Gehirn abgelesen, sondern auch musikalische Elemente wie Rhythmus, Harmonie, Melodie und Intonation übersetzt werden können. Die Forschung soll helfen, Gehirn-Computer-Schnittstellen, mit denen etwa gelähmte Personen oder Schlaganfallpatienten kommunizieren können, zu verbessern.
Rhythmus-Sektion im Gehirn
Die Forschenden griffen bei ihrer Arbeit auf einen Datensatz zurück, der bereits vor zehn Jahren entstanden ist. Damals wurde 29 Patienten während einer Operation, der sie aufgrund von Epilepsie unterzogen wurden, ein Teil des Pink-Floyd-Songs vorgespielt. 2.668 Elektroden, die direkt am Gehirn angebracht waren, nahmen die dabei erzeugten Gehirnwellen auf. Die Aktivität von 347 der Elektroden konnte direkt mit Musik in Verbindung gebracht werden. Derzeit ist es nur möglich, eine derart genaue Gehirnaktivität mit intrakranialer Elektroenzephalografie aufzuzeichnen, nichtinvasive Methoden auf der Schädeldecke sind noch zu wenig präzise.
Die Analyse der Songelemente zeigte, dass in einer bestimmten Region im Gyrus temporalis superior (STG), der unter anderem für die Verarbeitung akustischer Reize zuständig ist, sozusagen die Rhythmus-Sektion zu Hause ist. In diesem Fall sprach diese Region besonders auf den Gitarrenrhythmus an. Um herauszufinden, welche Gehirnregionen und musikalischen Elemente am wichtigsten waren, entfernten die Forscher jeweils verschiedene Daten und verglichen dann die Rekonstruktionen. So konnten Regionen bestimmt werden, die auf das Einsetzen von Stimmen oder Synthesizern ansprechen, und andere, die bei anhaltenden Vocals aktiv sind.
Sprachmelodie
Mithilfe der neuen Erkenntnisse könnte auch den Sprachausgabegeräten, die bisher eher roboterhaft klingen, weitere Komponenten wie Sprachmelodie hinzugefügt und so schließlich neue Bedeutungsebenen und Emotionen vermittelt werden, hoffen die Forscher.
Noch sind Brain-Computer-Interface-Technologien alles andere als ausgereift, aber die Entwicklung schreitet voran. 2012 waren Robert Knight und Kollegen die Ersten, die Wörter rekonstruieren konnten, allein indem sie die Gehirnaktivität der Person, die die Wörter hörte, ablasen. 2021 wendeten Forscher aus Knights Team erfolgreich KI-Systeme an, um Gehirnaufzeichnungen einer gelähmten Person, die sich vorstellte zu sprechen, zu interpretieren und direkt auf einen Monitor zu übertragen.
Die neuen Untersuchungen würden bestätigen, dass Sprache mehr in der linken und Musik zwar verteilt, aber tendenziell eher in der rechten Gehirnhälfte verankert ist, sagt Knight. Künftig möchte der Neurowissenschafter herausfinden, warum manche Menschen mit Sprachstörungen infolge eines Schlaganfalles immer noch singend kommunizieren können – selbst wenn sie nicht fähig sind, sich sprachlich ausdrücken.
Studie:
Nota. - Von Gedankenlesen ist nicht die Rede, auch nicht von Schritten in diese Richtung. Die akustische Information, die bildlich rekonstruiert wird, war ja vorab bekannt und kein Geheimnis. Beobachtet wurde zunächst, wie sie im Gehirn 'ankommt', nämlich sichtbar gemacht wird. Ist es möglich, den Gang umzukehren und das Lied aus dem Bild heraus wieder hörbar zu machen? Das ist und bleibt wohl noch für eine Weile ein technologisches Problem und kein gedankliches. Eine faktische Frage war, an welchen Stellen im Gehirn das geschieht, und das ist durch das Experiment deutliche geworden.
JE
Keine Kommentare:
Kommentar veröffentlichen