aus nzz.ch, 17. 5. 15 zu Jochen Ebmeiers Realien
In wissenschaftlichen Daten steckt Musik
Das Erbgut des Menschen lässt sich ebenso in Klänge verwandeln wie Gehirnströme
Immer
öfter werden Messwerte und Zahlenangaben in Audiodaten verwandelt. Die
«Vertonung» macht das Erkennen von Mustern leichter und komplexe
Datensätze verständlich. Das soll künftig sogar Chirurgen beim Operieren
helfen.
Mithilfe einer Hirn-Computer-Schnittstelle macht Rodrigo Cádiz Musik.
Rodrigo
Cádiz, Komponist und Professor an der Päpstlichen Katholischen
Universität in Santiago de Chile, bereitet sich auf seinen Auftritt vor.
Das Instrument trägt er an der Stirn. Es sieht aus wie ein verrutschter
Kopfhörer, ist aber eine Hirn-Computer-Schnittstelle. Die eingebauten
Elektroden messen seine Hirnströme, die ein Computer in Töne übersetzt.
Cádiz sitzt bewegungslos, mit geschlossenen Augen, auf einem Stuhl.
Dann
beginnt seine Performance. Aus dem Lautsprecher erklingen dumpfe
sphärische Geräusche, überlagert von einem Pfeifton. Cádiz öffnet seine
Augen. Die Klänge werden abwechslungsreicher, der Rhythmus schneller.
Als
er hin und her wippt, seine Hände öffnet, wieder schliesst und sie
dabei betrachtet, als er aufsteht und langsam umhergeht, steigert sich
die Musik ins Dramatische. Cádiz komponiert sie just in diesem
Augenblick.
Auftritt von Rodrigo Cádiz in der Universität Bielefeld.
Der
Auftritt findet im Zentrum für interdisziplinäre Forschung der
Universität Bielefeld statt. Denn die Klänge begeistern nicht nur Fans
von elektronischer Musik; Wissenschafter und Ärzte sind ebenfalls
fasziniert. Sie hoffen, dass ihnen das Anhören von Hirnwellen künftig
bei der Erforschung und Diagnostik von Krankheiten des Gehirns hilft.
Ein Physiker verwandelt EEG-Daten in Klänge
Unter
Cádiz’ Zuhörern ist Thomas Hermann, Physiker an der Universität
Bielefeld und Experte für die Vertonung von Informationen jeglicher Art.
Auch für ihn ist Musik eine Leidenschaft. Doch wenn er Hirnwellen und
andere Daten in Klänge verwandelt, geht es ihm nicht um neue
Musikstücke, sondern um pure Wissenschaft.
Forscher
in allen möglichen Disziplinen müssen mit immer komplexeren Datensätzen
umgehen. Dafür sollten sie nicht nur ihre Augen, sondern auch ihre
Ohren nutzen, findet Hermann: «Das macht die gesamte
Informationsverarbeitung angenehmer für den Menschen.» Zudem erleichtere
die Sonifikation – so der Fachbegriff für die Verklanglichung von Daten
– blinden und sehbeeinträchtigten Personen den Zugang zur Wissenschaft
und ihren Ergebnissen. Ganz gleich, ob es dabei um die Erkundung des
Weltraums oder die Entschlüsselung unseres Erbguts geht.
Der
Bielefelder Physiker hat schon Hirnwellen von Epilepsiepatienten
vertont, die per Elektroenzephalografie (EEG) aufgezeichnet wurden. Ein
epileptischer Anfall klingt dann so, als würden mehrere Personen im
Gleichtakt kräftig auf Metall einschlagen. «Während des Anfalls feuern
die Neuronen synchronisiert, diesen Zustand höherer Ordnung hören wir
deutlich als Rhythmus», erklärt Hermann. «Unsere Ohren nehmen derart
rhythmische Muster und insbesondere deren subtile Veränderungen feiner
wahr als unsere Augen.»
Die Ohren befinden sich in ständiger Alarmbereitschaft
In
der Erforschung der Epilepsie ist die Verklanglichung schon jetzt von
Vorteil. Statt auf einen Bildschirm mit Hirnstromkurven zu schauen,
hören die Wissenschafter den Verlauf des Anfalls, während sie ihr
Augenmerk voll und ganz auf den Patienten richten. Ebenfalls hilfreich
wäre die Technik beim Patienten-Monitoring daheim oder im Krankenhaus.
Auffällige Geräusche alarmieren den Hörsinn sofort und sogar dann, wenn
Angehörige oder Pflegepersonal schlafen, denn dabei schliessen sie nur
die Augen, nicht die Ohren.
Dass
der Hörsinn eine ausgeprägte Warnfunktion besitzt, wissen wir von
Sirenen und vom Martinshorn. Aber auch von Messinstrumenten wie dem
Geigerzähler, der bei radioaktiver Strahlung knackt. Das Gerät gibt es
seit fast hundert Jahren. Die Sonifikation ist demnach keine neue Idee.
Hermann beschäftigt sich damit seit über zwei Jahrzehnten und hat schon
alles Mögliche hörbar gemacht – vom Wetterbericht über den
Spritverbrauch eines Autos bis zu Bewegungsprofilen von
Spitzensportlern.
Das
grösste Potenzial sieht er aber in der Medizin. Ärzte seien besonders
offen für den Sound der Daten: «Sie lernen schon in ihrer Ausbildung den
Umgang mit dem Stethoskop und wissen daher, dass die Ohren ein guter
Kanal für die Informationsaufnahme sind.»
Ist die Vertonung künftig eine Hilfe bei Operationen?
Bald
könnte die Technik Einzug in OP-Säle halten. In einem Projekt mit der
Zürcher Universitätsklinik Balgrist hat Sasan Matinfar,
Sonifikationsspezialist an der Technischen Universität München, den
Blutverlust während einer Operation vertont. Warme, beruhigende
Hintergrundklänge wie von einem Xylofon signalisieren den Chirurgen,
dass alles in Ordnung ist.
Bei
hohem Blutverlust verändern sich die Töne, bis ein unangenehm
klirrender Sound akute Gefahr meldet. Im Modellversuch hat das bestens
funktioniert. Für den Einsatz im OP-Saal fehle aber noch ein
Sensorsystem, das die Blutmenge korrekt in Echtzeit erfasse, sagt
Matinfar.
Der
Blutverlust im Laufe der Operation und andere Datensätze aus wenigen
verschiedenen Parametern werden meist mit Rechenvorschriften
(Algorithmen) vertont, die jedem Messwert einen bestimmten Sound
zuordnen. Je nach Veränderung der Werte variieren zum Beispiel Tonhöhe
oder Lautstärke, Rhythmus, Tempo oder der Klang an sich. Zur Verfügung
stehen elektronisch erzeugte Töne, aber auch digitalisierte echte
Geräusche vom Donnergrollen über Glockenschläge bis zum
Vogelgezwitscher.
Matinfar,
der vor seinem Informatikstudium Musik studiert hat, benutzt auch
Passagen aus klassischen Musikstücken, etwa dramatische Stellen aus
einer Cellosuite von Johann Sebastian Bach oder beruhigende Abschnitte
aus einem Präludium. Dank künstlicher Intelligenz füllt sich der
Werkzeugkasten der Sonifikation immer mehr. Selbst Songs aus
individuellen Playlists lassen sich heute schon verwenden.
DNA und RNA werden zu Audiospuren
So
vielfältig wie die Mittel der Sonifikation, so vielfältig sind auch die
bereits vertonten Daten. Als Soundtrack gibt es bereits den Anstieg der
globalen Temperatur und der CO2-Konzentration der
Atmosphäre, das Insektensterben sowie teleskopische Beobachtungen von
Spiralnebeln, Gravitationswellen und anderen astronomischen Phänomenen.
Mark
Temple, Molekularbiologe an der Western Sydney University in
Australien, macht sogar unser Erbgut hörbar. Sein einfachster
Algorithmus ordnet den vier DNA-Basen Adenin, Guanin, Cytosin und Thymin
jeweils eine andere Note zu und übersetzt die Sequenz der Basen so in
eine Tonfolge. Eine andere von ihm entworfene Rechenvorschrift fasst
drei aufeinanderfolgende Basen zu einem Ton zusammen. Im genetischen
Bauplan für Proteine legt eine solche Dreierfolge fest, welche
Aminosäure an welcher Stelle ins Protein eingebaut wird.
Damit
die Tonfolgen harmonisch klingen, definiert Temple die Töne
entsprechend dem gängigen Dur-Moll-System. Das verbessere die Hörbarkeit
und erlaube die Verklanglichung von grossen Datenmengen, sagt er. Aus
einer Basensequenz generiert er zudem verschiedene Audiospuren, die
übereinanderlegt Akkorde ergeben.
Zu hören sind sogar Fehler in der DNA
Zunächst
vertonte Temple einzelne DNA-Sequenzen. Gegenwärtig beschäftigt er sich
damit, krankheitsauslösende Genfehler und andere Variationen im Erbgut
aufzuspüren. Dafür vergleicht er die Tonspuren von mutierter und
fehlerfreier DNA. Es gebe für den Sequenzvergleich zwar viele
bioinformatische Methoden, sagt Temple, aber noch keine
Sonifikationstechnik.
Damit
Gendefekte leicht zu hören sind, lässt er fehlerfreie Sequenzen sanft
und Unterschiede hart klingen. Diese Technik ergänzt die klassischen
Methoden der Genanalytik. Sie macht die Daten zudem Personen mit
Sehbehinderungen zugänglich – aber auch Laien, die mit den üblichen
Codes und grafisch-visuellen Darstellungen nicht viel anfangen können.
Vielleicht, spekuliert Temple, sei es für das Wohlbefinden von Menschen
mit genetischen Krankheiten hilfreich, die Einzigartigkeit ihrer DNA zu
hören. Der medizinische Nutzen ist aber noch nicht bewiesen.
Temple
agiert zwischen Wissenschaft und Kunst. Er verklanglicht die Daten nach
klaren Regeln, seine Projekte haben wissenschaftliche Inhalte. Aber er
spielt mit den Tonspuren und stellt sie in einem Dateiformat bereit, das
Musiker und Tonstudios direkt verarbeiten können. Temple hat schon
RNA-Abschnitte des Coronavirus in Musik verwandelt. Erst kürzlich
improvisierte er auf der E-Gitarre zur vertonten DNA des
Eukalyptusbaumes, um das Bewusstsein für die Schönheit der Bäume und
ihre Bedeutung für das Klima zu schärfen.
Um
ein Musikstück zu erhalten, hat Temple verschiedene Tonspuren
übereinandergelegt. Unten läuft die RNA-Sequenz durch, die als Code für
das Oberflächen-Glykoprotein dient. Die Buchstaben stehen für die vier
RNA-Basen Adenin, Cytosin, Guanin und Uracil. Die Ketten aus den Kreisen
sind Aminosäuresequenzen, die Buchstaben stehen für die jeweiligen
Aminosäuren.
Auf
Musik und generell auf Töne reagieren wir oft emotional und intuitiv.
Schon aus einem einzigen Geräusch können wir vielfältige Informationen
ableiten. Diese Fähigkeit nutzen wir zum Beispiel, wenn wir gegen eine
Wand klopfen, um ihre Dicke oder Dämmung festzustellen.
Das Herz klingt anders als die Lunge
In
der Medizin zählt das Abklopfen und gleichzeitige Abhören mit dem
Stethoskop zu den etablierten Untersuchungsmethoden. Geschulte Ärzte
erkennen sogar Lungenkrankheiten wie die Tuberkulose am Klopfgeräusch.
Das brachte Thomas Hermann auf eine ungewöhnliche Idee zur Vertonung von
komplexen Datensätzen. Am Computer konstruiert er daraus Netzwerke,
sozusagen virtuelle Instrumente, die beim «Anschlagen» eingängige Töne
erzeugen.
Auch
dieses Vorgehen soll Einzug in den OP-Saal halten. Sasan Matinfar, der
Münchener Sonifikationsspezialist, nutzt die Methode für eine Klangreise
durch den menschlichen Körper. «Wir verwandeln die Charakteristika
verschiedener Gewebe in Geräusche», sagt er. Die Daten für die
Berechnung der Netzwerke stammen aus der medizinischen Bildgebung. Sie
geben an, wie starr oder weich, wie dicht und strukturiert ein Gewebe
ist.
Vertonung von Gewebe im menschlichen Körper (Herz, Lunge, Leber, Knochen, Muskel).
So
vertont, klingt die Lunge dumpfer als das Herz, ein Knochen härter als
Fettgewebe und sogar ein Tumor anders als gesundes Gewebe. Auf dieser
Basis entwickelt Matinfar ein klangliches Navigations- und
Orientierungssystem für Chirurgen. Es soll ihnen zum Beispiel dabei
helfen, Tumorgewebe vollständig zu entfernen. Ferner erleichtert es das
präzise Operieren in kritischen Bereichen, etwa wenn ein Krebsgeschwür
dicht an einem wichtigen Nerv oder Blutgefäss sitzt.
Bis
jetzt werden solche Operationen bildgestützt durchgeführt. Dabei muss
der Arzt aber ständig vom Patienten weg auf einen oder mehrere Monitore
blicken. Die Verklanglichung der Bilddaten erlaubt es dem Operateur,
sein Augenmerk permanent auf den Patienten zu richten. An Modellen und
in Virtual-Reality-Experimenten haben Ärzte die klangliche Navigation
schon ausprobiert. Tests im OP-Saal stehen aber noch aus.
Nicht
nur Ärzte, sondern wir alle «leben in einer Kultur, die uns mit
visuellen Informationen überlastet und den Hörsinn vernachlässigt»,
fasst Hermann zusammen. Mit dieser Einseitigkeit möchte er Schluss
machen. Und das ist gut so. Denn angesichts der stetig steigenden Flut
von immer komplexeren Daten haben grafisch-visuelle Darstellungen ihre
Grenzen erreicht.
Nota I. - Analoges digitalisieren tun wir den ganzen Tag, sobald wir nur den Mund auftun. Unsere Zivilisation beruht darauf. Aber Etwas aus einem analogen Modus in einen andern analogen Modus übersetzen ohne digitalen Zwischenschritt: den Begriff - das ist neu. Für die Vorstellung ist es wie ein Fleischwolf. Da gibts gedank-lich noch zu tun. Ob es wohl möglich wird, Digitales unmittelbar in Analoges zu-rückzumodeln - ohne Worte? Das ist mehr als bloß ein technisches Problem. Aber noch gestern hätte ich geschworen, Hörbarmachen von Sichtbarem sei das auch.
Nota II. - NEIN! Das ist ganz falsch - noch bevor ich's gepostet habe, ist es mir glücklich klargeworden: Da ist gar nichts "unmittelbar". Zwischen Sehen und Hören liegt ein Vermittlungsberg, der höher ist als der Himalaja. Da ist erst eine Datenmenge größer als der Weltozean, dann eine Rechnerkapazität jenseits aller menschlichen Möglichkeiten, und schließlich ein Algorithmus, der selber lernen konnte. Und alle nicht nur möglich, sondern wirklich gemacht durch denkende menschliche Individuen! Wie konnte ich annehmen, Begriffe hätten keine Rolle gespielt?
Man kann immer wieder nur staunen, wie sehr uns die Digitalisierung den Blick auf das Funktionieren unserer Reflexion schärft.
JE
