Sonifikation: Aus einem analogen Modus in den andern.

aus nzz.ch, 17. 5. 15                                                                       zu Jochen Ebmeiers Realien

In wissenschaftlichen Daten steckt Musik
Das Erbgut des Menschen lässt sich ebenso in Klänge verwandeln wie Gehirnströme

Immer öfter werden Messwerte und Zahlenangaben in Audiodaten verwandelt. Die «Vertonung» macht das Erkennen von Mustern leichter und komplexe Datensätze verständlich. Das soll künftig sogar Chirurgen beim Operieren helfen.


Mithilfe einer Hirn-Computer-Schnittstelle macht Rodrigo Cádiz Musik.

Rodrigo Cádiz, Komponist und Professor an der Päpstlichen Katholischen Universität in Santiago de Chile, bereitet sich auf seinen Auftritt vor. Das Instrument trägt er an der Stirn. Es sieht aus wie ein verrutschter Kopfhörer, ist aber eine Hirn-Computer-Schnittstelle. Die eingebauten Elektroden messen seine Hirnströme, die ein Computer in Töne übersetzt. Cádiz sitzt bewegungslos, mit geschlossenen Augen, auf einem Stuhl.

Dann beginnt seine Performance. Aus dem Lautsprecher erklingen dumpfe sphärische Geräusche, überlagert von einem Pfeifton. Cádiz öffnet seine Augen. Die Klänge werden abwechslungsreicher, der Rhythmus schneller.

Als er hin und her wippt, seine Hände öffnet, wieder schliesst und sie dabei betrachtet, als er aufsteht und langsam umhergeht, steigert sich die Musik ins Dramatische. Cádiz komponiert sie just in diesem Augenblick.


Auftritt von Rodrigo Cádiz in der Universität Bielefeld.

Der Auftritt findet im Zentrum für interdisziplinäre Forschung der Universität Bielefeld statt. Denn die Klänge begeistern nicht nur Fans von elektronischer Musik; Wissenschafter und Ärzte sind ebenfalls fasziniert. Sie hoffen, dass ihnen das Anhören von Hirnwellen künftig bei der Erforschung und Diagnostik von Krankheiten des Gehirns hilft.

 

Ein Physiker verwandelt EEG-Daten in Klänge

Unter Cádiz’ Zuhörern ist Thomas Hermann, Physiker an der Universität Bielefeld und Experte für die Vertonung von Informationen jeglicher Art. Auch für ihn ist Musik eine Leidenschaft. Doch wenn er Hirnwellen und andere Daten in Klänge verwandelt, geht es ihm nicht um neue Musikstücke, sondern um pure Wissenschaft.

Forscher in allen möglichen Disziplinen müssen mit immer komplexeren Datensätzen umgehen. Dafür sollten sie nicht nur ihre Augen, sondern auch ihre Ohren nutzen, findet Hermann: «Das macht die gesamte Informationsverarbeitung angenehmer für den Menschen.» Zudem erleichtere die Sonifikation – so der Fachbegriff für die Verklanglichung von Daten – blinden und sehbeeinträchtigten Personen den Zugang zur Wissenschaft und ihren Ergebnissen. Ganz gleich, ob es dabei um die Erkundung des Weltraums oder die Entschlüsselung unseres Erbguts geht.

Der Bielefelder Physiker hat schon Hirnwellen von Epilepsiepatienten vertont, die per Elektroenzephalografie (EEG) aufgezeichnet wurden. Ein epileptischer Anfall klingt dann so, als würden mehrere Personen im Gleichtakt kräftig auf Metall einschlagen. «Während des Anfalls feuern die Neuronen synchronisiert, diesen Zustand höherer Ordnung hören wir deutlich als Rhythmus», erklärt Hermann. «Unsere Ohren nehmen derart rhythmische Muster und insbesondere deren subtile Veränderungen feiner wahr als unsere Augen.»

Die Ohren befinden sich in ständiger Alarmbereitschaft

In der Erforschung der Epilepsie ist die Verklanglichung schon jetzt von Vorteil. Statt auf einen Bildschirm mit Hirnstromkurven zu schauen, hören die Wissenschafter den Verlauf des Anfalls, während sie ihr Augenmerk voll und ganz auf den Patienten richten. Ebenfalls hilfreich wäre die Technik beim Patienten-Monitoring daheim oder im Krankenhaus. Auffällige Geräusche alarmieren den Hörsinn sofort und sogar dann, wenn Angehörige oder Pflegepersonal schlafen, denn dabei schliessen sie nur die Augen, nicht die Ohren.

Dass der Hörsinn eine ausgeprägte Warnfunktion besitzt, wissen wir von Sirenen und vom Martinshorn. Aber auch von Messinstrumenten wie dem Geigerzähler, der bei radioaktiver Strahlung knackt. Das Gerät gibt es seit fast hundert Jahren. Die Sonifikation ist demnach keine neue Idee. Hermann beschäftigt sich damit seit über zwei Jahrzehnten und hat schon alles Mögliche hörbar gemacht – vom Wetterbericht über den Spritverbrauch eines Autos bis zu Bewegungsprofilen von Spitzensportlern.

Das grösste Potenzial sieht er aber in der Medizin. Ärzte seien besonders offen für den Sound der Daten: «Sie lernen schon in ihrer Ausbildung den Umgang mit dem Stethoskop und wissen daher, dass die Ohren ein guter Kanal für die Informationsaufnahme sind.»

Ist die Vertonung künftig eine Hilfe bei Operationen?

Bald könnte die Technik Einzug in OP-Säle halten. In einem Projekt mit der Zürcher Universitätsklinik Balgrist hat Sasan Matinfar, Sonifikationsspezialist an der Technischen Universität München, den Blutverlust während einer Operation vertont. Warme, beruhigende Hintergrundklänge wie von einem Xylofon signalisieren den Chirurgen, dass alles in Ordnung ist.

Bei hohem Blutverlust verändern sich die Töne, bis ein unangenehm klirrender Sound akute Gefahr meldet. Im Modellversuch hat das bestens funktioniert. Für den Einsatz im OP-Saal fehle aber noch ein Sensorsystem, das die Blutmenge korrekt in Echtzeit erfasse, sagt Matinfar.

Der Blutverlust im Laufe der Operation und andere Datensätze aus wenigen verschiedenen Parametern werden meist mit Rechenvorschriften (Algorithmen) vertont, die jedem Messwert einen bestimmten Sound zuordnen. Je nach Veränderung der Werte variieren zum Beispiel Tonhöhe oder Lautstärke, Rhythmus, Tempo oder der Klang an sich. Zur Verfügung stehen elektronisch erzeugte Töne, aber auch digitalisierte echte Geräusche vom Donnergrollen über Glockenschläge bis zum Vogelgezwitscher.

Matinfar, der vor seinem Informatikstudium Musik studiert hat, benutzt auch Passagen aus klassischen Musikstücken, etwa dramatische Stellen aus einer Cellosuite von Johann Sebastian Bach oder beruhigende Abschnitte aus einem Präludium. Dank künstlicher Intelligenz füllt sich der Werkzeugkasten der Sonifikation immer mehr. Selbst Songs aus individuellen Playlists lassen sich heute schon verwenden.

DNA und RNA werden zu Audiospuren

So vielfältig wie die Mittel der Sonifikation, so vielfältig sind auch die bereits vertonten Daten. Als Soundtrack gibt es bereits den Anstieg der globalen Temperatur und der CO₂-Konzentration der Atmosphäre, das Insektensterben sowie teleskopische Beobachtungen von Spiralnebeln, Gravitationswellen und anderen astronomischen Phänomenen.

Mark Temple, Molekularbiologe an der Western Sydney University in Australien, macht sogar unser Erbgut hörbar. Sein einfachster Algorithmus ordnet den vier DNA-Basen Adenin, Guanin, Cytosin und Thymin jeweils eine andere Note zu und übersetzt die Sequenz der Basen so in eine Tonfolge. Eine andere von ihm entworfene Rechenvorschrift fasst drei aufeinanderfolgende Basen zu einem Ton zusammen. Im genetischen Bauplan für Proteine legt eine solche Dreierfolge fest, welche Aminosäure an welcher Stelle ins Protein eingebaut wird.

Damit die Tonfolgen harmonisch klingen, definiert Temple die Töne entsprechend dem gängigen Dur-Moll-System. Das verbessere die Hörbarkeit und erlaube die Verklanglichung von grossen Datenmengen, sagt er. Aus einer Basensequenz generiert er zudem verschiedene Audiospuren, die übereinanderlegt Akkorde ergeben.

Zu hören sind sogar Fehler in der DNA

Zunächst vertonte Temple einzelne DNA-Sequenzen. Gegenwärtig beschäftigt er sich damit, krankheitsauslösende Genfehler und andere Variationen im Erbgut aufzuspüren. Dafür vergleicht er die Tonspuren von mutierter und fehlerfreier DNA. Es gebe für den Sequenzvergleich zwar viele bioinformatische Methoden, sagt Temple, aber noch keine Sonifikationstechnik.

Damit Gendefekte leicht zu hören sind, lässt er fehlerfreie Sequenzen sanft und Unterschiede hart klingen. Diese Technik ergänzt die klassischen Methoden der Genanalytik. Sie macht die Daten zudem Personen mit Sehbehinderungen zugänglich – aber auch Laien, die mit den üblichen Codes und grafisch-visuellen Darstellungen nicht viel anfangen können. Vielleicht, spekuliert Temple, sei es für das Wohlbefinden von Menschen mit genetischen Krankheiten hilfreich, die Einzigartigkeit ihrer DNA zu hören. Der medizinische Nutzen ist aber noch nicht bewiesen.

Temple agiert zwischen Wissenschaft und Kunst. Er verklanglicht die Daten nach klaren Regeln, seine Projekte haben wissenschaftliche Inhalte. Aber er spielt mit den Tonspuren und stellt sie in einem Dateiformat bereit, das Musiker und Tonstudios direkt verarbeiten können. Temple hat schon RNA-Abschnitte des Coronavirus in Musik verwandelt. Erst kürzlich improvisierte er auf der E-Gitarre zur vertonten DNA des Eukalyptusbaumes, um das Bewusstsein für die Schönheit der Bäume und ihre Bedeutung für das Klima zu schärfen.

Um ein Musikstück zu erhalten, hat Temple verschiedene Tonspuren übereinandergelegt. Unten läuft die RNA-Sequenz durch, die als Code für das Oberflächen-Glykoprotein dient. Die Buchstaben stehen für die vier RNA-Basen Adenin, Cytosin, Guanin und Uracil. Die Ketten aus den Kreisen sind Aminosäuresequenzen, die Buchstaben stehen für die jeweiligen Aminosäuren.

Auf Musik und generell auf Töne reagieren wir oft emotional und intuitiv. Schon aus einem einzigen Geräusch können wir vielfältige Informationen ableiten. Diese Fähigkeit nutzen wir zum Beispiel, wenn wir gegen eine Wand klopfen, um ihre Dicke oder Dämmung festzustellen.

Das Herz klingt anders als die Lunge

In der Medizin zählt das Abklopfen und gleichzeitige Abhören mit dem Stethoskop zu den etablierten Untersuchungsmethoden. Geschulte Ärzte erkennen sogar Lungenkrankheiten wie die Tuberkulose am Klopfgeräusch. Das brachte Thomas Hermann auf eine ungewöhnliche Idee zur Vertonung von komplexen Datensätzen. Am Computer konstruiert er daraus Netzwerke, sozusagen virtuelle Instrumente, die beim «Anschlagen» eingängige Töne erzeugen.

Auch dieses Vorgehen soll Einzug in den OP-Saal halten. Sasan Matinfar, der Münchener Sonifikationsspezialist, nutzt die Methode für eine Klangreise durch den menschlichen Körper. «Wir verwandeln die Charakteristika verschiedener Gewebe in Geräusche», sagt er. Die Daten für die Berechnung der Netzwerke stammen aus der medizinischen Bildgebung. Sie geben an, wie starr oder weich, wie dicht und strukturiert ein Gewebe ist.

Vertonung von Gewebe im menschlichen Körper (Herz, Lunge, Leber, Knochen, Muskel).

So vertont, klingt die Lunge dumpfer als das Herz, ein Knochen härter als Fettgewebe und sogar ein Tumor anders als gesundes Gewebe. Auf dieser Basis entwickelt Matinfar ein klangliches Navigations- und Orientierungssystem für Chirurgen. Es soll ihnen zum Beispiel dabei helfen, Tumorgewebe vollständig zu entfernen. Ferner erleichtert es das präzise Operieren in kritischen Bereichen, etwa wenn ein Krebsgeschwür dicht an einem wichtigen Nerv oder Blutgefäss sitzt.

Bis jetzt werden solche Operationen bildgestützt durchgeführt. Dabei muss der Arzt aber ständig vom Patienten weg auf einen oder mehrere Monitore blicken. Die Verklanglichung der Bilddaten erlaubt es dem Operateur, sein Augenmerk permanent auf den Patienten zu richten. An Modellen und in Virtual-Reality-Experimenten haben Ärzte die klangliche Navigation schon ausprobiert. Tests im OP-Saal stehen aber noch aus.

Nicht nur Ärzte, sondern wir alle «leben in einer Kultur, die uns mit visuellen Informationen überlastet und den Hörsinn vernachlässigt», fasst Hermann zusammen. Mit dieser Einseitigkeit möchte er Schluss machen. Und das ist gut so. Denn angesichts der stetig steigenden Flut von immer komplexeren Daten haben grafisch-visuelle Darstellungen ihre Grenzen erreicht.

 

Nota I. - Analoges digitalisieren tun wir den ganzen Tag, sobald wir nur den Mund auftun. Unsere Zivilisation beruht darauf. Aber Etwas aus einem analogen Modus in einen andern analogen Modus übersetzen ohne digitalen Zwischenschritt: den Begriff - das ist neu. Für die Vorstellung ist es wie ein Fleischwolf. Da gibts gedank-lich noch zu tun. Ob es wohl möglich wird, Digitales unmittelbar in Analoges zu-rückzumodeln - ohne Worte? Das ist mehr als bloß ein technisches Problem. Aber noch gestern hätte ich geschworen, Hörbarmachen von Sichtbarem sei das auch.
 

Nota II. - NEIN!  Das ist ganz falsch - noch bevor ich's gepostet habe, ist es mir glücklich klargeworden: Da ist gar nichts "unmittelbar". Zwischen Sehen und Hören liegt ein Vermittlungsberg, der höher ist als der Himalaja. Da ist erst eine Datenmenge größer als der Weltozean, dann eine Rechnerkapazität jenseits aller menschlichen Möglichkeiten, und schließlich ein Algorithmus, der selber lernen konnte. Und alle nicht nur möglich, sondern wirklich gemacht durch denkende menschliche Individuen! Wie konnte ich annehmen, Begriffe hätten keine Rolle gespielt? 

Man kann immer wieder nur staunen, wie sehr uns die Digitalisierung den Blick auf das Funktionieren unserer Reflexion schärft.
JE