Dr. Tim Ziemer ist begeistert: „Das ist riesig. Da ist eine Lawine ins Rollen gekommen. Mit diesen Download-Zahlen sind wir an anderen Apps aus der Uni Bremen um Lichtjahre vorbeigezogen.“ In einem Projekt der Masterstudiengänge Informatik und Digital Media hatte der Musikwissenschaftler aus dem Bremen Spatial Cognition Center (BSCC) ein Semester lang 20 Studierende angeleitet. Aufgabe: Die Entwicklung einer alltagstauglichen Smartphone-App auf Basis der „Psychoakustischen Sonifikation“.

Heraus kam „Tiltification“: anwendungsnah, alltagstauglich, hilfreich. Eine ganz andere Wasserwaage-App, denn mit Hilfe von Tönen können Bilder, Tische, Regalbretter oder auch einfach nur eine Kameraaufnahme korrekt ausgerichtet werden. Der zwingende Blick auf das Display entfällt – auch wenn es darauf trotzdem eine optische Anzeige gibt. Tim Ziemer: „Ein Geselle hat schon begeistert zurückgemeldet, dass er beim Außeneinsatz nun endlich nicht mehr seinen Chef braucht, der die Wasserwaage im Blick hat. Er kann die Werkstücke jetzt auch alleine ausrichten.“

Man hört, wenn etwas richtig ausgerichtet ist

Aber was ist eigentlich psychoakustische Sonifikation? Der Begriff bezeichnet die Darstellung von Daten durch Klänge. „Wasserwaagen-Apps für Smartphones gibt es viel“, sagt Ziemer. „Aber bei unserer App muss man nicht zwingend auf das Display schauen, um zu wissen, wann etwas ‚in Waage‘ ist. Man hört es einfach!“

Die Smartphone-App gibt es sowohl für Android als auch iOS-Systeme. Sie nutzt die Sensoren, die in praktisch jedem Gerät verbaut sind. So lässt sich beispielsweise ein Tisch horizontal ausrichten, indem man einfach das Gerät drauflegt. Man sieht auch etwas auf dem Display – wie von „herkömmlichen“ Wasserwaagen-Apps gewohnt. „Der Clou bei Tiltification ist, dass die App die beiden Winkel des Handys zusätzlich akustisch mitteilt – deutlich genauer als die klassische Libelle“, erläutert Ziemer.

Die App informiert bei der beschriebenen Anwendung darüber, in welche Richtung und wie weit das Handy geneigt werden muss, um es horizontal auszurichten. Das geschieht nicht mittels Sprache: „Bis der aktuelle Winkel ausgesprochen wäre, hat er sich vielleicht längst wieder geändert. Stattdessen nutzen wir die psychoakustische Sonifikation.“

Künftig sollen auch Chirurgen von der Technologie profitieren

Eine einfache Form dieser Technik kennen manche vielleicht aus dem akustischen Parkassistenten eines Autos: Je nach Ton erfährt man, wie weit der Wagen noch vom das nächsten Hindernis entfernt ist. Die psychoakustische Sonifikation ist das aktuelle Forschungsthema von Tim Ziemer. „Dieser Klang kann deutlich mehr Informationen tragen. In Zukunft soll er zum Beispiel auch Chirurgen sicher durch minimalinvasive Operationen navigieren.“

In dem Master-Projekt der Universität Bremen kamen die 20 Studierenden der Informatik und Digital Media erstmals mit der psychoakustischen Sonifikation in Berührung. Ihre Aufgabe war es, Laien diese abstrakte Technologie verständlich zu erklären und zugänglich zu machen. „Streng genommen kommuniziert psychoakustische Sonifikation nichts weiter als eine dreidimensionale Koordinate. Die Auflösung liegt dabei bei hunderten Datenpunkten je Raumdimension zu dutzenden Zeitpunkten pro Sekunde“, so Experte Ziemer.

Wie man sich diese Technologie vorzustellen hat und wie sie für jeden Menschen nützlich sein kann – das fragten sich die 20 Studierenden ein sehr intensives Semester lang. „Normalerweise laufen solche Masterprojekte über zwei Semester mit je 20 Stunden pro Woche. Hier haben wir einen ‚Fulltimejob‘ gemacht: Die Studierenden haben 40 Stunden pro Woche dran gearbeitet, also ein realistisches ‚Job-Feeling‘ bekommen.“

Wegen der Corona-Einschränkungen kam das Team nicht ein einziges Mal physisch zusammen, sondern tauschte sich durchweg ausschließlich online aus. „Für die Lehre und das Gemeinschaftsgefühl war das eine Herausforderung, aber bei Programmierenden hat sich Online-Zusammenarbeit ohnehin vor mehr als zehn Jahren fest etabliert. Weil unser Projekt ‚Open Source‘ ist, können nicht nur wir, sondern alle Menschen rund um den Globus Tiltification weiterentwickeln.“

„Eine moderne Form der Wissenschaftskommunikation“

Das Ergebnis kann sich jedenfalls sehen lassen, und das erklärt auch den Erfolg. „Die Studierenden haben diese App konzipiert, implementiert, gestaltet und fleißig Social-Media-Marketing betrieben“, freut sich Ziemer über das rundum gelungene Ergebnis. „Tiltification ist eine moderne Form der Wissenschaftskommunikation. Multimedia ist schon lange fester Bestandteil der Wissensvermittlung. Aber durch eine interaktive App können Menschen Technologien nicht nur passiv zur Kenntnis nehmen, sondern eigenständig ausprobieren und so verstehen lernen.“ Die großen App-Stores würden für weltweite Verfügbarkeit und einfache Installation sorgen.

Gleichzeitig warnt der Musikwissenschaftler vor dem anfänglichen Schock, denn der Klang ist eher ungewöhnlich. Dennoch würden Nutzende den Klang in nur wenigen Minuten interpretieren lernen. Und sobald sie diesen wie jede andere Digitalanzeige „durch Hören lesen“ können, wandelt sich das erschreckende Geräusch in ihrer Wahrnehmung zu einem informativen Klang: „Man muss es nur zulassen und ihre Ohren nicht davor verschließen.“

Tiltification rüstet die Anwendenden nicht nur mit einer neuen Technologie aus – die App macht auch bewusst, wie präzise das menschliche Gehör Klänge analysieren kann und umgekehrt, wie informativ Klang sein kann. Tim Ziemer: „Wer den Dreh raus hat, kann uns durch das Spielen des CURAT Sonification Games dabei unterstützen, den Sound zu optimieren.“

Hier gibt‘s weitere Infos – und die Apps:

Webseite der App „Tiltification“

App im Playstore downloaden

App im Appstore downloaden

App „CURAT Sonification Game“ im Playstore downloaden

Mehr Informationen zum Open Source Projekt