Besseres Hörerlebnis bei Augmented-Reality-Anwendungen
Besseres Hörerlebnis bei Augmented-Reality-Anwendungen
TH Köln entwickelt Verfahren zur Anpassung der Darbietung virtueller Schallquellen
Mithilfe von Augmented-Reality (AR) werden virtuelle Elemente in das reale Umfeld der Nutzerinnen und Nutzer eingebettet. Wenn der Ton in der digitalen Anwendung aber nicht zur Raumakustik passt, wird das bruchlose Eintauchen in die erweiterte Realität, die Immersion, gestört. Das Institut für Nachrichtentechnik der TH Köln hat deshalb im Rahmen des Projektes EarKAR ein Verfahren entwickelt, um virtuelle Schallquellen adäquat in das reale Umfeld der AR-Nutzenden einzubinden.
Augmented Reality schafft eine sogenannte Mixed Reality, eine Kombination aus realer und computergenerierter Wirklichkeit. Im Gegensatz zur Virtual Reality wird dabei keine neue Welt, sondern eine Erweiterung der physischen Umgebung kreiert– etwa über mobile Endgeräte oder Datenbrillen. Mithilfe dieser Technik kann zum Beispiel ein Videochat-Gesprächspartner als Hologramm im Raum abgebildet werden. Damit diese Einbettung in die reale Welt möglichst realistisch ist, müssen verschiedene Kriterien wie korrekte Maßstäbe und Schatten, aber auch eine Anpassung des virtuellen Tons an die vorhandene Raumakustik, erfüllt sein.
„Wenn ein Mensch einen Raum betritt, hat er aufgrund der optischen Eindrücke eine gewisse Erwartungshaltung, wie dieser klingt. In Kirchen oder Turnhallen zum Beispiel erwartet man ein langes Nachhallen. Bei Augmented-Reality-Anwendungen, die das nicht berücksichtigen, wird das immersive Erlebnis gestört“, sagt Johannes Arend, wissenschaftlicher Mitarbeiter am Institut für Nachrichtentechnik. „Deshalb haben wir ein Verfahren entwickelt, mit dem raumakustische Eigenschaften der Umgebung ermittelt werden können und eine Anpassung der Darbietung virtueller Schallquellen an die gegebene Raumakustik ermöglicht wird“, ergänzt der wissenschaftliche Mitarbeiter Tim Lübeck.
Künstliche Intelligenz ermittelt raumakustische Eigenschaften
Das Team des Instituts forschte an einer Software, die mithilfe von Künstlicher Intelligenz (KI) verschiedene raumakustische Parameter extrahiert und eine Voraussage über die Raumakustik des realen Umfelds trifft. „Die KI ermittelt anhand von Bildinformationen, um welche Art von Umgebung es sich handelt – also ob sich die AR-Nutzerinnen und Nutzer zum Beispiel in einer Kirche oder einem Badezimmer aufhalten. Die Darbietung der virtuellen Schallquelle wird anschließend basierend auf dieser Erkennung an die passende Raumakustik des realen Umfelds angepasst“, sagt der wissenschaftliche Mitarbeiter Damian Dziwis. Diese Lösung soll in gängige Augmented-Reality-Systeme integriert werden können.
Die Ergebnisse des abgeschlossenen Forschungsprojekts unter der Leitung von Prof. Dr. Christoph Pörschmann vom Institut für Nachrichtentechnik der Fakultät für Informations-, Medien- und Elektrotechnik bilden die Grundlage für weitere wissenschaftliche Arbeiten. Im Rahmen von Promotionen sollen zusätzliche Modifikationen des Verfahrens erforscht und entwickelt werden. „Die Promovierenden wollen das KI-Modell mit zusätzlichen Sensoriken bestücken. Zudem versuchen sie in Hörversuchen zu ermitteln, wie schnell und exakt die Anpassung der Darbietung tatsächlich erfolgen muss, um Immersion zu gewährleisten, und welchen Einfluss es auf das Hörerlebnis hat, wenn die Darbietung während der Nutzung der AR-Anwendung optimiert wird“, so Pörschmann.
Das Forschungsprojekt „Erzeugung von audiovisueller räumlicher Konvergenz für Augmented Reality Anwendungen und Systeme“ (EarKAR) wurde in Kooperation mit der Dear Reality GmbH bearbeitet und über den NRW-Leitmarktwettbewerb CreateMedia.NRW im Rahmen des Europäischen Fonds für regionale Entwicklung (EFRE) gefördert.
Die TH Köln zählt zu den innovativsten Hochschulen für Angewandte Wissenschaften. Sie bietet Studierenden sowie Wissenschaftlerinnen und Wissenschaftlern aus dem In- und Ausland ein inspirierendes Lern-, Arbeits- und Forschungsumfeld in den Sozial-, Kultur-, Gesellschafts-, Ingenieur- und Naturwissenschaften. Zurzeit sind rund 27.000 Studierende in etwa 100 Bachelor- und Masterstudiengängen eingeschrieben. Die TH Köln gestaltet Soziale Innovation – mit diesem Anspruch begegnen wir den Herausforderungen der Gesellschaft. Unser interdisziplinäres Denken und Handeln, unsere regionalen, nationalen und internationalen Aktivitäten machen uns in vielen Bereichen zur geschätzten Kooperationspartnerin und Wegbereiterin.
Kontakt für die Medien TH Köln Referat Kommunikation und Marketing Presse- und Öffentlichkeitsarbeit Marcel Hönighausen 0221-8275-5205 pressestelle@th-koeln.de