Virtual und Augmented Reality in zeitgenössischer Musik und Klangkunst

field notes #19

1 November, 2020 | Karin Weissenbrunner

ʊmˌvɛltn̩
©Konzerthaus

Virtual Reality (VR) und Augmented Reality (AR) lassen zunächst an Computerspiele mit VR-Brillen oder Smartphone- Apps wie das populäre Pokémon Go denken. Nachdem Jaron Lanier, Gründer von VPL Research, in den 1980er Jahren begann, Virtual Reality marktfähig zu machen und damit auch den Begriff prägte [1], gewinnt heute die Interaktion mit künstlichen Umgebungen in unterschiedlichsten Bereichen an Bedeutung.

Anwendungsfelder reichen von der Behandlung von Phantomschmerzen bei Amputationspatient*innen bis hin zur Einrichtung der IKEA-Einbauküche. Die Möglichkeit der aktiven Teilhabe macht diese innovativen Zugänge auch für Kulturinstitutionen interessant. Diese dringen mit Angeboten von virtuellen Museumsrundgängen oder Konzerterlebnissen inmitten des Orchesters (wie das Konzerthaus Berlin) in neue Publikumskreise vor. Doch inwiefern eröffnen diese Technologien ein Spielfeld für künstlerische Projekte, um interdisziplinäre Ansätze zu erproben und in unerforschte Felder vorzustoßen? In virtuellen Umgebungen ist Musik oft eine emotionale Stütze für visuelle Inhalte oder ein Steuerungselement für die Blickrichtung der Nutzer*innen. Doch worin liegen Potenziale dieser digitalen Werkzeuge speziell aus der Perspektive des Klangs?

Künstliche und reale Welten berühren sich in digitalen Medien auf unterschiedliche Weise: Virtual Reality erlaubt das vollkommene Eintauchen in simulierte 3D-Erfahrungsräume, während Augmented Reality die reale Umgebung mit virtuellen Elementen erweitert. Für die Gestaltung von künstlichen Welten und deren Erleben ist das Zusammenwirken von Bildern, Interaktivität und Immersion elementar.

In künstlerischen Projekten fallen diese Faktoren unterschiedlich ins Gewicht. In den Arbeiten der Serie »The New Infinity. Neue Kunst für Planetarien« der Berliner Festspiele steht der immersive Charakter des Fulldomes, ähnlich eines Planetariums, im Vordergrund. Audiovisuelle Objekte und Projektionen von unbekannter, künstlicher Räumlichkeit in einer umschließenden Architektur wie bei »Non-face« von Robert Lippok und Lucas Gutierrez (2019) erzeugen sphärische Expansionen und die Illusion einer sich auflösenden Grenze zwischen Innen und Außen [2]. In den Musiktheaterstücken »Stadt Land Fluss« (2017–2019) von Hannes Seidl (Komponist) und Daniel Kötter (Filmemacher) hingegen, wird das immersive Raumerleben einem realen Bühnenraum gegenübergestellt – dem »Klang-Raum des temporären Zusammenlebens des Publikums« [3]. In ihrer Trilogie präsentiert das Künstlerduo Filme, die mit einer 360°-Kamera komplette Außenräume eingefangen haben, um sie in einem Innenraum in unterschiedlicher medialer Konstellation wiederzugeben: Besucher*innen erkunden in »Stadt (Land Fluss)« mit elektromagnetischen Kopfhörern mehrere Bühnen-, Hör- und Stadträume inmitten von Live-Musiker*innen. Für »Fluss (Stadt Land)« erhält das Publikum jeweils isoliert mit VR-Brillen Zugang zu den Bildern im Bühnenraum – das Künstlerduo thematisiert damit den gerade sehr aktuellen Kontrast zwischen global vernetzter Welt und isoliertem Raum.

Andere Projekte setzen verstärkt auf interaktive Systeme. Diese besitzen die Fähigkeit, je nach Design, spezifische Reaktionen durch ein Verhalten und unter Berücksichtigung von vorherigen Aktionen auszulösen. Jede Interaktion hinterlässt eine Spur, womit der unmittelbare Einfluss des Individuums auf seine Umwelt deutlich wird. Statt passiven Zuschauer*innen sind hier aktive Anwender*innen gefordert, ihr Erlebnis durch ihre eigene Teilnahme zu beeinflussen. Dies ist der Fall in Julian Bonequis und Mark Bardens Kollaboration »ˈʊmˌvɛltn̩« am Konzerthaus Berlin (siehe das field notes Interview mit Mark Barden in Diskurs).

Eine soziale Komponente von interaktiven VR-Anwendungen betont der Komponist Alexander Schubert in »A Perfect Circle« (2019) [4], während die klangliche Ebene hier eher eine begleitende Rolle übernimmt. In therapeutischen Gruppensitzungen mit VR-Brillen und daran montierten Kameras geht es um Selbstwahrnehmung und Körpererinnerungen. Die in zwei Gruppen aufgeteilten Teilnehmenden erhalten Anweisungen, bestimmte Körperbewegungen und Berührungen vorzunehmen. Dabei beobachtet eine Gruppe ihre eigenen Bewegungen, während die andere Gruppe mit dem Einsatz von »Projected Mapping« die virtuelle Sicht der »Avatar«-Gruppe verfolgen kann. Dieser Wechsel der Sichtweise fördert neue Erfahrungen einer virtuellen Körperlichkeit.

Nicht zuletzt ermöglichen VR-Anwendungen auch Zeitreisen in vergangene und nicht mehr existierende Klangräume und damit die Dokumentation und digitale Archivierung von audiovisuellen Aufführungen. Das Projekt »Virtual Electronic Poem« (2005), an dem auch die TU Berlin beteiligt war, macht Edgard Varèses einflussreiche Komposition »Poème electronique« wieder erlebbar. Es gilt als eines der ersten immersiven Multimedia-Events, das 1958 nur temporär im Philips-Pavillon während der Brüsseler Weltausstellung präsentiert wurde. Mit Hilfe von VR-Brille und Binauraltechnik wurden die Eindrücke der elektroakustischen Klänge, begleitet von visuellen Elementen Le Corbusiers, in der außergewöhnlichen Architektur hyperbolisch- paraboloider Formen Iannis Xenakis’ rekonstruiert. Mit dem simulierten Kunstwerk ist aber zugleich ein virtueller Aufführungsraum entstanden, der zu neuen Kompositionen einlädt [5].

Die technischen Entwicklungen der virtuellen Tools vereinen mehrere Vorzüge, die den aktuellen Tendenzen in Komposition und Klangkunst entgegenzukommen scheinen: spartenübergreifende, hybride Formate, kollektive Zusammenarbeit und mit aktiver Publikumsbeteiligung Alternativen zu traditionellen Rezeptionsformen. Das Erleben von virtuellen Realitäten gehört zu der Erfahrungswirtschaft (Experience Economy), einer neuen und wachsenden Dienstleistungswirtschaft, und wird wohl mit der Corona-Pandemie und der Einschränkung von »analogen«, sozialen Zusammenkünften weiter an Bedeutung gewinnen.

Literatur

[1] Stocker S. (2008) Virtual Reality. In: Erlhoff, Michael, und Tim Marshall (Ed.). 2008. Wörterbuch Design. Basel: Birkhäuser Verlag AG.

[2] Vgl. Koerner, Natalie (16.09.2019). »Das Eigenleben digitaler Objekte«. https://blog.berlinerfestspiele.de/das-eigenleben-digitaler-objekte   (Abruf: September 2020).

[3] www.hannesseidl.de/pieces/fluss/   (Abruf: September 2020).

[4] Vgl. www.alexanderschubert.net/works/A_Perfect_Circle.php (Abruf: September 2020).

[5] Weinzierl, Stefan (2008). Virtuelle Akustik und Klangkunst. Fortschritte der Akustik – DAGA 2008, (S. 38).

– Karin Weissenbrunner

Karin Weissenbrunner promovierte in London und ist u. a. Co-Dramaturgin und Managerin beim Ensemble KNM Berlin.

  • Feature
  • fieldnotes19
  • Virtual Reality
  • Augmented Reality

For further reading