Symotiv – Ein mit Machine Learning digitalisiertes Symphonieorchester in der virtuellen Realität verstehen

Kurze Beschreibung

Im Projekt Symotiv wurden mit kamerabasiertem Machine Learning die Bewegungen und der Sound eines gesamtes Symphonieorchesters digitalisiert und in der Virtuellen Realität erlebbar und verständlich gemacht.

Lange Beschreibung

Das Ziel des Projekts Symotiv ist es, Menschen durch die Interaktion mit einem virtuellen Orchester an klassische Musik heranzuführen. Mit Hilfe von Virtual Reality ist es nicht nur möglich, in einen dreidimensionalen, virtuellen Konzertsaal einzutauchen, sondern auch Bilder und Klänge aus der Perspektive eines Musikers zu erleben. Dies eröffnet die Möglichkeit, das Geschehen aus neuen räumlichen, aber vor allem klanglichen Perspektiven zu erleben und zu verstehen. Mittels Open-Source Machine Learning Lösungen war es uns möglich mit nur 8 GoPro-Kameras die Bewegungen und den Klang von 50 Musikern und dem Dirigenten zu erfassen und die resultierenden Terrabyte an Daten in ein lehrreiches Virtual Reality Experience zu verwandeln.

In unserem Dokumentationsfilm können Sie sich in 10 Minuten ein Bild des gesamten Arbeitsprozesses und der Zusammenarbeit zwischen Orchester und Forschenden machen. Gefördert wurde das Projekt im Rahmen der “Exzellenten Orchesterlandschaften” der Beauftragten der Bundesregierung für Kultur und Medien.

Link zum Projekt

http://symotiv.de