SONA – Thomas Meckel – Akademie für Theater & Digitalität
SoNA – Thomas Meckel
Kooperationspartner: Akademie für Theater & Digitalität
SONA ist ein auditives Virtual-Reality-Format aus der Perspektive blinder Menschen. Zu drei Labor-Modulen in Dortmund und Köln bringen wir unser Team blinder Spielgestalter*innen mit internationalen Expert*innen zusammen, um neue Audio-VR-Technologien zu entwickeln.
Mit SONA experimentieren wir seit 2024 an VR-Formaten, die sich am Alltagswissen blinder Menschen orientieren. Ausgestattet mit Gaming-Headset, Bewegungserfassung und sensorischen Schuhen erlebst du Abenteuer aus interaktivem Klang. Durch Bewegung und mit deiner Stimme steuerst Du das Game in einem großen dunklen Raum. Anfang 2025 entwickelten wir in Koproduktion mit dem Kölner Blindenverein und gemeinsam mit 19 sehbehinderten Spielgestalter*innen neue Geschichten, Methoden und Level für das Game.
Modul 1: Mobiles Audio-VR-Game für das Smartphone
15. bis 24.09.2025 Akademie für Theater und Digitalität (Dortmund)
In unserer Arbeit mit blinden Menschen kommt häufig der Wunsch nach einem flexibler zugänglichen Audio-VR-Game auf, das ohne teures Equipment und VR-Studio spielbar ist. Daher möchten wir eine App programmieren, die auf Rotations- und Beschleunigungssensoren, GPS, sowie auf Bewegungserfassung durch Smartphonekameras zurückgreift, um mobile Audio-VR-Experiences möglich zu machen. Im ersten Modul entwickeln wir den ersten technischen Prototyp.
Expert*innen: Christian Tronhjem (Ubisoft), Dennis Scheiba (Robert Schumann Hochschule Düsseldorf), Jens Epe (World of VR), u.a.
Modul 2: Virtual Sonar
13.10. – 04.11.2025 Un-Label – Labor für inklusive Kultur (Köln)
Wir sind fasziniert von der Echoortung, durch die viele blinde Menschen navigieren, indem sie die Reflektion eines Klangs auf den Oberflächen eines Raums interpretieren. Inspiriert von dieser Technik möchten wir virtuelle Tools zur akustischen Navigation entwickeln und mit unserem Co-Development Team testen.
Der Ring-Scanner z.B. sendet – gezielt durch den Blick der Spieler*in – bis zu 50 virtuelle Klangstrahlen aus, die mit virtuellen Architekturen kollidieren. Diese Kollisionspunkte klingen je nach Position und virtueller Textur des Kollisionspunktes spezifisch – sodass daraus Informationen zur Orientierung abgeleitet werden können.
Außerdem: Vibrierender Raum, Laser-Scanner (Klingt bei Bewegung), virtueller Blindenstock, Einsatz des vibrierenden Hand Controllers.
Wir laden blinde Expert*innen für aktive Echoortung ein.
Expert*innen: Christian Tronhjem (Ubisoft), Alessandro Famà (Audiokinetic), Expert*in für aktive Echo-Location (tbc)
Co-Development-Workshops in Modul 2:
22.10. – 15:00-18:00
23.10. – 15:00-18:00
24.10. – 15:00-18:00
25.10. – 12:00-15:00
Workshops zu Virtual Sonar: VR-Testings und RolePlay Games zu Virtual Sonar Tools
1.11. Präsentation von SONA – Seeing Sound (geführt von blinden und sehbehinderten VR-Guides aus dem SONA Co-Development-Team)
Modul 3: AI-basierte Stimm- und Bewegungsanalyse als Controller
24. bis 30.11.2025 Akademie für Theater und Digitalität (Dortmund)
Als zentrales Steuerungswerkzeug für das Audio-VR Game möchten wir die Stimme der Spieler:in intensiver erforschen. Über AI-gestützte Systeme sollen komplexe Dialoge mit virtuellen Figuren möglich werden.
Außerdem arbeiten wir an AI-basierten Computer-Listening-Systemen, die in Echtzeit Vokale und Konsonanten der Stimme analysieren, die als Trigger für Spielmechanismen eingesetzt werden können.
Weiter Fokus ist die AI-basierte Analyse von Bewegungensdaten um daraus Schritt-Trigger und weitere Spielrelevante Bewegungsmuster zu erkennen.
Expert*innen: Tobias Meisen (Institute for Technologies and Management of Digital Transformation, Universität Wuppertal), Veronika Batzdorfer (Karlsruher Institut für Technologie), Dennis Scheiba, u.a.
Mehr Infos zum Projekt SONA
