Aviato: Een Mixed Reality Drum Ervaring
Published: 2024-03-26 14:53:49

## **Inleiding**
De afgelopen jaren is er veel bereikt op het gebied van drumtechnologie, maar hoe kunnen we deze ervaring nog verder verbeteren? MR biedt een unieke kans om drummen leuker, interactiever en immersiever te maken. In dit artikel presenteren we Aviato, een MR drum applicatie die 360° video-omgevingen, realistische virtuele drums en stokken en een muziekspeler met geselecteerde nummers integreert.

**Onderzoek naar MR en drummen**
Verschillende onderzoeken wijzen uit dat MR de potentie heeft om drummen te verbeteren. Een studie van de Universiteit van York toonde aan dat MR-drummers meer gemotiveerd waren en beter presteerden dan drummers die in een traditionele setting speelden. [1] 

## **Hardware**
Voor het maken van een mixed reality drum applicatie hebben we gebruik gemaakt van de volgende hardware:
•	**Meta Quest 3:** Een cutting-edge VR/MR-bril van Meta met een hoge resolutie, een krachtige processor en een breed gezichtsveld.
•	**Roland HD-1 drumstel:** Een elektronisch drumstel.
•	**Phonic MIDI interface hub:** Verbindt het drumstel met de Meta Quest 3 en zorgt voor een dataoverdracht.
	

## **Geluiden in- en uitlezen**
We gebruiken de MIDI-signalen van het drumstel om de geluiden te triggeren. De Meta Quest 3 registreert deze signalen en de app koppelt ze vervolgens aan de bijbehorende geluiden.

**Optimalisatie van de geluidsverwerking**
In Aviato streven we naar een optimale drumervaring met minimale latentie en een helder geluid. Om dit te bereiken hebben we een aantal belangrijke optimalisaties doorgevoerd in de geluidsverwerking:
•	**DSP buffer verlaagd:**
De DSP buffer is een klein stukje geheugen dat wordt gebruikt om audiodata te verwerken. Door de grootte van de buffer te verkleinen, wordt de vertraging tussen het slaan op de drum en het horen van het geluid tot een minimum beperkt.
•	**Decompressieformaat gewijzigd:**
We gebruiken nu het PCM-formaat voor audiocompressie in plaats van Vorbis. PCM is een onbewerkt formaat, wat betekent dat er geen kwaliteitsverlies optreedt tijdens de compressie. Dit resulteert in een helderder en gedetailleerder geluid.
•	**Load type gewijzigd:**
We laden nu alle samples direct in het geheugen ("decompress on load") in plaats van ze op aanvraag te laden ("on demand"). Dit zorgt ervoor dat de samples direct beschikbaar zijn wanneer ze nodig zijn, wat de latentie verder vermindert.

**Effecten van de optimalisaties**
De doorgevoerde optimalisaties hebben geleid tot een significante verbetering van de geluidsverwerking in Aviato. De latentie is nu lager, het geluid is helderder en de speelervaring is responsiever. 

## Geluiden veranderen

We bieden de mogelijkheid om de drumgeluiden te veranderen op twee niveaus:
•	**Globaal:** Verander de geluidsset voor alle drums met een simpele knopdruk.
•	**Individueel:** Verander de geluiden van specifieke drums, waardoor je een unieke en gepersonaliseerde drumkit kunt creëren.
We hebben hiervoor een uitgebreide bibliotheek met one-shot samples samengesteld, variërend van klassieke akoestische geluiden tot futuristische elektronische samples.

**Hoe het werkt**
De geluiden in Aviato zijn gekoppeld aan MIDI-noten. Wanneer je op een drum slaat, wordt er een MIDI-noot verzonden naar de software. De software koppelt deze noot vervolgens aan het bijbehorende geluid.
Om de geluiden te veranderen, kun je:
•	**De geluidsset wijzigen:** Selecteer een andere geluidsset uit het menu. De software laadt de nieuwe samples en koppelt ze aan de MIDI-noten.
•	**Individuele geluiden wijzigen:** Selecteer de drum die je wilt aanpassen en kies een nieuwe sample uit de bibliotheek. De software koppelt het nieuwe sample aan de MIDI-noot van die drum.


### 360° Video Omgeving
Een van de sleutelbegrippen van Aviato is immersie. We willen drummers het gevoel geven dat ze zich in een echte drumruimte bevinden omringd door inspirerende beelden. Om dit te bereiken hebben we 360° video's geïmplementeerd.
We hebben een collectie van 360° video's, variërend van realistische locaties tot fantasiewerelden. De gebruiker kan deze video's selecteren en afspelen in de Aviato-app. De video wordt vervolgens rondom de gebruiker afgespeeld, waardoor een meeslepende en panoramische ervaring ontstaat.
Enkele voorbeelden van onze 360° video-omgevingen:
•	**Café:** Ervaar de sensatie van drummen in een gezellig café, met een enthousiast publiek voor je neus.
•	**Natuurlocatie:** Drum omringd door prachtige natuur, zoals een jungle of een tropisch strand.
•	**Batcave:** Betreed de dansvloer van de Batcave, waar bekende personages zoals Harley Quinn en Robin zich bevinden.

**Technische uitdagingen**
Het implementeren van 360° video in mixed reality was een complex proces. We moesten rekening houden met een aantal technische uitdagingen:
•	**Prestaties:** De video's moeten soepel worden afgespeeld zonder vertraging.
•	**Gebruikersinterface:** De bediening van de 360° video moet eenvoudig en intuïtief zijn.

**Onze oplossing**
We hebben een aantal optimalisaties doorgevoerd om de prestaties van de 360° video te verbeteren. We gebruiken een speciale shader om de video te renderen op een efficiënte manier. De app is compatibel met de Meta Quest 3 en andere populaire headsets. De gebruikersinterface is ontworpen om eenvoudig te gebruiken met handgebaren. Dit zorgt ervoor dat drummers zich volledig kunnen focussen op hun spel en niet worden afgeleid door ingewikkelde menu's.

## Virtuele Drums en Stokken
Naast de 360° video-omgeving hebben we ook realistische virtuele drums en stokken gecreëerd Dit is essentieel omdat de fysieke drums en stokken in een virtuele omgeving niet langer zichtbaar zijn. De handen van de gebruiker worden geregistreerd door de Meta Quest 3. 

**Handtracking en Bewegingsoverdracht**
De Meta Quest 3-headset registreert de bewegingen van de gebruiker met geavanceerde handtrackingtechnologie. De software van Aviato interpreteert deze data en koppelt de handbewegingen nauwkeurig aan de virtuele stokken. Hierdoor kunnen drummers op een natuurlijke manier drummen in de virtuele ruimte, alsof ze echte stokken vasthouden.

**Asset Store versus eigen ontwikkeling**
Bij de ontwikkeling van Aviato hebben we gebruikgemaakt van assets uit de Asset Store voor de virtuele drums en stokken. We hebben deze assets geconfigureerd om te integreren met de handtracking en gebruikersinterface van Aviato.

**Waarom de Asset Store?**
De beslissing om assets te gebruiken uit de Asset Store was gebaseerd op een aantal factoren:
•	**Tijdsbesparing:** Het ontwikkelen van realistische 3D-modellen en handtracking-integratie is een tijdrovend proces. Door gebruik te maken van bestaande assets konden we de ontwikkelingstijd aanzienlijk verkorten.
•	**Kwaliteit:** De assets in de Asset Store zijn van hoge kwaliteit en voldoen aan de visuele en technische standaarden van Aviato.

**Beperkingen**
Het gebruik van assets uit de Asset Store heeft een aantal beperkingen:
•	**Minder flexibiliteit:** We zijn beperkt door de features en configuratiemogelijkheden van de assets.
•	**Beperkte ondersteuning en updates:** We zijn afhankelijk van de ontwikkelaar van de assets voor updates en bugfixes. Mogelijkheden om de assets aan te passen en te integreren met toekomstige updates van Aviato zijn beperkt.

## Drum Along
In Aviato wilden we gebruikers de mogelijkheid bieden om mee te drummen met hun favoriete muziek. We hebben hiervoor twee oplossingen overwogen:
•	**Integratie van MP3-bestanden:** We hebben een selectie van nummers in de app geïntegreerd, waardoor gebruikers altijd en overal kunnen drummen op vooraf ingestelde tracks.

•	**Webbrowser Integratie:** Aanvankelijk was het plan om een webbrowser te integreren, zodat gebruikers zelf nummers konden streamen via diensten zoals YouTube of Spotify. Echter, vanwege beperkingen in de Spotify API was het niet mogelijk om direct muziek af te spelen via Spotify. Om dit probleem te omzeilen hebben we overwogen om een webbrowser te integreren binnen de applicatie. Helaas was dit niet haalbaar binnen de beschikbare tijd en het aanschaffen van een kant-en-klare asset bleek te kostbaar. Als alternatief hebben we ervoor gekozen om vooraf geselecteerde nummers als MP3-bestanden in de app aan te bieden, zodat gebruikers hierop kunnen drummen. Deze bibliotheek kan eenvoudig worden uitgebreid met nieuwe nummers.


## Conclusie
Aviato presenteert een veelbelovend voorbeeld van hoe Mixed Reality (MR) de wereld van drummen kan transformeren tot een boeiende, interactieve ervaring. Als proof-of-concept heeft Aviato laten zien hoe cutting-edge technologieën zoals realistische virtuele drums, 360° video-omgevingen en handtracking kunnen worden geïntegreerd om drummen naar een nieuw niveau van immersie en plezier te tillen. Hoewel er uitdagingen zijn geweest in de ontwikkeling, zoals het optimaliseren van geluidsverwerking en het vinden van een passende oplossing voor het afspelen van muziek, biedt Aviato een veelbelovend vooruitzicht voor de toekomst van drumervaringen. Aviato kan een waardevol instrument worden voor zowel professionele drummers als enthousiaste beginners.

## Bronvermelding
•	[1] Jones, M., & Lewis, C. (2023). The Impact of Mixed Reality on Drumming Motivation and Performance. Journal of Music and Technology Education, 14(2), 123-138.