Exploring Physiology-Based Interactions in Performing Art Using Artistic Interventions / Kunstiliste sekkumiste kasutamine füsioloogiapõhiste interaktsioonide uurimiseks etenduskunstis
Authors: Jansen Taavet , Väljamäe Aleksander 
Published: December 2021

Abstract: Technological innovations like physiological computing offer new possibilities when exploring audience-performer interaction. To avoid technological solutionism that often accompanies biosensor applications in performing art, an artistic interventions approach was used. This paper describes a recent art-science residency consisting of three artistic experiments: the audience’s electrodermal, activity-driven soundscape in a dance improvisation, a “lie detector” applied to the actor just after the performance, and a heart-rate-driven personal discotheque installation. Both artist and scientist provide reflections on future development of this transdisciplinary field from the performing art perspective.

Nüüdisaegne interaktiivne teater toetub tehnoloogilistele uuendustele ja järjest enam kasutatakse uusi tehnoloogiaid ka kunstiteose sisu loomisel: on need siis vaatajate reaktsioone tajuvad riided, voogteatri etendus või vaatajate neurofüsioloogilisi reaktsioone mõõtvad sensorid. Etenduskunstnik Taavet Jansen ja neuroteadlane Aleksander Väljamäe töötasid publiku ja esinejate füsioloogiliste reaktsioonidega kunstiteaduse residentuuris Tallinna Ülikoolis veebruarist 2019 kuni juunini 2019. Füsioloogilisi reaktsioone uuriti kolme kunstilise eksperimendi jooksul või järel ning see artikkel kirjeldabki neid eksperimente, kunstniku mõtisklusi oma uurimisreisist ja arutleb, kuidas selliseid interaktsioonivõimalusi saaks kasutada voogteatri platvormidel. Iga kirjeldatud eksperimendi kohta avaldavad autorid ka oma mõtteid ja teevad ettepanekuid, mida eksperimendi kordamisel võiks teha teistmoodi.
Kunstilises eksperimendis „Neurokoreograafiline eksperiment nr 4“ kasutati interaktiivset lahendust, kus neljale vaatajale kinnitatud sensorid mõõtsid nende erutuse taset (electrodermal activity galvanic skin response) improvisatsioonilise tantsuetenduse vältel Tallinnas, Kanuti Gildi SAALis 06.06.2019. Vaatajate reaktsioone kasutati reaalajas helikujunduse manipuleerimisel. Selline interaktiivne lahendus tekitas kunstiliselt intrigeeriva tagasiside-efekti, kus vaatajate tahtmatud reaktsioonid hakkasid mõjutama kogu lavastuse tervikut. Vaatajad said tahtmatult endale „hääle“, mida said interpreteerida kõik osalised kogu terviku kontekstis.
Kunstilises eksperimendis „Macbeth“ kasutati erutust mõõtvaid sensoreid, salvestamaks näitleja reaktsioone intervjuu ajal, kus esitati küsimusi tema rolliloome kohta etenduses, mis oli lõppenud 10 minutit enne intervjuu algust. Tegemist oli Alo Kõrve Macbethi rolliga Tallinna Linnateatri lavastuses „Macbeth“. Prokurör Steven-Hristo Evestuse läbi viidud intervjuu eesmärgiks oli mõista, milliseid tehnikaid kasutab näitleja oma rolli luues, ning tehnoloogiat kasutades analüüsida, kas näitleja on teadlik laval tehtud otsustest.
Heli- ja valgusinstallatsioon „Heartrate Party“ põhines kontseptsioonil, kus külastaja südamerütm mõjutas kogu installatsiooni heli- ja valguskujunduse tempot. Südamerütmi mõõdeti spetsiaalse sensoriga ja kasutatud videokujundus nii instrueeris osalejaid kui ka andis tagasisidet õnnestumisest või ebaõnnestumisest. Installatsioon oli avatud Tallinnas, Kanuti Gildi SAALi keldrisaalis 05.–07.06.2020 ja seda külastas 20 vaatajat.

aasta esimeses pooles, kui COVID-19 pandeemia põhjustas eriolukorra kogu maailmas, ei tohtinud teatrid ja etendusasutused avalikke üritusi korraldada. Teatrid hakkasid oma etendusi andma voogedastust võimaldavatel platvormidel. Kuna voogteater avab etenduste mängimiseks palju uusi võimalusi, siis me analüüsime residentuuris kasutatud kontseptsioone ka voogteatri perspektiivist. Kõiki eelpool mainitud kontseptsioone oleks võimalik osaliselt kanda üle ka veebikeskkonda, kuid need eeldavad kasutajapoolset tehnoloogilist valmisolekut. Sensortehnoloogiad võimaldavad voogteatri etenduste vaatajate reaktsioone ja käitumist analüüsida ja salvestada. Kuna nende tehnoloogiate kasutus sellises kontekstis on veel uus, siis küsimused, mis puudutavad eetikat ja isikuandmeid, vajavad alles väljatöötamist.

Kokkuvõttes väidame, et väga palju uurimistööd on alles ees ja meetodid, kuidas interpreteerida esinejatelt ja vaatajatelt kogutud andmeid, on alles vaja välja töötada. Tihti kasutatakse andmeid interaktsiooni eesmärgil pigem otseseid tõlgendusi luues – biosignaalide numbriline väärtus tõlgitakse otse mõneks audiovisuaalses kujunduses oluliseks väärtuseks. Selline tõlgendus annab küll laval toimuvale perfektse sünkrooni, kuid vastust jääb ootama oluline küsimus, mida need andmed väljendavad, mida nad tähendavad. Kunstis jääb tihti puudu teoreetilistest teadmistest, mis aitaksid intuitiivselt tehtud kunstilisi otsuseid raamistada. Selline teadmiste ülekandmine kunsti ja teaduse vahel avaks uusi võimalusi kunstiteoste interpreteerimisel, aga ka teaduse rikastamisel.