Proprius: Sonification of animal behavior in an autonomous interactive musical ecosystem

Proprius yapay bir ekosistemde yas ayan organizmaların sesselles tirilmesine dayanan, etkiles imli, arttırılmıs gerçeklik bestesidir. Bu çalıs ma biyolojiden ilham alınarak yaratılmıs ve Processing programı kullanılarak tasarlanmıs tır. Tezin içerisinde Processing kullanılarak tasarladıktan sonra, gerçek mekanı zenginles tirilmis mekana çevirirken kullanılan teknikler; seslerin mekansallas tırılması; seyirci üzerinde kullanılan etkiles im metodları; organizmaların seyirciye göre mekanlas tırılması sırasında kullanılan teknikler; ve bütün bunların sonucu olarak duyulan sesselles tirme anlatılmıs tır. Proprius içerindeki yapay ekosistemde yas ayan organizmalar otonom olma özellig ine sahiptirler ve kendi kendilerine avlanmaya ya da avcıdan kaçmaya karar verebilirler. Organizmalar sahip oldukları özellikler dog rusunda beslenecekleri organizmaları seçer ve davranıs larını da bu dog rultuda seçerler. Proprius içerisindeki organizmalar besin zincirinden yola çıkarak tasarlanmıs lardır. Üreticilerden bas layan besin zinciri, ot yiyenler, hem ot hem et yiyenler ve et yiyen organizmalar olmak üzere 4 ayrı kademeden olus ur. Bu ayrı katmanları temsil etmek üzere üreticiler için yes il bitkiler; ot yiyenler için böcekler; hem et hem ot yiyenler için kus lar ve et yiyen canlılar için büyük kediler seçilmis tir. Proprius içerisindeki organizmalar dinleyici için sessel ve etkiles imli bir biçimde tecrübe edilecek müzikal bir ortam meydana getirirler. Bu müzikal ortamın içerisinde yaratılmıs olan farklı sessel katmanlar organizmalar tarafından meydana getirilir. Proprius içerisinde sözü edilen farklı sessel katmanları olus turan organizmalar besteye daha önceden belirlenmis zamana göre art arda eklenir. Organizmalar dog dukları andan itibaren ses çıkarmaya bas lar ve ölene kadar ses çıkarmaya devam ederlerProprius'un yapay ekosistemi Processing programı kullanılarak yaratıldıktan sonra, bu programdan elde edilen veriler sesselles tirmeyi gerçekles tirmek üzere Max/MSP programına gönderilmektedir. Max/MSP programı organizmaların seslerinin gerçek zamanda sentezlenmesi için kullanılmaktadır. Etkiles imli ortamın yaratılması için dinleyicinin mekan içerisindeki konumunun takip edilmesi gerekir. Bunu sag lamak için Kinect sensörü kullanılmıs tır. Kinect sensörü içerisinden dinleyicinin gerçek mekan içerisindeki üç boyutlu konumunu elde etmek için Sypnapse uygulaması kullanılmıs tır. Dinleyici mekanı gezerken sesselles tirmeyi duymak için kulaklık takar. Dinleyicinin zenginles tirilmis gerçeklik içerisindeki mekanı gezerken kulaklıkta duyacag ı sesler binaural audio teknig i kullanılarak dinleyiciye dinletilir. Processing ekranında yapay ekosistemin grafik animasyonu yaratılmıs olsa bile, dinleyici Proprius'u herhangi bir görsel olmadan sadece kulaklıklarla dinleyerek ve yapay ekosistem içerisinde yürüyerek tecrübe eder. Processing ekranında görselles itirilen organizmalar, sadece bestecinin organizmaların hareketlerini ve dinleyicinin yapay ekosistem içerisindeki konumunu ve organizmalara etkisini takip edebilmesi için yaratılmıs tır. Organizmaların sesselles tirilmesi için organizmaların özellikleri ve o sıradaki mevcut olan davranıs ları kullanılmıs tır. Her organizmayı ayrı ayrı temsil etmek üzere farklı ses sentezleme yöntemleri kullanıl- mus tır. Ancak, türler arasında ortak bir es les tirme modeli kullanılmıs tır. Özetle, organizmaların sag lıg ı ses dalgasının genlig ine, organizmaların enerjisi sesin genel frekanssal zenginlig ine, organizmaların boyutu sesin ana frekansına (F0), organizmaların yas ı sesin duyulma sıklıg ına ve organizmaların pozisyonu sesin mekansallas tırılmasına denk gelecek biçimde es les tirilmis tir. Proprius'taki organizmaların davranıs ları, ses olaylarının uzunluk süresini belirler. Av/avcı etkiles imlerine dayalı davranıs lar daha kısa süreye sahipken, otlanma ve dinlenme gibi davranıs lar daha uzun sürerler. Bu, parçanın sahneleri boyunca yapısall varyasyonlar yaratılmasına neden olur. Bitkiler için yaratılan ses sentezmeler sırasında bir koro metaforundan yola çıkarak format sentezi kullanılmıs tır. Bitkilerin boyutu bu sentezin temel frekansı olarak kullanılmıs ve tüm bitkiler arasında harmonik yapılar olus turmak için ortak bir ölçeg edayandırılmıs tır. Böceklerinsesleri, cırcırböceklerininsesleridüs ünülerek modellenmis tir. Bu sesi üretmek için filtrelenmis gürültü sesi cırcır böceg i sesine göre modellenmis amplitüd zarflarından geçirilerek üretilir. Gürültü üzerindeki tepefiltreninmerkezfrekansı, böceg inbüyüklüg ünegörees lenmis tir. Kus sesleri, tas ıyıcı frekansının kus un boyutuna es lendig i FM sentezi ile üretilir. Modülatör frekansı, spektral zenginlik yaratmak için kus un enerjisine es lenmis tir. Amplitüd zarfları dog al kus seslerine göre modellenmis tir. Büyük kedilerin sesleri filtrelenmis gürültü ve eklemeli sentezin birles tirilmesi ile yaratılır. Büyük kedinin büyüklüg üne es les tirilen sentezleyicinin temel frekansı, amplitüd zarfı her tetiklendig inde LFO ile modüle edilir. Organizmaların boyutları frekanslarına göre ters orantılı olacak biçimde es itlenmis tir. Bunu Sonucu olarak, büyük kediler hayvanlar arasında en düs ük frekansa sahiptirler. Farklı bir dinamik aralıg a sahip hayvanların tasarlanması, eserin son bölümünde sonik bir kaosun önlenmesine de yardımcı olur. Zenginles tirilmis gerçeklik içerisine yerles tirilen yapay ekosistem içindeki dinleyici, gerçek mekan içerisinden hareket ederken, organizmalar ile etkiles im halindedir. Organizmalar yapay ekosistem içerisinde var oldukları katmanda yaratılacakları zaman, sistem içerisine rastgele dag ıtılırlar. Zenginles tirilmis gerçeklik içersinde organizmalar ve dinleyici mekanda aynı noktalarda bulundukları zaman, dinleyici organizmaların sag lıg ını bozarak ortaya çıkacak olan müzikal sonuca müdahalede bulunmus olur. Dinleyici Proprius'un yapay ekosistemi içerisinde dolas ıp eseri dinledig i sırada organizmalar ile aynı pozisyonda oldug u zaman organizmaların sag lıklarının normalden fazla bozulmasına neden olur. Normalde dinleyiciden gelen etkiles im olmasa daha organizmlar otonom olduklarından dolayı sag lıklarını belli bir zaman içerisinde kaybedecek davranıs larda bulunuyorlar. Ancak dinleyicinin ekosistem içerisindeki etkisi organizmların sag lıg ını normalden çok fazla bozarak onların ölüm riskini arttıyor. Böylece normalde avlanmaya gidecek olan organizmanın beslenmeden ölme riski artmıs oluyor. Bu çalıs mayı olus turan tezin tamamı bes bölümden olus maktadır. Ilk bölümü bütün tezin nasıl planlandıg ını anlatan giris bölümü olus turur. Daha sonra aras tırma pratig i olan Proprius'u meydana getirmede katkıda bulunan motivasyonlar, tezin hedef ve amaçları ile tezde yaratılmak istenen hedef ve amaçları geçekles tirmeye çalıs ılırken kullanılan metodlar anlatılır. Tezin ikinci bölümü, bu aras tırma kapsamında biyolojiden ilham alarak kullanılan hayvan davranıs ları ile ilgili olan teorileri anlatarak bas lar. Tezin ikinci bölümü daha sonra bu çalıs manın ana temalarını içeren alanlara odaklanır ve tezin aras tırma pratig isırasındakullanılanyaklas ımlarıanlatır. Bubölümünsonkısmında, müzik kompozisyonunda ve ses sanatında ekolojik modellerin kullanımıyla ilgili mevcut çalıs malara genel bir bakıs sunar. Üçüncü bölüm Proprius'un yaratılma as amasına odaklanır. Üçüncü bölümün ilk kısmında organizmaların besin zincirinden yararlanarak bir ekosistem içerisinde nasıl modellendirildikleri, bu modellendirme gerçekles tilirken kullanılan teoriler, hayvan davranıs larının seçiliminin nasıl kurgulandıg ı ve hayvanların ekosistem içerisinde nasılhareketettig ianlatılır. Dahasonrazenginles tirilmis gerçeklikuygulamasının kullanıldıg ı teknikler ile organizmaların mekanda ve seyirciye göre nasıl yerles tirildig i, binaural audio metodunun nasıl uygulandıg ı da anlatılır. Dördüncü bölüm, otonom etkiles imli ekosistem içerisindeki hayvan davranıs larının nasılsesselles tirildig inianlatıyor. Bubölümhayvandavranıs larısesselles tirilirken kullanılan gerçek zamanlı sentezleme metodları, seslerin nasıl sentezlendig ini içerir. Son kısımda ise müzig i olus turan bölümlerin katmanları ayrı ayrı anlatılır. Bu bölüm seyircinin organizmalar ile olan etkiles imi sonucu ortaya çıkan sesselles tirmeyi de anlatır. Tezin son bölümü olan bes inci bölüm, bu çalıs manın gelecekte yönelebileceg i alanları farklı öneriler altında anlatır. Bölüm, bu çalıs manın genel özeti ve eles tiriler kısmından sonra yazarın bu alana faydalı olacag ını düs ündüg ü kapanıs önerileri ile sonlanır. Tezde ayrıca iki adet ek bölümü bulunmaktadır. Ilk ek bölümde, yapay ekosistemin kuruldug u Processing kodu tamamıyla okuyucu ile paylas ılmıs tır. Bilginin paylas arak arttıg ını savunan açık-kaynak topluluklarının da dahil oldug u bu çalıs ma, umuyorum ki gelecekte bu kodu gelis tirecek ya da oldug u gibi kullanacak aras tırmacı ve sanatçılar için bir bas langıç kaynag ı olur. Tezin ikinci ekinde ise tez içerisinde verilen sesselles tirme örnekleri toplu bir biçimde bulunup dinlenebilir. Ayrıca tezin basılı versiyonu içerisinde bulunan CD'de de bu kaynakları bulabilirsiniz. Bu çalıs mayı geleceg in aras tırmacıları ve sessel sanatçılarına mütevazı bir sanatsal yapıt olarak sunuyorum. Bu çalıs manın, müzik kompozisyonunu, ekolojik simülasyon, etkiles imli sanat, artırılmıs gerçeklik içerisinde ses ile harmanlayan bir örnek aras tırma pratig i olarak, alanına güçlü bir katkıda bulundug una inanıyorum. Umuyorum ki medya teknolojilerindeki son gelis melerle, Proprius gibi artırılmıs gerçeklik kompozisyonları daha da önem kazanacaklar.