Sesleştirme

Sesleştirme, Selenleme, İşitselleştirme (Veri işitselleştirme) veya Sonifikasyon bilgi iletmek veya verileri algılamak için konuşma dışı sesin kullanılmasıdır. İşitsel algı, görselleştirme tekniklerine alternatif veya tamamlayıcı olarak olasılıkları açan zamansal, uzaysal, genlik ve frekans çözünürlüğünde avantajlara sahiptir.

Örneğin bir Geiger sayacının tıklama hızı, cihazın yakın çevresindeki radyasyon seviyesini aktarır.

Her ne kadar Uluslararası İşitsel Gösterim Topluluğu (ICAD) gibi forumlarda veri işitselleştirme ile ilgili pek çok deney araştırılmış olsa da sonlaştırma, verilerin sunulması ve analiz edilmesinde yaygın kullanım konusunda birçok zorlukla karşı karşıyadır. Örneğin, araştırmalar verilerin işitselleştirmelerini yorumlamak için yeterli bağlam sağlamanın zor ama önemli olduğunu gösteriyor. Sesleştirme araştırması ve veri araştırması için esnek araçların bulunmaması nedeniyle birçok sesleştirme girişimi sıfırdan kodlanıyor.

 Geçmiş 
1908'de icat edilen Geiger sayacı sesleştirmenin en eski ve en başarılı uygulamalarından biridir. Bir Geiger sayacında düşük basınçlı gaz tüpü bulunur; Algılanan her parçacık, gazı iyonlaştırdığında bir akım darbesi üreterek bir ses tıklaması üretir. Orijinal versiyon yalnızca alfa parçacıklarını tespit edebiliyordu. 1928'de Geiger ve Walther Müller (Geiger'in doktora öğrencisi), sayacı daha fazla iyonlaştırıcı radyasyon türünü tespit edebilecek şekilde geliştirdiler.

1913 yılında Birmingham Üniversitesi'nden Dr. Edmund Fournier d'Albe, siyah baskıyı tespit etmek ve bunu duyulabilir bir çıktıya dönüştürmek için selenyum fotosensörlerini kullanan optofonu (optophone) icat etti. Görme engelli bir okuyucu, kitabı cihaza doğru tutabilir ve okumak istediği alana bir aparat tutabilir. Optofon bir dizi nota çalıyordu: g c' d' e' g' b' c e. Her nota, optofonun okuma alanındaki bir konuma karşılık geliyordu ve siyah mürekkep algılanırsa bu not susturuluyor. Böylece eksik notlar sayfada siyah mürekkebin bulunduğu ve okumak için kullanılabilecek yerleri gösteriyordu.

Pollack ve Ficks, 1954'te işitsel ekran aracılığıyla bilginin aktarımına ilişkin ilk algısal deneyleri yayınladılar. Zamanlama, frekans, ses yüksekliği, süre ve uzaysallaştırma gibi ses boyutlarını birleştirmeyi denediler ve deneklerin aynı anda birden fazla boyuttaki değişiklikleri kaydetmesini sağlayabileceklerini buldular. Bu deneylerde bundan daha fazla ayrıntıya girilmedi çünkü her boyutun yalnızca iki olası değeri vardı.

1970 yılında, Nonesuch Records, Amerikalı besteci Charles Dodge'un "Dünyanın Manyetik Alanı" adlı yeni bir elektronik müzik bestesini yayınladı. Bu beste, Columbia-Princeton Elektronik Müzik Merkezi'nde üretildi. Başlıktan da anlaşılacağı gibi, bestenin elektronik sesleri dünyanın manyetik alanından elde edilen verilerden sentezlendi. Bu nedenle, bilimsel verilerin bilimsel amaçlardan ziyade sanatsal amaçlar doğrultusunda ilk seslendirilme örneği olabilir.

John M. Chambers, Max Mathews ve F.R. Bell Laboratuvarlarından Moore işitsel grafik üzerine ilk çalışmayı 1974'teki "İşitsel Veri Denetimi" teknik bildirisinde yaptı. 
Sınıflandırmada kullanmak üzere frekans, spektral içerik ve genlik modülasyonu boyutlarına göre değişen sesleri kullanarak bir dağılım grafiğini genişlettiler. Bu deneylerin etkililiğine ilişkin herhangi bir resmi değerlendirme yapmadılar.

1976'da teknoloji filozofu Don Ihde şöyle yazmıştı: "Tıpkı bilimin neredeyse tüm fenomenleri için sonsuz sayıda görsel imge üretiyor gibi görünmesi gibi - atomlardan galaksilere kadar bize sehpa kitaplarından bilim dergilerine kadar tanıdık geliyor; bu yüzden ' müzikler de görselleştirmeleri üreten aynı verilerden üretilebilir." Bu, yaratıcı bir uygulama olarak sesleştirme için yapılan ilk referanslardan biri gibi görünüyor.

1982'nin başlarında Davis, California Üniversitesi'nden Sara Bly, verileri sunmak için bilgisayar tarafından üretilen sesin kullanımına ilişkin çalışmasının örnekleriyle birlikte iki yayınını yayınladı. O zamanlar bilimsel görselleştirme alanı ivme kazanıyordu. Diğer şeylerin yanı sıra, çalışmaları ve eşlik eden örnekler, görsel ve işitsel sunumun özelliklerini karşılaştırarak "Ses teklifleri ve iyileştirme ve grafik araçlarına bir alternatif" olduğunu ortaya koydu. Çalışmaları, uygun veri temsilinin tür ve amaç ile eşleştirilmesine yardımcı olmak için erken deneye dayalı veriler sağlıyor.

Ayrıca 1980'li yıllarda nabız oksimetreleri yaygın olarak kullanılmaya başlandı. Nabız oksimetreleri, daha yüksek konsantrasyonlar için daha yüksek perdeler yayarak kandaki oksijen konsantrasyonunu sonize edebilir. Ancak pratikte, nabız oksimetrelerinin bu özel özelliği, tıbbi ortamlarda çok fazla ses uyaranı riski nedeniyle tıp uzmanları tarafından yaygın olarak kullanılamayabilir.

1992 yılında, Uluslararası İşitsel Gösterim Topluluğu (ICAD), Gregory Kramer tarafından veri sonifikasyonunu da içeren işitsel gösterim üzerine araştırmalar için bir forum olarak kuruldu. ICAD o zamandan bu yana, konferansı ve hakemli bildirileri aracılığıyla bilgi aktarmak için sesin kullanımıyla ilgilenen birçok farklı disiplinden araştırmacıların yuvası haline geldi.

Mayıs 2022'de NASA, Perseus galaksi kümesinin merkezindeki kara deliğin sonifikasyonunu (basınç dalgalarıyla ilişkili astronomik verileri sese dönüştürerek) bildirdi.

 Bazı varolan uygulamalar ve projeler 

 İşitsel altimetre, paraşütle atlamada da kullanılır
 İşitsel termometre
 Örneğin her saniyede bir duyulabilen tik takları ve her 15 dakikada bir özel çanları olan saatler
 Kokpit işitsel ekranları
 Geiger sayacı
 LIGO'da Kütleçekimsel dalgalar
 İnteraktif sesleştirme
 Medikal ve cerrahi işitsel ekranlar
 Görsel aşırı yükü ve yorgunluğu en aza indirmek için multimodal (birleşik algılama) ekranlar
 Navigasyon
 DNA
 Uzay fiziği
 Ameliyathanelerde ve yoğun bakımda nabız oksimetresi 
 Motorlu taşıtlarda hız alarmı
 Sonar
 Fırtına ve hava durumunun sesleştirmesi
 Volkanik etkinlik tespiti
 Parçacık Yörünge Sonifikasyonu Kullanılarak Yüksek Boyutlu Verilerin Küme Analizi
 Dow Jones Endüstriyel Ortalamanın hacmi ve değeri
 Görme engelliler için görüntülerin sesleştirilmesi
 CURAT Sonification Game (psikoakustik sesleştirme temelli dayalı)
 Tiltification (psikoakustik sesleştirme temelli dayalı)
 SonifiedSilberman, S. (February 6, 2012). “Inside the Mind of a Synaesthete”. PLOS ONE.  bir video kameradan alınan görsel bilgileri gerçek zamanlı olarak sese çeviriyor (2011).Weidenfeld, J. September 28, 2013. "10 Cool Ways To Create Music With Technology". Listserve.Byrne, M. February 14, 2012. “With Images for Your Earholes, Sonified Wins Augmented Reality with Custom Synesthesia”. Vice / Motherboard
 PriceSquawk Sesli Pazar Teknolojisi 

 Sesleştirme teknikleri 
Kullanıcının ses algısını ve dolayısıyla gösterilen temel bilgiye ilişkin algısını değiştirmek için birçok farklı bileşen değiştirilebilir. Çoğu zaman, bu bilgideki bazı seviyelerdeki bir artış veya azalma, ses perdesi, genlik veya tempodaki bir artış veya azalma ile gösterilir, ancak aynı zamanda daha az yaygın olarak kullanılan diğer bileşenlerin değiştirilmesiyle de gösterilebilir. Örneğin, bir borsa fiyatı, hisse senedi fiyatı yükselirken yükselen ve düşerken düşen perdeyle temsil edilebilir. Kullanıcının birden fazla notanın tasvir edildiğini belirlemesine olanak sağlamak için, farklı notalar için farklı tınılar veya parlaklıklar kullanılabilir veya bunlar, örneğin kulaklıklarının farklı tarafları aracılığıyla uzayın farklı noktalarından kullanıcıya çalınabilir. .

Sunulacak çeşitli bilgi türleri için en iyi teknikleri bulmaya çalışmak amacıyla birçok çalışma yapılmıştır ve henüz kullanılacak kesin bir teknik seti formüle edilmemiştir. Sonifikasyon alanının henüz başlangıç aşamasında olduğu düşünüldüğünden, mevcut çalışmalar, farklı durumlarda farklılık gösterecek en iyi ses bileşenleri setini belirlemeye yönelik çalışmaktadır.

Verilerin işitsel olarak işlenmesine yönelik birkaç farklı teknik kategorize edilebilir:

 Akustik sesleştirme
 Audification (Odifikasyon)
 Model tabanlı sesleştirme
 Parametre eşleme
 Akış tabanlı sesleştirme

Geleneksel sesleştirmeye alternatif bir yaklaşım, örneğin Darbeli Melodik Duygusal İşleme (PMAP) gibi "değiştirme yoluyla sonifikasyondur". PMAP'ta, bir veri akışını seslendirmek yerine, hesaplama protokolü müzik verilerinin kendisidir, örneğin MIDI. Veri akışı müzikal olmayan bir durumu temsil eder: PMAP'ta duygusal bir durumu. Daha sonra hesaplamalar doğrudan müzik verileri üzerinde yapılabilir ve sonuçlar minimum düzeyde çeviri ile dinlenebilir.

 Ayrıca bakınız 

 İşitsel gösterim
 Bilgisayar müziği
 Müzik ve yapay zeka

 Kaynakça 

 Dış bağlantılar 

 International Community for Auditory Display
 Sonification Report (1997) provides an introduction to the status of the field and current research agendas.
 The Sonification Handbook, an Open Access book that gives a comprehensive introductory presentation of the key research areas in sonification and auditory display.
 Using Sound to Extract Meaning from Complex Data, C. Scaletti and A. Craig, 1991.
 Auditory Information Design, PhD Thesis by Stephen Barrass 1998, User Centred Approach to Designing Sonifications.
 Mozzi : interactive sensor sonification on Arduino microprocessor.
 Preliminary report on design rationale, syntax, and semantics of LSL: A specification language for program auralization, D. Boardman and AP Mathur, 1993.
 A specification language for program auralization, D. Boardman, V. Khandelwal, and AP Mathur, 1994.
 Sonification tutorial
 SonEnvir general sonification environment
 Sonification.de provides information about Sonification and Auditory Display, links to interesting event and related projects
 Sonification for Exploratory Data Analysis, PhD Thesis by Thomas Hermann 2002, developing Model Based Sonfication.
 Sonification of Mobile and Wireless Communications
 Interactive Sonification a hub to news and upcoming events in the field of interactive sonification
 zero-th space-time association
 CodeSounding — an open source sonification framework which makes possible to hear how any existing Java program "sounds like", by assigning instruments and pitches to code statements (if, for, etc.) and playing them as they are executed at runtime. In this way the flowing of execution is played as a flow of music and its rhythm changes depending on user interaction.
 LYCAY, a Java library for sonification of Java source code
 WebMelody, a system for sonification of activity of web servers.
 Sonification of a Cantor set 
 Sonification Sandbox v.3.0, a Java program to convert datasets to sounds, GT Sonification Lab, School of Psychology, Georgia Institute of Technology.
 Program Sonification using Java, an online chapter (with code) explaining how to implement sonification using speech synthesis, MIDI note generation, and audio clips.
  Live Sonification of Ocean Swell

Kategori:Akustik
Kategori:Ses
Kategori:Görüntüleme teknolojisi
Kategori:Multimodal etkileşim