Sesleştirme

**Sesleştirme**, **Selenleme, İşitselleştirme** (**Veri işitselleştirme**) veya **Sonifikasyon** bilgi iletmek veya verileri algılamak için konuşma dışı sesin kullanılmasıdır. İşitsel algı, görselleştirme tekniklerine alternatif veya tamamlayıcı olarak olasılıkları açan zamansal, uzaysal, genlik ve frekans çözünürlüğünde avantajlara sahiptir.

Örneğin bir Geiger sayacının tıklama hızı, cihazın yakın çevresindeki radyasyon seviyesini aktarır.

Her ne kadar Uluslararası İşitsel Gösterim Topluluğu (ICAD) gibi forumlarda veri işitselleştirme ile ilgili pek çok deney araştırılmış olsa da sonlaştırma, verilerin sunulması ve analiz edilmesinde yaygın kullanım konusunda birçok zorlukla karşı karşıyadır. Örneğin, araştırmalar verilerin işitselleştirmelerini yorumlamak için yeterli bağlam sağlamanın zor ama önemli olduğunu gösteriyor. Sesleştirme araştırması ve veri araştırması için esnek araçların bulunmaması nedeniyle birçok sesleştirme girişimi sıfırdan kodlanıyor.

## Geçmiş
1908'de icat edilen Geiger sayacı sesleştirmenin en eski ve en başarılı uygulamalarından biridir. Bir Geiger sayacında düşük basınçlı gaz tüpü bulunur; Algılanan her parçacık, gazı iyonlaştırdığında bir akım darbesi üreterek bir ses tıklaması üretir. Orijinal versiyon yalnızca alfa parçacıklarını tespit edebiliyordu. 1928'de Geiger ve Walther Müller (Geiger'in doktora öğrencisi), sayacı daha fazla iyonlaştırıcı radyasyon türünü tespit edebilecek şekilde geliştirdiler.

1913 yılında Birmingham Üniversitesi'nden Dr. Edmund Fournier d'Albe, siyah baskıyı tespit etmek ve bunu duyulabilir bir çıktıya dönüştürmek için selenyum fotosensörlerini kullanan optofonu (optophone) icat etti. Görme engelli bir okuyucu, kitabı cihaza doğru tutabilir ve okumak istediği alana bir aparat tutabilir. Optofon bir dizi nota çalıyordu: g c' d' e' g' b' c *e*. Her nota, optofonun okuma alanındaki bir konuma karşılık geliyordu ve siyah mürekkep algılanırsa bu not susturuluyor. Böylece eksik notlar sayfada siyah mürekkebin bulunduğu ve okumak için kullanılabilecek yerleri gösteriyordu.

Pollack ve Ficks, 1954'te işitsel ekran aracılığıyla bilginin aktarımına ilişkin ilk algısal deneyleri yayınladılar. Zamanlama, frekans, ses yüksekliği, süre ve uzaysallaştırma gibi ses boyutlarını birleştirmeyi denediler ve deneklerin aynı anda birden fazla boyuttaki değişiklikleri kaydetmesini sağlayabileceklerini buldular. Bu deneylerde bundan daha fazla ayrıntıya girilmedi çünkü her boyutun yalnızca iki olası değeri vardı.

1970 yılında, Nonesuch Records, Amerikalı besteci Charles Dodge'un "Dünyanın Manyetik Alanı" adlı yeni bir elektronik müzik bestesini yayınladı. Bu beste, Columbia-Princeton Elektronik Müzik Merkezi'nde üretildi. Başlıktan da anlaşılacağı gibi, bestenin elektronik sesleri dünyanın manyetik alanından elde edilen verilerden sentezlendi. Bu nedenle, bilimsel verilerin bilimsel amaçlardan ziyade sanatsal amaçlar doğrultusunda ilk seslendirilme örneği olabilir.

John M. Chambers, Max Mathews ve F.R. Bell Laboratuvarlarından Moore işitsel grafik üzerine ilk çalışmayı 1974'teki "İşitsel Veri Denetimi" teknik bildirisinde yaptı. 
Sınıflandırmada kullanmak üzere frekans, spektral içerik ve genlik modülasyonu boyutlarına göre değişen sesleri kullanarak bir dağılım grafiğini genişlettiler. Bu deneylerin etkililiğine ilişkin herhangi bir resmi değerlendirme yapmadılar.

1976'da teknoloji filozofu Don Ihde şöyle yazmıştı: "Tıpkı bilimin neredeyse tüm fenomenleri için sonsuz sayıda görsel imge üretiyor gibi görünmesi gibi - atomlardan galaksilere kadar bize sehpa kitaplarından bilim dergilerine kadar tanıdık geliyor; bu yüzden ' müzikler de görselleştirmeleri üreten aynı verilerden üretilebilir." Bu, yaratıcı bir uygulama olarak sesleştirme için yapılan ilk referanslardan biri gibi görünüyor.

1982'nin başlarında Davis, California Üniversitesi'nden Sara Bly, verileri sunmak için bilgisayar tarafından üretilen sesin kullanımına ilişkin çalışmasının örnekleriyle birlikte iki yayınını yayınladı. O zamanlar bilimsel görselleştirme alanı ivme kazanıyordu. Diğer şeylerin yanı sıra, çalışmaları ve eşlik eden örnekler, görsel ve işitsel sunumun özelliklerini karşılaştırarak "Ses teklifleri ve iyileştirme ve grafik araçlarına bir alternatif" olduğunu ortaya koydu. Çalışmaları, uygun veri temsilinin tür ve amaç ile eşleştirilmesine yardımcı olmak için erken deneye dayalı veriler sağlıyor.

Ayrıca 1980'li yıllarda nabız oksimetreleri yaygın olarak kullanılmaya başlandı. Nabız oksimetreleri, daha yüksek konsantrasyonlar için daha yüksek perdeler yayarak kandaki oksijen konsantrasyonunu sonize edebilir. Ancak pratikte, nabız oksimetrelerinin bu özel özelliği, tıbbi ortamlarda çok fazla ses uyaranı riski nedeniyle tıp uzmanları tarafından yaygın olarak kullanılamayabilir.

1992 yılında, Uluslararası İşitsel Gösterim Topluluğu (ICAD), Gregory Kramer tarafından veri sonifikasyonunu da içeren işitsel gösterim üzerine araştırmalar için bir forum olarak kuruldu. ICAD o zamandan bu yana, konferansı ve hakemli bildirileri aracılığıyla bilgi aktarmak için sesin kullanımıyla ilgilenen birçok farklı disiplinden araştırmacıların yuvası haline geldi.

Mayıs 2022'de NASA, Perseus galaksi kümesinin merkezindeki kara deliğin sonifikasyonunu (basınç dalgalarıyla ilişkili astronomik verileri sese dönüştürerek) bildirdi.

## Bazı varolan uygulamalar ve projeler

* İşitsel altimetre, paraşütle atlamada da kullanılır
* İşitsel termometre
* Örneğin her saniyede bir duyulabilen tik takları ve her 15 dakikada bir özel çanları olan saatler
* Kokpit işitsel ekranları
* Geiger sayacı
* LIGO'da Kütleçekimsel dalgalar
* İnteraktif sesleştirme
* Medikal ve cerrahi işitsel ekranlar
* Görsel aşırı yükü ve yorgunluğu en aza indirmek için multimodal (birleşik algılama) ekranlar
* Navigasyon
* DNA
* Uzay fiziği
* Ameliyathanelerde ve yoğun bakımda nabız oksimetresi 
* Motorlu taşıtlarda hız alarmı
* Sonar
* Fırtına ve hava durumunun sesleştirmesi
* Volkanik etkinlik tespiti
* Parçacık Yörünge Sonifikasyonu Kullanılarak Yüksek Boyutlu Verilerin Küme Analizi
* Dow Jones Endüstriyel Ortalamanın hacmi ve değeri
* Görme engelliler için görüntülerin sesleştirilmesi
* CURAT Sonification Game (psikoakustik sesleştirme temelli dayalı)
* Tiltification (psikoakustik sesleştirme temelli dayalı)
* Sonified bir video kameradan alınan görsel bilgileri gerçek zamanlı olarak sese çeviriyor (2011).
* PriceSquawk Sesli Pazar Teknolojisi 

## Sesleştirme teknikleri
Kullanıcının ses algısını ve dolayısıyla gösterilen temel bilgiye ilişkin algısını değiştirmek için birçok farklı bileşen değiştirilebilir. Çoğu zaman, bu bilgideki bazı seviyelerdeki bir artış veya azalma, ses perdesi, genlik veya tempodaki bir artış veya azalma ile gösterilir, ancak aynı zamanda daha az yaygın olarak kullanılan diğer bileşenlerin değiştirilmesiyle de gösterilebilir. Örneğin, bir borsa fiyatı, hisse senedi fiyatı yükselirken yükselen ve düşerken düşen perdeyle temsil edilebilir. Kullanıcının birden fazla notanın tasvir edildiğini belirlemesine olanak sağlamak için, farklı notalar için farklı tınılar veya parlaklıklar kullanılabilir veya bunlar, örneğin kulaklıklarının farklı tarafları aracılığıyla uzayın farklı noktalarından kullanıcıya çalınabilir. .

Sunulacak çeşitli bilgi türleri için en iyi teknikleri bulmaya çalışmak amacıyla birçok çalışma yapılmıştır ve henüz kullanılacak kesin bir teknik seti formüle edilmemiştir. Sonifikasyon alanının henüz başlangıç aşamasında olduğu düşünüldüğünden, mevcut çalışmalar, farklı durumlarda farklılık gösterecek en iyi ses bileşenleri setini belirlemeye yönelik çalışmaktadır.

Verilerin işitsel olarak işlenmesine yönelik birkaç farklı teknik kategorize edilebilir:

* Akustik sesleştirme
* Audification (Odifikasyon)
* Model tabanlı sesleştirme
* Parametre eşleme
* Akış tabanlı sesleştirme

Geleneksel sesleştirmeye alternatif bir yaklaşım, örneğin Darbeli Melodik Duygusal İşleme (PMAP) gibi "değiştirme yoluyla sonifikasyondur". PMAP'ta, bir veri akışını seslendirmek yerine, hesaplama protokolü müzik verilerinin kendisidir, örneğin MIDI. Veri akışı müzikal olmayan bir durumu temsil eder: PMAP'ta duygusal bir durumu. Daha sonra hesaplamalar doğrudan müzik verileri üzerinde yapılabilir ve sonuçlar minimum düzeyde çeviri ile dinlenebilir.

## Ayrıca bakınız

* İşitsel gösterim
* Bilgisayar müziği
* Müzik ve yapay zeka

## Kaynakça

## Dış bağlantılar

* International Community for Auditory Display
* Sonification Report (1997) provides an introduction to the status of the field and current research agendas.
* The Sonification Handbook, an Open Access book that gives a comprehensive introductory presentation of the key research areas in sonification and auditory display.
* Using Sound to Extract Meaning from Complex Data, C. Scaletti and A. Craig, 1991.
* Auditory Information Design, PhD Thesis by Stephen Barrass 1998, User Centred Approach to Designing Sonifications.
* Mozzi : interactive sensor sonification on Arduino microprocessor.
* Preliminary report on design rationale, syntax, and semantics of LSL: A specification language for program auralization, D. Boardman and AP Mathur, 1993.
* A specification language for program auralization, D. Boardman, V. Khandelwal, and AP Mathur, 1994.
* Sonification tutorial
* SonEnvir general sonification environment
* Sonification.de provides information about Sonification and Auditory Display, links to interesting event and related projects
* Sonification for Exploratory Data Analysis, PhD Thesis by Thomas Hermann 2002, developing Model Based Sonfication.
* Sonification of Mobile and Wireless Communications
* Interactive Sonification a hub to news and upcoming events in the field of interactive sonification
* zero-th space-time association
* CodeSounding — an open source sonification framework which makes possible to hear how any existing Java program "sounds like", by assigning instruments and pitches to code statements (if, for, etc.) and playing them as they are executed at runtime. In this way the flowing of execution is played as a flow of music and its rhythm changes depending on user interaction.
* LYCAY, a Java library for sonification of Java source code
* WebMelody, a system for sonification of activity of web servers.
* Sonification of a Cantor set http://swiki.hfbk-hamburg.de:8888/MusicTechnology/799
* Sonification Sandbox v.3.0, a Java program to convert datasets to sounds, GT Sonification Lab, School of Psychology, Georgia Institute of Technology.
* Program Sonification using Java, an online chapter (with code) explaining how to implement sonification using speech synthesis, MIDI note generation, and audio clips.
* http://www.swellspect.com/ Live Sonification of Ocean Swell