Lokalisasi suara 3D

**Lokalisasi suara 3D** mengacu pada teknologi akustik yang digunakan untuk menemukan sumber suara dalam ruang tiga dimensi. Lokasi sumber biasanya ditentukan oleh arah gelombang suara yang masuk (sudut horizontal dan vertikal) dan jarak antara sumber dan sensor. Ini melibatkan desain pengaturan struktur sensor dan teknik pemrosesan sinyal.

Sebagian besar mamalia (termasuk manusia) menggunakan pendengaran binaural untuk melokalisasi suara, dengan membandingkan informasi yang diterima dari masing-masing telinga dalam proses kompleks yang melibatkan sejumlah besar sintesis. Sulit untuk melokalisasi menggunakan pendengaran monaural, terutama dalam ruang 3D.

## Teknologi
Teknologi lokalisasi suara digunakan dalam beberapa bidang audio dan akustik, seperti alat bantu dengar, pengawasan dan navigasi. Sistem lokalisasi suara pasif waktu nyata yang ada sebagian besar didasarkan pada pendekatan perbedaan waktu kedatangan (TDOA), membatasi lokalisasi suara ke ruang dua dimensi, dan tidak praktis dalam kondisi bising.

## Aplikasi

Aplikasi lokalisasi sumber suara meliputi pemisahan sumber suara, pelacakan sumber suara, dan peningkatan ucapan. Sonar menggunakan teknik lokalisasi sumber suara untuk mengidentifikasi lokasi target. Lokalisasi suara 3D juga digunakan untuk interaksi manusia-robot yang efektif. Dengan meningkatnya permintaan pendengaran robot, beberapa aplikasi lokalisasi suara 3D seperti antarmuka manusia-mesin, bantuan bagi penyandang disabilitas dan aplikasi militer sedang dieksplorasi.

## Isyarat untuk lokalisasi suara
Isyarat lokalisasi adalah fitur yang membantu melokalisasi suara. Isyarat untuk lokalisasi suara meliputi Isyarat binaural dan monoaural.
* Isyarat monoaural dapat diperoleh melalui analisis spektral dan umumnya digunakan dalam lokalisasi vertikal
* Isyarat binaural dihasilkan oleh perbedaan pendengaran antara telinga kiri dan kanan. Perbedaan ini meliputi perbedaan waktu interaural (ITD) dan perbedaan intensitas interaural (IID). Isyarat binaural sebagian besar digunakan untuk lokalisasi horizontal.

## Bagaimana cara melokalisasi suara?
Isyarat pertama yang digunakan pendengaran adalah perbedaan waktu interaural. Suara dari sumber yang berada tepat di depan atau di belakang akan tiba secara bersamaan di kedua telinga. Jika sumber bergerak ke kiri atau kanan, telinga menangkap suara dari sumber yang sama yang tiba di kedua telinga - tetapi dengan penundaan tertentu. Cara lain untuk mengatakannya adalah, bahwa kedua telinga menangkap fase yang berbeda dari sinyal yang sama.

## Metode
Ada banyak metode berbeda untuk melokalisasi suara 3D. Misalnya:
* Berbagai jenis struktur sensor, seperti susunan mikrofon dan kepala robot pendengaran binaural.
* Berbagai teknik untuk hasil optimal, seperti jaringan saraf, kemungkinan maksimum, dan klasifikasi sinyal ganda (MUSIC).
* Metode waktu nyata menggunakan array Acoustic Vector Sensor (AVS)
* Teknik pemindaian 
* Metode offline (berdasarkan ketepatan waktu)
* Pendekatan Susunan Mikrofon

### Pendekatan Beamformer Terarah
Pendekatan ini menggunakan delapan mikrofon yang dikombinasikan dengan beamformer yang dikendalikan yang ditingkatkan oleh Reliability Weighted Phase Transform (RWPHAT). Hasil akhir disaring melalui filter partikel yang melacak sumber dan mencegah arah yang salah.

Motivasi penggunaan metode ini adalah berdasarkan penelitian sebelumnya. Metode ini digunakan untuk pelacakan dan pelokalan beberapa sumber suara, sedangkan soundtracking dan pelokalan hanya berlaku untuk satu sumber suara.

#### Lokalisasi Suara Berbasis Beamformer
Untuk memaksimalkan energi keluaran beamformer delay-and-sum guna menemukan nilai maksimum keluaran beamformer yang diarahkan ke semua arah yang memungkinkan. Dengan menggunakan metode Reliability Weighted Phase Transform (RWPHAT), Energi keluaran beamformer delay-and-sum M-mikrofon adalah
:E = K + 2\sum_{{m}_{1}=1}^{M-1} \sum_{{m}_{2}=0}^{{m}_{1}-1}_{i,j}\left({\tau}_-{\tau}_ \right)

Dimana E menunjukkan energi, dan K adalah konstanta, _{i,j}\left({\tau}_-{\tau}_ \right) adalah korelasi silang pasangan mikrofon yang didefinisikan oleh Reliability Weighted Phase Transform:
:_{i,j}\left(\tau  \right) = \sum_{k=0}^{L-1}\frac

Di mana v adalah kecepatan perambatan suara, F_{s} adalah frekuensi sampling dan d_{max} adalah jarak dengan penundaan waktu maksimum antara 2 mikrofon.

Metode CPS tidak memerlukan data respons impuls sistem yang dibutuhkan HRTF. Algoritma ekspektasi-maksimisasi juga digunakan untuk melokalisasi beberapa sumber suara dan mengurangi kesalahan pelokalan. Sistem ini mampu mengidentifikasi beberapa sumber suara bergerak hanya dengan menggunakan dua mikrofon.

### Rangkaian sensor garis 2D

Untuk memperkirakan lokasi sumber dalam ruang 3D, dua susunan sensor garis dapat ditempatkan secara horizontal dan vertikal. Contohnya adalah susunan garis 2D yang digunakan untuk pelokalan sumber bawah air. Dengan memproses data dari dua susunan menggunakan metode kemungkinan maksimum, arah, jangkauan, dan kedalaman sumber dapat diidentifikasi secara bersamaan. Tidak seperti model pendengaran binaural, metode ini mirip dengan metode analisis spektral. Metode ini dapat digunakan untuk melokalisasi sumber yang jauh.

### Deretan Mikrofon Ganda yang Dapat Berputar Sendiri
Rotasi dari susunan dua mikrofon (juga disebut susunan bi-mikrofon) menghasilkan sinyal perbedaan waktu antar-saluran sinusoidal (ICTD) untuk sumber suara stasioner yang ada dalam lingkungan 3D. Pergeseran fase dari sinyal sinusoidal yang dihasilkan dapat langsung dipetakan ke sudut azimuth sumber suara, dan amplitudo sinyal ICTD dapat direpresentasikan sebagai fungsi dari sudut elevasi sumber suara dan jarak antara dua mikrofon. Dalam kasus beberapa sumber, sinyal ICTD memiliki titik data yang membentuk beberapa bentuk gelombang sinusoidal terputus-putus. Teknik pembelajaran mesin seperti Konsensus sampel acak (RANSAC) dan Pengelompokan spasial berbasis kepadatan aplikasi dengan derau (DBSCAN) dapat diterapkan untuk mengidentifikasi pergeseran fase (pemetaan ke azimuth) dan amplitudo (pemetaan ke elevasi) dari setiap bentuk gelombang sinusoidal terputus-putus dalam sinyal ICTD.

### Pendekatan Jaringan Syaraf Tiruan Fuzzy Hirarkis

Pendekatan Jaringan Syaraf Tiruan Fuzzy Hirarkis untuk sistem pelokalan suara dimodelkan berdasarkan pelokalan suara binaural secara biologis. Beberapa hewan primitif dengan dua telinga dan otak kecil dapat memahami ruang 3D dan memproses suara, meskipun prosesnya belum sepenuhnya dipahami. Beberapa hewan mengalami kesulitan dalam pelokalan suara 3D karena ukuran kepala yang kecil. Selain itu, panjang gelombang suara komunikasi mungkin jauh lebih besar daripada diameter kepala mereka, seperti halnya katak.

Berdasarkan metode lokalisasi suara binaural sebelumnya, sistem jaringan saraf tiruan fuzzy hirarkis menggabungkan metode lokalisasi suara perbedaan waktu interaural (berbasis ITD) dan perbedaan intensitas interaural (berbasis IID) untuk mendapatkan akurasi yang lebih tinggi yang mirip dengan manusia. Jaringan Saraf Tiruan Fuzzy Hirarkis digunakan dengan tujuan mendapatkan akurasi lokalisasi suara yang sama dengan telinga manusia.

Metode pelokalan suara berbasis IID atau berbasis ITD memiliki masalah utama yang disebut kebingungan Front-back. Dalam pelokalan suara berbasis sistem jaringan saraf hirarkis ini, untuk mengatasi masalah ini, estimasi IID dilakukan dengan estimasi ITD. Sistem ini digunakan untuk suara pita lebar dan akan digunakan untuk skenario non-stasioner.

## Lokalisasi suara 3D untuk sumber suara monaural
Biasanya, lokalisasi suara dilakukan dengan menggunakan dua (atau lebih) mikrofon. Dengan menggunakan perbedaan waktu kedatangan suara di dua mikrofon, seseorang dapat memperkirakan secara matematis arah sumber suara. Namun keakuratan yang dengannya serangkaian mikrofon dapat melokalisasi suara (menggunakan perbedaan waktu interaural) pada dasarnya dibatasi oleh ukuran fisik dari rangkaian tersebut. Jika rangkaian terlalu kecil, maka mikrofon diberi jarak terlalu berdekatan sehingga semuanya merekam suara yang pada dasarnya sama (dengan ITF mendekati nol), sehingga sangat sulit untuk memperkirakan orientasinya. Dengan demikian, tidak jarang rangkaian mikrofon berkisar dari puluhan sentimeter panjangnya (untuk aplikasi desktop) hingga puluhan meter panjangnya (untuk lokalisasi bawah air). Namun, rangkaian mikrofon dengan ukuran ini kemudian menjadi tidak praktis untuk digunakan pada robot kecil. Bahkan untuk robot besar, rangkaian mikrofon seperti itu bisa jadi sulit untuk dipasang dan dikendalikan. Sebaliknya, kemampuan untuk melokalisasi suara menggunakan mikrofon tunggal (yang dapat dibuat sangat kecil) berpotensi menghasilkan perangkat yang jauh lebih ringkas serta lebih hemat biaya dan daya untuk pelokalan.

### Pendekatan HRTF konvensional
Cara umum untuk mengimplementasikan pelokalan suara 3D adalah dengan menggunakan HRTF (Head-related transfer function). Pertama, hitung HRTF untuk pelokalan suara 3D, dengan merumuskan dua persamaan; satu mewakili sinyal dari sumber suara tertentu dan yang lainnya menunjukkan sinyal keluaran dari mikrofon kepala robot untuk suara yang ditransfer dari sumber tersebut. Data masukan monaural diproses oleh HRTF ini, dan hasilnya dikeluarkan dari headphone stereo. Kerugian dari metode ini adalah banyaknya operasi parametrik yang diperlukan agar seluruh rangkaian filter dapat mewujudkan pelokalan suara 3D, sehingga menghasilkan kompleksitas komputasi yang tinggi.

### Implementasi DSP dari lokalisasi suara 3D

Implementasi berbasis DSP dari pendekatan pelokalan suara 3D secara realtime dengan penggunaan DSP tertanam dapat mengurangi kompleksitas komputasi. Seperti yang ditunjukkan pada gambar, prosedur implementasi algoritma realtime ini dibagi menjadi tiga fase, (i) Pembagian Frekuensi, (ii) Pelokalan Suara, dan (iii) Pencampuran. Dalam kasus pelokalan suara 3D untuk sumber suara monofonik, data masukan audio dibagi menjadi dua: saluran kiri dan kanan dan data masukan audio dalam rangkaian waktu diproses satu demi satu.

Ciri khas pendekatan ini adalah pita frekuensi yang dapat didengar dibagi menjadi tiga sehingga prosedur khusus pelokalan suara 3D dapat dimanfaatkan untuk masing-masing dari tiga subpita.

### Pendekatan mikrofon tunggal
Lokalisasi monaural dimungkinkan oleh struktur pinna (telinga luar), yang memodifikasi suara dengan cara yang bergantung pada sudut datangnya. Pendekatan pembelajaran mesin diadaptasi untuk lokalisasi monaural hanya dengan menggunakan satu mikrofon dan "pinna buatan" (yang mendistorsi suara dengan cara yang bergantung pada arah). Pendekatan ini memodelkan distribusi khas suara alami dan buatan, serta perubahan yang bergantung pada arah pada suara yang diinduksi oleh pinna. Hasil eksperimen juga menunjukkan bahwa algoritma tersebut mampu melokalisasi berbagai macam suara dengan cukup akurat, seperti ucapan manusia, gonggongan anjing, air terjun, guntur, dan sebagainya. Berbeda dengan susunan mikrofon, pendekatan ini juga menawarkan potensi perangkat yang jauh lebih ringkas serta biaya dan daya yang lebih rendah untuk lokalisasi suara.

## Lihat pula
* Ekolokasi

## Referensi

## Pranala luar
* 3-D Localization of Virtual Sound Sources
* 3-D Acoustic Vector Sensor (air)