D-NeRF

D-NeRF kepanjangan dari Neural Radiance Fields for Dynamic Scenes adalah teknik rendering neural yang menggabungkan pembelajaran mesin dengan penalaran geometris. D-NeRF (Dynamic Neural Radiance Fields) adalah sebuah metode neural rendering yang mengembangkan konsep Neural Radiance Fields (NeRF) ke ranah dinamis, memungkinkan rekonstruksi dan rendering gambar baru dari objek yang mengalami gerakan kaku maupun non-kaku hanya dengan menggunakan kamera tunggal yang bergerak mengelilingi scene.

 Konsep 
D-NeRF memperhitungkan faktor waktu sebagai tambahan input, menjadikan pemetaan yang dipelajari menjadi fungsi kontinu 6D yang meliputi posisi 3D (x, y, z), arah pandang kamera (θ, φ), dan waktu (t). Berbeda dengan NeRF yang hanya untuk scene statis, D-NeRF memodelkan deformasi dengan membagi pembelajaran menjadi dua tahap utama: Mengkodekan scene ke dalam ruang kanonik (canonical space).Memetakan representasi kanonik tersebut ke bentuk deformasi scene pada waktu tertentu.

Dua modul jaringan fully-connected (MLP) ini belajar secara simultan, sehingga setelah pelatihan, D-NeRF dapat menghasilkan citra baru dengan kendali penuh atas posisi kamera dan waktu, sehingga dapat mensimulasikan pergerakan objek secara realistis.

 Arsitektur Model 
Canonical Network (Ψx): Berfungsi mengkodekan densitas volume dan warna dari scene di konfigurasi kanonik. Diberikan titik 3D dan arah pandang kamera, network ini memprediksi warna yang dipancarkan dan densitas volumetrik. Deformation Network (Ψt): Mengestimasi medan deformasi yang menghubungkan keadaan scene pada waktu t dengan konfigurasi kanonik, yakni memetakan tiap titik pada scene pada waktu tertentu ke posisi kanonik.

 Rendering dan pelatihan 
Metode rendering volumetrik diadaptasi dari NeRF dengan menyesuaikan integrasi volumetrik untuk deformasi objek sepanjang waktu. Pemodelan ini memungkinkan render yang realistis menggunakan ray-casting dari titik pandang yang berbeda serta waktu berbeda. Pelatihan dilakukan dengan meminimalkan error kuadrat rata-rata antara warna gambar yang dirender dengan warna gambar asli dari set gambar RGB yang diambil oleh kamera tunggal pada waktu berbeda. D-NeRF dilatih menggunakan teknik positional encoding untuk memperbaiki representasi input dan menggunakan optimizer Adam selama sekitar dua hari pada perangkat GPU Nvidia GTX 1080.

 Referensi