Neuraalne kiirgusväli

**Neuraalne kiirgusväli** (inglise keeles ''Neural Radiance Field'', lühend **NeRF**) on tehisnärvivõrku kasutav 3D rekonstrueerimise meetod, mis kasutab kahemõõtmelisi pilte, et luua kolmemõõtmeline stseen. NeRF võimaldab renderdada fotorealistlikke uusi vaateid keeruka geomeetria ning välimusega stseenidest, kasutades seejuures piiratud koguses olemasolevaid fotosid ja teadaolevaid kaamera asendeid ilma, et oleks vaja eelnevalt koostatud kolmemõõtmelist mudelit. Esimest korda tutvustati meetodit aastal 2020 Ben Mildenhalli ja tema tiimi uurimuses pealkirjaga “NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis”.

## Põhimõte
Kolmemõõtmelise mudeli loomise asemel õpib NeRF stseeni etteantud pilte vaadates tundma ning genereerib selle põhjal uued, realistlikud vaated. Algoritm esitab stseeni täielikult ühendatud sügava võrgu abil, mille sisendiks on üks pidev 5D-koordinaat (ruumiline asukoht ehk (x, y, z) ning vaatamise suund ehk (θ, φ)) ja mille väljundiks on vaatest sõltuv kiirgus ning ruumala tihedus vastavas ruumilises asukohas. Algoritm sünteesib vaateid pärides 5D-koordinaate piki kaamerakiiri ning kasutades klassikalisi mahu renderdamise tehnikaid, projitseerides väljundtihedused ja -värvid pildile. Ainus esituse optimeerimiseks vajaminev sisend on teadaolevate kaamera asenditega piltide komplekt. 

## Rakendused

#### Meditsiin
NeRF-i on kasutatud kompuutertomograafia (KT) asendamiseks. Mitme detektoriga KT-tehnoloogia on võimaldanud lisafunktsioone, seal hulgas kolmemõõtmelisi rekonstruktsioone, kuid see nõuab sealjuures patsientide kokkupuudet märkimisväärse ioniseeriva kiirguse doosiga. Selle asendamiseks loodi NeRF mudel, mis suudab järeldada anatoomilist kolmemõõtmelist struktuuri mõne või ühe röntgenpildi põhjal. See võib tulevikus vähendada patsientide kokkupuudet ioniseeriva kiirgusega pildistamisel.

#### Virtuaalreaalsus (VR) ja liitreaalsus (AR)
Virtuaalreaalsuse rakenduste jaoks on NeRF-i abil loodud intuitiivse liidesega töötlusvoog, mida nimetatakse GO-NeRF-iks. See lähenemine võtab sisendina tekstiviipasid ja kasutaja määratud piirkondi ning kasutab stseeni konteksti kolmemõõtmeliste objektide genereerimiseks stseenis. Selleks kasutatakse kompositsioonilist renderdamise formulatsiooni, mis integreerib loodud kolmemõõtmelised objektid stseeni optimeeritud 3D-teadlike läbipaistmatuskaartide abil.

Liitreaalsuse jaoks on välja töötatud RT-NeRF, mis integreerib algoritmi tasandil tõhusa renderduskanali, et leevendada NeRF-is laialdaselt kasutatava ühtse punktide valimismeetodi ebaefektiivsust. RT-NeRF kasutab jämedateralisest vaatest sõltuvat arvutusjärjestusskeemi, et kõrvaldada nähtamatute punktide ebavajalik töötlemine. Riistvara tasandil kasutab mudel kiirendi hübriidset kodeerimisskeemi, et vahetada adaptiivselt koordinaat- või bitijadapõhise hõreda kodeerimise vormingu vahel NeRF-i manustuste jaoks. Selle eesmärk on võimalikult palju suurendada salvestusruumi kokkuhoidu.

#### Satelliidipildid
Olemasolevad uuringud on keskendunud lähivõtetele, modelleerides stseenipindu lihtsustatud Microfacet BRDF mudelitega, mis on ebapiisavad keerukate Maa pindade kujundamiseks. NeRF-i lähenemisviisid nõuavad üldiselt suuri samaaegselt jäädvustatud piltide komplekte pinnase rekonstrueerimiseks - tingimus, mis on satelliitpildistamisel haruldane. Nende probleemide likvideerimiseks on välja töötatud mudel BRDF-NeRF, mis hõlmab füüsikalisel alusel põhinevat pool-empiirilist RPV (Rahman-Pinty-Verstraete) BRDF-mudelit. Seda meetodit hinnatakse kahel satelliidiandmestikul: (1) Djibouti, mis on jäädvustatud erinevate vaatenurkade all ühe epohhi piires fikseeritud Päikese asukohaga; (2) Lanzhou, mis on jäädvustatud mitme epohhi jooksul erinevate Päikese asukoha ja vaatenurkadega. Kasutades ainult kolme kuni nelja satelliidipilti, suudab mudel sünteesida uusi vaateid nähtamatute nurkade alt ja genereerida kvaliteetseid digitaalseid pinnamudeleid.

## Piirangud ja väljakutsed
NeRF-i kasutamine on aeganõudev, sest selle treenimine nõuab sadu tuhandeid treeningringe. Mudeli redigeerimine on keeruline; probleem seisneb asjaolus, et NeRF-id on esitatud kolmemõõtmelise stseeni närvivõrgus eksisteerivate kaalude ja seoste kogumina. See tähendab, et mudelit on vähem intuitiivsem redigeerida kui muud tüüpi kolmemõõtmelisi vorminguid, näiteks 3D-võrke või 3D-piksleid. Lisaks on takistuseks komponeeritavus, kuna teadlased ei ole leidnud lihtsat viisi mitme NeRF-i kombineerimiseks suuremate stseenide loomiseks.

Kuigi piiranguid ja väljakutseid leidub, liigutakse erinevate teadustöödega nende likvideerimise poole.

## Viited