Facebook se nuwe AI-instrument transformeer 2D-beeld na 3D-modelle - KI - 2022
Wat 3D-beraming van 2D-bronne betref, loop ons in 'n hoek as gevolg van 'n konflik tussen mekaar geheue kapasiteit en akkuraatheid. Ons benodig 'n volhoubare hoeveelheid datavloei om 'n hoë konteks vir ons masjiene te handhaaf, terwyl hoë resolusie nodig is vir akkurate weergawes met neurale netwerke. Tot dusver het toepassings in hierdie veld die insette van lae resolusie bevoordeel om meer grond te dek. Hierdie studie neem ons 'n sprong vorentoe na 'n gesellige middelgrond.
Facebook Research pak hierdie kwessie aan deur 'n ontledingstelsel met meer lae toe te pas. 'N Ru-analise neem die hele beeld aan en fokus op algehele beredenering van waar. 'N Tweede vlak neem uitsetdata van hier af om as 'n padkaart te gebruik en stel 'n meer gedetailleerde meetkunde met behulp van beelde met 'n hoër resolusie.
SIEN OOK: WAT IS DIEP LEER EN WAAROM IS DIT MEER RELEVANT AS OOIT?
Hierdie navorsing is nie die enigste poging op hierdie gebied nie. Menslike digitalisering kan die deur oopmaak vir baie moontlikhede vir 'n verskeidenheid gebiede soos mediese beelding na virtuele werklikheid om bloot 'n persoonlike 3D-emoji-weergawe te maak. Tot vandag toe was hierdie tegnologie beperk vir die algemene publiek as gevolg van beperkings soos die behoefte aan veelvuldige kameras en streng beligtingsvereistes. Die span in Facebook-navorsing beoog om 'n uiters buigsame leweringstelsel te bewerkstellig wat 'n hoë betroubaarheid kan handhaaf as dit kom by besonderhede soos voue in klere, vingers en nuanses in gelaatstrekke.
Die voorheen bestaande tegnologie
'N Opvallende voorbeeld, SCAPE, gepubliseer in 2005, het Stanford in diens geneem vooraf gemodelleerde maas oor beeldinsette om 3D-weergawes te lewer. Alhoewel hierdie op hul eie gedetailleerd voorkom, is hulle nie getrou verteenwoordig nie wat hulle besig was om te modelleer. In hierdie projek is daar egter geen 3D-meetkunde word opgelê nie op die beelde word geometriese konteks op hoër vlakke toegepas sonder om voortydige aannames te maak. Betekenis, van grof invoer tot gedetailleerde analise, word ontbrekende besonderhede inkrementeel geïmplementeer en word die finale bepaling van die geometriese eienskappe van die model slegs op die finale vlak gemaak.
Maar wat van die agterkant? Dit word nie waargeneem in 'n enkelbeeld-rekonstruksie nie. Ontbrekende inligting sou sekerlik vaag skatting van die agter- en agterkant beteken, of hoe? Wel, die span het hierdie probleem oorkom deur die normale van die agterkant te bepaal, soos hulle dit stel: "Ons het hierdie probleem oorkom deur gebruik te maak van beeld-tot-beeld-vertaalnetwerke om normale norme van die agterkant te produseer. Die kondisionering van ons multi-vlak pixelgerigte vormafleiding met die afgeleide agterkant van die oppervlak, verwyder dubbelsinnigheid en verbeter die perseptuele kwaliteit van ons rekonstruksies met 'n meer konsekwente vlak van detail. "
As u belangstel, het hulle 'n selftoetspakket by Google Colab weggelaat, hoewel dit regverdig is, dit vereis 'n sekere hoeveelheid tegnologiese vaardigheid en 'n basiese begrip van programmeringsomgewings om te hardloop.