Instant NeRF je najbrža NeRF tehnika do sada, postižući više od 1000 puta brže performanse u nekim slučajevima. Modelu je potrebno samo nekoliko sekundi da se obuče na nekoliko desetina fotografija i informacija o uglovima kamere iz kojih su snimljene, a zatim može da prikaže 3D scenu za nekoliko desetina milisekundi. Ova tehnologija se može koristiti za kreiranje avatara ili scena za virtuelne svetove, za snimanje učesnika i okruženja na video konferencijama u 3D formatu ili za rekonstrukciju scena za 3D digitalne mape.
Instant NeRF je razvijen koristeći NVIDIA CUDA Toolkit i Tini CUDA Neural Netvorks biblioteku, a obuka i trčanje se mogu obaviti na jednoj NVIDIA GPU kartici, sa najboljim performansama na karticama sa NVIDIA Tensor jezgrama. Ova tehnologija se takođe može koristiti za obuku robota i automobila koji se samostalno voze da razumeju veličinu i oblik stvarnih objekata snimanjem 2D slika ili video zapisa, kao i u arhitekturi i zabavi za brzo generisanje digitalnih reprezentacija realnog okruženja koje kreatori mogu da modifikuju i razviti.
Kako napraviti 3D modele pomoću Insta360 i NeRF
360 kamera, poput Insta360 One RS i Qoocam 8K, sada mogu brzo generisati impresivne 3D modele uz pomoć AI.
360 kamere sve su popularnije za treće lične videe i za virtuelne ture. Sada se 360 video može pretvoriti u 3D model korišćenjem tehnologije nazvane NeRF.
NeRF (Neural Radiance Fields) je mašinski model za rekonstrukciju 3D objekta. Može da utvrdi 3D strukturu i teksturu objekata iz 2D slika, korišćenjem neuronske mreže koja se uči da predviđa 3D strukturu objekta iz više 2D prikaza. NeRF se može koristiti za aplikacije kao što su rekonstrukcija 3D objekta iz slika, razumevanje 3D scene i proširena stvarnost.
U jednostavnim i nestručnim terminima, ako imate 360 kameru, sada možete napraviti 3D model stila Matterporta koristeći AI.
Evo primer onoga što je moguće sa jednostavnim 360 videom.
Kako to uraditi?
Da bi se napravila 3D model koristeći NeRF, fotograf prvo mora da snimi 360-stepeni video koristeći 360 kameru. Ove kamere su dizajnirane da snimaju materijal sa svih uglova, omogućavajući fotografu da u jednom snimku uhvati celu scenu. Nakon što je video snimljen, fotograf može koristiti NeRF da ga pretvori u 3D model. To se radi tako što se video unosi u neuronsku mrežu, koja je obučena da analizira video i napravi 3D model na osnovu sadržaja.
Rezultirajući 3D model onda može da se koristi na mnogo načina, kao što su virtualna iskustva, 3D štampa ili samo za gledanje na računaru.
Ako ste programer i mislite da možete da to uradite, pratite ovaj tutorijal od 40 minuta koji će vam pomoći.
Korišćenje NeRF-a za pretvaranje 360-stepeni snimaka u 3D modele je moćno sredstvo za fotografe i video-dizajnere. Kombinujući immersivno iskustvo gledanja 360-stepeni snimaka sa detaljima i preciznošću 3D modeliranja, fotografi su u mogućnosti da stvore jedinstven i zanimljiv sadržaj koji se može koristiti u raznim aplikacijama.
Osim toga, korišćenje NeRF-a za stvaranje 3D modela iz 360-stepeni snimaka takođe je relativno brz i efikasan proces. Zato što neuronska mreža uči da analizira snimak i kreira 3D model, proces se može brzo završiti, što omogućava fotografima da brzo i lako kreiraju 3D modele iz svojih 360-stepeni snimaka.
Ukupno, upotreba NeRF-a za pretvaranje 360-stepeni snimaka u 3D modele predstavlja novi i revolucionarni način rada za fotografe i video-dizajnere. Ova tehnologija omogućava stvaranje realističnih i životopisnih modela, što povećava interaktivnost i doživljaj gledanja, čime se stvara još jedna dimenzija u postizanju novih i inovativnih sadržaja.
NVIDIA NeRF najavljuje alate za kreiranje scena u VR-u
Nvidia je nadogradio svoju NeRF fotogrametrijsku uslugu tako da sad uključuje nove alate za kreiranje sadržaja u virtualnoj realnosti (VR).
Nadogradnja omogućava korisnicima NeRF da kreiraju VR okruženje iz serije 2D slika. Usluga takođe koristi AI da odmah kreira virtuelne scene i popuni bilo koje rupe koje su korisnikove 2D izvorne slike možda propustile.
Prema Nvidia, nadograđena NeRF usluga omogućava korisnicima da kreiraju VR scenu sa povećanom efikasnošću u vremenskom i finansijskom smislu.
Nakon što korisnici pretvore svoje izvorne 2D slike, oni ih mogu uvesti kao izrenderovano imersivno okruženje u real-time 3D (RT3D) engine.
Korisnici sada mogu da uđu u prostor renderovan od strane NeRF-a putem VR headseta, što predstavlja “use case-ove u različitim industrijama”. Nvidia takođe prognozira da je NeRF pogodan kao digitalni blizanac za mnoge vertikale, kao što su upravljanje nekretninama, prodavnice i e-commerce.
Više o NeRF-u
U aprilu, Nvidia je predstavila Instant Neural Radiance Fields (Instant NeRF); firma je prvobitno najavila ovaj proizvod kao alat za pretvaranje 2D slika u RT3D digitalne asset-e, a ne samo sadržaj u VR-u.
Koristeći AI i mreže za mašinsko učenje (ML), Nvidia-jeva fotogrametrijska rešenja tačno simuliraju detalje, osvetljenje i senke subjekta. Sofisticirani RT3D konverzijski alat takođe koristi AI da završi RT3D skeniranja i omogući pristup za visoko realistične digitlane blizance ljudi, mesta i objekata.
Uz dodatnu integraciju za NVIDIA Omniverse aplikacije, platforma omogućava developerima da brzo kreiraju i stave svoje prikupljene asset-e u XR imersivno okruženje ili u drugi RT3D produkcioni pipeline.
Prema NVIDIA-u, industrije automobila, robotičke tehnologije, proizvodnje, arhitekture i zabave sve mogu da koriste NeRF. Razvijaci različitih nivoa sposobnosti mogu da koriste uslugu NVIDIA-a da kreiraju RT3D asset-e, zahvaljujući dostupnosti rešenja, resursima za učenje i integraciji u druge aplikacije.
Na primer, koristeći NVIDIA DRIVE rešenje, preduzeća mogu da koriste Instant NeRF da nauče robote i samovozeća vozila da se kreću u stvarnim svetovima.
NVIDIA takođe pruža sestrinsku aplikaciju za mobilne telefone koja se može koristiti kao jednostavno rešenje za ubrzavanje razvoja sadržaja XR.
