Polaroid przyszłości: nowa sieć neuronowa NVIDIA zamienia obrazy 2D w modele 3D

Firma NVIDIA wprowadzony jego nowa sieć neuronowa o nazwie Instant NeRF. Natychmiast przykleja serię zdjęć 2D i dopracowuje obraz do trójwymiarowej sceny. W rezultacie obiekt z płaskiego obrazu staje się trójwymiarowy.

Ta sieć neuronowa została nazwana „Polaroidem przyszłości”, ponieważ gotowy model 3D jest uzyskiwany w ciągu kilku sekund. W hołdzie dla marki Polaroid, firma NVIDIA Research odtworzyła kultową fotografię Andy'ego Warhola w 3D.

Uwaga deweloperów: Instant NeRF wykorzystuje renderowanie odwrotne, aby przybliżyć zachowanie światła w rzeczywisty świat, umożliwiając rekonstrukcję sceny 3D z wielu obrazów 2D wykonanych w różnych rogi.

Modelowi wystarczy kilka sekund, aby nauczyć się z dziesiątek nieruchomych zdjęć. Również sieć neuronowa należy brać pod uwagę dane dotyczące kątów kamery, z których wykonano zdjęcia.

Technologia najlepiej sprawdza się w przypadku ramek, w których występuje minimalny ruch i tylko jeden główny obiekt. W przeciwnym razie scena 3D stworzona przez sztuczną inteligencję może być rozmyta.

Instant NeRF może być używany do tworzenia awatarów lub scen dla wirtualnych światów, przechwytywania uczestników wideokonferencji i ich otoczenia w 3D oraz rekonstrukcji scen dla cyfrowych map 3D. Wprawdzie nie da się przetestować technologii, ale w przyszłości NVIDIA może otworzyć do niej dostęp.