NVIDIA wprowadziła sieć neuronową do generowania wideo według opisu

Firma NVIDIA ogłoszony nowy model VideoLDM AI, który tworzy krótkie filmy na podstawie tekstu. Został opracowany we współpracy z naukowcami z Cornell University.

VideoLDM bierze pod uwagę do 4,1 miliarda parametrów, z czego 2,7 miliarda jest trenowanych na wideo. Wygenerowane klipy mogą mieć rozmiar do 2048×1280 pikseli przy 24 klatkach i trwać do 4,7 sekundy.

Sieć neuronowa jest w stanie stworzyć zarówno proste sceny z kilkoma słowami w żądaniu, jak i coś bardziej złożonego. Kilka przykładów:

• Fajerwerki.

• Szturmowiec odkurza plażę.

• Podróżnik spaceruje samotnie w mglistym lesie o zachodzie słońca.

Więcej przykładów jest włączonych strona internetowa projektu.

Ta sieć neuronowa NVIDIA nie jest jeszcze dostępna publicznie. Został on zaprezentowany jako artykuł naukowy w ramach konferencji Conference on Machine Vision and Pattern Recognition.

Twórcy odnotowali imponujący i szybki postęp w nauce, ale nie rozmawiali o możliwej przyszłości sieci neuronowej. Niemniej jednak możemy założyć, że wkrótce otrzymamy pełnoprawny analog wideo