Hytaýyň Tencent kompaniýasy bir suratyň esasynda 3D effektli wideolary döretmäge mümkinçilik berýän Hunyuan World-Voyager açyk EA modelini hödürledi.
Algoritm bir suraty alyp, 49-a çenli yzygiderli kadr döredýär, bu iki sekuntlyk wideo deňdir. Soňra olar özara birleşdirilip, birnäçe minutlyk wideo döredilýär. Şol bir wagtyň özünde kamera 3D giňişlikde hereket edýän ýaly effekt döreýär: obýektler öz orunlaryny saklaýar we ähli zat hakyky ýaly görünýär.şAdatça, wideo generatorlary yzly-yzyna täze kadrlary çekýär we käwagt obýektler “ýüzýär” ýa-da şekilini üýtgeýär. Tencent bolsa başgaça çemeleşme ulanýar. Her bir kadr nokatlardan ybarat üç ölçegli modele öwrülýär. Soňra 3D model yzyna 2D geçirilýär. Şeýlelik bilen kadrlar özara ylalaşýar we dogry geometriýa alynýar.
Mundan başga-da, Hunyuan World-Voyager bir wagtyň özünde reňkli wideo we çuňluk kartasyny (RGB-D) döredýär. Bu kartalar obýektiň näderejede uzakda ýerleşýändigini görkezýär.
Tencent-iň maglumatlaryna görä, model 100 müňden gowrak wideonyň esasynda okadyldy. EA algoritmine wideooýunlaryň gurşawynda 3D kameralaryň hereketine öýkünmek öwredildi.
Ulgam ýokary hasaplaýyş güýjüni talap edýär: 540p durulykda sahnalary döretmek üçin azyndan 60 GB wideo ýady gerek we has ýokary hil üçin 80 GB.
Hunyuan World-Voyager-iň başlangyç kody we görkezmeler Hugging Face platformasynda ýerleşdirildi. Modeli ÝB ýurtlarynda, Beýik Britaniýada we Günorta Koreýada ulanmak gadagan edilýär, 100 mln ulanyjydan gowrak auditoriýaly täjirçilik ulanylyşy aýratyn ygtyýarnamany talap edýär.
