家 1 月 4 日消息，科技媒體 The Decoder 昨日（1 月 3 日）發(fā)布博文，報道稱谷歌 DeepMind 聯(lián)合哥倫比亞大學(xué)、加州大學(xué)圣地亞哥分校的研究人員，開發(fā)了一款名為 CAT4D 的 AI 系統(tǒng)，可以將普通視頻轉(zhuǎn)化為動態(tài) 3D 場景，降低了 3D 內(nèi)容創(chuàng)作的門檻，為多個行業(yè)帶來了新的可能性。
CAT4D 系統(tǒng)利用擴散模型，將單視角拍攝的視頻轉(zhuǎn)換為多視角視圖，并將其構(gòu)建成動態(tài) 3D 場景，用戶可以從不同角度觀看視頻中的主體，如同置身其中。IT之家附上演示圖如下：
以往，實現(xiàn)類似效果需要多臺攝像機同時錄制同一場景，而 CAT4D 則簡化了這一流程，只需普通視頻素材即可，這項技術(shù)有望革新游戲開發(fā)、電影制作和增強現(xiàn)實等領(lǐng)域。
在訓(xùn)練 AI 過程中，谷歌 DeepMind 團隊發(fā)現(xiàn)沒有太多現(xiàn)有數(shù)據(jù)，為了解決這個問題，團隊混合真實世界的鏡頭與計算機生成的內(nèi)容，訓(xùn)練數(shù)據(jù)包括靜態(tài)場景的多視圖圖像、單視角視頻和合成 4D 數(shù)據(jù)，通過擴散模型學(xué)習(xí)，在特定時刻從特定角度創(chuàng)建圖像。
該系統(tǒng)現(xiàn)階段所生成的 3D 場景，比原始素材要短，但 CAT4D 的成像質(zhì)量已優(yōu)于同類系統(tǒng)。CAT4D 技術(shù)具有廣泛的應(yīng)用前景。游戲開發(fā)者可以利用它創(chuàng)建虛擬環(huán)境，電影制作人和 AR 開發(fā)者也可以將其融入到工作流程中。