通過AI技術,Meta提升了6DoF VR視頻的沉浸感

一直以來,VR視頻都停留在了180度或者360度這個階段,只是分辨率在不斷的提升,而6DoF的視頻則進展緩慢。畢竟在6DoF下面,人的視角可以隨意移動,這對於前期的拍攝製作和後期的存儲和播放來説都是一個巨大的挑戰。

援引 MIXED 的消息稱,Meta的Reality Labs和卡內基梅隆大學、馬里蘭大學的研究人員現正研究一種名為 HyperReel 的渲染方法,可以以更低的內存佔用實現高分辨率實時渲染。跟目前主流的AI學習方法如NeRFs不同,HyperReel利用AI學習計算光線與物體之間的交點,而非NeRFs的光線路徑。

性能方面,HyperReel能在RTX 3090上實現每秒6.5幀至29幀的播放速度,這主要跟場景和模型尺寸有關。不過最好的29FPS是在Tiny模型上實現的,分辨率很低。

在文件大小方面,NeRF每幀的大小約為17MB,谷歌的沉浸式光場視頻每幀大小為8.87MB,而HyperReel每幀只有1.2MB大。雖然目前HyperReel仍然不適合用於VR視頻串流,但文件更小意味着日後實現這個功能會更容易。

總的來説,HyperReel仍然是一個實驗室項目,距離實時VR應用如直播等還有一段距離。因為實時的VR視頻應用需要達到72FPS的渲染幀率,還得加上立體聲。不過Meta同時表示,HyperReel是基於原版PyTorch實現的,未來還擁有提升空間。