元宇宙Mataverse這個(gè)詞在今年席卷了全球互聯(lián)網(wǎng),熱度居高不下、人盡皆知。元宇宙是指通過(guò)虛擬現(xiàn)實(shí)和互聯(lián)網(wǎng),構(gòu)建具有鏈接感知和共享特征的,平行于現(xiàn)實(shí)世界的3D虛擬空間。如果想要有一個(gè)直觀的認(rèn)識(shí),推薦大家看一下有由HTC投資好萊塢斯皮爾伯格大導(dǎo)演執(zhí)導(dǎo)的電影《頭號(hào)玩家》。
圖一:《頭號(hào)玩家》劇照
元宇宙是一種可以改變?nèi)祟?lèi)生活方式的超前概念:在不遠(yuǎn)的將來(lái),人們可以隨時(shí)隨地切換身份,自由穿梭于物理世界和數(shù)字世界之中,在虛擬空間和時(shí)間節(jié)點(diǎn)所構(gòu)成的數(shù)字世界中社交、工作、學(xué)習(xí)、娛樂(lè)、購(gòu)物、旅游等盡情互動(dòng)。
在普通人還不知道元宇宙是什么的時(shí)候,互聯(lián)網(wǎng)巨頭紛紛進(jìn)軍元宇宙:Facebook是元宇宙布局的先驅(qū)者,扎克伯格表示Facebook組建了專(zhuān)門(mén)的元宇宙部門(mén),未來(lái)五年要將Facebook從社交公司變成元宇宙公司。英偉達(dá)(NVIDIA)公司推出的Omniverse開(kāi)發(fā)平臺(tái),為未來(lái)元宇宙建立的基礎(chǔ)模擬、協(xié)作平臺(tái)。Roblox游戲被認(rèn)為是元宇宙的雛形。今年3月上市以后,被認(rèn)為是元宇宙第一股,市值立即上升達(dá)到400億美元。美國(guó)Epic Games在4月獲得10億美元的投資用來(lái)構(gòu)建元宇宙基礎(chǔ)。這筆融資創(chuàng)下了元宇宙賽道最高融資紀(jì)錄。騰訊投資收購(gòu)一眾元宇宙相關(guān)公司,旗下的天美工作室正在打造代號(hào)為“綠洲”的元宇宙游戲。大玩家字節(jié)跳動(dòng)以1億元投資了元宇宙概念公司代碼乾坤,8月又以90億元左右的高溢價(jià)收購(gòu)Pico正式入局元宇宙。
巨頭們的舉措印證了元宇宙發(fā)展到了新階段。
圖二:互聯(lián)網(wǎng)巨頭布局元宇宙
而元宇宙與教育有著不同尋常的關(guān)系。Universe宇宙,無(wú)所不包,有歸一的意思;University大學(xué),無(wú)所不教,無(wú)所不談;Metaverse是一個(gè)觸手可及的宇宙, 也是教育發(fā)展升級(jí)的窗口。元宇宙和教育之間具有天然的平行性和覆蓋性,大學(xué)是為學(xué)習(xí)提供最好的條件, 而元宇宙為全天候?qū)W習(xí)提供了最大空間和最好的技術(shù)基礎(chǔ)。
著名心理學(xué)家馬斯洛曾提出,人的最高級(jí)欲望之一就是求知,元宇宙更容易讓參與者滿足他們的求知欲望, 相信元宇宙的開(kāi)發(fā)和探索最終也會(huì)落在求知上。最重要的是,元宇宙可以很好的平衡教育資源,是解決教育均衡問(wèn)題的最有效手段之一。
Jon Radoff 提出了元宇宙的7層價(jià)值鏈 其中最底層最核心的就是基礎(chǔ)設(shè)施。元宇宙概念的實(shí)現(xiàn)對(duì)于基礎(chǔ)設(shè)施的要求極高,需要大量的基礎(chǔ)設(shè)施提前布局、跟進(jìn)發(fā)展。而作為物理世界中最復(fù)雜的“人”,我們自己,應(yīng)該如何進(jìn)入教育元宇宙呢?體積視頻技術(shù)作為現(xiàn)階段唯一能夠完整、真實(shí)、高效捕捉寫(xiě)實(shí)的“人”在真實(shí)的世界中動(dòng)態(tài)數(shù)據(jù)的方式,也是在三維空間中能夠百分百?gòu)?fù)制人類(lèi)運(yùn)動(dòng)細(xì)節(jié)的唯一方法,構(gòu)成了元宇宙基礎(chǔ)設(shè)施的最重要一環(huán)。
圖三:元宇宙的七層價(jià)值鏈
通過(guò)球形部署的100多個(gè)高端工業(yè)相機(jī)、激光器、傳感器等,我們可以從各個(gè)角度捕捉圖像,采集全息數(shù)據(jù)。通過(guò)計(jì)算機(jī)圖形學(xué)算法擬合成為一序列三維模型和場(chǎng)景。這樣拍攝的視頻不再是一個(gè)二維的圖像,而是一個(gè)沉浸式的連續(xù)3D場(chǎng)景。這就是我們所說(shuō)的“體積視頻”(Volumetric Video)。
圖四:體積視頻攝制棚
傳統(tǒng)的視頻是由每秒30幀的靜態(tài)畫(huà)面構(gòu)成,體積視頻是由每秒30幀連續(xù)三維模型構(gòu)成。他能記錄三維空間中所有的動(dòng)作和行為,尤其是寫(xiě)實(shí),并將其存儲(chǔ)為一個(gè)全角度的立體場(chǎng)景。完全沒(méi)有固定的觀看視角,用戶可以自由地穿梭在場(chǎng)景之中,從任意角度、任意距離、任意位置觀察場(chǎng)景中的對(duì)象,并且與之互動(dòng)。
圖五:算法重建體積視頻
元宇宙需要與現(xiàn)實(shí)高度互通,對(duì)現(xiàn)有數(shù)字孿生技術(shù)提出了沉浸感、交互感等方面的高要求,需要大量寫(xiě)實(shí)的動(dòng)態(tài)真人的數(shù)字化內(nèi)容,對(duì)于“人”的超寫(xiě)實(shí)記錄和呈現(xiàn)都是現(xiàn)有技術(shù)的最大難題。
現(xiàn)有的CG建模、動(dòng)捕、面部捕捉等做出來(lái)的人物數(shù)字模型無(wú)法還原動(dòng)態(tài)的真實(shí)的人的動(dòng)作和表情細(xì)節(jié),很難做到真實(shí),永遠(yuǎn)無(wú)法做到相同,而且時(shí)間和成本極其高昂。
體積視頻技術(shù)是數(shù)字孿生領(lǐng)域中對(duì)動(dòng)態(tài)人物精確全面數(shù)字化的高效手段,同時(shí)解決了時(shí)間和成本非常高昂的兩個(gè)最大的痛點(diǎn),而且同時(shí)實(shí)現(xiàn)了高精度,百分之百還原動(dòng)作與神情。
圖六:體積視頻攝制棚拍攝動(dòng)態(tài)真人數(shù)字化內(nèi)容
體積視頻非常適合需要在多個(gè)角度觀看的教學(xué)和示范活動(dòng)的記錄,也就是凡是需要?jiǎng)邮值慕逃Ｎ覀兝皿w積視頻技術(shù)幫助著名京劇大師全息保留他最好的演藝水平并作為教學(xué)素材,讓最棒表演成為永恒;幫助跆拳道冠軍保留標(biāo)準(zhǔn)的技術(shù)動(dòng)作作為他自己的教學(xué)工具,節(jié)省教練體力與成本,使用上好的高級(jí)教練并提升學(xué)員興趣。這樣的技術(shù)用來(lái)全面提升我們的在線教育MOOC平臺(tái),再合適不過(guò)了。
圖七:體積視頻制作跆拳道教學(xué)課程
體積視頻將會(huì)有非常多的應(yīng)用場(chǎng)景,包括但不限于在線教育、電影制作、攝影行業(yè)、明星娛樂(lè)、新聞報(bào)道、時(shí)裝展覽、服裝電商、文化旅游、廣告宣傳、體育競(jìng)技等。體積視頻還會(huì)涉及到高校的眾多專(zhuān)業(yè),包括計(jì)算機(jī)、軟件工程、虛擬現(xiàn)實(shí)、數(shù)字媒體、影視、表演、廣告?zhèn)髅健r(shí)裝設(shè)計(jì)、電子商務(wù)、旅游管理、體育管理等等。
圖八:體積視頻的創(chuàng)新應(yīng)用場(chǎng)景
體積視頻攝制棚可以是計(jì)算機(jī)、軟件工程、虛擬現(xiàn)實(shí)、數(shù)字媒體等專(zhuān)業(yè)的前沿實(shí)驗(yàn)室,探索計(jì)算機(jī)圖形學(xué)和數(shù)字媒體技術(shù)在元宇宙領(lǐng)域的深度應(yīng)用,體積視頻攝制棚還可以成為大學(xué)的共享資源平臺(tái),服務(wù)于包括職業(yè)院校在內(nèi)的大學(xué)各個(gè)學(xué)科。
元宇宙將是教育變革的新窗口,體積視頻作為“人”高保真的進(jìn)入元宇宙的重要基礎(chǔ)設(shè)施,必將起到關(guān)鍵作用。
圖九 圖十:威愛(ài)科技總裁呂云博士在2021世界VR產(chǎn)業(yè)大會(huì)教育論壇發(fā)表關(guān)于體積視頻與元宇宙的主題演講
