來源:機器之心

編輯:澤南、大盤雞

「一度讓我忘了眼前的不是真人。」

「這是我與祖克柏在元宇宙中的對話。我跟Mark 物理距離有上百英里,但我感覺是在和他面對面。因為我們的形像都由照片級精度的3D 模型進行了建模,這技術太神奇了!我認為這就是人們未來在網路上交流的方式,」Lex Fridman 說。

祖克柏在元宇宙裡一小時的“真人對話”,驚艷了全世界

前天,麻省理工學院(MIT)科學家Lex Fridman 與Meta 執行長馬克・祖克柏的一番隔空對話,成為了社群網路上的最大熱門。他們在元宇宙裡長達一小時的訪談影片播放量很快就衝上了千萬。

現在,在元宇宙裡,我們的形象可以做到和真人幾乎一致,從全身細節到表情動作,自然得讓人驚嘆。

以至於在現實世界裡,我們需要注意管理一下表情:

祖克柏在元宇宙裡一小時的“真人對話”,驚艷了全世界

效果過於真實,讓人有些繃不住了。

在Lex Fridman 播客的「首次Metaverse 對話」中,祖克柏展示了Meta 的新型Codec 虛擬實境化身,其使用掃描技術建立使用者臉部的3D 模型,再由機器學習實現驅動。在對話過程中,新型頭顯會偵測使用者的臉部表情並將其實時對應到3D 化身上形成動作。

祖克柏說,在元宇宙對話時,「平台基本上是在透過網路發送你形象的編碼版本,這種方式甚至比傳輸影片的頻寬效率更高。」

當然在元宇宙裡,你也可以對自己的形象進行一些定制,例如修改一下打光:

祖克柏在元宇宙裡一小時的“真人對話”,驚艷了全世界

與Meta 最初的虛擬化身不同,先前的技術被嘲笑為無腿、目光呆滯且令人難受,新一代的形象卻顯得極其真實,延遲也可以忽略不計,能讓你在虛擬世界裡感受到和別人在一起。

祖克柏表示:「這觸及了擴增實境願景的核心,即無論你身在世界何處,它都能提供一種臨場感。」

這一切顯然為進行渲染的硬體帶來了更多的負載。在對話中,祖克柏和Fridman 都戴著最新版Quest Pro,它具有內建的臉部追蹤和眼球追蹤功能。需要注意的是,這並不是前幾天發布的Quest 3。 Quest Pro 可能要等2025 年才能正式發布。

祖克柏在元宇宙裡一小時的“真人對話”,驚艷了全世界

 Codec 形象需要對使用者的臉部進行掃描,以建立3D 虛擬模型。

祖克柏的訪談是在元宇宙裡,聊的內容也是元宇宙。在長達一小時的對話中,祖克柏聊了元宇宙、擴增實境、大模型等話題。

祖克柏說,其實人們大部分的溝通並不是透過語言完成的,而是透過表情等細節。 Meta 正嘗試著用更多卡通化身來捕捉表情,在傳遞逼真體驗的同時,也有一定的真實感。

他建議用戶可以編輯他們的虛擬分身,讓他們展示更誇張的情緒,並開玩笑說他可能會用化身技術來調整他著名的無表情的講話方式。

祖克柏在元宇宙裡一小時的“真人對話”,驚艷了全世界

儘管虛擬化身令人印象深刻,但要廣泛使用它們可能還需要一段時間。

需要注意的是,這次訪談中顯示的人物形像是使用最先進的、長達數小時的掃描(包括數百個攝影機)創建的,這是普通消費者現在還無法企及的。

不過祖克柏在訪談中表示,Meta 的計畫是讓人們能夠使用智慧型手機進行非常快速的掃描。

「你只需拿起你的手機在自己面前晃動幾分鐘,說幾句話,做出一堆表情...... 然後AI 就可以製作出我們現在擁有的質量的東西,」扎克伯格告訴Lex Fridman。

祖克柏說,Meta 計劃在未來幾年把這項技術整合到產品中。

與Meta 的免費VR 遊戲和社交平台Horizo​​​​n Worlds 所使用的卡通頭像相比,目前逼真的投影效果有了顯著改善。

祖克柏在元宇宙裡一小時的“真人對話”,驚艷了全世界

祖克柏的元宇宙自拍照。

去年,祖克柏在虛擬艾菲爾鐵塔外發布了一張他的元宇宙化身的自拍照,遭到了社交媒體上的一片嘲諷,評論者將其畫面與上世紀90 年代的電子遊戲相提並論。祖克柏當時承認,這個頭像是「基本」的程度。

沒想到時隔一年,科技的進步就如此龐大。

正如AI 科學家Lex Fridman 在採訪過程中感嘆的:「我真的不知道如何形容這種感覺,這就像是我們正在同一個房間裡,就像是未來。」

祖克柏持續不斷的努力正在改變人們對Horizo​​n Worlds 的印象。他告訴Lex Fridman,逼真的虛擬形象可能有助於吸引那些對元宇宙裡圖像感到反感​​的人,「人們被這種體驗所震撼,但我們確實收到了一些反饋,人們說頭像在這種環境中感覺沒有那麼逼真。」

顯然,如今的元宇宙能力會為我們的互動方式帶來巨大的改變。不得不承認的是,這是祖克柏元宇宙計畫有史以來最令人印象深刻的展示。

祖克柏在元宇宙裡一小時的“真人對話”,驚艷了全世界

 「改變了,我們對元宇宙的觀感開始改變了」——這是劃時代的科技。

如果不久之後,Meta 在消費級產品做到這樣的效果,它可能會成為一種改變遊戲規則的應用。

參考內容:

https://www.businessinsider.com/mark-zuckerberg-new-metaverse-avatars-are-now-humanlike-2023-9

https://futurism.com/the-byte/new-metaverse-lifelike-avatar

https://twitter.com/lexfridman/status/1707453830344868204