胡 璇 騰訊研究院高級(jí)研究員

王煥超 騰訊研究院研究員

2021 年底，微軟亞洲研究院以論文形式發(fā)布了一項(xiàng)沉浸式 3D 視頻交流系統(tǒng)——VirtualCube，并一舉拿下虛擬現(xiàn)實(shí)與圖形學(xué)領(lǐng)域 IEEE VR 2022 (& IEEE TVCG) 的最佳期刊論文獎(jiǎng)。

從技術(shù)層面看，VirtualCube 為構(gòu)建出每個(gè)用戶的實(shí)時(shí) 3D 影像，硬件方面采用包括用于獲取用戶 3D 模型的六臺(tái)攝像機(jī)，以及由三個(gè) 65 寸 4K 屏幕組成的環(huán)繞顯示設(shè)備，位于隔間之內(nèi)。同時(shí)，利用軟件系統(tǒng)和專用算法保障視覺(jué)還原度，包括參與者的形體、相對(duì)位置關(guān)系、相互注視，并保證視頻流幀率穩(wěn)定。研發(fā)團(tuán)隊(duì)也在探索未來(lái)加入空間音頻支持和復(fù)雜手勢(shì)處理等更多維度。

簡(jiǎn)單來(lái)說(shuō)，VirtualCube 的作用，是把傳統(tǒng)視頻會(huì)議中的“紙片人”（由每秒 24 幀圖片構(gòu)成的視頻），還原成了真正的“大活人”：即使對(duì)方保持不動(dòng)，你也能轉(zhuǎn)過(guò)頭看到 ta 的側(cè)臉。

在傳統(tǒng)的視頻會(huì)議中，經(jīng)典難題就是與會(huì)者缺乏眼神交流：如果發(fā)言者注視攝像頭，會(huì)感覺(jué)自己在和屏幕而非人類(lèi)對(duì)話；而一旦注視屏幕中的人臉，就更無(wú)法與對(duì)方“對(duì)視”，看起來(lái)心不在焉。VirtualCube 創(chuàng)造性地解決了這一問(wèn)題：視頻雙方不必看攝像頭，也會(huì)有自然的眼神交流。

根據(jù)官方的介紹，VirtualCube 系統(tǒng)的核心目標(biāo)正是實(shí)現(xiàn)“參與者位于同一房間中”的臨場(chǎng)感，從而讓不同時(shí)空環(huán)境下的參會(huì)者，都能夠更沉浸和放松，更專注于溝通本身。在它之前，谷歌的 Starline、Facebook 的 Horizon Workrooms 也都是解決這一需求的先行者。

在新冠疫情的大背景下，遠(yuǎn)程辦公成為不少公司的選擇，而視頻會(huì)議作為兼顧體驗(yàn)與溝通效率的一項(xiàng)工具，成為遠(yuǎn)程辦公的標(biāo)配。但與真實(shí)的線下交流相比，視頻會(huì)議仍顯得不夠自然，前述的缺乏眼神交流等問(wèn)題的存在，都讓參與者無(wú)法沉浸。從這一角度出發(fā)，我們自然就能理解 VirtualCube 等技術(shù)努力的意義所在。

對(duì)于遠(yuǎn)程辦公者來(lái)說(shuō)，VirtualCube 是以一種比視頻會(huì)議更生動(dòng)的方式，把你的同事和老板搬到了你的面前，從而實(shí)現(xiàn)了媲美線下的臨場(chǎng)感。

但也有不少觀點(diǎn)認(rèn)為，所謂的“臨場(chǎng)感”可能是一種偽需求，對(duì)于遠(yuǎn)程辦公來(lái)說(shuō)，連接才是第一性的目標(biāo)，視頻甚至是語(yǔ)音通話的作用已經(jīng)足夠，對(duì)臨場(chǎng)感的追尋顯然并不必要。問(wèn)題來(lái)了，對(duì)遠(yuǎn)程辦公乃至更廣義上的工作模式而言，“臨場(chǎng)感”真的是冗余的嗎？通過(guò)技術(shù)追求“臨場(chǎng)感”到底有什么意義？

接下來(lái)，我們就討論這個(gè)問(wèn)題。

比起線下， 遠(yuǎn)程辦公到底差了點(diǎn)啥？

得益于各種數(shù)字化技術(shù)和工具的存在，遠(yuǎn)程辦公不再是一件稀奇事。通過(guò)語(yǔ)音通話和即時(shí)通訊軟件，我們可以與同事保持聯(lián)系；通過(guò)在線會(huì)議工具，能夠參加大大小小的會(huì)議或研討；通過(guò)在線協(xié)同工具，可以與團(tuán)隊(duì)同步工作進(jìn)度，流程化地完成長(zhǎng)鏈條任務(wù)。

所以，在新冠疫情暴發(fā)之后，遠(yuǎn)程辦公很快就成為許多公司選擇的工作模式。艾媒咨詢數(shù)據(jù)顯示，2020 年復(fù)工期間，中國(guó)有超過(guò) 1800 萬(wàn)家企業(yè)采用了線上遠(yuǎn)程辦公模式，超過(guò) 3 億用戶使用遠(yuǎn)程辦公應(yīng)用。騰訊研究院 T-ask 的一項(xiàng)調(diào)研也發(fā)現(xiàn)，接近 7 成（69.8%）被調(diào)研者都有過(guò)遠(yuǎn)程辦公經(jīng)歷。不久前，攜程公司官宣了混合辦公的規(guī)定，全球范圍內(nèi)，微軟、Google、meta 等公司也都推出相關(guān)措施。

可以說(shuō)，遠(yuǎn)程辦公正在成為大多數(shù)人所接受的常態(tài)。但是，隨著常態(tài)化過(guò)程的深化，遠(yuǎn)程的一些弊端或者說(shuō)劣勢(shì)也在逐漸凸顯出來(lái)。

先把時(shí)間線拉回到世紀(jì)之初，彼時(shí)的科技界也曾有過(guò)一波遠(yuǎn)程辦公浪潮。以 IBM 為例，其在 2009 年的一項(xiàng)報(bào)告中宣稱，全球 38.6 萬(wàn)公司員工中有 40% 都居家辦公，十年間，公司將節(jié)省下來(lái)的辦公空間出售就獲益 19 億美元。但這波浪潮很快就退卻了，原因就在于，這些先行者發(fā)現(xiàn)，遠(yuǎn)程辦公在員工溝通效果、工作效率以及企業(yè)文化的形成方面存在諸多問(wèn)題，因此仍不能替代線下辦公。

其中最有代表性的是雅虎。2013 年，雅虎頒布了一項(xiàng)規(guī)定，明確禁止員工遠(yuǎn)程，而是必須到最近的辦公區(qū)中辦公，否則將被辭退。2017 年，IBM 也將員工召回辦公室現(xiàn)場(chǎng)工作。彼時(shí)的雅虎全球人力資源總監(jiān) Jackie Reses，在內(nèi)部備忘錄中寫(xiě)道：“作為一個(gè)雅虎人，不僅僅要做好日常工作，更重要的是要互動(dòng)和體驗(yàn)。而互動(dòng)和體驗(yàn)只有在辦公室才能完成?！?/p>

是的，互動(dòng)和體驗(yàn)，正是對(duì)比遠(yuǎn)程與現(xiàn)場(chǎng)辦公的關(guān)鍵線索。遠(yuǎn)程辦公雖然以某種方式實(shí)現(xiàn)了“互動(dòng)”和“體驗(yàn)”，但并不完整。

在現(xiàn)場(chǎng)辦公中，工作者能夠直接進(jìn)行面對(duì)面溝通，在這種溝通模式中，除了口語(yǔ)交流，雙方能看到彼此的眼神、表情、手勢(shì)、動(dòng)作這些語(yǔ)言之外的要素。同時(shí)，交流時(shí)所處的環(huán)境也相當(dāng)重要：氣味、光線、現(xiàn)場(chǎng)布置、雙方所處的位置，甚至是對(duì)方的毛孔、飛濺的唾沫。它們的存在，賦予每次交流以深刻的獨(dú)特性。

這些因素的加總，共同構(gòu)成了交流的“語(yǔ)境”，它對(duì)于傳達(dá)意涵與感情，從而使交流雙方建立更好的理解與合作而言相當(dāng)重要。用一個(gè)統(tǒng)一的詞來(lái)定義，這些東西就是“臨場(chǎng)感”，它涵蓋了你在交流語(yǔ)境中的所見(jiàn)、所聽(tīng)、所聞、所思、所感，以及由這些全部觀察與感受形成的綜合感覺(jué)。對(duì)比之下，遠(yuǎn)程辦公可以借助各種工具，實(shí)現(xiàn)語(yǔ)音、視頻畫(huà)面的傳遞，并在某種程度上模擬現(xiàn)實(shí)，但它缺少的就是這種“臨場(chǎng)感”。

瓦爾特·本雅明曾經(jīng)提出過(guò)“靈韻”（Aura）的概念，用以描述藝術(shù)品實(shí)體以及線下劇場(chǎng)的演出所具有的一種綜合的真實(shí)特質(zhì)。當(dāng)機(jī)械復(fù)制時(shí)代來(lái)臨，通過(guò)大規(guī)模的復(fù)制（本雅明主要指攝影），藝術(shù)品和演出的傳播范圍廣了，但“靈韻”卻消失了。而遠(yuǎn)程辦公所不具備的，正是線下辦公的“靈韻”。

靈韻的消失是一個(gè)觸發(fā)點(diǎn)。與面對(duì)面的現(xiàn)場(chǎng)辦公相比，遠(yuǎn)程辦公無(wú)疑增加了溝通成本。線下幾句話能說(shuō)明白的事情，要經(jīng)過(guò)很多次低效的線上溝通才能達(dá)成目的。同時(shí)，面對(duì)面的互動(dòng)決定了要在同一時(shí)間內(nèi)和空間內(nèi)進(jìn)行同一件事，因此有利于更快地做出決策。而遠(yuǎn)程辦公就不行，你不會(huì)知道網(wǎng)線另一端的同事到底在干什么：擼貓、哄娃，還是蹬劃船機(jī)。即便同在一個(gè)視頻會(huì)議上，也不能保證同事有沒(méi)有開(kāi)著其他窗口。

第二個(gè)層面是工作關(guān)系。在工作場(chǎng)所中，員工通過(guò)觀察同事的表現(xiàn)和行為，能夠了解公司的制度、規(guī)范和文化，這是一個(gè)學(xué)習(xí)的過(guò)程。同時(shí)，員工之間的真實(shí)互動(dòng)，有助于建立起良好的工作關(guān)系，這不僅能增強(qiáng)團(tuán)隊(duì)凝聚力和公司文化，而且緊密、融洽的工作關(guān)系本身就是工作效率和創(chuàng)造力的一部分。

對(duì)于新員工來(lái)說(shuō)，類(lèi)似互動(dòng)尤為重要。如果缺少這些環(huán)節(jié)，直接進(jìn)入到遠(yuǎn)程辦公的模式中，很可能面臨難以融入的問(wèn)題?！度A爾街日?qǐng)?bào)》的一篇報(bào)道寫(xiě)到一名年輕人在工作一年半后，才有機(jī)會(huì)和其他同事見(jiàn)面：“開(kāi)會(huì)時(shí)，大家關(guān)掉了攝像頭，我甚至不知道他們長(zhǎng)什么樣?！憋@然，這無(wú)助于工作者之間建立起正常的關(guān)系，并進(jìn)一步影響工作的開(kāi)展。

鮑曼在《工作、消費(fèi)主義和新窮人》中指出，工作場(chǎng)所承載了最主要的社交融合功能?，F(xiàn)代社會(huì)中，成年人大部分時(shí)間都是在工作中度過(guò)的，這意味著工作中的人際關(guān)系，不僅僅是純工作層面，也是我們作為與他人建立連接、參與社會(huì)化的一種必須。

這或許是工作制度更深遠(yuǎn)的意義，也是遠(yuǎn)程辦公缺失臨場(chǎng)感最嚴(yán)重的后遺癥：長(zhǎng)時(shí)間以工作和任務(wù)導(dǎo)向，缺乏人際互動(dòng)，不但會(huì)促成焦慮和抑郁等不良情緒，也嚴(yán)重影響了成年人正常的社會(huì)化過(guò)程。

這些技術(shù)在 努力追求“數(shù)字臨場(chǎng)感”

正是考慮到遠(yuǎn)程辦公的一系列負(fù)面影響，不少遠(yuǎn)程辦公的支持者紛紛“反水”。2021 年 2 月，谷歌在提交給監(jiān)管機(jī)構(gòu)的年度報(bào)告中指出，居家辦公影響了公司的工作效率、競(jìng)爭(zhēng)力和企業(yè)文化，并表示更多員工將會(huì)回歸到線下辦公。

回到傳統(tǒng)模式當(dāng)然是一種選擇，但考慮到遠(yuǎn)程辦公仍然可能是未來(lái)重要的工作模式之一，哪怕只著眼于疫情反復(fù)的近期，它也是實(shí)用主義的應(yīng)對(duì)之策，所以，彌補(bǔ)遠(yuǎn)程辦公在“臨場(chǎng)感”方面的不足，未嘗不是一種可選項(xiàng)。

試想一下，如果能通過(guò) VirtualCube 這樣的方式，把同事的 3D 形象投影到你的身旁，即便是居家辦公，同事也坐在你旁邊或與你面對(duì)面，隨時(shí)能閑談或開(kāi)會(huì)交流（空間音頻完美還原），其實(shí)已經(jīng)在很大程度上解決了“臨場(chǎng)感”不足的問(wèn)題。

其實(shí)在 VirtualCube 之前，谷歌于 2021 年 5 月公開(kāi)的視頻通話 Starline 項(xiàng)目，就已實(shí)現(xiàn)了令人驚嘆的“隔空傳人”，遠(yuǎn)在千里外的家人影像如此清晰、立體，仿佛觸手可及。示范了 3D 全息影像對(duì)“臨場(chǎng)感”的有力加成，也初步克服了最大挑戰(zhàn)：在手機(jī)、電視、VR 等 2D“平板”顯示設(shè)備上還原 3D 內(nèi)容。

對(duì)面的女士是實(shí)時(shí)影像，既非真人，也非普通視頻

VirtualCube 和 Starline 效果相似，但技術(shù)路徑不同。下面從視覺(jué)原理和技術(shù)脈絡(luò)兩方面來(lái)看全息影像如何步步進(jìn)化，我們距離科幻電影中的“真全息”還有多遠(yuǎn)。

全息投影是鋼鐵俠眾多黑科技之一

3D 視覺(jué)是人類(lèi)的生存法寶，多種線索幫助大腦形成空間感。狩獵求生時(shí)，祖先依靠雙眼來(lái)判斷獵物的遠(yuǎn)近、大小、形態(tài)；直到今天，視覺(jué)仍是各種感官中最主要的信息來(lái)源，對(duì)空間、光影、運(yùn)動(dòng)等保持高度靈敏。

第一類(lèi)是平面線索，包括近大遠(yuǎn)小、遮擋關(guān)系、光影紋理等，這也是繪畫(huà)、攝影中立體感的基礎(chǔ)。我們憑借生活經(jīng)驗(yàn)，將圖像視作三維物體在二維平面的投影，“腦補(bǔ)”其原本的模樣。

左圖：立方體，而非三個(gè)鄰接的平行四邊形

右圖：陰影、遮擋、近大遠(yuǎn)小在繪畫(huà)中應(yīng)用的實(shí)例

畫(huà)面動(dòng)起來(lái)，立體效果翻倍：比如“添加兩條白杠變 3D“的例子。白杠遮擋了部分原圖，將視頻切割成了前景（魁地奇）中景（白杠）和背景（哈利波特）三部分，模糊效果進(jìn)一步拉遠(yuǎn)了三個(gè)景別的心理距離。

當(dāng)心！魁地奇要飛到你鼻尖上啦

第二類(lèi)是深度線索，它們是突破“臨場(chǎng)感”的關(guān)鍵。即在 XY 軸構(gòu)成的平面外、Z 軸上的更多信息，包括：雙目視差，移動(dòng)視差和聚焦模糊。雙目視差的典型應(yīng)用是 3D 電影和 VR 眼鏡，戴上特制的眼鏡后，左右眼接收到的畫(huà)面會(huì)有些微差異，經(jīng)由大腦重新加工為立體的畫(huà)面。

移動(dòng)視差更為重要，現(xiàn)實(shí)中“橫看成嶺側(cè)成峰”，對(duì)著手機(jī)圖片可沒(méi)這效果。畢竟顯示器中每一幀畫(huà)面的像素排列都是恒定的，無(wú)論晃頭看還是調(diào)節(jié)焦點(diǎn)，圖像不會(huì)有任何差異，因此立體感也是不完整的。

實(shí)現(xiàn)移動(dòng)視差，就要確保觀看者在不同的位置和角度看到不同的內(nèi)容，大致有兩條技術(shù)路徑：第一是在顯示器本身做文章，第二是追蹤觀看者并發(fā)送正確的畫(huà)面。

借用lookingglass的效果示意圖

路線一的典型代表是 LookingGlass、京東方等生產(chǎn)的新型光場(chǎng)顯示器，谷歌 Starline 中使用的也是這種設(shè)備。原理是在顯示層上疊加一層柱狀透鏡，使不同視角下進(jìn)入眼睛的光線不同。外觀上和普通顯示器區(qū)別不大，只是很厚，像一塊大玻璃。這本身并不是一項(xiàng)黑科技，你小時(shí)候一定見(jiàn)過(guò)。

在 2010 年前后曾興起過(guò)一陣裸眼 3D 電視風(fēng)潮，飛利浦在 2010 柏林電子展就率先展出，東芝、索尼也有布局；最大的瓶頸是芯片算力，要增加多少微視角，就要同時(shí)渲染多少倍的畫(huà)面，很快因?yàn)轶w驗(yàn)不佳而被遺忘。

飛利浦的專利到期后，多家廠商又重新?lián)炱疬@一科技樹(shù)。在強(qiáng)勁顯卡支持下，LookingGlass 在 2018 年推出首臺(tái)設(shè)備，2021 年初發(fā)布了體積更小的消費(fèi)級(jí)產(chǎn)品 portrait，可同時(shí)渲染 45 個(gè)視角畫(huà)面，可視范圍更大；能配合各種外接設(shè)備使用，從而實(shí)現(xiàn)與全息內(nèi)容的高級(jí)交互，包括 VR 手柄，傳感器，觸覺(jué)反饋系統(tǒng)等。

LookingGlass與傳感器聯(lián)動(dòng)效果示意

路線二的典型代表是 VirtualCube 項(xiàng)目中搭建的設(shè)備。原理為根據(jù)用戶眼睛的位置，持續(xù)顯示正確的圖像和視角，相比 Lookingglass 等更為節(jié)約算力；缺點(diǎn)是體積稍大，同時(shí)只支持 1 人觀看。

也有產(chǎn)品融合以上兩種方式，如 Sony 的 ELFD 3D 顯示器，在 2020 年的 CES 上展出 15 英寸原型機(jī)后受到廣泛關(guān)注。ELFD 采用了索尼的三項(xiàng)專利技術(shù)：高速、高精度、實(shí)時(shí)傳感；實(shí)時(shí)光場(chǎng)渲染；高精度 3D 顯示。既追蹤用戶，以最小的延遲實(shí)現(xiàn)精確的眼部檢測(cè)；也結(jié)合微光透鏡實(shí)現(xiàn)更立體的效果。

不要因?yàn)槭煜?，就覺(jué)得“必須”

本文的討論主要是從“遠(yuǎn)程辦公”出發(fā)，但“臨場(chǎng)感”及相關(guān)的技術(shù)努力，顯然不局限于這一個(gè)場(chǎng)景。數(shù)字技術(shù)在大大小小的領(lǐng)域推進(jìn)著范式變革，也自然會(huì)引出傳統(tǒng)范式與新興范式的特性對(duì)比。沿著這一思路，再來(lái)思考“臨場(chǎng)感”這個(gè)概念，恐怕也沒(méi)有那么簡(jiǎn)單了。

我們對(duì)于臨場(chǎng)感的理解與認(rèn)知，建立在面對(duì)面人際交往的傳統(tǒng)模式的基礎(chǔ)之上，我們認(rèn)為它是“好”的，是要去追尋的，在很大程度上是因?yàn)榕R場(chǎng)感是舊范式的固定屬性，因此具備了合理性，也自然而然地成為我們?cè)u(píng)價(jià)和衡量新范式的標(biāo)準(zhǔn)。但是隨著數(shù)字時(shí)代的延伸，“臨場(chǎng)感”的定義也會(huì)發(fā)生變化，說(shuō)不定“在線連接”的時(shí)代也會(huì)發(fā)展出屬于自己的“光韻”，正如攝影也已經(jīng)成為嚴(yán)肅藝術(shù)的代表一樣。

所以我們不必過(guò)于糾結(jié)。每一代人都有所屬的媒介環(huán)境和所處的時(shí)代背景，據(jù)此又會(huì)形成不同的價(jià)值觀念和認(rèn)知。沒(méi)有什么是變動(dòng)不居的，時(shí)代在發(fā)展，工具和技術(shù)在進(jìn)步，我們對(duì)于事物的認(rèn)知和態(tài)度也會(huì)因此發(fā)生變化?！肮ぷ鳌钡亩x也在發(fā)生漂移，生活在 21 世紀(jì)的我們所理解的“工作”，與 16 世紀(jì)紡織工廠工人的認(rèn)知幾乎完全不同，同理，一直處在線上辦公模式中的人，對(duì)于工作的認(rèn)知，顯然也會(huì)與我們這一代人有很大差別。

這就意味著，我們對(duì)“臨場(chǎng)感”這種傳統(tǒng)范式屬性的追尋，很可能缺少合理性的支撐。因?yàn)閷?duì)于新一代或者說(shuō)下一代工作者來(lái)說(shuō)，他們對(duì)工作的認(rèn)知可能就是“分散各地的人們，通過(guò)在線協(xié)同工具，相互溝通與協(xié)作，模塊化、流程化完成任務(wù)”，既然遠(yuǎn)程連接能夠提供這些條件，那為什么還要有一個(gè)物理的工作空間呢？為什么還要追求什么“臨場(chǎng)感”呢？

所以，當(dāng)我們討論臨場(chǎng)感時(shí)，要保持警惕，它可能不是未來(lái)工作模式中所必須的，避免因?yàn)槭煜?，就覺(jué)得必須。不能因?yàn)閭鹘y(tǒng)事物的固有認(rèn)知，限制了我們對(duì)新事物的想象。這跟我們對(duì)元宇宙等新事物的態(tài)度應(yīng)該是一致的，所有人都在討論元宇宙，但它到底是什么樣貌，不是以現(xiàn)在的技術(shù)形態(tài)為標(biāo)準(zhǔn)的。與其按照舊思維去構(gòu)想，去定義，去框定，不如打開(kāi)想象空間，不設(shè)限，靜待它自我發(fā)展與延伸，這就可以了。