11月3日-4日，2021年騰訊數字生態大會在武漢中國光谷科技會展中心舉行。在今年大會的門口，騰訊云用6萬塊積木建起的一個6米高的大logo格外吸睛，成為一個熱門打卡點，而用戶得到的不只是一張靜態的“游客照”，而是一段可以在終端自由切換觀看角度的視頻，這仿佛在現實生活中打開了王者榮耀的“自由視角”—— 而這個特殊的體驗環節背后也是騰訊多媒體實驗室自主研發的自由視角空間視頻技術的支撐。

“產業數字化對于很多客戶而言是一個理解過于繁復的過程。騰訊云希望像積木一樣實現自由組合，即插即用，助力客戶‘化繁為簡，以小建大’，”積木云項目負責人之一，多媒體實驗室業務負責人Jeff告訴36氪，“這也是我們為什么策劃這樣一個打卡體驗的原因。自由視角背后原理很復雜，適應場景很多元，但這樣一個專屬的個人體驗，能更簡單直接感受自由視角的魅力，也有機會去讓大家暢想它未來更‘大‘的魅力與前景應用。”

沒有人走過的路

早在2018年，騰訊多媒體實驗室就在騰訊杰出科學家劉杉博士帶領下開始了對沉浸式媒體（包括自由視角、VR/AR等）技術的研發工作。作為一個提升用戶沉浸式體驗感的技術，但最開始，自由視角在國內似乎沒什么關注度。

彼時，VR/AR領域經過幾年的熱炒，因為尚無法為用戶帶來較好的沉浸式體驗，熱度驟減，不論是投資機構還是科技公司都尚未清晰意識到構建沉浸式體驗的價值。2018全年VR/AR領域的融資總額還不及2017年下半年融資數額的一半。

而相比VR技術，自由視角在技術難度上更大了。VR是固定觀察者位置，從中心向四周看，模擬人在特定位置轉動頭部的觀察體驗。而自由視角則是相反，是從四周向中心看，即觀察者除了可以通過轉動頭部變換視角，還可以變換位置進行視角切換。更多的視角自由度意味著需要更多的數據和更復雜的算法，因此自由視角在技術上更具挑戰性。

在自由視角技術概念尚處于早期階段，騰訊多媒體實驗室就已經發現了這項技術背后的巨大潛力，將其作為沉浸式媒體產品線的一部分開始進行研發。同時，實驗室標準團隊還深度參與了國際自由視角相關技術的國際和國內標準制定。

2020年，5G技術開始逐步進入商用階段，5G建設和應用持續推進，作為新一代的移動通訊技術，5G在傳輸速率、資源利用率方面相比4G均實現了較大提升。高可靠、低時延的5G技術滿足了自由視角對網絡帶寬的要求，輔以顯示技術的發展與成熟，自由視角又再次走到了臺前。

經過3年的技術打磨，在2021年的騰訊數字生態大會，騰訊多媒體實驗室研發的端到端自由視角解決方案“閃亮登場”，為頗為火熱的“全真互聯”概念邁出了實踐性的一步。

《黑客帝國》如何從電影走入現實

相信許多80和90后關于科幻的最初概念都來自于《黑客帝國》系列電影。電影中由基努·里維斯飾演的主角尼奧在傾身躲子彈時仿佛時間靜止，展現出的360度旋轉全景場面過去了20年還是讓人印象深刻。

通過多機位快速連續捕捉拍攝目標，并對拍攝內容進行處理是《黑客帝國》視覺效果總監約翰·蓋特首先應用的， 2013年火遍全國的韓劇《來自星星的你》中都教授暫停時間時的全景視角應用的也是這種方法。而這也是自由視角技術的最初的原型。

（《黑客帝國》拍攝現場機位設置，和下圖通過側滑的形式呈現）

（《來自星星的你》拍攝現場機位設置，和上圖通過側滑的形式呈現）

自由視角技術鏈條較長，大致可以分為圖像數據采集、網絡傳輸、處理分析和客戶端顯示等多個環節。由于需要實現實時的視角切換，自由視角在技術實現難度上比后期制作時間充足的電影拍攝更勝一籌：

現實中的自由視角與王者榮耀等游戲中的自由視角模式最大的不同就在于需要對現實中的圖像進行實時采集。在圖像數據采集環節，需要圍繞被拍攝物等距離放置攝像裝置，以保證能夠捕捉到拍攝物多角度的圖像信息。由于需要在顯示時實現實時切換，自由視角對攝像終端的同步性要求極高。如果數十、甚至上百臺的終端設備傳回的數據有時間差，則一個固定時間點上的圖像信息則難以進行整合，為后續的圖像渲染帶來了巨大的困難，從而不能流暢切換。

在網絡傳輸環節，由于終端設備的數量較多、單個設備采集的數據量也較大，保證終端采集的數據能夠高質量、快速的傳輸到數據處理中心是網絡傳輸環節的最大難點。隨著5G技術的普及和6G技術時代的即將到來，自由視角在網絡傳輸環節的難點正在逐漸被克服。

“面對超長的技術鏈條和眾多關鍵節點的技術難題，騰訊多媒體實驗室選擇了端到端、從編解碼器到上層實現的純自研解決方案，以保障用戶在應用自由視角技術時的完整順滑體驗。”多媒體實驗室專家介紹。

從采集、傳輸，到云端處理、拼接畫面，再到圖像渲染、顯示，騰訊均實現了技術突破，全流程保證了自由視角的體驗質量。在畫面采集與傳輸流程，該解決方案通過算法高效保證了攝像頭信號的高效同步；在畫面處理和渲染環節，騰訊多媒體實驗室花費了較大的努力，對鏡頭間的畫面畸變進行校準和優化，并利用深度學習自動的對多幅畫面進行校準和匹配、拼接。結合視角預測、預加載優化等多種算法，該解決方案實現了多視角的實時切換。同時，針對不同的應用場景，騰訊的自由視角解決方案提供了不同的特異性優化算法，使得個性化場景下的處理效果更優；在顯示方面，騰訊自研的播放器也可以為自由視角提供助力，多項技術結合，為用戶提供低延時、高畫質的視頻觀看體驗。

隨著未來硬件技術的進一步發展和迭代，騰訊將持續將更低成本、端到端的自由視角技術推向賽事直播、演唱會、活動直播、在線教學等各種側重臨場感和沉浸感的場景，讓沉浸式體驗走入生活，從而給從游戲、影視制作、社交、多人協作等各個領域帶來全新改變和更深遠的影響。

“元宇宙”很遠，全真互聯在當下

雖然今年“元宇宙”的熱潮似乎概念大過實質，但追求沉浸式的“全真互聯”技術卻是共識的未來互聯網技術的發展方向。馬化騰在2020年底為騰訊年度特刊《三觀》撰寫的前言中，就提到了“全真互聯網”的概念。

在未來，隨著人們對于更沉浸、更自由的“全真”觀看體驗的需求不斷增加，自由視角技術將成為很多場景中的首選甚至是必選。如在線上演唱會場景中，自由視角可以讓觀眾無需出門，即獲得比vip座位更接近舞臺、比在現場座位更自由的觀看角度，將大大提升觀看體驗，降低觀眾參與和欣賞表演的成本，實現千里之外，猶如身臨其境，實現對舞臺更還原、立體、忠實的影音記錄。

在向“全真互聯”時代邁進時，騰訊作為國內音視頻領域的領導者，也一直走在沉浸式相關技術的研究前沿，穩步前行。騰訊多媒體實驗室專家們在支持產品研發的同時，也積極參與20余項多媒體領域國際和國內標準制定，目前已有已有超過 500項專利技術被多個國際標準采納，為中國企業贏得了國際聲譽。

當然，自由視角技術只是騰訊邁向“全真互聯”一小步。在未來，騰訊多媒體實驗室將能不斷進行技術優化迭代，推動“自由視角”和其他提升用戶體驗感的沉浸式多媒體技術的創新，并提出更好的解決方案，促進“全真互聯網”在更多應用場景下的落地，為用戶、開發者和合作伙伴提供更有效的服務和支持。