“建立在堅實技術基礎上的創意娛樂公司”索尼，始終以“人”為本，在前沿技術領域不斷探索進取。后疫情時代，索尼黑科技正式確立了3R戰略（真實（Reality）、實時（Real-time）和遠程（Remote），致力于為內容創作賦能，共同開創前所未有的娛樂表達方式。 “索尼黑科技”專欄將定期為您介紹最具代表性的索尼技術創新成果，探索如何“用創意和科技的力量感動世界”。本期將為您帶來的是——索尼的體積空間捕捉技術。
體積空間捕捉技術可以將人、物體或地點轉換為三維數字信息并將其再現為高質量的圖像。這是一項可以捕捉整個現實世界并支持從任何視角觀看的自由視角視頻技術。 除了提供新的視頻體驗外，它還可能成為一種新的內容制作方法。 有望突破常規視頻制作的界限，應用在娛樂領域的各個方面。針對這項技術，我們采訪了索尼研發中心從事體積空間捕捉技術算法開發的兩位工程師。
受訪人資料：
從體育廣播擴展到娛樂領域的新型沉浸式視頻內容
Q：我們聽說自由視角視頻技術已被廣泛應用于視頻制作過程當中。
廣田：隨著虛擬現實（VR）技術的發展，近幾年來自由視角視頻技術一直應用于體育廣播行業，最近也開始應用于視頻內容制作領域。尤其是全向可視化技術，相信很多人都已經通過各公司提供的在線服務等體驗過360度全景影像技術。
在此背景之下，全向可視化技術在包括成像、生產、傳輸和顯示的綜合視頻生產工作流程中變得更加重要?？v觀全向可視化技術商業化的其他發展，MPEG（Moving Picture Experts Group，運動圖像專家組）作為制定視頻標準的組織，現已完成了360度視頻格式的標準制定。并且MPEG-I第三部分中的全方位媒體格式（OMAF）已經開始被創作者用來制作各種新的沉浸式視頻內容。因此，我們也在積極參與各種針對視頻制作方面的倡議。
Q：通過這項技術可以創造什么樣的價值？
廣田 ：隨著自由視角技術的發展，我們相信“自由視角”與“現實”將成為關鍵因素。我們目前正在開發的體積空間捕捉技術旨在超越全向可視化。這項技術最初用于體育廣播，現在已經擴展到娛樂領域，視頻內容創作者認為其可以為音樂會和商業廣告帶來新的價值。充分利用索尼現有的業務和成像/視頻技術資產，我們能夠捕捉到低成本、高質量的自由視角視頻，從而創造一個從專業人士到普通客戶都能獲益的新業務模式。
體積空間捕捉技術預計將應用于娛樂和體育等各個領域
營造身臨其境的感覺
Q：目前還存在哪些問題？
廣田：在目前的全向可視化技術中，你可以通過戴上頭盔，轉動頭部來觀察你周圍360度的環境，但你不能在物體周圍移動并從后面查看。這是其與用CG創建的VR內容的主要區別。一個更靈活的視角對于讓用戶沉浸在VR環境中至關重要。為了提供身臨其境的體驗，需要提高視頻本身的基本畫質，如分辨率和幀速率。而這又需要處理大量的數據，所以我認為我們在視頻和顯示方面都有很多工作要做。
Q：你將如何去解決這些問題？
菅野：運用自由視角視頻技術，我們可以通過在被攝對象周圍放置多個攝像機進行拍攝來生成三維模型。體積空間捕捉技術最大的特點是能夠在沒有實際攝像機的地方，根據捕捉到的三維模型，從一個虛擬的視點生成圖像。創建一個虛擬視角涉及到校準多個攝像機，生成拍攝主體的三維模型，對三維模型進行紋理映射以及生成攝影作品等多個過程。與大量攝像機緊挨著排成一排的子彈時間視頻相比，我們從分散的攝像機中創建三維數字信息來生成視頻，使視頻創作者和觀眾能夠更加自由和交互地操控他們的視角。
廣田：目前，我們專注于捕捉、顯示和傳輸的技術開發?？梢哉f，索尼的獨特優勢在于將這三個領域結合起來實現新的價值。
匯集了索尼所有的圖像信號處理技術
Q：捕獲過程涉及哪些核心技術？
廣田：當然，何為最佳的拍攝系統取決于拍攝對象。雖然在學術領域有一些利用龐大的系統使用數百個攝像頭的示例，但從商業角度來看，這不夠現實。目前使用體積空間捕捉技術的拍攝系統專門用于拍攝相對較小的區域，并且或多或少需要拍攝對象站在指定的地方。 因此，它們不太適合捕捉四處走動的音樂藝術家或大量同時表演的人群。
相比之下，我們針對娛樂業的拍攝系統是獨一無二的，它可以在相對較大的區域內捕捉到一個或多個四處走動、跳舞或做一些其他類型表演的人。 為了進一步提升這一點，我們不斷對傳感器和鏡頭、用于同步多個攝像機的系統、攝像機和燈光布置以及色鍵背景材料等等進行開發和理論驗證試驗。
Q：聽說你們開了一家新的攝影工作室！
廣田：沒錯。我們于 2020 年 1 月在索尼總部開設了日本最大的體積捕捉工作室，并配備了我們所積累的技術。我們在這個工作室拍攝的第一個內容是花式跳繩游戲，其中包括兩條向相反方向擺動的跳繩。為了充分利用工作室獨特的5米拍攝區域，五人參與的花式跳繩游戲成為了最佳選擇。高速移動的細繩對于拍攝和信號處理極具挑戰性，但拍攝取得了巨大成功。我們展示了該技術不僅在視覺表達方面，而且在運動分析方面也有潛力。今后，我們的目標是與公司內外的各方合作，加快技術開發和業務驗證。
拍攝于日本最大的攝影工作室之一（索尼總部）
Q：拍攝時遇到過什么樣的挑戰？
廣田：同步多個攝像機是體積空間捕捉技術的挑戰所在。 所有攝像機都需要同時拍攝并傳輸/聚合圖像使其成為 3D影像。 因此，我們一直在開發和評估我們的硬件和軟件，例如引入具有全局快門的圖像傳感器，嘗試將信號同時分配到每個攝像機的方法以及在聚合數據時運用重新同步攝像機的方式等等。
追求播放質量，制作更逼真的圖像
Q：你在展示上面臨什么樣的挑戰？
廣田：利用體積空間捕捉技術需要使用 3D 計算機視覺來創建沒有攝像頭的虛擬視點，這個過程就是渲染。 這里的問題是人們有時稱之為“恐怖谷”*的不自然感。 索尼通過結合先進的 2D 圖像處理技術與機器學習技術，解決了這個問題。 這些可能是人造圖像，但最終顯示的圖像質量才是最重要的。
*譯者注：恐怖谷理論由日本機器人學家森昌弘提出，該理論認為：由于機器人與人類在外表、動作上相似，所以人類亦會對機器人產生正面的情感；而當機器人與人類的相似程度達到一個特定程度的時候，人類對他們的反應便會突然變得極其負面和反感，哪怕機器人與人類只有一點點的差別，都會顯得非常顯眼刺目，從而整個機器人有非常僵硬恐怖的感覺。
菅野：我們現在使用的攝像機數量是最初的四倍多，并且隨著顯示設備的分辨率從 2K 發展到 4K 和 8K，生成的圖像更加逼真，開發至今，可捕獲對象的移動范圍和數量也大大提高。
廣田：我們視頻的呈現質量之高，會讓你認為它們真的是在你的視角用攝像機拍攝的，這很明顯超越了當下的體積空間捕捉技術，并且收到了創作者們的一致好評。我們將不斷提升我們技術的獨特優勢，同時也會追求高質量的圖像和更高的易用性。
左圖是標準攝像機拍攝的視頻，右圖是用索尼體積空間捕捉技術拍攝的視頻
Q：傳輸方面又有哪些挑戰？
廣田：我們系統的另一個優勢是可以實時的執行從捕獲到內容分發的所有工作。大多攝像機拍攝的未壓縮數據量最高到100 GB/秒，因此目前在本地計算機上進行數據處理是很不現實的。而為了靈活的保有強大的計算資源，我們開發了獨特的具有高度可拓展性的云處理系統。通過此系統，用戶可以實時自由選擇藝術家直播的現場表演的觀看角度，并享受更多的互動。此系統有望應用于下一代的通信方法。
Q：聽說你和索尼音樂娛樂在娛樂領域有合作？
廣田：通過這種體積空間捕捉技術，我們現在能夠將人物和地點捕捉為 3D 數據，并將它們再現為高質量圖像。我們一直在與索尼音樂娛樂日本 (SMEJ)的合作，探索該技術的實際使用方法。他們通過提供例如概念驗證的場所來協助我們。能夠與娛樂領域的人一起嘗試新用途并開發技術無疑是索尼最大的優勢之一。
菅野： 當我們付出心血制作的內容投影到演唱會會場的大屏幕上時，我能感受到觀眾們涌動的熱情。同樣，能夠如此近距離的觀看專業藝術家的舞臺，也激發了我們不斷向前的決心?？吹轿覀兊募夹g用于娛樂舞臺，我真的十分感動。而當我在演唱會和電視轉播之后看到推特上有很多人問到背景視頻和如何讓其旋轉的問題時，我同樣感到非常的開心。
Q：您在未來的目標是什么？
菅野：我們的研究小組不斷進行研發，以實現我們 “在真實空間里進行完全數字化掌控（捕獲、顯示和傳輸）3D 空間的技術”的使命。我們如今致力于實時分發自由視角視頻。以前的自由視角技術雖然也允許傳輸錄制的內容，但我們未來想要實現的是能夠在遠程位置看到對象并與其交談，并實現實時自由改變視角。在此之后，我們希望創建一種視頻體驗，讓用戶可以遠程共享空間、互動，并能真正感受到與他人在一起的感覺。
廣田：可以提供大容量通信的5G技術開始推出后，我們正在迎來一個任何人都可以體驗VR內容的時代。 當各個領域的技術成熟時，我們自然而然地能夠自由地捕捉和分享 3D 體驗，就像我們現在對 2D 圖像和視頻所做的那樣。
索尼正致力于將該技術應用于智能手機的AR內容
