3D 動捕讓卡通人物跳舞、機器人化身智能攝影師，索尼中國研究院大秀技術創新肌肉

智東西（公眾號：zhidxcom）

(資料圖片)

作者 | ZeR0

編輯 | 漠影

智東西 5 月 31 日報道，5 月 24 日 -28 日，以 " 奇境漫游 " 為主題的索尼大型品牌活動 "Sony Expo 2023" 在上海舉行。本屆展會上，索尼中國研究院旗下多項技術概念驗證結合索尼人氣娛樂 IP 內容的體驗項目悉數亮相，包括結合 3D 內容生成和動作捕捉技術的 " 虛擬舞蹈實驗室 "、可取代人力實現機械臂自動拍攝的 " 智能機械攝影室 "、以觸覺反饋技術助力演唱會等欣賞體驗的 " 沉浸式觸覺劇場 " 等。

期間，索尼（中國）副總裁、索尼中國研究院院長竹中幹雄與智東西等媒體進行深入交流，分享索尼中國研究院技術研發的方向、舉措以及階段性成果。他談道：" 中國是一個高速發展和充滿無限可能性的市場，并且人才濟濟，在中國做研發能夠更貼近本土的實際需求、加快研發成果的概念驗證，從而推動實際落地。"

一、強化中國本土產學研合作，已發力 AIGC 方向，未來關注可持續發展

竹中幹雄說，索尼中國研究院的使命是 " 通過開展對索尼技術的應用研究，為中國社會和索尼的業務做出貢獻 "，研發聚焦于三個方向——娛樂、移動出行和可持續發展。

索尼中國研究院于 2005 年在北京設立了第一個實驗室，最近幾年又設立了深圳和上海實驗室，持續加大在中國的研發投入。其中，北京實驗室主攻人工智能（AI）、無線通信方面的研究，上海實驗室側重研究 3D 內容制作，深圳實驗室則側重于傳感器和機器人相關研發。

從短期來看，兩到三年間，索尼中國研究院會特別聚焦在中國的娛樂（元宇宙）和移動出行領域，期待通過索尼的 AI、通信、傳感、機器人、3D 內容制作等前端技術，結合索尼旗下影視、音樂、動畫、游戲等豐富的娛樂內容，打造更加多樣和可及的娛樂內容創作和欣賞解決方案。

竹中幹雄談道，AI 內容創作和 AI 大模型研究是非常重要的前沿技術，將會給未來的互聯網帶來極大沖擊，索尼中國研究院目前在 AIGC 方向發力較多。

從中長期來看，五到十年間，索尼中國研究院希望著眼于可持續發展，即利用現有的一些工業互聯網 IoT 技術、傳感器設備，再結合上索尼中國研究院開發的 AI 和無線移動通信的基礎技術，應用在農業、老齡化、教育等一些中國現存的社會課題領域，運用索尼的技術在本土找到合適的合作伙伴，共同開發相應的解決方案，為中國社會的發展做出一些貢獻。

▲索尼（中國）有限公司副總裁、索尼中國研究院院長竹中幹雄接受媒體采訪

索尼中國研究院正在向應用型研究轉型，把基礎技術應用到實際場景和產品中，以其現有技術再加上其他技術進行一些適合中國國情的 PoC 驗證，并會面向特定應用領域，在中國尋找合適的產學研合作伙伴來共同進行研究和開發。

竹中幹雄告訴智東西，通過與合作伙伴一起共同研究開發新的解決方案和新的應用，能夠改進索尼中國研究院的技術。總結來說，基礎技術研究這部分是由索尼中國研究院獨自完成的，在基礎研究上面一層的應用研究方向，索尼中國研究院希望能夠積極地與外部合作伙伴共同開展。在明確想要在某個領域尋找合作伙伴時，索尼中國研究院會本著互補原則，主動提出邀約合作的提案，共同在中國推進某一項技術的發展。

二、將關鍵技術與現有產品融合，探索未來娛樂內容創作體驗

在 Sony Expo 2023 上，索尼中國研究院以給創作者提供更多創作可能性和給用戶提供多維娛樂體驗為目標帶來了三個主題體驗項目。

這些項目展現了索尼中國研究院開發的關鍵技術與現有產品的融合與協同。其展臺的體驗內容和空間展示由索尼中國設計中心統籌設計開發，整個展臺是索尼設計理念、前端技術、娛樂 IP 的一次融合和展示，是索尼對未來娛樂內容創作和體驗的思考成果。

▲索尼中國研究院 Sony Expo 2023 展臺全貌

（1）" 虛擬舞蹈實驗室 " 體驗區：參觀者可以先進入綠幕拍攝區，拍下自己的真實三維形象，然后佩戴索尼的輕量級動作捕捉設備，跟著索尼大屏電視上的 RAYNOS-chan 卡通人物形象簡單舞動，記錄下自己的動作數據，經過索尼的系統生成加工后，就可以在索尼的空間現實顯示屏上裸眼欣賞到自己的三維形象在 3D 空間中跳舞。

竹中幹雄談道，這個項目用到了輕量級動作捕捉系統 mocopi、空間現實顯示設備 Spatial Reality Display 兩個既有產品，與自由視點體積捕捉拍攝技術（FVV）相結合，瞬間就能生成 3D 人物，從而創造一種全新的娛樂體驗。索尼中國研究院會提出各種新的應用方法提案，然后進行實驗價值驗證。

該項技術已經于索尼在華的首個黑彩晶虛擬制作影棚開始了概念驗證實驗，將有望幫助內容創作者甚至普通用戶以更輕量級、更可及的方式創造虛擬 3D 內容，將現實真實世界映射到元宇宙中。

（2）" 智能機械攝影室 " 體驗區：參觀者可在一個由索尼虛擬制作技術打造出的《尼爾：機械紀元》游戲場景中近距離接觸游戲主角尤爾哈 B 型二號（YoRHa No.2 Type B）。選好游戲關卡背景后，拍攝機器人能夠自動追蹤并記錄下參觀者與尤爾哈的合照影像，并支持免費下載領取電子照片留念。

這是索尼中國研究院探索的機械臂在娛樂場景的用例，也是全場最大的一個體驗區。拍攝機器人可智能化的完成追蹤、對焦、構圖、拍攝的功能，提供穩定的拍攝質量，極大節省人力。未來，索尼中國研究院將進一步在該概念驗證中加入可實時移動的中小屏背景，打造更加輕量級，小面積空間可實現的虛擬制作解決方案。

▲在 " 智能機械攝影室 " 體驗區，機器人正在給體驗者拍照

（3）" 沉浸式觸覺劇場 "：參觀者可以站上特制的地板區域，觀看電視中索尼音樂旗下藝人 LiSA 演唱會的精彩內容。地板上搭載了索尼的觸覺反饋技術，使得參觀者能與 LiSA 的歌聲同頻共振，通過不同波形的震動效果感受演唱會中的高潮起伏，實現 360 音頻、視頻、觸感多維一體的沉浸式娛樂體驗。

目前，觸覺反饋技術已應用于索尼 PlayStation 5 游戲機的 DualSense 手柄、索尼 Xperia 智能手機的部分型號中。竹中幹雄說，索尼中國研究院考慮將這一技術應用于元宇宙空間中，尤其是在大型娛樂、體驗型設施的應用，提供大型空間的沉浸式娛樂解決方案，現在已與國內部分合作伙伴在合作洽談中。

▲索尼中國研究院 Sony Expo 2023 展臺全貌

結語：技術研發創新是根本基石

索尼中國研究院在華領銜的首次出展，旨在對外溝通和交流索尼在華技術研發舉措及階段性成果，進一步貼近本土創意娛樂社群，攜手更多優秀合作伙伴共同進行新時代下新應用場景的探索與實踐。

竹中幹雄說，多元化的業務是索尼獨特的優勢，而技術研發創新是根本的基石，立足長遠，索尼中國研究院關注的領域將更為廣泛，如可持續發展等，會進一步開放對外交流，強化中國本土的產學研合作，以期更加融入和貢獻于中國的產業升級和社會發展。