全球最大的游戲引擎 Unity 要出生成式 AI 工具了，能不能做好 3D 是個問題

在游戲行業，生成式 AI 大模型目前被討論最多的兩個應用方向，一個是將 AI 運用于 NPC 的開發（使 NPC 更像真人），另一個是游戲引擎 AI 輔助工具的落地（幫創作者提高生產效率）。

(相關資料圖)

針對后者，在 6 月 8 日舉辦的 Unity 技術開放日北京站上，Unity 中國首次對外提出了要構建 Unity 中國版引擎 Copilot —— U3D Copilot 的構想。

Unity 中國 AI 技術負責人暴林超在演講中談到這一構想，

" 通過建立大語言模型和用戶交互這樣一個更自然的交互界面，來串聯起我們的 3D AIGC 模型，以及 Unity 引擎內部可以提供的一些工具（如程序化生成等）。同時我們會探索將用戶的隱私數據更安全地在本地做管理，在保護用戶隱私的情況下，用戶可以實現在本地部署引擎，并以這樣的方式接入 Copilot。"

"Copilot"（直譯為 " 副駕駛 "）的說法目前被廣泛用于 GitHub Copilot 和 Microsoft 365 Copilot 等產品，幾乎已經成為 AI 輔助工具的代稱。

不過從 Unity 技術開放日當天透露的信息來看，U3D Copilot 目前還只停留在構想，Unity 中國并沒有在現場進行任何相關演示。

這場活動是 Unity 時隔兩年之后再次舉辦線下巡回技術開放日。

" 前兩年大家還都在講元宇宙，今年都在講 AIGC，幾乎是引爆了整個（游戲）行業。"Unity 中國 CEO 張俊波在當天的致辭中講到。

不僅是行業，Unity 的中國業務也在過去兩年經歷了較大變化。去年 8 月，Unity 中國宣布成立，引入了阿里巴巴、中國移動、吉比特、米哈游、OPPO、佳都科技和抖音等投資者，成為 Unity 在中國的合資公司。張俊波的 title 從 "Unity 大中華區總經理 " 變為 "Unity 中國總裁兼首席執行官 "，負責 AI 技術的暴林超則是在不久前剛加入 Unity 中國。

" 這也是我們關注中國開發者的新起點。" 張俊波在致辭中說。

Unity 中國關注生成式 AI 的步調和 Unity 基本一致。

Unity 可以說是最早宣布將投入生成式 AI 大模型的大型游戲引擎。今年 3 月舉辦的 GDC 開發者大會上，Unity 發布了一段名叫 "Unity AI" 的視頻。視頻以文本框的形式輸入了一系列指令，包括 " 生成一個女性 3D 角色 "，" 生成一片擁有灰暗天空的大型地貌 "，" 慢慢推進攝像機，并加入戲劇性的光線 " 等等，暗示這些效果和資產未來都可以跳過繁瑣的代碼與調試，在 Unity 中通過文字 prompt 直接生成。

Unity CEO John Riccitiello 在接受采訪時同時提到，未來不排除會開放一片 AIGC 專用的交易市場，供開發者在其中買賣 AI 工具。

而后在今年 5 月發布第一季度財報時，Unity 在股東信中專門開辟了 "Gen-AI（AI 時代）" 專欄來回答股東提問。比如提到會在今年內推出使用自然語言的 UI 頁面，而 " 一鍵生成游戲 " 的工具現階段還不太可能，其目前對 AI 工具的定位更多是草稿的快速生成助手。此外，Unity 還計劃將引擎打造為一個供開發商訓練 AI 模型的工具，幫助開發商 " 按照自己的需求進行數據創造、模擬和訓練 "。

Unity 中國頻繁因為 AI 被關注也是最近一個月的事情。

5 月初，Unity 中國在采訪中透露已建立了中國本土 AI 研發團隊，其負責人也開始頻繁出現在各種關于 AIGC 的活動上，如張俊波 " 有八成原畫師下崗 " 和 " 今后的游戲公司不一定會像現在那么集中在幾個大廠等巨頭公司 " 等言論也頻繁在行業中被提及。

而在 6 月 8 日舉辦的北京站技術開放日上，Unity 中國引擎技術負責人左瑞文也在介紹中明確提到，Unity 中國在今年的首要任務——研發 Unity 中國版引擎的三大方向之一，就是以生成式 AI 為主的智能化（其他兩個方向是本地化和云化）。

當然這其中不乏難點，難點在于 3D 內容開發的復雜性。

暴林超在當天的 AI 主題演講中先是回溯了生成式 AI 在近一年發展的節點性事件，介紹了 stable diffusion 和 ChatGPT 兩大熱門生成式 AI 工具的核心技術原理，以及 AI 技術從 " 領域專用 AI 小模型 " 到 " 生成式 AI 大模型 "、生成式 AI 大模型從 " 通用 " 到 " 專用 " 的發展趨勢，接著便談到了 3D 生成式 AI 的三大技術難點：

第一，3D 的數據表示有非常多的選擇，如體素、點云、Mesh、SDF 和隱式場等，盡管經常會有針對不同數據表示的論文發布，但距離達到生產質量都還有一定差距；

第二，3D 數據的呈現依賴也非常多，也就是說，要在引擎里渲染出一個比較好的效果，不但取決于模型本身，還受到貼圖、材質、Shader、光照、動畫和 VFX 等的影響，這些也給 3D 的 AIGC 生產帶來了很多困難；

第三，3D 高質量數據相對而言比較稀缺，而 1D 或 2D 維度不管是文本還是圖片生成，數據量都是巨大的，目前 3D 的數據量還遠遠達不到這些量級。

由于 Unity 引擎主要專注于游戲中 3D 技術的應用，這些 3D 數據的難點也都給其生成式 AI 工具的開發帶來了挑戰。

暴林超接著提到了 Unity 中國 3D 生成式 AI 主要的幾個技術方向：分別是 3D 模型、材質和貼圖、3D 場景、3D 虛擬人，還有隱式場及神經渲染。

就目前來說，Unity 引擎界面依然非常復雜，看上去仍不夠 " 智能 "。未來 Unity 中國能否將以上存在在 PPT 和演示視頻中的構想一一實現，將決定它究竟是履行了 " 幫助開發者更好地應對技術和市場革新的天然使命 "，還是只是在取悅投資者。