央視總臺打造AI手語翻譯官 手語解說冬奧會

不知大家有沒有注意到，2月5日晚短道速滑混合團體接力A組決賽中，央視頻AI手語數(shù)智人主播“聆語”用活靈活現(xiàn)、準確無誤的手語，為聽障人士生動地傳達了北京冬奧冰雪賽事的精彩內(nèi)容。

“聆語”是央視總臺打造的AI手語翻譯官，讓處于無聲世界中的特殊人群也能“聽”到中國舉辦冰雪賽事的盛況!

騰訊表示，聆語由騰訊的技術(shù)團隊打造，除了她之外，還有一個小聰。他倆的特點是：手語表達能力接近真人;能自行學習，快速補充海量新詞、熱詞。

據(jù)介紹，聆語、小聰背后，整合了3D數(shù)字人建模、語音識別、語義理解、機器翻譯和圖像渲染技術(shù)等。

騰訊開發(fā)出了一套手語翻譯系統(tǒng)，只需輸入健聽人語言，即可通過機器翻譯低延遲生成高準確率的手語語言表征，比如：輸入“他是我的手語老師”，預(yù)處理為“他 是 我 的 手語 老師”，翻譯為“他 我 手語 老師 是”。

接著，驅(qū)動手語數(shù)字人準確表達，基于騰訊多模態(tài)端到端生成模型，進行聯(lián)合建模及預(yù)測生成高準確率的動作、表情、唇動等序列，實現(xiàn)自然專業(yè)、易懂度高的手語效果。通過這項技術(shù)，AI手語可懂度達90%以上。