搜狗發(fā)布全球首個手語AI合成主播 技術(shù)突破解決聽障難題

5月17日，搜狐科技5G & AI峰會在北京舉行，搜狗CEO王小川應邀出席發(fā)表主題演講。活動中，王小川正式發(fā)布最新一代搜狗AI合成主播——全球首個手語AI合成主播“小聰”，基于搜狗領先的人工智能和AI分身技術(shù)，以“黑科技”的力量幫助聽障人士更好融入社會，更好享受數(shù)字化生活。

技術(shù)突破解決聽障難題

根據(jù)世界衛(wèi)生組織發(fā)布的數(shù)據(jù)，全球聽力障礙人群高達4.66億，在我國則有2700萬人。因無法常態(tài)化、高質(zhì)量地接受資訊信息，很多聽障人士難以融入社會，最終成為被遺忘和邊緣化群體。

目前，在以電腦、手機為載體的各類新聞資訊、文娛節(jié)目中，引入手語協(xié)助的少之又少。即使有能力的電視節(jié)目提供手語解說時，也多以正常語序編排，很少照顧到手語的特殊表達結(jié)構(gòu)，造成絕大部分聽障者只能理解不足60% 的內(nèi)容。因此，通過技術(shù)創(chuàng)新實現(xiàn)聽障人士真正可懂的手語播報能力，對于幫助聽障者克服溝通障礙，更好融入社會非常有價值。

“小聰”以打造聽障人士真正可懂的通用手語播報為目標，立足于搜狗領先的數(shù)字人技術(shù)體系——搜狗分身，集成了超寫實3D數(shù)字人建模、機器翻譯、多模態(tài)數(shù)字人生成、遷移學習、實時面部動作生成及驅(qū)動等多項領先AI技術(shù)，實現(xiàn)了超寫實3D數(shù)字人自然可懂的手語主播能力，使機器可以基于輸入口語文本生成逼真度高、手語表達準確的3D數(shù)字人視頻內(nèi)容，從而具備“超寫實的逼真數(shù)字人效果”、“高可懂度的手語表達能力”、“高接受度的手語展現(xiàn)效果”三大特點。

三大優(yōu)勢凸顯“小聰”能力超群

數(shù)字人效果方面，“小聰”使用了行業(yè)最領先的3D重光照掃描還原、面部肌肉驅(qū)動、表情肢體手勢捕捉技術(shù)，生產(chǎn)出了高度還原真人發(fā)膚、形象逼真、動作自然生動的數(shù)字人模型，數(shù)字人寫實度的大幅突破則能夠顯著提升手語播報的真實感與親切感，從而提高播報用戶體驗。

手語表達方面，“小聰”基于《國家通用手語詞典》，能夠?qū)崿F(xiàn)健聽人語言與聽障者手語語言的機器翻譯能力，基于輸入的健聽人語言能夠低延遲生成高準確率的手語語言表征，通過搜狗分身的多模態(tài)生成技術(shù)，實時預測生成對應的超寫實3D數(shù)字人驅(qū)動參數(shù)，進而快速生成數(shù)字人手語播報視頻，在測評中可懂度可以達到85%以上，能有效幫助聽障者克服理解障礙，達成信息有效傳遞。

手語展現(xiàn)方面，“小聰”可以完整實現(xiàn)手控信息及非手控信息的表達，通過機器翻譯生成手語表征信息，覆蓋手部動作、面部表情、口動唇動等多個維度，并基于搜狗多模態(tài)端到端生成模型進行聯(lián)合建模及預測，生成高準確率的動作、表情、唇動等序列，從而達成自然、地道、接受度更高的手語表達效果。

在此過程中，“小聰”還運用了業(yè)內(nèi)領先的搜狗SLMT(Sign Langure Machine Translation)技術(shù)，在輸出符合聽障人士習慣自然手語的基礎上，進一步提高了手語的可懂度、豐富和逼真了AI合成主播的表情與唇動能力，除了可以解決聽障人士在日常生活、公共服務、特殊教育等多個場景下的信息不暢問題，還可以快速生成、批量復制，全年無休、隨時隨地提供服務。

賦能于人彰顯社會責任

作為AI合成主播的開創(chuàng)者，搜狗分身一直是行業(yè)發(fā)展的風向標，也始終站在業(yè)內(nèi)最前沿，而搜狗分身之所以能夠“引領”行業(yè)，得益于搜狗高度的社會責任感，以及搜狗AI“賦能于人”的發(fā)展理念。

自2018年發(fā)布全球首個AI合成主播至今，搜狗分身始終在堅定踐行“以人為本，為人賦能”，而“小聰”的誕生，既是搜狗分身技術(shù)的再一次迭代突破，又是搜狗聚焦更加需要幫助的聽障特殊人群，將“以人為本，賦能于人”貫徹得更加徹底、更有溫度的體現(xiàn)，同時也充分彰顯了搜狗的社會責任感和企業(yè)擔當。

作為全球首個手語AI合成主播，“小聰”能夠幫助廣大聽障人士更好地接收資訊、更好地生活，更好地“看”世界，而從更高維度來看，它的廣泛運用不僅可以造福國內(nèi)聽障人士，甚至可以走出國門、造福全球，彰顯中國“智”力。