騰訊推出混元大模型，已接入騰訊會議、微信搜一搜等 50 多個騰訊業(yè)務(wù)和產(chǎn)品

騰訊補上了大模型布局中最重要的一塊拼圖。

(相關(guān)資料圖)

9 月 7 日，在 2023 騰訊全球數(shù)字生態(tài)大會上，騰訊混元大模型正式亮相，并宣布通過騰訊云對外開放。騰訊介紹，混元大模型是由騰訊全鏈路自研的通用大語言模型，具備強大的中文創(chuàng)作能力，復(fù)雜語境下的邏輯推理能力，以及可靠的任務(wù)執(zhí)行能力。

馬化騰此前曾經(jīng)表示騰訊不急于推出大模型半成品。但很顯然，首次亮相的混元大模型不可能是通俗意義上的「完美版」。對此，騰訊集團副總裁蔣杰將當(dāng)下推出的混元大模型，定義成一個「可用」「可實踐」的版本。

「我們一直在演進我們的能力，從大語言模型到文生圖，到今天演講最后非常科技感的視頻，也是混元生成的視頻。」蔣杰說，「我們今天的發(fā)布只是一個開始，還不值得大家對我們有很高的要求，我希望我們每個月都會給大家驚喜。」

此前在今年 6 月和 7 月，騰訊先后發(fā)布了面向 B 端客戶的騰訊云 MaaS 解決方案和 AI 原生向量數(shù)據(jù)庫 Tencent Cloud VectorDB，加上此次發(fā)布的自研通用大模型，騰訊已經(jīng)搭建起一套包含通用大模型、云服務(wù)平臺、向量數(shù)據(jù)庫的完整大模型產(chǎn)品服務(wù)體系。

大模型時代，所有的軟件服務(wù)都將被重塑。騰訊旗下的社交、游戲、娛樂、金融等產(chǎn)品擁有廣泛的 C 端和 B 端用戶，騰訊也在加快用大模型升級這些產(chǎn)品的進程。

目前，騰訊云、騰訊廣告、騰訊游戲、騰訊金融科技、騰訊會議、騰訊文檔、微信搜一搜、QQ 瀏覽器等超過 50 個騰訊業(yè)務(wù)和產(chǎn)品，已經(jīng)接入騰訊混元大模型測試，并取得初步效果。此外，混元大模型也將作為騰訊云 MaaS 服務(wù)的底座，客戶不僅可以直接通過 API 調(diào)用混元，也可以將混元作為基底模型，為不同產(chǎn)業(yè)場景構(gòu)建專屬應(yīng)用。

會上，騰訊集團高級執(zhí)行副總裁、云與智慧產(chǎn)業(yè)事業(yè)群 CEO 湯道生表示，騰訊將邁入「全面擁抱大模型」時代。騰訊集團副總裁蔣杰進一步表示：「我們研發(fā)大模型的目標不是在評測上獲得高分，而是將技術(shù)應(yīng)用到實際場景中。」

混元大模型

今年 6 月，騰訊發(fā)布了行業(yè)大模型及大模型的工具鏈 TI 平臺。但對其通用大模型，一直被傳在公司內(nèi)部應(yīng)用測試。

在今日舉辦的 2023 騰訊全球數(shù)字生態(tài)大會上，騰訊自己的通用大模型——混元大模型，終于亮相。

在現(xiàn)場演示中，混元大模型揭開了「自己」的神秘面紗。現(xiàn)場，工作人員向混元大模型進行了一系列提問：

混元是誰？

混元的核心技術(shù)架構(gòu)是什么？

混元模型參數(shù)量多大？

混元訓(xùn)練數(shù)據(jù)截止什么時候？（今年 7 月，每個月不斷迭代）

混元大模型，你有什么特點、優(yōu)點？

據(jù)混元大模型自述，它擁有超千億參數(shù)規(guī)模，預(yù)訓(xùn)練語料超 2 萬億 tokens，是騰訊自研的通用大模型。就其能力而言，騰訊方面表示，混元大模型的中文能力超過 GPT3.5，英文能力目前比 GPT3.5 差。此外，騰訊還自研了機器學(xué)習(xí)框架 Angel，使訓(xùn)練速度相比業(yè)界主流框架提升 1 倍，推理速度比業(yè)界主流框架提升 1.3 倍。

現(xiàn)場，騰訊集團副總裁蔣杰介紹道，訓(xùn)練燒錢、百模大戰(zhàn)，在投入大模型時騰訊在期待什么？他認為是更成熟，更可靠的大模型。

但在技術(shù)手段上，他稱，搜索增強、知識圖譜，通過這些通過外掛、開卷考試，來解決大模型的「幻覺」等不可靠問題，存在局限性。在接受采訪時，蔣杰進一步解釋道：「盡管這些技術(shù)我們也會用，但是比例不是很高，混元大模型是在大模型的預(yù)訓(xùn)練階段，來控制這個問題」。據(jù)悉，騰訊在預(yù)訓(xùn)練階段通過「探真」算法進行事實修正，讓混元大模型出現(xiàn)幻覺的概率降到最低。

他補充說，更成熟、更可靠的大模型，是一個拼細節(jié)的過程。「大家都知道什么叫強化學(xué)習(xí)，都知道大語言模型是通過 Transformer 來做、通過 decode 來做，但每個公司做的效果都不一樣。這需要在算法、工程、數(shù)據(jù)標注的完整性等一系列綜合能力上，摳細節(jié)。」

騰訊方面稱，針對大模型容易「胡言亂語」的問題，騰訊優(yōu)化了預(yù)訓(xùn)練算法及策略，讓混元大模型的幻覺相比主流開源大模型降低了 30% 至 50%；通過強化學(xué)習(xí)的方法，讓模型學(xué)會識別陷阱問題；通過位置編碼優(yōu)化，提高了超長文的處理效果和性能；提出思維鏈的新策略，讓大模型能夠像人一樣結(jié)合實際的應(yīng)用場景進行推理和決策。

對于混元大模型何時開始研發(fā)，蔣杰稱，從 2020 年開始，騰訊一直在跟進和投入這樣的技術(shù)能力，最早起于 400 GB、用于支撐廣告業(yè)務(wù)的稀疏大模型，并不是現(xiàn)在看到的稠密大模型。當(dāng)時，這一模型使得 GMV 提升了大約 13%，在這之后，騰訊對大模型的投入和積累逐漸增加。

在中國信通院《大規(guī)模預(yù)訓(xùn)練模型技術(shù)和應(yīng)用的評估方法》的標準符合性測試中，混元大模型共測評 66 個能力項，在「模型開發(fā)」和「模型能力」兩個重要領(lǐng)域的綜合評價均獲得了當(dāng)前的最高分。在主流的評測集 MMLU、CEval 和 AGI-eval 上，混元大模型均有優(yōu)異的表現(xiàn)，特別是在中文的理科、高考題和數(shù)學(xué)等子項上表現(xiàn)突出。

騰訊大模型的決戰(zhàn)，還是在產(chǎn)品

騰訊自研通用大模型的首次亮相在主要大廠中并不算早。從今天披露的進展來看，技術(shù)上也很難說明顯的差異或者突破性的變革，就像騰訊高管自己說的那樣，混元大模型才剛剛起步，今天還不能對其有太多不切實際的要求。

但這不意味著騰訊就是這場競爭中的陪跑。雖然大模型的基礎(chǔ)能力和積累上騰訊沒有太多優(yōu)勢，但推動大模型落地，騰訊強大的產(chǎn)品和其背后廣闊的用戶體量，就是其最大的優(yōu)勢所在。

就在發(fā)布會的前一天，微信向一部分受邀用戶開放了「騰訊混元助手」小程序，這是一款騰訊混元大模型多模態(tài)對話 Bot 產(chǎn)品，可以回答各類問題，也能處理多種任務(wù)，如：獲取知識、解決數(shù)學(xué)問題、翻譯、提供旅游攻略、工作建議等，也能進行 AI 繪畫。

大模型本身只是一項技術(shù)，落地到真正的場景需要解決產(chǎn)品、用戶、運營等一系列具體的問題，這也是為什么大模型廠商需要找第三方合作。但當(dāng)下構(gòu)建大模型的門檻越來越低，有場景的更愿意開發(fā)自己的大模型，這就讓云服務(wù)商的定位越來越像一個提供開發(fā)平臺和算力的供應(yīng)商，巨大投入自研的通用大模型，卻不容易找到場景。

而騰訊是中國最大的軟件服務(wù)商，社交有微信、QQ 兩個 10 億用戶級的產(chǎn)品，游戲能占到中國市場四成甚至更多的市場份額，旗下還有著中國前兩大的支付工具，前三大的視頻平臺，前三大的短視頻平臺，以及中國最大的音樂 App、網(wǎng)文 App，此外在辦公領(lǐng)域，騰訊會議、騰訊文檔、企業(yè)微信等產(chǎn)品也有著領(lǐng)先的市場份額。

混元大模型就像是一個生在金礦上的「孩子」，別人都是拿著錘子找釘子，騰訊最不缺的就是釘子。會上公布 50 多個騰訊產(chǎn)品已經(jīng)接入混元大模型，其中數(shù)億級用戶的產(chǎn)品比比皆是，比如有 4 億用戶的騰訊會議，覆蓋 6 億用戶的騰訊廣告、也有幾億用戶的騰訊文檔。

會上，蔣杰展示了騰訊會議、騰訊文檔、騰訊廣告等多個業(yè)務(wù)在接入騰訊混元大模型后的實際應(yīng)用情況。

比如騰訊會議基于混元大模型打造了AI小助手，只需要簡單的自然語言指令，就能完成會議信息提取、內(nèi)容分析等復(fù)雜任務(wù)，會后還能生成智能總結(jié)紀要。據(jù)實測，在指令理解、會中問答、會議摘要、會議待辦項等多個方面，混元大模型均獲得較高的用戶采納率。

在文檔處理方面，騰訊混元大模型支持數(shù)十種文本創(chuàng)作場景，在騰訊文檔推出的智能助手功能中已有應(yīng)用。同時，混元還能夠一鍵生成標準格式文本，精通數(shù)百種 Excel 公式，支持自然語言生成函數(shù)，并基于表格內(nèi)容生成圖表，目前這些功能正在內(nèi)測階段，將在成熟后面向用戶開放。

在廣告業(yè)務(wù)場景，騰訊混元大模型支持智能化的廣告素材創(chuàng)作，能夠適應(yīng)行業(yè)與地域特色，滿足千人千面的需求，實現(xiàn)文字、圖片、視頻的自然融合。此外，基于混元大模型的能力，廣告智能導(dǎo)購能夠幫助商家在企業(yè)微信等場景，提升服務(wù)質(zhì)量和服務(wù)效率。

蔣杰在接受采訪時表示，其實今天騰訊大模型的應(yīng)用就是跟騰訊業(yè)務(wù)的深度結(jié)合，今天是跟會議的結(jié)合，跟文檔的結(jié)合，那未來可以是跟微信的結(jié)合，QQ 的結(jié)合，是跟騰訊視頻的結(jié)合，騰訊音樂的結(jié)合。

大模型的發(fā)展不能也不會只靠燒錢推動，一定需要落地到具體的場景產(chǎn)生價值，落的場景越多，使用的用戶越多，產(chǎn)生的商業(yè)價值、數(shù)據(jù)越多，通用大模型的訓(xùn)練成本就會被攤的越薄、推理成本也就降的越低，而模型能力卻會更強，形成互聯(lián)網(wǎng)老生常談的「飛輪效應(yīng)」。

在這場大模型競爭中，騰訊是最不需要「搶」的那個。做好自己的事情，持續(xù)提升模型能力，做好為現(xiàn)有的產(chǎn)品的賦能和升級，給用戶創(chuàng)造價值，騰訊就足以贏下一張大模型時代的船票。