Zilliz 創(chuàng)始人兼首席執(zhí)行官星爵演講實錄：向量數(shù)據(jù)庫：大模型的記憶體

5 月 31 日，由品玩主辦的「模型思辨」國內(nèi)大模型產(chǎn)業(yè)生態(tài)研討會在北京舉辦。360 集團(tuán)創(chuàng)始人周鴻祎、百度、阿里巴巴、商湯科技、Zilliz、瀚博半導(dǎo)體等來自大模型產(chǎn)業(yè)鏈上的頭部互聯(lián)網(wǎng)公司、芯片、數(shù)據(jù)庫、應(yīng)用項目、投資機構(gòu)等 100 多位 VP 級的嘉賓參與此次研討會，深度探討中國大模型產(chǎn)業(yè)生態(tài)的建設(shè)。Zilliz 創(chuàng)始人兼首席執(zhí)行官星爵發(fā)表了《向量數(shù)據(jù)庫：大模型的記憶體》的主題演講。

圖為 Zilliz 創(chuàng)始人兼首席執(zhí)行官星爵

他認(rèn)為，移動應(yīng)用時代程序開發(fā)經(jīng)歷了從復(fù)雜到簡單的過程，AI 浪潮的來臨則提高了程序開發(fā)的成本，而隨著大模型時代和新的 AI 時代的到來，CVP Stack 這種新范式的出現(xiàn)改變了這一現(xiàn)狀，人人都可能是 AI 時代的工程師。此外，大模型的發(fā)展，離不開存儲這一關(guān)鍵點，其中以 Milvus 和 Zilliz Cloud 為代表的向量數(shù)據(jù)庫扮演著大模型記憶體的角色，可以讓大模型們進(jìn)行知識增強。下一個殺手軟件會是智能體，它同樣需要向量數(shù)據(jù)庫的存儲和檢索能力。最后，向量數(shù)據(jù)庫將迎來快速的市場規(guī)模增長，未來可期。

以下是星爵演講全文：

(資料圖片僅供參考)

大家好，我是 Zilliz 創(chuàng)始人星爵，今天給大家?guī)淼姆窒硎窍蛄繑?shù)據(jù)庫在大模型時代的存儲，但其實今天我講的內(nèi)容一點都不技術(shù)。在座的肯定有很多大模型和 IT 的從業(yè)者，今天我跟大家分享的是從程序員的時代看新一輪的 AI 和大語言模型時代。

從移動應(yīng)用時代到大模型時代

其實這個時代被冠以很多花里胡哨的文字，同樣的熱浪在十年前的硅谷也有經(jīng)歷過，當(dāng)時硅谷的每個周末或者任何一座大城市都有一群熙熙攘攘的人在探討 IOS 和 Android。經(jīng)過了十多年，我們見證了移動技術(shù)的成長，改變了生活的方方面面。

這是今年 3 月份來自硅谷的一張照片，它是 OpenAI 做的一場沙龍，從東海岸到西海岸，從西雅圖到舊金山，每周都會有數(shù)場類似的沙龍，無數(shù)開發(fā)者涌入這個賽道，在周末不眠不休，用二十四小時開發(fā)出一個好的應(yīng)用程序。

為什么會發(fā)生這樣的變化？借用英偉達(dá) CEO 老黃的一句話，iPhone 時刻已至。那么，這和我們的程序員有什么關(guān)系？為什么移動時代會誕生幾百萬、幾千萬的令人眼花繚亂的創(chuàng)意和應(yīng)用程序？

不知道在座的各位有多少寫過智能手機時代以前的移動開發(fā)程序？因為當(dāng)時寫移動開發(fā)程序是相當(dāng)復(fù)雜的，需要用到內(nèi)存管理、工具鏈、編譯和調(diào)試，相當(dāng)復(fù)雜。但 IOS 和 Android 的出現(xiàn)，不只帶來了大屏手機，也使得內(nèi)容生態(tài)的開發(fā)難度得到極度簡化。在過去十多年的時間里，開發(fā)者憑借 IOS 和 Android 操作系統(tǒng)，再加上 MongoDB 這些靈活的數(shù)據(jù)庫系統(tǒng)和前端設(shè)計師，基本上可以在二十四小時以內(nèi)做出 DEMO 程序和 MVP 產(chǎn)品。

不過，過去十年 AI 蓬勃發(fā)展，工具卻變得越來越復(fù)雜。去年給出的 MLOps 全景圖涵蓋了模型調(diào)優(yōu)、訓(xùn)練、部署、數(shù)據(jù)的觀察性和安全性等上百個工具。需要招十幾個人花上半年時間和幾百萬資金才能做出一個 AI 應(yīng)用程序，開發(fā)成本特別高，然而過去半年大模型的出現(xiàn)改變了這一切。現(xiàn)在市面上有很多開發(fā)工具，就是用大模型加上 AI 的語義存儲的向量數(shù)據(jù)庫，配合能夠把業(yè)務(wù)邏輯準(zhǔn)確翻譯出來的提示工程，進(jìn)行交互，便可做出一個效果很好的應(yīng)用程序。

如何用大語言邏輯把商業(yè)邏輯表達(dá)出來？我們把這種全新的開發(fā)范式抽象了出來命名為 CVP Stack， C 是以 ChatGPT 為代表的這種大模型， V 是指以 Milvus、 Zilliz Cloud 為代表的向量數(shù)據(jù)庫為大模型去存儲數(shù)據(jù)，作為它的一個額外記憶體。P 不只是 提示工程，更多的是 提示工程跟 產(chǎn)品設(shè)計的一個結(jié)合，是新一代產(chǎn)品設(shè)計的方式。有了它一個周末就可以寫出一個 AI 應(yīng)用程序。

這種新的開發(fā)范式催生出很多新的應(yīng)用場景，從聊天機器人到企業(yè)知識庫，PDF 到 Excel、Copilot 都有全新的管理，包括文檔的摘要、會議的記要甚至匯報。我們也可以跟傳統(tǒng)的數(shù)據(jù)庫 BI 進(jìn)行交互，就是用自然語言去寫報表，當(dāng)然也包括寫代碼，這些應(yīng)用可以通過 CVP Stack 輕松搭建起來，開發(fā)門檻被降得很低，跟幾年前動輒花費五六個月、幾百萬資金的投入形成了鮮明的對比。

舉個例子，我們的同事用了兩天就做出了一個 ChatGPT + Milvus 向量數(shù)據(jù)庫的應(yīng)用，他的名字叫 OSSChat。隨著很多人擁抱開源，越來越多的開源項目先后出現(xiàn)，但開發(fā)文檔繁瑣冗長，很多問題分布在各種論壇和討論區(qū)，為開發(fā)者帶來了一定的困擾。所以我們把所有數(shù)據(jù)整合在一起，存在向量數(shù)據(jù)庫，然后把這些知識給 ChatGPT 增強，兩天就把原型做出來了，又花了兩天時間完善就把服務(wù)上線了。目前我們已經(jīng)支持幾十個主流的開源項目，每天都有很大的訪問量，用戶甚至可以去生成開源項目的代碼。

存儲比計算更便宜，大模型也不例外

所有應(yīng)用場景的本質(zhì)就是用向量數(shù)據(jù)庫幫助我們管理私域的知識，老黃在今年的 GTC 上也專門提出了 " 向量數(shù)據(jù)庫對于構(gòu)建專有大語言模型的組織來說至關(guān)重要 " 這樣一個觀點。 為什么我們要把私域數(shù)據(jù)和公域數(shù)據(jù)用向量數(shù)據(jù)庫來做？這里有一個數(shù)據(jù)歸屬權(quán)的問題，我們并不愿意把這些數(shù)據(jù)交給大模型，希望可以在保留用戶使用權(quán)的情況下，可以不用私人的數(shù)據(jù)進(jìn)行訓(xùn)練，同時可以得到大語言提供的更好的知識生成、輔助解決問題的能力。

而我們都知道，大模型更新的時間比較長，成本也比較高，知識也具有一定的滯后性（例如 ChatGPT 的知識只停留在 2021 年底），如果用現(xiàn)在的數(shù)據(jù)庫存儲方式，可以把最新的知識提供給向量數(shù)據(jù)庫，對大模型進(jìn)行知識增強，可以得到更好的答案。

大家可能會問，現(xiàn)在大語言模型發(fā)展得特別快，計算成本可能變得更低，大模型變得越來越大，能不能把所有知識都放到大模型里面？那是不是就不需要向量數(shù)據(jù)庫了？

回答這個問題之前，我們可以看一看過去幾十年發(fā)生了什么。在計算機發(fā)展史中，最經(jīng)典的架構(gòu)是馮 · 諾伊曼架構(gòu)，最核心的貢獻(xiàn)就是實現(xiàn)存儲與計算分離，即把所有信息、所有計算歸為計算問題和存儲問題。存儲與計算分離有各種各樣的好處，傳統(tǒng)的馮 · 諾伊曼架構(gòu)是把信息用二進(jìn)制代表，實現(xiàn)存儲和計算分離。

隨著深度學(xué)習(xí)與新的 AI 浪潮的發(fā)展，向量嵌入日漸成為基本的數(shù)據(jù)交換方式，要是把任何神經(jīng)網(wǎng)絡(luò)的每個節(jié)點都作為神經(jīng)元，交換信息是用生物電的信號，但在神經(jīng)網(wǎng)絡(luò)里面?zhèn)鞑バ畔⒍际窍蛄壳度耄赃@是所有神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)技術(shù)，包括大模型技術(shù)中基本的信息交換單元，其實這個單元是在傳統(tǒng)的二進(jìn)制抽象表現(xiàn)加上語義抽象。

我們知道二進(jìn)制是比較寬泛的表示，但如果賦予智能的話需要有語義，需要知道這個語義和其它語義有沒有什么區(qū)別。有了向量嵌入，我們再去看 CVP Stack 就會比較簡單，本質(zhì)上就是面向新一代的 AI 應(yīng)用，基于向量嵌入的計算結(jié)構(gòu)。

大語言模型本質(zhì)上就是向量嵌入的處理器，歸根結(jié)底，向量數(shù)據(jù)庫負(fù)責(zé)的是向量嵌入語義數(shù)據(jù)的存儲與檢索。我們要把大語言模型和向量數(shù)據(jù)庫分為兩個模塊，就是存儲與計算分離，正如馮諾伊曼架構(gòu)一樣。這樣做的好處就是歷史上存儲價格永遠(yuǎn)比計算價格便宜幾個數(shù)量級以上，大語言模型也不例外。假設(shè)有一個大模型可以做 100KB Token，同樣條件下，給到大語言模型運算的成本遠(yuǎn)大于做向量召回。如果這個大模型要做 1000 Token 呢？運算成本將更加昂貴。雖然大語言模型未來會有越來越大的 Token 的窗口，但我們本質(zhì)上不會把所有信息都分到大模型里面，且大模型不能覆蓋全世界所有信息。

未來向量數(shù)據(jù)庫應(yīng)該會成為大語言片外存儲的標(biāo)配，傳統(tǒng)的數(shù)據(jù)庫之所以不適合為大模型做存儲，因為沒有語義表達(dá)，不能提供語義存儲。如果說現(xiàn)在有一種數(shù)據(jù)庫方案和存儲方案，能夠提供語義檢索的話，只能是向量存儲。

Zilliz 開始做世界上第一款向量數(shù)據(jù)庫的時候，內(nèi)存應(yīng)用場景根本不是大語言模型，更多的是圖片搜索、視頻搜索，包括個性化的搜索引擎，但本質(zhì)上都是用神經(jīng)網(wǎng)絡(luò)做成向量嵌入。大語言模型開發(fā)門檻的降低讓這個領(lǐng)域成為面向開發(fā)者友好的 Killer 領(lǐng)域，所以我們認(rèn)為向量數(shù)據(jù)庫這個領(lǐng)域未來幾年將迎來快速的增長與更加龐大的市場規(guī)模。

下一個殺手軟件

講完過去一年半年的機會，我們來聊聊下一個機會是什么？剛才老周和軼航的對話也有講到智能代理越來越被認(rèn)為是下一代殺手級應(yīng)用，對此，我很認(rèn)同。大模型還需要人不停地給予提示，智能代理就是希望通過做任務(wù)和場景拆解，解決無限復(fù)雜的問題，最終實現(xiàn)和人一樣的自我演進(jìn)的能力，或者形成自己獨特觀點和演化的能力。例如，可以看看機器的表達(dá)，你跟它說今天上班晚了，被老板罵了，它跟你說不用理會老板。

目前，智能代理的商業(yè)化已經(jīng)初露頭角，例如 AI 偶像，它不一定是大明星，可以是小網(wǎng)紅，AI 通過復(fù)制一百個一千個自己和無數(shù)人談戀愛來賺錢。剛才也有聊到我們可以做一個虛擬的駱軼航，實現(xiàn)數(shù)字永生，同時參加一百個會議，做一百個演講，每個分身都有個性，增加游戲的可玩性，甚至在社群里面可以讓這些用戶在游戲社區(qū)里面交互和對話，形成虛擬偶像。文學(xué)網(wǎng)站可以拿到一本小說，直接創(chuàng)造很多跟主人公一模一樣的角色進(jìn)行復(fù)制。其實這個道理很容易理解，一部小說中主角的對話、行為是很多樣的，解讀以后 AI 就可以一比一復(fù)制，跟小說主角玩一個無窮無盡的游戲。

人類如果想要達(dá)到完完全全的智能體，必須做到不斷演進(jìn)，即要有一個智能的處理器和記憶。人類的大腦有一個區(qū)域叫做海馬體，就是負(fù)責(zé)長期記憶。記憶是人類智能很重要的部分，不可能今天把昨天的事情忘記還說自己很聰明。如果我們需要一個長期記憶的話，現(xiàn)在行業(yè)里面的嘗試是用向量數(shù)據(jù)庫存儲長期記憶，因為向量數(shù)據(jù)庫的成本是很可控的。假設(shè)有一個數(shù)字人從第一天開始安裝大腦，與其他人沒有區(qū)別，但每次跟外界的感知、跟外界對話的過程它都會記下來：今天這個人問了我一個不好的問題，明天他又問了一個我特別喜歡的問題……十年以后我依然知道從前和這個人進(jìn)行過怎樣的交互。而如果要做這種大時間跨度的上下文記憶，一定要有一個具備低廉的成本、快速召回并且能夠增大的記憶體。想要滿足上述需求，向量數(shù)據(jù)庫是很好的選擇。

如果我們相信以后會出現(xiàn)很多智能體，可能現(xiàn)在電腦手機中的很多程序都可以用智能體重做一次。舉例來說，現(xiàn)在我們訂機票、訂火車票需要反復(fù)比較和操作，酒店、美食就更復(fù)雜了，有時候還需要看一看評論再根據(jù)自己的喜好做決定。如果有一個智能體可以復(fù)制所有的決定，將大大減少我們在這些事情上所耗費的時間成本。此外，寫 PPT、寫文檔的程序也都可以重新來過。智能體的出現(xiàn)會讓我們大語言模型的應(yīng)用從 Copilot 變成 Autopilot，ChatGPT 就是一個 Copilot，需要人不斷引導(dǎo)，Autopilot 只要給任務(wù)就可以自己拆解，可以全自動駕駛。

未來如果每個人都能夠有幾十個智能體幫助我們生產(chǎn)生活，像向量數(shù)據(jù)庫這樣具有語義查詢的存儲市場會有很大的增長。過去我們所有的存儲，不管是磁盤、內(nèi)存還是數(shù)據(jù)庫都不具備語義的能力，以后如果有語義存儲的話，這個市場是相當(dāng)大的。

AI 時代，人人都可能是工程師

GitHub 數(shù)據(jù)顯示全球程序員有五千多萬，兩千多萬是移動開發(fā)者，十年前其實在全球的移動開發(fā)者小于一百萬，因為那個時候移動開發(fā)特別麻煩。IOS 和 Android 的出現(xiàn)讓這一生態(tài)極其簡單，大量開發(fā)者涌入這個生態(tài)。過去的十年大家都在講 AI，但 AI 程序員到今天為止也就區(qū)區(qū)一百萬，工資很高，很多時候招不到人。未來幾年可能會得到很大的改變，因為有大量前端工程師、大量移動工程師、大量產(chǎn)品經(jīng)理，甚至不會寫代碼的人，大量的在座的各位，可能被我安利一下回去就會拿起電腦寫出自己的第一個大語言模型應(yīng)用。未來幾年，AI 工程師會有幾十倍的增長，因為在這個時代人人都會寫代碼，寫一個 AI 應(yīng)用程序是如此簡單。

我們今天是在講 AIGC，主要應(yīng)用也是專注于 AIGC 和大語言模型領(lǐng)域，其實數(shù)據(jù)庫應(yīng)用場景遠(yuǎn)不止如此。過去五年，我們見識到任何一個圖片檢索的場景，數(shù)據(jù)庫都是標(biāo)配，任何一個企業(yè)如果有海量圖片，需要圖片檢索的時候都會用向量數(shù)據(jù)庫，拍張照片也要檢索，視頻截圖也要檢索。抖音、快手這樣的程序會去做個性化推薦，其實用的也是向量數(shù)據(jù)庫。目前我們看到所有的 AI 還只是起步，希望在座的各位聽了我的演講以后，回去能夠拿起鍵盤學(xué)習(xí) AI 時代怎么去寫應(yīng)用程序，可能會發(fā)現(xiàn)特別特別簡單，只要花一個下午時間就能夠?qū)懗瞿闳松牡谝粋€ AI 應(yīng)用。