前沿?zé)狳c(diǎn)：云從科技欲募資 36 億投大模型：“強(qiáng)者恒強(qiáng)”游戲里如何與巨頭競(jìng)爭(zhēng)？

ChatGPT 的火熱，讓國(guó)內(nèi)不少互聯(lián)網(wǎng)、AI 企業(yè)紛紛加碼大模型。比如云從科技（SH688327，股價(jià) 41.95 元，市值 310.71 億元）近期就擬募集 36 億元投向 " 大模型 "。

曾經(jīng)的 AI，是 CV（計(jì)算機(jī)視覺）的天下。就國(guó)內(nèi)而言，最受矚目的 AI 公司當(dāng)屬 "CV 四小龍 " 商湯科技（HK00020，股價(jià) 2.93 港元，市值 980.64 億港元）、曠視科技、云從科技和依圖科技。ChatGPT 的橫空出世，令 AI 產(chǎn)業(yè)的焦點(diǎn)迅速從視覺轉(zhuǎn)為語言，從 CV 轉(zhuǎn)為 NLP（自然語言處理）。

在語言大模型時(shí)代，CV 四小龍之一的云從科技又將何去何從？特別是大模型追求 " 強(qiáng)者恒強(qiáng) "，可能將是少數(shù)巨頭的游戲。在算力 " 軍備競(jìng)賽 " 中，云從科技能否跟上巨頭的腳步？

(資料圖片)

值得注意的是，云從科技已被列入實(shí)體清單。這意味著公司采購海外廠商生產(chǎn)的高端 AI 芯片存在限制，比如目前最火熱的 AI 芯片當(dāng)屬英偉達(dá) A100 和 H100。對(duì)此，《每日經(jīng)濟(jì)新聞》記者 4 月 13 日致電云從科技。其工作人員表示，（上述芯片）此前有一點(diǎn)庫存，公司也在與國(guó)內(nèi)廠商合作。

少數(shù)玩家的游戲

互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)的興盛，使得各行各業(yè)崛起了一大批細(xì)分領(lǐng)域的巨頭。AI 的興起，同樣在各細(xì)分領(lǐng)域百花齊放。比如 CV（計(jì)算機(jī)視覺）領(lǐng)域的 " 四小龍 "；語音領(lǐng)域的科大訊飛（SZ002230，股價(jià) 59.18 元，市值 1374.80 億元）、思必馳。

而大模型時(shí)代，游戲規(guī)則驟然改變。算力的 " 軍備競(jìng)賽 "，導(dǎo)致大模型成本高企，可能僅有少數(shù)巨頭能夠負(fù)擔(dān)。

據(jù)國(guó)盛證券計(jì)算機(jī)團(tuán)隊(duì)測(cè)算，以英偉達(dá) A100 芯片、DGX A100 服務(wù)器、現(xiàn)階段每日 2500 萬訪問量等假設(shè)為基礎(chǔ)，估算得出：在初始算力投入上，為滿足 ChatGPT 當(dāng)前千萬級(jí)用戶的咨詢量，投入成本約為 8 億美元，對(duì)應(yīng)約 4000 臺(tái)服務(wù)器；在單日運(yùn)行電費(fèi)上，參考美國(guó)平均 0.08 美元 /kwh 工業(yè)電價(jià)，每日電費(fèi)約為 5 萬美元，成本相對(duì)高昂。

此次云從科技欲募集資金 36.35 億元，用于云從 " 行業(yè)精靈 " 大模型研發(fā)項(xiàng)目。其中，場(chǎng)地購置及裝修費(fèi) 5.54 億元，研發(fā)設(shè)備購置費(fèi) 20.94 億元，人力資源成本 7.60 億元，其他費(fèi)用 2.27 元。

投資明細(xì)。 圖片來源：云從科技定增預(yù)案截圖

算力投入應(yīng)屬于研發(fā)設(shè)備購置費(fèi)。照此計(jì)算，云從科技欲投入不超過 20.94 億元用于算力投入。

截至 2022 年三季度末，云從科技貨幣資金 12.47 億元。2022 年第三季度，上市公司營(yíng)收 6479.03 萬元，同比下降 80.07%；歸母凈利潤(rùn) -2.64 億元。2022 年前三季度，上市公司營(yíng)收 4.55 億元，同比下降 41.53%；歸母凈利潤(rùn) -5.89 億元，經(jīng)營(yíng)性現(xiàn)金流凈額 -5.29 億元。

從云從科技財(cái)務(wù)數(shù)據(jù)看，初始投入之后的訓(xùn)練費(fèi)用、運(yùn)行電費(fèi)對(duì)其也是較沉重的負(fù)擔(dān)。據(jù)國(guó)盛證券計(jì)算機(jī)團(tuán)隊(duì)，基于參數(shù)數(shù)量和 token 數(shù)量估算，GPT-3 訓(xùn)練一次的成本約為 140 萬美元；對(duì)于一些更大的 LLM 模型（如擁有 2800 億參數(shù)的 Gopher 和擁有 5400 億參數(shù)的 PaLM），采用同樣的計(jì)算公式，可得出，訓(xùn)練成本介于 200 萬美元至 1200 萬美元之間。

據(jù)天風(fēng)計(jì)算機(jī)團(tuán)隊(duì)，參考 GPT-3 的發(fā)展歷程，OpenAI 從 45TB 的文件中過濾出 570GB 的數(shù)據(jù)集，僅訓(xùn)練費(fèi)用就高達(dá) 1200 萬美金，隨后 OpenAI 經(jīng)過約 3 年時(shí)間不斷探索，中途有 InstructGPT、davinci 不同版本的嘗試，最終在 2023 年發(fā)布了 GPT-4，打造一個(gè)有競(jìng)爭(zhēng)力的大模型需要數(shù)據(jù)、算法等資源的持續(xù)投入。

強(qiáng)者恒強(qiáng)

那么，云從科技是否可以與巨頭進(jìn)行差異化競(jìng)爭(zhēng)，做一個(gè) " 小而美 " 的垂直行業(yè)領(lǐng)軍者？

在信達(dá)證券看來，參數(shù)量超級(jí)龐大的模型在任何垂直領(lǐng)域都具備優(yōu)勢(shì)，垂直細(xì)分的小模型難有生產(chǎn)空間。因此，信達(dá)證券認(rèn)為在大模型格局未完全形成之前，參數(shù)量的無上限堆砌是各家企業(yè)發(fā)力的焦點(diǎn)，故算力的 " 軍備競(jìng)賽 " 無可避免。

據(jù)天風(fēng)計(jì)算機(jī)團(tuán)隊(duì)統(tǒng)計(jì)，百度 Ernie 大模型參數(shù)量約為 2600 億，京東言犀、商湯商量 SenseChat 參數(shù)量為千億級(jí)別，騰訊混元 AI 大模型參數(shù)量為萬億級(jí)別。華為盤古 α 參數(shù)量為 2000 億。

據(jù)云從科技公告，2020 年，OpenAI 發(fā)布的 NLP 大模型 GPT-3，實(shí)現(xiàn)了千億級(jí)數(shù)據(jù)參數(shù)，大模型也成為了超大規(guī)模預(yù)訓(xùn)練模型的代名詞。2022 年，ChatGPT 的出現(xiàn)更進(jìn)一步確定了大模型作為人工智能主流技術(shù)路線的趨勢(shì)。

可以看出，各大巨頭的參數(shù)級(jí)別為千億級(jí)乃至萬億級(jí)。

圖片來源：天風(fēng)計(jì)算機(jī)團(tuán)隊(duì)公眾號(hào) " 牛骨挖掘機(jī) "

為何各家都在比拼參數(shù)量？信達(dá)證券認(rèn)為，從論文研究來看，參數(shù)量的提升有助于構(gòu)建語言預(yù)測(cè)模型的精確度，同時(shí)提高泛化能力。泛化能力的提升意味著一個(gè)參數(shù)量超級(jí)龐大的大模型，其在垂直細(xì)分領(lǐng)域的預(yù)測(cè)能力可超過針對(duì)垂直領(lǐng)域開發(fā)的中等參數(shù)量模型。

這意味著，做大模型似乎只有成為巨頭，才能避免被邊緣化。

天風(fēng)計(jì)算機(jī)團(tuán)隊(duì)也認(rèn)為，擁有一個(gè)大模型并不難，但是持續(xù)打造一個(gè)有競(jìng)爭(zhēng)力的大模型難度很大。雖然國(guó)內(nèi)有眾多廠商推出了大模型，但從終局的角度看，大模型終將收斂并稀缺。參考 OpenAI 在海外的發(fā)展歷程，大模型需要連同生態(tài)一起進(jìn)化，形成強(qiáng)者恒強(qiáng)的格局。

芯片何來？

中航證券研究所認(rèn)為，在 ScalingLaw 的框架下，只要追加數(shù)據(jù)與算力，大模型的能力就能持續(xù)增強(qiáng)。對(duì) OpenAI 而言，目前大模型的最大限制是數(shù)據(jù)和算力的總量。

或許，大模型之間的競(jìng)爭(zhēng)，已經(jīng)轉(zhuǎn)為對(duì)數(shù)據(jù)與算力資源的爭(zhēng)奪。

對(duì)于云從科技而言，由于公司被納入美國(guó) " 實(shí)體清單 "，購買模型訓(xùn)練用的高端芯片面臨限制。即使資金充足，能否成功獲取龐大算力所需芯片呢？

云從科技定增預(yù)案顯示，2020 年 5 月至今，美國(guó)商務(wù)部宣布將包括公司在內(nèi)的多家中國(guó)公司及機(jī)構(gòu)列入 " 實(shí)體清單 "，該行為不會(huì)對(duì)公司日常對(duì)外銷售、客戶拓展等產(chǎn)生重大不利影響，但可能對(duì)公司研發(fā)和項(xiàng)目交付過程中采購境外廠商的芯片、服務(wù)器等器件產(chǎn)生一定限制，盡管公司已制定國(guó)產(chǎn)器件替代的產(chǎn)品方案，但由于方案落地需要一定驗(yàn)證時(shí)間、客戶對(duì)使用替代器件的產(chǎn)品認(rèn)可具有不確定性等因素，可能會(huì)對(duì)公司的生產(chǎn)經(jīng)營(yíng)產(chǎn)生一定影響。

簡(jiǎn)而言之，對(duì)銷售影響不大，影響主要是采購境外廠商芯片、服務(wù)器。

對(duì)于芯片問題，《每日經(jīng)濟(jì)新聞》記者 4 月 13 日致電云從科技，其工作人員表示：" 首先有一部分庫存，然后我們和國(guó)產(chǎn)芯片供應(yīng)商之前也完成深度適配。"

該工作人員也表示，具體芯片問題公司在 2 月份投資者活動(dòng)記錄表有回復(fù)。記者查詢后了解到，云從科技芯片的采購分兩類。第一類：公司過去向英偉達(dá)采購部分芯片用以訓(xùn)練側(cè)方面，公司具有一定量的庫存儲(chǔ)備且國(guó)產(chǎn)化的訓(xùn)練芯片水平也已經(jīng)在快速提升中。第二類：過去兩年中，公司在國(guó)產(chǎn)化硬件適配方面穩(wěn)扎穩(wěn)打，已與華為、寒武紀(jì)（SH688256，股價(jià) 195 元，市值 782 億元）、曙光等提供芯片和服務(wù)器的廠商完成了深度適配。

值得一提的是，云從科技一度研發(fā)過 AI 芯片，如承擔(dān)工信部 " 基于自研 SoC 芯片的高準(zhǔn)確度人臉識(shí)別產(chǎn)業(yè)化應(yīng)用 " 等國(guó)家級(jí)重大項(xiàng)目建設(shè)任務(wù)。

而根據(jù)云從科技招股書，其表示公司所處的人工智能行業(yè)尚處于發(fā)展初期，未來發(fā)展趨勢(shì)存在較大不確定性，相關(guān)技術(shù)及各應(yīng)用場(chǎng)景的定制化解決方案迭代速度快，技術(shù)的產(chǎn)品化和市場(chǎng)化亦具有一定的不確定性。2020 年，由于芯片設(shè)計(jì)成果未達(dá)預(yù)期，且 EDA 軟件和生產(chǎn)流片遭遇限制，公司終止了 " 人工智能 SOC 芯片研制及結(jié)合高準(zhǔn)確度人臉識(shí)別技術(shù)的產(chǎn)業(yè)化應(yīng)用 " 項(xiàng)目。

也就是說，云從科技終止了自研人工智能 SOC 芯片。

每日經(jīng)濟(jì)新聞