首頁 > 新聞 > 智能 > 正文

        碾壓 LLaMA 的最強開源大模型居然來自阿聯(lián)酋,OpenAI 和 HuggingFace 為它吵了起來

        2023-06-02 10:13:48來源:ZAKER科技  

        這兩天 hugging face 的榜單出現(xiàn)了一個異數(shù)。一個名為 Falcon 40B 的模型,突然成為了 hugging face" 開源 " 大模型排行榜的第一名。

        這一成績直接將一眾大咖加持的開源的模型踩在腳下,包括但不限于扎克伯格同學(xué)旗下的 LLaMA、新晉明星獨角獸 Stability AI 等公司。其中,LLaMA 的模型規(guī)模甚至更大,達到了 65B ——比 Falcon-40B 大出了 50%。


        (相關(guān)資料圖)

        按照國際通用慣例,網(wǎng)友們少不了又要拉踩一把扎克伯格。Hugging Face 過去一直被認為是大模型領(lǐng)域 GitHub,在人類大模型的開源事業(yè)的道路上不遺余力,被一些觀察者認為是 OpenAI 最具潛在挑戰(zhàn)能力的平臺。因此 Hugging Face 的榜單,被從業(yè)者給予了很高的參考價值。

        按照 Hugging Face 方面表示,其整個榜單使用 Eleuther AI Harness 的評估框架,被分成四個標(biāo)準(zhǔn):

        25 個小樣本的推理邏輯測試(ARC:AI2 Reasoning Challenge)、10 個樣本的嘗試推理測試(HellaSwag)、5 個樣本的多任務(wù)準(zhǔn)確性測試(MMLU)以及誠實測試(TruthfulQA)

        而在全部四項打分中,如圖一所示,除了誠實測試表現(xiàn)相對一般外,其他三項都大幅領(lǐng)先對手。而在新推出的 instruct 版本中,誠實性能力也跟上來了。

        Falcon 備受外界關(guān)注,原因主要有幾點。

        一方面,如果僅以這個榜單數(shù)據(jù)來看,F(xiàn)alcon 相比于友商的提升幅度很大。LLaMA-65B 之后的排序的分差往往在 0.3 分以內(nèi),但 Falcon-instruct 直接提升了 3.4 分。

        另一方面,F(xiàn)alcon 與馬斯克的火箭重名,但其實是目前為數(shù)不多的非西方國家實驗室開發(fā)的開源大模型產(chǎn)品。Falcon 背后的研發(fā)方來自阿聯(lián)酋的阿布扎比技術(shù)創(chuàng)新研究所(TII),這也是中東首個世界頂級的大模型產(chǎn)品。

        TII 的背后則是阿布扎比先進技術(shù)研究委員會 ( ATRC ) ,因此是阿聯(lián)酋政府官方扶持技術(shù)創(chuàng)新項目。

        而根據(jù)阿聯(lián)酋通訊社的報道,F(xiàn)alcon-45B 使用了 1 萬億個 token 進行訓(xùn)練,可以用更少的訓(xùn)練計算能力實現(xiàn)更優(yōu)的效果,其僅相當(dāng)于 OpenAI GPT-3 訓(xùn)練計算的 75%,DeepMind Chinchilla 人工智能的 40%,谷歌 PaLM-62B 訓(xùn)練計算的 80%。

        阿聯(lián)酋通訊社進一步表示,作為開源的大模型工具,F(xiàn)alcon-45B 的出現(xiàn):

        " 強化了阿聯(lián)酋作為全球 AI 領(lǐng)導(dǎo)者的角色 "。

        目前來說,F(xiàn)alcon-40B 雖然是開源大模型的第一名,但是和 " 不 Open" 的 OpenAI 相比,還有相當(dāng)大的差距。而在越來越公司對開源保持謹慎態(tài)度的情況下,F(xiàn)alcon 獲得 " 開源大模型第一 " 其實也算是 " 撿了個漏 "。不過很快有從業(yè)者發(fā)推特質(zhì)疑 Hugging Face 的評價體系。

        有 Inflection AI 員工發(fā)推認為 Hugging Face 得出的數(shù)據(jù)與論文的評分有一定的差異。在這條質(zhì)疑下面,前特斯拉 AI 負責(zé)人、OpenAI 元老級人物(founding member)Andrej Karpathy 跟進評論:

        " 這就是我目前避免評論 falcon 的原因 "。

        Andrej Karpathy 曾經(jīng)是李飛飛的高徒、全球頂尖的 AI 科學(xué)家,對 OpenAI 的發(fā)展起到了很大的作用,也一手推動了特斯拉自動駕駛項目的發(fā)展,可以說是特斯拉 autopilot 之父。

        當(dāng)他對 hugging face 的標(biāo)準(zhǔn)提出質(zhì)疑時,這并不能被認為是一個輕飄飄的指控。

        果然 hugging face 聯(lián)合創(chuàng)始人 Thomas Wolf 聞風(fēng)而至,對同行進行了友善的科普,表示他們的使用的評價工具的準(zhǔn)確性是可靠的。這其中詭異的點在于,hugging face 的榜單不是一天發(fā)出的,Eleuther AI Harness 也是一個主流的評價體系。但當(dāng) Falcon 沖榜后,卻出現(xiàn)了兩位對評價體系 " 不理解 "、" 不確定 " 的 " 外賓 "。

        看來硅谷還不是很適應(yīng)來自中東的神秘科技力量,對這種 " 新鮮事物 " 條件反射地用審視的眼光去打量。

        不過,F(xiàn)alcon-40B 最大的爭議或許不是來自于能力,而是來自于其對 " 開源 " 事業(yè)的 " 誠心 "。

        因為 Falcon 對商業(yè)化開源留了一個 " 后手 ",雖然使用者原則上免費,但如果收入超過 100 萬美金,依然需要繳納 10% 的授權(quán)費用。

        但由于 falcon 的許可證其實部分基于 Apache License Version 2.0。后者來自 Apache 基金會,對商業(yè)開源是友好的。那如果 falcon 拿著免費開源的許可協(xié)議,未來依然會收取一定的商業(yè)化費用,這似乎依然算不上真的 " 開源 "。

        大模型確實很燒錢,即便貴如中東土豪,也不希望徹底的開源。

        而根據(jù) TII 方面的消息,阿聯(lián)酋方面預(yù)計將很快發(fā)布新的 Falcon-108B 的千億級大模型。

        無論是開源和閉源、西方和東方、科技投資和石油資本,屆時圍繞大模型的科技競爭可能會變得更有意思。

        圖片來源:網(wǎng)絡(luò)

        關(guān)鍵詞:

        責(zé)任編輯:hnmd003

        相關(guān)閱讀

        相關(guān)閱讀

        精彩推送

        推薦閱讀

        亚洲爆乳AAA无码专区| 亚洲综合精品一二三区在线| 亚洲视频在线观看网址| 亚洲精品成人无码中文毛片不卡| 一级毛片直播亚洲| 国产精品亚洲精品日韩电影| 亚洲成a人片在线不卡一二三区| 亚洲黄色激情视频| 国产精品亚洲午夜一区二区三区| 亚洲国产成人精品久久| 亚洲av专区无码观看精品天堂| 亚洲国产成+人+综合| 91嫩草亚洲精品| 亚洲精品中文字幕无乱码麻豆| 亚洲专区中文字幕| 亚洲中文字幕一二三四区苍井空 | 久久亚洲中文字幕无码| 亚洲AV香蕉一区区二区三区| 亚洲av色香蕉一区二区三区| 国产精品亚洲综合| 亚洲AV网站在线观看| 亚洲精品和日本精品| 亚洲日本韩国在线| 亚洲午夜未满十八勿入网站2| 国产成人亚洲综合色影视| 亚洲Aⅴ无码专区在线观看q| 久久亚洲精精品中文字幕| 亚洲高清无在码在线电影不卡| 亚洲国产日产无码精品| 亚洲永久在线观看| 精品亚洲av无码一区二区柚蜜| 亚洲福利精品一区二区三区| 国产成人精品久久亚洲高清不卡 | 亚洲欧洲∨国产一区二区三区| 亚洲国产成人一区二区三区| 久久亚洲精精品中文字幕| ass亚洲**毛茸茸pics| 亚洲va中文字幕| 亚洲人成网站观看在线播放| 国产亚洲福利精品一区| 久久久久亚洲Av无码专|