比 ChatGPT 大 5 倍！英特爾官宣 1 萬億參數 AI 大模型，計劃 2024 年完成

整理 | 鄭麗媛

出品 | CSDN（ID：CSDNnews）

【資料圖】

眼看著 ChatGPT 持續爆火了幾個月，期間微軟、谷歌、Meta 等科技巨頭接連入局，如今英特爾也終于官宣 " 參賽 "。

上周末，在德國漢堡舉行的國際超級計算大會 （ISC） 高性能會議 （HPC）上，英特爾不僅展示了其在 HPC 和 AI 工作負載方面的領先性能，還宣布了一項出人意料的計劃：與阿貢國家實驗室攜手，用 Aurora 超級計算機開發生成式 AI 模型 Aurora genAI，參數量將多達 1 萬億！

要知道，ChatGPT 的參數規模僅為 1750 億，即 Aurora genAI 模型將比它至少大 5 倍。

（圖片來自英特爾官網）

AI 模型將由 Aurora 超算提供算力

據了解，英特爾 Aurora genAI 模型將以兩個框架為基礎：NVIDIA 的 Megatron 和微軟的 DeepSpeed。

Megatron：用于分布式訓練大規模語言模型的架構，專門針對 Transformer 進行了優化，不僅支持傳統分布式訓練的數據并行，也支持模型并行。

DeepSpeed：專注于優化大型深度學習模型的訓練，通過提高規模、速度、成本和可用性，釋放了訓練 1000 億參數模型的能力，極大促進大型模型的訓練。

除了這兩個框架，Aurora genAI 模型還將由 Aurora 超級計算機來提供算力——這臺英特爾為阿貢國家實驗室設計的超級計算機，在經歷了各種推遲后，如今終于成型了。

根據目前公開的資料顯示，Aurora 超級計算機由英特爾 Xeon CPU Max 和 Xeon GPU Max 系列芯片提供支持，總共有 10624 個節點，擁有 63744 個 Ponte Vecchio GPU、21248 個 Sapphire Rapids 至強 CPU、1024 個分布式異步對象存儲 （DAOS） 存儲節點以及 10.9 PB 的 DDR5 傲騰持久內存。

此外，英特爾方面還透露了 Aurora 超級計算機的早期性能結果："Aurora 超算在科學和工程工作負載上具有領先性能，比 AMD MI250 GPU 的性能高 2 倍，在 QMCPACK 量子力學應用上比 H100 提高了 20%，并接近線性擴展，可達到數百個節點。"

值得一提的是，與最初的 1 Exaflop 目標相比，預計 Aurora 超級計算機在今年推出時，將提供超過 2 Exaflops 的雙精度浮點計算性能——比目前多次蟬聯全球超算 Top500 榜首的 Frontier 超級計算機（1.194 Exaflop/s）還要高。

以科學為重點的生成式 AI 模型

有了算力強悍的 Aurora 超算打底，注定 Aurora genAI 模型的規模不會小。據英特爾官方介紹，阿貢國家實驗室正在為 Aurora genAI 模型牽頭開展國際合作。

阿貢副實驗室主任 Rick Stevens 表示：" 該項目旨在利用 Aurora 超級計算機的全部潛力，以產生一種資源，可用于能源部實驗室的下游科學，并與其他機構合作。"

總體而言，Aurora genAI 是一個以科學為重點的生成式 AI 模型，因此將在通用文本、代碼、科學文本以及生物學、化學、材料科學、物理學、醫學等科學數據上進行訓練。

由此產生的 AI 模型，將具有多達 1 萬億個參數，包括從分子和材料的設計到數百萬個來源的綜合知識，可用于各種科學應用：系統生物學、癌癥研究、氣候科學、宇宙學研究、高分子化學與材料等。除了科學之外，Aurora genAI 模型還可能用于其他領域，如金融建模、自然語言處理、機器翻譯、圖像識別和語音識別等。

計劃 2024 年完成

除此之外，有關 Aurora genAI 模型的更多信息英特爾尚未劇透，不過據外媒報道，英特爾計劃在 2024 年開發和完成 Aurora genAI 模型——如果進展順利，或許我們等待的時間并不會太久。

這一消息的發布，引來了不少人的關注，而英特爾入局 AI 大模型即宣布 1 萬億參數起步，更是令人期待未來 GPT-4 等競品的發展：

" 萬億參數應該是一個特殊的極限，但你也可以持懷疑態度，說這只是一個需要關注的巨大整數。毫無疑問，如果此模型類似于 GPT-4，這將增加一個數據點。但隨著各大公司宣布這個又宣布那個，我想知道我們是否會在 6 月達到頂峰。"

" 人們正在使用 H100 構建新系統，并且已經有明顯更好的 AI GPU 了，如果這種情況繼續下去，NVIDIA 可能需要盡快宣布新卡以保持領先地位。"

" 我猜 GPT-4 很快就不會在許多基準測試中繼續保持 SOTA（state of the art，指在特定任務中目前表現最好的方法或模型）了，或許未來它也將在世界上最快的超級計算機上進行訓練。作為參考，OpenAI 超級計算機擁有大約 10000 個 GPU，而 Aurora 有 63744 個 GPU。"

參考鏈接：

https://www.intel.com/content/www/us/en/newsroom/news/intel-delivers-ai-accelerated-hpc-performance.html#gs.yhhdis

https://www.business2community.com/tech-news/intel-announces-1-trillion-parameter-chatgpt-competitor-aurora-genai-02695750#

https://www.reddit.com/r/singularity/comments/13ozabi/intel_announces_aurora_genai_generative_ai_model/