超算TOP500榜單公布 高性能計(jì)算正在同AI加速融合

本周，一年一度的高性能計(jì)算大會(huì)ISC如期而至，世界TOP 500超級(jí)計(jì)算機(jī)排名也隨之更新公布，對(duì)比去年的榜單，今年TOP 10的榜單中，來自美國新能源部勞倫斯伯克利國家實(shí)驗(yàn)室的Perlmutter系統(tǒng)新晉入圍。

在TOP500的榜單中，中國超級(jí)計(jì)算機(jī)的數(shù)量雖然下降至186臺(tái)，但對(duì)比位居第二的美國的123臺(tái)，依然遙遙領(lǐng)先。

一個(gè)值得注意的事實(shí)是，此次榜單中有342套系統(tǒng)采用了英偉達(dá)技術(shù)提供加速，對(duì)比去年的333套提升2%，榜單上使用InfiniBand的系統(tǒng)數(shù)量也比去年增加了20%。另外，名單上更新的兩個(gè)新系統(tǒng)“超級(jí)云”，能夠同時(shí)滿足AI、高性能計(jì)算(HPC)和云端需求。

這意味著，高性能計(jì)算正在同AI加速融合，而在這一融合趨勢(shì)下，英偉達(dá)在超算領(lǐng)域的優(yōu)勢(shì)前所未有。

不止是TOP10中的8臺(tái)，新晉系統(tǒng)也選英偉達(dá)

雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng))此前在《全球TOP10超級(jí)計(jì)算機(jī)8臺(tái)都選英偉達(dá)的三大原因》一文中分析過，由于高速數(shù)據(jù)互連技術(shù)的普及，以及英偉達(dá)GPU系統(tǒng)能夠提高將超算的能效提升2.8倍，全球TOP10超級(jí)計(jì)算機(jī)中的8臺(tái)都采用了英偉達(dá)GPU或InfiniBand網(wǎng)絡(luò)技術(shù)。

在最新公布的榜單中，不少新晉系統(tǒng)也都選擇英偉達(dá)提供支持，其中包括云端的兩個(gè)新系統(tǒng)。

Microsoft Azure是其中之一，在TOP 500榜單上連續(xù)占據(jù)第26位到第29位，利用集群將公有云服務(wù)提升到新的水平。作為新興的共享超級(jí)計(jì)算機(jī)，地球上的任何用戶都可以按需使用。

在Azure系統(tǒng)的背后，有8個(gè)NVIDIA A100 Tensor Core GPU為其各個(gè)虛擬實(shí)例提供動(dòng)力支持，每個(gè)芯片都有自己的HDR 200G InfiniBand 通信接口，可以與Azure云中的數(shù)千個(gè)GPU建立高速連接。

劍橋大學(xué)的新系統(tǒng)Wilkes-3是另一個(gè)超級(jí)云系統(tǒng)，也是世界上第一臺(tái)云原生超級(jí)計(jì)算機(jī)。該系統(tǒng)使用了320個(gè)連接在HDR 200G Infiniband 網(wǎng)絡(luò)上的 A100 GPU，且有經(jīng)過優(yōu)化的NVIDIA BlueField DPU提供安全、虛擬化的數(shù)據(jù)處理，保證虛擬資源的隱私性和安全性。

此外，本次進(jìn)入TOP10的新系統(tǒng)Perlmutter，以 64.59 Linpack petaflops 在 TOP500 中排名第 5，也是由來自英偉達(dá)6144個(gè)A100GPU提供動(dòng)力支持。

國家能源研究科學(xué)計(jì)算中心 (NERSC) 數(shù)據(jù)和分析服務(wù)組代理負(fù)責(zé)人 Wahid Bhimji 表示：“AI是美國能源部的一個(gè)增長領(lǐng)域，其可行性已被驗(yàn)證，正計(jì)劃投入生產(chǎn)。”

英偉達(dá)更新超算平臺(tái)，加入三項(xiàng)關(guān)鍵技術(shù)

為了持續(xù)滿足高性能計(jì)算對(duì)AI的需求，英偉達(dá)也在本次ISC大會(huì)上發(fā)布全新的HGX A100系統(tǒng)，且已經(jīng)在英國愛丁堡大學(xué)托管的DiRAC超級(jí)計(jì)算機(jī)中落地。

英偉達(dá)HGX A100加入了三項(xiàng)關(guān)鍵技術(shù)：NVIDIA A100 80GB PCIe GPU、NVIDIA NDR 400G InfiniBand 網(wǎng)絡(luò)和 NVIDIA Magnum IO GPUDirect Storage 軟件。

其中，A100 80GB PCle GPU采用NVIDIA Ampere架構(gòu)，與A100 40GB相比其內(nèi)存帶寬帶到2TB/S，提升25% 。更高的內(nèi)存容量和內(nèi)存帶寬，能夠?qū)⒏嗟臄?shù)據(jù)和更大的神經(jīng)網(wǎng)絡(luò)保存在內(nèi)存中，從而最大限度地減少節(jié)點(diǎn)通信和能耗，研究人員也能獲得更高的吞吐率和更快的結(jié)果。

在網(wǎng)絡(luò)方面，英偉達(dá)并購Mellanox后，釋放 InfiniBand高效網(wǎng)絡(luò)潛能。InfiniBand 作為全球唯一具有完全負(fù)載轉(zhuǎn)移功能的網(wǎng)絡(luò)內(nèi)計(jì)算互連系統(tǒng)，英偉達(dá)為此配備了NVIDIA Quantum-2固定配置交換機(jī)和模塊化交換機(jī)。

NVIDIA Quantum-2 模塊化交換機(jī)最高可提供 2048 個(gè) NDR 400Gb/s InfiniBand 端口(或 4096個(gè) NDR200 端口)的可擴(kuò)展端口配置，雙向總吞吐量達(dá)到每秒 1.64 PB，是上一代 HDR InfiniBand 模塊化交換機(jī)系列的5倍。

NVIDIA Quantum-2 交換機(jī)具有向前和向后兼容的特性，可以輕松遷移和擴(kuò)展現(xiàn)有的系統(tǒng)和軟件。

在軟件方面，Magnum IO GPUDirect Storage軟件提供了GPU內(nèi)存和存儲(chǔ)之間的直接內(nèi)存訪問，能夠?qū)崿F(xiàn)復(fù)雜工作負(fù)載處理性能。英偉達(dá)稱，應(yīng)用程序通過直接路徑從低 I/O 延遲中受益并能夠使用網(wǎng)絡(luò)適配器的全部帶寬，同時(shí)減少 CPU 的利用負(fù)載并管理數(shù)據(jù)消耗增加所產(chǎn)生的影響。

目前，英偉達(dá)最新HGX高性能計(jì)算平臺(tái)已落地英國愛丁堡大學(xué)，為其托管的新型DiRAC超級(jí)計(jì)算機(jī)Tursa提供動(dòng)力支持。

愛丁堡大學(xué)的 Peter Boyle 教授對(duì)HGX所提供的支持表示肯定：“Tursa 旨在應(yīng)對(duì)獨(dú)特的研究挑戰(zhàn)，為科學(xué)建模和仿真解鎖新的可能性。NVIDIA 加速計(jì)算平臺(tái)提供超大規(guī)模服務(wù)，通過精確平衡網(wǎng)絡(luò)帶寬和FLOPS 來以實(shí)現(xiàn)這項(xiàng)研究所需的出色性能，進(jìn)而助力新發(fā)現(xiàn)。”

幾十年前，學(xué)術(shù)研究中心嘗試模擬原理的相互作用，吸引了航空航天、醫(yī)療健康等多個(gè)行業(yè)的注意，但其所需要的巨量計(jì)算阻礙了發(fā)展研究，直到加速計(jì)算和深度學(xué)習(xí)的出現(xiàn)，才使得高性能計(jì)算落地得以推進(jìn)。

“得益于各種進(jìn)步，我們正處于高新能計(jì)算革命的開端。”黃仁勛如此評(píng)價(jià)當(dāng)下高性能計(jì)算的發(fā)展。