13 層網絡如何拿下 83% 精度？極簡神經網絡架構 VanillaNet 作者親自解讀_全球報資訊

過去幾十年里，人工神經網絡取得了顯著的進展，這歸功于一種理念：增加網絡的復雜度可以提高性能。

從 AlexNet 引爆了深度學習在計算機視覺的熱潮后，研究者們為了提升深度網絡的性能，精心地設計出了各種各樣的模塊，包括 ResNet 中的殘差，ViT 中的注意力機制等。然而，從 ResNet 到 ViT 以來，盡管深層的復雜神經網絡可以取得很好的性能，但在實際應用中，這些網絡的復雜度和硬件親和程度使其部署時常常會遇到困難。

(資料圖)

因此，來自華為諾亞、悉尼大學的研究者們設計了一種極簡的神經網絡模型 VanillaNet，期望用最簡單的，類似 LeNet 和 AlexNet 這樣的結構，達到甚至超越現在網絡的精度，成為新一代的視覺骨干網絡。

本工作的核心是如何讓一個淺層網絡在沒有復雜鏈接和 attention 的情況下，盡可能地提升精度，針對極簡網絡面臨的非線性大幅下降的技術難題，本工作提出了深層訓練和級數激活函數兩個方案來解決此問題。最終，6 層的 VanillaNet 可以超過 ResNet-34，13 層的 VanillaNet 在 ImageNet 可以達到 83% 的 top1 精度，超過幾百層網絡的性能，并展現了非凡的硬件效率優勢。

為了更好的幫助大家了解這項研究，機器之心最新一期線上分享邀請到了論文作者之一陳漢亭，為大家解讀他們近期的工作 VanillaNet。

分享主題：VanillaNet：深度學習中極簡主義的力量

嘉賓簡介：陳漢亭，華為諾亞方舟實驗室研究員，主要研究方向為深度學習和計算機視覺。他在 NeurIPS/CVPR/TPAMI 等頂會頂刊發表 20 余篇論文，多項研究成果應用于華為產品。他的谷歌學術引用 2000+，其中加法網絡、IPT 等工作受到廣泛關注。

分享摘要：華為諾亞實驗室的研究員提出了一種極簡網絡架構 VanillaNet，不含殘差鏈接，自注意力等復雜的模塊，卻可以在計算機視覺任務上取得驚人的性能。在 ImageNet 圖像識別任務上，13 層的 VanillaNet 在 ImageNet 可以達到 83% 的 top1 精度，速度超過同精度的 Swin Transformer 兩倍以上。

相關鏈接：

論文鏈接：https://arxiv.org/abs/2305.12972

直播間：關注機動組視頻號，立即預約直播。

交流群：本次直播有 QA 環節，歡迎加入本次直播交流群探討交流。