Meta 發布全新 Megabyte 模型，解決算力損耗硬傷

(資料圖片僅供參考)

品玩 5 月 30 日訊，據新智元報道， Meta 近日發布了一種全新的模型架構，可以有效減少算力損耗。

據報道，Meta 的這個模型架構被稱為 Megabyte，是一種多尺度解碼器架構，可以對超過一百萬字節的序列進行端到端可微分建模。Megabyte 能跨多種格式生成超過 100 萬個 token，并超越 GPT-4 等模型背后的現有 Transformer 架構的功能。