算力還是不夠！OpenAI 自曝發展受到 GPU 限制 百事通

5.29 日，OpenAI 的 CEO-Sam Altman 在一次采訪中，透露了 OpenAI 當下遇到的問題與未來 1-2 年內的發展計劃。

【資料圖】

OpenAI 目前受到 GPU 算力限制

在采訪中，一個普遍的主題是 OpenAI 目前極其受到 GPU 算力的限制，這延遲了許多短期計劃的實現。最大的客戶抱怨是 API 的可靠性和速度，同時還不能向更多用戶推出更長的 32k 上下文，Sam 承認了他們的擔憂，并解釋說這個問題的大部分原因是由于 GPU 短缺造成的。

精調 API（更加個性化與專業化的）目前也受到 GPU 可用性的瓶頸限制。他們還沒有使用像適配器或 LoRa 這樣的高效微調方法，因此微調非常計算密集，需要耗費大量的計算資源來運行和管理，但更好的微調支持將來會出現。當前的 OpenAI 提供 API 的分類與價格

GPT-4 的迅速版 750 個單詞約為 0.03 美金（2 毛錢）

目前 OpenAI 的云計算服務是由微軟的 Azure 云來支持，突如其來的 Ai 熱潮，讓服務器長期處于滿負載的狀態，同時算力開始出現緊張，但伴隨 NVIDIA 高性能服務器級別的算力卡，比如 H100/GXH200 等產品發布；應用，相信 GPU 算力在未來一段時間內可以逐漸被平衡。

專用容量提供也受到 GPU 算力的限制。OpenAI 還將向客戶提供專用容量，為客戶提供模型的私有版本（如企業版）。要訪問此服務，客戶必須愿意預付 100,000 美元（約合 68.7 萬人民幣）

OpenAI 的近期路線圖

2023 年：

更便宜、更快的 GPT-4- 這是 OpenAI 的首要任務。總的來說，OpenAI 的目標是盡可能地降低 "Ai 的成本 "，因此他們將努力繼續隨著時間的推移降低普通用戶與 API 使用的成本。

在未來，Ai 智能助手可能會伴隨我們日常的工作生活的每一處丨 Midjourney

更長的上下文窗口 - 在不久的將來，高達 100 萬個字符的上下文窗口是可能的。（寫小說的時代來臨）

Midjourney

精調 API 將擴展到最新的模型，但具體形式將根據開發人員實際需要來確定。

有狀態的 API- 當調用聊天 API 時，必須不斷地通過相同的對話歷史記錄并不斷支付相同的標記。將來會有一個記住對話歷史的版本。

2024 年：

多模態（包含語音識別、圖像識別、視頻識別等）這是 GPT-4 發布的一部分，但在更多 GPU 算力上線之前無法擴展到所有用戶。

GPT-4 發布時提及的圖片識別能力，仍未開放

OpenAI 除了 ChatGPT 之外，不會發布更多的競爭產品

相當多的開發者表示，當 OpenAI 可能會發布與他們競爭的產品時，他們對使用 OpenAI API 進行構建感到緊張。Sam 說 OpenAI 除了 ChatGPT 之外，不會發布更多的競爭產品。他說，有許多偉大的平臺公司都有一個殺手級應用程序，而 ChatGPT 將允許他們成為自己產品的客戶，從而使 API 更好。ChatGPT 的愿景是成為一個超級智能的工作助手，但還有許多其他 GPT 用例 OpenAI 不會涉及。

需要監管，但開源也很重要

盡管 Sam 呼吁對未來 Ai 模型進行監管，但他認為現有模型并不危險，認為監管或禁止它們將是一個巨大的錯誤。他重申了他對開源的重要性的信念，并表示 OpenAI 正在考慮開源 GPT-3。他們還沒有開源的部分原因是他對有多少個人和公司有能力托管和提供大型 LLM 持懷疑態度。 ( 擔心有人使用開源后的 GPT-3 干壞事）

擴展定律仍然有效

OpenAI 的內部數據表明，模型性能的擴展定律仍然有效，而且使模型更大仍將產生更好的性能。但由于 OpenAI 在幾年內已經使模型變得大了數百萬倍，繼續保持這樣的擴展速度將不可持續。這并不意味著 OpenAI 不會繼續努力使模型更大，只是表示它們可能每年只會增加兩到三倍的大小，而不會呈幾個數量級的增長。