張宏江對話 Sam Altman：AGI 或許 10 年后到來，但現(xiàn)在就要為迎接它做準備

在 Sam Altman 發(fā)布了主題演講之后，智源人工智能研究院理事長、院士張宏江與其進行了 20 分鐘的對話。張宏江代表觀眾、以及一線研究員、科學(xué)家問了很多不同角度的問題。

圍繞 AI 對齊和安全這一復(fù)雜議題，Altman 表示，需要考慮非技術(shù)因素，但關(guān)鍵是需要一個安全的技術(shù)方案作為解法；Altman 也分享了迄今為止在世界環(huán)游中的收獲，并強調(diào)對于 AI 安全而言，建立統(tǒng)一公平的框架和測試標準，讓每個達到一定能力的 AI 模型都接受測試十分重要；回應(yīng)人們對 Open AI 本身的好奇，Altman 表示雖然他們在計劃 GPT-5，但是不知何時會到來。

至于驅(qū)動 OpenAI 誕生和取得突破的因素，Altman 將其歸于「使命感」——這會促使人擁有源源不斷的精力，想各種辦法應(yīng)對挑戰(zhàn)。這與上周在以色列一所大學(xué)的交流中，首席科學(xué)家 Ilya 所表達的「你對這個信仰越多，你就能取得越大的進展」不謀而合。

(資料圖片)

以下是經(jīng)極客公園編輯的對談實錄：

精彩摘要：

1、在 10 年內(nèi)，我們應(yīng)該準備好迎接一個具有非常強大系統(tǒng)的世界。

2、很難預(yù)測技術(shù)可能會犯的錯誤，因此要從現(xiàn)實世界對技術(shù)的使用以及反饋中學(xué)習(xí)，更新和優(yōu)化。

3、在世界巡游中，Sam 致力于推動一起制定關(guān)于安全開發(fā) AI 的國際標準，具體涉及：模型部署前如何測試；建立反映全球價值觀和偏好的數(shù)據(jù)庫；如何分享 AI 安全研究。

4、Open AI 已經(jīng)改變了非常多最初的 Transformers 的架構(gòu)。如果有新的架構(gòu)取得突破，不會令人意外。

5、對于安全問題，如果沒有一個技術(shù)的解決方案，任何方面的事情都將非常困難。

6、一定程度上開源有益于安全，但 API 模式也有重要作用，它提供了額外的安全控制能力。

7、Open AI 相信 ，AGI 將是人類社會迄今所建造的最具變革性的東西。

正文：

1 AGI 或許 10 年后到來，但現(xiàn)在就要為迎接它做準備

張宏江：嘿，Sam ，很高興再次見到你。雖然這次是在 Zoom 會議上。你上次來這里好像是六年前，在一個會議上（Sam：2018 年）。我們準備了大量的問題。但我們先從一個接近你演講主題的問題開始：你在一開始就提到了 AGI 的承諾。我們離 AGI 還有多遠？包括安全的 AGI 和潛在不安全的 AGI。

Sam ：很難預(yù)測準確的時間。但我認為很有可能在未來 10 年，我們會有非常強大的 AI 系統(tǒng)。在這樣的世界里，解決好 AI 的安全問題是非常重要和緊迫的。這就是為什么我呼吁國際社會現(xiàn)在就要在這方面一起努力。

歷史無疑為我們提供了許多新技術(shù)從根本上改變世界的例子，其速度比許多人想象的要快。而我們現(xiàn)在看到的加速，以及這些系統(tǒng)的影響，在某種意義上，是前所未有的。因此，為它很快發(fā)生做好準備，并在考慮到利害關(guān)系和規(guī)模的情況下，正確處理安全問題，似乎相當(dāng)重要。

張宏江：所以你確實有一種緊迫感，你還提到了也許十年后，AGI 會有一個突破。

Sam：是的。我想強調(diào)的是，我們并不真正知道（AGI 什么時候來）。而且對 AGI 的定義也是不同的。我認為在 10 年內(nèi)，我們應(yīng)該準備好迎接一個具有非常強大系統(tǒng)的世界。

張宏江：你在演講中，也提到過幾次全球合作。我們知道，在過去的六、七十年里，世界面臨了過許多次危機，很多人設(shè)法建立共識，建立全球合作。你現(xiàn)在也在全球旅行，你正在試圖推動的全球合作具體什么樣的？你對迄今為止得到的回應(yīng)有何感想？

Sam：我對目前為止的反應(yīng)非常滿意。我認為人們在非常認真地對待 AGI 的風(fēng)險和機會。過去六個月里，相關(guān)討論有了很大的進展。人們似乎真的致力于找出一個結(jié)構(gòu)，使我們能夠享受這些好處，同時在全球范圍內(nèi)共同努力，以減少風(fēng)險。我認為我們在這方面處于非常有利的地位，全球合作總是困難的，但我認為 AGI 就是那種能夠?qū)⑹澜缇奂谝黄鸬耐{和機遇，我們可以共同為這些系統(tǒng)提出一個框架和安全標準，這將是相當(dāng)有幫助的。

張宏江：當(dāng)我們處理這個潛在風(fēng)險時，有哪些我們曾經(jīng)成功處理過的大挑戰(zhàn)，可以作為參考的例子嗎？

Sam：我們已經(jīng)在全球范圍根除了一些非常嚴重的疾病。這需要大量的合作。我們已經(jīng)處理了會導(dǎo)致問題的化學(xué)品，例如在臭氧層的問題上。有許多例子表明，我們（可以）一起處理一件事。

張宏江：你提到先進的 AI 系統(tǒng)的對齊問題，這是一個還沒有被解決的問題。我也注意到，雖然在過去幾年中付出了很多努力，你也提到 GPT-4 是迄今為止在對齊方面最優(yōu)秀的示例。你認為我們可以簡單地通過對齊來解決 AI 安全問題，還是 AI 安全問題比對齊問題要大得多？

Sam：我認為對齊這個詞有不同的使用方式。我們需要解決整個挑戰(zhàn)，即如何才能達到安全的 AI 系統(tǒng)。傳統(tǒng)意義上的對齊，即讓模型的行為符合其用戶的意圖，當(dāng)然是其中的一部分。還會有其他問題，比如我們?nèi)绾悟炞C系統(tǒng)正在做我們希望它們做的事情，以及我們讓系統(tǒng)與誰的價值觀保持一致。但我認為，重要的是要看清全景，為實現(xiàn) AGI 我們需要做些什么。

張宏江：從技術(shù)視角來看，GPT-4 在很大程度上已經(jīng)做了很多事情，但是對齊問題（仍然還有許多需解決）還有許多其他因素，不僅僅是技術(shù)。這確實是一個復(fù)雜的問題，復(fù)雜問題的解決通常需要系統(tǒng)級別的解決方案，AI 可能也不例外。因此，除了技術(shù)方面，你認為還有哪些因素，對于 AI 安全非常關(guān)鍵？我們應(yīng)該如何解決這些挑戰(zhàn)？作為科學(xué)家，我們應(yīng)該做什么？

Sam：這當(dāng)然是一個非常復(fù)雜的問題。我想說的是，如果沒有一個技術(shù)上的解決方案，任何方面的事情都將非常困難。因此，我認為關(guān)注的重心應(yīng)該放在以安全的方式解決技術(shù)問題。這是相當(dāng)重要的。而正如我前面所說的，弄清楚價值觀與什么相一致，不是一個技術(shù)問題。解決這個問題需要技術(shù)見解輔助，但這本身值得全社會深入討論。

我們將不得不設(shè)計出公平、有代表性和包容性的系統(tǒng)。還有，正如你所指出的，我們需要考慮的不僅僅是 AI 模型本身的安全，而是整個系統(tǒng)的安全。因此，可以在 AI 系統(tǒng)之上附加安全分類器和檢測器，監(jiān)測使用是否符合準則，這很重要。還有，我認為很難提前預(yù)測任何技術(shù)可能會犯的所有錯誤。因此，從現(xiàn)實世界的使用中學(xué)習(xí)，反復(fù)部署，看看當(dāng)你真正接觸現(xiàn)實并改進它時，會發(fā)生什么，給人們和社會時間來學(xué)習(xí)和更新，思考這些模型將如何與他們的生活發(fā)生好或壞的互動。這一點非常重要。

張宏江：關(guān)于 GPT-4 和 AI 安全，你認為我們是否有可能需要改變目前 AI 的整個基礎(chǔ)架構(gòu)或模型，使其更安全，更容易被檢查？你有什么想法嗎？

Sam：我認為確實很有可能需要一些非常不同的架構(gòu)，無論是從 AI 能力角度還是從安全角度。在目前的模型中，我們可以在可解釋性方面取得一些良好的進展，可以讓模型向我們更好地解釋在做什么和為什么這么做。但是如果 AI 未來在 Transformers 模型之外取得了大的飛躍性突破的話，我不會感到驚訝。實際上，我們也已經(jīng)改變了非常多最初的 Transformers 的架構(gòu)。

2 解決 AI 安全問題 需要國際合作建立測試框架

張宏江：關(guān)于全球合作，你一直在做巡回演講。中國、美國、歐洲，這三個基本群體是 AI 創(chuàng)新和 AGI 背后的驅(qū)動力。那么在你看來，不同的國家在合作解決 AGI 問題上有什么優(yōu)勢？為了解決人工智能的安全問題，如何將這些優(yōu)勢聯(lián)合起來？

Sam：我認為一般來說，需要有關(guān)于 AI 安全的不同觀點。我們還沒有得到所有的答案。而這件事非常重要，也很難解決，正如之前所提到的，它不純粹是一個技術(shù)問題。使 AI 安全和有益，涉及了解不同國家、在非常不同背景下的用戶偏好。因此，我們需要很多不同的投入來實現(xiàn)這一目標。

中國有一些世界上最好的人工智能人才。從根本上說，我認為，鑒于解決先進的人工智能系統(tǒng)的對齊問題難度極高，我們需要來自世界各地的最好的頭腦。因此，我真的希望中國的 AI 研究人員做出巨大貢獻。

張宏江：你提到了中國，你已經(jīng)訪問了相當(dāng)多的國家，能否分享你在合作者方面取得的一些成果，以及你在這次世界旅行中，與各政府、各機構(gòu)的互動中，有什么計劃或下一步的想法？

Sam：我認為讓人興奮的一個很大發(fā)展是聚在一起制定國際標準，這些標準關(guān)于如何安全地開發(fā)先進的 AI 系統(tǒng)。關(guān)于非常強大的模型訓(xùn)練后，被部署之前，我們要如何思考測試應(yīng)該是什么；關(guān)于建立一套反映全球價值觀和偏好的數(shù)據(jù)庫，讓人們可以用此來調(diào)整他們的系統(tǒng)，我們也有很好的對話；以及我們建立怎樣的形式，來分享 AI 安全研究。這就是到目前為止出現(xiàn)的三種最具體的事情。

張宏江：我們一直在討論，其實如果世界上只有三個模型，可能會更安全。這就像我們對核的控制，我們不希望出現(xiàn)核擴散，所以我們簽署了核不擴散條約，希望控制可以獲得這種技術(shù)的國家的數(shù)量。那么，你認為這是不是我們應(yīng)該發(fā)展的方向，即控制模型的數(shù)量？

Sam：模型更少更安全還是更多更安全，目前有不同的觀點。我認為更重要的是，我們是否有一個正確的框架，一個系統(tǒng)，使得任何強大的模型都需要通過足夠的安全測試？我們是否有一個框架，使得任何正在創(chuàng)建一個足夠強大的模型的人都能有足夠的資源，也被規(guī)定需要確保他們創(chuàng)造的東西是安全的、與人類價值觀對齊？

張宏江：昨天參會的 MIT 人工智能與基礎(chǔ)交互研究中心教授 Max Tegmark 提到，他認為這個過程可以類比于高速站的卡口，或者是新藥研發(fā)的流程。我們設(shè)計一個新藥，肯定不能馬上把它推出上市，一定需要很長的檢測流程。你認為這是一個我們可借鑒的流程嗎？

Sam：我非常認同。我認為在將一項新技術(shù)推向市場時，各行業(yè)都已經(jīng)開發(fā)了許多不同的許可和測試框架，我們應(yīng)該盡可能地借鑒。從根本上說，歷史上我們已經(jīng)有了能夠發(fā)揮作用的很好的方法。

3 「推動 AGI 能讓我完成自我實現(xiàn)」

張宏江：今天的論壇主要是討論 AI 的安全問題，但由于人們對 Open AI 非常好奇，所以我確實有一個 Open AI 的問題：Open AI 是否有重新開源的計劃，重新開源模型，像 GPT-3 那樣？我認為開源也對 AI 安全有益。

Sam：我們目前選擇開放一些模型，不開放另一些模型。但隨著時間的推移，我想你可以期待我們在未來繼續(xù)開源更多的模型。

張宏江：但在我擔(dān)任理事長的智源研究院，我們投入了所有的努力將模型、開發(fā)模型的算法、微調(diào)模型的工具、訓(xùn)練模型的數(shù)據(jù)等等開源。我們相信，分享是有必要的。分享出這些，能夠讓人們感覺到對在使用的東西有控制權(quán)。那么，你是否也有得到有類似的反饋，在 Open AI，你和你的同事之間是否也有類似的討論？

Sam：是的，我認為開源確實能起到重要的作用。并且最近，開源模型有相當(dāng)多的進展。不過我認為，API 模式也有重要作用，它為我們提供了額外的安全控制能力，你可以避免某些不良使用方式，你可以避免某些人對其進行特定種類的微調(diào)。如果出現(xiàn)一些問題，也能及時停止修改。

在目前的模型規(guī)模下，我并不特別擔(dān)心開源的問題。但是，如果模型真的能如我們所期望的那樣強大，如果我們的期待能夠成真，那我認為到那時開放所有的資源可能不是最佳選擇，盡管在某些情景下肯定是正確的。我認為我們需要小心翼翼地把握好平衡。但是，確實，我認為開源模型和研究在某些方面是有安全優(yōu)勢的。

張宏江：我自己也是一個研究員，我相信在座的聽眾都非常好奇，在 AGI 研究方面、在更大的模型或更大的語言模型方面，下一步是什么？不久后我們會看到 GPT-5 嗎？作為下一個前沿，在具身模型（embodied models）上，自主機器人，是 Open AI 接下來打算研究的嗎？

Sam：我對接下來的事情非常好奇，這項工作中我最喜歡的事情就是站在研究前沿，這讓人興奮和驚訝。我們還沒有答案。所以我們正在探索許多下一步可能出現(xiàn)的想法，潛在的新范式可能是什么。當(dāng)然，在某些時候，我們會嘗試在序列中做一個 GPT-5 模型，但不是很快。我們不知道到具體是底什么時候。Open AI 從一開始就在研究機器人，我們對此非常興奮，也有過掙扎。我希望有一天我們能回頭去做這個。

張宏江：聽起來很好。你的演講中你還提到 Open AI 是如何使模型更安全的。你特別提到了你們會用 GPT-4 來解釋 GPT-2 的模型，請問這樣的工作是可擴展的嗎？你們會繼續(xù)在這個方向上進行更多的努力嗎？

Sam：是的，我們會繼續(xù)推動這個方向。

張宏江：那你認為這以后可以進一步擴大范圍嗎？我問這個問題，是因為我知道有許多生物科學(xué)家，他們關(guān)注人類的學(xué)習(xí)，他們會很樂意在自己的領(lǐng)域里借用這種方法，研究和探索人類神經(jīng)元如何工作。

Sam：解釋人工智能的神經(jīng)元會比解釋生物中真實的神經(jīng)元更容易。因此，我認為這種使用更強大的模型來幫助我們理解其他模型的方法適用于人工智能的神經(jīng)網(wǎng)絡(luò)，我認為這是可以成功的，但我不太清楚如何將其應(yīng)用于人類大腦。

張宏江：非常感謝你，Sam，感謝你參與此次論壇。另外，我想感謝你，能夠有那樣的遠見，創(chuàng)辦了 Open AI 這樣的 AI 公司，并且只并專注于一件事，獲得了如此多的成功和突破。在結(jié)束之前，我想再問一個問題，你當(dāng)時是如何想出成立 Open AI 這樣的公司的？又是什么讓你孜孜不倦地去推動它的發(fā)展？就比如像今天，你在非常努力地推動 AI 安全的發(fā)展，什么是你背后的驅(qū)動力？

Sam：我想象不到還有什么工作能夠像推動 AGI 一樣令人激動，極其重要，并能讓我完成自我實現(xiàn)。而且我非常相信，如果你有一個對你個人非常重要的使命—— AGI 就是這樣一個對我和我們的團隊來說非常重要的使命——你會產(chǎn)生大量的精力，你會努力想出辦法。

其實當(dāng)我們剛剛創(chuàng)建 Open AI 的時候，我們當(dāng)時認為成功概率是相當(dāng)?shù)偷摹５侨绻覀兡軌蚺宄绾谓?AGI，那么它肯定會極具變革性。我們肯定需要確保 AI 的安全性，但 AGI 為社會帶來的益處將是巨大的。我真的相信 AGI 將是人類社會迄今所建造的最具變革性的東西。