聚焦：OpenAI 將用新方法來訓(xùn)練模型 以對(duì)抗人工智能“幻覺”

(資料圖片)

財(cái)聯(lián)社 6 月 1 日訊（編輯 牛占林）美東時(shí)間周三，OpenAI 發(fā)布的最新研究論文顯示，該公司正在用一種新的方法來訓(xùn)練人工智能 ( AI ) 模型，以對(duì)抗人工智能 " 幻覺 "。

人工智能幻覺指的是人工智能模型生成內(nèi)容的能力，這些內(nèi)容不是基于任何現(xiàn)實(shí)世界的數(shù)據(jù)，而是模型自己想象的產(chǎn)物。人們擔(dān)心這種幻覺可能帶來的潛在問題，包括道德、社會(huì)和實(shí)際問題。

當(dāng) OpenAI 的聊天機(jī)器人 ChatGPT 或谷歌公司競(jìng)品 Bard 純粹在捏造虛假信息時(shí)，就會(huì)發(fā)生人工智能幻覺，表現(xiàn)得就像是在滔滔不絕地談?wù)撌聦?shí)一樣。某些獨(dú)立的專家對(duì) OpenAI 這樣做的效果表示懷疑。

舉個(gè)例子，在谷歌 2 月份為 Bard 拍攝的宣傳視頻中，這個(gè)聊天機(jī)器人對(duì)詹姆斯 · 韋伯太空望遠(yuǎn)鏡做出了不真實(shí)的表述。最近，ChatGPT 在紐約聯(lián)邦法院的一份文件中引用了 " 偽造 " 的案件，導(dǎo)致涉案的紐約律師可能面臨處罰。

OpenAI 的研究人員在報(bào)告中寫道：" 即使是最先進(jìn)的人工智能模型也很容易產(chǎn)生謊言，它們?cè)诓淮_定的時(shí)刻往往表現(xiàn)出捏造事實(shí)的傾向。而這些幻覺在需要多步驟推理的領(lǐng)域尤其嚴(yán)重，因?yàn)橐粋€(gè)邏輯錯(cuò)誤就足以破壞一個(gè)更大的解決方案。"

該公司提出的新策略是：訓(xùn)練人工智能模型時(shí)，獎(jiǎng)勵(lì)每個(gè)正確的推理步驟，而不僅僅是簡(jiǎn)單地獎(jiǎng)勵(lì)正確的最終結(jié)論。根據(jù)研究人員的說法，這種方法被稱為 " 過程監(jiān)督 "，而不是 " 結(jié)果監(jiān)督 "，它可能會(huì)提高人工智能的性能與準(zhǔn)確性，因?yàn)檫@種策略鼓勵(lì)模型更多地遵循類似人類的 " 思維鏈 "。

OpenAI 的數(shù)學(xué)研究員 Karl Cobbe 指出：" 檢測(cè)并減輕模型的邏輯錯(cuò)誤或幻覺，是構(gòu)建通用人工智能 ( AGI ) 的關(guān)鍵一步。" 他指出，這項(xiàng)研究背后的動(dòng)機(jī)是解決人工智能幻覺，以便使模型更有能力解決具有挑戰(zhàn)性的推理問題。

Cobbe 補(bǔ)充道，OpenAI 已經(jīng)發(fā)布了一個(gè)附帶的數(shù)據(jù)集，其中包含 80 萬個(gè)人類標(biāo)簽，用于訓(xùn)練研究論文中提到的模型。

此前一天，科技界高管和人工智能科學(xué)家正在對(duì) AI 敲響警鐘，他們表示，這項(xiàng)技術(shù)帶來的滅絕風(fēng)險(xiǎn)堪比疫情和核戰(zhàn)。

超過 350 人簽署了人工智能安全中心 ( Center for AI Safety ) 發(fā)布的一份聲明，該組織表示，與疫情和核戰(zhàn)爭(zhēng)等其他社會(huì)規(guī)模的風(fēng)險(xiǎn)一樣，減輕人工智能帶來的滅絕風(fēng)險(xiǎn)應(yīng)該成為全球的優(yōu)先事項(xiàng)。