模型大亂斗，小羊駝團隊推出大模型競技平臺 Chatbot Arena

(資料圖片)

品玩 6 月 8 日訊，由伯克利大學主導(dǎo)一個團隊 LMSYS Org 近日發(fā)布了一個針對大語言模型的基準平臺 Chatbot Arena。

據(jù)悉，該平臺采用匿名、隨機的方式進行對抗評測，評測方式基于國際象棋等競技游戲中廣泛使用的 Elo rating system。排名通過用戶投票產(chǎn)生，系統(tǒng)每次會隨機選擇兩個不同的大模型機器人和用戶聊天，并讓用戶在匿名的情況下判定哪款大模型產(chǎn)品的表現(xiàn)更好一些。 Elo rating system 會根據(jù)用戶的選擇最后判定大模型產(chǎn)品的積分，并以排行榜的形式出現(xiàn)在首頁中。

目前 OpenAI 的 ChatGPT-4 排名第一，之后是 Anthropic 的 claude，同樣來自 Anthropic 的 claude Instant 排名第三。