亞洲資本網(wǎng) > 資訊 > 熱播 > 正文
完勝GPT-4,秒殺閉源模型!Code Llama神秘版本曝光
2023-08-28 23:51:46來源: 商業(yè)新知網(wǎng)

發(fā)布僅2天,Code Llama再次引爆AI編碼的變革。

還記得Meta在Code Llama論文中出現(xiàn)的能夠全面持平GPT-4的神秘版本Unnatural Code Llama嗎?

大佬Sebastian在自己博客里做出解釋:


(資料圖片僅供參考)

是使用了1萬5千條非自然語言指令對Code Llama- Python 34B進(jìn)行微調(diào)之后的版本。

Meta通過在論文里隱藏這樣一條非常隱蔽的信息,似乎是想暗示開源社區(qū),Code Llama的潛力非常大,大家趕快微調(diào)起來吧!

于是剛剛,基于Code Llama微調(diào)的WizardCoder 34B,在HumanEval基準(zhǔn)上,直接打敗了GPT-4。

具體來說,WizardCoder以73.2%的勝率碾壓GPT-4的3月份版本(67%)。

另外,WizardCoder 34B的性能超過了最新版本GPT-3.5,以及Claude 2。

編程大模型WizardCoder,是由微軟聯(lián)合香港浸會大學(xué)在6月發(fā)布的。據(jù)稱,微調(diào)的13B/7B版本即將推出。

英偉達(dá)頂級科學(xué)家Jim Fan表示,這基本上是「Unnatural Code Llama」的開放版本。

雖然基準(zhǔn)數(shù)據(jù)看起來不錯,但HumanEval只測試了窄分布,可能會過度擬合。自然場景下的數(shù)據(jù)測試才是真正重要的。編碼基準(zhǔn)需要重大升級。

Code Llama神秘版本誕生?

周五,Meta正式開源了三個版本的Code Llama。

在HumanEval和MBPP基準(zhǔn)圖中,許多人發(fā)現(xiàn)了一個未在Meta官方中提到的版本——Unnatural Code Llama。

這個神秘版本在HumanEval pass@1上取得了62.2%性能。

而在今天公布的微調(diào)WizardCoder 34B在HumanEval pass@1上性能高達(dá)73.2%。

根據(jù)介紹,WizardCoder 34B是使用合成數(shù)據(jù)集Evol-Instruct對Code Llama模型進(jìn)行微調(diào)的版本。

如下是和所有開源和閉源模型性能對比可視化。

在和OpenAI模型比較中,研究人員指出GPT4和ChatGPT-3.5有兩個HumanEval結(jié)果:

OpenAI的官方GPT4報告(2023/03/15)提供的結(jié)果分別是:67.0%和48.1%。而 研究人員使用最新的 API(2023/08/26)測試的結(jié)果是82.0%和72.5%。

另外,研究人員強調(diào),這個性能結(jié)果100%可重現(xiàn)!

WizardCoder 34B的演示已經(jīng)開放,任何人都可以對對其進(jìn)行測試。

有人指出了問題,過度擬合公共排行榜是開源模型在實際應(yīng)用中舉步維艱的主要原因之一。這里有一個例子,wizard-coder的數(shù)據(jù)準(zhǔn)備使用HumanEval pass@1的分?jǐn)?shù)來決定是否進(jìn)一步發(fā)展數(shù)據(jù)集。僅針對測試集進(jìn)行優(yōu)化有違測試集的初衷。

同樣就在昨天,來自Phind組織的研究人員,微調(diào)Code Llama-34B在HumanEval評估中擊敗了GPT-4。

ChatGPT與Code Llama對打

Code Llama在實際的代碼任務(wù)中表現(xiàn)到底怎么樣?

有一位網(wǎng)友做了一個GPT-3.5和Code Llama Instruct-34B的對比測試。它通過Perplexity.AI提供的Code Llama 34B的訪問服務(wù)進(jìn)行了測試。

它分別給兩個模型喂了8個同樣的代碼任務(wù),比較他們的生成代碼的質(zhì)量。

結(jié)果是GPT-3.5以8:5的優(yōu)勢取勝。

以下是具體的測試結(jié)果。

第一題

使用Python完成這個任務(wù),給定兩個字符串word1和word2。通過以交替順序添加字母來合并字符串,從word1開始。如果一個字符串比另一個字符串長,請將附加字母附加到合并字符串的末尾。

最后輸出合并后的字符串。

例如:

輸入:word1 =「abc」,word2 =「pqr」 輸出:「apbqcr」

GPT-3.5和Code Llama都能完成——1:1

第二題

使用Python完成這個任務(wù),給定一個字符串 s,僅反轉(zhuǎn)字符串中的所有元音并返回它。

元音為「a」、「e」、「i」、「o」和「u」,它們可以以小寫和大寫形式出現(xiàn)多次。

例如:輸入:s =「hello」 輸出:「ello」

GPT-3.5完成,Code Llama沒有完成——2:1

第三題

使用Python完成這個任務(wù),給定一個整數(shù)數(shù)組 nums,將所有 0 移至其末尾,同時保持非零元素的相對順序。

請注意,您必須就地執(zhí)行此操作,而不制作數(shù)組的副本。

例如:輸入:nums = [0,1,0,3,12] 輸出:[1,3,12,0,0]

GPT-3.5完成,Code Llama沒有完成——3:1

第四題

使用Python完成這個任務(wù),你有一個長長的花壇,其中有些地塊種了花,有些沒種。

但是,相鄰的地塊不能種植花卉。給定一個包含 0 和 1 的整數(shù)數(shù)組花壇,其中 0 表示空,1 表示非空,以及一個整數(shù) n,如果可以在花壇中種植n 朵新花而不違反無相鄰花規(guī)則,則輸出true,否則就輸出false。

例子1:輸入:花壇 = [1,0,0,0,1], n = 1 輸出:true例子2:輸入:花壇 = [1,0,0,0,1], n = 2 輸出:false

兩個模型都完成了——4:2

第五題

使用Python,給定一個輸入字符串s,反轉(zhuǎn)單詞的順序。單詞被定義為非空格字符的序列。s中的單詞將至少由一個空格分隔。

輸出由單個空格按相反順序連接的單詞字符串。請注意,s可能在兩個單詞之間包含前導(dǎo)或尾隨空格或多個空格。

返回的字符串應(yīng)該只有一個空格來分隔單詞。請勿包含任何額外空格。

例子:輸入:s =「the sky is blue」 輸出:「blue is sky the」

兩個模型都完成了——5:3

第六題

使用Python完成這個任務(wù),給定一個字符串s和一個整數(shù)k,返回s中長度為k的任何子串中元音字母的最大數(shù)量。

英語中的元音字母有「a」、「e」、「i」、「o」和「u」。例子:輸入:s =「leetcode」,k = 3 輸出:2

解釋:「lee」、「eet」和「ode」包含 2 個元音。

兩個模型都完成了——6:4

第七題

使用Python完成這個任務(wù),給定一個字符串s,其中包含星號*。通過一次操作,你可以:在s中選擇一個星號。

刪除其左側(cè)最接近的非星號字符,并刪除星號本身。刪除所有星號后輸出字符串。例子:輸入:s =「leet**cod*e」 輸出:「lecoe」

GPT-3.5完成了,但是Code Llama沒有完成——7:4

第八題

使用Python完成這個任務(wù),給定一個表示每日溫度的整數(shù)溫度數(shù)組,返回一個數(shù)組答案,其中answer[i]是在第i天之后您必須等待的天數(shù)才能獲得較溫暖的溫度。

如果未來沒有一天可以這樣做,則保留answer[i] == 0。例如:輸入:溫度 = [73,74,75,71,69,72,76,73] 輸出:[1,1,4,2,1,1,0,0]

兩個模型都完成了——8:5

針對兩個模型的表現(xiàn),這位網(wǎng)友認(rèn)為這不算是一個嚴(yán)謹(jǐn)?shù)难芯?,只是一個簡單的測試,每次讓模型再次生成代碼時基本都能得到更好的答案,但是測試中沒有。

所以測試的結(jié)論并不是最終兩個模型的表現(xiàn)。

堪比GPT-4,Llama 3要開源

自Llama和Llama 2開元發(fā)布后,引爆機器學(xué)習(xí)社區(qū)ChatGPT平替熱潮,各種微調(diào)模型泉涌而出。

OpenAI的研究人員Jason Wei稱,在Meta GenAI社交活動上了解到,未來Llama 3和Llama 4也會開源。

我們擁有訓(xùn)練Llama 3和4的計算能力。我們的計劃是讓Llama-3和GPT-4一樣好。哇,如果Llama-3和GPT-4一樣好,你們還會開源嗎?是的,我們會的。對不起,對齊工作人員。

又一位網(wǎng)友稱,Meta希望開源一個GPT-5級別模型,并且在AGI之前似乎一直堅持開源。

我想說清楚這意味著什么:沒有死亡開關(guān)。

如果出了問題--一個智能體失控了,或者一個壞人把它武器化了--沒有簡單的方法把它關(guān)掉。它可以在任何小型集群上運行。這樣就沒有安全性可言了。

安全研究變得毫無意義。

人們?yōu)樽屓斯ぶ悄芟到y(tǒng)誠實、一致、合乎道德等所做的所有工作都變得毫無意義。世界上的人工智能系統(tǒng)將朝著哪個系統(tǒng)能產(chǎn)生最大經(jīng)濟效益的方向發(fā)展,而不管它們有什么價值觀或動機。沒有護欄。任何人都可以隨心所欲地改變?nèi)斯ぶ悄艿膬r值觀或能力,無論好壞。

如果在我們獲得更智能的人工智能的同時,Meta繼續(xù)開源,那么我很清楚,事情會變得一團糟。這些外星智能體的到來已經(jīng)會讓世界變得混亂不堪,但如果我們放棄人類僅有的一點控制權(quán),情況就會更加糟糕。

據(jù)我所知,Meta希望開源主要源于「開源社區(qū)教條」,即「開源好」。而且據(jù)我所知,在他們的第一個模型Llama意外泄露之前,他們并不那么贊成開源,之后他們一直假裝贊成開源。

對此,馬斯克表示,不過,使用自回歸Transfomer的LLM能效極差,不僅在訓(xùn)練中如此,在推理中也是如此。我認(rèn)為它偏離了幾個數(shù)量級。

Llama 2編碼能力飛升

Llama 2是一個各方面性能都很強的模型。

但是,它有一個非常明顯的弱點——代碼能力。

根據(jù)Meta發(fā)布Llama 2的論文中的數(shù)據(jù),Llama 2在HumEval(評估LLM與編碼相關(guān)的基準(zhǔn)測試)的成績甚至比GPT-3.5還要差上不少,更不用說和GPT-4相比要差多少了。

來自原始Llama 2論文的注釋圖

但是代碼能力肯定會是未來開源社區(qū)使用Llama 2的一個重要方向,Meta自然不能在這個方向上擺爛,于是就有了專門針對代碼能力進(jìn)行了大幅優(yōu)化的Code Llama。

兩天前,Meta正式發(fā)布了Code Llama 家族:Code Llama(7B、13B和34B),還有3個變體:通用代碼模型Code Llama、指令遵循模型Code Llama-instruct 和Python代碼專用版本Code Llama-Python。

這些模型與Llama 2的使用許可證一樣,免費學(xué)術(shù)和商用。

Code Llama 34B模型的代碼能力幾乎是Llama 2的兩倍,大大縮小了與GPT-4的差距。

還記得Meta在Code Llama論文中出現(xiàn)的能夠全面持平GPT-4版本的Unnatural Code Llama嗎?

大佬Sebastian在自己博客里做出解釋:

是使用了1萬5千條非自然語言指令對Code Llama- Python 34B進(jìn)行微調(diào)之后的版本。

Meta通過在論文里隱藏這樣一條非常隱蔽的信息,似乎是想暗示開源社區(qū),Code Llama的潛力非常大,大家趕快微調(diào)起來吧!

為什么沒有70B Code Llama模型?

有意思的是,Code Llama只有7B、13B和34B參數(shù)版本,與Llama 2相比少了70B的版本。

雖然Meta在論文中沒有解釋為什么會這樣,但技術(shù)大佬Sebastian提供了兩個可能的原因:

1. Code Llama在500B的token上訓(xùn)練而來,而Llama 2是在2T的token上訓(xùn)練而來。

由于Code Llama訓(xùn)練的數(shù)據(jù)和Llama 2相比只有1/4,可能因為沒有足夠的訓(xùn)練數(shù)據(jù),再加上LLM的Scaling Laws的限制,導(dǎo)致CodeLlama70B性能不太行。

2. Code Llama模型支持100k的上下文大小,這個能力在處理代碼任務(wù)時非常有用。

相比之下,Llama 2只支持最多4k的輸入長度。如果要讓70B的模型支持100k token的輸入長度,可能會使得模型對于計算量的要求變得過于夸張了。

關(guān)鍵詞:

專題新聞
  • 8月24日基金凈值:易方達(dá)恒盛3個月定開混合最新凈值1.0583,漲0.14%
  • 開學(xué)季,菜攤旁做作業(yè)的女孩要去醫(yī)學(xué)院報到了!
  • 王者榮耀鶴歸松棲信物獲得方法攻略
  • 江西聯(lián)通持續(xù)發(fā)力直播+短視頻賽道
  • 暴雨黃色預(yù)警:遼寧吉林山東等地局地有大暴雨
  • 8月28日盤前重要產(chǎn)業(yè)新聞

京ICP備2021034106號-51

Copyright © 2011-2020  亞洲資本網(wǎng)   All Rights Reserved. 聯(lián)系網(wǎng)站:55 16 53 8 @qq.com