GPT-4、ChatGPT、CODEGEN、VICUNA、SANTACODER、INCODER、GPT-J、GPT-NEO、PolyCoder、StableLM-α 。
【LLM代碼準(zhǔn)確率平均降低15%】從表格中來看，經(jīng)過嚴(yán)格測(cè)試后，這群AI的生成準(zhǔn)確率都有所下落：
文章插圖
這里會(huì)通過一種名叫pass@k的方法評(píng)估準(zhǔn)確率，其中k是允許大模型給問題生成的程序數(shù)量，n是用于測(cè)試的輸入數(shù)量，c是正確的輸入數(shù)量：
根據(jù)新的這套評(píng)估標(biāo)準(zhǔn)，大模型們的準(zhǔn)確率平均下落了15%，其中比較廣泛研究的CODEGEN-16B更是下落了超過18% 。
至于ChatGPT和GPT-4生成代碼的性能，也下落了最少13% 。
不過 ， 也有網(wǎng)友表示，大模型生成的代碼效果沒那么好，已經(jīng)是“盡人皆知的事實(shí)”了，需要研究的是“為何大模型寫的代碼不能用” 。
關(guān)于本次LLM代碼準(zhǔn)確率平均降低15%的問題分享到這里就結(jié)束了 ， 如果解決了您的問題 ， 我們非常高興 。
- ps4上古卷軸5秘籍大全 上古卷軸5升級(jí)代碼？
- fc第二次機(jī)器人大戰(zhàn)金手指代碼_怎樣使用《超級(jí)機(jī)器人大戰(zhàn)α外傳》金手指？
- ?交通違章代碼7510是什么意思
- ?巴基斯坦首都機(jī)場(chǎng)叫什么？巴基斯坦首都機(jī)場(chǎng)三字代碼
- 格力空調(diào)故障的常見錯(cuò)誤代碼
- 資源環(huán)境科學(xué)專業(yè)代碼 ?資源環(huán)境科學(xué)專業(yè)就業(yè)前景
- 登錄QQ時(shí)提示錯(cuò)誤00001怎么解決 ?電腦登錄qq錯(cuò)誤代碼00001
- 辨別真假vivo手機(jī)代碼大全
- 格力空調(diào)E6故障代碼維修實(shí)戰(zhàn)分享
- 《雷神之錘3》中平方根算法你見過嗎，這段代碼簡(jiǎn)直吊炸天！