財(cái)聯(lián)社4月3日電，美國開放人工智能研究中心（OpenAI）當(dāng)?shù)貢r(shí)間4月2日宣布推出PaperBench——一個(gè)評(píng)估AI智能體復(fù)現(xiàn)前沿AI研究能力的基準(zhǔn)。智能體需從零開始復(fù)現(xiàn)20篇ICML 2024 Spotlight和Oral論文，包括理解論文貢獻(xiàn)、開發(fā)代碼庫并成功執(zhí)行實(shí)驗(yàn)。據(jù)介紹，在PaperBench上測(cè)試多個(gè)前沿模型后發(fā)現(xiàn)，表現(xiàn)最佳的智能體Claude 3.5 Sonnet（新版）結(jié)合開源框架，平均復(fù)現(xiàn)得分為21.0%。最終其招募頂尖機(jī)器學(xué)習(xí)博士嘗試部分測(cè)試集，發(fā)現(xiàn)上述模型表現(xiàn)尚未超越人類基線。