OpenAI 發(fā)布 o3 模型，成為首個(gè)突破 ARC-AGI 測(cè)試的模型
o3 模型
就在不久之前也就是 OpenAI 的第十二天發(fā)布會(huì)上發(fā)布了全新的推理模型 o3 和 o3-mini，這個(gè)模型創(chuàng)造了記錄成為首個(gè)突破 ARC-AGI 基準(zhǔn)測(cè)試的 AI 模型，得分高達(dá) 87.5%。
什么是 ARC-AGI 呢？ARC-AGI 是一個(gè)用于評(píng)估人工智能抽象推理能力的基準(zhǔn)測(cè)試。其包含一系列的抽象視覺(jué)推理任務(wù)。每個(gè)任務(wù)都提供幾個(gè)輸入和對(duì)應(yīng)的輸出網(wǎng)格，受測(cè)者需要根據(jù)這些范例推斷出規(guī)則，并產(chǎn)生正確的輸出網(wǎng)格。
ARC-AGI 的門檻設(shè)置為 85%，接近人類正常水平，OpenAI o1 模型得分僅 32%，由此可見(jiàn) o3 模型的得分是多么大的突破了。對(duì)了 OpenAI 取名從 o1 直接到 o3，跳過(guò) o2 的原因可能是怕和英國(guó)電信服務(wù)提供商 O2 可能產(chǎn)生版權(quán)沖突，所以直接跳過(guò)了這個(gè)版本。
除了 ARC-AGI 基準(zhǔn)測(cè)試，o3 還在 SWE-bench Verified（一種軟件工程考試）中的得分為 71.7%，也就是編寫一個(gè)軟件需要快速準(zhǔn)確沒(méi)有 Bug。在 Codeforces（編碼競(jìng)賽平臺(tái)）中得分 2727，這個(gè)得分在榜單上位于 175 名，排名非常高。
在 AIME 2024（數(shù)學(xué)競(jìng)賽）中的得分為 96.7，得分明顯高于 o1 的成績(jī)，在 GPQA Diamond（博士級(jí)科學(xué)考試）中的得分為 87.7。
EpochAI Frontier Math 基準(zhǔn)測(cè)試中，OpenAI o3 的準(zhǔn)確率為 25.2，之前的最佳分?jǐn)?shù)僅為 2.0。
但是目前并不清楚 o3 模型將在什么時(shí)候發(fā)布，除了 o3 模型之外，OpenAI 還訓(xùn)練了三個(gè)版本的小尺寸 AI 模型也就是 o3-mini，該模型預(yù)計(jì)將于明年一月份發(fā)布，但是可能會(huì)讓會(huì)員先使用。
結(jié)論
以上就是有關(guān) o3 模型的一些能力測(cè)試結(jié)果，從這些測(cè)試結(jié)果中看，o3 模型可以算是非常大的突破，期待這款模型正式發(fā)布。
本文編輯：@ 小小輝
?本文著作權(quán)歸電手所有，未經(jīng)電手許可，不得轉(zhuǎn)載使用。
