OpenAI GPT-5難產(chǎn)，互聯(lián)網(wǎng)公開資料已無法滿足其胃口
其實在見識過如今GPT-4的“實力”之后，小江已然不敢想象未來的GPT-5能達(dá)到怎樣的高度。再聯(lián)想下科幻作品中橋段，腦補的畫面不可謂之不“美麗”。但，根據(jù)最近消息OpenAI的GPT-5開發(fā)工作似乎遭遇了“卡殼”。
GPT-5“難產(chǎn)”
據(jù)《華爾街日報》12月20日報道，OpenAI耗資巨大的“獵戶座”（Orion）項目，也就是傳聞的中GPT-5似乎正面臨不小的麻煩。這款代號神秘的GPT-5模型原計劃在2024年中旬登場，但截至目前，歷經(jīng)18個月的錘煉，它并沒有取得預(yù)期的成果。
源自其他媒體報道，OpenAI為了讓“獵戶座”更加聰明，已經(jīng)進(jìn)行了兩輪超大規(guī)模訓(xùn)練，每次訓(xùn)練都需要數(shù)月時間和大量數(shù)據(jù)支持。然而，有關(guān)人士透露，每次訓(xùn)練都會冒出新問題，而且模型的表現(xiàn)總是差強人意。用一位前高管的話來說，“GPT-4表現(xiàn)像優(yōu)秀高中生，但GPT-5的目標(biāo)是部分任務(wù)能達(dá)到博士水平”。但這“博士”門檻顯然高得離譜。
更棘手的是，訓(xùn)練GPT-5的成本堪稱“天文數(shù)字”。據(jù)估算，僅6個月的算力成本就高達(dá)5億美元，而GPT-4的訓(xùn)練成本“才”剛過1億美元。
AI模型的“參數(shù)”（parameters）是衡量其能力的重要指標(biāo)，就像大腦神經(jīng)元數(shù)量。理論上，參數(shù)越多，模型越強大，但訓(xùn)練成本也就越高。從GPT-1的1.17億參數(shù)到GPT-4的1.76萬億，OpenAI一路飆升了10倍。然而，參數(shù)的增加也意味著問題更復(fù)雜，開發(fā)難度更大。
早在2023年，OpenAI就啟動了一個名為“厄拉克斯”（Arrakis）的測試項目，試圖為“獵戶座”奠定技術(shù)基礎(chǔ)，但效率低得令人發(fā)指，項目很快被叫停。這不僅讓OpenAI蒙受損失，也讓主要投資者微軟的部分高管大為光火。
更重要的是，當(dāng)今互聯(lián)網(wǎng)上的公開數(shù)據(jù)已不能滿足GP-T迭代的胃口。為了破局，OpenAI甚至已經(jīng)開始雇傭?qū)＜遥ㄜ浖こ處熀蛿?shù)學(xué)家等）來生成供“GPT-5”訓(xùn)練的新數(shù)據(jù)，但就模型的“吞吐量”和學(xué)習(xí)速度來說，這方法幾乎和杯水車薪無疑，進(jìn)展依舊緩慢。
另一方面，OpenAI的“窩里斗”同樣讓項目雪上加霜。過去一年里，超過20位高管和研究人員離職，許多是業(yè)內(nèi)頂尖科學(xué)家。與此同時，競爭對手卻在快速推進(jìn)。Anthropic的模型被認(rèn)為在性能上超越了GPT-4，谷歌推出的NotebookLM也備受好評。
在“獵戶座”掉隊的日子里，OpenAI試圖另辟蹊徑，推出了GPT-4的精簡版，還開辟了新方向，比如可以生成AI視頻的“Sora”項目，以及通過推理提升模型智能的“o1”推理模型。
所謂推理模型，旨在讓AI像人類一樣分析問題，而不是簡單地“背書”。比如，OpenAI開發(fā)的“o1”可以針對問題生成多個答案，然后選出最佳選項。理論上，這種方法可以大幅提升性能，但批評者認(rèn)為，它不過是“高級模仿”，并不能真正解決新問題。蘋果公司甚至指出，這類模型在遇到無關(guān)細(xì)節(jié)時會“崩潰”。
面對質(zhì)疑，OpenAI CEO山姆·奧特曼并未放棄。他在最近的演講中表示，公司正開發(fā)新的推理模型，但何時推出GPT-5仍是未知數(shù)。
結(jié)語
OpenAI的“獵戶座”項目如今像極了一場豪賭，押注的是技術(shù)、時間和巨額資金。隨著競爭加劇，業(yè)內(nèi)紛紛猜測，曾經(jīng)“一騎絕塵”的OpenAI是否會被后浪拍在沙灘上。GPT-5究竟能否如愿登場，還需時間給出答案。
本文編輯：@ 江城子
?本文著作權(quán)歸電手所有，未經(jīng)電手許可，不得轉(zhuǎn)載使用。
