人工智能（AI）的發展一直建立在這樣的信念之上：訓練數據規模越大，模型就會越來越好。然而，業界近期曝出了大模型進化遭遇“數據墻”的消息。
據外媒報道，OpenAI、谷歌和Anthropic在AI模型開發方面都陷入了瓶頸，他們發現，新模型無法像前面幾代產品那樣帶來巨大的飛躍。這在AI圈瞬時炸開了鍋。
圖靈獎得主楊立昆（Yann LeCun）和OpenAI前首席科學家伊利亞·蘇茨克維（Ilya Sutskever）等科技圈大佬不客氣地指出，大模型的規模法則（Scaling Law）已經達到極限，必須轉變思維，改變訓練模式了。
而OpenAI CEO阿爾特曼（Sam Altman）和Anthropic CEO達里奧·阿莫迪（Dario Amodei）都相繼對“瓶頸”說進行反駁。盡管如此，OpenAI和谷歌都在積極轉變策略，研究如何解決訓練數據匱乏的問題，以及如何調整規模法則的應用，保持模型穩步發展。
在百度CEO李彥宏看來，模型開發放緩也不見得是一件壞事。在最近的一次訪談中，他表示，基礎模型早期快速迭代是正常的，但如果兩年、三年了還這樣，那整個生態其實是會比較亂。Meta CEO扎克伯格也表示，即使在現有技術的基礎上，應用層面依然有很大的發展空間。
圖片來源：視覺中國-VCG41N1309760279
OpenAI、谷歌和Anthropic遭遇開發瓶頸
據外媒，OpenAI的下一代旗艦模型可能不會像前面幾代產品那樣帶來巨大的飛躍。
測試代號為Orion的新模型的員工發現，盡管新模型性能超過了OpenAI現有的模型，但進步程度并不如從GPT-3到GPT-4的進步那么大。換句話說，OpenAI改進的速度似乎正在放緩。
OpenAI并不是唯一遭遇阻礙的公司，其競爭對手谷歌和Anthropic也傳出了先進AI模型開發遇到瓶頸的消息。在以驚人的速度推出日益復雜的AI產品之后，這三家領先的AI公司現在意識到，他們在開發新模型上進行的大量投入所帶來的回報正在逐漸減少。
據知情人士透露，谷歌即將推出的新版Gemini未達到內部預期，Anthropic也推遲了Claude 3.5 Opus模型的計劃發布時間。
高質量人造訓練數據的缺乏是AI模型開發面臨挑戰的一大原因。外媒援引兩位知情人士稱，Orion在編程任務上的表現不盡如人意，部分原因是缺乏足夠的編程數據進行訓練。即使是有一些小幅的改進，也難以證明新模型構建和運營的高昂成本是合理的，這與市場對于重大升級的期待之間存在差距。
科技圈大佬激辯“數據墻”
AI模型開發遇阻的消息公開后，知名AI評論家加里·馬庫斯（Gary Marcus）甚至直接單方面宣布“勝利”：“游戲結束，我贏了！我早就說過，GPT正在陷入收益遞減階段。”一直以來，馬庫斯就預測，生成式AI的發展將進入停滯階段。
圖片來源：X平臺
AI懷疑論者經常警告，僅僅通過擴大規模來提高大模型的方法是有限的。一年前，比爾·蓋茨就表示，有很多理由相信，當前生成式人工智能（AGI）已經達到極限。“GPT-5不會比GPT-4好多少。”
OpenAI前首席科學家、Safe Superintelligence聯合創始人蘇茨克維近日在接受外媒采訪時也表示，擴大預訓練的結果已經達到了平臺期。所謂預訓練，即使用大量未標記數據來訓練AI模型以理解語言模式和結構的階段。
Meta首席科學家、圖靈獎得主楊立昆還轉發了蘇茨克維這條新聞，并評論，“我早就告訴過你們了，Meta早就開始轉型了。”