跳至主要內容
    新知與拆解· BriefingsAI & WorkFIELD NOTES / 071

    Adam Hunt 指 AI 能力越來越不平均，Anthropic 與 Chollet 各怎麼看

    劍橋大學研究者 Adam Hunt 說模型的程式和數學變強、語言變弱。前 OpenAI 的 Andrew Ho、Anthropic 的 Jackson Kernion、François Chollet 各自怎麼看，附立場總覽表與可以自己動手的做法。

    sunny 桑尼· · 17 MIN READ · 185 次瀏覽

    Adam Hunt 指 AI 能力越來越不平均，Anthropic 與 Chollet 各怎麼看
    本文目錄
    1. 各方立場一次看：誰說了什麼、憑什麼？
    2. Opus 5 的文筆變差，是能力退步還是獎勵配比失衡？
    3. 缺的能力要靠資料補，還是現有方法就夠？
    4. 不能自動打分的領域，進步從哪裡來？
    5. 還有哪三件事沒有答案？
    6. 常見問題
    7. 「spiky」和「jagged frontier」是什麼意思？
    8. RLVR 為什麼讓模型偏向程式和數學？
    9. 該不該因為這場爭論換模型？
    10. Opus 5.5 的文筆真的修好了嗎？
    11. 延伸閱讀
    12. 參考資料

    Adam Hunt 指 AI 能力越來越不平均，Anthropic 與 Chollet 各怎麼看

    2026 年 7 月 28 日，劍橋大學研究者 Adam Hunt 在 X 上寫道，目前這批模型 "could still be transformative"，但 "it's not a pathway to AGI"（AGI 指能勝任多數人類智力工作的通用人工智慧）。他給自己這個判斷的信心是 40% 左右。

    如果你每天用 coding agent，大概已經感覺過這種落差：它一次改完三個檔案的型別錯誤，卻把一頁會議摘要寫得又長又繞。Hunt 的貼文把這個感覺寫成主張，我 10 月 23 日查看時瀏覽數是 1,001,445。

    快速回答 AI 能力是否越來越不平均，公開資料還裁決不了。Hunt 在 2026 年 7 月主張程式與數學變強、語言變弱；Anthropic 的 Jackson Kernion 回應文筆退步是獎勵配比問題，9 月 22 日的 Opus 5.5 已調整。在爭論出現直接實驗之前，要用的每個領域各建一組自己的評測，別拿程式基準推其他領域。

    各方立場一次看：誰說了什麼、憑什麼？

    各方主張從「整體越來越不平均」（Hunt、Ho）到「不平均可調、或只是資料問題」（Kernion、Nayebi），Chollet 追問進步從哪來。

    立場（誰、何時）主張證據

    Adam Hunt（劍橋研究者，7/28）
    主張
    程式數學變強，語言變弱，不通往 AGI
    證據
    個人觀察，自估信心約 40%
    Andrew Ho（前 OpenAI，7/29）
    主張
    泛化很差，缺口要靠 >$100B 精準資料補
    證據
    GPT-5.6 Sol 在自家 GeneBench-Pro 通過率略高於 30%
    Aran Nayebi（卡內基美隆助理教授，7/30）
    主張
    方法夠通用，缺的是預訓練資料
    證據
    回覆推文中的論點，未見數據
    Kernion（Anthropic，9/22）
    主張
    文筆退步是獎勵配比問題，可調
    證據
    Opus 5.5 發布與其推文說明
    Zvi Mowshowitz（評測，7/28、9/26）
    主張
    Opus 5 文筆被大量抱怨，5.5 收錄的反應多說改善
    證據
    收錄的用戶反應，另有持懷疑者
    François Chollet（8/27、10/7）
    主張
    不平均或許集中在數學與程式，先問進步從哪來
    證據
    提出問題，未附實驗
    Sullivan 與 Koller（arXiv，10/1）
    主張
    可驗證獎勵的 RL 容許語言無上限漂移
    證據
    理論證明加實驗，談推理鏈語言

    可驗證獎勵的強化學習（reinforcement learning with verifiable rewards，RLVR），是用能自動判對錯的題目（程式能不能跑、數學答案對不對）來訓練模型。

    圖 1　本篇整理的三個爭點與各方站位。出處見文末參考資料。

    圖 1 的三列對應下面三節。

    Opus 5 的文筆變差，是能力退步還是獎勵配比失衡？

    Hunt 認為文筆變差是整體訓練取向的症狀，Anthropic 的 Jackson Kernion 認為是獎勵配比失衡，並說 2026 年 9 月 22 日發布的 Opus 5.5 已經調整。

    Hunt 的說法。 他引用 Tomas Pueyo 在 2025 年 11 月流傳的圖：一個長滿尖刺的泡泡，程式與數學的尖刺超過人類，其他尖刺低於人類，原本的預測是每根尖刺會一點一點長出來。Hunt 看到的是只有程式與數學那根在長，其他根被留下，甚至縮短。他的證據是語言輸出比 o3 差，有些簡單邏輯沒有更好。

    他的解釋分三步。早期模型看起來越練越全面，是因為預訓練用的文字語料本身什麼都涵蓋；這條路在 2024 年底前後撞牆（他提到當時的 "has scaling hit a wall" 討論）；之後的進步來自思維鏈（chain of thought）和網路搜尋。接著各家發現程式最賺錢，也最容易設定明確的基準和獎勵，於是都往那裡練。他在回覆中補充，思維鏈會放大模型原有的強項，在弱項上則是 "it gets trapped in illogical loops that it self justifies"，也就是陷入自己合理化的錯誤循環；他舉的例子是 Opus 5 難以判斷一篇 ADHD 藥物研究該佔多大比重。他預期這種不平均會在一到兩年內被廣泛看見，並猜測有人會針對醫療或法律等特定領域，回頭用不同的資料與獎勵重新訓練，再把這些模型接起來，成本與獲利性會是關鍵問題。他也承認這個解釋沒有算進突破的可能，那是他把信心壓在 40% 的主因。

    使用者端的證據。 Zvi Mowshowitz 在 7 月 28 日的 Opus 5 評測裡，記錄了用戶對它文字的抱怨：重複同樣的口癖，句子過長過繞，被形容成一整面文字牆。

    文筆這條線的時間點如下：

    版本與時間公開反應出處

    Opus 5（7/28 前後）
    公開反應
    用戶抱怨口癖重複、句子過繞
    出處
    Zvi 評測
    Opus 5.5 發布（9/22）
    公開反應
    Anthropic 稱已針對文筆調整
    出處
    發布頁、Kernion
    Opus 5.5 評測（9/26）
    公開反應
    多數反應說改善，仍有人說文風差
    出處
    Zvi 收錄

    Kernion 的說法。 Kernion 在 Anthropic 做模型微調，X 簡介註明言論只代表個人。他說 Opus 5.5 是 Anthropic 第一個針對句子清晰度和資訊堆砌做過調整的版本，自己對它的文筆是 Opus 4.6 以來最滿意的。他的機制解釋是：訓練大量放在數學、程式、向 LLM 解釋技術內容，就得另外刻意獎勵人看得懂的簡單說明，原話是 "you need to actively push back by rewarding simple explanations for human minds"。有些獎勵檢查 LLM 讀不讀得懂，有些檢查人讀不讀得懂，他說 5.5 的配比比較好，但 "still much room for improvement"。他在 9 月 23 日另一則回覆中說，Claude 一貫的文風（他稱為 Claudeish）是針對 LLM 的心理調適出來的，因為 LLM 的工作記憶比人大得多，吸收細節的粒度也更細。

    Anthropic 的說法。 9 月 22 日的發布頁寫，Opus 5.5 "puts the most important information up front"，比較不會用行話或自創說法，並遵守使用者給的寫作規則。頁面引用 Ramp 的 John Ruelas："It writes like a good colleague, and follows our writing rules."

    用戶端的反應。 Zvi 在 9 月 26 日的 Opus 5.5 評測收錄了正反兩邊。Anthropic 的 Sholto Douglas 說 "we fixed the writing"；收錄的用戶有人認為寫作改善是真的（Kevin Yager 寫 "Responses are notably tighter and to-the-point"），也有人回 "I don't buy that they've fixed the English writing"，另一位說文風仍差，"Comparable to opus 4.6"。

    機制研究。 arXiv 上 Michael Sullivan 與 Alexander Koller 在 10 月 1 日提交的論文證明，RLVR 的優化壓力容許語言無上限地漂移，監督式微調則不會；漂移主要出現在基礎模型引不出目標行為的新推理任務。限制漂移，期望獎勵（模型平均能拿到的獎勵分數）也跟著受限。這篇談的是推理鏈裡的語言，我只讀到摘要頁，沒有看到它處理最終回答的文筆，所以只能算相鄰的機制證據。

    我注意到兩邊沒有量同一把尺：Hunt 拿 o3 當基準，Kernion 和 Zvi 收錄的那位用戶拿 Opus 4.6 當基準。Kernion 說是 4.6 以來最滿意，一位負評用戶說仍接近 4.6，兩者都沒有回答 Hunt 的「比 o3 差」。

    工程上的意思（本站建議）。 模型升級時，文筆可能單獨起伏，需要自己的回歸測試：固定一批會議摘要、客戶回信、說明文件的真實輸入，每次換版本都重跑，由人工或 LLM judge（拿另一個模型當評分者）評讀得順不順。只看程式基準的分數，抓不到這種退步。

    缺的能力要靠資料補，還是現有方法就夠？

    Andrew Ho 的答案是靠精準資料補，Aran Nayebi 說缺的是預訓練資料而方法夠通用，Kernion 則認為多數缺口只是沒把對的內容放進 context window（模型一次讀得到的那一包文字）。

    Ho 的說法。 Ho 在 2026 年 7 月 29 日宣布離開 OpenAI（他說自己待了八個月），並成立一家製作高品質 RL 資料集的公司。他寫 "The generalization ability of LLMs is clearly very poor"，連投入最多的領域也有 "spiky" 的能力。他說多數有價值的工作高度依賴情境，不容易編成可打分的環境。他說即使每個模型都能解 Codeforces 題目，自己仍得手動清理 pull request 裡的 AI 味，原文是 "deslop"。他估計實驗室要花超過 1,000 億美元在精準、有針對性的資料取得上，不會靠擴大規模 "for free" 拿到能力。他的自家基準 GeneBench-Pro 上，GPT-5.6 Sol 的通過率 "scarcely exceeds 30%"，他的目標是推到 90% 以上。

    他在宣布創業的同一則貼文裡說這些話，並呼籲有資料需求的實驗室來聯絡；第一批產品放在生物學與統計推理，之後打算擴到化學、材料科學、醫療與白領辦公工作。

    Nayebi 的說法。 Nayebi 在 7 月 30 日回覆 Hunt 的貼文，認為缺口出在預訓練資料，現有方法本身夠通用；RL、自監督學習、在通用函數逼近器上做隨機梯度下降，這些他都認為 "obviously sufficiently general"。

    Kernion 的說法。 Kernion 在 9 月 22 日回覆 Sholto Douglas 時說，十年前的專家看到今天的語言模型，會宣布它們是 AGI；他說自己想不出模型缺哪一類通用技能，現在多數缺點，來自沒把對的東西放進 context window。

    三個答案對應三種行動，前兩種只有實驗室能做，第三種今天就能做。

    圖 2　Ho、Nayebi、Kernion 的答案各自指向的行動。出處見文末參考資料。

    工程上的意思（本站建議）。 輸出品質不穩時，先查 context 裡有沒有放進該任務需要的檔案、規範和範例，再考慮換模型。Ho 說的人工清理 pull request，也是一個可以量的指標：記下每個 AI 產生的 PR 被人改了幾處，換模型或換提示後比較。

    不能自動打分的領域，進步從哪裡來？

    Chollet 把這題拆成兩種可能：進步來自可驗證領域的能力外溢，或只來自持續灌進訓練的人類資料；我在 10 月 23 日前查到的公開資料裡，沒有直接區分兩者的實驗。

    François Chollet 是 Keras 的作者，也是 ARC Prize 與 Ndea 的共同創辦人。他在 8 月 27 日寫過，可驗證領域的能力縮放應該沒有上限，模型會持續 "absorbing more and more of the computational universe"。10 月 7 日他提出另一個問題：如果 jagged frontier（參差的能力邊界）主要就是數學與程式，那些可以用 RLVR 推得很遠；不可驗證的任務仍在變好，只是比較慢。這個慢慢的進步，是更高的「G」（他指的是模型的一般智力，並把它連到 RLVR）的副作用，還是只是新人類資料不斷流進訓練？他說很多事取決於答案。

    答案決定 Hunt 的預測成不成立：外溢若是真的，他所說「只練一個領域，其他領域不會跟著進步」就站不住；進步若只來自人類資料，不可驗證領域就受限於資料能補多少。

    Hunt 傾向第二種。他在 7 月 29 日回覆時說，更簡約的解釋是程式開發是個 "5tn market"（原文未寫幣別），實驗室進得去、拿得到；他懷疑「程式超級智慧」能不能帶到其他任務，那是 "a hard problem with more bottlenecks and data constraints"。

    10 月的新資料點。 AI Weekly 10 月 21 日報導 Recursive 釋出 Flint。Hugging Face 上的模型卡寫它是約 398 億參數、每個 token 啟用約 25 億參數的模型，評測欄只有三項，標明是開發者自己的發布評測：

    評測自報分數

    SWE-bench Pro v2
    89.7%
    SWE-bench Verified
    74.2%
    Terminal-Bench 2.1
    54.9%

    模型卡沒有列出任何非程式任務的結果。這個資料點不能裁決爭論：它是自報數字，沒有第三方重跑，也沒有測外溢；Flint 公開的評測只涵蓋程式與終端機任務。

    工程上的意思（本站建議）。 Hunt 提議找約 10,000 位專家和程式設計師來測模型，因為廠商公布的比較圖是他口中的 "Goodharts law in action"（拿指標當目標，指標就失準）。個人團隊做不到一萬人，但可以縮小做：把自己領域的 30 到 50 個真實任務、附上資深同事的評分標準，當作每次換模型的固定測驗。

    還有哪三件事沒有答案？

    三件事還沒有答案：外溢是否存在、Opus 5.5 的文筆能不能守住、限制語言漂移要付多少獎勵。

    第一件是 Chollet 的問題：我沒查到在不加入新人類資料的條件下，量不可驗證領域變化的公開實驗。Hunt 給的檢驗期是一到兩年，也就是 2027 年 7 月到 2028 年 7 月之間。

    第二件是 Kernion 說的配比能不能維持：下一次為了程式再加獎勵，會不會又擠掉文筆，要看下一代模型。

    第三件是 Sullivan 與 Koller 指出的代價：限制漂移，期望獎勵也受限；最終回答的文筆要付多少，摘要頁沒有說。

    我自己的判斷是，Hunt 的 40% 信心和 Kernion 的「已修」都是合理的當下立場，兩邊都還拿不出能互相說服的量測。下一篇我會回頭檢查三件事：Opus 5.5 之後的下一個版本，文筆有沒有再退；Chollet 的問題有沒有人做出實驗；Flint 這類程式模型的自報數字，第三方重跑的結果跟自報差多少。

    常見問題

    「spiky」和「jagged frontier」是什麼意思？

    兩個詞都在描述模型能力的輪廓參差：在某些任務遠超人類，在另一些任務低於人類。Hunt 引用 Tomas Pueyo 2025 年 11 月的圖，圖中每根尖刺代表一種能力；Chollet 在 2026 年 10 月 7 日用的是 jagged frontier。兩人討論的核心是，這些尖刺會不會一起長。

    RLVR 為什麼讓模型偏向程式和數學？

    RLVR 需要能自動判定對錯的題目，程式能不能跑、數學答案對不對符合這個條件。Hunt 說程式最容易設定明確的基準和獎勵，實驗室因此集中在那裡；Kernion 則說要另外刻意獎勵人看得懂的簡單說明，才能平衡回來。

    該不該因為這場爭論換模型？

    我建議用自己的任務決定，不用等爭論分出勝負。Zvi 收錄的 Opus 5.5 用戶反應有人認為寫作已修好，也有人仍嫌差；Flint 的分數是開發者自報。我建議從平常的工作抽出 30 到 50 筆真實輸入，同時跑新舊版本，請資深同事照事先寫好的評分標準打分，比任何一方的說法可靠。

    Opus 5.5 的文筆真的修好了嗎？

    目前反應分歧。Anthropic 發布頁、Kernion、Sholto Douglas 都說有改善，Zvi 收錄的用戶反應也有不少同意，但仍有人說文風還差。Kernion 說是 4.6 以來最滿意，一位負評用戶說仍接近 4.6，兩者都沒有回答 Hunt 的「比 o3 差」。

    延伸閱讀

    參考資料

    #Spiky Capabilities#Jagged Frontier#RLVR#Claude Opus 5.5#AGI 之爭#模型評測
    ShareTwitterFacebookLinkedInLine
    Previous

    權重放哪裡，決定 AI 晶片擅長什麼

    留言0

    登入後就能留言。

    登入
    sunny 桑尼
    sunny 桑尼

    AI 資料科學 · 產品經理 · 蒙奇 D 桑尼

    專注於 AI 工具應用與資料科學教育，致力於讓每個人都能用 AI 提升工作效率。曾任職於科技業，現為全職教育創作者。

    讀更多文章 →想自己動手試？領免費 Starter Kit →