八個 Agent Benchmark 的分數不能互相比，判分方式各不相同

「the current best frontier models are approaching industry experts in deliverable quality」（目前最強的前沿模型，成品品質正在逼近業界專家）。這句話寫在 OpenAI 的 Tejal Patwardhan 等 19 位作者於 2025 年 10 月 5 日提交的 GDPval 論文（GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks）摘要裡。

約一年後的 2026 年 10 月 9 日，由柏克萊 RDI 等 40 多所學術機構參與、Snorkel AI 託管榜單的 Agents' Last Exam（ALE）論文發表 v3。摘要寫道，主流 harness（包住模型、負責呼叫工具與管理上下文的 agent 執行框架）與 backbone（底層模型）的組合，在最難那一層的平均完整通過率低於 1%。

兩句都有論文背書，講的都是 agent 能不能做真實的專業工作。你要在週會簡報上放一個數字，手上卻有 20.6%、21.25%、74%、0.51%，它們的單位各不相同。

快速回答 八個榜單的分數單位各不相同：ALE、DeepSWE 看完整通過的題數比例，GDPval 看專家盲測的勝或平，RLI 看專家認定達標的專案比例，METR 看 AI 達到指定成功率時任務對應的人類專家工時，所以單位、判分者與 harness 設定三者一致才能比。要預測哪一種工作，就挑判分方式與它最接近的榜單。截至 2026-10-23，頂端分不開的是 DeepSWE（前三名同為 74%）；ALE 最難層的平均完整通過率低於 1%，ARC-AGI-3 於 2026-03-25 發布時，前沿 AI 的得分為 0.51%（對照人類的動作效率）。

卡 1 與卡 3 附原文數字，例如卡 3 的 DeepSWE 三家同為 74%，平均成本從 2.36 美元到 11.84 美元。

八個榜單各量什麼、怎麼驗證、飽和了沒有？

八個榜單的任務長度與判分者都不同。截至 2026-10-23 查閱的資料，DeepSWE 前三名同為 74%，其餘榜單要分別看分數單位、題目層級與資料日期。

榜單飽和（saturation）指頂端模型的分數擠到上限附近，分不出彼此高下。下表的日期是各來源自己標的日期；頁面沒標日期的，寫「查閱日」。OSWorld 2.0 的論文題名是 OSWorld 2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks（2026）。

我的讀法：先看單位，再看誰判分與 harness 設定，最後看日期。單位、判分者或 harness 設定不同的兩個數字，我不放在同一頁簡報上互相比較。

誰來判分才算通過？

ALE、DeepSWE、LHTB 靠事先寫好的程式檢查，GDPval 與 RLI 靠人類專家，前者換到可重複，後者換到貼近真實驗收。

程式驗證派。 ALE 論文寫明 "deliberately avoids LLM-as-judge wherever a deterministic alternative exists"（有確定性做法的地方一律不讓 LLM 當裁判）。計分用交付物或里程碑檢查，加上硬關卡：關卡沒過，該題得 0 分；少數需要 LLM 判定的題，只問是非題。論文把汙染（contamination，題目或答案流進訓練資料）列為公開評測長期有效性的核心威脅，所以 1,490 個題目實例只公開 150 個（約 10%），1,017 個不公開，323 個待品管，並定期輪換。ALE 分三層：Near-Term（67 題）是現有前沿 agent 能部分完成的流程，論文說最高完整通過率接近 40%；Full-Spectrum（55 題）在 55 個子領域各至少一題；Last-Exam（38 題）是最難的流程，多數 agent 得 0%。

DeepSWE 由 Datacurve 發布，113 個題目橫跨 91 個開源專案與 5 種語言，從零撰寫，驗證器手寫，測軟體行為，不測實作細節。頁面說它的提示長度約為 SWE-bench Pro 的一半，標準解答的程式碼量卻是 5.5 倍，用這個差距說明題目貼近真實工程的複雜度。LHTB（Long-Horizon Terminal-Bench）由 Zongxia Li 等 15 位作者於 2026 年 7 月 9 日提交，把每個任務拆成細粒度子任務計分；Hugging Face 資料集卡寫明測試與標準解答的目錄 "intentionally not published"。

專家評分派。 GDPval 的題目取自平均 14 年經驗的專業人士的實際作品，涵蓋美國 GDP 貢獻最大的 9 個產業、44 種職業，共 1,320 題，公開的 gold subset 有 220 題（每種職業 5 題）。評分時把模型與人類專家的成品並排，請該行業專家盲評，主要指標是模型成品被評為較佳或同等的比例（win-or-tie）。論文說明，這些任務難以自動評分；實驗性的自動評分器與專家的一致率是 66%，專家彼此的一致率是 71%。最佳模型是 Claude Opus 4.1，在 220 題 gold subset 上勝或平的比例是 47.6%。論文還寫到，前沿模型的表現隨時間大致線性進步，模型加上人類審核，可能比專家單獨完成更便宜、更快。

RLI（Remote Labor Index）由 Mantas Mazeika 等 47 位作者於 2025 年 10 月 30 日提交。榜單頁寫明所有評估由受過訓練的專家人工進行，三位評分員多數決，評分員之間的一致率是 94.4%。自動化率是評為達標（2 分）或超出標準（3 分）的專案比例，頁面同時寫 "There is no confidence interval for Automation Rate."。榜單頁說 230 個非公開專案用於量化評估，而 21.25% 恰好等於 51/240，頁面未交代分母（這是我的換算）。

工程上的意思。 自己的 agent 評測，能寫成程式檢查的驗收放進 CI；寫不成的才交給人，並先量兩位評審之間的一致率，GDPval 的人與人 71% 可當參照。

榜單飽和了嗎？

DeepSWE 的頂端已經並列，METR 提醒 16 小時以上的量測不可靠；RLI 榜首從 2025 年 10 月的 2.5% 升到查閱時的 21.25%，距離滿分仍遠。

頂端擠在一起的一方。 DeepSWE v1.1（2026-09-22 更新）的前三名 gpt-6-astra、gemini-3.8-flash、claude-opus-5 同為 74%，信賴區間分別是 ±3、±1、±4，頁面自己註明相鄰設定的信賴區間常重疊，小分差未必有意義。METR 的時間跨度（time horizon）指 AI 以 50% 成功率完成的任務，換算成人類專家需要花多久。時間跨度以人類工時表示，計算時仍要指定成功率，METR 分別報告 50% 與 80%。它的頁面寫著 "Measurements above 16 hrs are unreliable with our current task suite."，並標示截至 2026-09-08 不再積極更新，最後新增的模型是 2026-05-08 的 Claude Mythos Preview（early）。METR 同時報告 50% 與 80% 兩種成功率的時間跨度，沒有報告 99%，理由是那需要更多非常短的任務；頁面也註明有些模型是發布很久後才測，有些因容量限制被略過，現行方法是用較大任務集的 Time Horizon 1.1。

距離滿分仍遠的一方。 RLI 論文在 2025 年 10 月最佳是 2.5%，我 2026-10-23 查閱的榜單，榜首 Opus 5.5 是 21.25%、GPT 6 Astra 是 20.83%，約 8.5 倍（我的換算，榜單未標日期）。ALE 論文 v3 的表 1 中，Codex 搭 GPT-5.5 的整體完整通過率是 24.0%，Last-Exam 層是 0.0%。ARC Prize 在 2026-03-25 發布 ARC-AGI-3 時寫明人類得 100%，前沿 AI 得 0.51%。

ALE 榜單頁沒有說明該表套用哪個子集，同一頁的另一張表中，同樣是 Opus 5.5 搭 Claude Code，數字是 34.3%，所以 38.2% 不能和論文的 24.0% 直接比。LHTB 的資料集頁在查閱日已是 77 題（原 46 題加 31 題），分數要看是哪一版。

工程上的意思。 頂端並列時，把成本與步數當第二排序鍵。DeepSWE 同為 74%，頁面列出的平均成本（Avg cost）從 2.36 美元到 11.84 美元，步數從 29 步到 166 步。

題目該把需求寫齊，還是讓 agent 自己找？

GDPval 把需求寫齊、一次交件，OSWorld 2.0 與 ARC-AGI-3 要 agent 在過程中補齊資訊，三者量到的失敗不同。

需求寫齊的一方。 GDPval 論文列出的限制是任務規格精確、一次完成，不能互動。論文另做了一組缺少任務背景資訊的實驗，結果顯示模型很難自行弄清楚任務需要什麼資訊。

過程中補資訊的一方。 OSWorld 2.0 由 Mengqi Yuan 等 36 位作者於 2026 年 6 月 28 日提交，v2 在 7 月 13 日。108 個任務的人類專家中位時間約 1.6 小時，Claude Opus 4.7（最大思考量）平均要 318 次工具呼叫，OSWorld 1.0 約 30 次。主要指標是 500 步內的二元完成度，Claude Opus 4.8 達 20.6%，部分給分 54.8%；GPT-5.5 約 13%。摘要把失敗歸因為 agent "lose track of constraints"（丟掉限制條件）、漏掉任務中途才出現的資訊、傾向猜測而不詢問使用者、略過驗證，也提到最吃力的是要回復隱藏狀態的任務。

ARC-AGI-3 連說明都不給，agent 要自己探索規則與目標。它的 RHAE（Relative Human Action Efficiency）每一關得分是 (人類基準動作數 ÷ AI 動作數) 的平方，越後面的關卡權重越高；人類基準取首次遊玩者中動作最少的上位中位數。

工程上的意思。 GDPval 與 OSWorld 2.0 的作者各自量到 agent 補齊任務資訊的困難。內部評測要有缺資訊的題，也要有中途才補資訊的題，並記錄 agent 有沒有發問。

榜上的分數屬於模型，還是模型加 harness？

ALE 把 harness 與模型當成一個組合計分，DeepSWE 固定用同一個 harness，兩種做法回答不同的選型問題。

組合派。 ALE 論文表 1 同時列出 harness 與 backbone。同一個 GPT-5.5，在 Codex 下整體完整通過率是 24.0%，在 ALE-Claw 下是 23.0%，在 OpenClaw 下是 21.1%；Claude Code 搭 Opus 4.7 是 13.2%，搭 Fable 5 是 22.0%。GDPval 論文也寫到，更高的推理強度、更多任務背景資訊，以及增加協助模型執行任務的設定（scaffolding）都提升表現。ARC Prize 的榜單分成 Standard harness 與 Provider Adapter harness 兩種，並只列出執行成本低於 10,000 美元的系統。

固定派。 DeepSWE 讓所有模型都跑在 mini-swe-agent 上，目的是讓分數只反映模型差異。

工程上的意思。 要選的是上線的那個組合，就看組合榜；要比模型，就固定 harness 再比，反過來比 harness 就固定模型。

榜單縮小候選，驗收靠自己的題目

我的判斷：榜單用來縮小候選，驗收用自己的題目。這八個榜單都是別人寫的題目，那麼你下週要放進簡報的那個數字，是哪一份你自己重跑過的題目算出來的？

常見問題

ALE 的整體與最難層完整通過率差多少？

ALE 論文 v3 表 1 中，Codex 搭 GPT-5.5 的整體完整通過率是 24.0%，Last-Exam 最難層是 0.0%。兩個數字對應不同範圍的題目，引用時要標明是整體成績還是最難層成績。

GDPval 的 47.6% 代表 agent 已經能取代專家嗎？

不能這樣讀。47.6% 是論文在 220 題 gold subset 上量到的 Claude Opus 4.1 的成品被專家評為勝過或持平人類成品的比例，任務是需求寫齊、一次交件、不能互動的。論文也承認這是限制，並顯示缺少任務背景資訊時模型很吃力。

評估寫程式 agent 該看哪一個榜單？

看 DeepSWE 或 LHTB，兩者都用事先寫好的驗證器判分。DeepSWE 有 113 題，所有模型固定使用 mini-swe-agent 並列出成本，適合在相同執行框架下比較模型。LHTB 評估終端機長任務；論文使用 46 題，資料集查閱時已增至 77 題，比較成績前要先確認版本。

METR 的時間跨度現在還在更新嗎？

截至 2026-09-08，METR 頁面標示不再積極更新，最後新增的模型是 2026-05-08 的 Claude Mythos Preview（early）。這裡的時間跨度，是 AI 達到指定成功率時任務對應的人類專家工時；頁面寫明，現有任務集在 16 小時以上的量測不可靠。

RLI 的自動化率怎麼算？

由受過訓練的專家評分，三位評分員以多數決判定；被評為達標（2 分）或超出標準（3 分）的專案比例，就是自動化率。榜單頁說用 230 個非公開專案評估，而 21.25% 等於 51/240，頁面未交代分母。評分員之間一致率是 94.4%，榜單頁寫明沒有提供信賴區間。

延伸閱讀

• LLM Judge 的 Yes/No 清單在成對比較最有證據，直接打分未必
• Loop Engineering 是什麼？怎麼讓 AI 自己把事情做完再叫你？（2026 實戰教學）

參考資料

• Yiyou Sun、Dawn Song 等, Agents' Last Exam, arXiv:2606.05405（v1 2026-06-03，v3 2026-10-09）。查證日 2026-10-23。 https://arxiv.org/abs/2606.05405
• Snorkel AI, Agents' Last Exam 榜單頁（頁面未標日期）。查證日 2026-10-23。 https://snorkel.ai/agents-last-exam-can-ai-agents-actually-do-real-jobs
• Tejal Patwardhan 等, GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks, arXiv:2510.04374, 2025-10-05。 https://arxiv.org/abs/2510.04374
• Mantas Mazeika 等, Remote Labor Index: Measuring AI Automation of Remote Work, arXiv:2510.26787, 2025-10-30。 https://arxiv.org/abs/2510.26787
• Scale AI, Remote Labor Index 榜單（頁面未標日期）。查證日 2026-10-23。 https://labs.scale.com/leaderboard/rli
• Mengqi Yuan 等, OSWorld 2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks, arXiv:2606.29537（v1 2026-06-28，v2 2026-07-13）。 https://arxiv.org/abs/2606.29537
• Datacurve, DeepSWE（leaderboard v1.1，更新於 2026-09-22）。查證日 2026-10-23。 https://deepswe.datacurve.ai/
• Zongxia Li 等, Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading, arXiv:2607.08964（v1 2026-07-09，v3 2026-10-09）。 https://arxiv.org/abs/2607.08964
• Intelligence Lab, Long-Horizon-Terminal-Bench 資料集卡，Hugging Face。查證日 2026-10-23。 https://huggingface.co/datasets/IntelligenceLab/Long-Horizon-Terminal-Bench
• METR, Time Horizons（頁面註記 2026-09-08 起不再積極更新）。查證日 2026-10-23。 https://metr.org/time-horizons/
• ARC Prize Foundation, ARC-AGI-3 launch, 2026-03-25。 https://arcprize.org/blog/arc-agi-3-launch
• ARC Prize Foundation, ARC-AGI-3 Methodology（RHAE）。查證日 2026-10-23。 https://docs.arcprize.org/methodology
• ARC Prize Foundation, Leaderboard。查證日 2026-10-23。 https://arcprize.org/leaderboard