評測分數沒附預算與設定，選型時只能當參考

2026 年 6 月 9 日，專門研究推理模型的 OpenAI 研究員 Noam Brown 在 X 上貼出一篇長文，開頭回想 GPT-5.5 發布那天：基準測試的數字比 GPT-5.4 好，但好得不多，當天的第一個反應是懷疑。幾個小時後大家實際用過，才發現它是一大步。如果你那天只看發表會的比較表，來決定要不要升級、要不要換掉現在付費的模型，手上只有一個差距不大的數字，而你每個月的 API 帳單是真的。這篇照時間順序，看四個機構在 2024 年 12 月到 2026 年 10 月之間留下的紀錄：同一個分數的背後，少了哪些資訊。

快速回答 評測分數要連同預算（token 用量，token 是模型處理文字的最小單位，計費也按它算；另有費用或時間）和執行設定（連接測試環境的程式 harness、模型外圍的工具與提示 scaffold）一起讀，才能拿來選型。ARC Prize 2024 年 12 月測試的 o3，在 ARC-AGI-1 半私有集每題 26 美元得 75.7%，每題 4,560 美元得 87.5%；2026 年 9 月 3 日公布的 GPT-6 Astra 在 ARC-AGI-3，標準 harness 最高 62.7%，Provider Adapter harness 最高 99.9%，兩者的推理強度（reasoning effort，調整模型花多少力氣推理的設定）不同。沒附預算與設定的分數只能初篩，選型時要在自己的任務上量每解出一題的成本，並記下日期。

卡上四列各對應下文的一組證據。前兩列是同一個模型換預算、換 harness 就換分數；後兩列是分數的價格和分項會隨日期與版本移動。接著先用一張表把四個觀察和證據放在一起，再照時間順序展開。

分數的意思為什麼會變？預算、設定、日期和分項

這四個觀察是：分數隨預算改變、隨執行設定改變、同一個分數的價格掉得很快、總分藏住分項。第一欄括號內是來源與日期，第二欄是各機構公布的證據，第三欄「對選型的影響」是本站的歸納，原作者沒有這樣說。

下面照時間順序，一個一個看證據。

2024 年 12 月：ARC Prize 把成本列為必報欄位

ARC Prize 在 2024 年 12 月 20 日公布 OpenAI o3 的成績時，把運算成本和分數放在同一張表，並規定之後回報成績都要附效率資料。ARC-AGI 是一套測抽象推理的基準測試；這次用的是 ARC-AGI-1 的半私有集，共 100 題。同一個 o3 跑了兩種設定：

• 每題產生 6 份候選答案（6 次取樣）：75.7%，用了 3,350 萬個 token（模型處理文字的最小單位，計費也按它算），總成本 2,680 美元，每題 26 美元，每題約 1.3 分鐘。
• 每題產生 1,024 份候選答案（1,024 次取樣）：87.5%，用了 57 億個 token，總成本 456,000 美元，每題 4,560 美元，每題約 13.8 分鐘。

ARC Prize 把第二組稱為高運算設定，文章寫道：「A high-compute (172x) o3 configuration scored 87.5%.」規則則寫得很直接：「Due to variable inference budget, efficiency (e.g., compute cost) is now a required metric when reporting performance.」

這篇文章也記下幾個限制。75.7% 那一組落在 ARC-AGI-Pub 的預算規則內（成本低於 1 萬美元）。OpenAI 告知 ARC Prize，受測的 o3 用公開訓練集的 75% 訓練過。文章後來調整過成本：2025 年 3 月改用 o1-pro 的定價，2025 年 12 月改用 o3-pro 每百萬 token 80 美元的定價。文章也註明，正式上線的 o3 和當時測試的版本不同。

2025 年 12 月：Epoch AI 列出同一個分數會差在哪裡

Epoch AI 的 Florian Brand 與 Jean-Stanislas Denain 在 2025 年 12 月 23 日的文章指出，同一個基準測試的分數，會因差異而無法直接比較；差異分成評測設定與模型存取兩大類、八個小項：提示與取樣參數、scaffold、執行環境、評分方式，以及 API 與 SDK、API 聚合商、模型提供者、模型部署方式。Epoch AI 是研究 AI 發展趨勢、並自己跑基準測試的研究機構；scaffold 指包在模型外面的工具、提示和 agent 程式。

兩位作者給的量化例子如下：

• 簡單的題庫差異小。gpt-oss 在 GPQA-Diamond 上，換提示和溫度設定，平均落在 74% 到 80%；題目只有 198 題，這個差距在統計上不顯著。文章也說，開發者自己公布的 GPQA-Diamond 分數，大致和獨立重跑的結果吻合。
• 代理型測試差異大。在 SWE-bench Verified 上換 scaffold，GPT-5 的分數最多變動 11%，Kimi K2 Thinking 最多變動 15%。原文的說法是：「The choice of scaffold has the single biggest impact on the overall performance.」
• API 提供者與介面也會動分數。文章引用 Minimax 的說法：在 tau-bench 上，用自家 API 和標準 ChatCompletions API 相差 23 個百分點。作者另一句話是：「Bugs and instabilities in the chosen API provider are the biggest source of evaluation errors.」

Epoch AI 的基準測試中心說明頁（未標日期）也有一個具體案例：他們對 Claude 3.5 Sonnet 在 GPQA Diamond 跑了 16 次，平均 0.55 ± 0.03，而 Anthropic 公布的是 65%。Epoch AI 把差距主要歸因於評測設定不同，並說基準測試的發布者常常沒有寫明用了什麼提示和溫度。

2026 年 6 月 9 日：Noam Brown 主張評測要畫成曲線

Noam Brown 的主張是：評測要畫成分數對 token、費用或時間的曲線，單一分數不夠用。他在個人簡介自述研究推理並參與打造 OpenAI 的 o 系列模型，這篇文章也以 GPT-5.5 與 GPT-5.4 為例，兩個都是 OpenAI 的模型，閱讀時要把這個立場放在心上。

文章開頭的摘要是：「benchmark performance is increasingly a function of test-time compute.」test-time compute 指模型回答問題當下花的運算量，例如讓它想得更久、多跑幾次。Brown 用同一組模型對比兩種畫法：

左邊的長條圖顯示 GPT-5.5 為 81.8%，GPT-5.4 為 79.0%。右邊另列內部 Capture-the-Flag 任務的分數對輸出 token 曲線，GPT-5.5 的曲線整條在 GPT-5.4 左上方；從圖上讀數，GPT-5.5 在約 5 萬個 token 就達到的水準，GPT-5.4 要走到約 14 萬個 token 才接近（讀圖估計，非原文數字）。Brown 的結論是：「GPT-5.5 wasn't being evaluated at the same token budget (or dollar budget) as 5.4.」控制預算之後，5.5 明顯比 5.4 強。

有人會問：為什麼不乾脆把運算量加到分數不再上升為止？Brown 的回答是，經驗上那個平台期在非常遠的地方，有時在實際預算內根本看不到。他舉了兩個例子：文中引用的 Andrej Karpathy autoresearch 實驗，跑了幾百次實驗後分數還在進步；AI Security Institute（文中標示的帳號是 @AISecurityInst）的資安評測，Mythos 和 GPT-5.5 在超過 1 億個 token 之後仍然在快速進步。他的觀察是，越強的模型，分數隨運算量上升得越多。

Brown 也承認每種橫軸都有缺點：不同模型的 token 因為分詞器、速度和單價不同，不能直接比；費用取決於批次處理和硬體使用率；時間會低估平行做法實際花的運算，例如 best-of-N（同時產生 N 個結果，再挑最好的一個）。他的說法是：「any of these curves is more informative than a single scalar.」

他的建議有三條：發表新模型的實驗室要附 token、費用或時間的曲線，至少要寫出單一分數用了多少推論預算；排行榜要記錄推論用量或設定預算；Preparedness Framework 與 Responsible Scaling Policy 這類安全框架，判斷模型有沒有越過危險門檻時，要把推論運算算進去。他在文末也提醒，這不是新消息：從 2024 年 9 月 o1 發布，大家就知道推理模型的表現會隨推論運算上升。

工程上的意思： 這個主張落到你的系統上，改的是評測腳本的記錄欄位。每一題至少要記下輸出 token、費用和耗時，推理強度（reasoning effort，調整模型花多少力氣推理的設定）要挑幾個值分別測試，結果才能畫成分數對 token 的曲線。

2026 年 9 月 3 日：同一個模型換 harness，分數差多少？

ARC Prize 總裁 Greg Kamradt 在 2026 年 9 月 3 日公布 OpenAI GPT-6 Astra 在 ARC-AGI-3 半私有集的成績：標準 harness 最高 62.7%，總成本 26,098 美元（max 推理強度）；Provider Adapter harness 最高 99.9%，總成本 18,817 美元（high 推理強度）。ARC-AGI-3 是 ARC Prize 的第三代基準，讓 agent 在沒有說明的回合制環境裡自己探索、推出規則。harness 是把模型接上測試環境的那層程式。

兩種 harness 的差別，文章是這樣描述的：標準 harness 是 ARC Prize 提供的、與提供者無關的最小介面，讓模型把自己選擇的筆記帶著走，目的是跨提供者的一致比較；Provider Adapter harness 則使用提供者為自家模型設計的上下文管理功能，會在請求之間保留外部無法直接查看的推理狀態，對較長的對話做壓縮。文章明講這兩組回答的是兩個不同的問題，兩欄分數不能互換。

表裡還有幾件事值得停下來看。第一，同一個模型在標準 harness 下，推理強度越高，總成本大致越低：max 是 26,098 美元，none 是 49,791 美元。文章的解釋是，推理強度高時 Astra 用較少的動作解完遊戲，所以呼叫次數與 token 都少。第二，標準 harness 欄裡 low 是 17.5%，none 是 35.2%，我讀到的段落沒有解釋這個順序。第三，Provider Adapter 在兩者都解開的 167 組遊戲與推理強度組合（含公開集與半私有集、所有推理強度）上，花的時間約為標準 harness 的 1/3.66，總 token 少 49%。

ARC Prize 對人類的對照是：受測者每 90 分鐘一場付 115 美元，每完成一個遊戲再付 5 美元，換算約每個嘗試過的遊戲 12.78 美元（未計獎勵）。文章也說 Provider Adapter 在 96.0% 的關卡用的動作比人類基準少，並補了一句：「we are not claiming that it is AGI.」

同一個基準，五個月前的樣子是另一回事：2026 年 5 月 1 日 ARC Prize 公布 GPT-5.5 在 ARC-AGI-3 半私有集是 0.43%、Opus 4.7 是 0.18%，用的是標準 harness。那是不同的模型，不能拿來推論 Astra 進步了多少，只能看出這個基準的分數落差有多大。

為了讓成績可比較，ARC Prize 在 2025 年 11 月 4 日推出 Verified 計畫：只有在隱藏測試集上、走官方驗證流程的分數，才算驗證成績。理由是各家自報的成績在資料整理與提示方式上不同，難以比較。

工程上的意思： 你自己的 agent 框架有沒有保留推理狀態、有沒有做壓縮，可能決定你接近哪一欄。這是本站的推論，ARC Prize 的文章沒有對外部框架做這個說明。

2026 年 9 月 22 日：Artificial Analysis 看到總分持平，分項有升有降

Artificial Analysis 在 2026 年 9 月 22 日的文章裡，把 GPT-6 Sol 與 Luna 和 GPT-5.6 的同名模型比較：Intelligence Index 總分大致持平，價格減半，但分項有升有降。Artificial Analysis 是獨立比較各家 AI 模型的評測網站；Intelligence Index 是它把十項評測加權成 0 到 100 的綜合分數（v4.3.2 的權重為 agents 30%、general 30%、coding 20%、scientific reasoning 20%）。

下表列出文章的主要數字，都是最大推理強度（max）下的結果；單價的單位是每百萬 token 的輸入與輸出，美元：

文章說每題成本的降幅主要來自降價，因為兩者每題輸出的 token 反而略增。分項上有升有降：Terminal-Bench 4.0 上 Sol 從 40% 升到 44%；GDPval-AA v2.1 用 Elo 分數表示相對表現，分數越高越好，Sol 掉了約 100 分，Luna 掉了約 75 分。幻覺率方面，AA-Omniscience 上 Sol 的幻覺率從 92% 降到 60%，但嘗試作答的比例從 99% 降到 83%，準確率從 59% 降到 54%。文章寫道：「Sol achieves this by declining to answer more often.」

成本是怎麼算的，方法頁寫得很清楚：用各提供者 API 回報的 token 數，沒有時才改用統一的分詞器估算；快取費用另外依實測的快取命中率計算。所以模型想得越久、輸出越長，同樣單價下每題成本就越高。方法頁同時說明，各項評測的重跑次數不同：SciCode、Terminal-Bench 4.0、AA-LCR 跑 3 次，CritPt、GDP.pdf 跑 5 次，其餘一半只跑 1 次。

2026 年 9 至 10 月：同一個分數便宜了，最高分呢？

Epoch AI 在 2026 年 9 月 22 日估計，達到固定 AI 表現水準的成本，自 2023 年起每季約降 47%，相當於每年 13 倍；Artificial Analysis 在 10 月 20 日的測量則顯示，最高分模型的價格沒有跟著降。該報告的作者 Luke Emberson 與 David Roodman 在報告〈The plunging price of thought〉中，用 AIME（OTIS Mock）、Chess Puzzles、FrontierMath（第 1 到 3 級）、GPQA Diamond 和 Mystery Game Puzzles 五個基準算出這個數字；各領域不同，遊戲類謎題（棋局謎題與 Mystery Game Puzzles）每季降 39% 到 43%，數學題每季降 50% 到 52%。

降幅還會隨時間改變：剛成為最新水準的表現，成本平均每季降 66%（約每年 75 倍）；兩年後，每季降 32%（約每年 4.7 倍）。報告舉的例子是：o3 在 2025 年 1 月以每題約 30 美分達到 GPQA Diamond 的 75%，不到 18 個月後，GPT-5.6 Luna 以每題 0.0004 美元達到同樣分數，降了 725 倍。

Epoch AI 列出的限制共六條：實驗室可能針對已知的基準測試做訓練；基準測試分數是實際價值的粗略替代；很少有使用者會持續換成達到同一表現時最便宜的模型，所以實際省下的錢會比模型推算的少；只有約三年的資料；平均方式不唯一，不同的平均方式得出每季 42.9% 到 58.0%，這些數字「不該被當成精確值」；「price of thought」涵蓋的服務組合一直在變，概念本身不夠明確。

Artificial Analysis 的 2026 年 10 月 20 日貼文用同一個 Intelligence Index 看這件事，量測基準是 v4.3.2，價格用的是當天的現行價格，歷史模型也用現行價格重算：

細節是：Index 30 分的比較對象是 Claude Sonnet 4.6（Adaptive Reasoning, Max Effort），它在 2026 年 2 月首次達到 30 分，按 10 月 20 日的現行價格重算是每題 2.49 美元，GPT-6 Luna（high）則以每題 0.03 美元達到同一門檻。最高測量分數的模型是 Claude Opus 5.5（Adaptive Reasoning, Max Effort, Default Fallback）。

把兩家放在一起看：固定分數的價格掉得很快，最高分的價格往上走。這兩件事在同一個年度裡同時成立，所以「這個分數要花多少錢」是有保存期限的答案。

拿評測表選型，我會多做哪三件事？

拿評測表選型時，我會先要求每個分數附上預算與執行設定，再用自己的任務量出每個解出任務的成本。

第一，沒附預算與設定的分數，只當初篩。 比較表沒有 token、費用或時間，也沒寫 harness 與 scaffold，我只用它決定試用名單，不用它決定採購。如果選型的月費很小，或能免費試用一個星期，直接試用比讀表快。

第二，在自己的任務上掃幾個推理強度，算每個解出任務的成本。 ARC Prize 的表顯示，強度高的設定總成本反而可能較低，所以不能用單價去猜。每個強度記下解出題數、輸出 token、費用和耗時，再換成「每解出一題花多少錢」。工程上的意思是：評測腳本要把推理強度、token 上限和 harness 版本都存進結果檔，三個月後重讀才知道當時的條件。

第三，結論寫上日期，每季重算一次。 Epoch AI 和 Artificial Analysis 的數字都說明，固定分數的價格掉得很快。如果你換模型的成本很高，例如要重寫提示、重跑一整套回歸測試，Epoch AI 提醒過實際省下的錢比理論少，每半年重算也夠。

這三件事的前提是你有自己的任務可以重跑。我的判斷也依賴有限的樣本：Brown 的例子來自 OpenAI 自己的模型和內部任務，Artificial Analysis 的 Index 是單一機構的加權；如果之後各家發表新模型時，都附上預算曲線與執行設定，第一件事就不必再要求。

能力上限、harness 選哪欄、帳單：三個還沒答案的問題

現代 LLM 的能力上限，可能還沒有人量清楚。 Brown 的說法是，我們很可能不知道現代 LLM 的能力上限，因為量起來太貴；他也提出，要確認一個 agent 在一年的運作期間不會偏離預期行為（misalignment），可能得真的讓它跑一年。安全評測應該在多大的推論預算下做，他提出用低預算實測再附不確定性外推，但這個做法還沒有成為標準。

標準 harness 與提供者專用 harness，哪一種分數該拿來選型，文件沒有說。 ARC Prize 說兩者回答不同問題，並沒有說採購或選型時該看哪一欄。外部團隊自己的框架會落在兩者之間的哪裡，文章也沒有討論。

價格曲線能不能預測你的帳單，還不知道。 Epoch AI 的 13 倍是達到固定表現的最低成本，Artificial Analysis 同期看到最高分的價格變成約 11 倍。你的任務落在哪一端，取決於你需要多高的分數，這要用你自己的資料才能回答。

常見問題

評測分數要附哪些資訊才能比較？

至少要有預算和執行設定。預算是每題或整體的 token、費用或時間，Noam Brown 建議實驗室至少要寫出單一分數用了多少推論預算。執行設定包括連接測試環境的程式（harness）、模型外圍的工具與提示（scaffold）、API 提供者和基準測試版本；Epoch AI 的文章顯示，在 SWE-bench Verified 上換 scaffold，GPT-5 的分數最多變動 11%。

新模型分數只贏一點，值得升級嗎？

先看兩邊是在什麼預算下跑出來的。Brown 的例子裡，CyberGym 長條圖上 GPT-5.5 只比 GPT-5.4 高約 3 個百分點（81.8% 對 79.0%），而內部 Capture-the-Flag 任務的曲線顯示，GPT-5.5 用較少的輸出 token 就達到 GPT-5.4 的分數。能免費試用或月費小時，直接用自己的任務測；換模型成本高時，先量每解出一題的成本再決定。

ARC-AGI 的成績為什麼要附成本？

ARC Prize 在 2024 年 12 月起要求回報成績時附上效率資料，理由是推論預算可變。同一個 o3 在 ARC-AGI-1 半私有集，6 次取樣每題 26 美元得 75.7%，1,024 次取樣每題 4,560 美元得 87.5%。沒有成本欄，兩個分數看起來像兩個不同的模型。

Artificial Analysis 的每題成本怎麼算？

用各提供者 API 回報的 token 數，乘上輸入、快取和輸出的價格；沒有回報時改用統一的分詞器估算，快取費用依實測命中率計算。所以同樣單價下，輸出越長，每題成本越高。Artificial Analysis 2026 年 9 月 22 日比較最大推理強度下的 GPT-5.6 Sol 與 GPT-6 Sol，每題成本從 1.99 美元降到 1.06 美元，文章說主要來自降價。

模型價格一直降，要常常換模型嗎？

定期重算就夠了：Epoch AI 估計固定表現的成本每年約降 13 倍，同時說明很少有使用者會一直換模型，實際省下的錢比模型推算的少。換模型要重寫提示、重跑回歸測試的話，每半年重算一次比追著每次降價換更實際。

延伸閱讀

• LLM Judge 的 Yes/No 清單在成對比較最有證據，直接打分未必
• Claude Code、Codex、Gemini CLI 怎麼選？2026 三大 AI Coding 工具完整比較
• AI Demo 很成功，為什麼一上線就出事？五條失敗路徑一次看懂（2026）

參考資料

• Noam Brown, Implications of Large-Scale Test-Time Compute（X 長文，2026-06-09） https://x.com/polynoamial/status/2064210146558136827
• ARC Prize, OpenAI o3 Breakthrough High Score on ARC-AGI-Pub（2024-12-20，2025-12-10 最後更新） https://arcprize.org/blog/oai-o3-pub-breakthrough
• ARC Prize, Announcing ARC Prize Verified（2025-11-04） https://arcprize.org/blog/arc-prize-verified-program
• Greg Kamradt, ARC Prize, Analyzing GPT-5.5 & Opus 4.7 with ARC-AGI-3（2026-05-01） https://arcprize.org/blog/arc-agi-3-gpt-5-5-opus-4-7-analysis
• Greg Kamradt, ARC Prize, OpenAI's GPT-6 Astra on ARC-AGI-3（2026-09-03） https://arcprize.org/blog/astra
• Florian Brand, Jean-Stanislas Denain, Epoch AI, Why benchmarking is hard（Gradient Updates，2025-12-23） https://epoch.ai/gradient-updates/why-benchmarking-is-hard
• Epoch AI, AI Benchmarking Hub: About（未標日期，2026-10-23 查閱） https://epoch.ai/benchmarks/about
• Luke Emberson, David Roodman, Epoch AI, The plunging price of thought（2026-09-22） https://epoch.ai/publications/the-plunging-price-of-thought
• Artificial Analysis, GPT-6 Sol and Luna push the cost efficiency frontier（2026-09-22） https://artificialanalysis.ai/articles/gpt-6-sol-and-luna-push-the-cost-efficiency-frontier
• Artificial Analysis, X 貼文 “Once Intelligence Index thresholds are reached…”（2026-10-20） https://x.com/ArtificialAnlys/status/2112582116651466965
• Artificial Analysis, Intelligence Benchmarking Methodology（v4.3.2，2026-10-23 查閱） https://artificialanalysis.ai/methodology/intelligence-benchmarking