記憶體為什麼一直缺？談 SemiAnalysis 的 4 個成因與 context 上限

記憶體大廠 Micron 的 2026 會計年度第四季（截至 9 月 3 日）營收是 542.3 億美元，去年同期是 113.2 億美元，等於 4.8 倍。毛利率（GAAP）從約 45% 升到 86.8%。記憶體漲價的帳，和你能送進模型的 prompt 最長多長，有一個共同的上限：記憶體供給。長 context 的品質是另一個上限。

快速回答 SemiAnalysis 的說法可以歸納成四個成因：DRAM 製程微縮停滯、上一輪低谷沒人蓋廠、HBM 比一般 DRAM 吃更多晶圓、推論的 KV cache 把需求推到 HBM 之外。依 Dylan Patel 2026 年 3 月的說法，有意義的新廠房要到 2027 年底或 2028 年才有地方放設備。我的判斷是，在那之前不宜預期主要 API 的 context window 明顯超過目前 1M 上下的預設上限（記憶體成本與長 context 品質是兩個並列的限制）；寫 agent 的人先把 context 當固定預算來管，再考慮視窗變大。

四個成因各有什麼證據，對 context 長度有什麼影響？

四個成因都有 SemiAnalysis 分析師的公開說法可查，前兩條屬供給面，後兩條屬需求面。

這張表是本站的歸納，對照三份一手材料：SemiAnalysis 2026 年 2 月 6 日的〈Memory Mania〉報告（Dylan Patel、Ray Wang、Myron Xie 等人，本文只讀得到免費段落）、Dylan Patel 2026 年 3 月 13 日在 Dwarkesh Podcast 的訪談、Doug O'Laughlin 2026 年 2 月 24 日在 Latent Space 的對談。

圖中「1M token 約 328 GB」的算法在成因四。

成因一：DRAM 為什麼不再隨製程變便宜？

DRAM 微縮已經慢到每 GB 的成本不會自動下降，價格變成由供需決定。

Dylan Patel、Ray Wang、Myron Xie 等人在〈Memory Mania〉免費段落寫道：「Over the past decade, DRAM density has increased by only ~2× in total.」對照的是供給的黃金年代，同一份報告提到過去每十年約增加 100 倍。報告也描述，現在的記憶體單元是深寬比接近 100 比 1 的立體結構，每格只存得住幾萬個電子。

報告也回顧了景氣循環：產能利用率在超級景氣時約 95%，在衰退期約 50%；三星的 1c 製程在良率相同的假設下，每片晶圓的 bit 產出比 1a 約高 70%。

這段講的是定價機制：報告說價格現在更取決於產能增加，技術降成本的作用變小；它也提到，要讓有意義的新 DRAM 供給上線，可能需要數年。報告還指出，1990 年代的超級景氣裡，資本支出占晶片產出的比例一度超過 30%。

成因二：上一輪低谷之後，為什麼沒人擴產？

低谷時記憶體廠沒有蓋新的無塵室與設備，結果景氣翻轉時沒有地方放新機台，新廠房要到 2027 年底或 2028 年才有地方放設備。

Dylan Patel 在 Dwarkesh Podcast（2026-03-13）說，過去三、四年這些廠商因為記憶體價格很低，沒有蓋新廠。他的原話是：「In the space of fabs, clean rooms are the biggest bottleneck this year and next year.」他的時程是：有意義的新廠房，要到 2027 年底或 2028 年才有地方放設備。

Doug O'Laughlin 在 Latent Space（2026-02-24）談到同一件事時說，沒有人投資無塵室或資本設備（逐字稿為自動轉錄，約在節目 1 小時 40 分處）。

2026 年 9 月底的新資料。 Micron 在 2026-09-30 公布的財報新聞稿（SEC 8-K 附件）列出第四季與去年同期的數字，新聞稿本身沒有講供給展望。

另依 MarketBeat 整理的同日財報電話會議逐字稿（二手來源），管理層說 2027 年的 HBM 供給「絕大部分」已簽約，並預期 2027 與 2028 會計年度的供需比 2026 年「更緊」，新增的無塵室空間要到 2028 年底以後才用得上。這個說法與 Patel 三月的時程互相對得上；本文查到的資料中，沒有與之相反的說法。

成因三：HBM 為什麼讓一般 DRAM 也跟著缺？

HBM（High Bandwidth Memory，高頻寬記憶體，把 DRAM 晶粒垂直堆疊後貼在加速器旁）每個 bit 佔用的晶圓比一般 DRAM 多，AI 需求越大，一般 DRAM 能分到的晶圓越少。

Doug O'Laughlin 在 Latent Space 說：「each bit of HBM is essentially a four x multiplier onto DRAM」，同一段他也講到 3 比 1 到 4 比 1 的比例（自動逐字稿，標點與用詞經本站整理）。

Dylan Patel 的說法在同一個方向，但切法不同。主持人 Dwarkesh Patel 在訪談中先提出 HBM 每片晶圓的 bit 數比 DRAM 少 3 到 4 倍；Patel 回答，改用 DDR 時每片 DRAM 晶圓確實能產出約 4 倍的 bit，但系統設計要跟著改。他認為真正該看的指標是每片晶圓能換到多少頻寬。他舉的原因是加速器晶片邊緣的 I/O 面積有限：HBM4 一疊是 2048 bit 寬的介面，佔掉晶片邊緣約 11 到 13 毫米。

Patel 還說，如果硬換成 DDR，這些運算單元會因為等記憶體而閒置：「all these FLOPS are wasted because they're just sitting there waiting for memory.」另一邊，他指出釋出的 DRAM 會流向願意簽較長合約、付較高毛利的 AI 晶片客戶。

Patel 在訪談中談 iPhone 時說，記憶體價格已經漲了三倍，終端消費者要多付約 250 美元，並說消費性裝置目前占記憶體需求的一半以上。他也講到智慧型手機出貨：以前一年賣 1.4 billion 支，現在約 1.1 billion，「Our projections are that we might drop to 800 million this year, and down to 500 or 600 million next year.」O'Laughlin 在 Latent Space 也建議趁 iPhone 還沒進入現貨市場先買。

工程上的意思。 你租的 GPU 規格表上的 HBM，和筆電、手機用的 DRAM 搶同一批晶圓，所以記憶體漲價會同時出現在雲端 GPU 與消費性裝置。

成因四：KV cache 為什麼把記憶體需求推到 HBM 之外？

KV cache（模型為每個已讀的 token 暫存的 key 與 value 向量）隨 context 長度線性增加，推理模型的長輸出又讓它變大，所以每個推論請求都要更多記憶體。

Dylan Patel 的說法很直接，而且他說 SemiAnalysis 早有預期：「reasoning means long context, which means a large KV cache, which means you need a lot of memory demand.」他回憶 2024 年他們就在強調這件事，記憶體價格大約一年後才反映出來。

Latent Space 對談中，主持人 swyx 補充，HBM 放不下的 KV cache 要卸載到非 HBM 的記憶體（逐字稿用詞是「non HBM」，沒有指名是哪一種；說話者標記以內容判斷）。換句話說，需求會從最頂層的 HBM 一路滲到更便宜的記憶體層。

本站試算：Llama 3 70B 等級的 KV cache 有多大？

以 Llama 3.1 70B 的公開設定檔（80 層、8 個 KV head、每個 head 維度 128）、半精度（每個數字 2 bytes）計算，每個 token 的 KV cache 是 2（key 與 value）× 80 × 8 × 128 × 2 = 327,680 bytes，約 0.33 MB。這個算術出自本站，原作者沒有給過這組數字。

H200 的規格是 141 GB 的 HBM3e、4.8 TB/s 頻寬（Nvidia 產品頁）。700 億參數的權重用半精度存約 140 GB，單張 H200 幾乎被裝滿。每產生一個新 token 都要讀一遍 cache；單一請求、單張卡讀完 42 GB，光讀就約 9 毫秒（42 GB ÷ 4.8 TB/s）。

為什麼主要 API 的 context 上限停在 1M 上下？

多數商用 API 的預設上限仍在 1M 量級：Anthropic 官方文件（2026-10-23 查閱）寫 context window「最多 1M，視模型而定」，Claude Opus 4.6 以後的多款模型是 1M。Latent Space 的對談中，主持人 swyx 的說法是，這個領域實質上已經卡在 1M 兩年了（約在節目 1 小時 45 分處）。Google 在 2024 年 2 月 15 日宣布 Gemini 1.5 Pro 標準視窗 128,000 token，最多 1M 為私人預覽的實驗功能；兩年多後，Anthropic 文件寫的上限仍是 1M。

這個說法有兩個反例。Google 在 2024 年 6 月 27 日向所有開發者開放 Gemini 1.5 Pro 的 2M token context（Google 開發者部落格：「opening up access to the 2 million token context window on Gemini 1.5 Pro for all developers」）；Meta 在 2025 年 4 月 5 日宣稱 Llama 4 Scout 支援 10M token。這兩個數字沒有改變主流 API 的預設上限：長 context 的記憶體成本隨 token 數線性增加（見上節試算），而下一段的 context rot 與 RULER 結果顯示，視窗開大後品質會下降。所以記憶體是上限之一，品質是另一個，本文不把 1M 只歸因於記憶體。

Anthropic 文件（2026-10-23 查閱）也寫了另一件事：視窗更大不代表更好，隨 token 增加，準確度與召回率會下降，這個現象叫 context rot。更早的獨立證據是 NVIDIA 研究團隊的 RULER 論文（Cheng-Ping Hsieh 等人，2024 年 4 月）：測試 17 個宣稱支援長 context 的模型，只有一半在 32K 長度維持令人滿意的表現。

GQA（Grouped-Query Attention，多個 query head 共用一組 key 與 value，Joshua Ainslie 等人，2023）讓品質接近標準的多頭注意力，同時降低每個 token 要存的 KV 數量，是常數倍的節省，KV cache 仍隨 token 數線性增加。

context 配給的說法。 O'Laughlin 在 Latent Space 的推演是：免費層的 context 可能只剩約 1,000 token，1M 可以收到 100 倍的價錢（原話為「charge, like, you know, a 100 x more for 1,000,000」）。這只是對談中的推測，沒有任何廠商公布過這樣的價目表；本站查到的 Anthropic 文件，目前仍寫 1M 為預設、依標準價計費（Claude Haiku 5.5 例外，超過 10 萬 token 加價）。

寫 agent 的人，該怎麼改 context 的用法？

我的建議是把 context 當固定預算管：不要假設視窗會變大，也不要把視窗當成可以填滿的空間。以下三條出自本站，上述任何一方都沒有提出這些規則。

第一，每個任務先設 token 預算，再決定放什麼。第二，長對話用壓縮與清除舊工具結果來控制長度，Anthropic 文件列出的做法有 server-side compaction（伺服器端壓縮）與 context editing（工具結果清除、thinking 區塊清除）。第三，成本模型要加一個「記憶體漲價」情境，長 context 的單價不能假設會每年下降。

要分清楚的三件事：O'Laughlin 講 HBM 的晶圓倍數，Patel 講該看頻寬，兩人看的是不同指標；Memory Mania 付費段落的晶圓數字，本文沒讀到；context 配給，要等廠商定價才驗得出來。這個判斷在兩種情況下會錯：一是 2027 年底後新廠如期量產、HBM 供給大幅鬆動；二是出現不靠完整注意力、品質仍站得住的架構，讓 1M 以上變得便宜。要追蹤的指標：Micron 與 SK hynix 下一季對供給的說法、模型文件的 context 上限與加價規則、RULER 這類評測的新結果。研究基準日是 2026-10-23。

視窗長度受記憶體成本與長 context 品質兩個限制，預算由你決定。

常見問題

記憶體短缺會在什麼時候緩解？

依 Dylan Patel 2026 年 3 月的說法，有意義的新廠房要到 2027 年底或 2028 年才有地方放設備。Micron 2026-09-30 的財報電話會議（依 MarketBeat 整理，屬二手來源）也預期 2027 與 2028 會計年度供給仍緊。實際時點取決於各廠的擴產進度。

HBM 為什麼會讓一般 DRAM 變貴？

HBM 與一般 DRAM 使用同一類晶圓，而 HBM 每個 bit 佔的晶圓更多。Doug O'Laughlin 在 2026 年 2 月說約為 3 到 4 倍；Dylan Patel 則認為該看每片晶圓換到的頻寬。AI 加速器搶走晶圓，其他裝置可分到的就變少。

KV cache 是什麼，為什麼會吃記憶體？

KV cache 是模型為每個已讀 token 暫存的 key 與 value 向量，讓下一個 token 不必重算。它的大小和 token 數成正比。以 Llama 3.1 70B 的設定試算，每個 token 約 0.33 MB，1M token 約 328 GB。

為什麼不乾脆做 100M token 的 context window？

以同一個試算，100M token 的 KV cache 約 33 TB，要 230 張以上 141 GB 的 H200 才裝得下，還沒算權重。另一個限制在品質：Anthropic 文件提到 context rot，RULER 測試的 17 個模型中，只有一半在 32K 維持令人滿意的表現。

延伸閱讀

• 為什麼 AI 越聊越笨、一直犯同樣的錯？Anthropic 揭密 Context Engineering 實戰（2026 懶人包）
• Token、Embedding、Context Window 是什麼？LLM 基礎一次搞懂（2026 完整懶人包）
• Agent Memory 是什麼？AI 該記什麼、誰批准、何時刪？（2026 完整懶人包）

參考資料

• Dylan Patel, Ray Wang, Myron Xie 等, Memory Mania: How a Once-in-Four-Decades Shortage Is Fueling a Memory Boom（SemiAnalysis，2026-02-06；本文只讀免費段落） https://newsletter.semianalysis.com/p/memory-mania-how-a-once-in-four-decades
• Doug O'Laughlin（SemiAnalysis）, Claude Code for Finance + The Global Memory Shortage（Latent Space，2026-02-24；引言取自第三方託管的自動逐字稿，說話者標記以內容判斷，經二手來源確認） https://hopper.webdirections.org/share/ab61c3866a2f58f7/substack%3Apost%3A189062462
• Dylan Patel（SemiAnalysis）, Deep dive on the 3 big bottlenecks to scaling AI compute（Dwarkesh Podcast，2026-03-13） https://www.dwarkesh.com/p/dylan-patel
• Micron Technology, Fiscal Q4 2026 results press release（SEC 8-K 附件 99.1，2026-09-30） https://www.sec.gov/Archives/edgar/data/0000723125/000072312526000018/a2026q4ex991-pressrelease.htm
• MarketBeat, Micron Technology Q4 earnings call highlights（2026-09-30；財報電話會議逐字稿整理，經二手來源確認） https://www.marketbeat.com/instant-alerts/transcript-micron-technology-q4-earnings-call-highlights-2026-09-30/
• Anthropic, Context windows（Claude API 文件，2026-10-23 查閱） https://platform.claude.com/docs/en/build-with-claude/context-windows
• Cheng-Ping Hsieh 等, RULER: What's the Real Context Size of Your Long-Context Language Models?（2024-04） https://arxiv.org/abs/2404.06654
• Google, Gemini 1.5 Pro 2M context window, code execution capabilities, and Gemma 2 are available today（Google 開發者部落格，2024-06-27；Gemini 1.5 Pro 2M context 向所有開發者開放） https://developers.googleblog.com/en/new-features-for-the-gemini-api-and-google-ai-studio/
• Meta, The Llama 4 herd: The beginning of a new era of natively multimodal AI innovation（Meta AI 部落格，2025-04-05；Llama 4 Scout 10M context） https://ai.meta.com/blog/llama-4-multimodal-intelligence/
• Joshua Ainslie 等, GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints（2023-05） https://arxiv.org/abs/2305.13245
• Meta, Llama 3.1 70B config.json（80 層、8 個 KV head、hidden size 8192、64 個 attention head，經 unsloth 鏡像核對） https://huggingface.co/unsloth/Meta-Llama-3.1-70B/blob/main/config.json
• NVIDIA, H200 Tensor Core GPU（141 GB HBM3e、4.8 TB/s） https://www.nvidia.com/en-us/data-center/h200/