新知與拆解工程與系統
權重放哪裡，決定 AI 晶片擅長什麼
700 億參數模型的 FP16 權重共 140 GB，只計讀取權重的時間，單人使用 B200 的理想上限約每秒 55 個 token（本站依 NVIDIA 資料表推算）。GPU、TPU、Cerebras、Groq 的差別，從權重放在哪一種記憶體開始，附四種晶片的對照表與一段可以自己跑的試算。
TOPIC · 工程與系統
AI Engineering
模型、推論、資料與部署放在同一個系統裡看。
TOPIC · 工程與系統
模型、推論、資料與部署放在同一個系統裡看。
