AI 加速器選型先回答六個問題：模型多久改一次、是訓練還是推論、可接受延遲、尖峰吞吐、記憶體需求、軟體能否移植。GPU 與 ASIC 的原理差異可讀ASIC 和 GPU 完整比較；這一頁提供採購與架構評估流程。

把工作負載量成一張表

每個候選服務都要記錄模型名稱與版本、參數量、輸入輸出長度、批次大小、每日請求、尖峰每秒請求、P95 延遲、可用性及資料敏感度。若團隊無法提供這些數字，先租用小規模雲端資源測量，不宜直接採購整櫃硬體。

訓練通常重視高速互連、顯存容量與擴展效率；線上推論重視延遲、吞吐與穩定性；離線批次則可以用排程換取較低單位成本。NVIDIA 系統配置文件也把訓練與推論列為不同配置情境。

哪些條件偏向 GPU 或 ASIC

模型仍頻繁改動、框架多樣、量體尚未確定時，GPU 的可程式化與成熟工具鏈較有利。工作負載長期固定、規模夠大、能源與單位推論成本成為主要限制時，才有理由評估 ASIC 或雲端業者的專用加速器。

不要只比較每秒運算數。資料前處理、網路、儲存與模型載入可能成為瓶頸，晶片跑得更快也無法縮短整體延遲。台灣供應鏈與市場動態可另看ASIC 出貨與 IC 設計服務分析。

三年總成本要納入什麼

  • 硬體或雲端時數、保留容量與尖峰溢出成本。
  • 電力、散熱、機房空間、網路與儲存。
  • 驅動、編譯器、監控與平台授權。
  • 模型移植、效能調校及維運人力。
  • 備援容量、故障更換與供應交期。
  • 退出成本，包括模型轉換與資料搬遷。

若要自建，還要確認機房能否承接實際功率與散熱，接著閱讀AI 機櫃電力密度規畫先做設施檢核。

用自己的模型跑驗收

候選方案至少跑一個尖峰情境、一個正常情境與一個故障情境。固定資料集、軟體版本與品質門檻，量測 P50、P95、P99 延遲、吞吐、功耗、錯誤率與單位成本。供應商數字可作初篩，簽約依據應是自有工作負載的結果。

常見問題

推論一定適合 ASIC 嗎？

工作負載要夠固定且規模足以攤提開發或遷移成本。小量、常改模型的推論仍可能適合 GPU。

FLOPS 越高就越快嗎？

不一定。顯存、資料傳輸、軟體最佳化與批次配置都會影響端到端效能。

自建一定比雲端便宜嗎？

要把利用率、電力、散熱、人力、備援與退出成本納入三年總成本後才可比較。

試跑時最重要的指標是什麼？

以業務服務水準為核心，通常包括尾端延遲、吞吐、可用性、品質與每次請求成本。