美團在 2026 年 11 月 2 日發布 LongCat-2.5,11 月 10 日宣布以 MIT 授權開放權重。依美團開源公告,這款面向長程 AI 代理的原生多模態模型,總參數達 1.6 兆,每個 token 約啟用 480 億參數,並提出 W4A4 推論方案。

權重可以取得,企業接著面對的問題卻更具體:現有設備能不能承載?代理跑完一件工作,究竟要花多少運算與人工?這個問題要先定義清楚。對準備自架的台灣開發團隊,下載只是起點,採購與驗收應以完整工作流程為單位。

一、權重成本:480 億啟用參數能拿來估顯存嗎?

不能直接這樣估算。啟用參數反映每次計算選用的部分,完整權重的儲存與載入需求仍須另外計算。

MoE(混合專家架構)會將工作分配給部分專家;token 是模型處理文字或視覺資訊的基本單位。依官方標示計算,480 億除以 1.6 兆約為 3%,但這個比例無法直接換成「只要準備完整模型 3% 的記憶體」。未被當次選中的專家,後續仍可能用到。

可以先做一筆容量試算:假設 1.6 兆參數全部用每參數 2 位元組儲存,單算權重約為 3.2 TB;假設全部採 4 位元儲存,則約 0.8 TB。這是以官方參數規模計算的理想值,尚未加入量化附加資料、其他精度的模組、執行緩衝與對話快取,也不等於實際下載大小。

採購前應以選定版本的檔案清單為準,另外預留下載暫存、備份與更新期間的雙版本空間。若規劃將部分權重放到主記憶體,也要量測搬運造成的等待。其他模型的開放權重與部署門檻可作為背景,硬體預算仍要回到 LongCat-2.5 的實際版本。

二、量化成本:W4A4 省下什麼,又增加哪些條件?

W4A4 將專家權重與運算中的啟用值量化到 4 位元,減少相關資料的儲存及搬運負擔;效益取決於硬體與推論軟體是否支援配套計算。

量化是用較低精度表示數值。W 指權重,A 指運算中的啟用值,與「每個 token 啟用多少參數」的意思不同。官方方案還配合專用算子,也就是執行特定運算的程式,以及通訊和計算的重疊安排,不能只把檔案轉成 4 位元就假定有相同速度。

美團技術團隊指出,其 W4A4 方案同時調整量化精度、底層算子與推論流水,並配合中國國產 AI 加速器的硬體特性。官方技術文章

美團的線上壓測提供了一個具體案例:相較 W8A8,也就是權重與啟用值採 8 位元的基線,輸入處理與逐步生成階段的吞吐量分別增加 43.3% 和 42.77%。這是官方環境下的測試結果,不能直接當成其他設備的加速幅度或帳單折扣。

為什麼跑得更快,費用卻未必同比下降?若租用設備按整段時間計費,短暫加速可能沒有減少租期;若瓶頸轉移到工具等待,模型也會閒置。因此應同時看設備利用率、工作完成時間與任務成功率。

三、並行成本:為什麼長上下文與跨卡通訊會改變報價?

對話越長,需要保留的中間資料越多;專家分散到多張卡後,也會增加資料傳輸與協調需求。相同總記憶體容量,可能得到不同的服務延遲。

官方 SGLang-FluentLLM 部署範例很能說明差異。該範例載入真實權重,採 Atlas A2 共 194 卡:視覺編碼 2 卡、輸入處理 64 卡、逐步生成 128 卡,三者分開部署。這是文件展示的配置,不能推論成最低卡數要求。

這個案例也提醒團隊,多模態服務可能需要獨立的視覺處理資源。文件另列驅動、Python、PyTorch 與 CANN 加速軟體的配套要求,將系統裝起來、維持版本一致,本身就有工程成本。

美團官方說明的訓練與最佳化路線採中國國產 AI 加速器。這項訓練背景,不能推論為部署時禁止使用 NVIDIA GPU;相容性須確認模型實作、算子與框架支援。現有設備若採 NVIDIA,不能直接套用這份 NPU(神經網路處理器)範例。

上下文是模型單次可處理的資訊範圍。長對話會使用 KV cache(鍵值快取)保留先前運算資訊;同時處理多個請求時,快取需求也會增加。測試應包含長輸入與尖峰並行,並記錄首字等待時間及較慢那部分請求的延遲,避免只看平均值。

視覺編碼、輸入處理與逐步生成分別配置 2、64、128 張 Atlas A2 卡,旁側另示逐漸增加的對話快取。
官方範例將視覺編碼、輸入處理與逐步生成分開配置,194 張卡是示範設定,並非最低門檻。

四、整合成本:模型能呼叫工具,工作就能交付嗎?

代理還需要工具連線、權限控管、成果驗證與故障復原。這些環節影響任務能否交付,也應納入每次成功任務的成本。

AI 代理是能在流程中呼叫工具、依結果繼續行動的系統。LongCat-2.5 的官方模型卡提供工具呼叫範例,但實際連接企業系統時,團隊仍須處理認證、欄位對應、逾時與重試。查詢庫存和修改訂單,所需權限及失敗後果差異很大。

測試可先使用唯讀工具;涉及付款、刪除或對外送出資料的操作,設定人工核准與可追蹤紀錄。另應確認模型服務與工具間傳送哪些資料、日誌保存多久、誰能讀取,以及機密資訊是否進入外部服務。本機模型的網路與工具權限檢查也適合納入驗收。

美團模型卡提醒,模型並未針對所有下游應用完成全面評估;開發者應評估準確性、安全性,以及不同語言的表現差異。模型使用注意事項

對台灣團隊,代表性任務應包含繁體中文文件、公司慣用欄位與實際工具回傳格式。程式能執行,還要檢查修改是否符合需求;報告有產出,還要確認引用與數字。這些驗證若仰賴人工,就應記錄覆核分鐘數及退回重做次數。

整合測試可在隔離環境刻意加入工具逾時、欄位缺漏與權限拒絕,逐次核對代理是否停止、重試或轉交人工。涉及寫入的任務,還要檢查重試後是否重複建立紀錄,並保存工具請求、回傳結果與最終狀態,供團隊重現錯誤。將恢復流程所需的人工時間另行記錄,才能估算異常任務的處理成本。

五、驗收成本:如何比較 API、混合部署與自架?

先用相同任務、品質門檻與負載比較每次成功任務成本,再評估資料流向與維運能力。API 是透過網路呼叫模型的服務介面,是否供應所需版本及台灣帳號能否使用,都要向供應商確認。

方式成本重點驗收問題
API 服務用量、外部工具與資料傳輸費版本、區域可用性、資料處理條款是否符合需求?
混合部署內部資料處理加外部推論的整合費哪些資料會離開內部環境?如何追查跨系統錯誤?
完整自架設備、互連、電力與維運人力負載是否足以利用設備?故障時誰能恢復?

負載零星、尚無維運人力時,可先評估符合資料條件的 API;持續高負載、需要掌握資料流向且有人維護時,再驗算自架。混合部署則適合把內部資料整理與外部推論分開處理的流程。

MIT 授權允許使用、修改及再散布,仍須依授權文件保留著作權與許可聲明。它不包含設備或託管服務費;使用第三方 API、部署平台和工具時,還要分別核對條款是否相容。

  1. 選出 3 至 5 個真實任務,寫明輸入長度、工具呼叫、合格成果與可接受延遲。
  2. 固定權重、量化、框架、加速器與代理工具鏈版本,確認相容性並保存設定。
  3. 先測單一請求,再測長輸入與尖峰並行,記錄記憶體峰值、吞吐量、等待與重試。
  4. 加總設備或租用、工具、傳輸及維運覆核成本,除以驗收成功的任務數;失敗成本也列入分子。
  5. 用同一份任務集比較候選方案,確認權限、日誌、機密資料及故障處理後,再擴大負載。
流程圖依序呈現挑選代表性任務、固定版本、負載測試、品質驗收,再以總成本除以驗收成功任務數;失敗嘗試仍計入成本。
比較部署方案時,成本要涵蓋失敗重試與人工覆核,再除以真正驗收成功的任務數。

常見問題

Q1:LongCat-2.5 開放權重是否代表使用免費?

權重採 MIT 授權,硬體、推論、整合與維運仍有成本;第三方服務可能另行收費。

Q2:每次推論都會啟用 1.6 兆參數嗎?

依官方規格,每個 token 約啟用 480 億參數。完整權重的儲存與部署需求須另外評估。

Q3:有 NVIDIA GPU 就能直接部署嗎?

需確認指定版本的框架與算子支援,並實測載入及任務表現。官方 NPU 範例不能直接當成 NVIDIA 部署指引。

  • 先確認完整權重與配套版本,再詢問設備容量及報價。
  • W4A4 效益要連同硬體、上下文與並行設定一起驗證。
  • 用成功交付的任務計算成本,將失敗重試與人工覆核一併納入。