NPU（Neural Processing Unit，神經處理單元）是專門加速神經網路推論的硬體，常和 CPU、GPU 一起放進手機、筆電與其他終端裝置。Arm 對 NPU 的定義指出，它主要處理矩陣與張量運算，把密集的 AI 工作從 CPU 分出去；Microsoft Learn 的 NPU 開發指南則說明，NPU 會和 CPU、GPU 協作，讓裝置端 AI 工作兼顧反應速度與能效。
看到筆電標示 40 TOPS，不必直接把它理解成「所有 AI 都快 40 倍」。40 TOPS 是 Microsoft 對 Copilot+ PC 設定的 NPU 運算門檻，實際速度還取決於模型、記憶體、軟體支援、資料搬移與是否改由雲端處理。邊緣 AI 把推論放在哪裡以及AI 模型量化如何影響部署可接著看兩個相關環節。
NPU 是什麼
CPU、GPU、NPU 都能參與 AI 運算，擅長的工作不同。CPU 負責作業系統、程式控制與一般運算；GPU 以大量平行運算處理圖形與大型 AI 工作；NPU 針對神經網路常見的矩陣、張量與低精度運算設計，目標是用較低功耗完成裝置端推論。Microsoft 的 NPU 開發指南與Arm 的 Edge AI 文件都把 NPU 定位成 AI 專用處理器或加速器。
這張表是閱讀三種處理器分工的框架；實際任務仍由作業系統、執行環境與模型支援情況決定。Microsoft 的開發指南列出的 NPU、GPU、CPU 路徑與回退機制，正好說明硬體能力不等於每個 App 都會使用 NPU。
| 元件 | 主要工作 | 常見優勢 | 實務限制 |
|---|---|---|---|
| CPU | 作業系統、控制流程、一般程式 | 彈性高、相容性廣 | 長時間大量 AI 運算的能效較差 |
| GPU | 圖形、平行運算、大型模型 | 平行吞吐量高、軟體生態成熟 | 功耗、散熱與記憶體需求較高 |
| NPU | 神經網路推論、語音、影像與部分生成式 AI | 低功耗、可在裝置端即時處理 | 受支援算子、模型格式與系統驅動限制 |
這張表是硬體分工的閱讀框架，實際工作不會固定只落在一顆處理器。聯發科的 NeuroPilot 會依平台與應用選擇 CPU、GPU、APU 或 DSP，也能採取異質運算；因此同一個 AI 功能可能由多個處理單元共同完成。聯發科官方資料列出的設計正是 NPU 放進 SoC 後，和其他處理器協作的情況。
NPU 怎麼運作
先把模型變成裝置能執行的格式
AI 模型訓練完成後，應用程式不會把原始模型直接丟給 NPU。開發者通常要經過模型轉換、算子支援檢查、精度設定與編譯，再由作業系統或晶片商提供的執行環境呼叫硬體。聯發科 NeuroPilot 支援 TensorFlow、Caffe、ONNX 與 Transformer 等框架，並提供編譯器、分析工具與模型部署環境，這些工具負責把通用模型接到特定平台。聯發科 NeuroPilot 官方頁有列出這套軟體鏈。
NPU 處理適合的運算，其他工作由系統接手
一筆影像或聲音資料進入裝置後，CPU 可能負責資料整理與流程控制，NPU 執行神經網路的矩陣運算，GPU 處理畫面或部分平行工作，最後由應用程式組合結果。若模型含有 NPU 不支援的算子，系統可能把那段工作交給 CPU、GPU 或其他加速器，效能與耗電就會改變；聯發科官方也明載 NeuroPilot 會依硬體與任務選擇處理單元，必要時使用異質運算。聯發科 AI 技術說明
本機推論和雲端服務可以並存
NPU最常見的用途是把語音辨識、視訊特效、影像分類或小型語言模型放在裝置上處理，減少網路往返，並保留部分原始資料在本機。較大型或需要集中更新的模型仍可能送到雲端；聯發科把裝置端、雲端與混合式 AI 都列為支援路徑，NeuroPilot 也同時提供本地和雲端版本。聯發科生成式 AI 說明
因此，「有 NPU」描述的是硬體能力，不代表某個 App 已經採用它。要確認實際資料路徑，仍需看 App 說明、系統設定與服務條款，尤其是會議錄音、照片、醫療紀錄和公司文件等敏感資料；Microsoft 的 Copilot+ PC FAQ也說明，本機功能與完整 AI 工作流程可能分別需要不同的網路條件。
40 TOPS 怎麼看
TOPS 是 Trillion Operations Per Second 的縮寫，表示每秒可執行的兆次運算量。Microsoft 將 Copilot+ PC 定義為搭載能執行超過 40 TOPS 的 NPU，並把即時字幕、影像生成與部分本機 AI 功能放在這個硬體類別裡。Microsoft 的 Copilot+ PC 公告說明首批裝置採用 40 TOPS 以上的 NPU；Microsoft 的商務頁面也提醒，功能與效能會因裝置、地區和使用情境而變動。
TOPS適合用來看運算級距，不能單獨當成購機排名。至少要同時確認四件事：
- 算的是哪種精度：INT4、INT8、FP16 等格式的每秒運算量不能直接混比；聯發科官方 NPU 規格就分列 INT4、INT8、INT16、FP16、BF16 與混合精度支援。聯發科官方規格與Microsoft 的模型部署說明都把低精度格式、模型轉換和硬體支援列為部署條件。
- 模型能不能跑：NPU 可能只支援部分算子、模型格式或輸入尺寸，標示數字再高，App 沒有接上執行環境也不會受益。Microsoft 的開發指南說明，模型需轉成裝置可用的格式，執行環境也可能在 NPU 不可用時回退到 GPU 或 CPU。
- 記憶體夠不夠：模型權重、暫存資料與其他程式會一起占用記憶體；Microsoft 的效能分析工具會把記憶體、記憶體頻寬和每次推論時間列為觀測項目，因此 NPU 吞吐量不能代替 RAM 與記憶體頻寬評估。Microsoft 開發指南
- 實測是否達標：同一個模型應測量首個回應延遲、每秒輸出量、長時間功耗與溫度，並記錄哪些算子回退到 CPU 或 GPU。Microsoft 的 NPU 效能量測指南列出模型載入時間、單次推論時間、算子耗時、NPU 使用率與記憶體頻寬等觀測項目。
我的判斷很簡單：一般人選 AI PC，40 TOPS 可先當成支援 Copilot+ PC 功能的篩選線，接著看自己常用的語音、字幕、圖片或本機模型是否列在支援清單；企業採購則應把實際模型和資料集帶進測試，不能只用規格表上的 TOPS 做決策。Microsoft 的開發指南把模型相容性與本機效能量測列為部署內容，這也是我建議採購驗收採用的順序。
台灣的 NPU 與 AI PC 走到哪裡
目前公開資料能確認的台灣布局，集中在晶片、終端產品和開發工具三層。聯發科官方資料列出自有 NPU、深度學習加速器、視覺處理單元與 NeuroPilot，產品範圍涵蓋智慧型手機、平板、物聯網設備、智慧電視與網路連線 SoC；它也說明 NPU 可依應用需求配置不同數量的 MDLA 與 MVPU 核心。聯發科生成式 AI 頁面提供這些產品與工具資訊。
在 PC 端，台灣品牌 ASUS 的官方 AI PC 頁面把產品分成 10+ TOPS 的日常 AI 筆電，以及 40+ TOPS、對應 Copilot+ PC 的高強度機型；頁面列出的用途包括語音轉文字、視訊通話與部分本機 AI 功能。ASUS 台灣 AI PC 產品頁也提醒，AI 應用支援會因機型和規格不同而變動。
這代表台灣已經進入 NPU 商品化與平台支援階段，從 SoC 設計延伸到品牌電腦和 SDK。聯發科與ASUS 的公開資料能證明供應鏈與產品線存在，無法單獨推算全台 NPU 裝置的實際滲透率；判斷市場規模要另外找出貨量、裝置啟用率和 App 使用資料。
一般人與企業該注意什麼
一般人買 AI PC 或 AI 手機，可以照這個順序看：先列出要用的功能，再確認 App 是否支援本機執行，接著比較 NPU TOPS、RAM、電池與更新週期。Microsoft 明確寫出 Copilot+ PC 體驗會因裝置、地區和時間而變化；ASUS 也把型號與規格差異列為注意事項，所以「有 NPU」和「今天能用到某功能」要分開確認。Microsoft Copilot+ PC FAQ
企業採購要多做一層驗收。把常用模型、實際資料量與離線情境放進測試，記錄延遲、功耗、溫度和錯誤率；再檢查模型更新是否需要重新編譯、裝置驅動由誰維護、敏感資料是否會離開端點。Microsoft 的商務 Copilot+ PC 資料把既有部署與管理工具、裝置安全元件列為企業考量，說明硬體採購也牽涉維運與管理責任。Microsoft 商務版 Copilot+ PC
醫療、金融與客服錄音等場景，還要留下模型版本、輸入資料範圍與人工覆核紀錄。NPU 可以讓推論更靠近資料來源，Microsoft 的商務 FAQ同時列出本機處理與雲端工作流程，資料保護效果仍取決於 App 的傳輸、儲存、權限和更新設計，不能只看「本機 AI」標籤。
常見問題
NPU 是什麼？
NPU 是 Neural Processing Unit 的縮寫，專門加速神經網路推論，常與 CPU、GPU 整合在同一顆 SoC 或同一台電腦裡。Microsoft Learn與Arm都把它定位為處理 AI 模型推論的專用硬體；它適合處理語音、影像與部分生成式 AI 工作，實際分工要看模型和軟體支援。
40 TOPS 代表 AI 電腦一定比較快嗎？
不代表。40 TOPS 是 Microsoft 對 Copilot+ PC 的 NPU 門檻，實際體驗還會受到模型精度、記憶體、支援算子、驅動程式和功耗限制影響；比較時應使用相同模型和資料測量延遲與耗電。
有 NPU 就代表資料不會上雲嗎？
不代表。NPU能讓部分推論在裝置端完成，App仍可能把其他工作、結果或模型更新送到雲端。若處理公司文件、錄音或健康資料，應查看服務的資料流、儲存位置與權限設定。
參考來源
- 關於神經網路處理器 (NPU) （Microsoft Learn）
- Introducing Copilot+ PCs （Microsoft）
- Copilot+ PCs and AI Features for Businesses （Microsoft）
- Explore Edge AI on Arm （Arm）
- MediaTek 生成式 AI （聯發科技）
- ASUS Copilot+ PC （華碩）
