韓國 LG U+規劃明年起拓展企業 AI 代幣最佳化服務,並稱其技術可降低特定 AI 工作的運作成本:一般提問處理成本減少25%以上,自有模型程式代理成本減少90%以上。相關成果與下一年度計畫,是公司在11月12日的 AI 代幣最佳化研討會上公布的內容。國民日報(民營媒體)

對台灣讀者而言,這項布局涉及企業 AI 服務的運算成本、模型選擇與晶片配置;評估導入相關服務時,可留意不同工作負載的成本算法與效能條件。本文所述是 LG U+在韓國公布的技術與計畫。國民日報(民營媒體)

人工智慧資料中心伺服器設備近照
人工智慧運算設備集中於資料中心機櫃。(示意圖)

模型調度與縮小模型容量

LG U+採用「模型路由」,依提問難度選擇合適模型。公司表示,一般問題的處理成本可降低25%以上,程式代理的運作成本可降低30%以上;若程式代理使用自有 AI 模型,成本降幅則超過90%。這些數字是公司公布的成果,報導未列出測試樣本、計價方式或比較基準。企業評估相關技術時,也可參考AI 模型量化與部署限制,了解縮小模型後仍須檢查的部署條件。國民日報(民營媒體)

公司也運用量化與知識蒸餾縮小裝置端模型,將原本約2.4至3 GB的容量降至約800 MB。報導指出,量化用於壓縮資料,知識蒸餾則把大型模型的學習結果傳給較小模型;LG U+稱這樣可維持效能並減輕記憶體及運算負擔。國民日報(民營媒體)

晶片配置與企業服務規劃

在硬體端,LG U+提出依工作特性混用 Nvidia、AMD 的圖形處理器(GPU)及 FuriosaAI 的神經網路處理器(NPU)。公司舉例,問題處理使用 Nvidia GPU、答案生成使用 AMD GPU,並稱相同基礎設施的處理效率因此提高約4倍。這類作法著眼於工作負載與晶片的搭配;企業 AI 加速器選型評估清單整理了評估加速器時可檢視的項目,相關內容亦收錄於AI 算力與資料中心主題。國民日報(民營媒體)

LG U+計畫自明年起同步尋求合作夥伴並建置自有基礎設施,向企業客戶推動 AI 代幣最佳化服務。公司表示,將把 AI 通話代理「익시오」及 AI 聯絡中心(AICC)等服務累積的技術提供給企業客戶。LG U+最高技術長(CTO)이상엽表示,目標是讓企業客戶以合理成本取得 AI 成果,並由公司帶動市場。國民日報(民營媒體)

常見問題

LG U+公布哪些成本降幅?
公司稱模型路由可使一般提問處理成本降低25%以上、程式代理運作成本降低30%以上。自有 AI 模型的程式代理成本降幅則超過90%;報導未提供測試條件。國民日報(民營媒體)

LG U+何時規劃推動企業服務?
報導指出,公司計畫從明年起拓展企業 AI 代幣最佳化業務,並同步洽談合作及建置自有基礎設施。這是公布的規劃,報導沒有列出正式推出日期。國民日報(民營媒體)

時間軸