每經編輯｜張錦河    

8月12日，華為正式發(fā)布AI推理創(chuàng)新技術UCM（推理記憶數據管理器）。據了解，作為一款以KV Cache為中心的推理加速套件，UCM融合了多類型緩存加速算法工具，分級管理推理過程中產生的KV Cache記憶數據，可擴大推理上下文窗口，實現高吞吐、低時延的推理體驗，降低每Token推理成本。該技術已率先在中國銀聯“客戶之聲”“營銷策劃”“辦公助手”三大業(yè)務場景中，開展智慧金融AI推理加速應用試點，并已取得成果。

華為計劃于2025年9月正式開源UCM，屆時將在魔擎社區(qū)首發(fā)，后續(xù)逐步貢獻給業(yè)界主流推理引擎社區(qū)，并共享給業(yè)內所有Share Everything(共享架構)存儲廠商和生態(tài)伙伴。

圖片來源：每日經濟新聞 資料圖

據悉，UCM可根據記憶熱度在HBM、DRAM、SSD等存儲介質中實現按需流動，同時融合多種稀疏注意力算法實現存算深度協同，使長序列場景下TPS（每秒處理token數）提升2至22倍，從而降低每個Token的推理成本。

Token是AI模型中的基本數據單位。在訓練過程中，AI大模型會學習標記Token之間的關系，從而執(zhí)行推理并生成準確、相關的輸出。

數據顯示，國外主流AI大模型的單用戶輸出速度已進入200 Tokens/s區(qū)間（時延5ms），而我國主流AI大模型的單用戶輸出速度普遍小于60 Tokens/s（時延50至100ms）。

每日經濟新聞綜合自公開信息