華為今日發佈AI推理創新技術UCM（推理記憶數據管理器）。作為一款以KV Cache為中心的推理加速套件，其融合了多類型緩存加速演算法工具，分級管理推理過程中產生的KV Cache記憶數據，擴大推理上下文窗口，以實現高吞吐、低時延的推理體驗，降低每Token推理成本。

據悉，華為計畫於2025年9月正式開源UCM，屆時將在魔擎社區首發，後續逐步貢獻給業界主流推理引擎社區，並共用給業內所有Share Everything(共用架構)存儲廠商和生態夥伴。

IDC預測，到2027年中國智能算力中，推理算力占比將從2023年的41%左右上升到72.6%左右。中國資訊通信研究院人工智慧研究所平臺與工程化部主任曹峰表示，大模型推理需求爆發。一方面大模型服務調用量、推理計算量將翻倍，另一方面大模型推理算力供給將超過訓練，基礎設施重心將逐步向推理偏移。

不過，當前AI推理應用落地過程中存在推不動、推得慢、推得貴等問題。華為數據存儲產品線總裁周躍峰舉例：中國互聯網大模型的首Token時延普遍慢於海外互聯網頭部的首Token時延，海外頭部大模型的推理吞吐率也要遠高於中國。因此，如何改進推理系統的效率和體驗是重要課題。這也是華為此次推出UCM推理記憶數據管理器的原因。

據介紹，UCM推理記憶數據管理器已經在中國銀聯的客戶服務、行銷策劃、辦公會議等業務場景中，開展AI推理加速應用試點。

華為數據存儲產品線副總裁、閃存領域總裁謝黎明表示，從銀行業來看，不管是生產環境的投研分析，還是輿情分析也好，都會涉及到非常多的長序列輸入。“比如一份投研報告就是上兆級別，精准行銷所需要輸入的上下文也是長序列，所以推不動這個問題經常出現。其次是推得慢的問題，核心就是併發上不去，上去之後每Token時延特別長。另外推得貴，原因是需要耗費大量的算力。”

華為數據存儲產品線AI存儲首席架構師李國傑進一步解釋，不管是行業調研報告、公司財務資訊以及其他公開信息，都是超長上下文的多源資訊彙聚。隨著邁向Agentic AI（代理式AI），這些資訊會拆成很多步，逐步地深度挖掘，最終給出一個專業的趨勢判斷和報告。這對顯存、計算量都會有很大的壓力。

推理體驗和推理成本，將成為未來AI行業化落地的一大阻礙。“到了Agentic AI時代，Token消費相比以前是百萬級的，成本過高意味著落地就沒有了一個基本的前提，沒有人用得起。”謝黎明稱。

談及AI的發展趨勢，李國傑認為，模型智能轉向數據智能，這在專業領域已基本成為共識。未來，華為會基於UCM構築更多的Agentic AI能力，以及多模檢索和數據湖的能力等等。

“從GPT5的發佈可以看到，傳統的Scaling Law模式已經遇到瓶頸。從應用需求的角度來講，客戶開始關注AI的商業迴圈和商業變現，更關注體驗。從技術驅動的角度，當模型的智能水準遇到瓶頸，會系統化地轉向數據智能。因為其本質原因是缺少高質量數據，大量用AI合成數據、數據荒以及數據品質的問題，都會成為新的產業研究焦點。”

華為計畫於今年9月份開源UCM，目前已有訊飛等生態夥伴加入。李國傑透露，“很多政府行業、金融行業、製造行業等客戶，已經使用起來。我們會與更多的基礎設施和生態夥伴一起共建，也會與更多具有非常典型性或者行業性的客戶，一起共建。”

來源:中國財聯社