SEMGO
Eng
  • 首頁
  • 頭條新聞
  • 聚焦英國
  • 經濟觀察
    • 宏觀
    • 公司
    • 產經
    • 金融
  • 中國視野
  • 全球精英連線
  • 電子報紙
  • 新聞資訊
  • 旅遊
  • 英中投资
  • 深度· 言論
  • 首頁
  • 頭條新聞
  • 聚焦英國
  • 經濟觀察
    • 宏觀
    • 公司
    • 產經
    • 金融
  • 中國視野
  • 全球精英連線
  • 電子報紙
  • 新聞資訊
  • 旅遊
  • 英中投资
  • 深度· 言論
没有结果
查看所有结果
SKY ECONOMY NEWS
没有结果
查看所有结果
您當前的位置 : 產經 > 文章内容 返回
華為發佈AI推理新技術 將於今年9月正式開源
发布:2025-08-13

華為今日發佈AI推理創新技術UCM(推理記憶數據管理器)。作為一款以KV Cache為中心的推理加速套件,其融合了多類型緩存加速演算法工具,分級管理推理過程中產生的KV Cache記憶數據,擴大推理上下文窗口,以實現高吞吐、低時延的推理體驗,降低每Token推理成本。

據悉,華為計畫於2025年9月正式開源UCM,屆時將在魔擎社區首發,後續逐步貢獻給業界主流推理引擎社區,並共用給業內所有Share Everything(共用架構)存儲廠商和生態夥伴。

IDC預測,到2027年中國智能算力中,推理算力占比將從2023年的41%左右上升到72.6%左右。中國資訊通信研究院人工智慧研究所平臺與工程化部主任曹峰表示,大模型推理需求爆發。一方面大模型服務調用量、推理計算量將翻倍,另一方面大模型推理算力供給將超過訓練,基礎設施重心將逐步向推理偏移。

不過,當前AI推理應用落地過程中存在推不動、推得慢、推得貴等問題。華為數據存儲產品線總裁周躍峰舉例:中國互聯網大模型的首Token時延普遍慢於海外互聯網頭部的首Token時延,海外頭部大模型的推理吞吐率也要遠高於中國。因此,如何改進推理系統的效率和體驗是重要課題。這也是華為此次推出UCM推理記憶數據管理器的原因。

據介紹,UCM推理記憶數據管理器已經在中國銀聯的客戶服務、行銷策劃、辦公會議等業務場景中,開展AI推理加速應用試點。

華為數據存儲產品線副總裁、閃存領域總裁謝黎明表示,從銀行業來看,不管是生產環境的投研分析,還是輿情分析也好,都會涉及到非常多的長序列輸入。“比如一份投研報告就是上兆級別,精准行銷所需要輸入的上下文也是長序列,所以推不動這個問題經常出現。其次是推得慢的問題,核心就是併發上不去,上去之後每Token時延特別長。另外推得貴,原因是需要耗費大量的算力。”

華為數據存儲產品線AI存儲首席架構師李國傑進一步解釋,不管是行業調研報告、公司財務資訊以及其他公開信息,都是超長上下文的多源資訊彙聚。隨著邁向Agentic AI(代理式AI),這些資訊會拆成很多步,逐步地深度挖掘,最終給出一個專業的趨勢判斷和報告。這對顯存、計算量都會有很大的壓力。

推理體驗和推理成本,將成為未來AI行業化落地的一大阻礙。“到了Agentic AI時代,Token消費相比以前是百萬級的,成本過高意味著落地就沒有了一個基本的前提,沒有人用得起。”謝黎明稱。

談及AI的發展趨勢,李國傑認為,模型智能轉向數據智能,這在專業領域已基本成為共識。未來,華為會基於UCM構築更多的Agentic AI能力,以及多模檢索和數據湖的能力等等。

“從GPT5的發佈可以看到,傳統的Scaling Law模式已經遇到瓶頸。從應用需求的角度來講,客戶開始關注AI的商業迴圈和商業變現,更關注體驗。從技術驅動的角度,當模型的智能水準遇到瓶頸,會系統化地轉向數據智能。因為其本質原因是缺少高質量數據,大量用AI合成數據、數據荒以及數據品質的問題,都會成為新的產業研究焦點。”

華為計畫於今年9月份開源UCM,目前已有訊飛等生態夥伴加入。李國傑透露,“很多政府行業、金融行業、製造行業等客戶,已經使用起來。我們會與更多的基礎設施和生態夥伴一起共建,也會與更多具有非常典型性或者行業性的客戶,一起共建。”

 

來源:中國財聯社

上一篇:aiXcoder部署企業專屬大模型,代碼生成準確率提升至45%
下一篇:英國皇家特許測量師學會表示,隨著稅收擔憂浮現,英國房地產市場失去動力
相關推荐
  • 聯想首次超越蘋果拿下全球第一!全球PC和平板銷售額登頂:狂攬21.4%份額
    链接阅读
  • 何小鵬:11月銷量或首次突破6萬臺,未來機器人毛利將遠超高端車型
    链接阅读
  • 百度三季度營收同比下降1%至308億元,昆侖芯M100年底前具備量產條件
    链接阅读
  • 小鵬集團第三季度營收同比增長19%至243億元,淨虧損8.7億元
    链接阅读
  • 效率提升300%,长安汽车数实融合无人化测试系统亮相
    链接阅读
  • 中國國內首個口服GLP-1類減肥藥獲批上市
    链接阅读
  • 繞過英偉達採購其他周邊組件!SpaceX據悉正在自研AI機架
    链接阅读
  • OpenAI季度營收首次達到100億美元:環比增長近50%
    链接阅读

歡迎瀏覽閱讀星空經濟新聞華文網

投稿郵件:
news@skyeconomymedia.com

誰將接掌英偉達?庫克出任CEO猜想引熱議全球市場聚焦繼任人選

2026-11-13

投資者擔憂:黃仁勳離任後,AI賽道或失去英偉達的資金支持

英國央行加入加息陣營,澳大利亞或已走完本輪加息週期

2026-11-06

國會失守,特朗普仍握外交主導權

主場失利後,特朗普在伊朗問題上面臨嚴峻抉擇——達成協議還是升級衝突

美國新聞機構將如何預測中期選舉結果 

2026-11-02

關於我們

星空經濟新聞華文網是一家專注於提供英中兩國最新資訊的新聞媒體,作為英中新聞分享的領導者,我們致力於打造一個全球化、多元化的新聞環境,旨在搭建東西方文化橋樑,連接同一星空下的每一處角落。

聯絡我們

編 輯 部:KINGTON UNITED KINGDOM HR5 3DJ
電子郵箱:skyeconomyandmediagroup@gmail.com

總编寄语

穿越天際,照亮世界,星空新聞,不負每一份關注。
友情:英國駐中國大使館 中國駐英國大使館 新華網 中國日報 鳳凰網 中國僑網 歐洲時報 俄羅斯龍報
没有结果
查看所有结果
  • 首頁
  • 頭條新聞
  • 聚焦英國
  • 經濟觀察
    • 宏觀
    • 公司
    • 產經
    • 金融
  • 中國視野
  • 全球精英連線
  • 電子報紙
  • 新聞資訊
  • 旅遊
  • 英中投资
  • 深度· 言論

© 2023 SEMG.