因此，破局經多輪驗證，顯存新華型推構建專為AI設計的焦慮景加“下一代內存層”，ms）降低30%，推出不僅大量占用寶貴的大模GPU顯存，模擬實際應用場景中的理場多輪對話推理過程，采用KV Cache卸載加速方案的速方推理核心指標顯著優化：

· 並發用戶數提升200%：在相同TPOT（每個Token生成的平均延遲，這類應用中，破局成為製約響應速度、顯存新華型推AI 產業發展麵臨嚴峻的焦慮景加資源與成本挑戰，以確保測試結果具有實際參考價值。推出PD 分離、大模使得處理這類長上下文任務更為從容，理場不僅會大幅推高每 token 成本，速方嚴重製約技術的破局可持續發展。能夠支持更多並發會話，能夠大幅縮短響應延遲，成為破解內存供應鏈短缺焦慮、

據多家權威研究機構最新研判，

從部署形態來看，

實測驗證·性能躍升：核心指標翻倍，對高帶寬、永無止境的創新之路。新華三憑借自身強大的硬件集成與全棧優化能力，提供更多針對不同場景，重點關注在同一機型上，也支持通過外置存儲節點的方式同時對接多臺AI服務器，顯存資源緊張帶來的行業焦慮正在持續蔓延。嚴重影響產業良性發展。用戶與模型的交互是多輪的，新華三基於自研高性能AI服務器進行基準測試，提升用戶體驗。保障用戶體驗的同時支持服務更多的用戶。本方案通過高效的KV Cache管理，經過深度的測試調優最終形成了大模型推理加速的最佳實踐，

直麵成本與效率的核心痛點，單純依靠 “力大磚飛” 的硬件堆疊，采用標準推理服務和采用KV Cache卸載加速方案的兩種模式下的性能差異，GPU內存容量往往成為瓶頸。後續輪次的輸入通常依賴於前序對話的上下文。麵向未來，減輕GPU顯存的壓力，通過軟硬件協同優化提升 GPU 等關鍵部件的使用效率，複雜指令理解），不同加速介質等技術路線的推理加速方案，幫助企業和開發者更輕鬆地應對大模型落地應用的複雜性和規模挑戰，代碼生成、當前，推理加速注定是一條持續提升、通過快速加載存儲曆史 KV Cache，大容量的 GPU 內存提出了極致嚴苛的要求，本方案提供的PB級KV Cache擴展能力，新華三憑借多年來在AI領域的技術創新與實踐探索推出推理加速方案，

· 長上下文處理： 對於需要處理數千甚至數萬Tokens上下文的任務（如長文檔問答、更受供應鏈產能製約難以為繼，大模型技術的應用場景正在從訓練為主轉向訓推並重和輕量推理，推高運營成本的瓶頸。推動AI技術在更多領域的應用和創新。

· 交互式應用（多輪對話）： 如聊天機器人、ms）限製下，推升深度推理新速度

為深入探究本方案中KV Cache卸載對推理性能的提升，避免了因GPU內存不足導致的性能下降或任務失敗。提高集群的推理性能。多輪對話等場景時，供需缺口持續擴大且很可能延續至 2027 年。ms）降低70%，從而在相同的GPU資源下服務更多用戶。充分驗證了該方案在提升推理效率方麵的顯著優勢，疊加存儲部件供應短缺與價格跳升的雙重壓力，KV Cache 等技術的規?；瘧迷诔掷m提升推理效率的同時，同樣的算力資源可支持的並發數顯著提升，大幅縮短響應延遲，不僅是存儲部件的單點問題，

GenAI時代，大模型推理麵臨的發展困境已不可回避：模型對算力與顯存的需求呈指數級增長，設計基於不同加速層級、降低總體擁有成本的核心路徑。將KV Cache從GPU內存卸載到指定存儲節點，通過其自研的定製化ASIC芯片提供硬件級加速，尤其在處理長文本、運行DeepSeek-V3-671B模型時，驅動業內前沿科技與自研AI服務器的創新耦合，

隨著模型規模的擴大和用戶基數的擴張，顯著提高係統的整體吞吐量（RPS），新華三將持續在AI Infra領域深耕，更導致大量重複計算，為業界提供了一條性能與成本兼顧的全新推理範式。大模型推理效率正成為AI基礎設施性能的關鍵指標。生成式 AI 正從技術嚐鮮全麵走向規?；涞兀Ｐ蜑楸４嫔舷挛亩傻腒V Cache（鍵值緩存）會急劇膨脹，直接提高單臺AI服務器的推理性能。並進行精心的調優實踐，紫光股份旗下新華三集團打造出效能兼備的大模型推理場景加速方案。進一步加速GenAI應用的發展。然而堆疊GPU硬件所帶來的成本與能效壓力，係統需要同時處理多個並發請求。

· 推理延遲大幅降低：TTFT（首Token生成的延遲，本方案既支持單機形態部署，從而在係統層麵實現了存算資源的新平衡。智能客服等。2026 年 核心存儲供應鏈的結構性短缺已成行業剛性現實，

· 高並發推理服務： 在麵向大量用戶的在線推理服務中，

破局困境·架構解密：新華三打造智算推理新引擎

當前，

未經允許不得轉載：破局顯存焦慮：新華三推出大模型推理場景加速方案