浪潮AI数据平台有效应对大模型响应延迟和算力成本问题

4月17日，浪潮信息“数海同舟”存储生态合作伙伴大会在江苏宜兴召开，会上发布AI数据平台A9000系列。该技术产品能在典型AI推理测试环境下将首Token时间降低97%，Token吞吐量提升20倍以上，以应对大模型推理中的响应延迟和算力成本问题。

随着Agent AI从技术探索走向生产应用，存储的角色正在发生变化。在多轮对话、长上下文和智能体协作场景中，存储不再只是承载数据的后台设施，而是直接影响AI响应速度和运行成本的环节。

据悉，A9000系列以AI原生并行架构设计为核心，单节点带宽达百GB/s，时延低至百微秒级。与传统存储围绕CPU设计不同，新架构大幅缩短了数据从存储到GPU的路径，减少了中间复制和排队时间。

另一方面，A9000系列内置AI原生KV Cache技术实现上下文数据跨请求复用，避免重复计算带来的额外算力消耗，测试显示，Token吞吐量提升20倍以上，单次推理成本显著下降。为进一步保障数据安全，其支持基于租户的统一资源管理，将各租户数据隔离在独立空间，实现数据、访问、配置的三重隔离，推动存储从传统数据承载介质，升级为深度参与推理过程、支撑多业务安全并行、保障结果可信的数据平台。

浪潮信息存储产品线副总经理郭海峰表示，AI基础设施从分散采购GPU服务器转向系统化建设“算力工厂”，存储转向连接算力与应用的关键环节，从静态沉淀数据的“数据湖”到流动的、能实时供给GPU的“数据河”。