曙光ParaStor成为业界首家接入Mooncake社区的商用分布式存储

来源:爱集微 #中科曙光#
1722

9月29日消息,近期中科曙光分布式存储系统ParaStor成为业界首家接入Mooncake社区的商用分布式存储,首次完成商用分布式存储后端的生产环境落地。相关技术能力已合入Mooncake社区主干。

Mooncake是由Moonshot AI(月之暗面)开源的分布式KV Cache缓存平台,核心思路是将大模型推理中的KV缓存从单卡显存剥离,放到远端共享存储。此前,Mooncake主要对接海外存储硬件,ParaStor是首家完成适配落地的国产分布式存储产品。

曙光ParaStor团队对Mooncake DFS的存储分配逻辑进行了模块化改造,围绕标准化接入、动态扩容和IO链路持续优化。商用分布式存储由此首次进入大模型推理核心业务链路,承接长尾KV Cache卸载工作。改造后的DFS接口支持缓存空间按业务负载弹性扩容,实现以完整存储段为单元完成冷数据回收,系统重启后缓存数据仍可恢复使用。

生产环境实测数据显示,曙光联合SGLang,基于国产加速卡与ParaStor F9000搭建端到端测试环境。在64K上下文、单卡7并发条件下,KV Cache卸载实现16倍吞吐提升,达到DRAM池吞吐值的80%,平均首Token延迟和P90首Token延迟均保持在10秒以内。该方案可为用户提供更低的AI运行成本与更高的GPU利用率,并为国产全栈AI基础设施补齐关键环节。

(校对/李正操)

责编: 李正操
来源:爱集微 #中科曙光#
THE END

*此内容为集微网原创,著作权归集微网所有,爱集微,爱原创

关闭
加载

PDF 加载中...