Arm警告:AI推理每天产生百亿Token 存储正成为边缘计算最大瓶颈

来源:钜亨网 #Arm# #存储#
1080

Arm(安谋)全球储存业务负责人John Xavier Lionel 9月23日在GMIF 2026全球存储产业创新高峰会上抛出重磅观点:随着生成式AI从云端向终端规模落地,存储已不再是配角,而是直接决定AI系统能力上限的关键变数。

Lionel指出,AI推理的解码(Decode)阶段需要持续、高频存取KV Cache,这意味着存储的容量、频宽与数据传输效率,将直接决定係统响应速度与吞吐量。

更惊人的是,Token正成为AI运营成本的硬指标,以100万台设备每天进行20次AI互动、每次产生500个Token估算,单日产生的Token量就高达100亿。每一次互动背后,都对应着运算、存储、网络和能耗的复合成本,储存效率每提升一点,整体开销就能大幅下降。

面对海量的边缘AI需求,Lionel提出清晰的工作负载分层架构:唤醒词检测、异常检测等轻量级任务,适合在低功耗终端直接运行;AI助手、多模态交互等複杂任务,则由手机、PC、XR设备和机器人等高性能边缘设备承接;行业模型与智能端服务AI服务可靠边缘本地化;而超大模型训练、推理使用;这种“端—边—云”协同,本质是把储存压力合理分散,避免数据在单一节点堵塞。

Lionel的演讲为存储产业指明新方向:未来AI竞争不仅是算力之争,更是储存架构之争。谁能解决边缘侧的KV Cache存取效率、降低Token成本,谁就能在AI终端浪潮中抢得先机。

责编: 爱集微
来源:钜亨网 #Arm# #存储#
THE END
关闭
加载

PDF 加载中...