人工智能发展浪潮中,训练和推理是至关重要的两个环节。AI训练需要建立模型,并提供大量数据,从而让它能够进行分析和掌握其中包含的信息。而AI推理则是通过已经经过训练的AI模型实时运行新数据,从而做出相应的预测,并产生相应的结果。
由于训练和推理属于不同的应用领域,所以两个环节对于包括处理器和内存在内的硬件要求也是不一样的。
以内存为例,AI训练由于计算周期较长,需要大量的优质数据,所以需要用到大量的HBM(高带宽内存)。而AI推理是短时间的算力激增,需要更快速的数据流通,而且对能效要求也更高,所以内存方面一般会用到GDDR和LPDDR等类型,不过也会有混合使用和交叉使用的情况。
自2012年以来,大规模的AI训练所使用的数据集的计算量以每年10倍的速度快速增长。以OpenAI的ChatGPT为例,其2022年11月的版本使用了1750亿个参数,而今年3月的版本使用的参数则高达1.5万亿个。Rambus接口IP产品管理和营销副总裁Joe Salvador认为,这背后有三大原因,一是AI模型变得日益复杂了;二是大量的数据在线被生成,而且可以被使用在AI训练过程中;三是人工智能的应用对于准确性和稳健性的期望持续提升。
在这三大趋势背后,对内存也带来了更高带宽和更高容量的需求。因而当前最先进的HBM3E产品支持的数据传输速率已经达到9.6Gb/s,整个设备的带宽总共加起来可以达到1.3Tb/s。
Joe Salvador告诉集微网,Rambus一直在支持HBM3标准的持续演进,目前Rambus HBM3内存控制器IP也已经可提供高达9.6 Gb/s的传输速率,大幅提升了AI性能。
据介绍,相比HBM3 Gen1 6.4 Gbps 的数据速率,Rambus HBM3内存控制器的数据速率提高了50%,总内存吞吐量超过1.2 TB/s,适用于推荐系统的训练、生成式AI以及其他要求苛刻的数据中心工作负载。
Rambus HBM3 控制器模块图
Rambus IP核部门总经理 Neeraj Paliwal 表示:“大语言模型要求高性能内存技术的不断进步,使得HBM3成为AI/ML训练的首选内存。依靠Rambus的创新和卓越的工程技术,我们的HBM3内存控制器IP可提供业界领先的9.6 Gbps性能。”
IDC内存半导体副总裁 Soo-Kyoum Kim 表示:“HBM 是更快速且更高效的处理大型 AI 训练和推理集的关键内存技术,比如用于生成式 AI 的训练和推理。对于像Rambus这样的 HBM IP供应商来说,持续提高性能来支持满足市场苛刻要求的领先 AI 加速器的意义重大。”
HBM采用创新的2.5D/3D架构,为AI加速器提供具有高内存带宽和低功耗的解决方案。凭借极低的延迟和紧凑的封装,HBM已成为AI训练硬件的首选。
Rambus HBM3 内存控制器 IP 专为需要高内存吞吐量、低延迟和完全可编程性应用而设计。该控制器是一种高度可配置的模块化解决方案,可根据每个客户对尺寸和性能的独特要求进行定制。对于选择第三方HBM3 PHY的客户,Rambus还提供HBM3控制器的集成与验证服务。
评论
文明上网理性发言,请遵守新闻评论服务协议
登录参与评论
0/1000