TetraMem公司 及其合作伙伴,于 2024 年 2 月 23 日在著名的《科学》杂志上发表了另一项重大科学突破: 以忆阻器为核心的全新架构芯片,突破性实现任意高精度模拟计算。 这是继 TetraMem 在2023年3月《自然》杂志上发表的11比特器件研究成果之后再次有突破性研究及发表,不仅巩固了该公司在 半导体存算一体领域创新的前沿地位, 更是为将来模拟数据中心和科学高精度计算铺平了道路。
在过往微电子技术发展的20年中,我们见证了摩尔定律(即计算机芯片上晶体管密度的指数级增长)的增速放缓,以及邓纳德尺度定律的终结(即更小的晶体管对应使用更少的电力)。GPU多核计算机架构,允许多个进程同时运行,以及系统级芯片(SoC)方法,将所有的处理过程集成到单一计算机芯片上,这些技术已经支持了如LLM大型语言模型及其他AI技术等大规模应用的实现,但代价巨大。
传统计算架构中扩展应用至更大规模,要求信息在存储器和逻辑单元之间移动更长的距离,此外,信息的这种移动带来了能源成本。例如,一个比特从芯片的一端移动到另一端的能量消耗大约为一个皮焦耳(pJ),这是切换一个晶体管所需能量的10,000倍。一个比特从一个芯片 (比如HBM DRAM)移动到另外一个芯片(比如GPU)能量开销大约为一个纳焦耳(nJ), 这个更是片上数据移动所需能量的1000倍。所以数字芯片虽然更精确,但其运作中的大量能源消耗在考虑到未来AI计算的需求量时,冯氏数字计算是不可持续的。
为了创造更强大、更快速、更节能的计算系统,以适用于人工智能(AI)和数值计算应用,需要新的计算方法, 比如模拟计算。我们的世界是模拟的, 我们的人脑也是模拟的。用模拟设备进行模拟计算是处理世界的最自然也是最高效的方式,但准确性存在问题。例如存内计算可以在一个计算周期内执行大量的向量矩阵乘法(VMM),但这些模拟方法的相对较低精度限制了其与传统计算的使用。 受类脑架构启发,本文 研究人员开发一种模拟电路架构,该架构使低精度的模拟设备能够执行高精度的计算任务。 在数字计算中,精确度是一个逐渐显现的概念。单个晶体管只有一位的精确度,但许多独立位的集合可以实现极高的精确度。同样地,模拟噪声限制了交叉矩阵线性代数计算到相对较低的精确度水平。
本文研究人员发现,他们可以专门使用后续的交叉矩阵来特别处理残余误差(期望与实现精确度之间的差异),从而整体上达到所需的精确度。这与一般数值计算的工作方式并无太大不同,通过连续相对简单的计算逐步接近无法直接解决的期望解决方案。在解决理论基础之后,TetraMem 与南加州大学J. Joshua Yang教授, Mike Chen教授, 马萨诸塞大学阿默斯特分校 Qiangfei Xia 教授及其他其合作伙伴合作,用实际芯片实验展示了对于单记忆体单晶体管阵列,大部分VMM可以以任意高的精度执行,然后以数字结果输出。在阵列的计算步骤之后,子阵列会动态补偿先前编程阵列的残余误差。这种方法在实验中被用来解决偏微分方程,具有软件级别的任意精度(<10−15误差)和比数字计算更高的能源效率。与数字方法相比,这具有数量级更高的效率,并且精度相似。同时,这个架构可以支持动态精度调整用来满足不同应用场景的需求。这样的模拟记忆设备允许计算机在记忆体中物理处理大量信息,具有高能效和吞吐量。新设计的秘密是“我们使用多个设备的加权和来表示一个数字,随后编程的设备用来补偿先前编程的错误,”论文中说。“通过忆阻器系统芯片,我们在实验中展示了对多个科学计算任务的高精度解决方案,同时保持了相对于传统数字方法的显著功率效率优势。”
TetraMem MX100 SoC 芯片, 内置存内计算NPU 和 RISC-V SoC。可搭配 TetraMem SDK 实现边缘AI计算。
《科学》杂志上的这篇文章描述了模拟计算如何能够以任意精度执行基本科学计算,这一发展为数据中心的变革性模拟计算应用以及进行复杂的高精度计算铺平了道路。 这项研究对于 业界模拟计算来说尤其重要。 也使TetraMem成为人工智能领域中擅长从半导体材料到高级应用的六维协同设计和协同优化的先驱。 强大的科研和研发能力,能够在2大顶级科学杂志出版论文, 同时获得认可客户及合作者,凸显了 TetraMem 作为该领域开拓者的角色。
随着 TetraMem 的不断发展,该公司致力于将其突破性技术转化为市场需求的产品,以满足人工智能应用中对节能计算解决方案日益增长的需求及解决算力焦虑。有关 TetraMem 创新论文的更多详细信息,请通过以下链接访问《科学》和《自然》杂志的文章摘要。 完整的文章需要订阅或购买。
https://www.science.org/doi/10.1126/science.adi9405
https://www.nature.com/articles/s41586-023-05759-5
TetraMem2023年3月《自然》杂志发表文字的相关报道:忆阻器技术领域大飞跃:初创公司实现单个存储器件数千个导电水平的CMOS集成,为未来智能计算揭开新篇章 (ijiwei.com)