硅谷初创公司SambaNova Systems日前宣布推出一款新型人工智能芯片SN40L，专为训练和推理而设计，但只能通过该公司平台“SambaNova Suite”使用，SambaNova声称其新处理器可以帮助公司在短短几天内建立并运行自己的大型语言模型（LLM）。
这家公司已筹集了超过10亿美元的风险投资，新的芯片采用台积电(TSMC)的5纳米工艺制造，拥有分布在1,040个内核中的1,020亿个晶体管，运算速度高达638 teraflops。它还具有新颖的三层内存系统，旨在应对与人工智能工作负载相关的巨大数据流。
SambaNova还声称，仅由8个此类芯片组成的节点就能够支持多达5万亿个参数的模型，这几乎是OpenAI的GPT-4 LLM报告大小的三倍。序列长度（模型可以处理的输入长度的度量）高达256K，这意味着总拥有成本不到行业标准方法的1/25。
新芯片使用与该公司之前的处理器相同的“数据流架构”。SambaNova的基本论点是，现有的芯片设计过于注重简化指令流，但对于大多数机器学习应用程序来说，数据的高效移动是一个更大的瓶颈。
为了解决这个问题，该公司的芯片采用了由高速交换结构连接的内存和计算单元的平铺阵列，这使得可以根据当前的问题动态地重新配置单元的连接方式。这与该公司的SambaFlow软件携手合作，该软件可以分析机器学习模型并找出连接单元的最佳方式，以确保无缝数据流和最大程度的硬件使用。
SambaNova对于如何处理AI芯片的另一个热门话题——稀疏性也持谨慎态度。LLM中的许多权重都设置为零，因此对它们执行操作会浪费计算量。找到利用这种稀疏性的方法可以显着提高速度。SambaNova在其宣传材料中声称SN40L“同时提供密集和稀疏计算”，这在一定程度上是通过软件层的调度和数据传输到芯片上实现的。
SambaNova表示，它可以提供构建AI模型所需的所有硬件和软件，企业无需争夺芯片或AI人才。“只需几天即可启动并运行，而不是几个月或几个季度，现在每个公司都可以拥有自己的GPT模型。”
