11月17日,商汤科技发布并开源多模态大模型SenseNova Loop-9B。模型权重与相关代码同步上线Hugging Face,采用Apache 2.0许可证。先看几个数字:总参数量约9B,一次前向传播完成56次解码器层计算,等效推理参数约14.6B;上下文长度最高512K tokens;官方AWQ 4-bit量化版权重仅约4.9GB,结合不同量化粒度的KV缓存,最低显存需求约9GiB(64K上下文+4bit KV缓存)。老冀估算了一下:一个27B级别的模型如果按常规稠密架构部署,仅权重部分(BF16精度)就需要约50GB以上的显存,而Loop-9B把这一门槛压到了10GB以内——官方的说法是“部署显存需求低至10GB内”,这意味着许多低显存芯片也能跑出“前沿27B级别模型的性能”。
这是商汤对下一代模型架构的一次正面回答。过去两年,行业的主流打法是堆参数:模型越做越大,从70B到400B,用暴力规模换能力。Loop-9B走的是另一条路——不改参数规模,改计算的组织方式。具体来说,模型以32个物理解码层为基础,将第4–27层共24个中间层组成共享权重的循环模块,依次执行两遍,使一次前向传播完成56次层计算。模型卡列出的等效推理参数约为14.6B。
技术细节上有几个关键点。一是双流mHC(流形约束超连接):通过可学习映射,对循环模块中的两条残差流进行信息路由与融合,流混合映射由Sinkhorn归一化约束。二是混合注意力:解码器以四层为一组,采用三层线性注意力与一层全注意力相结合的配置。三是长上下文多模态:训练方案覆盖文本、图像、代码和工具调用轨迹,上下文长度最高扩展至512K tokens。老冀记得,MoE(混合专家)架构刚出来的时候,很多人质疑:总参数那么大、激活参数那么小,算力账怎么算得平?Loop架构面临的质疑其实同构——参数复用减少了独立权重的存储需求,但循环模块的重复执行仍需要实际计算。商汤在Loop Scaling实验中给出了回应:对比1到4次循环的训练与推理组合,AIDABench-QA和办公类任务在3次循环时收益最大,较基线分别提升6.42%和16.93%;LiveCodeBench V6和数据可视化任务在4次循环时达到峰值,提升8.10%和8.55%。正式版和Preview一样默认执行2次循环,以平衡推理效率。商汤也明确表示,未来将重点研究动态循环(Dynamic Loop)架构,让模型根据任务复杂度自适应匹配最优循环次数。
再看成绩单。官方评测显示,全部七项基准均超越10月31日发布的Preview版:AutomationBench从14.33升至36.67,Terminal-Bench 2.1从40.45升至59.55,GAIA从37.86升至69.90,BIRD从71.38升至72.34。与Qwen3.8-27B的对比更有意思:AutomationBench 36.67追平后者,AIDABench 65.31反超其65.01,NL2Repo 41.36则略低于后者的44.60。三局两胜一平——在Agent与数据分析评测中,模型展现出与27B模型相当的竞争力。需要注意的是,上述成绩均为商汤官方自评数据,第三方尚未复现,行业对循环架构的独立验证还需时间。
生态适配也在同步跟进。发布当天,沐曦股份与天数智芯均宣布完成Day 0适配。沐曦依托自研MXMACA全栈软件栈的原生算子优化,支撑长上下文、Agent多步骤推理、文档理解等任务;天数智芯则指出,循环架构对算力平台提出了新要求——需要正确承接共享权重的调用、循环计算顺序和mHC信息路由,“模型参数量之外,计算深度同样影响推理执行”。
Loop-9B的另一个卖点是部署门槛。得益于循环共享结构,模型仅需约9B独立参数,4bit量化后权重体积仅约4.9GB。结合8比特或4比特KV缓存,官方给出的最低显存需求为:64K上下文约10GiB(8bit KV)/约9GiB(4bit KV),128K约12GiB/约10GiB,256K约15GiB/约12GiB。也就是说,256K长上下文推理在4bit权重+8bit KV缓存下,显存需求约15GiB——这在单卡范围内。AI Weekly的评价是:一个9B开源权重模型在约10GiB显存内达到27B级的Agent能力,“对运行Qwen级Agent技术栈的团队来说是一根真实的推理成本杠杆”。当然,前提是推理框架能正确实现循环配置。模型卡明确要求:兼容的推理实现必须加载循环范围、循环次数和mHC路由参数,并保持相同的计算顺序。TPSReport指出,vLLM的支持正通过PR #64832推进、SGLang通过PR #47281推进,截至发稿均未合并。官方也坦诚了模型的局限:面对较多、较复杂的工具定义或多重条件约束时,可能出现理解与执行偏差;代码能力较Preview明显提升但稳定性仍有不足;复杂3D场景和丰富动态元素的高质量网页未必能单轮完成,部分案例需要2–3轮修复。
把Loop-9B放回商汤的整体棋局里看。10月31日,商汤先开源SenseNova Loop-9B-Preview,提供9B级Looped Transformer的开源实践;11月3日前后,SenseNova 6.8 Flash正式版发布,主打复杂任务执行与设计能力。有媒体分析认为,商汤正在通过“闭源模型主攻高复杂度落地,开源模型探索下一代架构”的双线策略,加速AI在真实办公与专业设计工作流中的落地。老冀看到的是另一层:这不是商汤一家的事。百度联合清华、人大高瓴也开源了LoopVL——同样把循环计算引入视觉语言模型,并提出“视觉顿悟时刻”(Visual Aha Moment):即使共享完全相同的参数,模型也能在不同循环中重新分配视觉注意力。加上DeepSeek、智谱、MiniMax等厂商的轻量化模型路线,行业的注意力正在从“更大的参数”转向“更聪明的计算组织方式”。
这条路线的终局判断还不宜下得太早。Loop Scaling实验显示,不同任务对循环深度的需求差异显著,训练与推理调度的一致性也会影响表现——循环并非越多越好。但方向已经清晰:当预训练数据与参数规模的边际收益递减,“以计算深度换参数规模”提供了一种新的扩展路径。至少从这份成绩单看,9B参数跑出27B的Agent能力、最低约9GiB显存跑512K上下文,这笔账,算得过来。