Astra之后：循环Transformer如何改变AI基础设施的成本计算

Tue, 08 Sep 2026 18:00:00 +0900

让小模型反复通过同一个神经网络，能否解决更难的问题？Lablup首席执行官申正奎在其讨论Astra与循环Transformer的Facebook文章中重新提出了这个问题。架构问题的背后，是一个很实际的基础设施决策：需要购买多少加速器和内存，又该如何运行它们。

公开研究已经展示了一种变化：在存储的权重保持不变时，反复执行共享计算模块，可以提高模型解决问题的能力。但重复计算需要时间和能源。模型更小，并不自动意味着服务更便宜。

这是一篇由申正奎的文章引发、结合原始论文与模型卡撰写的独立分析。对于原文对Astra的解读和公开证实的事实，需要分别看待。下文的产业影响属于附带条件的分析，资料核查日期为2026年9月8日。

Astra的成绩并未披露其内部架构

OpenAI在9月3日发布的公告确认了GPT-6 Astra的推出及能力提升。然而，本次查阅的发布公告和系统卡没有公开循环Transformer架构、递归次数，或总参数量与激活参数量。

因此，不能把Astra与Huginn式设计的联系当作已确认事实。原文中的10T与1T规模说法，以及有关AGI的引述，也不作为这次分析的前提。仅凭性能提高，无法确定模型内部究竟采用了什么结构。

循环研究仍然值得关注。公开模型已经尝试将存储参数的容量与推理时投入的计算分开调整。无需依赖前沿模型尚未公开的设计，这一方向本身就可以接受检验。

存储更多与计算更久是两种不同选择

参数是在训练中调整的数值权重。扩大模型通常会增加需要存储的数据。混合专家模型MoE根据输入选择部分专家模块，目的是让执行时的计算量相对于模型总容量保持较低水平。

MoE并非始于Switch Transformer。2017年的稀疏门控MoE论文更早出现，而2021年的Switch Transformer简化了大规模训练与路由。总参数量更大，也不必然表示网络层数更多。

思维链CoT生成中间推理词元，为后续计算扩展上下文。循环模型则把内部状态再次送入共享权重的模块。其区别在于，中间计算不必每一步都转成一个词。两种方法也可以结合使用，不要求彼此取代。

比较各自增加了什么，有助于理解成本差异。

方法	增加的资源	可能产生的成本
扩大模型	权重或专家容量	存储、激活计算、通信
思维链	中间推理词元	生成时间、上下文与缓存
循环深度	通过共享模块的次数	重复计算、延迟、状态管理

这是概念上的区分。实际经济性必须在相同准确率、输入长度和硬件条件下测量，不能仅根据结构名称判断。

先思考再回答的研究采用不同机制

Pause tokens在回答前提供额外计算机会。Quiet-STaR训练模型生成有助于预测后续词元的中间理由。名称中的“安静”不应被理解为已经证明模型采用了非语言的连续状态推理。

Coconut把最后的隐藏状态直接反馈为下一个输入，而不是先将其转成词语。这一方法探索在表达成语言之前，如何在内部表示中保留多种可能性。它并不是人类意识或持续运行的自主思考的证据。

循环深度研究包括2018年的Universal Transformer。它重复同一变换，并能为不同位置分配不同计算量。真正的难点是训练出有用的重复：共享模块必须处理不同阶段的状态，而多执行一次也应改善结果。层间角色冲突提供了一种直观解释，但不是解释所有失败的普遍法则。

复制层与共享同一组权重并不相同

Upstage的SOLAR 10.7B提出深度扩展DUS：复制已有层，删除其中一部分，连接成更深的模型，再继续训练。最初相同的副本会在训练后形成不同权重，最终模型存储的参数也会增加。

循环模型则持续共享同一组权重。DUS利用已有训练成果构建更深的模型；循环方法增加执行深度，却不要求存储权重同比例增加。把两者都视为同一种节省内存技术，会导致成本计算出错。

Huginn与Ouro的数字必须连同比较条件一起阅读

Geiping及其合作者的Huginn研究区分输入处理、循环核心与输出处理。核心通过多次执行优化内部状态。研究人员用800B词元训练了一个3.5B参数模型，并报告随着循环计算增加，推理任务的表现得到改善。

论文摘要中的50B需要谨慎解读。它描述的是：性能改善可以持续到相当于50B参数的计算负载。它没有保证所有任务上都能达到50B模型的质量，也没有保证以相同成本获得这种质量。少量权重承担更多计算是研究成果，服务经济性则需要单独实测。

ByteDance及其合作者在2025年10月公开了Ouro。论文涉及1.4B和2.6B的模型系列，并在不同基准上报告了与最大12B模型的比较。不过，Ouro-1.4B官方模型卡把这个具体模型描述为达到常规3至4B模型的表现。声称1.4B始终能够取代12B，会夸大这一比较。

阅读参数量时，还应同时记录训练数据量、循环次数及评测任务。推理阶段看起来高效，也可能建立在大量预训练投入之上。

存储权重减少并不意味着内存瓶颈消失

考虑一个用于说明的计算：3.5B参数，每个占2字节，仅权重就需要约7GB。反复使用同一组权重，不会让其存储需求随循环次数成倍增长。这只是算术示例，并非Huginn实际GPU总内存占用的测量结果。

推理总内存还包括复用先前上下文的KV缓存、中间状态及运行工作区。NVIDIA的推理优化说明也将权重和KV缓存区分为主要内存组成。上下文越长、并发请求越多，缓存压力就越大。能否在循环步骤之间共享缓存，取决于具体设计。

权重复用也不等于数据传输减少。如果权重无法持续留在快速片上内存中，下一次循环可能仍需从HBM重新读取。重复计算可能同时增加带宽需求。因此，在查看内存层级和实现代码之前，不能宣称循环会让HBM变得不必要。

提前退出的节省必须由软件真正实现

Mixture-of-Recursions（MoR）按词元调整递归深度，并围绕在当前深度仍然活跃的词元管理计算和缓存。其目标是把计算分配给更难的词元，避免在简单词元上继续投入资源。

实际服务环境会让这个问题更复杂。不同请求需要的循环次数不同，可能降低批处理效率。调度器必须让其他任务及时利用提前完成的请求所释放的资源。这是从架构推导出的运行挑战，不是某个商业产品已公布的实测结果。

Ouro模型卡给出了具体例子。模型支持提前退出，但卡片指出vLLM不支持这一功能，而会执行配置的完整循环次数。模型架构具备的能力，不会自动成为推理服务引擎已经实现的功能。

这也为评估Lablup等AI基础设施软件公司提供了具体问题：平台能否混合处理循环深度不同的任务、复用缓存，并在相同质量下减少完成时间和能源成本？这些是评估商业机会的问题，并非断言Lablup已经支持相关功能，或已经由此获得收入增长。

韩国半导体同时面临资源节省与使用量扩大的可能

下表是循环模型获得更广泛采用时的条件情景，不是盈利预测。

条件	可能的产业影响	需要的证据
同等质量所需权重和缓存减少	单次请求的内存压力下降	同等上下文和并发条件下的内存实测
困难问题使用更多循环	加速器运行时间和能源需求增加	每项成功任务的GPU时间与能耗
成本下降促进使用量增长	基础设施总需求稳定或增加	客户实际用量与采购计划
循环和缓存管理降低批处理效率	商业化延后	相同延迟目标下的吞吐量

对于Samsung Electronics和SK hynix等内存供应商，总需求同时取决于每次请求的资源消耗和请求总数。效率提升可能促进采用，但不能假定新增用量必然超过节省的资源。仅凭本次分析，不足以调整HBM需求或相关公司的盈利预测。

更有意义的比较单位，是完成一项成功任务的成本。即使基准分数较高，如果重复计算过慢、重试频繁，实际成本仍可能上升。反过来，如果额外计算充分提高首次成功率，总成本也可能下降。

下一步应检验任务成本，而不只是参数量

检验循环模型的产业价值，需要在相同准确率下比较总内存、完成时间、能源和并发吞吐量。不仅要看简单问题的平均值，也要看最慢一部分请求的延迟。如果增加循环不再改善质量，或批处理效率损失超过资源节省，商业化的理由就会减弱。

未来如果Astra披露更多架构信息，就可以重新判断它是否属于这条研究路线。在此之前，已经可以确认的变化是：基础设施规划除了考虑存储模型的大小，还必须考虑每个问题应计算多久、何时停止。把这种灵活性转化为实际成本下降，是硬件与软件需要共同通过的检验。

Lablup on Korea Invest Insights