自变量发布 DMuon 优化器：通过分布式改造 Muon 大模型基础设施，使具身模型训练提速 30%

神经网络优化器是大模型训练的底层基础设施，负责调度更新模型权重的方向和步长等。近年来，Muon 优化器在大语言模型训练领域逐渐成为焦点，展现出相比 AdamW 更快的收敛能力。自变量的实验发现，在具身智能训练场景中，受益于不同于语言模型的模型结构与优化需求，Muon 进一步展现出良好的适配性，相比 AdamW 在训练效率和最终性能上均取得显著提升。

但在应用于分布式计算时，Muon 相比 AdamW 引入了额外的计算和通信系统开支，导致端到端步时间飙升到 AdamW 的 2.2 倍左右，计算收敛更快的提效被额外系统开支所吞没，相较 AdamW 不具有绝对优势。

近日，自变量机器人发布了一种高效的分布式 Muon 基础设施 DMuon，将细粒度通信优化、计算感知负载均衡与高性能内核系统相结合，能够消除 Muon 应用于分布式训练时额外引入的系统开支，端到端步时间从 AdamW 的 2.2 倍降低为 1.02 倍，整体模型训练提速约 30%。此外，DMuon 不改变参数更新规则、不需调整训练框架，只需 3 行代码就能引入，有望成为具身模型训练时新的默认选项。

不仅如此，神经网络优化器作为大模型训练的底层设施，过去的优化主要由 OpenAI、DeepSeek、Kimi 等公司贡献。但 Muon 优化器面对的额外系统开销问题，在具身模型训练时又格外突出。自变量此次发布 DMuon 优化器，是罕有的具身模型企业为大模型底层基础设施的优化改造做出贡献。

Muon 优化器能更快计算收敛，

但应用于分布式训练仍需改造

Muon 是近两年出现的一种革命性的神经网络优化器，能通过“矩阵正交化”大幅提升训练效率和收敛速度，计算效率相当于过去以逐个元素计算的优化器 AdamW 的 2 倍，已经被 Kimi-K2 与 DeepSeek-V4 在生产规模的训练中使用。

然而，Muon 在实际生产部署中仍有阻碍。大模型预训练时，会将原本存储在单个 GPU 上的模型参数、梯度和优化器状态切割成多个部分，分散到集群中的不同 GPU 上分别存储和计算。这与 AdamW “逐个元素更新”的工作方式相契合，因为其更新只作用于本地分片；但与 Muon 的工作方式相冲突，因为其核心计算步骤 Newton–Schulz 迭代需要知道完整的权重矩阵而非单个分片的信息。

因此，在将 Muon 应用于分布式训练时，必须先重建出完整矩阵、引入逐元素优化器所没有的计算和通信。这笔额外的开销会出现在每一个优化器步骤、矩阵参数上，并随模型规模和分布式宽度而增长。对于具身模型，这种影响更甚：因为具身模型的时序上下文更短，前向-反向传播占比更小，使得优化器的开销更难被摊销。

简单来说，将 Muon 优化器应用于大模型预训练的分片计算时，由于每个 GPU 都需要拼接出完整矩阵、计算同样的 Muon 更新，这带来了海量的重复计算和拼装通信。其结果是，每步训练时间反而达到 AdamW 的 2.2 倍：Muon 在计算效率上省下的时间，又被系统开销消耗掉了。这使得在分布式计算时，Muon 相比 AdamW 尚不是一个能完美替代的选项。

自变量三项改进消除系统开支，

端到端步时间接近 AdamW 水平

为了解决 Muon 应用在分片计算上的难题，自变量机器人提出 DMuon ——一个将每步性能差距缩小到 AdamW 水平的分布式 Muon。简单来说，DMuon 既能保留 Muon 计算收敛更快的好处，也能让端到端步时间接近 AdamW，让 Muon 从“理论上很美、生产上很贵”变成可以默认启用的选项。

通过细粒度通信优化、计算感知负载均衡、高性能内核系统这三方面改进，DMuon 能消除冗余的优化器计算。相比传统的分布式 Muon，DMuon 能将端到端单步计算时间加速 1.48-3.01 倍，将优化器步骤加速 6.85-163 倍，将端到端步时间平均保持在 AdamW 的 1.02 倍以内。

DMuon 主要提出了三项改进方法：

1、Owner 中心执行与细粒度通信优化。

Owner 中心执行是 DMuon 解决“冗余计算”和“通信开销”问题的核心架构。原生的分布式 Muon 会让每个显卡都计算完整梯度和 Newton–Schulz 迭代，显卡越多重复计算越多。DMuon 则将每个矩阵参数分配给唯一的 Owner rank（所有者进程），只有它会保存这个矩阵的优化器状态、执行 Newton–Schulz 迭代计算，再将需要更新的参数分发给需要的 GPU。

由于 Owner 需要收集各 GPU 计算的梯度、发放计算完的新权重，这也带来了额外的通信开销。DMuon 会将这些通信“插空”放在计算的空档里，有三个关键设计：一是让相邻矩阵的通信分散到不同节点间通信组，多路广播可以并发而不排队；二是前向传播中，节点间广播提前发出、节点内广播临近使用才发出，让通信“错峰”进行；三是反向传播中，将“广播下一层参数”与“规约本层梯度”两类通信错开编排。

经过实验，原生的 Muon 优化器的计算时间不随 GPU 数下降而下降，而DMuon 能伴随 GPU 数线性下降，说明冗余计算被消除、GPU 越多收益越大。

2、形状自适应执行栈。

在消除不同 GPU 的重复计算后，优化 Newton–Schulz 就成了主要问题。需要计算的权重矩阵形状通常很不一致：有些矩阵能独自占用整张 GPU、有些矩阵需要凑在一起才能喂饱 GPU。这些不同形状矩阵的优化方法差异很大，需要一套“形状自适应”的执行栈，让优化的数学形式、执行方式和底层内核随之改变。

对此，DMuon 作出四项优化：1、采用 Gram 空间递推，将 NS 迭代从 m×n 的矩阵空间搬进 m×m 的 Gram 矩阵空间，将主要计算量从 O(m²n) 降到 O(m³)（m

3、计算感知负载均衡。

DMuon 会基于实测成本来优化 Owner 的工作量分配。虽然每个权重矩阵的更新只由一个 Owner 计算，但由于矩阵大小差异悬殊，计算耗时可能相差数个数量级。如果 Owner 分配不当，可能出现有些 GPU 计算满载、有些 GPU 闲置的情况。

DMuon 在初始化时，先将所有矩阵按形状分组，针对每种形跑完一遍完整的计算，并记录下实测耗时。然后使用混合整数线性规划（MILP）来优化分配，降低所有 Owner 中最慢者的完工时间，以提升整体的计算效率。

三行代码启用 DMuon，

成为具身模型训练“默认选项”

自变量将 DMun 优化器的效果在真机上进行了测试。测试是在一个 A800-SXM4-80GB 的集群上完成的（每节点配备 8 张 GPU，节点内通过 NVLink 连接，节点间通过 200 Gb/s 的 InfiniBand 网络连接），数据精度为 bf16。主要对比的是相同配置的 AdamW 优化器，以及原生的分布式 Muon。

实验发现，原生 Muon 优化器的计算时间不会伴随显卡数下降而下降，说明存在大量的冗余计算；DMuon 则近乎线性下降。当显卡规模较小时，Muon 由于节约了一半优化器显存占用，所以能够开启更大的批大小，计算利用率领先于 AdamW。在规模增大之后，计算效率基本持平 AdamW，但 Muon 本身提供了更快的收敛速度，在自变量预训练设置下，仍能够获得约 30% 的训练收益。

DMuon 采用模块化设计，提供 Drop-In 式接入方式。用户无需修改现有训练代码或调整 PyTorch FSDP 分布式训练流程，仅需数行代码即可完成集成，享受到 Muon 在分布式环境下的高效执行能力。

未来，自变量还将进一步探索面向大规模模型训练的系统优化方向，包括适配更复杂的混合并行策略、结合更底层的通信机制优化，进一步提升优化器在超大规模分布式训练中的扩展效率。