SYNWorld V0.5

01为什么从 Scaling 出发

把 Scaling 作为研发选择

我们选择建设能够持续利用数据与算力的学习系统。Sutton 在 The Bitter Lesson 中强调了可随计算资源扩展的通用学习方法的长期价值。对具身智能而言，下一阶段应该扩大模型、增加数据，还是补充模态和任务，需要通过实验判断。

在系统设计之初，我们就考虑了如何接入新数据和新模态，以及如何支持更大模型和更长序列的训练。这样，后续扩展就能沿用已有的数据流程与训练系统。

Scaling 是各向异性的

模型、数据、模态和任务覆盖的扩展都有潜在收益，但同等投入带来的能力提升并不相同。我们需要通过实验找到当前阶段收益最大的扩展方向，也就是最大的 scaling 斜率。

我们沿四个方向推进：

• 模型容量：增大模型，让它能够学习更复杂的操作规律。
• 数据规模：增加高质量训练数据，让模型更充分地学习不同操作过程。
• 模态覆盖：从视觉、动作扩展到触觉等信号，让模型获取接触状态等信息。
• 任务与场景：覆盖更多物体、环境和任务组合，让模型能处理训练中没见过的情况。

我们会综合考虑这四个方向，在比较实际任务表现提升的同时，评估数据质量以及训练与推理成本。随着模型能力和数据分布变化，最值得投入的方向也会变化。

Scaling 的数据支持

第一人称人类活动数据（Ego）记录了多种日常操作与场景，是我们扩展数据的重要来源。这类视频记录了多指协同、接触调整和工具使用的过程，模型可以从中学习人手如何完成任务。为降低采集门槛，我们研发了肌电全模态数据采集方案，通过腕部手环信号重建手部姿态并估计触觉信息。后续，我们计划将包含肌电手部姿态的 Ego 数据用于基础模型训练。

不同来源的数据提供不同形式的监督。自然活动视频帮助模型学习物体、场景和运动，Ego 数据则提供近距离的人手操作过程。不过，人手的姿态与轨迹不能直接作为机器人的控制指令，视频也难以完整恢复接触信息。真机数据能提供直接的动作监督，但采集成本较高，且通常与特定机器人本体绑定。我们结合这些数据开展预训练，再用真机数据针对具体任务进行后训练。

手脑一体设计

大量工具和工作空间都是为人手设计的，许多复杂任务需要手内调整、多点接触和多指协同等能力才能完成。因此，我们坚定选择灵巧手作为面向广泛生产生活任务的核心执行形态，走手脑一体的路线，协同优化数据、模型和硬件。

具体研发中，我们根据任务需求和硬件能力，确定要采集哪些手部状态、模型要输出哪些动作。随后，通过实际执行检验模型预测，并根据结果改进数据、模型和硬件。支撑手脑一体设计的基础设施已用于 SYNWorld V0.5 的研发，更完整的协同开发内容将在后续发布。

02数据系统：支撑持续 Scaling 的数据基础设施

Scaling Engine 将数据准备、训练输入和分布式训练连接起来，支撑模型与数据持续扩展。数据系统以可组合流水线组织异构算力，将不断增长的原始数据转化为可追溯、可复用的训练输入。

数据配方与覆盖范围

目前，SYNWorld 的数据金字塔由广到深：通用图像与视频提供世界知识、视觉结构和时间动态；Ego 第一视角数据覆盖人类行为、交互过程和长时任务；UMI 数据连接状态、动作与结果；真机任务数据聚焦精细操作、困难样例和能力边界。训练数据总规模为 30+ 万小时，目前每日新增 1 万小时+，覆盖 1K+ 场景与 10+ 种机器人本体。

可组合的分布式流水线

自研 Ray-based 分布式流水线将解码、筛选、标注与编码组织为可组合阶段，各阶段独立配置资源与并发。样本状态和产物独立持久化，使处理模型、执行任务与计算资源可以分别演进。

计算、网络与存储协同优化

异构硬件与算子优化按 GPU 架构选择算子、精度与 batch 配置；敏感算子采用高精度回退，并对照参考输出校验误差。网络优化结合拓扑感知与数据就近处理，减少传输、序列化和内存拷贝；存储与 I/O 优化结合分片与批量读写、本地缓存与异步预取，让数据搬运与计算重叠执行。

弹性执行与持续自动优化

自适应流控与弹性计算让数据处理与训练共享资源池，依据队列需求和可分配资源调整并发、扩缩数据 worker，并以背压控制中间数据量。自动调优试跑 batch、并发、预取与硬件配置，在精度和质量达标后应用更高效的参数。

Agent 辅助监控与运维关联日志、资源指标和样本进度，完成瓶颈诊断与实验编排；实验记录和有效配置构成持续上下文，支持长任务跨会话推进。

03训练系统：支撑多模态模型持续 Scaling

Scaling Engine 的训练层将多样的任务组织为高效的分布式计算，让模型、序列长度与训练规模共同扩展。训练基础设施的系统级优化，带来整体 10 倍的训练效率提升。

可组合的统一训练框架

组件化框架将模型、模态、条件、Loss 与优化过程解耦，通过配置组合多任务与不同训练范式。冻结编码分支复用输入与编码配置匹配的离线特征与缓存；需更新的分支和原始输入增强走在线处理与增强。两条路径按任务组合，共用预训练与后训练循环。

联合采样、变长训练与负载均衡

联合采样动态控制数据源、任务与模态配比；变长训练通过长度分组与 Sequence Packing 减少 Padding，保留样本边界、Mask 和位置坐标。Shard Balance结合序列长度、Mask 与计算成本分配跨 Rank 负载，按 Token 预算动态调整 Micro-batch；跨 Rank 对齐同步步骤，按全局目标权重归一化 Loss。

自定义 Attention Mask × CP × Varlen

优化 Attention 算子联合支持自定义结构化 Mask、上下文并行（CP）与变长序列（Varlen）。样本隔离、跨模态可见性与各样本的位置坐标在切分后保持一致；Mask 感知调度、融合计算与 KV 通信重叠共同支撑长序列训练。

多维并行与执行效率

TP、PP、EP、CP 与 HSDP按模型结构、集群拓扑和实现兼容性组合。BF16／FP32 精度策略、选择性激活重计算与状态分片控制显存；融合算子、编译优化、参数预取及计算通信重叠提高训练效率。

异步保存与可靠运行

Async Save先完成一致性快照暂存，再允许训练修改对应状态；后台写完全部分片与元数据后提交 checkpoint。恢复时加载模型、优化器、调度器、随机数与采样进度，并支持跨规模重分片加载。异常检测与性能诊断关联 Loss、梯度、慢 Rank 和通信状态，持续观测 MFU、有效 Tokens/s 与 Step Time。

04SYNWorld V0.5

在同一架构中处理语言、视觉和动作

SYNWorld V0.5 的架构设计考虑了四类差异：语言、视觉和动作的表示方式不同；视频与动作的采样率不同；各数据源包含的动作字段不同；不同任务的条件和预测目标也不同。为此，模型采用了Mixture-of-Transformers（MoT）架构。动作和视觉保留各自的模态参数，并通过跨模态注意力交换信息；语言模型则将描述和任务指令编码为逐层 K/V，为动作与视觉生成提供条件。

动作经过坐标转换与归一化后形成 59 维固定长度表示，具体信息如下：

用物理时间对齐不同模态

视频帧、VAE 压缩后的 latent 帧和动作序列通常具有不同采样率。模型采用三轴 mRoPE，为视觉 token 保留时间、高度和宽度坐标，为动作 token 分配时间坐标；两者按采样率映射到共同时间轴上。这样，模型可以在注意力中关联同一物理时间内的动作与视觉变化。

通过条件与目标的分配统一学习任务

模型使用 flow matching 学习连续视觉与动作的生成。对需要预测的目标，把数据与高斯噪声按噪声水平 $\tau$ 插值：

模型预测数据到噪声路径上的速度，生成时再从噪声端向数据端积分。作为条件的观测或动作保持不变，损失只计算在需要生成且有效的目标元素上。视觉和动作分别使用独立的输出头与损失。

这一接口让不同任务共用骨干网络：视觉生成以图像或视频为目标；动作条件预测以未来动作为输入，预测未来视觉；联合生成则同时预测未来动作和视觉。条件与目标的选择决定加噪范围，有效目标掩码决定损失范围，注意力规则单独控制可见范围。

从视觉生成到动作—视觉联合学习

预训练分为两个阶段。第一阶段使用通用图像和视频学习视觉生成与时序变化，称为 GV（Generation of Video）；第二阶段在沿用视觉接口和生成目标的基础上，引入 Ego、UMI 与机器人数据，并加入动作预测，称为 GVA（Generation of Video and Action）。GVA checkpoint 是后续不同任务后训练的共同起点。

令 $z^v$ 表示视觉 latent，$z^a$ 表示动作序列，$M^v$ 和 $M^a$ 为对应的二值有效目标掩码。$X$ 表示当前任务的全部动作与视觉输入，$c$ 表示观测、语言或动作条件。构造 $X_{\tau }$ 时，条件保持干净，各生成目标按 $z_{\tau }^m=(1-\tau )z^m+\tau {ϵ}^m$ 加噪。模态 $m$ 的速度头读取共同输入 $X_{\tau }$，损失仅计算该模态的有效目标；$\delta >0$ 防止零分母：

两个阶段的区别在于输入组织、生成目标与条件。$X_{\mathrm{GV}}$ 只包含视觉输入；$X_{\mathrm{GVA}}$ 包含视觉与动作，两种目标在同一次前向中交互并分别计算损失。

从 GVA checkpoint 出发，可以分别后训练得到 WAM 与 ACWM。WAM 根据观测历史和任务条件生成未来动作及视觉预测；ACWM 则根据历史观测和未来动作预测环境变化。两条路径共享预训练基础，之后独立更新参数并保存 checkpoint。

WAM 后训练仍使用联合目标。$X_{\mathrm{WAM}}$ 包含观测历史与待预测的未来动作、视觉，历史保持干净，未来目标共同参与去噪：

ACWM 训练以真实的未来动作为条件，预测对应的未来视觉。若划分为 K 个时间块，$X_k$ 以第 k 块视觉为目标；$c_k$ 包含初始观测、可见的真实视觉历史 $z_{<k}^v$、给定动作与语言。推理时，视觉历史替换为此前生成的结果：

推理效率：减少重复计算并适配分块生成

WAM 推理包括动作—视觉 Transformer 的多步去噪和视频 latent 解码。基线配置下，Transformer 单步执行耗时 263 ms，30 步去噪共耗时 7,934.61 ms。采用编译、FP8 计算和 CP4 并行后，单步耗时降至 64.63 ms，加速 4.07×；再用两步 DMD2 将完整去噪压缩至 131.28 ms，相较基线 30 步流程加速 60.44×。视频解码经过编译、宽度切分、CUDA Graph 和 Winograd 优化后，耗时从 1,418.14 ms 降至 149.64 ms，加速 9.48×。

05评测：检验预训练能否提升下游任务能力

我们通过三类评测考察预训练能力向下游任务的迁移：

• 在真实机器人任务中，以预训练模型初始化网络，并用不同数量的样本进行 WAM 后训练，比较任务表现和数据效率；
• 在 LIBERO-Plus 仿真环境中进行多任务 WAM 后训练，比较模型在多种扰动下的成功率；
• 通过双盲人工偏好测试，比较基座模型的视频生成与世界预测表现。

真机任务：不同数据预算下的后训练

真机评测覆盖摆放餐具、倒豆子、摞盘子和叠衣服四项任务。每项任务分别使用 50、100、200 或 400 条示教轨迹进行后训练，并比较 SYNWorld V0.5、π0.5 与 Cosmos3 Nano 三种预训练模型。主要指标为可靠任务效用分（0–100），由各分解步骤得分和整体任务完成率加权计算。

在四项任务的所有可比数据预算下，SYNWorld V0.5 的可靠任务效用分均高于 π0.5；在 400 条轨迹预算下，也均高于 Cosmos3 Nano。

LIBERO-Plus：标准化仿真评测

LIBERO-Plus 包含 10,030 个带外部扰动的任务案例，扰动分为 Background、Camera、Language、Light、Layout、Robot 和 Noise 七类。

SYNWorld V0.5 的总体成功率为 87.78%，Cosmos3 Nano 为 85.66%，π0.5 为 85.41%。在本次评测设置下，以 SYNWorld V0.5 初始化的后训练模型取得了更高的总体成功率。

视频生成：双盲人工偏好评测

我们也评估基座模型对视觉世界的建模能力。测试以 Cosmos3 Nano 为基线，在相同条件下生成视频并随机排列，再由多位评审者从语义遵循、视觉质量和物理规律三个维度，对随机抽取的 60 组结果进行双盲比较。

在这 60 组比较中，三个维度的 Good 票数都高于 Bad 票数。语义遵循、视觉质量和物理规律的净偏好率分别为 46.7%、26.7% 和 51.7%。

WAM 结果实录：四项真机任务

以下视频展示 SYNWorld V0.5 WAM 使用 50 条示教轨迹后训练的结果，任务包括定位摆放物体、连续控制姿态、对齐并接触目标，以及分阶段操作柔性物体。

ACWM 结果实录：动作条件下的未来预测

以下两段视频展示 SYNWorld V0.5 ACWM 后训练结果：输入是人类实时执行的动作，输出是对应的视频预测。演示中，人类双臂姿态变化时，模型会随动作推进预测画面，并延续主要物体关系。视频也呈现出较好的时间连续性和视觉一致性。

06下一步：持续 scaling，持续进化

SYNWorld V0.5 建立了视觉与动作联合预训练的基础，并在真机任务中展示了通过少量示教学习多种操作任务的能力。支撑其研发的 Scaling Engine，也为后续扩大数据与模型规模提供了基础设施。

我们的目标是让模型通过少量示教，就能完成真实生产生活中的各种任务。为此，还需要引入力觉、触觉等模态，让模型学习更完整的物理交互过程，并持续扩大数据、模型和训练规模，提升处理复杂任务的能力。接下来，我们将围绕灵巧手、全模态数据采集和模型训练协同推进，通过真实任务检验每一步扩展带来的提升。

手脑协同：围绕真实任务共同迭代

我们将围绕需要多指协同、手内调整和复杂接触的任务，共同改进自研灵巧手与模型。一方面，针对自研灵巧手优化 Scaling Engine，例如将 Ego 数据中的人手动作重定向到对应硬件。另一方面，通过软硬一体构建生产力闭环，将真实任务中的执行反馈用于指导硬件设计与优化。

全模态数据：拓展肌电数采方案

我们将继续拓展自研肌电全模态数采方案，获取大规模真实场景下的多模态操作数据。通过结合视觉、力觉与触觉等信息，补充视频中难以直接观察的接触状态与受力变化，帮助模型理解动作如何影响物体运动，以及同一动作在不同接触条件下为何会产生不同结果。

智能持续 Scaling：扩大规模，检验能力增长

我们将继续扩大模型、数据和训练规模，并扩展模态与任务覆盖。通过比较模型在真实任务中的表现，以及学会这些任务所需的示教量，我们将评估不同扩展方向带来的收益。在同等投入下寻找更有效的扩展方向，逐步提高模型通过少量示教学习复杂任务的能力。

Scaling Engine：探索更自主的研发循环

我们将继续扩展 Scaling Engine，探索通过 agent harness 支持更自主的研发迭代。目标是让 agent 串联实验方案制定、数据处理、训练执行和结果分析，并据此调整下一轮实验。我们希望 agent 能结合历史实验与当前结果，减少研发中的重复操作，加快模型与数据方案的验证。