全文约 1.5 万字 · 预计阅读 35 分钟

Natura-1 是自然意志发布的首个物理世界的通用基础模型。它可以零样本遵循语言指令，执行灵巧操作，并在开放场景泛化。

VIDEO / VIDEO-01

Natura-1 综合演示

01 Natura-1

自然意志（Nature Will）的使命是实现通用物理智能。我们致力于构建能够原生地从人类经验中学习、掌握灵巧操作，并在物理世界中泛化的通用基础模型。这个物理世界由人手塑造，供人手取用：我们先制造工具适配双手，再用工具改造环境。置身这样的世界，一个真正的通用机器人必然具备灵巧操作能力。

然而，把高自由度的灵巧操作纳入通用基础模型，一直是物理智能难以企及的前沿。接触动力学的容错范围极小，动作空间随手部关节数量的增加呈指数级扩张。因此，既有研究大多聚焦于两条路径：为夹爪末端构建通用策略，或为灵巧操作配置特定任务和场景。

今天，我们正式发布Natura-1，这是自然意志发布的首个面向物理世界的通用基础模型。Natura-1 是一个拥有500亿参数的混合专家（MoE）架构模型，基于超百万小时的人类第一视角经验数据完成预训练。它接收语言指令和视觉输入，以100毫秒的控制周期驱动20自由度的灵巧手执行动作。

在此基础上，我们用少量真机数据施加高效后训练，将预训练所学的世界知识适配到灵巧操作，使模型能够在广泛的陌生场景中实现泛化。Natura-1 可以零样本遵循复杂的自然语言指令，对空间约束、多物体关系和否定条件等现实规律进行推理。它还能自主执行长时序工作流，比如折叠易变形物料、以柔顺的笔触创作书法，以及在多阶段任务中适时切换工具。

这些结果初步揭示了一个事实：单一基模可以从人类经验中习得灵巧技能，并将其运用于陌生任务和环境。我们的目标，就是让模型从更大规模的人类经验中学习以持续拓展能力，而非为每项任务定制方案。

02 全栈规模化

模型的通用性取决于它习得的经验广度。物理世界变化万千，预设任务与手工设计Skill难以穷尽。所以我们的目标很明确：极尽所有可能的环境和任务数据，用极大的算力去训练一个极大的模型。但仅扩大模型规模、增加算力，仍不足以带来通用性。要泛化到物理世界，经验就必须像世界本身一样丰富。

因此，在动手构建任何东西之前，我们要回答一个问题：如此规模的物理经验从何而来？至少目前，机器人还无法提供。真机数采受限于硬件本体的固有能力：一台机器人只能在其已能运行的场景中采集数据，同时也只能在已有数据存量的场景中运行。而人类的活动几乎已经覆盖所有环境和任务，双手贯穿其中。这就是为什么Natura-1选择从人类经验中学习智能，并面向灵巧手设计实现。

运用如此规模的人类数据，我们必须自研完整技术栈。我们的数据基建以统一的湖仓架构管理着数十PB的资产，每周吞吐数十万小时第一视角视频。它在视频和切片两个层级对所有来源的数据进行去重、视觉筛查与异常检测，并对各项任务实施配额管控，使数据分布逼近真实人类活动。随后，我们从单目和双目视频中重建稠密的三维手部姿态。并按全局目标、子任务、原子步骤逐层标注每项活动。

机器人末端虽尚不能完备映射到人类双手，但拟人灵巧手已经是目前最接近的形态。经筛选，处理后的语料库共包含100 万小时的语言条件动作轨迹。

我们使用自研的分布式引擎在这些数据上训练模型。该引擎与500亿参数的混合专家（MoE）架构模型协同设计，旨在统一视觉世界建模与动作生成。训练Batch直接从对象存储中流式读取，不依赖共享文件系统。在我们的工作负载上，定制的Attention算子性能显著优于FlexAttention等通用基线。

在数百张 GPU 的长时间训练中，模型 FLOPs 利用率（MFU）持续保持在 50% 以上。预训练之后，只需少量真机遥操数据即可将模型适配到灵巧手动作空间。在推理阶段，Rust 调度层使观测流式传输、计算和动作传输重叠执行，同时CUDA算子融合减少关键推理路径上的延迟，共同实现了在真机硬件上维持严格的100毫秒的观测—动作循环。

这套基建的每个组件都从一开始就面向可扩展而设计，Natura-1是首批在其中训练的模型之一。

下文所有视频、所有结果，都来自同一个基础模型：Natura-1。†

† 标有 † 的六项长程任务在 Natura-1 基础上进行了额外微调；其余所有结果均使用同一套模型权重。

03 真实世界中的能力

我们在配备灵巧手的真机双臂机器人上评估 Natura-1。先以十二维基准测试灵巧操作，再考察同一策略能以多高的精度、持续多久，在无人干预下完成多步任务。这些持续数分钟的任务既考验精细的手部控制，也要求全程的动作协同。接下来是零样本泛化：面对从未训练过的任务，Natura-1 能否遵循开放的语言指令完成操作。最后一部分则展示不在我们测评计划之内的能力：当任务偏离预期时，模型自行想出的应对策略。

结果表明，同一个基础模型可以兼具灵巧性与通用性，也让我们初步看见：随着规模扩大，一些未经预设的物理能力开始涌现。

3.1 灵巧操作的基准评测

目前尚无公认的灵巧手基础模型可供同等条件的对比。因此，我们选择了两种范式的代表作为基线：成熟的视觉—语言—动作（VLA）基础模型 π0.5；以及前沿多模态大模型 GPT-6-Astra，后者直接编写代码充当控制策略。

在我们的双臂平台上（珞石AR5 搭配 Wuji 灵巧手），两者均未取得可计分结果：π0.5 即便经过真机灵巧手数据微调后仍未成功；GPT-6-Astra 则未能在每项任务 60 分钟的时限内得分。我们还在 ARX AC One 双臂夹爪平台上评估了这两个基线；其中，π0.5 先用夹爪示范数据微调，所包含的通用任务与 Natura-1 灵巧手训练集完全相同。

在这一设置下，π0.5 和 GPT-6-Astra 使用夹爪的得分分别为 13.5 和 16.7；而Natura-1 使用 20 自由度灵巧手，Base 得分为 53.4，Agentic 得分为 59.1。

FIG01 · Natura-1 基准评测结果

下面四项任务展示了这套基准的设计原则：任务本身，以及涉及的场景、物体和动作组合，均未出现在 Natura-1 的后训练数据中。所有评测均基于同一套固定的实机轨迹训练集，不做任务专项调优，因此每项结果反映的都是泛化能力，而非对已训练内容的复现。每段执行视频旁附有从训练集中检索出的最相近示范，供读者理解基准设计，并判断任务与模型既有训练经验之间的差异。

剖析泛化能力｜四项任务

基准任务 01 / 04

装载并搬运盘子

视频时长：0:33

组合泛化；工具与物体泛化；空间与场景泛化

Natura-1 · 零样本执行

关键时刻

0:01 — 将苹果放入碗中

0:12 — 将瓶子直立放在盘子上

0:23 — 搬运装好物品的盘子

检索到的相近训练示范

抓取并放置水果

搬运已装好物品的盘子

指令：把红苹果放进蓝碗，把粉色瓶子放到盘子上，再把装好物品的盘子搬到蓝色餐垫上。

Natura-1 将物品放到中间的盘子上，再用双臂将其搬走，全程没有移动旁边的盘子。训练示范中的动作彼此独立，例如拿起水果，或搬运一个已经装好物品的盘子。在这里，模型将能力泛化到瓶子的抓取，并在不同的桌面布局中将这些动作串联起来；搬运时，还要保持盘子平衡，并避开相邻的盘子。

基准任务 02 / 04

抽纸、擦拭与丢弃

视频时长：0:18

空间与场景泛化；新动作泛化

Natura-1 · 零样本执行

关键时刻

0:02 — 抽出一张纸巾

0:06 — 擦去水渍

0:12 — 丢弃用过的纸巾

检索到的训练示范

抽取并放置纸巾

指令：从纸巾盒里抽一张纸，擦干杯子旁边的水渍，再把用过的纸巾扔进垃圾桶。

Natura-1 抽出纸巾，擦去杯子旁边的水渍，再将用过的纸巾丢入垃圾桶。训练示范只展示了从盒中抽纸、再放到盘子上的动作；在这里，模型用纸巾完成清洁，并在擦拭过程中调整压力。面对不同的桌面布局，它能够找到纸巾盒、水渍和垃圾桶，绕开杯子完成操作，而不碰动杯子。

基准任务 03 / 04

加糖并搅拌

视频时长：0:45

空间与场景泛化；工具与物体泛化

Natura-1 · 零样本执行

关键时刻

0:03 — 向杯中加糖

0:36 — 拿起吸管

0:40 — 用吸管搅拌

检索到的训练示范

用玻璃棒搅拌烧杯中的液体

指令：舀一勺白糖放进粉色杯子，拿起吸管，用它搅拌杯中的液体。

Natura-1 加入白糖、放回勺子，再用吸管在窄杯中搅拌。训练示范展示的是用细玻璃棒在宽口实验烧杯中搅拌。在这里，Natura-1 将这一技能迁移到白色测试桌上的粗塑料吸管和窄口陶瓷杯，还增加了训练示范中没有的加糖步骤，适应了新的工具、物体与环境。

基准任务 04 / 04

下料并盖锅

视频时长：0:51

组合泛化；空间与场景泛化；工具与物体泛化；新动作泛化

Natura-1 · 零样本执行

关键时刻

0:00 — 加入胡椒粉

0:10 — 揭去保鲜膜

0:18 — 将碗中食材倒入锅内

0:42 — 盖上锅盖

检索到的训练示范

用勺子舀取物品

放入物品并盖上锅盖

指令：往锅里加一勺胡椒粉，揭掉小碗上的保鲜膜，把碗里的食材倒进锅里，再盖上锅盖。

Natura-1 先向锅中加入胡椒粉，再揭去保鲜膜、倒入食材，最后盖上锅盖。训练示范展示的是用勺子舀取谷物，以及盖锅盖。在这里，模型将能力泛化到揭膜和从碗中倾倒，并在不同的厨房布置中将这些新动作与熟悉的技能组合起来。它一边寻找每一步需要的物体，一边调整拉动封膜的方式和碗的倾角。

3.2 灵巧手的长程任务执行

基准测试逐项考察能力，真实任务却要求这些能力在一段连续流程中协同。日常操作远不止抓放刚性物体：柔软材料会变形，弹性部件会回弹，工具则需要稳定而细腻的压力控制。借助专用夹具或附件，夹爪确实可以完成一些任务；但灵巧手会提供更大的灵活性，其掌心能够托住柔软材料，虎口能够稳住工具手柄，手指可以调整握持、压住弹性部件，并配合完成物品交接。这些动作会不断改变物体的形状、受支撑方式和手物接触条件，因此模型必须依据反馈持续调整抓握与姿态，而不能沿固定轨迹执行动作。

经过任务专项调优，Natura-1 能持续自主执行兼顾精细操作与多步协同的流程。以下六段演示均为一镜到底，其中多段在无人干预的情况下持续数分钟。每项任务都要求单一策略模型去应对不同材料和不断变化的接触条件，完成倾倒液体、舀取物品、操作柔性物体、使用多种工具以及精确对齐部件等动作。

连续任务 01 / 06

包馄饨†

VIDEO / DEMO-01

关键时刻

0:00 — 从一叠馄饨皮中分出一张

0:14 — 将馅料舀到馄饨皮上

0:33 — 折叠并捏合馄饨皮

1:05 — 将馄饨放到盘中

承托柔软的面皮并塑形。

馄饨皮会随着接触而变形。双手既要承托薄薄的面皮与馅料，又要留出边缘，以便折叠。Natura-1 从一叠馄饨皮中分出一张，左手拢起掌心托在下方，右手用长柄工具填入馅料。放下工具后，它用双手折叠、捏合面皮，再将馄饨放到盘中。随着面皮形状改变，双手也不断调整支撑和按压方式：压力要足以合拢边缘，又不能扯破面皮或挤出馅料。

连续任务 02 / 06

打包包裹†

VIDEO / DEMO-02

关键时刻

0:00 — 装箱

0:46 — 合盖

0:59 — 胶带封箱

1:46 — 贴标签

2:08 — 扫描条码

双手协作，压住回弹的箱盖，拉紧并切断胶带。

Natura-1 先在打开的快递箱中铺上一层拉菲草，放入一件柔软的毛绒物品和一本书，再补一层拉菲草。从松散的填充物，到柔软物品，再到书本，它为每种物料调整抓握方式。随后，它合上纸箱，用胶带封口。此时，双手必须紧密配合：一只手压住箱盖，另一只手拉紧胶带，并将其压在表面上。切断胶带时，Natura-1 调整封箱器的角度，施加足够的力下切，同时避免带起已贴好的胶带或移动纸箱。

另一只手在这一过程中始终防止箱盖弹开。随后，Natura-1 用指尖轻轻捏住标签打印机吐出的标签，将其按贴到箱体上，最后使用手持扫描器扫描条码。

连续任务 03 / 06

奉茶†

VIDEO / DEMO-03

关键时刻

0:00 — 舀取茶叶

0:23 — 注入热水

0:43 — 提开罩盖

0:52 — 夹取点心

1:11 — 放回罩盖

1:20 — 倒茶

调整抓握、角度与压力，优雅倒水、捏稳提钮、拿住易碎的茶点。

Natura-1 用勺子舀起茶叶，准确倒入茶漏。加好茶叶后，它握住把手提起水壶，控制倾角，平稳注水。取茶点之前，Natura-1 先用指尖捏住玻璃罩上细小光滑的提钮，将罩盖从盘上提起；随后用点心夹夹取一块点心，放回罩盖，再执小金属茶壶向茶杯斟茶。每一步都需要不同的握持与力道：倒水时稳住壶身，提盖时让指尖准确落在提钮之上，夹取时则拿捏分寸，既要防止滑落，又不压碎茶点。

连续任务 04 / 06

书法†

VIDEO / DEMO-04

关键时刻

0:00 — 握笔

0:08 — 蘸墨

0:18 — 落笔

0:35 — 挥毫

双手协同，以精细的手指动作运笔。

Natura-1 将毛笔蘸墨，开始在宣纸上书写。提按的细微变化，都会改变柔软笔锋的铺展程度，因此执笔的手必须细致控制运笔走势和按压力度。另一只手则要在笔锋牵动纸面时稳住薄纸，同时避免将纸弄皱或扯破。双手配合之下，Natura-1 尝试通过调整下压写出粗细变化的笔画。当然，真正写好毛笔字依然困难重重。最后，它在手中转笔：手指需要在精确拨动笔杆的同时保持稳定，防止毛笔滑落。

连续任务 05 / 06

贴手机膜†

VIDEO / DEMO-05

关键时刻

0:00 — 清洁屏幕

0:30 — 安装定位框

0:38 — 按压就位

1:28 — 抽出底膜

1:38 — 按压边缘

2:52 — 取下定位框

精细对齐定位框，抽出底膜时保持手机膜不偏移。

Natura-1 先用布清洁屏幕，再将预装保护膜的定位框轻轻套到手机上。定位框与机身安装紧密，哪怕略有倾斜，也会无法就位。Natura-1 对齐边缘，轻轻将框按下，然后稳住手机和定位框，小心抽出底膜。拉动的角度与力度需要精细控制，以免带动框体或使手机膜移位。底膜抽出后，Natura-1 沿边缘和四角仔细按压，调整指尖压力，排出气泡、帮助膜面贴合屏幕。

连续任务 06 / 06

制作酸奶碗†

VIDEO / DEMO-06

关键时刻

0:00 — 倒入燕麦

0:40 — 香蕉切片

0:58 — 加入香蕉片

1:21 — 加入水果

1:56 — 倒入酸奶

执掌刀具，并在端起、换手和倾倒过程中稳住盘子。

Natura-1 将一袋已开封的燕麦倒入碗中，随后在砧板上扶稳香蕉，拿刀切片。它调整按住香蕉的压力和切割力度，避免香蕉移位。接着，Natura-1 端起盛有香蕉片的盘子，倾斜之后用另一只手将香蕉片拨入碗中。它从杯子中倒入少许水果，最后将浓稠的酸奶倒入碗内。

3.3 零样本泛化与指令遵循

本节我们在基准评测的框架之外，用开放指令对 Natura-1 进行零样本泛化测试。所有试验均记录于研究人员与机器人的日常互动：即兴发出指令，没有预设脚本和参考轨迹，不少还刻意采用极端设置。动作、策略、物体和场景都与 Natura-1 的真机训练数据不同。任务也往往有悖日常惯例：非常规的物体使用和摆放方式，指令明确排除某些选项，执行过程中还持续受到外界的扰动。

前两节检验相互补充的两种能力。长程任务展示专项调优后技能的精度与持续性。基准测试则是在受控条件下验证零样本物理泛化。现实世界中的指令遵循，依赖的正是后者。当人们自然地向机器人发出指令时，自然会涉及陌生的物体、布局和物理难题。策略若无法适应，便无从遵循指令。本节要回答的是：离开结构化基准评测的框架，当指令完全开放、任务不设边界时，这种泛化是否依然成立。

在这些试验中，语言定义目标，现实反馈引导动作。物体移动、接触改变或执行受到干扰时，Natura-1 会调整动作，继续朝指令要求的目标推进，而不是放弃执行。这展现了超出固定场景设定与熟悉流程的闭环指令遵循能力。

开放指令案例

01 同时行动，或依次执行

双手同时行动

指令：左手抓住牙刷盒，右手抓住水瓶，再把它们同时放进筐里。

左手先行 指令：先用左手拿起牙刷盒，放进筐里，再用右手拿起水瓶，放进筐里。

右手先行 指令：先用右手拿起水瓶，放进筐里，再用左手拿起牙刷盒，放进筐里。

同时执行，或按指定的左右手顺序行动。

仅凭语言，Natura-1 就能调整双臂的协同方式。三组对照试验使用相同的牙刷盒、饮料瓶和收纳筐：当指令要求依次收拾物品，无论指定左手还是右手先行，机器人都严格遵守先后顺序，逐步执行。让机器人同时拿取并运送不同物体，是更少见的要求；Natura-1 同样忠实执行。它将语言中的约束直接落实为顺序动作或双手同步操作，展示出准确的指令遵循能力。

02 将积木放入抽屉

指令：把一块积木放进打开的最上层抽屉，再关上抽屉。

放入积木，再稳住柜体、关上抽屉。

Natura-1 按照用户指令，拿起木块，放入小木柜上打开的抽屉。准备关抽屉时，它被狭窄空间限制：无论抓住边缘，还是用拇指钩住抽屉，都可能碰到柜体。针对这些空间约束，Natura-1 找到了有效办法：用四根手指的指尖将抽屉向内推，平稳压入，直至抽屉面与柜体齐平。

03 反选颜色，挑出瓶子

指令：拿一个不是蓝色、粉色、橙色、绿色、黄色或紫色的瓶子，递给我。

理解指令的排除选项，挑出正确瓶子。

这条指令排除了桌面上的六种颜色，却没有直接说出要选哪个瓶子。Natura-1 必须将桌上的瓶子与这六项颜色条件逐一比对，找出符合要求的目标。随后，它小心拿起这个正确的瓶子，递给面前的人。

04 把黄豆舀进一个椰壳

指令：舀一勺豆子，放进椰子壳里。

将陌生物体用作容器。

一天，研究人员吃完椰子，将剩下的椰壳摆到 Natura-1 面前，把它当作一个陌生容器进行测试。Natura-1 先拿起一把小而光滑的勺子，从碗里舀出豆子。移动时，它必须端稳勺子，避免洒落；随后将勺子移到椰壳狭小的开口上方，同时避开边沿。倾斜勺子、倒入豆子时，还要控制握持，防止勺子打滑。最后，它将勺子放回碗旁。

05 在干扰中定位移动的目标

指令：把柠檬放进容器里。

柠檬和容器反复位移，动作随之调整。

这一次，研究人员三次用长棍拨动柠檬和容器，改变它们的位置。除了棍子造成的视觉干扰，Natura-1 还面临更难的问题：同时定位移动中的柠檬和容器，并随位置变化调整动作。实验中，它根据二者的最新位置实时调整运动，准确抓住移动的柠檬，并放入容器。

06 追踪持续移动的柠檬

指令：有人在你面前移动柠檬，跟随它的移动，然后抓住它。

柠檬被移动，伸手的方向随之改变。

接到跟随柠檬的指令后，Natura-1 实时追踪研究人员手中的柠檬：左右、上下，以及靠近或远离机器人。它利用持续的视觉反馈调整双臂，使双手始终对准移动的水果，而非沿一条预先规划好的固定路径行动。

07 双手传递纸巾

指令：拿起纸巾，在两只手之间传递三次，然后放到书上。

双手之间传递三次，再将纸巾铺到书上。

Natura-1 准确执行了这条带有明确顺序和频次约束的多步指令。抽出纸巾后，它将纸巾移到工作区域中央，依次完成指定的三次双手交接。纸巾薄软，形状不断变化；每次都要等另一只手的手指握稳之后，当前握持的手才会松开。三次传递中，纸巾既未掉落，也未撕破；最后，Natura-1 将它平整地铺在书上，在一段连续的双手操作中始终准确遵循指令。

08 堆叠盒子与积木

指令：把这些盒子和积木按体积大小叠起来。

将形状、大小各异的物体叠成一摞。

面对一个没有预设步骤的开放堆叠任务，Natura-1 依据不同物体的物理约束自行组织操作。桌面上散放着大小、形状和材质软硬程度各异的物品，它必须独立判断可行的放置顺序，搭出稳定的一摞。它选用一个较大的方形黑色盒子作为底座，在上面放一包柔软的蓝色纸巾，再将一个细长黑盒平衡地架在柔软表面上，最后放上一块小而扁平的木块。

从大幅张手抓握到指尖轻捏，Natura-1 不断调整抓握方式，谨慎放置每件物品，使逐渐叠高的结构保持直立与平衡，将抽象指令化为有序的物理操作。

09 叠杯子、放橙子、盖纸巾

01 · 套叠杯子 指令：把这三个杯子叠起来。
02 · 放上橙子 指令：把橙子放到杯子上面。	03 · 盖上纸巾 指令：在橙子上盖一张纸巾。

连续接收指令，完成一种不寻常的摆放。

在不重置场景的情况下，Natura-1 依次遵循三条指令：将三个倒扣的杯子叠起，在顶端放一个橙子，再盖上一张纸巾。叠好杯子后，它把橙子放到最上方杯子的小底面上，控制落点与松手时机，避免圆形水果滚落或碰乱整摞杯子。接着，它从纸巾包中抽出一张纸，尝试覆在橙子上。这要求准确抓住柔软、不断变形的材料，并在落向橙子曲面时让纸巾保持展开。

10 将橙子折进衣服

指令：把橙子放到衣服上，再把衣服叠起来。

遵循一个离谱的要求，围着橙子折叠衣服。

Natura-1 从旁边的篮子里拿出一个橙子，放到 T 恤上，再用双手将衣服围着它折起来。这是一个不寻常的摆放要求。即使清楚看见橙子留在衣服上，Natura-1 仍然围绕语言指令行动，将 T 恤包着橙子折叠。所展示的片段结束时，衣服仍在桌上。

强大的指令遵循能力，能让用户自然地与 Natura-1 互动，也使它有望融入日常生活，将人的意图付诸行动。下面的视频是一段接近 30 分钟的完整日常互动记录，全程连续拍摄、一镜到底。

Natura-1 演示

3.4 超出预设的涌现行为

灵巧控制、指令遵循与长程规划，是我们有意构建并持续评测的能力。本节记录的则是Natura-1在日常互动中、原有评测未涵盖的新操作。当模型在任务中遭遇陌生或困难任务时，这些操作便可能出现。即使真机示范没有明确教过，它也会自主发展出新的做法，继续朝目标推进。

当抓取失败、工具陌生，或直接路径受阻时，Natura-1 能另寻策略：将扑克牌推过盒子边缘，制造可供抓取的悬空部分；用杆子把物体拉到够得着的位置；或在半空中转动手腕，稳住即将倾倒的叠杯。这些中间步骤既未写在指令里，也没有出现在机器人示范中，均由模型针对眼前的物理情形自行想出。

我们将这些行为视为更通用物理智能的早期迹象。大规模学习丰富多样的人类经验，似乎使模型形成了对物理机制的隐式理解，足以为陌生问题自行创造解法，而不仅仅是在训练过的轨迹之间进行插值。

01 非常规布置，即兴想出解法

关键时刻

0:00 — 抓住长杆

0:01 — 将篮子拉近

0:05 — 抓住线团

0:07 — 取出线团

借助长杆，将够不着的篮子拉近，再取出线团。

指令：试着抓住毛线。

这个场景刻意采用了反常布局：装有线团的篮子放在一个高台上，超出了机器人的臂展范围；一根长杆穿过篮子的提手。要拿到在手臂可及范围以外的物体，本不可能，Natura-1 却自行想出了两步计划：先抓住长杆靠近自己的一端，向后拉动，将篮子拖入工作区间；再稳住长杆，用另一只手取出线团。它借助一个物体拉近另一个物体，并让双手各司其职，用临场的物理推理应对了一个完全陌生的布置。

02 棍子用作触碰工具

关键时刻

0:01 — 抓住棍子

0:04 — 将棍子倾转立起

0:08 — 用棍端触碰橙子

借助临时的工具，延伸可达的范围。

指令：试着触碰橙子。

任务要求 Natura-1 想办法碰到对面的橙子。目标位于机器人对面的高台上，超出手臂可及范围，也跳出了真机数采的常规桌面布置。意识到无法直接触及后，模型自行想出办法：借助桌上的一根塑料棍跨越这段距离。Natura-1 抓住平放的棍子，将其倾转立起，稳稳引导远端落到橙子上，并与果实保持连续接触。控制这样一根长力臂，触碰较高平面上的目标，需要很强的空间泛化能力。

模型自主选用陌生工具克服臂展限制，自然地将棍子当作手臂的延伸。

03 拿起卡片的新方式

01 · 熟悉的拿法 关键时刻 0:00 — 伸手拿卡片 0:05 — 捏住边缘提起卡片 0:07 — 双手持住卡片

02 · 新的拿法 关键时刻 0:00 — 伸手拿卡片 0:04 — 将卡片推过盒沿 0:07 — 将一只手伸入卡片下方 0:09 — 从下方托起卡片

借助盒子的边缘，创造新的抓取条件。

指令：拿起扑克牌。

如参考示范所示，Natura-1 只学过捏住边缘、拿起平放扑克牌的方法。但在这次试验中，它从一开始就采取了不同策略：先将卡片沿盒面水平推出，直到一部分悬在盒沿之外；再把另一只手伸进由此出现的空隙，从下方将卡片托起。利用盒沿为手指腾出空间，机器人创造了一个新的抓取机会，而没有重放记住的抓握动作。

04 按下笔记本电脑的空格键

关键时刻

0:00 — 食指对准按键

0:02 — 按下空格键

0:03 — 抬手离开

预训练世界知识，化为自适应动作。

指令：按一下空格键。

笔记本电脑和键盘从未出现在 Natura-1 的机器人训练数据中，但收到“按一下空格键”的指令时，它既理解设备，也理解动作。它在几十个按键中找到空格键，用食指按下，点亮屏幕，然后抬手离开。这次简短互动展示了预训练中获得的广泛知识可以直接迁移到物理执行：模型由此实现了操作日常人机界面所需的精确单指协同。

05 重试时翻转手腕

关键时刻

0:00 — 首次叠杯

0:14 — 杯子掉落

0:25 — 捡起倒置杯子

0:35 — 翻转手腕再次尝试

抓起杯子发现倒置后，自发调整手腕朝向。

指令：把这三个杯子叠起来。

首次尝试叠放三个杯子时，两个套好的杯子倒在桌面上。机器人虽然成功将它们捡起，却把这对杯子倒着握在了手里。Natura-1因此陷入一个陌生的特殊情形：杯口方向颠倒，按常规向下放置，无法完成套合。面对这一几何冲突，Natura-1 自发地在半空中将手腕旋转近 180 度，翻转这对杯子，再尝试向下套到桌面的杯子中。这个转腕动作完全是涌现的：面对从未训练过的棘手情形，模型想出了新的空间纠正动作，而非机械重复示范中的流程。

06 一个指向手势，一种新的折法

01 · 熟悉的流程 关键时刻 0:00 — 初始摆放 0:05 — 从衣服下摆向上卷折

02 · 重新拾取，再换一种折法 关键时刻 0:00 — 尝试抓取橙子 0:10 — 跟随指向手势 0:16 — 递出橙子 0:38 — 从衣领向下折叠

读懂指向手势，重新尝试，再沿示范中未曾出现的方向折叠。

如参考示范所示，Natura-1 只学过从下摆向上叠衣服。在第二次试验中，我们提出了新指令：先把橙子递给研究人员，再叠衣服。交接时，橙子意外掉到了衣服上。研究人员没有发出口头指令，只是指了指掉落的水果；Natura-1 将这个手势理解为重新瞄准所指位置、再次尝试的提示，重新抓起橙子，放到对方的手中。回到叠衣任务时，机器人没有沿用熟悉的下摆上折的流程，而是从衣领开始向下折叠。

在这个过程中，它既将无声的人类手势落实为行动，也找到了与示范相反的叠衣轨迹。

04 为规模化而构建

灵巧操作工作流与零样本泛化能力并非偶然所得。支撑这些能力的，是一套从设计之初就面向规模化的学习系统。人类经验规模巨大但是原始，要将其转化为机器人的行动能力，拢共分三步：为每段录像标注语言与动作监督的数据系统，兼顾大规模训练与 100 毫秒控制周期的基础设施，以及能从每条轨迹中充分学习的模型。我们将三者协同设计，让更多经验转化为更好的行动。

4.1 数据

物理智能既要从广泛的人类经验中学习，也要理解其内在结构。我们构建了一套端到端数据系统，持续将人类经验转化为可直接用于训练的视频—语言—动作轨迹。系统整合数据的采集、处理、标注、分布管控与大规模基础设施，使数据集在不断扩展覆盖范围的同时，保持高质量。

FIG02 · 探索第一视角人类经验 · 官网演示节选

这套系统的根基，是一个规模庞大、内容多样的人类经验数据集。模型在 100 万小时第一视角人类数据上训练，其包含 61,702,471 段活动记录、317,842 项任务和 14,286 个场景。数据主要来自可控采集，并辅以大规模互联网第一视角视频进一步拓展覆盖范围。记录形式包括单目、双目、多相机拍摄，以及面向精细操作的腕部视角。

FIG03 · Natura-1 数据系统

扩大人类经验的采集规模。可控采集让我们能够直接规划经验覆盖的范围。但大规模采集天然偏向简单、易重复的任务；需要更多准备或专门环境的复杂活动，往往收集不足。

为此，我们以结构化的任务分类体系组织采集，涵盖任务、场景与交互模式。一个由数据库支撑的智能体工作流，通过语义检索将数据供应商提交的推送映射到分类体系，分析已有覆盖情况，并将采集优先级向覆盖不足的领域调整。大规模互联网第一视角视频则收录自然发生的人类活动，这些视频涵盖大量难以在可控采集中逐一实现的场景、物体与交互模式，进一步丰富数据集中的人类经验。

将人类经验转化为训练信号。原始的第一视角录像蕴含丰富的行为信息，但学习所需的关键信息往往隐匿其中。数据流水线通过清洗与标注，将这些观测转化为结构化的视频—语言—动作轨迹。每个处理算子都经过人工设计的基准评估，并据此持续改进，以确保训练信号可靠。

1. 清洗。所有数据来源均使用统一的清洗流程。我们依据视觉特征去重，清除供应商与互联网来源数据之间的重复视频、重叠片段和高度相似片段；同时检查原始视频与传感器数据的完整性、可读性、连续性及时间一致性。针对互联网第一视角视频在内容与质量上的差异，我们进一步结合镜头分割、手部可见性检查、模型质量评分和视觉语言模型（VLM）评估，筛出适合标注与训练的部分。

2. 运动重建。从真实世界的第一视角记录中获得可靠的运动标签并不简单。为此，我们自研了面向单目、双目第一视角视频的动作标注流水线，持续迭代采集、训练和评估，从实拍视频中重建密集的手部与身体运动，再转化为统一表示。在以光学动捕为真值的内部基准上，相较现有开源方法，我们的动作标签将平均关节位置误差（MPJPE）降低了 41%，为学习物理行为提供了可靠监督。

3. 语言标注。物理任务是人类意图的结构化表达，包含目标、中间步骤，以及与周围世界的交互。要呈现这种结构，监督信息就不能止于动作描述。我们的标注管线采用智能体架构，共享每段活动记录的上下文，使任务目标、中间步骤和单步动作的描述保持一致，同时捕捉人与物体、环境的交互如何随时间演变。

度量并调整经验分布。大规模数据集不能只被视为一批静态样本。随着规模增长，我们需要知道已经积累了哪些经验，以及这些经验与训练目标是否相符。

我们从语义嵌入出发，结合聚类算法与基于 VLM 的语义分析，将数据组织为任务树、场景树等层级结构。由此可以看清经验分布中哪些部分过密、哪些部分稀缺，并据此持续改进采样策略、调整采集优先级，在数据集构建与模型开发之间形成反馈循环。

支撑数据系统持续扩展。随着数据集规模的增长，从采集、处理到训练使用的全生命周期管理需要统一的基础设施。我们的数据基础设施为大规模处理流水线提供可扩展的执行能力与可靠的数据调度。

在执行层，我们基于 Kubernetes 构建高度并行的流水线。借助弹性调度、自动扩缩容和故障恢复，系统能够适应不同处理阶段不断变化的负载，保持稳定运行。

在存储与管理层，我们以湖仓一体（Lakehouse）架构统一管理原始视频、传感器数据和处理中间产物。平台目前管理数十 PB 数据，为各处理阶段的衔接及训练数据的高效筛选提供基础。

系统每周可处理 350,000 小时（35 万小时）的第一视角数据，处理能力随计算资源增加而线性扩展。由此，数据采集、处理与模型开发可以持续迭代，数据规模增长时，可以持续保障质量、覆盖范围与运行效率。

4.2 基础设施

物理基础模型要求两种不同类型的计算：一是在大规模多模态轨迹上进行高吞吐训练，二是在 100 毫秒预算的控制回路中完成实时推理。前者要求分布式计算持续高效，后者要求精确管理整个执行路径的延迟。

标准分布式框架大多为语言建模或离线批量推理而设计，其抽象层、内存开销与调度延迟，未必适合实时物理交互。要同时满足这两种要求，就必须协同设计数据流水线、分布式执行、内存管理与 GPU 计算。

我们从零自研了训练、推理与 GPU 内核框架。推理侧，从编排控制平面到执行模型的张量运行时，关键组件均用Rust 重写，以降低 CPU 开销，并使 GPU 持续保持高负载。训练侧，则围绕模型与数据的规模设计整套技术栈。两侧共同使用定制的融合 GPU 内核，加速性能最关键的算子。训练与推理共享同一套算子实现，有助于保持数值一致性，避免模型部署后损失精度。

训推协同设计，以端到端地优化从大规模学习到真机实时控制的完整路径。

FIG04 · 物理智能基础设施

训练。我们轻量、模块化架构的训练系统能够在生产环境中持续运行。模型配置、数据处理、优化与分布式执行之间的清晰接口，让研究人员可以沿用成熟的训练流程，高效地引入新的架构与学习目标。

这缩短了从可运行原型到大规模训练的路径。研究代码保留原生 PyTorch 的灵活性，同时具备分布式执行、精度管理、编译、评估和故障恢复等功能支持。随着模型规模和研究复杂度增长，基础设施的改进能够兼容到后续实验，而无需研究人员反复重建训练系统。

针对大规模多模态轨迹，我们协同设计数据组织与计算调度。专门构建的数据流水线支撑大规模高吞吐训练；经优化的数据加载器，即使从远端对象存储读取，也能避免数据加载造成的卡顿。分布式并行与内存优化进一步将这些收益延伸到更大的模型和更长的上下文中。在实测生产配置中，我们的MFU 超过 50%，GPU 利用率达到 98%，让更多可用算力真正用于学习。

训练基础设施也维护着历史训练进度，使长时间实验在中断后能够可靠恢复。研究人员可以通过集成的评估、监控与性能分析，清楚地掌握模型质量和系统表现，进而诊断故障、定位瓶颈，以及改进后续实验。

推理。机器人的推理是一个连续过程。我们的推理框架并发服务多台真机，随时接收异步到达的观测。每台机器人的上下文必须跨请求保留，每次响应也都必须在控制周期允许的时间内完成。因此，服务运行时将会话状态、资源归属和执行编排作为核心职责。

专门的 Rust 控制平面负责连接管理、请求校验、预处理与编排，GPU 工作进程则协同执行推理步骤。这种分工使请求处理不必等待模型计算完成，各层也能针对自身负载分别优化。

运行时通过 GPU 驻留状态、可复用缓存和已捕获的执行图减少重复工作。控制消息与大体量数据载荷分路传输，减轻编排负担，避免不必要的数据迁移。统一的执行计划协调多张 GPU 上的工作进程，完成报告则确保会话状态更新与计算完成情况同步。设备放置、通信和缓存管理方面的优化，进一步降低了关键路径上的开销。

通过服务流程的全程优化，我们将端到端推理延迟控制在 100 毫秒以内，支持机器人与环境持续、即时地交互。

端到端的可观测性可以衡量延迟优化。我们分别追踪请求处理、预处理、编排与模型执行，定位瓶颈，并判断局部改进是否真正缩短了整体响应时间。在构建更强模型的过程中，部署约束也不断反馈到模型与系统设计之中。

内核。训练与实时推理共享同一 GPU 内核层，将模型计算转化为高效的硬件执行，使内核优化与工程经验能够在两种环境中复用。针对各自不同的计算需求，内核层重点解决注意力、矩阵运算、归一化、张量变换与编码中的常见瓶颈，并依据真实负载的张量形状、数据布局和内存访问模式定制实现。

我们从算术吞吐、内存访问效率和 GPU 任务组织三个方面优化。通过融合相邻运算、复用中间结果、动态调整执行计划，减少冗余内存访问与内核启动开销。高频路径上省下的时间，逐层、逐步、逐次训练迭代累积，最终转化为系统层面的巨大收益。

在前向与反向基准测试中，自研注意力算子的平均吞吐约为 1,200 TFLOP/s，达到经调后 FlexAttention 基线的 6 倍以上。在所评估的配置下，系统整体优化使端到端训练速度达到原来的 1.7 倍以上，推理速度达到 2 倍。

这三层共同构成了从训练数据到机器人响应的完整路径，使我们能够直接掌握其中每个环节。基础设施的持续改进，让研究想法更快进入大规模实验，让同样的算力预算支持更多有效探索，也让模型依托一套同步演进的系统，走向真实世界。

4.3 模型

Natura-1 是一个 500 亿参数的混合专家 Transformer，在语言、图像、视频和动作上联合训练。指令理解、世界建模与动作生成，由同一个序列模型统一完成。它的设计围绕三个问题展开：每单位算力能学到多少，每条轨迹能学到多少，以及模型究竟学到了什么。

FIG05 · Natura-1：一个序列，同一状态

标准 Transformer 学习完整轨迹。我们对基础模型的首要要求是可扩展性：架构不能成为瓶颈，训练吞吐的每一分提升，都应直接转化为学习收益。Natura-1 将一段完整片段中的语言、图像、视频和动作 token 组织成一个序列，以自回归方式建模。因此，每次前向与反向传播，都能对轨迹中的每一步施加监督，而不只学习某个通过采样得到的观测—动作窗口。

模型主干采用标准 MoE Transformer，各模态特有的归纳偏置仅体现在序列布局与注意力模式中。这样既使核心计算契合硬件特性，也让多模态物理学习的训练效率接近前沿语言模型与视频模型。

视频与动作表征同一状态。在同一时刻，相机记录的画面与双手执行的动作，是同一物理状态的两种投影。学习预测视频，也就是在学习动作。这一点尤为关键，因为视频数据更为充足：动作标签稀缺、获取成本高企，而每条轨迹中的大多数 token 都来自视频。Natura-1 将过去的视频作为记忆，并以预测未来画面来学习世界模型。

它通过流匹配和联合去噪共同训练视频与动作，同时为两种模态分别定义损失函数。故而一条轨迹所提供的监督远不止动作标签本身。这也是前文所述的持续工作流程中，模型表现出稳健性、记忆与恢复能力的基础。

预测，不等于理解。模型即使拟合了视频与动作的联合分布，仍可能忽略人类指令：在大多数片段中，仅凭场景就足以预测下一步，语言于是成了最容易被舍弃的信号。Natura-1 的预训练让语言成为不可缺少的条件。借助数据流水线生成的细粒度描述，我们让模型对意图的变化作出响应：表达的意图不同，预测的视频与动作所指向的未来也应不同。与此同时，模型更充分地利用视觉先验，理解指令所指的场景。两者共同作用，让前文展示的零样本指令遵循建立在真正的理解之上，而非止于模仿。

上述数据、基础设施与模型，皆围绕同一个目标构建：将更多的人类经验转化为更准确的动作预测。下方曲线展示了训练数据规模与动作预测误差的关系：当训练所覆盖的经验从约 44,000 小时增加至 100 万小时，模型在人类留出集（未参与训练的人类数据）与机器人验证集上的预测误差均持续下降。

在人类留出集上，动作均方误差（Action MSE）降低 47.7%，动作平均绝对误差（Action MAE）降低 37.3%。将同一套模型权重用于真机数据的留出验证集，在相同训练规模区间内，机器人动作预测的 MSE 降低 67.7%，MAE 降低 49.3%；此次评估并未进行额外训练。两项评估均采用Teacher Forcing，每一步预测都以此前的观测为条件。

这些结果支持我们以数据、基础设施与模型协同推进物理智能规模化的路线。随着数据与计算投入持续增加，我们希望模型能够应对更广泛的任务与环境，逐步走向通用的物理基础模型。

FIG06 · Natura-1 规模化验证

05 前路

Natura-1 初步证实了：复杂的灵巧操作可以与泛化能力并存。未来进展仍有赖于全栈的持续改进：更强、更稳定的执行末端与传感系统，更大规模、更广覆盖的预训练数据，以及更少适配便能迁移到真机的模型。我们预计这将是一项长期的研究与工程工作。