行业资讯

加入亿拓客·流量大师 撬动财富之门!!!

福莱新材调研报告纪要整理

wang 2026-11-21 行业资讯
福莱新材调研报告纪要整理

具身智能从动作走向工作:触觉数据成为精细操作与成功率跃迁关键

摘要

1.具身智能从“完成动作”转向“完成工作”,长链条任务对单步成功率要求极高(95%整体成功率需99.98%单步成功率),触觉反馈成为补齐精细操作短板的核心。

2.视觉无法替代触觉:视觉在精细操作中存在力信息缺失、遮挡局限及物理状态非一一对应问题;引入触觉可使大模型任务成功率直观提升30-40%。

3.数据趋势:以人为本的数据呈爆发式增长,2026年第一人称视觉数据达百万小时量级;集成触觉传感器的动捕手套是获取高质量、大规模具身智能数据的关键工具。

4.技术路径:主流方案包括触觉Token化输入、绕过大模型的动作专家路径、触觉专家模型及高频(千帧级)快速反射微型模型,其中快慢双系统架构是重要方向。

5.行业痛点与对策:针对传感器多样性与标准不一,通过“同源同构”设计(采集手套与部署传感器一致)及自动化标定物理量,可大幅降低跨设备数据迁移与训练成本。

6.关键实体进展:FigureAI、宇树科技已展示长链条自主任务能力;MerakiInsights获融资拟采集百万小时触觉数据;LinboTouch通过触觉预训练显著提升性能。

Q&A

从行业发展来看,从机器人能“动”到能“干活”,当前具身智能在数据层面主要面临哪些挑战?应如何补足这些数据短板?

过去两年,具身智能的早期发展侧重于展示机器人的运动能力,如跑步、跳舞和翻跟斗。然而,自2026年以来,行业的标志性进步已转向展示机器人完成实际工作的能力。例如,2026年8月,宇树科技的机器人在冰淇淋店自主完成包含55个连续步骤的点单到交付流程;2026年9月,Figure AI发布的Figure01展示了机器人在一小时内无剪辑地独立完成洗衣房的全部工作流程,包括装机、取衣、折叠、分类和上架。这种从“完成动作”到“完成工作”的转变,对机器人的可靠性和实用性提出了更高要求。在完成长链条、多步骤任务时,任何一个环节的失败都可能导致整个任务中断。以一个包含55个步骤的任务为例,即便每一步的成功率达到99.8%,整个任务的最终成功率也仅为58.8%左右。要将整体成功率提升至95%以上,单步成功率必须达到极高的99.98%。在实践中,失败率最高的环节往往涉及与物体的接触。具身智能数据通常可分为三个层级:第一,真机数据。通过遥操作机器人采集,这类数据质量最高、最真实,但同时也最稀缺、成本最高。第二,仿真数据。利用Isaac Gym、MuJoCo等软件生成,成本较低,但其主要缺陷在于无法真实捕捉接触、摩擦等精细的物理细节,存在“Sim-to-Real”的差距。第三,以人为本的数据。这类数据采集自人类在真实环境中的自然操作,规模化潜力巨大且成本可控。过去一年,以人为本的数据量呈爆发式增长,第一人称视觉数据已从2025年的数千至数万小时增长到2026年的数百万小时。在以人为本的数据采集中,不同方式各有侧重:第一人称视角数据是目前体量最大的数据类型,主要通过头戴摄像头采集视觉信息:全身动捕技术能更完整地捕捉身体姿态,但手部精细动作和接触信息仍有缺失;动捕手套(如Manus手套)则能更精确地捕捉手部姿态。然而,这些方式在早期普遍缺乏触觉信息。因此,在手套、外骨骼等不同层级的采集终端上集成触觉传感器,同步采集手部运动与触觉信息,是补齐以人为本数据短板的关键,从而形成包含第一人称视觉、手部姿态和触觉数据的完整数据体系。

为什么说视觉信息无法完全取代触觉在具身智能中的作用,尤其是在精细操作任务中?

视觉无法完全取代触觉,无论在训练端还是部署端,其根本原因在于视觉缺乏对接触力与接触状态最直观、最直接的输入。这主要体现在三个方面:第一,模型缺乏力的直观理解。当前大部分模型训练所依赖的视觉或视频数据源中不包含接触力信息,导致机器人无法最直观地理解“力”这一物理概念。第二,视觉观测存在局限性。当手与物体交互时,部分手指或物体表面常会被遮挡,导致视觉系统无法捕捉到完整的接触信息,如接触面积或接触的具体位置。更微小的物理现象,如滑动和力的大小变化,更是无法从外观上进行确定。第三,视觉输入与物理状态并非一一对应。同一种视觉输入或手部姿态可能对应着截然不同的接触物理状态。例如,拿起一个坚硬物块时,用力挤压、轻微挤压,以及挤压至物体即将滑动的临界状态,这三种情况在视觉上可能呈现出极其相似的手指姿态和物体形态。然而,为了维持稳定抓握,这三种状态所需要采取的下一步动作是截然不同的。这种模糊性使得仅依赖视觉的模型难以准确预测和决策下一步的动作。

行业内针对触觉数据缺失的问题,目前有哪些前沿的解决方案和布局?

针对触觉数据缺失的问题,国内外多家头部公司和研究机构已在前沿领域进行布局。例如,GenesisAI已发布使用触觉手套采集手部姿态和触觉数据,并将其应用于模型训练。数据公司MerakiInsights在2026年获得了大笔融资,其目标是推出触觉数据手套,以采集约100万小时量级的同等级数据。在国内,也已有多家具身智能训练场在积极部署相关技术。这些动向表明,通过集成触觉传感器的手套或遥操作设备来采集包含触觉维度的高质量、大规模以人为本数据,已成为行业内的重要发展方向。

鉴于具身智能领域对数据的依赖,触觉数据与视觉等其他模态数据相比,其当前的发展阶段和未来潜力如何?

触觉数据在具身智能领域正处于一个刚起步但至关重要的发展阶段。相较于已相对成熟的以第一人称视角(ego-centric)采集的视觉数据,触觉数据的发展尚属早期,但其重要性将随着具身智能的演进而日益凸显。目前,触觉数据在数据量和质量方面都存在一个显著的提升窗口期,预计未来将经历快速增长。

将触觉数据整合到现有的视觉-语言-动作模型中面临哪些主要挑战?

将触觉数据直接整合到VLA模型中存在三大核心挑战。首先是传感器的多样性,现有的触觉传感器种类繁多,例如仅一个数据集中就包含了21种不同的力或触觉传感器,它们信号格式不一,导致数据采集的有效性和部署时的连接难度增大。其次是数据的稀缺性,与海量的视觉数据相比,现有的触觉数据在数量上存在量级差距,构成了当前发展的一大瓶颈。最后是采样速率的差异,触觉是一种动态信号,需要以比图像或语言更高的采样频率进行采集和响应,以捕捉抓握过程中快速变化的形态和力信息,这对模型的实时处理能力提出了更高要求。

在将触觉数据输入大模型之前,通常需要经过怎样的处理流程,其中关键的步骤是什么?

将触觉数据输入大模型前,首先需要进行编码,将其转换为模型能够理解的单元或词元。这个流程通常包括几个步骤:首先,采集原始数据并进行标定和预处理,将其转换为具有物理意义的量,如力的大小、剪切力方向等。接着,关键步骤是利用触觉编码器(TactileEncoder)处理这些物理量。该编码器负责将触觉信号在空间上的分布和时间上的变化进行编码,生成模型可理解的词元。这个过程不仅需要捕捉单帧信号,更重要的是要捕捉一段时间内的动态变化,因为接触本身是一个变化的过程。此外,编码器还具备泛化能力,能够处理来自不同传感器的输入并输出统一格式的词元,供大模型使用。例如,近期出现的LinboTouch模型就是通过数千小时的触觉数据预训练并冻结其触觉模型,再应用于机器人模型,从而显著提升了任务成功率。

将经过编码的触觉信息植入具身智能模型的四种主流技术路径分别是什么,它们在任务完成度上带来了怎样的效果?

将触觉信息植入具身智能模型主要有四种技术路径。方法A是将触觉词元与图像、语言词元并列,一同输入大模型。这种方式实现简单,但可能因改变了模型的原始训练结构而对原有能力产生干扰。方法B是绕过大模型,将触觉信息直接输入到动作专家(Action Expert)中,仅用于影响动作规划,这种方式通常执行效率更高。方法C是采用触觉专家模型(Tactile Expert),即一个专用于处理触觉信息的小型网络,其输出再与动作专家的信息通过交叉注意力等方式结合,共同生成动作轨迹。方法D是将触觉信息输入到一个用于快速反射的微型模型中,该模型能以每秒数百甚至上千帧的频率处理数据,在大模型输出宏观动作指令后,实时对末端执行器的微小动作进行调整,类似于人类的条件反射。无论采用何种路径,植入触觉信息后均能观察到任务完成度的直观提升。例如,将触觉信息直接植入大模型可带来约30-40%的成功率提升;通过快速反射机制引入触觉,或将其作为插件在不改变模型主体结构的情况下输入,也都能实现任务完成度的显著改善。

在具身智能模型中,触觉信息具体发挥了哪几种关键作用?

触觉信息在具身智能模型中主要发挥三种关键作用。第一是接触门控(ContactGating),由于机器人在大部分时间里并未与物体接触,触觉信号为零,因此模型可以利用触觉信息作为“开关”,仅在发生接触时才让触觉数据参与动作决策,避免无效信息的干扰。第二是构建快慢双系统(Fast-Slow System)其中“慢系统”负责处理高维度的语义和图像信息,进行宏观理解与规划,例如识别物体位置和任务目标;而“快系统”则利用高频的触觉反馈,在执行抓握等精细操作时快速调整手部姿态,以维持稳定或完成细微的交互动作。第三种作用是作为一种反馈机制,用于调整和优化动作。

触觉信息如何融入具身智能模型,特别是在世界模型(World Model)等前沿模型中,触觉起到了怎样的作用?

触觉信息融入具身智能模型主要有几种方式。首先,可以将触觉转换为大语言模型能够理解的语义形式,使其能够理解坐卧形态以及与物体的接触状况,从而更好地指导模型完成操作。其次,在前沿的世界动作模型(WorldModel,WM)中,触觉的融入显著提升了性能。与仅依赖当前或前几帧视觉数据的传统模式不同,世界模型会预测下一瞬间的接触情况,相当于机器人在动手前进行“脑内预演”。例如,模型若能预知指尖受力的变化趋势,就能更好地判断是稳定抬起物体还是可能发生打滑,并据此进行实时调整。研究(如DexTagWAM)表明,在多种灵巧手任务中,加入触觉可大幅提升成功率。值得注意的是,若在世界模型中移除对下一瞬间触觉状态的预测功能,任务成功率会大幅下降,这证明了触觉预测在世界模型中的关键作用。此外,触觉数据还可以在模型训练中扮演“老师”的角色,作为动作标签。在训练时,结合视觉和手部姿态数据,将触觉反馈(如抓握的松紧、成功或失败)作为训练目标,可以有效提升模型在实际部署时的成功率。

目前通用大模型在控制机器人方面的进展如何?将触觉信息接入这类通用大模型存在哪些技术路径,并且取得了怎样的效果?

近期,通用大模型在机器人控制领域已展现出良好的演示效果,但截至目前,公开演示中尚未普遍看到触觉与这些模型结合的案例。相关的研究主要集中在仿真环境中,并探索了多种将触觉信息接入通用大模型的技术路径。第一种路径是将触觉信息以图像化的方式输入,例如将压力分布图作为一种图像输入,让模型理解接触面的变化。在仿真演示中,这种方法已显示出能够一定程度上提升任务成功率。第二种路径是将触觉信息转换为具体的数值,如接触力的大小、方向等,再输入到通用模型中,使其能够理解当前的接触状态。第三种路径是在训练开源大模型时,直接将触觉信息包含在训练数据中,通过后训练(post-training)等方式,使大模型在底层就能直接理解触觉信息并与之建立绑定。近期的研发结果表明,这种深度融合的方式在任务完成度上带来了较为明显的提升。

为促进具身智能企业更好地应用触觉技术,公司采取了哪些策略?具体提供哪些层面的解决方案?

公司的核心策略是不仅提供高质量的硬件,还致力于发展让具身智能公司能更便捷、高效使用触觉技术的方法。公司认为,只有深入理解具身智能如何应用触觉,才能从硬件和信号处理层面进行优化,提供更适配的传感器和编码形式。为此,公司在不同层面提供解决方案:第一,在接口层面,提供经过处理的接触状态信息,确保输出的接触力、接触位置、打滑风险等数据质量,客户可以利用这些高质量数据构建其控制逻辑。第二,在数据编码层面,提供一种将原始触觉数据进行Tokenization的编码方式,使其能与模型更好地结合。第三,在模型架构层面,探索结合快慢模型(fast andslow models)的形式,使传感器能够在数据和模型控制层面提供更快速的反应。第四,在模型训练层面,与具身智能公司进行动作模型的联合训练,实现从传感器、编码到大模型引入的全链条深度融合。这旨在确保大模型能有效利用触觉输入,而非仅将其用作简单的判断或反馈。

在具身智能的训练阶段,触觉数据可以通过哪些不同的方式介入以提升模型性能?

在具身智能的训练过程中,触觉数据可以通过多种方式介入,并在不同阶段发挥作用。第种是“特权监督”(Privileged Supervision)。在这种模式下,触觉信息仅在训练阶段使用。将触觉传感器的读数作为“标准答案”,训练模型仅通过观察摄像头画面就能准确判断接触时的受力情况。已有研究表明,这种方法可将力的估计误差从2N降低到0.5N,证明了触觉在训练中能帮助模型通过视觉更好地理解“手感”。第二种是“视触觉预训练与微调”。在进行大规模预训练和具体任务微调之间,增加一个中间阶段。模型先学习数百小时(例如500小时)的视觉与触觉结合数据以掌握基本规律,之后再针对每个具体任务,使用少量(例如每个任务50条)的机器人示教数据进行微调,这种方法能显著提升任务成功率。第三种是作为“奖励学习”(RewardLearning)的信号。这主要应用于强化学习,因为强化学习需要明确的评分规则。视觉可以判断物体是否到位,但难以判断抓握的牢固程度,而触觉恰好能提供这一信息。通过将包含成功和失败触觉反馈的示教数据共同训练,模型可以根据触觉判断来评估任务的完成度。第四种是用于“人机视角对齐”。在遥操作数据采集中,人类操作者和机器人的视角虽看似微小差异,但实际的接触状态可能完全不同。触觉信息在此可以起到关键作用,通过对齐接触过程的数据,来校准人与机器人在数据采集时的视角差异。相比仅对齐动作数据,这种结合触觉的对齐方式能更明显地提升成功率。

公司在触觉传感器和数据采集手套方面的产品布局有何特点?这些产品如何支持具身智能的训练和部署?

公司提供从材料、器件、传感器到数据采集系统的完整解决方案。产品布局的核心优势在于同时提供用于具身智能机器人部署的触觉传感器和用于模型训练的数据采集手套,并实现了两者在传感器层面的“同源同构”。 这种“同源同构”的设计确保了训练时采集的数据与部署时机器人接收的传感器信息高度相似,从而大幅减少了因传感器差异而必需的跨设备数据对齐和换算工作。如果

使用不同来源的传感器,通常需要额外的编码器进行数据转换,这会增加数据和训练成本。在数据采集手套方面,公司提供不同层级的解决方案,包括:

1.纯触觉手套:专注于采集人手在与物体交互时的力的分布和大小。

2.多模态数据采集方案:例如与合作伙伴(如NOL0VR)共同开发的系统,除了触觉信息,还能同步采集手部姿态信息以及第一人称视角(ego-centric)的图像信息,形成完整的数据链。

公司的触觉手套具备以下特点:传感器覆盖全手指尖和手掌,传感点数量可根据需求从数百个扩展至上千个;采样率高达100Hz,对数据同步和质量至关重要;同时注重轻量化设计以保证佩戴舒适性。

公司如何解决行业内触觉标准不统一的问题,以推动具身智能企业更广泛地应用触觉技术?相关的具体工作进展和预期节奏是怎样的?

公司致力于让具身智能企业更好地应用触觉技术,并正在触觉编码器等方向开展工作,以解决标准不统一的问题。这项工作并非旨在强制推行一套行业标准,而是公司内部制定一套标准并进行推广,目标是尽快解决当前触觉标准不统一的现状。

在具身智能领域,不同触觉传感器之间的数据迁移性一直是一个行业痛点,请问目前行业内以及公司内部是如何解决这一问题的?在推动数据编码器开发的过程中,是单向推动还是与客户交互进行?

针对不同触觉传感器数据迁移性的行业痛点,我们内部一直在进行数据编码器的开发工作。这并非单方面的推动,而是与客户(如NUS)等合作伙伴以交互讨论的方式共同进行,旨在探索如何将触觉信息更有效地转换为模型能够理解的格式。这是一个持续演进的过程,未来预计会有更多相关的合作与信息发布。同时,公司内部也在积极研发和探究何种编码器或数据形式对具身智能执行动作的帮助最大,以便为具身智能领域提供参考,明确何种方式能更有效地帮助其理解和应用触觉数据。鉴于触觉在具身智能中尚属较新领域,如何有效采集和使用数据,将是一个双向的、共同研发的过程。

考虑到当前触觉数据标准难以统一,如果一个客户最初采用了公司的数据采集手套方案,那么为了保证后续数据的一致性,该客户在机器人的灵巧手等部位配置电子皮肤时,是否会倾向于继续沿用公司的传感器方案?

针对这个问题,可以从两个层面来理解。首先,对于不同触觉传感器的数据兼容问题,我们的解决方案中一个关键步骤是“标定”,即赋予传感器数据明确的物理意义,如精确的力值或力的方向。公司在自动化标定方面投入了大量资源,以确保不同传感器经过此流程后,输出的都是具有物理意义的标准化信息。由于物理意义本身不因传感器差异而改变,这些标准化信息可以被同一个编码器有效利用,从而大幅减少后续模型所需的改动。其次,关于应用端是否必须使用我们的传感器,最理想的情况确实是如此。如果客户在数据采集端使用了我们的数据手套,在应用端也继续使用我们的传感器,可以确保端到端的一致性。若应用端采用其他品牌的传感器,则必须确保该传感器也经过一套同样标准、同样有效的标定流程,将其原始信号转换为与数据采集端一致的、带有物理意义的信息,这样才能将对模型性能的影响降至最低。

从耐久性的角度来看,现有的触觉传感器方案前景如何?行业内是否有统一的耐久性标准,以及公司在产品开发中是如何考虑和测试耐久性的?

目前行业内对于触觉传感器的耐久性并没有一个统一的、明确的标准定义。在公司内部,我们在传感器开发过程中高度重视耐久性,并设有相应的寿命测试或耐用性测试流程。例如,在寿命测试中,我们会对传感器进行重复按压测试,次数可达100万次,以确保在此过程中信号的稳定性不发生任何改变。然而,在实际应用场景中,由于接触的复杂性,现阶段很难用一个统一标准来横向比较不同传感器或不同外层材料设计的耐久性。我们具备的能力是,可以根据客户对耐久性的不同要求,例如对表面平滑度或承受力大小的特定需求,在传感器的结构和材料选型上进行相应的定制化开发与调整,这也是我们持续在做的工作。

猜你喜欢