LONGFORM READING
K8官方入口 资讯动态 硬件、数据到模型:Sharpa如何系统性推进灵巧操作

硬件、数据到模型:Sharpa如何系统性推进灵巧操作

编辑|Panda、Youli 过去一年,具身智能的数据路线在快速转向。 遥操作数据贵、慢、难以规模化,越来越多的团队开始把目光投向 人类视频。 英伟达等团队的 EgoScale 用 20854 小时第一视角人类视频预训练机器人策略,拟合出一条对数线性曲线;HumanScale 等工作更进一步,认为在同等数据量下,第一视角视频作为预训练数据可优于真机遥操作数据。 使用人类数据预训练的 Scaling

编辑|Panda、Youli 过去一年,具身智能的数据路线在快速转向。 遥操作数据贵、慢、难以规模化,越来越多的团队开始把目光投向 人类视频。 英伟达等团队的 EgoScale 用 20854 小时第一视角人类视频预训练机器人策略,拟合出一条对数线性曲线;HumanScale 等工作更进一步,认为在同等数据量下,第一视角视频作为预训练数据可优于真机遥操作数据。 使用人类数据预训练的 Scaling 行为,arXiv:2602.16710 对于夹爪抓取,这条路线的逻辑相对顺畅。但当执行器换成一只有二十多个自由度的灵巧手,问题变得复杂起来,因为视频会记录手是怎么动的,却不会记录用了多大的力。而对于拧瓶盖、插接头、削苹果这类需要精细操作的任务来说,成败恰恰取决于接触发生之后的几毫米运动。 Sharpa Wave 灵巧手 灵巧操作的数据难题,本质上是 接触 的难题。 围绕这个问题,专注灵巧操作的机器人公司 Sharpa 明确了 三条探索主线: 软硬件协同设计将以机器人为中心的数据采集转移到以人为中心的数据采集 解耦「运动」与「交互」,把接触交给高频、带触觉的底层控制 以触觉为锚,学习跨机器人本体的通用操作表征 沿着这几大方向,Sharpa 的硬件平台也成为众多前沿研究的重要载体。过去一段时间,谷歌、英伟达等团队基于 Sharpa 硬件开展了一系列具身智能实验与前沿探索。比如,前两天谷歌最新发布的 Gemini 4 Argon,展示案例中的机器人丢沙包实验,用到的正是 Sharpa 的灵巧手。 与此同时,Sharpa 与香港大学、加州大学伯克利分校、清华大学、上海交通大学等团队展开合作,共同推进灵巧操作领域的数据采集、模型学习与跨本体泛化研究。 机器之心近日与 Sharpa 学术负责人张凯峰 进行了交流,试图理清这些工作在回答什么问题,以及它们如何拼成一幅完整图景。 一只苹果,难住了 VLA 先看一个具体任务:用两只灵巧手削一个苹果。 这个任务里,一只手要握住苹果并持续转动,另一只手控制削皮器,沿着苹果表面推进。苹果的曲率在变,果皮的厚度在变,持握的力度和削皮的角度都要随之调整。两只手做的不是对称动作,一只手负责「稳」和「转」,另一只手负责「削」,彼此还要配合节奏。 MoDE-VLA 论文中的双手削苹果序列图 在 Sharpa 与上海交通大学、上海人工智能实验室等机构合作的 MoDE-VLA 论文中,研究者把这个任务交给了 π0 这一主流 VLA 模型作为基线。 结果成功率 0%,削皮完成度只有 8%。 论文标题:Towards Human-Like Manipulation through RL-Augmented Teleoperation and Mixture-of-Dexterous-Experts VLA 论文地址:https://arxiv.org/pdf/2603.08122 这并不意外。这篇论文在开篇就指出,VLA 模型在使用平行夹爪的抓取放置任务上已经相当成熟,但面对接触丰富、需要双手协同和手内操作的灵巧任务时,能力明显不足。问题出在哪里?是模型不够大,数据不够多,还是别的什么? 要回答这个问题,首先要讲清楚灵巧手和夹爪究竟有什么不同。 在张凯峰看来,二者的区别不只是自由度的多少。他说:「传统的机械臂和夹爪,把所有的操作问题简化成了 运动学 上可以解决的问题。而灵巧手有 动力学 的问题。」夹爪的动作空间基本只有开和合,只要把它移动到正确的位置、在正确的时刻闭合,任务就大体完成了。灵巧手则要调用抓、拉、拧、捏等各种底层的原子技能(motion primitive),张凯峰估计人手的这类技能接近几十种。 这意味着,灵巧操作不能只靠「看准位置再执行」。 力的大小、接触的状态、物体在手中的滑动,都会实时影响下一步动作。 在硬件层面,高自由度、带触觉的灵巧手已经逐渐成熟。张凯峰认为, 硬件之后的最大瓶颈在于数据,「尤其是类人的这种灵巧操作的数据」。 而灵巧操作数据之所以难,恰恰是因为它需要包含接触信息。 两种数据,一个两难 目前,灵巧操作数据主要有两种来源。 第一种是 遥操作(teleoperation): 人通过视觉设备或外骨骼远程控制机器人完成任务,记录下机器人自身的动作。过去几年,学术界提出了 AnyTeleop、Open-TeleVision、Bunny-VisionPro、HOMIE 等一系列遥操作系统,在沉浸感和易用性上不断改进。这类数据与机器人本体对应,可直接用于训练。 视频链接:https://mp.weixin.qq.com/s/wDRJgJArppWbAWm1QmzwNQ MoDE-VLA 论文中的双手削苹果遥操作 demo 但遥操作有一个难以绕开的问题:操作员感受不到机器人的接触。「操作员很难获得高保真的

about image

分享这篇内容

让更多人看到这份有价值的赛事观察。

TRENDING DESK

热点新闻

快速查看当前内容池中正在被关注的文章。

特朗普退路被堵死,民主党磨刀霍霍,准备把特朗普家族查个底朝天

特朗普退路被堵死,民主党磨刀霍霍,准备把特朗普家族查个底朝天

大家好,这里是《美国那些事儿》系列,今天继续聊聊美国的事儿。特朗普的退路当真被彻底堵死了吗?民主党又将如何对特朗普家族展开"秋后算账"式的全面调查? 当一位总统卸任之后,其家族所享有的司法庇护随之消散,他们将不得不直面一个真正会追究其罪行的司法体系,这一幕究竟会如何上演? 除非特朗普能够说服由共和党掌控的国会对相关法律作出修改,否则在其卸任之后,他的家人将只能获得极为有限的特勤局保护。 就近年惯例
曼联 7 场不胜跌入谷底!卡里克赛后离谱操作!红魔矛盾彻底爆发

曼联 7 场不胜跌入谷底!卡里克赛后离谱操作!红魔矛盾彻底爆发

欧冠 1-4 惨遭科莫血洗,曼联各项赛事七场不胜,创下 1986 年以来最差开局。 终场哨响,一幕画面瞬间引爆全网。 卡里克铁青着脸,全程无视场上所有曼联队员。 没有和任何一名弟子交流、安慰,径直走向客队看台向远征球迷致歉,随后快步走进球员通道。 这个举动直接点燃争议。 此前利桑德罗・马丁内斯也曾公开炮轰俱乐部管理层,更衣室本就暗流涌动。 赛后发布会卡里克主动揽责,表示球队所有问题责任全在自己。
[流言板]弗拉格被内史密斯恶犯拉倒肩部受伤,提前退出今日比赛

[流言板]弗拉格被内史密斯恶犯拉倒肩部受伤,提前退出今日比赛

社区 » NBA » 篮球资讯 » [流言板]弗拉格被内... [流言板]弗拉格被内史密斯恶犯拉倒肩部受伤,提前退出今日比赛 576回复/ 50亮512166 浏览 虎扑篮球资讯(1280级)楼主2026-10-24 08:46:33发布于上海 [流言板]弗拉格被内史密斯恶犯拉倒肩部受伤,提前退出今日比赛由虎扑篮球资讯 发表在篮球资讯 https://bbs.hupu.com/502 虎扑10月2
总有人抱有幻想,我再说一遍,就算失业在家玩,也不要开网约车!

总有人抱有幻想,我再说一遍,就算失业在家玩,也不要开网约车!

失业之后,网约车真的是那根救命稻草吗?为什么那么多白领转型入行后,最终都后悔不已?下面这些真实案例或许能给你答案。 对于暂时失去工作的办公室白领而言,在找到下一份满意的工作前,网约车司机、外卖员等岗位往往成为过渡期的选择。从反馈来看,一部分司机是因为原本工作出现了变化,又没能立刻找到满意的新工作,才选择了网约车司机这一职。一位曾在上海开过网约车的司机表示,2022年年底,他所在的公司因竞标失败而解
三位国内球员堪比外援!张玉宁独一档,韦世豪缺席,令成都迟迟未夺冠

三位国内球员堪比外援!张玉宁独一档,韦世豪缺席,令成都迟迟未夺冠

三位国内球员堪比外援!张玉宁独一档,韦世豪缺席,令成都迟迟未夺冠 一直以来中超联赛都是靠外援打天下,而国内球员都是辅助角色,的确一支球队的外援质量,可以决定这支球队最后有怎样的成绩。曾经的中超霸主广州恒大,正是拥有保利尼奥、高拉特等外援,才能称霸中超甚至在亚冠赛场夺冠。当然除了外援以外,国内球员的优劣也能或多或少决定一支球队的上限,广州恒大、武汉三镇、江苏苏宁夺冠期间,哪支球队没有众多国脚?所以今