LOADING

清华×伯克利开源uni-robot-agent:统一RUA接口,开源模型RoboDojo超Astra旧基线

AI资讯

清华丁宁、刘知远、徐梦迪、周伯文等与伯克利 Pieter Abbeel / BAIR 团队开源 uni-robot-agent(论文 arXiv:2611.01560),为 Robot-Use Agent(RUA)提供统一、模块化 Harness:语言模型经标准化工具接口操控不同机器人与仿真。在 RoboDojo 上,开放权重 Qwen3.8-Flash-Next 搭该框架拿到 31.39 分,高于官方此前公布的 GPT-6 Astra + RoboProbe 28.97;同框架下 Astra 进一步到 51.90。真机 19 项任务中,未做任务专项微调的 Qwen 53.50、Astra 80.50。

清华×伯克利开源uni-robot-agent:统一RUA接口,开源模型RoboDojo超Astra旧基线

为什么重要:机器人版 Computer Use 缺统一接口

Anthropic Fable 5.2 在 RoboDojo Sim 内部对照中据称 64.9%,高于同配置 GPT-6 Astra 29.8%;本站亦跟踪过 Astra 冲击具身与 RoboDojo。闭源模型展示了操作力,但权重不可得、难用交互数据持续训;硬件与仿真接口又碎片化——每接一种机器人就重做工具链,成本居高。RUA 路线(System 2 规划 + System 1 动作)要跑通,需要像 Coding Agent 那样可复用的工具语义;本站对 Coding Agent 管理实践 的整理,同样强调「接口与验收」重于堆提示词。

清华×伯克利开源uni-robot-agent:统一RUA接口,开源模型RoboDojo超Astra旧基线

五层架构:屏蔽硬件差异,收紧评测特权信息

系统划分为 Agent / Orchestration / Tools / Services / Backends。Franka 堆叠、ALOHA 双臂交接、YuMi 插接等任务,上层调用统一感知、运动、技能与任务控制接口,底层适配器消化差异。主仿真实验只给 RGB、相机标定、本体状态与任务指令,不提供深度真值、物体 CAD、隐藏标注、任务验证器或外网——尽量贴近真机可得信息。关键工程包括:图像与状态时刻对齐、请求去重与停滞监测、异步执行与同臂指令排队。

清华×伯克利开源uni-robot-agent:统一RUA接口,开源模型RoboDojo超Astra旧基线

分数之外:工具系统、几何信息与成本同样决定上限

同模型换 Harness,差距可以很大:Qwen3.8-Flash-Next 在 RoboProbe 1.90、RPent 7.75、GAP Hybrid 21.01,换 uni-robot-agent 到 31.39(成功率 25%)。DeepSeek-V4.1-Flash 27.11,Astra 51.90(成功率约 46.67%)。消融显示:有深度+标定 → 仅标定 → 仅 RGB+本体,Qwen 从约 35.89 / 31.39 掉到 9.13,Astra 从约 55.83 / 55.04 到 31.29——缺标定后空间关系明显变难。关闭技能库后 Qwen 仅从 31.39 到 30.31(保留约 96.6%),说明并不主要靠预封装捷径。

清华×伯克利开源uni-robot-agent:统一RUA接口,开源模型RoboDojo超Astra旧基线 清华×伯克利开源uni-robot-agent:统一RUA接口,开源模型RoboDojo超Astra旧基线

成本侧:Qwen / DeepSeek 平均每任务 API 约 1.09 / 0.94 美元,Astra 约 21.29 美元;异步流水线在抽样任务上可缩短约 4.8%–73.7% 耗时。跨代际比较显示操作能力与参数规模并非简单对应;失败轨迹归纳出视觉理解、空间定位、几何计算、具身推理四类短板。框架另支持 Code as Policy、VLM+VLA Hybrid,以及只留四基础工具的 Clean Mode(Qwen/Astra 仍保留完整配置约 90% 得分,token 分别约降 35.7% / 78.8%)。真机已接 ARX One、松灵 Piper-X 等,智元 G2、宇树 G1 接入中——OpenRUA 把底座搭好了,后续关键仍是用交互数据持续更新模型。

常见问题

Q:uni-robot-agent 解决什么问题? A:用统一工具接口与模块化 Harness,让同一套 Agent 逻辑跨不同机器人/仿真复用,并便于积累一致交互数据。

Q:开源模型真能打过闭源吗? A:在 RoboDojo 上,Qwen3.8-Flash-Next + 本框架超过了 Astra+RoboProbe 旧基线;同框架下 Astra 仍明显更高,说明 Harness 与模型能力都关键。

Q:和专用 VLA 路线有何不同? A:更强调通用模型经标准化工具操控多本体,扩展时主要写适配器;专用策略则更绑硬件,迁移成本高。

© 版权声明

相关文章