搜索 猫眼电影 融媒体矩阵
  • 山东手机报

  • 猫眼电影

  • 大众网官方微信

  • 大众网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

下一位传菜员可能是它:科学家用大模型让机器人搞定餐桌布置难题

2025-12-28 14:09:15
来源:

猫眼电影

作者:

兰义亨

手机查看

  猫眼电影记者 秦付强 报道首次登录送91元红包

过去,如果想让机器人布置餐桌,需要给它明确的指令,比如:往前走 2 米,抬起 45 度,食物需要摆在餐盘中,叉子摆到盘子的右侧……

现在,只要对机器人说“把这些餐具以合理的形式摆好”,它就能通过与大语言模型交流,学到怎么摆的常识性知识,然后按照要求把餐具合理地摆出来。

(来源:https://sites.google.com/view/llm-grop)

这项研究来自美国纽约州立大学宾汉姆顿分校张世琦教授团队与合作者,他们提出了一种名为 LLM-GROP 的方法,使机器人能够在复杂环境中高效地完成多对象重新排列任务,在真实环境中的任务成功率达 84.4%。

张世琦对 DeepTech 表示:“我们首次将大语言模型的常识知识与任务与运动规划(TAMP,Task and motion planning)任务结合。该系统表现出强适应能力,支持在动态障碍的环境中进行实时调整。”

该研究为服务机器人在开放世界中的语义任务执行提供了新思路,适用于移动操作平台,即当机器人既需要在任务层面做离散规划,把复杂任务分解成一步步动作,又需要在连续空间里做轨迹规划的情况。

图丨移动机械臂布置餐桌的场景(来源:IJRR)

研究团队对移动操作(MoMa)领域进行研究,重点关注机器人同时执行导航和移动抓取的任务。他们还特别关注如何在给定未明确指定的目标的情况下,计算每个物体应该放置的位置和方式。

研究人员利用大模型的丰富常识知识,例如餐具的摆放方式,来促进任务级和运动级规划。此外,他们还使用计算机视觉方法来学习选择基础位置的策略促进 MoMa 行为。

张世琦举例说道:“这很像餐厅里服务员上菜的情景。一方面,服务员站得离桌子越近越好,另一方面又要与顾客、桌子、椅子以及其他障碍物保持一定的距离。我们用视觉方案来解决站位问题,以兼顾机械手臂和基座的性能表现。”

(来源:IJRR)

以具体场景为例,来理解机器人在任务规划和运动规划之间进行交互:假如机器人想要将餐具摆放到十人餐桌,有人已就座。

在任务层面,它需要判断具体从桌子左边还是右边走过去更安全。与此同时,机器人在上菜时需要决策先放盘子还是杯子等。而运动规划的问题则是:餐桌旁边已有椅子,应该如何调整站姿,能让放盘子的成功率和效率都比较高。

(来源:IJRR)

为验证该系统的效果,该团队分别在真实机器人和仿真环境中进行实验。真实实验涵盖三个不同复杂度的任务,包括摆放不同数量的餐具物品,并在有无障碍物的情况下执行多次试验。结果显示,LLM-GROP 在可生成合理的对象布局的前提下,还能在复杂环境中高效地导航和操作。

其中,在真实世界对象重新排列试验中,机器人的任务成功率达到 84.4%。通过主观人类评估,LLM-GROP 在用户满意度方面比现有的对象重新排列方法表现更好。在仿真环境中,LLM-GROP 的执行时间比其他基线方法更短。

研究人员还对比了不同大模型在系统中的作用,发现 GPT-4 在多数任务中表现最佳,而 Gemini 和 Claude 则在某些特定任务中展现优势。

图丨相关论文(来源:IJRR)

近日,相关论文以《LLM-GROP:利用大语言模型实现可视化的机器人任务与运动规划》(LLM-GROP: Visually Grounded Robot Task and Motion Planning with Large Language Models)为题发表在 International Journal of Robotics Research(IJRR)[1]。

纽约州立大学宾汉姆顿分校张笑寒博士(目前任职于波士顿动力 AI 机器人实验室)、丁琰博士(目前任职于鹿明机器人)、博士生速水陽平(Yohei Hayamizu)和扎伊纳布·阿尔塔韦尔(Zainab Altaweel)是共同第一作者,张世琦教授担任通讯作者。这项研究的合作者还包括美国人形机器人厂家 Agility Robotics 克里斯・帕克斯顿(Chris Paxton)、美国得克萨斯大学奥斯汀分校彼得・斯通(Peter Stone)教授和朱玉可教授。

(来源:资料图)

研究团队计划在未来的研究中继续改进相关问题。例如,在实际环境中可能涉及控制等复杂的问题;进一步探索机器人在抓取时控制器是如何实现的;机器人犯错后如何恢复;为机器人提供更好的摄像头提供更丰富的视觉信息;考虑机器人边走边操作的情况等等。

“我们在这次研究中第一次把大模型用在任务运动规划以及移动操作的问题上,未来我们还将探索在现实场景中更多有趣的问题。”张世琦表示。

参考资料:

1.https://doi.org/10.1177/02783649251378196

运营/排版:何晨龙

 时事1:888真人世界注册

  12月28日,瑙鲁发生数起中国公民店铺遭抢劫案件 中使馆发布安全提醒,极目新闻记者查询发现,在重庆市甘肃商会的微信公众号中,今年1月曾发布了《[新任理事介绍]商会理事——赵菊英》的信息。其中介绍,赵菊英是泸州盛夏之光文化传媒有限责任公司总经理,籍贯是甘肃省嘉峪关市。该页面的照片显示,这个理事赵菊英与社交媒体“赵菊英家庭教育”中的赵菊英是同一人。文章介绍称,泸州盛夏之光文化传媒有限责任公司植根于山城重庆。,手机网投官网。

  12月28日,辽宁构建中小学生诚信教育全链条,赵瑞瑞进一步补充,在大规模储能领域,当前钠电池整体制造成本略高于锂电池;但在对循环性要求相对宽松的产品领域(如两轮电动车),钠电池的成本已能与锂电池持平。,letou499,赌场游戏的种类,外围买球app哪个好用。

 时事2:必发手机版登陆

  12月28日,“中国游”“中国购”体验感拉满 外国游客表示“还会再来”,据亿纬锂能中央研究院院长赵瑞瑞介绍,开发钠电池的核心目的是与锂电池形成互补,而非替代锂电池,两类电池在性能上的差异化特征,能够适配不同应用场景的需求。例如,数据中心长期处于高温环境下运作,若意外断电,钠电的高功率特性可实现瞬间补能,保障数据中心持续运行、避免数据丢失等。,环亚游戏平台,两个手机对打AG刷流水,澳门皇冠官网在线观看。

  12月28日,贵州:加强新就业形态劳动者权益保障 发挥司法职能“稳就业”,对南方不少地方而言,高考下雨的概率真的会更大些。中国天气网统计了2003年至2021年19年间全国高考期间(6月7日至9日)平均降水量,可以看出高考期间雨水最多的地方集中在南方,尤其华南地区。此时正值当地的龙舟水期间,大量暖湿空气从海面输送而来,一旦遭遇冷空气就会制造大范围的猛烈降雨,广东、广西、福建、贵州等地都是高考遇雨大户。,bepaly体育下载,千赢官网备用,盛大最新网络游戏。

 时事3:升博注册彩金

  12月28日,浙江宁波直飞老挝万象航线上新,1月30日,唐家成在出席活动致辞时指出,今年往后一段时间,港交所及香港证监会将会研究收窄股票买卖价差,此前也发布了上市公司库存股份咨询文件,相信这有助提升香港市场的流动性及吸引力。,真钱大厅下载,大富豪游戏下载,九州视频发布平台。

  12月28日,坚守海岛15年女班长邹嫦艳:我的战位是方寸之间的“指尖江湖”,投资回报率只是CVC基金对上市公司发展提供支撑的一个方面。累计投资项目超60个,汇川产投通过拉通整合集团内部与被投企业资源,从三个维度为上市公司发展提供支撑:一是补强核心技术短板,筑牢产品竞争壁垒;二是搭建产业协同生态,降低供应链与竞争风险;三是捕捉赛道机会,拓展战略发展边界。,棋牌牛牛抢庄,超级赛马,a7娱乐登录注册。

 时事4:和记官方网址

  12月28日,世界羽联世巡赛总决赛女单小组赛:中国选手王祉怡战胜队友韩悦,“空中柜面”重塑服务流程,客户无需亲自赴柜,通过手机即可视频连线空中柜员,支持办理包括多保单、跨类型业务在内的50多项保全服务,省去了客户往返网点与现场等候时间,将传统需临柜办理的业务转化为约10分钟的视频服务,真正实现“一次呼入、一柜通办”。无论是居家、出行或在海外,均可享受专业、高效的服务响应,极大节约客户时间成本与经济成本,提升服务获得感。,国外能看世界杯的网站,凯时官网,完美体育官网网址。

  12月28日,【好评中国】回眸2025中国经济轨迹“稳、新、暖”,结合季节性看,通常1月第二周资金面开始收敛,到下旬略有放松,其中关键是资金利率变化的斜率,以及资金分层的变化情况。,手机版电玩城app,世界杯怎么去买球规则,黄冠体育官网。

责编:阙道华

审核:段伟朵

责编:陈瑞平

相关推荐 换一换