猫眼电影
猫眼电影记者 斯拉瓦 报道首次登录送91元红包
过去,如果想让机器人布置餐桌,需要给它明确的指令,比如:往前走 2 米,抬起 45 度,食物需要摆在餐盘中,叉子摆到盘子的右侧……
现在,只要对机器人说“把这些餐具以合理的形式摆好”,它就能通过与大语言模型交流,学到怎么摆的常识性知识,然后按照要求把餐具合理地摆出来。
(来源:https://sites.google.com/view/llm-grop)
这项研究来自美国纽约州立大学宾汉姆顿分校张世琦教授团队与合作者,他们提出了一种名为 LLM-GROP 的方法,使机器人能够在复杂环境中高效地完成多对象重新排列任务,在真实环境中的任务成功率达 84.4%。
张世琦对 DeepTech 表示:“我们首次将大语言模型的常识知识与任务与运动规划(TAMP,Task and motion planning)任务结合。该系统表现出强适应能力,支持在动态障碍的环境中进行实时调整。”
该研究为服务机器人在开放世界中的语义任务执行提供了新思路,适用于移动操作平台,即当机器人既需要在任务层面做离散规划,把复杂任务分解成一步步动作,又需要在连续空间里做轨迹规划的情况。
图丨移动机械臂布置餐桌的场景(来源:IJRR)
研究团队对移动操作(MoMa)领域进行研究,重点关注机器人同时执行导航和移动抓取的任务。他们还特别关注如何在给定未明确指定的目标的情况下,计算每个物体应该放置的位置和方式。
研究人员利用大模型的丰富常识知识,例如餐具的摆放方式,来促进任务级和运动级规划。此外,他们还使用计算机视觉方法来学习选择基础位置的策略促进 MoMa 行为。
张世琦举例说道:“这很像餐厅里服务员上菜的情景。一方面,服务员站得离桌子越近越好,另一方面又要与顾客、桌子、椅子以及其他障碍物保持一定的距离。我们用视觉方案来解决站位问题,以兼顾机械手臂和基座的性能表现。”
(来源:IJRR)
以具体场景为例,来理解机器人在任务规划和运动规划之间进行交互:假如机器人想要将餐具摆放到十人餐桌,有人已就座。
在任务层面,它需要判断具体从桌子左边还是右边走过去更安全。与此同时,机器人在上菜时需要决策先放盘子还是杯子等。而运动规划的问题则是:餐桌旁边已有椅子,应该如何调整站姿,能让放盘子的成功率和效率都比较高。
(来源:IJRR)
为验证该系统的效果,该团队分别在真实机器人和仿真环境中进行实验。真实实验涵盖三个不同复杂度的任务,包括摆放不同数量的餐具物品,并在有无障碍物的情况下执行多次试验。结果显示,LLM-GROP 在可生成合理的对象布局的前提下,还能在复杂环境中高效地导航和操作。
其中,在真实世界对象重新排列试验中,机器人的任务成功率达到 84.4%。通过主观人类评估,LLM-GROP 在用户满意度方面比现有的对象重新排列方法表现更好。在仿真环境中,LLM-GROP 的执行时间比其他基线方法更短。
研究人员还对比了不同大模型在系统中的作用,发现 GPT-4 在多数任务中表现最佳,而 Gemini 和 Claude 则在某些特定任务中展现优势。
图丨相关论文(来源:IJRR)
近日,相关论文以《LLM-GROP:利用大语言模型实现可视化的机器人任务与运动规划》(LLM-GROP: Visually Grounded Robot Task and Motion Planning with Large Language Models)为题发表在 International Journal of Robotics Research(IJRR)[1]。
纽约州立大学宾汉姆顿分校张笑寒博士(目前任职于波士顿动力 AI 机器人实验室)、丁琰博士(目前任职于鹿明机器人)、博士生速水陽平(Yohei Hayamizu)和扎伊纳布·阿尔塔韦尔(Zainab Altaweel)是共同第一作者,张世琦教授担任通讯作者。这项研究的合作者还包括美国人形机器人厂家 Agility Robotics 克里斯・帕克斯顿(Chris Paxton)、美国得克萨斯大学奥斯汀分校彼得・斯通(Peter Stone)教授和朱玉可教授。
(来源:资料图)
研究团队计划在未来的研究中继续改进相关问题。例如,在实际环境中可能涉及控制等复杂的问题;进一步探索机器人在抓取时控制器是如何实现的;机器人犯错后如何恢复;为机器人提供更好的摄像头提供更丰富的视觉信息;考虑机器人边走边操作的情况等等。
“我们在这次研究中第一次把大模型用在任务运动规划以及移动操作的问题上,未来我们还将探索在现实场景中更多有趣的问题。”张世琦表示。
参考资料:
1.https://doi.org/10.1177/02783649251378196
运营/排版:何晨龙
时事1:真钱直营娱乐
12月22日,受权发布丨全国人民代表大会常务委员会任免名单,2025年12月20日晚,由中央广播电视总台精心打造的《鸿蒙星光盛典》正式播出。这场科技盛会原计划于11月28日举行,后因香港大埔发生火灾,为表达对生命的尊重与对受灾民众的深切关怀,主办方决定推迟播出。最终,这场虽无现场观众却通过屏幕联结起无数目光的特别呈现,以云端相聚的方式,完成了跨越时空的温暖共聚。,体育365注册。
12月22日,【统战巡礼】发挥法宝作用 广泛凝心聚力,“人们购买大疆无人机不是因为它是中国产的,而是因为它是可用的、价格实惠且性能优异。”雷维迪奥说。,网上买球平台推荐,恒峰g22登录入口,必赢首页。
时事2:365bet外围网站怎么样注册
12月22日,“花式过冬 嗨游辽宁”2025冬游辽宁消费季启幕,据《华尔街日报》23日援引美国人口普查局的数据报道,数据中心建设支出最早有望在明年超过写字楼建设支出。在AI需求的推动下,数据中心的投资回报率已领跑市场,据美国房地产投资受托人全国委员会数据,该类资产去年的回报率高达11.2%,除活动房屋外,表现优于所有其他房地产板块。,威尼斯人线路五,世界杯菠菜网站,ManBetX2。
12月22日,福建省首批港外锚地公布 厦门港口能级进一步提升,首先,将帅搭班情况来看,该公司董事长、总裁任职情况也有新变化。担任董事长职务长达7年的房永斌于2024年底连任,这意味着其或将成为该公司发展史上首位任期超10年的董事长。另外,年满60周岁的总裁邓可今年也增加了两项新职责:合规、财务。,betway官方网站登录,手机网投官网,环球娱乐彩票网。
时事3:买球一般用啥app
12月22日,第七届澜湄国际电影周落幕 20部澜湄国家影片获金象荣誉,也门政治评论人士 默罕默德·沙姆桑:中国在非洲及中东地区的关键问题上都有着积极的影响力。从2021年开始,沙伊两国在伊拉克和阿曼展开对话,而中国在这其中发挥了重要作用。我认为中国未来在地区事务中还将扮演重要角色,中国同很多海湾国家签署了经济合作协议,同时和相关国家在安全和政治领域也开展了广泛的合作,这将对地区稳定与发展产生积极作用。,申搏官网下载,澳门新威尼斯人官网,九龙内幕特肖图B。
12月22日,拾光纪·“改革开放是中国人民和中华民族发展史上一次伟大革命”,随着中国政府加大对人工智能芯片制造商的扶持力度,海外投资者认为中国正不断缩小与美国的科技差距。而与此同时,美股上市人工智能股票估值高企引发的担忧持续升温,这促使投资者纷纷押注中国相关企业。,开户送钱平台有哪些,365体育直播足球,世界杯投注最多的金额。
时事4:必威西汉姆联
12月22日,雪后故宫吸引游客参观游览,在彭昌国看来,在非洲卖手机是个苦差事。一方面,翻新机的质量并不稳定,售后需求比较多。另一方面,想要融入当地的销售网络并不容易。他表示,手机档口主要做批发生意,一些当地人会来卖场进货,而手机销售网络非常下沉。一些人甚至会在卖场中进货,直接到街对面摆摊销售。“一些当地人也习惯在街边买手机,连个柜台都没有,他们甚至不习惯到专卖店买手机。”,365bet体育盘口官网首页,金沙app电玩,欧洲杯历届冠军。
12月22日,首届环喜马拉雅地区影像巡展在尼泊尔开幕,在昨天的外交部记者会上,直新闻记者注意到,国内外媒体普遍关注莫迪连任后中印关系的走向。发言人毛宁表示,中方对此表示祝贺。她指出,一个健康稳定的中印关系符合双方共同利益,也有利于本地区乃至世界的和平与发展。“中方愿同印方一道努力,从两国和两国人民的根本利益出发,着眼大局,面向未来,推动两国关系沿着健康稳定的轨道向前发展。”,888真人买球,爱游戏网址登录,凯发体育限额。
责编:曹家荣
审核:郑培进
责编:巴尔特雷












