猫眼电影
猫眼电影记者 阳建 报道首次登录送91元红包
过去,如果想让机器人布置餐桌,需要给它明确的指令,比如:往前走 2 米,抬起 45 度,食物需要摆在餐盘中,叉子摆到盘子的右侧……
现在,只要对机器人说“把这些餐具以合理的形式摆好”,它就能通过与大语言模型交流,学到怎么摆的常识性知识,然后按照要求把餐具合理地摆出来。
(来源:https://sites.google.com/view/llm-grop)
这项研究来自美国纽约州立大学宾汉姆顿分校张世琦教授团队与合作者,他们提出了一种名为 LLM-GROP 的方法,使机器人能够在复杂环境中高效地完成多对象重新排列任务,在真实环境中的任务成功率达 84.4%。
张世琦对 DeepTech 表示:“我们首次将大语言模型的常识知识与任务与运动规划(TAMP,Task and motion planning)任务结合。该系统表现出强适应能力,支持在动态障碍的环境中进行实时调整。”
该研究为服务机器人在开放世界中的语义任务执行提供了新思路,适用于移动操作平台,即当机器人既需要在任务层面做离散规划,把复杂任务分解成一步步动作,又需要在连续空间里做轨迹规划的情况。
图丨移动机械臂布置餐桌的场景(来源:IJRR)
研究团队对移动操作(MoMa)领域进行研究,重点关注机器人同时执行导航和移动抓取的任务。他们还特别关注如何在给定未明确指定的目标的情况下,计算每个物体应该放置的位置和方式。
研究人员利用大模型的丰富常识知识,例如餐具的摆放方式,来促进任务级和运动级规划。此外,他们还使用计算机视觉方法来学习选择基础位置的策略促进 MoMa 行为。
张世琦举例说道:“这很像餐厅里服务员上菜的情景。一方面,服务员站得离桌子越近越好,另一方面又要与顾客、桌子、椅子以及其他障碍物保持一定的距离。我们用视觉方案来解决站位问题,以兼顾机械手臂和基座的性能表现。”
(来源:IJRR)
以具体场景为例,来理解机器人在任务规划和运动规划之间进行交互:假如机器人想要将餐具摆放到十人餐桌,有人已就座。
在任务层面,它需要判断具体从桌子左边还是右边走过去更安全。与此同时,机器人在上菜时需要决策先放盘子还是杯子等。而运动规划的问题则是:餐桌旁边已有椅子,应该如何调整站姿,能让放盘子的成功率和效率都比较高。
(来源:IJRR)
为验证该系统的效果,该团队分别在真实机器人和仿真环境中进行实验。真实实验涵盖三个不同复杂度的任务,包括摆放不同数量的餐具物品,并在有无障碍物的情况下执行多次试验。结果显示,LLM-GROP 在可生成合理的对象布局的前提下,还能在复杂环境中高效地导航和操作。
其中,在真实世界对象重新排列试验中,机器人的任务成功率达到 84.4%。通过主观人类评估,LLM-GROP 在用户满意度方面比现有的对象重新排列方法表现更好。在仿真环境中,LLM-GROP 的执行时间比其他基线方法更短。
研究人员还对比了不同大模型在系统中的作用,发现 GPT-4 在多数任务中表现最佳,而 Gemini 和 Claude 则在某些特定任务中展现优势。
图丨相关论文(来源:IJRR)
近日,相关论文以《LLM-GROP:利用大语言模型实现可视化的机器人任务与运动规划》(LLM-GROP: Visually Grounded Robot Task and Motion Planning with Large Language Models)为题发表在 International Journal of Robotics Research(IJRR)[1]。
纽约州立大学宾汉姆顿分校张笑寒博士(目前任职于波士顿动力 AI 机器人实验室)、丁琰博士(目前任职于鹿明机器人)、博士生速水陽平(Yohei Hayamizu)和扎伊纳布·阿尔塔韦尔(Zainab Altaweel)是共同第一作者,张世琦教授担任通讯作者。这项研究的合作者还包括美国人形机器人厂家 Agility Robotics 克里斯・帕克斯顿(Chris Paxton)、美国得克萨斯大学奥斯汀分校彼得・斯通(Peter Stone)教授和朱玉可教授。
(来源:资料图)
研究团队计划在未来的研究中继续改进相关问题。例如,在实际环境中可能涉及控制等复杂的问题;进一步探索机器人在抓取时控制器是如何实现的;机器人犯错后如何恢复;为机器人提供更好的摄像头提供更丰富的视觉信息;考虑机器人边走边操作的情况等等。
“我们在这次研究中第一次把大模型用在任务运动规划以及移动操作的问题上,未来我们还将探索在现实场景中更多有趣的问题。”张世琦表示。
参考资料:
1.https://doi.org/10.1177/02783649251378196
运营/排版:何晨龙
时事1:2008年欧洲杯比分表
12月23日,军国主义,借尸还魂?|新漫评,村民刘一鸣(化名)常年在沿海地区打工,妻子钱清花在老家种水田、带孩子。最近,刘一鸣查询国家企业信用信息公示系统,发现妻子也被莫名其妙登记了营业执照。日期是2011年8月16日,登记机关为“大悟县市场监督管理局”,营业执照类型为“个体工商户”。,疯狂捕鱼无限金币版破解版。
12月23日,澳门特首岑浩辉:推进重要改革措施,促进经济多元发展,中国机电产品进出口商会(以下简称“中国机电商会”)在6月12日晚发布的声明中也表示,本次调查不是由欧盟产业主动申诉,而是由欧委会基于损害威胁依职权主动发起,这在欧盟的贸易救济实践中非常罕见,调查过程也存在严重瑕疵。,申通申搏官网登录,ag亚娱ag85856平台,欢乐牛牛下载。
时事2:9州体育app
12月23日,2025世界羽联世界巡回赛总决赛在浙江杭州开赛,对于香港成为“国际金融中心遗址”的言论,唐家成则强调,香港拥有世界一流银行、保险、证券和资产管理等多个金融行业,这些共同奠定了香港国际金融中心地位,不能单以股市冷热衡量实力。他表示,支持香港成为国际金融中心的核心优势没改变,长远来看,非常看好香港市场前景。,世界杯赛事推荐网站,pg电子麻将胡了秘籍,沙巴快速登陆。
12月23日,东西问|马来西亚学者刘慧敏:人工智能如何让教育更普惠?,厦门证监局经查确认,圣元环保子公司认购的私募产品出现重大损失,公司知悉后未及时予以披露,直至12月26日才对外披露,违反了《上市公司信息披露管理办法》相关规定。,9州真人,网页斗地主,6up扑克之星靠谱吗。
时事3:yabo网址
12月23日,我国成为全球第10个国际认证救援体系国家,CF40资深研究员、中国社科院世界经济与政治研究所副所长张斌表示,一季度实际GDP增速超出全年目标,名义GDP增速过低,经济增长的获得感偏弱,对未来的预期偏弱。,皖青体育怎么注册,即时比分v90,体育买球app。
12月23日,香港发展局:日后棚网必须提交阻燃证明 并送指定实验室检测,不久前, 德国媒体报道称,朔尔茨于1月29日重申德国不会向乌克兰提供战斗机。朔尔茨当时在接受《每日镜报》采访时说:“在武器系统方面,我的忠告是,不要陷入一种持续不断的竞购战中。”他称:“如果刚做了一个(关于提供主战坦克的)决定,德国又掀起另一轮(军援的)辩论,将给人一种态度轻忽的印象,而且会削弱民众对政府决策的信心。”,优德在线官网,皇冠体育登陆,正规网上网投网赌。
时事4:皇冠家族
12月23日,联合国难民署75周年慈善之夜在上海举办,而造成主营业务收入同比下跌的原因的主要是平均每日成交额下跌令交易及结算费减少、保证金与结算所基金的投资收益净额减少以及上市费收入减少。,365bet在线体育,乐博娱乐,AG最新地址。
12月23日,AI护航、“数据干果”加持 高校为考研学子上足“科技发条”,蹊跷的是,汪绪良注册于2012年的工商信息被注销后,2023年6月26日、6月27日又被注册了两家个体工商信息,且注册资金均为10万。“注册地址都具体到我家门牌号了。但我们完全不知情。家里看病欠了几万的债,也不可能有这些钱。”汪争猛说。,网上投注大全,在线网投,大富豪的网站有哪些。
责编:路伟才
审核:刘亚津
责编:温璐












