猫眼电影
猫眼电影记者 胡秋雨 报道首次登录送91元红包
过去,如果想让机器人布置餐桌,需要给它明确的指令,比如:往前走 2 米,抬起 45 度,食物需要摆在餐盘中,叉子摆到盘子的右侧……
现在,只要对机器人说“把这些餐具以合理的形式摆好”,它就能通过与大语言模型交流,学到怎么摆的常识性知识,然后按照要求把餐具合理地摆出来。
(来源:https://sites.google.com/view/llm-grop)
这项研究来自美国纽约州立大学宾汉姆顿分校张世琦教授团队与合作者,他们提出了一种名为 LLM-GROP 的方法,使机器人能够在复杂环境中高效地完成多对象重新排列任务,在真实环境中的任务成功率达 84.4%。
张世琦对 DeepTech 表示:“我们首次将大语言模型的常识知识与任务与运动规划(TAMP,Task and motion planning)任务结合。该系统表现出强适应能力,支持在动态障碍的环境中进行实时调整。”
该研究为服务机器人在开放世界中的语义任务执行提供了新思路,适用于移动操作平台,即当机器人既需要在任务层面做离散规划,把复杂任务分解成一步步动作,又需要在连续空间里做轨迹规划的情况。
图丨移动机械臂布置餐桌的场景(来源:IJRR)
研究团队对移动操作(MoMa)领域进行研究,重点关注机器人同时执行导航和移动抓取的任务。他们还特别关注如何在给定未明确指定的目标的情况下,计算每个物体应该放置的位置和方式。
研究人员利用大模型的丰富常识知识,例如餐具的摆放方式,来促进任务级和运动级规划。此外,他们还使用计算机视觉方法来学习选择基础位置的策略促进 MoMa 行为。
张世琦举例说道:“这很像餐厅里服务员上菜的情景。一方面,服务员站得离桌子越近越好,另一方面又要与顾客、桌子、椅子以及其他障碍物保持一定的距离。我们用视觉方案来解决站位问题,以兼顾机械手臂和基座的性能表现。”
(来源:IJRR)
以具体场景为例,来理解机器人在任务规划和运动规划之间进行交互:假如机器人想要将餐具摆放到十人餐桌,有人已就座。
在任务层面,它需要判断具体从桌子左边还是右边走过去更安全。与此同时,机器人在上菜时需要决策先放盘子还是杯子等。而运动规划的问题则是:餐桌旁边已有椅子,应该如何调整站姿,能让放盘子的成功率和效率都比较高。
(来源:IJRR)
为验证该系统的效果,该团队分别在真实机器人和仿真环境中进行实验。真实实验涵盖三个不同复杂度的任务,包括摆放不同数量的餐具物品,并在有无障碍物的情况下执行多次试验。结果显示,LLM-GROP 在可生成合理的对象布局的前提下,还能在复杂环境中高效地导航和操作。
其中,在真实世界对象重新排列试验中,机器人的任务成功率达到 84.4%。通过主观人类评估,LLM-GROP 在用户满意度方面比现有的对象重新排列方法表现更好。在仿真环境中,LLM-GROP 的执行时间比其他基线方法更短。
研究人员还对比了不同大模型在系统中的作用,发现 GPT-4 在多数任务中表现最佳,而 Gemini 和 Claude 则在某些特定任务中展现优势。
图丨相关论文(来源:IJRR)
近日,相关论文以《LLM-GROP:利用大语言模型实现可视化的机器人任务与运动规划》(LLM-GROP: Visually Grounded Robot Task and Motion Planning with Large Language Models)为题发表在 International Journal of Robotics Research(IJRR)[1]。
纽约州立大学宾汉姆顿分校张笑寒博士(目前任职于波士顿动力 AI 机器人实验室)、丁琰博士(目前任职于鹿明机器人)、博士生速水陽平(Yohei Hayamizu)和扎伊纳布·阿尔塔韦尔(Zainab Altaweel)是共同第一作者,张世琦教授担任通讯作者。这项研究的合作者还包括美国人形机器人厂家 Agility Robotics 克里斯・帕克斯顿(Chris Paxton)、美国得克萨斯大学奥斯汀分校彼得・斯通(Peter Stone)教授和朱玉可教授。
(来源:资料图)
研究团队计划在未来的研究中继续改进相关问题。例如,在实际环境中可能涉及控制等复杂的问题;进一步探索机器人在抓取时控制器是如何实现的;机器人犯错后如何恢复;为机器人提供更好的摄像头提供更丰富的视觉信息;考虑机器人边走边操作的情况等等。
“我们在这次研究中第一次把大模型用在任务运动规划以及移动操作的问题上,未来我们还将探索在现实场景中更多有趣的问题。”张世琦表示。
参考资料:
1.https://doi.org/10.1177/02783649251378196
运营/排版:何晨龙
时事1:世界杯投注比分
12月25日,2025中国金球奖各奖项候选者名单揭晓,一季度重庆民营经济实现增加值4225.78亿元,增长7.1%,对全市经济增长贡献率达到67.5%,拉动经济增长4.2个百分点;国有经济实现增加值2459.67亿元,增长5.1%,对全市经济增长贡献率为27.5%,拉动经济增长1.7个百分点;外商及港澳台经济实现增加值546.58亿元,增长4.0%,对全市经济增长贡献率为5.0%,拉动经济增长0.3个百分点。,亿万娱乐官网。
12月25日,曾捐赠618张侵华日军暴行照片的马库斯松松一行 到南京参加国家公祭日活动 捐赠非遗蜀锦制作画 “正义与和平”,吉林省统计局介绍,一季度,全省服务业增加值同比增长5.7%,对全省GDP贡献率达53.5%。1—2月份,全省规模以上服务业重点行业营业收入同比增长26.5%,增速比上年同期加快18.0个百分点,其中规模以上软件和信息技术服务业、多式联运和运输代理业、科学研究和技术服务业营业收入分别增长42.5%、41.5%、38.7%。,hth华体会app平台,手机棋牌乐棋牌,棋牌客户端。
时事2:国际英标真人发声版
12月25日,中新健康丨甲型H3N2高发!儿童这些症状要注意,5月4日的外交部例行记者会上,有记者提问北约计划在日本设立联络处一事。外交部发言人毛宁表示,亚洲是和平稳定的高地、合作开发的热土,不应成为地缘争夺的角斗场。北约持续东进亚太、干预地区事务,势必破坏地区和平稳定,促推阵营对抗,应引起地区国家高度警惕。,f66永乐国际AG旗舰厅,金沙投注网,纬来体育在线登陆。
12月25日,钟南山:营造科研人员敢攻坚的环境,方能育出突破成果,前述在加纳从事手机生意的人士告诉《中国新闻周刊》,非洲市场的差异比较大,刚果(金)、加纳属于人均GDP较低的国家,而在南非、肯尼亚等国,当地消费者已经能接受单价较高的手机。即便如此,更多消费者也只会购买100美元左右的智能手机。,澳门银银河下载,手机娱乐注册,皇冠体育足球。
时事3:凯发娱乐地址下载
12月25日,看烟花、游灯会、逛花市……广州“花式过大年”可以这样玩|请到广东过大年,未来对租赁物残值的评估,仅靠线下方式已经不够。我们现在采用AI残值评估计算模型,这对租后管理、资产管理和风控部门非常有价值。最后,AI赋能的数据展示也很关键,从获客、审查到运营,实现全方位赋能。,真人德州怎么样,2026世界杯正规买球app,必赢亚洲手机登陆版下载。
12月25日,农产品进出口全国第一!“十四五”广东推进乡村产业振兴成效速览→,据公开资料,郭宁宁,女,汉族,1970年7月出生,辽宁沈阳人,1999年3月加入中国共产党,1994年7月参加工作,研究生学历,经济学博士,注册会计师。她是第二十届中央候补委员。,边峰游戏,赌博手机版下载,必胜app平台。
时事4:体育比分在线
12月25日,河南平粮台古城遗址博物馆新馆试运营,12月23日,人民币汇率持续走强,离岸、在岸人民币对美元即期汇率盘中分别升破7.02、7.03关口。人民币对美元中间价调升49个基点,报7.0523,创2024年10月以来最高。今年以来,人民币对美元中间价累计升值1.89%。,bet9最近网址,letou入口,万万博登录。
12月25日,“台湾有何本钱用备战换和平?”岛内青年拷问赖清德:没人愿当炮灰、做牺牲品,为“台独”打仗,2023年1月,唐一军任江西省政协党组书记、主席,直至此次被查。,2020年欧洲杯决赛时间,Bib体育,亚游AG官网登录。
责编:刘春明
审核:余芳璇
责编:马俊












