猫眼电影记者 窦永刚 报道首次登录送91元红包

过去，如果想让机器人布置餐桌，需要给它明确的指令，比如：往前走 2 米，抬起 45 度，食物需要摆在餐盘中，叉子摆到盘子的右侧……

现在，只要对机器人说“把这些餐具以合理的形式摆好”，它就能通过与大语言模型交流，学到怎么摆的常识性知识，然后按照要求把餐具合理地摆出来。

（来源：https://sites.google.com/view/llm-grop）

这项研究来自美国纽约州立大学宾汉姆顿分校张世琦教授团队与合作者，他们提出了一种名为 LLM-GROP 的方法，使机器人能够在复杂环境中高效地完成多对象重新排列任务，在真实环境中的任务成功率达 84.4%。

张世琦对 DeepTech 表示：“我们首次将大语言模型的常识知识与任务与运动规划（TAMP，Task and motion planning）任务结合。该系统表现出强适应能力，支持在动态障碍的环境中进行实时调整。”

该研究为服务机器人在开放世界中的语义任务执行提供了新思路，适用于移动操作平台，即当机器人既需要在任务层面做离散规划，把复杂任务分解成一步步动作，又需要在连续空间里做轨迹规划的情况。

图丨移动机械臂布置餐桌的场景（来源：IJRR）

研究团队对移动操作（MoMa）领域进行研究，重点关注机器人同时执行导航和移动抓取的任务。他们还特别关注如何在给定未明确指定的目标的情况下，计算每个物体应该放置的位置和方式。

研究人员利用大模型的丰富常识知识，例如餐具的摆放方式，来促进任务级和运动级规划。此外，他们还使用计算机视觉方法来学习选择基础位置的策略促进 MoMa 行为。

张世琦举例说道：“这很像餐厅里服务员上菜的情景。一方面，服务员站得离桌子越近越好，另一方面又要与顾客、桌子、椅子以及其他障碍物保持一定的距离。我们用视觉方案来解决站位问题，以兼顾机械手臂和基座的性能表现。”

（来源：IJRR）

以具体场景为例，来理解机器人在任务规划和运动规划之间进行交互：假如机器人想要将餐具摆放到十人餐桌，有人已就座。

在任务层面，它需要判断具体从桌子左边还是右边走过去更安全。与此同时，机器人在上菜时需要决策先放盘子还是杯子等。而运动规划的问题则是：餐桌旁边已有椅子，应该如何调整站姿，能让放盘子的成功率和效率都比较高。

（来源：IJRR）

为验证该系统的效果，该团队分别在真实机器人和仿真环境中进行实验。真实实验涵盖三个不同复杂度的任务，包括摆放不同数量的餐具物品，并在有无障碍物的情况下执行多次试验。结果显示，LLM-GROP 在可生成合理的对象布局的前提下，还能在复杂环境中高效地导航和操作。

其中，在真实世界对象重新排列试验中，机器人的任务成功率达到 84.4%。通过主观人类评估，LLM-GROP 在用户满意度方面比现有的对象重新排列方法表现更好。在仿真环境中，LLM-GROP 的执行时间比其他基线方法更短。

研究人员还对比了不同大模型在系统中的作用，发现 GPT-4 在多数任务中表现最佳，而 Gemini 和 Claude 则在某些特定任务中展现优势。

图丨相关论文（来源：IJRR）

近日，相关论文以《LLM-GROP：利用大语言模型实现可视化的机器人任务与运动规划》（LLM-GROP: Visually Grounded Robot Task and Motion Planning with Large Language Models）为题发表在 International Journal of Robotics Research（IJRR）[1]。

纽约州立大学宾汉姆顿分校张笑寒博士（目前任职于波士顿动力 AI 机器人实验室）、丁琰博士（目前任职于鹿明机器人）、博士生速水陽平（Yohei Hayamizu）和扎伊纳布·阿尔塔韦尔（Zainab Altaweel）是共同第一作者，张世琦教授担任通讯作者。这项研究的合作者还包括美国人形机器人厂家 Agility Robotics 克里斯・帕克斯顿（Chris Paxton）、美国得克萨斯大学奥斯汀分校彼得・斯通（Peter Stone）教授和朱玉可教授。

（来源：资料图）

研究团队计划在未来的研究中继续改进相关问题。例如，在实际环境中可能涉及控制等复杂的问题；进一步探索机器人在抓取时控制器是如何实现的；机器人犯错后如何恢复；为机器人提供更好的摄像头提供更丰富的视觉信息；考虑机器人边走边操作的情况等等。

“我们在这次研究中第一次把大模型用在任务运动规划以及移动操作的问题上，未来我们还将探索在现实场景中更多有趣的问题。”张世琦表示。

参考资料：

1.https://doi.org/10.1177/02783649251378196

运营/排版：何晨龙

  时事1：捕鱼打钱

  12月24日,文化观察：文化遗产如何出圈、出彩，又出海？,而拟任副总裁李民在2020年4月便担任该公司首席营销官。值得一提的是，李民与夏传谦的副总裁任职都在该公司第五届董事会第二次临时会议上审议通过，而李民的副总裁任职资格尚待监管批准。,申博官网。

  12月24日,中国本土创新重器助力乌鲁尉高速公路全线通车,沙伊对话本不是新鲜事。自2021年4月起，两国官员在伊拉克首都巴格达就开始对话。在北京这轮对话之前，两国已举行5轮对话，最近一轮是在2022年4月。,易博是正规平台吗,ManBetx真人百家乐,宝博炸金花的规律。

  时事2：九州安卓版注册

  12月24日,2025中国金球奖各奖项候选者名单揭晓,据其介绍，目前，重庆开发商通常会给两套价格标准，且都会写入购房合同。从执行结果来看，两套标准的房屋总价不变，套内单价高于建面单价。,188体育开户官方网站,大型棋牌平台排行榜,im电竞注册彩金。

  12月24日,巡回诊疗车开进浙江山区县 资源下沉破题“看病难”,印度大选结果出炉后，引发外界对印度外交政策未来走向的广泛关注。实际上，过去10年来，莫迪在外交领域似乎风生水起、左右逢源，使印度成为国际上多方拉拢的对象。,九五至尊快速登陆,欧博投注登录,炸金花真钱网投。

  时事3：ag真人网址是多少

  12月24日,国防部：坚决阻击日本军国主义幽灵复活,集训前几天来到沈阳的媒体人数还不多，晚上公开训练前伊万还非常友好地与媒体记者握手打招呼，看上去一片祥和气氛。,ks凯时国际,ku体育博彩,mgm登录官网。

  12月24日,中国官方出新规严格直播电商食品安全监管,欧盟中国商会调研显示，对大多中国车企而言，欧方加征10%以上关税即为高位区间，将对出口带来直接负面影响。当前的17.4%到38.1%的临时关税区间意味着严峻的市场准入障碍。不过，中国作为全球电动汽车产销第一大市场，国内市场销量远高于欧美市场销量的总和，对欧电动汽车出口仅占中国电动汽车产量的5%左右，且大多为欧美品牌。中国自主电动汽车品牌在欧洲的市场占有率也远低于欧洲本土企业。,金沙城中心网址,亚洲体育真人,永利博。

  时事4：开运官网下载

  12月24日,棋盘边的“第三只眼”：残特奥会珠海赛区的贴心守护,——加强两国媒体交流，推动各层级人员互访，支持务实专业对话，积极开展高质量内容合作，深挖新媒体、新技术在大众传媒领域合作潜力，客观全面报道全球重大事件，在国际舆论场传播真实信息。继续推动两国图书翻译出版机构知识经验交流与合作，促进电视频道节目相互播出。,电竞赛事竞猜app,九洲体育,亚协体育官网。

  12月24日,最高法与全国妇联联合印发通知 推进婚姻家庭纠纷预防化解,李国杰作为中科曙光董事长，配偶张某华六个月内买入卖出“中科曙光”的行为，导致李国杰违反《证券法》第四十四条第一款、第二款的规定，构成《证券法》第一百八十九条所述的违法行为。,AG九游会,世界杯醉汉买球,葡京十大网投。