新闻资讯

联系我们

卡内基梅隆大学联手谷歌DeepMind 使机器人能够创造性地使用工具

发布时间: 2024-03-02 作者: 韦博体育app官方下载/企业动态

  机器人与人类的思维方法有本质不同,例如当一种食材置于储物架上方难以徒手够到,人类仅需花费数秒时间,就能寻找到板凳或梯子,站上去将其拿下。这种简单的解决方案是一种复杂问题解决办法的结果,研究人员称之为创造性工具使用。

  尽管使用工具用于预期用途是一项非常拥有的技能,但创造性地使用工具不仅依赖于识别工具和有效使用工具的能力,还依赖于预测结果的倾向。在所有动物当中,仅有人类可以掌握这种判断技能。这也使得人类成为高级智能的标志。

  近日,卡内基梅隆大学机械工程系的研究人员与谷歌 DeepMind 合作,提出了这样一个假设——人类懂得如何创造性地使用工具,那么我们是不是也能教会机器人怎么样去使用工具呢?

  研究人员表示,创造性地使用工具根本挑战在于,它是一个未知的未知问题,也就是说没有示范。否则机器人只能做到学习,却不能创造技能,因此我们一定要引入外部知识,以此来帮助机器人进行头脑风暴,LLMs大语言模型成为实现这一目标的最佳载体。”

  为深入探索这样的一个问题,研究人员构建了RoboTool,这是一个以大型语言模型(LLMs)为基础的创造性工具应用系统。该系统能够接纳关于机器人环境的自然语言指令,包括工作区域内物体的尺寸和位置等与机器人相关的约束条件。接着,RoboTool会生成可直接执行的Python代码,作为达成目标的具体方案。

  卡内梅基隆大学机械工程专业的博士生徐梦迪表示,“现有模型为机器人提供具体指令,如使用这把叉子吃那个蛋糕,机器人会在限定范围以内进行指令性的操作。而我们则为机器人设定更高层次的指令,比如吃蛋糕。”

  研究小组分别用机械臂和宇树四足机器人Go1来布置三项任务,包括选择工具、连续使用工具和制造工具,RoboTool就是在这种情况下来测试的。

  具体测试方面,为了让机器人对工具的选择做评估,研究人员将牛奶盒放置在了机械臂抓取不到的地方。同时要求四足机器人从一个沙发行走到另一个沙发,两个沙发之间留有一定空隙,以及如何将立方体纸盒抬起。这些测试均需要机器人从多个选项中选择比较适合的工具使用才能成功,团队展示了对物体大小和形状的广泛理解的能力,以及分析这些属性与通过测试这一最终目标之间关系的能力。

  顺序工具测试挑战,要求四足机器人按照特定顺序使用工具来达成目标,机器人需要将积木移到一起才能爬上沙发。机械臂测试当中,需要让机器人使用棍子将罐子推到纸上,从而让罐子拉到触手可及的位置。

  工具制造要求机器人利用现有材料制作工具来达成目标,例如使用脚板和管子制作一个杠杆来抬起一个立方体。这项测试要求机器人辨别物体之间的隐含联系,并通过自行操作组装部件。这种能力在机器人技术中很重要,因为它能让机器人可以在一定程度上完成原本看似难以完成的任务。

  今后,该团队将在系统中加入视觉模型,从而获得更强的感知和推理能力。研究人员还希望开发更多互动方式,让人类参与并指导机器人创造性地使用工具。