机器学习技术可以有效地学会控制一个机器人

来自麻省理工学院和斯坦福大学的研究人员发明了一种新的机器学习方法,它可以用来控制一个机器人,如无人机或自主车,更有效地在动态环境中条件可以迅速改变。

这种技术可以帮助自主车辆学会弥补滑路条件避免打滑,让机器人free-flyer拖在太空中不同的对象,或使无人机能够密切关注一个下坡滑雪尽管被强风的冲击。

研究者的方法包含了某些结构控制理论到学习的过程模型,这样会导致一个有效的方法控制复杂的动态,比如风力造成的影响的轨迹飞行汽车。一种思考这种结构作为一个提示,可以帮助指导如何控制一个系统。

“我们的工作的重点是学习内在结构的动力学系统,可用于设计更有效,稳定控制器,”说Navid Azizan以斯帖和哈罗德·e·艾顿麻省理工学院机械工程系助理教授和研究院的数据,系统,和社会(ids),和信息与决策系统实验室的一个成员(盖子)。“通过共同学习系统的动力学和这些独特control-oriented从数据结构,我们可以自然地创建控制器,功能更有效地在现实世界中。”

在学习中使用这个结构模型,研究人员的技术立即从模型中提取有效的控制器,而不是其他的机器学习方法需要一个控制器分别派生或学习额外的步骤。使用这种结构,他们的学习方法也可以有效的控制器比其他方法使用更少的数据。这可以帮助他们上优于控制系统在快速变化的环境中更快地获得更好的性能。

“这工作试图平衡识别结构系统学习模型的数据,”作者说斯宾塞·m·理查兹斯坦福大学研究生。“我们的方法是受机器人如何利用物理推导简单模型的机器人。物理分析这些模型往往会产生一个有用的结构控制的目的,你可能会错过如果你只是试图天真地适合一个数据模型。相反,我们试图确定同样有用的结构数据,显示如何实现控制逻辑。”

让-雅克·Slotine其他论文的作者,机械工程教授,麻省理工学院大脑与认知科学系副教授和马可Pavone,斯坦福大学航空航天。这项研究将会在国际会议机器学习(ICML)。

学习一个控制器

确定最好的方式来控制机器人完成给定的任务可以是一个困难的问题,即使研究人员知道如何模型系统的一切。

一个控制器的逻辑,使无人机跟踪期望轨迹,为例。这个控制器会告诉无人机如何调整其转子力量来弥补风的影响可以住嘴稳定路径达到它的目标。

这种无人机动力系统——一个物理系统随时间的演化。在这种情况下,因为它飞过它的位置和速度改变环境。如果这样的系统很简单,工程师可以推出一个控制器。

手工建模系统本质上捕捉某种结构基于的物理系统。例如,如果一个机器人建模手动使用微分方程,这些可以捕获速度之间的关系,加速度和力。加速度是速度变化量的速度随着时间的推移,它的质量是由和力量应用于机器人。

但往往准确建模的系统太复杂。空气动力学的影响,像旋转风推飞行车,手动是出了名的难以获得,理查兹解释道。研究人员将无人机进行测量的位置,速度,和转子速度随着时间的推移,和使用机器学习来适应这个动力系统的模型数据。但这些方法通常不学习控制结构。这个结构是有用的在决定如何最好地将转子速度设置为直接无人机的运动。

一旦他们有动力系统建模,许多现有的学习方法也使用数据独立的控制器系统。

“其他方法试图学习动力和一个控制器的数据作为单独的实体是有点超然哲学我们通常做的简单的系统。我们的方法是更让人想起手工推导模型从物理和连接控制,”理查兹说。

确定结构

从麻省理工学院和斯坦福大学的研究小组开发出一种技术,使用机器学习学习动力学模型,但在这样一种方式的模型有一些规定的结构控制系统是有用的。

这种结构,可以提取一个控制器直接从动力学模型,而不是使用数据学习一个完全独立的模型控制器。

“我们发现,除了学习动态,这也是必不可少的学习control-oriented结构,支持有效的控制器设计。我们的方法的学习依赖系数分解动力学的表现方面的基线数据的效率和跟踪功能,在有效证明是成功和有效控制系统的轨迹,”Azizan说。

当他们测试了这种方法,控制器密切关注预期的轨迹,超过所有基线方法。控制器从他们的学习模式中提取近真实匹配性能的控制器,用精确的动力学系统的构建。

“通过简单的假设,我们得到了一些实际工作比其他复杂的基准方法,”理查兹补充说。

研究人员还发现,他们的方法是data-efficient,这意味着它实现高性能即使一些数据。例如,它可以有效地模型高度动态rotor-driven车辆使用只有100数据点。方法使用多个学习组件的性能下降更快和更小的数据集。

效率可能会使他们的技术的情况下特别有用一个无人机和机器人需要快速学习,快速变化的条件。

另外,他们的方法一般可以应用到许多类型的动力系统,从机械臂自由飞行的航天器在低重力环境中进行操作。

在未来,研究者感兴趣的开发模型,更身体可翻译的,那就是能够识别特定信息动力系统,理查兹说。这可能导致性能控制器。

参考:理查德M, Slotine, j j, Azizan N, Pavone M .学习control-oriented动力结构的数据。2023年。arXiv: 2302.02529。doi:10.48550 / arXiv.2302.02529

本文从以下转载材料。注:材料可能是长度和内容的编辑。为进一步的信息,请联系引用源。