工业自动化无处不在。如工厂中执行精确自动化任务的机械臂。大型仓库中沿着预定的轨道行驶取送包裹的机器人。地下矿井中可以在没有人工操作的情况下沿着预编程轨道行驶的，大型轮式装载机等等。

然而，许多行业仍然依赖人工操作员和劳动力。这些行业通常处于高度非结构化和变化的环境中，同时这些环境也是人工工作最危险的环境，如建筑、树木收割和采矿等。

自动化和非自动化任务：与地下矿井中复杂的环境相比，工厂中的环境更加简单有组织

精确的重要性

Algoryx在重型机械的全系统物理模拟方面有十多年的经验。其核心产品AGX Dynamics是一个用于多体和多区域动力学数值模拟的SDK。

为了帮助行业解决现实世界的问题，Algoryx已经跨越了理想化的模型，他们开发了既遵循物理基本原理又允许对复杂的现实世界进行建模。例如，模型考虑了接缝、弹塑性梁、接缝极限、可断裂接缝、分段线性模型等方面的间隙。

这些都是我们在现实中遇到的常见现象，如果没有建模到正确的水平，模拟将无法解决任何现实世界中的问题。AGX Dynamics中的可变时间步进器使实时或更快地模拟这些非理想化模型的不连续（或非光滑）物理事件（如撞击）成为可能。这是通过处理每个时间步长中的几何和全局问题而实现的，所以最终可以在无限长的模拟时间内产生稳定的物理模拟效果。结合Algoryx的快速直接求解器，可以以机器精度求解大型稀疏系统，这使得模拟而无需任何特殊处理大质量比的“刚性”系统成为可能，。

机器的动力取决于许多机器部件，包括发动机类型、变速箱、差速器、液压系统、轮胎、履带以及电缆或电线等可发生形变的物体，并且机器必须能够与环境互动。就如同船必须漂浮在水中，轮式装载机必须装慢土进行行驶。所有这些组件都使用相同的框架进行建模，从而实现统一、紧密耦合的模拟。这种模型和数值结合的方法是基于全新的科学文献得出的。

AGX Dynamics的专业培训模拟器和工程工具凭借其性能和准确性获得众多行业合作伙伴的信任。在训练模拟器中，操作员学习能够如何以安全有效的方式控制机器。由于模型的超高逼真度，操作员的技能（通常以眼肌协调性来衡量)可以得到快速提升。

另一方面，工程工具需要对机器与环境相互作用时的动力学进行深入分析——例如，测量关节中的真实力或电动传动系统的能耗。模拟可以引导早期设计决策，并能够实现在现实世界中也会观察到相同的行为，这对客户来说具有巨大的价值。现在，得益于AGX Dynamics与Unity的集成，可以使用功能强大的Unity Editor来设置机器和环境模型，并使用AGX Dynamics对其进行模拟。

成功地将模拟转移到现实世界

自动化这些车辆的工作比自动化一个机器人在工厂里重复相同的取放动作要困难得多。不断变化的环境使问题变得更加复杂，任务的动态性也是如此。与经验不足的操作员相比，高技能的操作员可以利用车辆的动力和与他们交互的物体大大提升工作效率。

事实证明，如何将其与车辆控制联系起来或做出自动决策真的很难解决。操作员通常根据直觉做出决定，这些直觉基于许多不同的感官输入，如视觉、声音和车辆的反作用力等。这种直觉是在数千小时的训练中建立起来的，在这些训练中，操作员经历了不同但相似的情况，首先是在训练模拟器中，然后是在真实的机器上。训练模拟器需要实现精确的物理模拟，以便驾驶员在驾驶真实机器时展现出训练中锻炼出的技术。

近年来，强化学习在制作高级环境方面表现出了潜力。通过使用强化学习，自动化工程师不需要单独解决自动化问题的每个部分，然后再连接各个部分。

强化学习可以定义要解决的任务，以及哪些操作和观察可用于解决问题，然后让代理探索环境并“弄清楚”如何解决这些问题。这在理论上听起来很容易，但在现实中，解决一项任务所需的探索和训练量令人望而生畏，在真正的机器上完成这项任务既危险又昂贵。

在模拟中进行这项任务不会损坏机器，模拟比实时运行更快，并且可以并行运行几个模拟，而不会产生大量额外的成本。然而，就像操作员一样，准确的物理知识对于将所学经验从模拟有效地转移到真实机器是必要的。但如果模型是错误的，代理学习的解决方案可能在现实世界中就不起作用。

使用Unity引擎和Unity ML-Agents，很容易用一个或多个代理对环境建模。用户可以用UnitySystemGraph模拟代理观察其周围环境的不同视觉传感器。

在开始阶段，代理不会知道要执行的一系列动作来解决任务，但是通过给代理一个依赖于先前状态动作转换的奖励，ML-agent中的强化学习算法能够找到一个收益最大化的策略，最终允许代理解决任务。结合这一点和来自AGX Dynamics for Unity的快速而准确的物理学，仅使用模拟就有可能对重型机械进行建模和训练，从而实现智能且自主地解决非常复杂的问题。

自动伐木：原木抓取控制

乌姆埃大学的詹妮弗·安德森与Algoryx合作，研究如何使用强化学习自动化林业起重机机械手的原木抓取运动。经验丰富的操作员可以控制林业机械上的欠驱动起重机，在不平坦的地面上行驶时成功抓住多根原木，并避免与树木碰撞。这需要几个促动器的反直觉协调，并最终会导致操作者在精神和身体上的双重疲惫。

通过在使用Unity和ML-Agents创建并使用AGX Dynamics for Unity模拟的环境中使用强化学习，训练一个代理来单独控制森林转发器上的起重机的六个关节，以执行单个原木抓取。最佳控制策略97%的时间成功抓取日志，策略和周期时间与经验丰富的人工操作员相当。例如，代理能够在抓取时使欠驱动抓取爪进行摆动，这种技术可以提高周期时间，但很难学习。

该研究还表明，与没有能量优化目标训练的代理相比，在奖励函数中用能量优化目标训练的代理显著降低了能量消耗。

地下矿山自主连续装载轨迹

在另一个案例中，Algoryx与世界领先的隧道和采矿设备制造商Epiroc合作，完成其大型地下矿用轮式装载机ST-18的自动装载项目。这种车辆能够在铲斗中装载18吨爆破岩石，并在世界各地的许多地下矿井中不间断运行。当其在地下巷道向前行进时，巷道的末端会被爆破，这导致一大堆碎片岩石（渣土），必须在下一次爆破前清除。

在模拟中，代理已经被训练使用深度图像来计划装载位置，并且控制车辆在许多后续装载循环中有效地填充铲斗。计划、填充铲斗、避免碰撞和车轮打滑都是通过让代理控制油门、转向和铲斗的提升/倾斜来实现的。通过在奖励函数中包含能耗惩罚，最终该方案获得了平均75%的最大填充容量的最佳结果。

AGX Dynamics for Unity使工程师能够安全地设计、开发和测试复杂的自主机器。上面的例子是Algoryx使用Unity平台进行机器学习的许多应用中的两个案例。Unity的技术还可以解决其他类型的难以自动化的任务，通过预先模拟让世界变得更好。