人工智能系列项目展示了创作者使用Unity制作的一系列人工智能项目，项目涉及人工智能产品。本案例中展示了最近使用Unity为OpenCV空间人工智能竞赛制作的一个项目的一些实用资料，该项目以一系列令人印象深刻的例子展示了Unity中的机器人技术、计算机视觉、强化学习和增强现实等功能。

Unity是世界一流的实时3D引擎。虽然Unity的游戏引擎和工具传统上只支持游戏开发者，但AI@Unity团队正在围绕机器学习、计算机视觉和机器人模拟等领域构建全新的工具，以支持游戏以外的应用，尤其是那些使用人工智能和实时3D环境的应用。

在OpenCV空间人工智能竞赛中Gerard Espona和KaudaTeam提供了多个案例作品，他们大量使用了Unity的人工智能工具和软件包。团队通过使用Unity的感知包训练计算机视觉模型并通过移动代理工具包来训练他们的机器学习模型，此外他们还做出一个机器人手臂的模拟演示案例。

OpenCV计划

Kauda Team名字的由来

Kauda Team由Giovanni Lerda和Gerard Espona两名成员组成，名字来自Giovanni创建的免费开源桌面大小的3D打印5轴机械臂——Kauda。这是一个非常棒的桌面机器臂，任何人都可以使用，且允许他们在项目上远程合作。

Kauda机械臂

如何在Unity获得Kauda机械臂的数字孪生

Giovanni Lerda和Gerard Espon开发了Kauda工作室，这是一个Unity的应用程序，目的是为了生成Kauda的数字孪生。它通过反向运动学（IK）控制、USB/蓝牙连接到真实的Kauda，提供了功能齐全且精确的Kauda机械臂模拟，并可以支持多个OpenCV OAK-D相机。

OAK-D相机是什么，它是如何与Unity一起使用的？

OAK-D相机结合了两个立体深度相机和一个带有板载处理功能的4K彩色相机（由英特尔MyriadX VPU提供），可自动处理各种情况。作为竞赛作品，Kauda Team为OAK设备构建了一个Unity插件，但他们也想在Unity中创造出一个数字孪生设备。OAK-D Unity数字孪生相机为他们提供了帮助，这是一部具有精确模拟功能的3D虚拟相机，可用于合成数据收集。OAK-D Unity数字孪生相机帮助他们将虚拟图像输入到真实设备的管道中。让他们通过使用Unity感知包来收集合成素材，并用于为虚拟OAK-D相机训练定制项目。

OAK-D相机中的Unity模型

在Unity中拥有一个数字孪生模型的优势

拥有一个数字孪生让Gerard Espon能够在Kauda上启用额外的功能。他们还能够使用Unity的增强现实（AR）功能与现实世界中的虚拟机器人进行交互。其中的一个应用是学习如何在不需要机器人的情况下对机器人进行维护。这也允许他们用无代码方法编程顺序任务，使机器臂精确的完成任务。

数字孪生还能使他们对机械臂进行强化学习（RL）训练。RL是一个耗时的过程，除了极其简单的案例之外，任何事情都需要模拟。为此Kauda Team在Unity中使用了ML-agent工具包来执行RL训练以对机械臂进行训练与控制。

Kauda Team还在Unity中测试了人机协作和安全程序，他们在Unity中创建了数字孪生机械臂，并使用摄像头测量人类在机械臂区域内的位置。可以想象这样做是为了那些更大型的机器人，当程序错误发生时，它会对人类造成伤害。模拟环境让他们可以在不危及人类安全的情况下测试这些场景。

ML-agent工具包的用法

“强化学习（RL）训练是一个强大的机器人框架，而Unity ML-agent也是一个很棒的工具包，它使我们的数字孪生机械臂能够学习和执行复杂的任务。由于竞赛的时间有限，目标是实现一个简单的RL“接触”任务，并将生成的模型转换为在OAK-D设备上运行推理。通过使用ML-agent工具包，机器人使用IK控制学习的最佳路径，以动态接触检测接触到的3D对象。”Gerard Espon说道。

为了实现这一点，Kauda Team首先使用了spatial tiny YOLO，这帮助他们实现了三维物体检测。RL模型（PPO）使用结果检测和IK控制点的位置作为输入观察。关于输出动作，IK控制点的能够实现3轴移动。奖励系统基于每一步的小惩罚和机器人接触物体时的大奖励（1.0）而制定。为了加快训练速度，Kauda Team利用多代理同时学习来开发虚拟spatial tiny YOLO，其输出动作与真实spatial tiny YOLO相同。

当模型训练完成后，他们使用OpenVino工具包将其转换为OpenVino IR和Myriad Blob格式，将模型加载到OAK-D设备上并运行推理。最后管道中是一个spatial tiny YOLO加RL模型。这里他们使用了Unity插件，因为Unity插件能够帮助他们在Unity中同时使用ML-Agents和OAK-D代理来比较推理。

合成数据

管道的第一阶段是3D对象检测器，这是一个基于人工智能的计算机视觉和机器人任务的一个非常常见的起点。在案例中，Kauda Team使用了一个预先训练好的小型YOLO v3模型Unity感知包，这让他们能够为机器人的训练定制类别。这让Kauda Team能够在几分钟内生成一个带有自动地面真实边界框标记的大型3D模型合成数据集。通常，收集和标记过程是非常耗时的。拥有生成丰富数据集的能力是一大进步，该数据集具有大量随机化选项，拥有不同的角度、打光情况、纹理变化等。

开发中的困难

“同步虚拟项目和现实世界项目所需的时间有时会有些偏离。我们认为这可以通过在未来使用ROS来解决，让我们很高兴的是Unity现在正式支持ROS了！”Gerard Espon说道。