Unity创造VR中的百万人的音乐狂欢

在除夕夜音乐会的后台工作，是一种怎样的感觉，本文带你了解一场突破世界纪录的百万名观众音乐狂欢盛宴。

如果音乐会发生在大流行封锁期间，观众不得不呆在家里，那会怎么样？

进入到虚拟现实音乐会几乎可以感受到和亲自到场一样的疯狂体验——有时甚至更令人兴奋。此次音乐狂欢中的数百万（虚拟）观众同样也感受到了这一点。

音乐人Jean Michel Jarre 戴着太阳眼镜和黑色头带身处于昏暗的背景中，红蓝相间的光线照射在他的脸上

此次音乐会的AR/VR负责人安东尼·维蒂洛（Antony Vitillo）完整记录下了让·米歇尔·雅尔（Jean Michel Jarre）的欢迎来到另一边（WTTOS）整场音乐会。其中国际电子音乐巨星在巴黎圣母大教堂的虚拟现实复制品中进行表演，与世界各地的观众一起庆祝除夕。

本次音乐会获得了超过7500万的浏览量，显然在国际音乐节获得了巨大的成功。安东尼和团队使用Unity将所有节目整合到一起。

三个月的时间限制

三个月对于任何舞台活动来说都是一个紧迫的时间限——因为筹备组需要考虑到灯光设计、声音设计、舞台视觉效果、烟火和后勤等等一系列方面——对于一个需要软件开发的音乐会来说时间更是尤其紧迫。但随着除夕的临近，团队在9月启动了项目，并在10月初积极集结开始工作。

当时其中一位合作者，灯光编导杰万·莫兰迪（Jvan Morandi）进入这个项目时，他问道，“这个项目定在2021年夏天，对吗？”但当他发现项目其实是定在2020年底时，他几乎冲着安东尼大吼，“你们这些家伙完全疯了！”

一步一步来

设计阶段

本次音乐会的筹办团队由虚拟现实体验公司VrOOm召集，由首席执行官路易斯·卡丘托洛（Louis Cacciuttolo）领导，他们以前有在仓促制作中完成项目的经验，并且拥有在设计阶段构建整体架构的思路。在这一阶段，本次音乐会的表演者让·米歇尔·雅尔和各种体验艺术家决定了整场音乐会将主要注重于于整体外观和感觉的视觉体验。

图片展示了“欢迎来到另一世界”音乐会中圣母大教堂的内部舞台构建

一旦确定了设计方向，团队就在选定的事件技术中进行实验，以了解在现场体验中什么是可行的。

安东尼说：“我们选择VRChat作为一个平台，因为它是我们最熟悉的平台，我们所有最大的项目都是用它完成的。它是最通用的社交VR技术之一，同时也让我们使用了Unity，我们非常了解Unity的使用方法。”

图中让·米歇尔·雅尔弹着键盘站在圣母大教堂的虚拟舞台中央，周围被火焰效果所环绕

模拟场景

团队开始使用他们在网上找到的圣母大教堂模型在Unity中组装场景。他们与意大利设计公司（MID）的Lapo Germasi和Victor Pukhov合作，对其进行简化和优化，以便在VRChat中使用。

创建动画

文森特·马森（Vincent Masson）使用4D电影院制作的场景可以让观众在他们周围看到3D动画，而约翰·莫兰迪（Jvan Morandi）则致力于聚光灯动画。两人都参与了投射在大教堂墙上的2D视频贴图绘制。

图中虚拟舞者在“欢迎来到另一个世界”音乐会中的圣母大教堂中翩翩起舞

虚拟替身设计

团队使用Maya创建了一个美轮美奂的让·米歇尔·雅尔。安东尼的虚拟替身，这并不容易，因为艺术家的公众形象非常重要，所以他们必须平衡创造一个既能吸引观众又能代表JMJ知名风格的化身。

创建虚拟资产

“自从我们使用Unity以来，我们对Unity的所有功能都非常了解，如：3D动画、虚拟化身、聚光灯、聚光灯下的对象、mp4视频，以及用适当的UV投射在大教堂的墙上等。”安东尼说。

令人愉悦的蓝色灯光打在圣母大教堂侧面的墙上

动作跟踪

虚拟替身是使用让·米歇尔·雅尔身体的真实动作制作的实时动画。与SteamVR兼容的mocap套装以及跟踪手套能够确保其身体动作的准确性，以再现他演奏电子乐器时复杂的手部动作。

图片中让·米歇尔·雅尔穿戴着与SteamVR兼容的动捕套装来将自己的动作复制到虚拟世界中

场景组装

当所有的材料都准备好了，团队就开始着手于在Unity中组装它们了，他们开始打磨一切细节，并加以优化，以在VRChat中拥有良好的表现。让·米歇尔·雅尔在虚拟现实中进入搭建好的场景，并开始精湛的表演。日耳曼西（Germasi）使用Unity的后期处理效果对场景进行了最后的抛光，以平衡大教堂的逼真度和内部的视觉效果。

动画自动化

为了确保场景中的所有元素（视频投影、彩色聚光灯、道具）都能与节目中每首歌的节拍同步，安东尼使用Unity来计时并触发每一个动作。“复制时间码并对它们触发的每个事件进行编程是一项乏味的任务。但是在Unity中，我能够创建脚本来处理它。有了编辑器脚本，我可以读取动画和灯光触发器的所有时间码的大量CSV，并通过选择编辑器中的菜单，动态创建每首歌曲所需的行为。这使得我们的动画更加容易控制。”安东尼说到。

在“欢迎来的另一个世界”音乐会中所有歌曲所需特效表现的Unity编辑器截图

面向社交虚拟现实的优化

根据安东尼的说法，VRChat不仅要求流畅的帧速率（“你一定不想让人们以20 fps的速度观看音乐会。”他说），还要求对文件大小进行优化。“如果整体场景重量超过300 Mb，你的用户会花太多时间下载，有时候这会导致他们死机，这样我们的观众就不会有良好的体验。”MID的团队专注于优化大教堂的几何形状，并对贴图纹理的大小进行全面优化。

添加交互功能

安东尼与来自MID的Lapo Germasi和Victor Pukhov密切合作，对整个过程进行了优化，并添加了虚拟系统和交互系统，以模拟现场的沉浸式活动。

所有的临时化策略：聚光灯、视频映射和所有的动作都应在正确的时间点被触发，并与歌曲同步，这需要在VRChat内部加入一些具有创造性的解决方案。

互动：互动是用户参与的必要条件，尤其是在社交平台上。此外，为了增强虚拟现实中的存在感，团队添加了一些观众在观看音乐会时可以激活的效果，例如为一些其他观众添加一些不一样的色彩效果。

拍摄视频所需的所有元素：因为这是一次360度的体验，所以团队不想从单一角度提供平面视频。安东尼说:“我们实际上在VRChat内部创建了一个复杂的摄像头系统，这样格奥尔基·莫洛托夫（Georgy Molodotsov）和莫德·克拉维尔（Maud Clavier）也可以切换到音乐会的“多摄像头”版本进行直播。他们使用了一个开源项目来初始化相机系统，VRCLens为手动拍摄的照片添加了景深效果，VoxelKei制作的360度录像机头像能够用来拍摄全景视频。

音乐会结束后的虚拟体验是由俄罗斯XR艺术家丹尼斯·塞米诺夫（Denis Semionov）设计的，他用Quill塑造了场景，并开发了一个简化版本的圣母大教堂模型，以确保圣母大教堂在远景中的呈现。

音乐会后的视觉效果是由MID负责优化的；安东尼和团队增加了音乐会后的互动（例如，登上齐柏林飞艇进行飞行)。

屏幕截图左边是现场活动的图片，右边是Unity Editor视图，显示了聚光灯、视频映射和所有动作是如何在Unity中触发的

虚拟现实的重要性

曾经有一段时间，在设计阶段，有人质疑他们是否真的应该放弃VR体验，把整个节目做成一个线性的直播流视频。但是让·米歇尔和安东尼以及其他团队成员都认为它应该出现在虚拟现实中。这种互动体验，即使只是在电脑屏幕上观看，也会让人觉得自己真的在圣母大教堂里面，在除夕夜被其他人所包围。

最终，该项目积累获得了超过7500万次的浏览量，在大型实时虚拟现实体验中以及许多其他流媒体视频体验平台上创造了新的记录。安东尼说:“我们创造了历史，完全在虚拟现实中举办了一场大型音乐会，事实证明，只要你愿意冒险去做，你就能做出不可思议的事情。”

想要了解更多关于Unity的全新消息与应用案例，请继续关注我们的账号。我们会在第一时间快速整理有关Unity的全新动态。欢迎大家关注转发~