为你的沉浸式 visionOS App 创建自定环境

大家好我叫 Daniel 是 Apple 的 RealityKit UX 设计师 今天 我想谈谈 如何为 Vision Pro 打造 具有影响力的自定 App 环境 在本场讲座中 我们将讨论 App 环境设计中 有助于最终产品取得成功的 一些注意事项

我们将介绍关于如何让 3D 素材 尽可能轻量化、高效化的准则 我们将了解导出工作流程 包括自定 App 环境中 光照和纹理烘焙的作用 这有助于降低场景的 复杂性和计算负荷 最后 我们会将 Blender 中的素材 转移到 Reality Composer Pro 中 当你开始设计自定 App 环境时 应该考虑功能方面的一些问题 是要为沉浸式体验 营造温馨友好的氛围 还是要激发观看者的创作热情

是要给人平静放松的感觉

还是要用于 在最佳光照条件下审核作品

在示例中 我们将为 “Destination Video”App 创建一个观看环境 这是一个宽大的开放空间 以屏幕为焦点并提供清晰的中央视野 我们这就开始创建环境 首先 可以使用 Maya 和 Blender 等数字内容创作工具 (也称为 DCC) 开始遮挡光线 并使用框和平面等简单图元 来创建第一次快速迭代 由于环境是按现实世界比例构建的 人物形象有助于让人准确感知大小

在构建环境时 请注意 佩戴头显时 你对比例的感知 不同于 2D 屏幕上的观看体验 调整整体大小和各个元素的比例时 让它介于两种观看方式之间很重要 请注意 在环境中加入观看屏幕时 如果将素材放置在屏幕前方 可能会造成不必要的景深冲突 这个环境及其屏幕的设计 旨在提供就座于最佳位置的 观看体验 最佳位置设在观看区域内 用地面上的这个圆圈来表示 默认视野是面朝屏幕的 但观看者可以环顾演播室 也可以在系统安全边界内移动 请注意 为观看区域内 无法看到的区域创建几何结构 不是必需步骤 现在 我们将讨论如何 让自定 App 环境中的几何结构 尽可能保持轻量化和高效化 场景中的素材可以是手动建模而成 可以是使用 Object Capture 对现实世界扫描而来的 也可以购自 3D 资料库

我们在场景中加入了一棵树的局部 这是使用 Object Capture 创建的 然后 我们使用 Blender 也就是这个示例中 所使用的 DCC 工具 精简了这个素材

几何结构没必要很复杂 在细节方面只要足以表现素材就够了 这个树的素材资源位于场景后面 因此需要的细节较少

所以在这个示例中 可以精简这个树的素材 接下来 我们讨论一下纹理 我们的场景中有各种各样的纹理 例如哑光黑色钢结构 橡木螺旋楼梯和混凝土地面 我们来详细了解一下

混凝土地面覆盖了 这个空间中相当大的面积 为了创建这种纹理 我们混合使用 Adobe Substance Designer 生成的各种程序化贴图 以及真实摄影作品 初始图层采用程序化方式生成 这样可以创建高频出现的细节 还可以在不损失清晰度的情况下 实现纹理平铺 第二个图层 由真实照片元素组成 然后 我们又在上面叠加了两个纹理 以便在将最终纹理应用于整个地面时 增添变化并打破单调重复

接下来 我们看看光照 灯光可以作为一种强大的工具 影响观看者的空间感知 还可以引导观看者关注特定元素 这个场景由多个聚光灯照亮 这些聚光灯能够均匀照亮 墙壁和地面上的美术元素 日间 HDRI 模式 通过屋顶采光引入光线 你的环境可以提供多种光照设置 从而让观看者能够自行选择 体验场景空间的方式 这个空间提供了 2 种模式 浅色和深色

在深色模式下 我们会 切换成夜间 HDRI 聚光灯的光照强度也会提高

在测试光照时 务必要注意的一点是 通过显示器观看和通过头显观看时 你对光线的感知会有所不同 接下来 我们讨论一下 工作流程中的纹理烘焙 纹理烘焙可以捕获 3D 对象的所有表面特征 并将这些特征整合到一个图像中 然后就可以将这个图像 应用于相应的对象 无需进行额外的光线追踪 就能呈现逼真细腻的视觉效果 这项技术将所有表面数据 合并到一张 UV 贴图中 可以大大减少 场景中的纹理总数 我们将场景中的 UV 重新打包到以下六个分组中 中间部分 天花板 地面 正面部分 后面部分 以及道具

将场景简化成 6 个 UV 贴图和 6 个纹理之后 场景就会实现轻量化 并变得易于操作

现在可以将 usdc 文件 导出到 Reality Composer Pro 完成这个简单的流程时 你可以使用能导出和存储 USD 文件的任意 DCC 例如 Maya、Houdini 或 Blender 我要使用的是 Blender 在 Blender 中准备好 3D 场景后 前往 File 菜单 然后选择 Export 选项 在这里可以看到 名为“Universal Scene Description” 的文件选项 我要使用这个选项 作为最终导出文件的最终格式 默认情况下 所有参数保留不变 我要更改的只有 Root Prim 名称 这一点很重要 因为这个名称随后会 在 Reality Composer Pro 中沿用

现在 在 Reality Composer Pro 中 只需将 usdc 文件 导入到新项目中

当我导入文件时 大家可以看到 由于我在 Blender 中 命名了各个对象和素材 因此现在可以轻松修改 用于每一部分的素材

我已经进行了光照烘焙 所以在 Reality Composer Pro 中 我需要做的唯一一件事就是 将原始素材更改为“unlit”

我刚才已经载入了这个场景的贴图 所以我要将每张贴图 与对应的素材联系起来

最后 我要停用 “Apply Post Process”色调映射 以确保视觉效果和我在 Blender 中 的开发效果完全相同

我会对场景中的其余素材 重复这个操作 00:08:18.917 --> 00:08:23.696 为了进行最后的美化 我选择 看起来像玻璃的元素

并为它们分配 基于现实世界物理原理的材质

调整“Roughness”和 “Opacity”属性以实现所需的效果

现在 我应该已经 在 Reality Composer Pro 中 拥有了一个能够代表 项目最终效果的 3D 场景 到了这一步 你可能需要为你的 3D 场景 另外添加一些有意思的元素 比如视频组件

在今天的讲座中 我们了解了 如何设计、创建和优化 在 VisionOS 上运行的环境 我们分享了一个案例研究 介绍了 如何创建用于观看媒体的演播室 我们还介绍了在 DCC 和 Reality Composer Pro 之间转移时的一些技巧

我们迫不及待想要一睹 大家创建的环境和体验！