探索 USD 生态系统

♪ 悦耳的器乐嘻哈 ♪ ♪ Dhruv Govil：大家好 我是 Dhruv Govil 是一名 3D 软件工程师 在本次讲座中 我将向大家介绍平台上 3D Content Technologies 生态系统中 新增的精彩内容 3D 是一种很棒的媒体形式 xrOS 的引入 使其变得更加重要 第三维度可创造出沉浸式体验 人们可以更加轻松地在家中的 Apple 电脑 甚至是手中的 iPad 上 开始创造令人惊叹的视觉效果 为了实现这一波创意内容浪潮 我们一直在推动全球创意产业的 关键技术的基础上构建系统 第一种技术是通用场景描述 简称 USD 它支持在 App 之间 共享表示 3D 内容的标准形式 我们还在 xrOS 上 引入了对 MaterialX 的支持 可方便地表示对象的视觉外观 USD 是一个开源项目 由 Pixar 创建 最近改名为 OpenUSD USD 通过了 制作单一资产的创作者 到制作 3A 级游戏和电影 的大型工作室的考验 USD 可通过组合 来表达资产数据之间 复杂而灵活的关系 作为 USD 的早期应用者 苹果于 2017 年将其 添加至平台 此后便好评不断 现在 USD 是 xrOS 上 3D 内容的核心 MaterialX 也是一个开源项目 由 Industrial Light & Magic 在《星球大战》的工作中创建 现与 Autodesk 等其他公司 联合开发 并由学院软件基金会托管 艺术家无需了解如何编码 可直接将着色器逻辑组合到 3D App 的节点图中 此图也可以嵌入 USD 中 可随场景数据一起传输 我们首先在 xrOS 上使用 RealityKit 支持 MaterialX RealityKit 是苹果 用于构建沉浸式空间体验的 实时 3D 渲染框架 我们在探索这些 3D 内容技术时 向大家介绍四个部分 首先要介绍 App 中 3D 内容的新玩法 接下来 深入了解如何在 RealityKit 中 支持 MaterialX 以及进行颜色管理 最后 回到 USD 回顾自去年以来 我们做了哪些新调整 我们首先了解一下 在 App 中 使用 3D 的新用法 然后再介绍它们的实现技术 我们以快速查看在 iOS 平台上取得的成功为基础 将快速查看引入 xrOS 平台 打开一个 USDZ 文件 我们看到其在空间中的优美呈现 还可以看它的四周 并将它与周围环境连接起来 这很简单 我们还讨论了如何 在新平台上轻松创作好看的内容 去年 我们推出了 Freeform 这是一款强大且 易用的头脑风暴 App Freeform 支持嵌入 USDZ 内容 因此你现在可以 像处理其他内容类型一样 在 macOS、iOS、iPadOS 和 最新的 xrOS 等所有支持的平台上 对 3D 资产实现协作 Safari 浏览器还 新引入了对带有元素的 3D 内容的支持 该元素可在所有带 Safari 浏览器的苹果平台上使用 并且可在 macOS 的 开发者菜单 或其他平台的设置下启用 就像音频、视频和 图像元素一样易于使用 你可通过交互式视图 将 USDZ 文件嵌入到网页中 并能够围绕对象旋转 还可以创建更多的交互式网站 无论用户使用哪种支持的设备 都能为他们提供精彩的体验 我们正在与 W3C Immersive Web Working Group 合作进行标准化工作 还有 Reality Composer Pro 这是一个新的 macOS App 其中加入了我们为 创作者和开发者提供的工具套件 我们使用了 USD 的合成功能 支持多人并行工作 每个人都能处理场景的不同部分 并在资产更新时将其组合在一起 你可以在自己的内容创建 App 中使用 Reality Composer Pro 将资产创作为 USD 便于在 xrOS App 和体验中使用 收看我们的 Reality Composer Pro 讲座 了解更多信息 与你制作的 3D 模型同样重要的 是赋予其个性化视觉美感的 着色器和材质 MaterialX 为你提供了 定制视觉效果的能力 这些视觉效果从你的 USD 场景中传输到 xrOS 上的 RealityKit App 中 Reality Composer Pro 引入了一个 Shader Graph 可以将 MaterialX 节点 嵌入到 USD 文件中 可以使用交互式节点图 来创建着色器 组成着色器逻辑 MaterialX 着色器图 是创作者为 xrOS 内容 构建自定义着色器的方式 除了许多标准 MaterialX 节点外 Reality Composer Pro 还有一些 自定义 MaterialX 节点 可实现一系列 xrOS 专属的平台功能 其中一些着色器节点包括： RealityKit PBR 这是我们基于物理渲染的着色器 可实现逼真的 3D 内容； RealityKit Unlit 是一个无光照着色器 可让你进行更多风格化的着色； 可以修改曲面变形 的几何体修改器； 以及几个自定义实用程序节点 我们会举行一场精彩的开发者大会 介绍 Shader Graph 的使用及 如何为你的资产创建自定义外观 如图所示 已有的第三方 3D App 开始 陆续支持 MaterialX 和 USD 例如 SideFX 的 Houdini 和 Autodesk Maya 中的 LookdevX 如图 此外 Reality Composer Pro 可让你预览着色器 可在部署到设备之前查看外观 正如我提到的 MaterialX 是一个开源项目 它使创建者和开发者能够在 自己的工作流 和 App 中直接使用它 MaterialX 项目支持 从 MaterialX 节点图 生成着色器代码 苹果充分利用强大的 GPU 在项目中增加了对创建 Metal 着色器代码的支持 现已在 MaterialX 1.38.7 版本中提供 使用 USD 的开发者 未来将能 在 macOS 上使用 USD 中的 MaterialX 除了对着色器效果的重视 也要重视颜色的视觉效果 因此 我们为 RealityKit 扩展了色彩空间管理的 处理范围 这样你可以使用宽色域色彩范围 制作外观准确的 3D 内容 但首先 我们要 快速了解下色彩空间的重要性 色彩空间是图形程序理解 如何通过数字值表示颜色的方式 包括可用颜色的范围 支持多个 App 以可靠地显示和编辑相同的颜色 苹果显示器主要使用 Display P3 作为其色彩空间 而许多其他平台 可能使用更常见的 sRGB DisplayP3 将数码相机 更宽的原色范围 与计算机显示器使用的 sRGB 伽马曲线结合在一起 事实上 它显示的颜色 比传统 sRGB 多 25% 此处用黑线圈出的就是 更大的 Display P3 的 色彩空间 这样就可以表现出我们在现实 世界中看到的更多颜色 比如鹦鹉鲜艳的羽毛 或者你最喜欢的衣服的深颜色 大多数颜色和图像工作流程 倾向于使用 sRGB 它代表了许多显示器 几十年来使用的标准颜色范围 这些仍能创建比较好看的内容 但无法充分利用苹果产品随附的 美观、更宽色彩显示范围的显示屏 如果你转而使用 Display P3 颜色配置文件 你现在可以在这些显示器上 使用 RealityKit 提供的更宽的颜色范围 使用 Display P3 创作并适当标记的纹理 能够表达更大的颜色范围 具有更深、更饱和的色调 这种效果可能很微小 但可以创造出 更具活力和真实感的资产 可以看看这浓郁的红色 和葱郁的绿色 最重要的是 色彩空间标记 意味着你的颜色与制作内容时 看到的颜色完全一致 避免了意外的色差 MaterialX 和 Color Management 是我们 USD 生态系统的 重要新功能 接下来还有更多关于 USD 对平台和更大的生态系统 的新影响的分享 我们所有的第一方 App 如 Motion 和快速查看 现在都受益于 更新和更高效的 USD 版本 USD 支持广泛的对象类型 也称为架构 在本次更新后 macOS 上 Storm 渲染器预览版也支持 渲染更多的 USD 架构和功能 我们还将继续更新文档 着重介绍渲染器新功能的特性 和模式 以及哪些平台支持它们 此外 我们会记录行为的其他变更 因此建议你定期 阅读学习视频说明中 链接内的最新文档 USD 还支持自定义架构类型 今年 RealityKit 将在 xrOS 上 为其实体组件系统（简称 ECS） 引入新的组件模式 RealityKit 的 ECS 将 处理数据的系统 与组件数据本身分开 使其与你的 3D 内容共存 得益于这些自定义模式 你现在可以将 RealityKitComponent 用于内置组件 将 RealityKitCustomComponent 用于自己的 Swift 自定义组件 Swift 组件的结构和字典 可以用等效的 RealityKit USD 模式来表示 RealityKit 还以 USD 的 spatialAudio 为基础 结合 RealityKit 的 Audio File、 Audio File Group 和 MixGroup 打造更具沉浸感的音频 我们来看一个 USD 文件 它表示一些自定义组件数据 作为 USD 基础容器 这是 USD 在其 层次结构中调用的对象 你的自定义组件数据 可与其他基本初始体 （如几何体）共存 由于 USD 包含了 所有这些内容 你可以使用任何一款 App 直接创建 USD 基础容器 和场景的其余部分 这和相应的 Swift 组件一样 可以用来从你的 USD 组件中读取这些值 例如 你的 App 中的不同对象 可能具有与之关联的特定参与点 请查看我们关于使用 Reality Composer Pro 构建 App 的讨论 以了解更多信息 作为一个不断发展的行业生态系统 我们将继续为这些技术 在行业中的发展做出贡献 因此 我们与 Pixar 和社区合作 在 OpenUSD 网页上 列出了许多 现在支持 USD 的软件包 这使得创作者 可以轻松地在 Mac 上使用 自己现有的工作流 创建基于 USD 的内容 我们还致力于为 iOS 等 便携式平台轻松构建 USD 因此开发者们也可以将 USD 集成到自己的 App 中 你能够创建可以创作 沉浸式 USD 内容的 App 此外 我们正在合作 以减少对 USD 库的依赖 以便更容易地 在所有平台上使用 USD 同时需要最少的工作量 USD 包括 名为 Hydra 的技术 这是一种渲染器的抽象框架 还包括 Storm 一种利用 Hydra 的实时渲染器 苹果与 Pixar 合作 为 Storm 添加了 Metal 支持 利用现代图形 API 开发者可以 在平台上创建高性能、 基于 GPU 的 App 让我们来看看该性能的 优秀场景案例 Animal Logic ALab 场景 是众多故事片级资产的代表 当设置为全分辨率时 此场景可以占用超过 26GB 的图形内存 过去需要桌面工作站 GPU 现在 借助 Hydra Storm 中的 Metal 和 Apple 芯片上的 统一内存 MacBook Pro 可让你 随时随地工作 即使在像这样要求苛刻 的场景中也是如此 同时保持交互性能 Storm 中的这种高性能渲染 还使 Blackmagic Design 能够在 DaVinci Reresolve 中将 USD 的 快速视口渲染 添加到 Fusion 中 在前几年的合作基础上 我们继续与 Autodesk 合作开发 他们的开源 Maya USD 插件 我们对这个项目贡献了 一些功能 包括增强几何体 和材料的输出 我们还改进了动画导入 所有这些都有助于你 为 xrOS 创建空间内容时 拥有更加紧密流畅的工作流程 其中一些功能 可能会在 Maya USD 的后续版本中发布 因此我们建议你的插件保持最新 我们还与 Blender Foundation、 AMD、NVIDIA 和 Unity 等许多个人及合作伙伴合作 为开源 3D App Blender 提供更新 这一合作使得 Blender 3.5 中 的 USD 导入导出功能 得到了显著改善 这包括首次支持 USDZ 以及可直接进入快速查看 苹果还与 Blender Foundation 合作 为他们的 Eevee 和 Cycles 渲染器引入了 Metal 支持 现在有了 Blender 3.5 你可以将 Blender 作为完全原生 的 Metal App 运行 为 UI、视口和最终渲染提速 与基于 CPU 的渲染相比 使用 GPU 可以在不到一半的时间内 完成最终渲染 并且在某些场景中的视口 渲染速度 是 OpenGL 的 4 倍 以上就是对 USD Ecosystem 新功能的概述 xrOS 在 USD 等技术的基础上 为 App 和体验添加了一个 全新的、令人兴奋的维度 建议你继续收看 快速查看和 Reality Composer Pro 的相关讲座 通过就这些开放标准进行协作 我们正构建一个强大的生态系统 实现更快、更轻松地为 xrOS 和所有的平台创建内容 我们非常期待看到你的创作 ♪