深入了解 RealityKit 2

使用 RealityKit 2 创建引人入胜的 AR 体验现在前所未有的简单。探索 RealityKit 框架的最新增强功能，深入研究这个水下示例项目。我们将带您了解改进的实体组件系统、流畅的动画制作管线以及增强了面部网格和音频功能的即插即用角色控制器。

资源

相关视频

WWDC23

使用 Xcode 中的 Reality Composer Pro 内容

WWDC22

让您的现实世界与增强现实完美融合

WWDC21

WWDC20

RealityKit 新功能

WWDC19

RealityKit 和 Reality Composer 简介

下载

♪ ♪ 嗨我是阿曼达待会我的同事奥利维尔会加入我们本讲座中我们会探索我们在2021年添加到RealityKit的功能 RealityKit是2019年推出的增强现实创作框架聚焦于写实的渲染和让人轻松创建AR应用程序利用ARKit读取设备的传感器数据 RealityKit让你能将3D内容放在真实世界环境中并让内容看起来尽可能地真实这里有些RealityKit体验的好例子在真实世界中参与寻物游戏用虚拟方式和朋友比赛打保龄球甚至成为博物馆中的雕像和找缤纷的虫子在过去两年我们看到了一些用RealityKit创建很棒的应用程序也获得了能让这个框架变得更好很好的反馈

我们聆听了大家的反馈我们很高兴宣布RealityKit 2推出了一堆新功能帮助你做出更身临其境的AR应用程序和游戏

本专题讲座中我们会强调其中一些功能包括最多人要求的功能像是自定义着色器和材料自定义系统和全新的角色控制器概念所以戴上你的潜水面具我们潜入主题吧我小时候住在中东时我在波斯湾学会水肺潜水虽然我那时没有机会戴这种超级可爱的蒸气庞克头盔我很爱看那些缤纷的鱼游在一起我想说若能在我的客厅里重建水底世界的感觉应该会很好玩奥利维尔和我写了这个演示其中用了一堆我们会在本专题讲座中示范的功能也会在本周的第二场RealityKit 专题讲座进一步介绍我们用后处理创建深度雾效果和水波焦散用自定义几何体修改器让海带随着海浪舞动还有更多基本上 RealityKit 2让你现在能自定义好多东西你可以上developer.apple.com 下载并试用这段样本代码

我们今天会讲五大主题我们会复习什么是ECS 还有我们如何用新的自定义系统功能在应用程序中实现鱼的聚集行为我们会展示你可以对材料还有动画做的事情有哪些进步示范新的角色控制器也就是我们让潜水员流畅地和客厅的AR网格交互的方法还有介绍现在可以如何在运行时生成资源

我们先从ECS开始 ECS 全名为实体组件系统是组织数据和行为的方式它常用在游戏和模拟它和面向对象编程不同面向对象编程通常会将一个物体模拟为一个封装包内含物体的功能和与物体有关联的状态但若用ECS会有三个分支：实体组件和系统功能会放在系统内状态放在组件而实体是一组组件的标识符今年的RealityKit 2中我们迈向更纯粹的ECS实现导引你用我们的全新自定义系统在系统层中保留更多你的功能

实体对于我们的意义是什么？一个实体代表你的场景中的一样东西这些实体代表我们场景中的海洋生物一个实体可以有子实体让你能够使用图结构例如转换组件使用父实体的转换将它自己的位置添加上去实体本身不会在屏幕上渲染任何东西要做到那点你必须给它一个模型组件或创建一个模型实体它会帮你做这部分工作

要添加特性、属性和行为将组件添加到你的实体说到这我们谈谈组件

组件的用途是存储帧与帧之间的状态还有标记实体在系统中的参与与否不过你不需要在这里包括任何处理状态的逻辑逻辑和行为要放在自定义系统里

有些组件原本就会存在你创建的任何实体中这里没有显示内置组件：转换组件和同步组件这三个实体上都有这两个组件还有其他你通常会想添加的组件像是模型组件它包含让你的实体出现在屏幕上的网格和材质你也可以在运行时从实体添加和移除组件如果你想动态地改变它们的行为

我们在聚集系统中将第一条鱼标记为参与然后告诉它它喜欢吃藻类第二条鱼它也会和第一条鱼一起聚集但它现在比较喜欢吃浮游生物第三个家伙是浮游生物它会是第二条鱼的食物它应该时时警觉因为在我们的应用程序中有些很饿的生物我们知道哪几只肚子饿因为它们身上有吃藻类组件或吃浮游生物组件每一帧我们的进食系统都会调用更新函数在这里它找到场景中所有拥有两者其中一个组件的实体加上所有是食物的实体所以它能将饥饿的鱼引到它们喜欢的食物那里但进食系统有什么高性能的方式能判断哪些实体肚子饿哪些是食物又有哪些两者都不是？我们不想要必须穿过实体图并检查每一个实体的组件取而代之我们执行实体查询让RealityKit为你做簿记聚集系统想要找到所有有聚集组件的实体而进食系统想要两种饥饿实体加上是一种食物的实体让我们仔细检视当系统使用实体查询时会发生什么事系统会在每一帧调用更新函数我们看看黄高鳍刺尾鱼的聚集系统我们在这一帧暂停看看发生什么事在聚集系统中的更新函数中我们查询场景中所有同时有聚集组件和运动组件的实体很多东西有运动组件但我们不想要全部我们只想要鱼群我们的查询返回聚集的鱼所以现在我们可以通过对鱼群中的每条鱼应用经典的Boids模拟驱动我们的自定义游戏物理运动组件是存储帧与帧之间的状态的地方我们在每条鱼的运动组件上添加力游在一起的力偏好保持一定距离的力尽量让鱼的鼻子指向同个方向的力

运动系统运行时在同一帧里但在聚集系统运行后它会整合所有这些力决定一条鱼新的加速度速率和位置它不在意是哪个别的系统添加它们还有其他系统像是进食系统和恐惧系统同样在运动组件上执行将鱼推往各种方向我们来看看代码

这是我们的聚集系统的轮廓这是一个类符合RealityKit.System协议当你在应用程序启动时注册自定义系统你是告诉引擎你要它在应用程序的每个场景中实例化一个这个类 init是必要的你也可以提供一个deinit 我们可以指定依赖项这个系统应该永远在运动系统之前先运行这就是为什么我们在这里用了枚举值.before 在我们的更新函数中我们会修改存储在运动组件中的状态而运动系统会根据我们提供的状态行动所以我们需要确保聚集系统会在运动系统之前先运行有点类似生产者与消费者的关系你也可以用.after选项如果你不指定依赖项你的系统的更新函数会以你注册的顺序执行

我们的实体查询表示我们想要所有有聚集和运动组件的实体这是静态let 因为它不会在我们的模拟期间中改变在多人AR体验中符合Codable协议的组件会自动通过网络同步不过系统中的数据不会自动通过网络同步通常数据应该存储在组件中现在我们深入探讨聚集系统的更新函数它用一个SceneUpdateContext 里面含有那一帧的增量时间和场景本身的引用首先我们对场景执行实体查询它会返回查询结果让我们可以进行迭代找出有聚集组件的实体

我们获得每一个的运动组件我们要修改它为什么我们没有获得聚集组件本身？因为它没有任何和它有关联的数据我们把那个当作标记一样使用表示它是鱼群中的一员然后我们对它们运行标准Boids模拟以导引鱼群修改运动组件中的力的集合最后既然我们为每条鱼添加了力以把它推向我们想要的方向还有因为组件是Swift结构是值类型我们需要将运动组件存回它来自的实体系统不需要实现自定义更新函数创建一个只提供一个init的系统也可能很有帮助像是为场景事件注册事件处理器目前为止我们一直在谈实体组件和自定义系统之间的关系现在让我们把画面拉远谈谈RealityKit 2中推出的一些高层次架构变更之前你会用每一帧都调用的闭包订阅SceneEvents.update事件这种事件处理器通常会住在或至少注册在类似游戏管理器的类里与其用这样的闭包你现在可以让你的更新逻辑干净地分离并正式排序在分开的系统更新函数中

所以这代表你的游戏管理器可以做得比较少与其在那里进行所有事件更新的注册然后管理游戏中所有东西的调用更新的顺序现在游戏管理器只需要添加组件到实体以向你的系统指示那些实体应该被包含在询问中

先前你会在你的实体子类上声明遵循协议以表示那个实体类型有某个特定组件现在你不需要再子类化实体因为实体也不用负责那么多事了

它可以仅是对象的标识符它的特性可以建成组件因为当你不为实体创建子类就不会让对象永远跟那些组件绑在一起你能在体验期间自由添加或移除组件所以在RealityKit 2 你的自定义组件好用多了因为现在有自定义系统但你还是两种方式都可以用这就是游戏开发的美妙你可以随心所欲在我们的水底演示中我们两种方法都用到了

我们也添加了一个新类型的组件：瞬态组件假设你的鱼害怕章鱼但只有在它们看过章鱼时才会怕当你复制一个新的鱼实体你可能不想复制鱼继承那条鱼对章鱼的恐惧你可以让恐惧组件符合瞬态组件这样它就不会出现在新实体上

不过如果瞬态组件符合Codable 它还是会包含在网络同步里就像任何其他种类的组件

另一个新功能是 Cancellable上的新扩展你不再需要手动管理为实体取消订阅事件当你使用storeWhileEntityActive 我们会为你做这件事

这里我们正在处理一个鱼实体的相撞事件我们不需要这个订阅比鱼本身活得久所以我们用storeWhileEntityActive 跟往常一样打造游戏时一定有一堆你希望能临时调整而不需要重新编译的设置在我们的游戏中我们在SwiftUI中构建了一个设置视图然后将它的支持模型传递到不同的自定义系统之中方式是将它们包在自定义组件里面

我们将设置实例创建为@StateObject 并将它作为environmentObject 传递到ARViewContainer 以及SwiftUI视图之中

我们把设置对象包在CustomComponent里那是一个SettingsComponent 然后当我们创建鱼实体我们给它一个SettingsComponent 这样当出现任何想要这些设置的自定义系统时它可以从那里读取像是采用“最高速度”值用来作为每条鱼的最高速率现在我要把画面交给我的同事奥利维尔他会介绍材质

谢谢阿曼达今年我们为材质添加了新的API 我们原本就已经有几种例如SimpleMaterial 它有基色、粗糙度和金属属性我们还有UnlitMaterial 只有一个颜色没有照光我们有OcclusionMaterial 可以当作隐藏虚拟对象的蒙板去年我们推出了VideoMaterial 也就是用视频作为颜色的 UnlitMaterial 注意今年我们添加了透明度支持如果视频文件包含透明度它会被用来渲染对象今年我们添加了新的API 让你对材质能有更多高级控制第一个类型是 PhysicallyBasedMaterial 它非常类似 USD中材质的架构它是SimpleMaterial的超集拥有大部分可以在其他渲染器中找到的标准PBR属性这是会出现在从USD加载的实体上的材质例如你可以加载小丑鱼的USD 然后修改材质上的个别属性把它变成金色或紫色

在材质的属性中你可以例如说改变法线贴图添加不是网格一部分的小细节你也可以分配一种纹理定义模型的透明度默认情况下透明度使用 alpha混合但如果你也分配一个opacityThreshold 在阈值之下的所有着色都会被放弃

你可以设置环境光遮蔽的纹理定义模型中的模糊阴影一个更高级的属性例子是清漆它会在材质上模拟一层额外的反光漆料 PhysicallyBasedMaterial类型上还有好多其他属性可用

我们也添加了一种新类型叫做自定义材质让你用自己的Metal代码制作材质我们就是用这个在章鱼模型上做出颜色转换效果关于着色器和自定义材质我们会在关于渲染的第二场讲座中解释

除了材质我们也在RealityKit中添加了对于动画的更多控制

首先我们先复习动画的既有API 这些大部分都是关于播放从USD加载的动画如果你从USD加载你可以播放一次你也可以让它重复无限循环也就是我们想让这个潜水员的空闲动画做的你也可以暂停继续或停止动画

最后播放新的动画时你可以指定过渡持续时间如果未指定角色会立即切换成新动画如果你指定过渡持续时间 RealityKit会在持续时间内混合旧动画和新动画这很有用例如当在潜水员的走路和空闲循环之间过渡但我们还是可以改善脚部的动画

我们可以用混合层的新API 让动画更写实我们在两个分开的混合层播放走路动画和空闲动画既然我们在顶层播放走路动画那是我们目前唯一能看到的动画但我们可以变更走路动画的混合因子显现出底下的空闲动画注意随着混合因子变小脚步也会变小

我们也可以改变动画的播放速度让潜水员走更快或更慢这里的潜水员以半速走路

最后我们用角色相对于地面的速度控制这两个值这样我们可以让动画更流畅并降低和地面对比脚滑行的情形

目前为止我们用了多个动画片段例如空闲和走路循环这些会作为动画资源存储在RealityKit中有多个从USD文件加载它们的方式第一个方式是让每个片段各一个USD文件我们可以将每个USD作为实体加载以动画资源形式获得它的动画然后动画资源可在任何实体上播放只要它的骨架中的接点名称匹配动画的名称

另一个加载多个动画片段的方式是将它们放在同一条时间线上的单一USD中然后用AnimationViews 将这个时间线切成多个片段

这个方式需要知道每个片段之间的时间码

每个动画视图可以接着被转换成一个动画资源并和前一个方法一模一样的方式使用现在我们来谈应用程序中章鱼的动画章鱼躲起来了但当玩家靠近它会吓到并移动到新的躲藏地点我们来看看怎么设置动画首先加载章鱼的骨架动画：跳跃、游泳和着陆这些动画是从一个USD加载就像我们为潜水员做的那样但我们也想设置章鱼的转换动画让它从一个位置移动到下一个位置要设置转换动画我们用一个新API 以编程方式创建FromToByAnimation类型的动画

这样我们就可以设置位置动画来看看在章鱼身上是什么样子

为了更有趣我们也对旋转进行动画处理

现在章鱼会在移动时旋转但它往侧边游这样不太真实我们可以通过制作一系列动画改善这点首先我们让章鱼往新的位置旋转然后我们转换到新的位置最后我们让章鱼回头往摄像头的方向旋转这是完整的动画

除了新的动画API外我们也添加了管理角色物理的方式叫做角色控制器这让我们能创建可以和场景中的碰撞器实体交互的角色这里我们看到潜水员从地板跳到沙发在上面走路这是通过为潜水员添加一个角色控制器这样做潜水员会自动和由LiDAR传感器生成的环境的网格交互创建角色控制器很简单你只需要定义一个匹配你的角色形状的胶囊创建时你必须指定胶囊的高度和它的半径角色控制器被分配到实体后你可以在每一帧调用move(to:)函数这会让角色移动到你想要的位置但不会穿过障碍物另一方面如果你想要忽视障碍物你可以用瞬移函数现在我要把画面交给阿曼达她会再介绍我们这次为RealityKit添加的几个好玩的功能好的谢谢奥利维尔好我会强调两个新的API 它们能用来随意立刻创造资源而不需要从磁盘加载

首先我会展示如何从SceneUnderstanding 取得一个人脸的网格然后我会讲解如何生成音频这些能为程序生成的艺术打开和大海一样无边无际的可能首先是人脸网格我们的演示应用程序中那只紫色和橘色的章鱼的样貌让我超有灵感我尝试在我的脸上画一只不过是用虚拟的方式画方式是使用新的人脸网格功能 SceneUnderstanding现在可以给你代表人脸的实体那些实体上有模型组件代表你可以换掉人脸实体网格上的材质属性我们玩得很开心用现场画的图立即生成应用在人脸网格上的纹理我们来看看代码 SceneUnderstandingComponent 现在有个枚举属性叫做entityType 它由SceneUnderstandingSystem设置可以取两个值的其中一个：face 意思是它代表真实世界的人脸或是meshChunk 意思是它是再造世界网格的其他部分它也可以是nil 意思是它的类型还未知这又是个实体查询你可以查询有SceneUnderstandingComponent 的实体并检查entityType 以找到人脸然后你可以从那些实体取得模型组件想拿来做什么就做什么在我们的人脸彩绘范例中我们用PencilKit 让人画在画布上然后通过用那个CGImage 创建一个纹理资源将产生的CGImage包在人脸实体上我们用PhysicallyBasedMaterial 让人脸彩绘看起来尽可能地逼真我们在上面设置了几个属性让我们的样子能有极致表现要制造闪光漆效果我们用法线贴图纹理这会告诉基于物理的渲染器这表面反射光的样子应该不同于如果我们单纯让材料维持金属然后我们给材质加上铅笔画的纹理资源并设置在实体上这就是使用新的生成资源的方式之一另一种现在可以生成的资源是AudioBufferResource 你可以用各种方式获得 AVAudioBuffer：通过录制麦克风输入自己以程序生成或是用AVSpeechSynthesizer 然后你可以用AVAudioBuffer创建 AudioBufferResource 并用来在应用程序中播放声音

以下是我们将文字转成语音的方式我们写了AVSpeechUtterance 到AVSpeechSynthesizer 我们在回调中收到一个AVAudioBuffer 这里我们创建一个 AudioBufferResource 并将它的inputMode设置为.spatial 以利用3D位置音频其他可用inputMode为nonSpatial 和ambient 然后我们叫实体播放那段音频当然你可以用花俏的技巧处理音频缓冲区让你的鱼听起来像是在水底说话时吹泡泡或是其他你能想到的有趣声音

以上就是今年RealityKit 一些新功能的概览我们全心投入于让你更能控制场景的外观和行为我们修改了我们的ECS 以提供自定义系统给你让你在架构应用程序的行为时灵活度大幅提升我们添加了很多改进到材质和动画API 我们推出了角色控制器让你的实体能轻易和真实世界的环境交互最后我们强调了几个能够实时生成资源的方式但RealityKit 2的新功能绝对不只这些在本周稍晚第二场 RealityKit专题讲座中你可以了解更多新的渲染功能并看到我们在水底演示中某些东西实现的方法我们用几何体修改器设置海带的动画章鱼用表面着色器让它在颜色之间美丽转换蓝色深度雾效果还有水波焦散都是用后处理创建而关于生成性资源的主题中你会学到如何使用动态网格若想复习你可能想看 2019年的《利用 RealityKit 构建 App》讲座谢谢收看我们很期待看到你用这些API挥洒的创意 [欢快的音乐]

7:10 - FlockingSystem

class FlockingSystem: RealityKit.System {

    required init(scene: RealityKit.Scene) { }
    
    static var dependencies: [SystemDependency] { [.before(MotionSystem.self)] }

    private static let query = EntityQuery(where: .has(FlockingComponent.self)
                                                && .has(MotionComponent.self)
                                                && .has(SettingsComponent.self))

8:34 - FlockingSystem.update

func update(context: SceneUpdateContext) {

        context.scene.performQuery(Self.query).forEach { entity in

            guard var motion: MotionComponent = entity.components[MotionComponent.self]
                else { continue }

            // ... Using a Boids simulation, add forces to the MotionComponent
            motion.forces.append(/* separation, cohesion, alignment forces */)

            entity.components[MotionComponent.self] = motion
        }
    }

11:58 - Store Subscription While Entity Active

arView.scene.subscribe(to: CollisionEvents.Began.self, on: fish) { [weak self] event in
    // ... handle collisions with this particular fish
}.storeWhileEntityActive(fish)

12:36 - SwiftUI + RealityKit Settings Instance

class Settings: ObservableObject {
    @Published var separationWeight: Float = 1.6
    // ...
}

struct ContentView : View {
    @StateObject var settings = Settings()
    var body: some View { 
        ZStack {
            ARViewContainer(settings: settings) 
            MovementSettingsView()
              .environmentObject(settings)
        }
    }
} 





struct SettingsComponent: RealityKit.Component {
    var settings: Settings
}

class UnderwaterView: ARView {
    let settings: Settings
    private func addEntity(_ entity: Entity) {
        entity.components[SettingsComponent.self] = 
          SettingsComponent(settings: self.settings)
    }
}

21:26 - FaceMesh

static let sceneUnderstandingQuery = 
    EntityQuery(where: .has(SceneUnderstandingComponent.self) && .has(ModelComponent.self))

func findFaceEntity(scene: RealityKit.Scene) -> HasModel? {
    let faceEntity = scene.performQuery(sceneUnderstandingQuery).first {
        $0.components[SceneUnderstandingComponent.self]?.entityType == .face
    }
    return faceEntity as? HasModel
}

22:03 - FaceMesh - Painting material

func updateFaceEntityTextureUsing(cgImage: CGImage) {
  guard let faceEntity = self.faceEntity else { return }
  guard let faceTexture =
  try? TextureResource.generate(from: cgImage,
                                options: .init(semantic: .color))
  else { return }

  var faceMaterial = PhysicallyBasedMaterial()        
  faceMaterial.roughness = 0.1
  faceMaterial.metallic = 1.0
  faceMaterial.blending = .transparent(opacity: .init(scale: 1.0))

  let sparklyNormalMap = try! TextureResource.load(named: "sparkly")
  faceMaterial.normal.texture = PhysicallyBasedMaterial.Texture.init(sparklyNormalMap)

  faceMaterial.baseColor.texture = PhysicallyBasedMaterial.Texture.init(faceTexture)

  faceEntity.model!.materials = [faceMaterial]
}

23:09 - AudioBufferResource

let synthesizer = AVSpeechSynthesizer()

func speakText(_ text: String, forEntity entity: Entity) {

    let utterance = AVSpeechUtterance(string: text)
    utterance.voice = AVSpeechSynthesisVoice(language: "en-IE")

    synthesizer.write(utterance) { audioBuffer in

        guard
            let audioResource = try? AudioBufferResource(buffer: audioBuffer,
                                                         inputMode: .spatial,
                                                         shouldLoop: true)
        else { return }

        entity.playAudio(audioResource)
    }
}

正在查找特定内容？在上方输入一个主题，就能直接跳转到相应的精彩内容。