使用 ARKit 打造更出色的空间计算体验

了解如何利用 ARKit 的最新功能打造引人入胜的沉浸式体验。探索如何使用空间跟踪和对象追踪来进一步提升与周围环境的互动体验。我们还将介绍如何让 App 在这个平台上对环境中的光线变化做出响应。探索手势跟踪和平面检测方面的改进，借此让你的空间体验更直观。

章节

资源

相关视频

WWDC24

WWDC23

了解用于空间计算的 ARKit

下载

大家好我叫 Divyesh 在这个讲座中你将了解 visionOS 的 ARKit 即将推出的一些精彩更新去年我们推出了 ARKit 其中包含为整个操作系统提供支持的核心实时算法大家使用 ARKit 的追踪和场景理解功能打造出非同凡响的空间体验让我们惊叹不已以“Blackbox”为例它利用 ARKit 来检测解开引人入胜的谜题所需的手势 “Super Fruit Ninja”还运用手势追踪来切水果并运用场景理解功能来逼真呈现果肉果汁满地飞溅的效果根据大家的反馈我们在过去一年中开发了一些新功能旨在帮助大家的 App 进一步理解周围环境并与之互动我们来了解一些相关改进我首先要介绍场景理解方面的一些改进我们新增了房间追踪功能还更新了平面检测功能有助于根据所在的房间提供个性化体验我还将介绍新的对象追踪功能可以用它为现实世界中的物品创建交互式可视化效果随后我会讲解 ARKit 的现实场景追踪功能如何在各种光线条件下变得更加稳定可靠最后我会介绍一下手势追踪方面的最新改进能为你的 App 带来哪些好处在深入探讨之前我们先来快速回顾一下 visionOS 上的 ARKit 总结一下当 visionOS App 呈现全空间时它能够以锚点形式接收来自 ARKit 的数据

锚点表示三维空间中的位置和方向例如平面检测数据以 PlaneAnchor 的形式提供其中包含有关在现实世界中检测到的各个表面的信息

ARKit 会通过数据提供程序将锚点提供给 App 数据提供程序是用于配置单项 ARKit 功能以及接收其数据的接口 PlaneDetectionProvider 是用于接收 PlaneAnchor 的接口

你可以通过提供需要在用户体验中一起使用的一组数据提供程序来运行 ARKitSession 如果你刚刚接触 ARKit API 或希望了解更多背景信息强烈建议你观看去年的“了解用于空间计算的 ARKit”讲座接下来我们来了解第一项新功能：房间追踪 visionOS 上许多 App 的使用场景都设在用户所在的房间内借助网格和平面锚点数据你已经可以使用以逼真方式放置的虚拟内容来增强场景现在你可以将互动体验提升至全新境界试想一下当你走进卧室时会有一只虚拟宠物迎接你借助房间追踪功能你可以为进入的每个空间量身定制独一无二的体验

当你环顾四周时 ARKit 可以识别出当前所在房间的边界它会利用这些信息来计算与检测到的墙壁和地面精确匹配的几何图形此外 ARKit 可以识别不同房间之间的转换当你进入一个新区域时它会切换为提供你当前所处空间的数据这有助于 App 根据所在房间展现不同的体验

所有这些信息都通过新的房间追踪数据提供程序呈现这需要获得现实场景感知授权

RoomTrackingProvider 可以提供你曾去过的房间的相关信息如果 ARKit 确定你处于受限空间中则可以通过此接口来访问当前房间的锚点你可以使用当前房间锚点根据这一室内布局来塑造用户体验

你的 App 还可以侦听异步房间追踪更新其方式类似于从我们的其他数据提供程序接收锚点这种方式便于接收当前所在空间的最新信息尤其在跨房间转换时

请注意 RoomTrackingProvider 只会更新当前所在房间的锚点数据

我们来看看提供的数据每个 RoomAnchor 都包含有关特定受限空间的空间信息

此锚点可以指示它是不是为当前房间建模当你希望特定内容只出现在当前所在的空间中时这会很有用

每个 RoomAnchor 还包含了四周墙壁和地面的几何图形它由定义房间形状的一系列顶点、边和三角面组成请注意与网格锚点和平面锚点呈现的几何图形相比此网格与房间边界更加贴合

你还可以选择获取由一组不相交的几何图形构成的网格其中每个几何图形对应一整面墙壁或一整片地面在遮挡放置在房间外的虚拟内容或者实现沿整面墙打开虚拟传送门等增强效果时这些几何图形可能会非常有用你还可以测试给定的三维点是不是存在于房间边界内与现实场景追踪功能配合使用时你可以创造出神奇的体验在进入特定房间时让虚拟物体变得鲜活起来

最后这个新的锚点能够提供与房间关联的平面锚点 ID 和网格锚点 ID 这些数据与其他场景理解功能结合使用时有助于优化 App 例如你可能希望避免对当前房间之外的平面和网格执行开销较大的操作利用房间追踪功能改进 App 的方法有很多前面只列举了其中的几种方法非常期待看到大家能解锁更多方法！接下来我们来谈谈平面检测功能的一项更新 ARKit 会检测周围环境中的平面表面因此能够以 PlaneAnchor 的形式提供这些表面的相关信息在各个表面放置虚拟内容时例如在桌面上放置棋盘游戏或在墙上放置虚拟海报这些平面锚点非常有用 PlaneDetectionProvider 会告知 App 检测到了水平表面和垂直表面

今年我们将推出全新的倾斜平面对齐功能用于检测成角度的表面

App 将继续获得水平对齐和垂直对齐的平面锚点这些锚点不会发生任何变化如果你还希望获得倾斜平面锚点只需进行一项更改就能轻松实现只需更新在 PlaneDetectionProvider 中配置的对齐方式即可

只需添加新的倾斜对齐就是这么简单！

接下来我们看看对象追踪这是 visionOS 的新增功能 ARKit 现在可以追踪静态放置在环境中的现实世界物体借助对象追踪功能你可以获得各个物品的位置和方向以便将虚拟内容锚定在这些物品上例如教育类 App 可以为观察特定仪器的用户展现 3D 可视化效果要让 ARKit 追踪这些物品你需要提供一组 ReferenceObject 参考对象会对已知现实世界物品的空间特征进行编码要创建 ReferenceObject 首先需要 USDZ 格式的待追踪物品 3D 模型

然后可以使用 CreateML 全新的空间对象追踪功能以根据素材生成 ReferenceObject

最后可以使用 ReferenceObject 来通过 ARKit 进行追踪

要进一步了解如何创建 ReferenceObject 请观看今年的讲座 “探索适用于 visionOS 的对象追踪”

在这个讲座中我们将重点介绍在创建 ReferenceObject 后通过 ARKit 追踪实体物品的最后一步

我们来看看新的 API 让这一操作变得多么简单

ReferenceObject 可在运行时通过文件 URL 或套装载入

在本例中我们通过 URL 载入一个地球仪 ReferenceObject

成功载入参考对象后可以使用该对象配置新的 ObjectTrackingProvider

接下来可以在 ARKitSession 上运行新的 ObjectTrackingProvider

数据提供程序进入运行状态后即可开始处理传入的追踪结果

这些追踪结果将以 ObjectAnchor 的形式提供每个 ObjectAnchor 代表追踪的一个物品

ObjectAnchor 包含检测到的对象的轴对齐边界框你可以获取边界框的中心和范围及其最小和最大 3D 坐标点

这个锚点还包含其对应的 ReferenceObject 如果 ReferenceObject 包含基础 USDZ 文件路径则可以从这个锚点访问这一路径

和其他数据提供程序类似你也可以侦听 ObjectAnchor 更新然后可以利用最新的追踪功能更新为对象增添富有感染力的虚拟内容例如你可以为地球仪添加具有逼真阴影效果的绕行天体甚至可以让人窥探地核的奥秘！

此外我们还将发布一些示例 App 可供你下载并在自己的设备上试用请记得稍后来查看这些 App 了解更多详细信息接下来我要介绍现实场景追踪功能的一些改进这项功能在这个平台中发挥着基础作用 ARKit 依靠多种摄像头和传感器来运行诸如现实场景追踪之类的复杂算法如果用户所在的实际位置光线不足就会影响传感器数据并且可能会导致算法无法流畅运行例如身处无光线的黑暗房间可能会影响使用者体验到的现实场景追踪质量

今年我们添加了一项机制来对这类光线变化做出响应如果系统检测到由于光线条件不佳或其他物理因素导致追踪受限则会只追踪对象方向的变化而不追踪其在空间中的位置

这种情况下你的 App 将受益于在系统级别实现的基于方向的追踪这意味着即使在具有挑战性的环境中也不必担心会由于光线原因而完全丧失追踪能力

如果你想做好充分准备来应对这类情况可以使用我们提供的多个 API 这些 API 可以告知你追踪功能出现了相应变化以便你相应调整用户体验例如你可能需要在不更新锚定位置的情况下适当重新排列已放置的内容如果你的 App 确实依赖于完整的现实场景追踪则你可能需要让用户向更加明亮的环境移动以便恢复正常的体验

如果你使用的是 SwiftUI 则可通过新的“现实场景追踪限制” 环境值来提供这一指示例如你可以侦听这个值的变化以便在无法使用位置追踪时重新排列内容

如果你使用的是 ARKit 我们还扩展了DeviceAnchor 现在它包含“.trackingState”属性该属性会指示追踪功能完全正常还是仅限基于方向的追踪如果系统切换为基于方向的追踪则现有的现实场景锚点可能会标记为“未追踪” 等到现实场景追踪恢复正常后持久性锚点的追踪状态将会恢复

最后我要介绍手势追踪方面的一些改进手势追踪是这个平台上的主要输入方式我们在推出 visionOS 时添加了追踪使用者手部和手指的功能 App 可以使用这些信息来检测手势并将虚拟内容锚定到手部

去年我们确立了以 HandAnchor 的形式获取这一信息的两种途径你可以轮询 HandTrackingProvider 以获取最新更新也可以在 HandAnchor 可用时以异步方式接收更新我们很高兴地宣布 HandTrackingProvider 现在能够以显示速率提供这些数据了！异步 HandAnchor 更新会存在一些延迟但如果采用更快速的与显示同步的频率来提供这些数据更新会更加流畅佩戴 Apple Vision Pro 时这种效果尤其显而易见如果你希望将手势追踪结果的延迟降至最低 ARKit 现在可以预测有望在不久之后某个给定时间存在的 HandAnchor 无论 App 使用 Compositor Services 还是 RealityKit 进行渲染你都可以利用新的手部预测 API 更快地获得追踪结果

我们来看一个例子如果使用的是 Compositor Services 则应以“可追踪的锚点时间”为目标这是 visionOS 的新增功能基于这个时间戳来预测 HandAnchor 可以帮助你实现最佳内容配准效果

你可以将该时间戳转换为秒并将其提供给 ARKit 以进行复杂的前瞻预测这里展示的 App 使用Compositor Services 来渲染一个虚拟茶壶通过使用预测的 HandAnchor 锚定的茶壶会始终固定在这只手上即使这只手来回移动也是如此请注意由于这是低延迟预测因此可能会牺牲一定程度的准确性要详细了解如何使用 Compositor Services 进行渲染建议观看今年的讲座“在 visionOS 中使用透视功能渲染 Metal” 你可能还需要回顾一下去年的讲座 “了解用于空间计算的 ARKit” 中展示的示例

手势追踪功能的这两项改进在不同的用例中各有千秋与显示同步的 HandAnchor 更新非常适合在对延迟没有严格要求的体验中进行手势检测和绘制流畅的笔触如果你希望内容尽可能贴合手部而流畅度不太重要那么手部预测就会非常有用

在 RealityKit 这边我们还提供了手部 AnchorEntities 方面的这些改进

如果使用 RealityKit 在双手附近附加内容可以根据需要选择 “连续”或“预测”手部追踪

如需查看详细示例请观看新的讲座 “使用 RealityKit 构建空间绘画 App” 以上就是今年 ARKit 的新功能总结一下我介绍了我们的最新改进这些改进有助于提升空间计算体验

大家还了解了新的房间追踪和对象追踪功能这些功能有助于进一步激发你的创造力我们还举办了更多精彩讲座供你探索新的 visionOS 我和整个团队万分期待看到大家使用最新 ARKit 实现的精彩体验！谢谢观看！

3:35 - RoomTrackingProvider

// RoomTrackingProvider

@available(visionOS, introduced: 2.0)
public final class RoomTrackingProvider: DataProvider, Sendable {

    /// The room which a person is currently in, if any.
    public var currentRoomAnchor: RoomAnchor? { get }

    /// An async sequence of all anchor updates.
    public var anchorUpdates: AnchorUpdateSequence<RoomAnchor> { get }

    ...
}

4:20 - RoomAnchor

@available(visionOS, introduced: 2.0)
public struct RoomAnchor: Anchor, Sendable, Equatable {
    /// True if this is the room which a person is currently in.
    public var isCurrentRoom: Bool { get }

    /// Get the geometry of the mesh in the anchor's coordinate system.
    public var geometry: MeshAnchor.Geometry { get }
    /// Get disjoint mesh geometries of a given classification.
    public func geometries(of classification: MeshAnchor.MeshClassification) -> 
        [MeshAnchor.Geometry]

    /// True if this room contains the given point.
    public func contains(_ point: SIMD3<Float>) -> Bool
   
    /// Get the IDs of the plane anchors associated with this room.
    public var planeAnchorIDs: [UUID] { get }
    /// Get the IDs of the mesh anchors associated with this room.
    public var meshAnchorIDs: [UUID] { get }
}

8:06 - Load Object Tracking referenceobject

// Object tracking

Task {
    do {
        let url = URL(fileURLWithPath: "/path/to/globe.referenceobject")
        let referenceObject = try await ReferenceObject(from: url)
        let objectTracking = ObjectTrackingProvider(referenceObjects: [referenceObject])
    } catch {
        // Handle reference object loading error.
    }
    ...
}

8:27 - Run ARKitSession with ObjectTracking provider

let session = ARKitSession()

Task {
    do {
        try await session.run([objectTracking])
    } catch {
        // Handle session run error.
    }
    
    for await event in session.events {
        switch event {
        case .dataProviderStateChanged(_, newState: let newState, _):
            if newState == .running {
                // Ready to start processing anchor updates.
            }
        ...
        }
    }
}

8:43 - ObjectAnchor

// ObjectAnchor

@available(visionOS, introduced: 2.0)
public struct ObjectAnchor: TrackableAnchor, Sendable, Equatable {

    /// An axis-aligned bounding box.
    public struct AxisAlignedBoundingBox: Sendable, Equatable {
        ...
    }

    /// The bounding box of this anchor.
    public var boundingBox: AxisAlignedBoundingBox { get }

    /// The reference object which this anchor corresponds to.
    public var referenceObject: ReferenceObject { get }
}

11:03 - World Tracking - reacting to changes in lighting conditions

struct WellPreparedView: View {
    @Environment(\.worldTrackingLimitations) var worldTrackingLimitations
    
    var body: some View {
        ...
 
        .onChange(of: worldTrackingLimitations) {
            if worldTrackingLimitations.contains(.translation) {
                // Rearrange content when anchored positions are unavailable.
            }
        }
    }
}

12:51 - Hands prediction

// Hands prediction

func submitFrame(_ frame: LayerRenderer.Frame) {
    ...

    guard let drawable = frame.queryDrawable() else { return }

    // Get the trackable anchor time to target.
    let trackableAnchorTime = drawable.frameTiming.trackableAnchorTime

    // Convert the timestamp into units of seconds.
let anchorPredictionTime = LayerRenderer.Clock.Instant.epoch.duration(to:     trackableAnchorTime).timeInterval  

    // Predict hand anchors for the time that provides best content registration.
    let (leftHand, rightHand) = handTracking.handAnchors(at: anchorPredictionTime)
    
    ...
}

正在查找特定内容？在上方输入一个主题，就能直接跳转到相应的精彩内容。