利用 RoomPlan 创建参数 3D 空间扫描

RoomPlan 可以帮助您的 App 快速为空间创建简易版参数 3D 扫描。了解如何利用此 API 轻松添加空间扫描体验。我们还将介绍如何采用此 API，探索 3D 参数输出，并分享最佳实践以帮助您在每次扫描时得到理想的结果。

资源

相关视频

WWDC23

探索 RoomPlan 的增强功能

Tech Talks

面向企业开发者的新功能

WWDC22

下载

♪ 柔和乐器演奏的嘻哈音乐 ♪ ♪ Praveen Sharma：大家好我叫 Praveen 我来自 Apple 的原型设计团队 Kai Kang：大家好我叫 Kai 我来自视频工程团队 Praveen：在过去的几年里 Apple 带来了一些有效而新颖的方式帮助人们使用 App 描绘世界去年我们推出了 Object Capture 它拍摄真实世界物体的照片并使用 RealityKit 中的 Photogrammetry API 将照片变成可在 App 中使用的 3D 模型在 Object Capture 之前我们发布了 Scene Reconstruction API 它帮助您粗略地理解您空间的几何结构并支持您的 App 中的全新增强现实用例今年我们很高兴地宣布推出一个名为 RoomPlan 的全新框架在 RoomPlan 中您可以使用支持 LiDAR 的 iPhone 或 iPad 扫描房间它可以生成房间的参数化 3D 模型以及您可以在 App 中使用的房间定义物品让我们来了解一下 RoomPlan 的扫描体验 RoomPlan 使用由 ARKit 提供支持的复杂的机器学习算法用于检测墙壁、窗户开口和门以及房间定义物品比如壁炉、沙发、桌子和橱柜我们的 RoomCaptureView API 使用 RealityKit 实时呈现扫描进度让您可以轻松将扫描体验集成到您的 App 中完成扫描后 RoomCaptureView 呈现最终的处理后结果供您以最适合您的用例的方式使用这是我们首次剔除了复杂的实施过程机器学习和计算机视觉算法人们现在可以以全新的方式与房间交互例如您可通过室内设计 App 预览墙壁颜色变化它还可准确计算重新粉刷房间所需的油漆量通过建筑 App 人们现在可以轻松地预览并实时编辑对其房间布局的更改房地产 App 现在可以让代理商无缝地获得房源的平面图和 3D 模型电子商务 App 可以展示实际空间中的物品从而吸引顾客这些只是 RoomPlan 的几个 App 示例您会惊讶地发现将 RoomPlan 集成到 App 中是多么简单让我们来讲解一下您可以通过两种主要方式使用 RoomPlan 首先是我们的开箱即用扫描体验它允许您将 RoomPlan 无缝集成到您的 App 中第二个是我们的数据 API 它支持您的 App 以最适合您的用例的方式使用实时参数数据我们会基于两个 API 推荐一些最佳实践以帮助您获得最佳的扫描结果我们将在这次演讲的最后一部分介绍首先说一下可用新 RoomCaptureView API 集成到 App 中的扫描体验房间捕获视图是 UI 视图的子类您可以轻松地将其集成到 App 中它处理世界空间扫描反馈的呈现实时房间模型生成以及辅导和用户指导让我们仔细了解一下在 RoomCaptureView 扫描期间呈现的设计元素在有效 RoomCaptureView 会话期间它会用动画线条勾勒出检测到的墙壁、窗户、开口门和实时定义房间物品会在 RoomCaptureView 的底部实时生成交互式 3D 模型让您一目了然地了解扫描进度最后文字辅导让您可以获得最佳扫描结果让我们看看如何开始使用 RoomCaptureView 只需四个简单的步骤即可首先我们在 ViewController 中创建一个 RoomCaptureView 第二我们创建一个 RoomCaptureSession 的配置对象引用第三我们开始扫描会话将我们的配置传递给捕获会话的运行函数最后我们的 App 会告诉捕获会话停止扫描或者您的 App 可以遵守我们的 RoomCaptureViewDelegate 并选择退出后处理结果和其显示或在显示后后处理扫描结果例如您可以调用所提供的 CapturedRoom 数据结构上的可用的导出函数以导出一个 USDZ 结果这就是将 RoomPlan 集成到您的 App 中的简单方法我们期待着您能用这个 API 完成更多任务现在我的同事 Kai 将为您介绍 RoomCaptureSession 和 Room Plan 的 Data API Kai：谢谢您 Praveen 在本部分中我们将带大家了解 Data API 它为您提供在扫描期间访问底层数据结构的权限可以从头到尾帮助您建立自定义的可视化扫描体验基本工作流程由三部分组成即扫描、处理和导出对于扫描我们将介绍如何设置并开始捕获会话以及显示和监控捕获过程基础知识然后我们将介绍扫描数据是如何处理的以及如何收到最终模型以进行展示最后我们将讨论如何生成和导出输出 USD 文件您也可以在 USD 工作流程中使用它现在让我们详细研究一下扫描步骤在我们扫描时我们将使用 RoomCaptureSession API 设置会话并显示进度我来给您看下代码这是一个简单的 RealityKit App 示例首先您只需将 RoomPlan 导入 Swift 项目中在您的 App 的 ViewController 中您可以用自定义类型来显示结果并启动 RoomCaptureSession 实例此外 RoomCaptureSession 提供了一个到底层 AR 会话的句柄这样 App 就可以在 AR 视图中绘制平面和对象边界框 RoomCaptureSession 采用委托模式在您的 ViewController 类中您可以将 ViewController 本身指定为 captureSession 的代表这将允许 ViewController 从 RoomCaptureSession 中获取实时更新这些更新包括 3D 模型和说明以引导大家完成捕获流程要获得这些更新您的 ViewController 需要符合 RoomCaptureSessionDelegate 委托协议并实施两种方法第一个是 captureSession(_ session: didUpdate room:) 方法这是为了得到实时的 CapturedRoom 的数据结构您的可视化工具可以使用它来更新 3D 模型的 AR 视图向人们提供关于进展的实时反馈我们将在此次谈话的后面部分深入研究捕获到的 CapturedRoom 当我们检测到 CapturedRoom 的更新时我们将调用此方法第二种方法是 captureSession(_ session: didProvide instruction:) 此方法为您提供指令结构其中包含实时反馈您的可视化工具可以使用该指令在扫描过程中引导人们让我们看一下此 API 提供的指令这些指令包括到物品的距离扫描速度房间照明调节以及专注于房间中有更多纹理的特定区域将在扫描期间提供这些指令以用实时反馈指导人们接下来我们将进入流程部分在本部分中我们将使用 RoomBuilder 类处理扫描到的数据并生成最终的 3D 模型要处理捕获到的数据第一步是启动 ViewController 类中的 RoomBuilder 实例接下来为了接收传感器数据在捕获过程之后您的 App 需要实施 captureSession(_ session: didEndWith data: error:) 方法当通过调用 App 中的 stop() 函数或由于错误而停止 RoomCaptureSession 时将调用此函数以返回捕获房间数据对象和一个可选的错误最后为了处理捕获到的数据我们使用等待关键字调用 roomBuilder 异步 roomModel(from:) 方法该方法异步运行以处理扫描的数据并构建最终的 3D 模型它利用了 Swift async/await 函数我们在去年的 WWDC 中介绍过在短短几秒钟内该模型将可在您的 App 程序中进行最终展示现在让我们深入了解一下捕获到的房间数据结构的细节以及如何将其导出以在您的 App 中使用在顶层有 CapturedRoom 它由表面和对象组成表面包含代表曲线的独特属性如半径、起始角和终止角曲面的四个不同边缘以及墙、洞口、窗户、门的建筑类别对象包含家具类别如桌子、床、沙发等表面和对象有一些关于扫描的表面或物体的共同的属性例如尺寸以及三个级别的置信度 3D 变换矩阵以及唯一标识符让我们看看它们在代码中是如何表示的捕获到的房间结构是房间内元素的完全参数化表示它包含五个属性包括房间里的墙壁开口、门、窗和物品对于前四个元素它们表示为表面结构代表二维平面建筑结构在右侧您可以看到各种我们之前介绍过的表面属性最后一个属性是房间中的 3D 物品数组它们以立方体的模式呈现在右侧您可以看到物品的各种属性这是我们在 RoomPlan 中支持的物品类型列表其中包括各种常见的家具类型例如沙发、桌子、椅子、床等最后导出功能允许您将此捕获到的房间导出为适用于您的现有工作流程 USD 或 USDZ 数据此示例显示了如何在 Cinema 4D 中直接打开 USD 输出以浏览和编辑房间的分层数据结构以及每个房间元素或物品的尺寸和位置您还可以利用现有 USD 和 USDZ 工作流程将捕获到的房间的渲染图用于各种 App 例如房地产、电子商务公用事业和室内设计到目前为止我们介绍了扫描体验和底层的 RoomPlan API 现在我们将介绍一些最佳实践以帮助您用 RoomPlan 获得理想效果我们将介绍优质扫描的理想环境选择房间时要注意的房间功能以及一些要牢记的扫描和散热方面的注意事项 RoomPlan API 支持最常见的建筑结构和典型家庭中的物品它最适合单个住宅房间最大房间大小为 30 英尺乘 30 英尺即大约 9 米乘 9 米照明对于 API 来说也很重要这有助于确保清晰的视频流和良好的 AR 跟踪性能使用 API 时建议亮度至少 50 勒克斯或更高家庭客厅在夜间的亮度通常就是 50 勒克斯硬件方面 RoomPlan API 支持所有支持 LiDAR 的 iPhone 和 iPad Pro 机型有一些可能会给 API 带来挑战的特殊情况例如全高镜子和玻璃会让 LiDAR 传感器难以产生预期的输出较高的天花板也可能超出 LiDAR 传感器的扫描范围限制此外设备可能难以扫描非常昏暗的表面注意这些问题有助于获得更好的扫描结果第一对于精度要求高的 App 在扫描前准备好房间可以提高扫描质量比如拉开窗帘可以让更多的自然光进入并减少窗户遮挡在白天扫描时最适合这样做关门可以避免意外扫描到房间外的区域良好的扫描动作对于用 API 获得良好的扫描结果而言也同样重要这就是为什么我们提供用户指令委托方法以在扫描期间给人们提供关于纹理、距离速度以及扫描期间的反馈您还需要注意设备的电池和热量我们对 RoomPlan API 做了很多优化以确保良好的扫描体验不过最好避免重复扫描或超过 5 分钟的单次长扫描这些不仅会导致疲劳还会耗尽电池并导致散热问题反之可能会影响您的 App 的用户体验我们今天介绍了很多内容我们介绍了全新的 API RoomPlan 它提供直观的扫描体验以捕获您的房间还有强大的机器学习模型来理解环境以及完全参数化的 USD 输出格式以轻松集成到您的 App 中有关如何更好地设计和提供 RoomPlan 体验的指南请查看下面的相关讨论 Praveen：是时候在您的 App 中试用 RoomPlan 了我们迫不及待地想看看您可以用这个新 API 创建哪些精彩内容 Kai：谢谢收看！ ♪

4:36 - RoomCaptureView API - Scan & Process

// RoomCaptureView API - Scan & Process

import UIKit
import RoomPlan

class RoomCaptureViewController: UIViewController {

    var roomCaptureView: RoomCaptureView
    var captureSessionConfig: RoomCaptureSession.Configuration

   private func startSession() {
        roomCaptureView?.captureSession.run(configuration: captureSessionConfig)
     }
    
    private func stopSession() {
        roomCaptureView?.captureSession.stop()
	}
}

5:00 - RoomCaptureView API - Export

// RoomCaptureView API - Export

import UIKit
import RoomPlan

class RoomCaptureViewController: UIViewController {
  …
  func captureView(shouldPresent roomDataForProcessing: CapturedRoomData, error: Error?) -> Bool {
    // Optionally opt out of post processed scan results.
    return false
  }

  func captureView(didPresent processedResult: CapturedRoom, error: Error?) {
    // Handle final, post processed results and optional error.
    // Export processedResults
    …
    try processedResult.export(to: destinationURL)
    …
  }
}

6:50 - RoomCaptureSession - setup previewVisualizer

import UIKit
import RealityKit
import RoomPlan
import ARKit

class ViewController: UIViewController {
    @IBOutlet weak var arView: ARView!
    var previewVisualizer: Visualizer!
    lazy var captureSession: RoomCaptureSession = {
        let captureSession = RoomCaptureSession()
        arView.session = captureSession.arSession
        return captureSession
    }()
    override func viewDidLoad() {
        super.viewDidLoad()
        captureSession.delegate = self
        // set up previewVisualizer
    }
}

7:40 - RoomCaptureSession - live results and user instructions

// Getting live results and user instructions

extension ViewController: RoomCaptureSessionDelegate {

    func captureSession(_ session: RoomCaptureSession,
                        didUpdate room: CapturedRoom) {
        previewVisualizer.update(model: room)
    }
    
    func captureSession(_ session: RoomCaptureSession,
                   didProvide instruction: Instruction) {
        previewVisualizer.provide(instruction)
    }
}

9:12 - Setup RoomBuilder

// RoomBuilder
import UIKit
import RealityKit
import RoomPlan
import ARKit

class ViewController: UIViewController {
    
    @IBOutlet weak var arView: ARView!
    var previewVisualizer: Visualizer!

    // set up RoomBuilder
    var roomBuilder = RoomBuilder(options: [.beautifyObjects])
}

9:30 - RoomBuilder - generate final 3D CapturedRoom

// RoomBuilder with the latest CapturedRoomData to generate final 3D CapturedRoom

extension ViewController: RoomCaptureSessionDelegate
{
    func captureSession(_ session: RoomCaptureSession, 
                        didEndWith data: CapturedRoomData, error: Error?)
    {
        if let error = error {
            print("Error: \(error)")
        }
        Task {
            let finalRoom = try! await roomBuilder.capturedRoom(from: data)
            previewVisualizer.update(model: finalRoom)
        }
    }
}

11:20 - CapturedRoom and export

// CapturedRoom and export

public struct CapturedRoom: Codable, Sendable
{
    public let walls: [Surface]
    public let doors: [Surface]
    public let windows: [Surface]
    public let openings: [Surface]
    public let objects: [Object]

    public func export(to url: URL) throws

    // Surface definitions ...
    
    // Object definitions ...
}

正在查找特定内容？在上方输入一个主题，就能直接跳转到相应的精彩内容。