AR 快速查看，了解物体捕捉

探索将物体捕捉资源引入 AR 快速查看的简单方法，同时优化图像品质和文件大小。探索集成 AR 快速查看和物体捕捉，以帮助您打造全新体验的方法。为了能充分了解本节内容，我们建议首先观看 WWDC19 的“AR 快速查看取得的进展”。您还可以通过 WWDC20 的“使用 AR 快速查看在线购物”了解如何在 Web 上实现 Apple Pay 和自定义操作与 AR 的集成。

资源

相关视频

WWDC21

WWDC20

使用 AR Quick Look 进行线上购物

WWDC19

下载

大家好欢迎收看我是杰瑞很高兴能向各位介绍如何将Object Capture资产带到AR Quick Look中提醒一下 AR Quick Look是iOS内置的系统范围3D模型AR查看器可在Safari、Messages Files等地方使用应用程序和网站可以嵌入3D模型让人在自己的环境中查看模型并和它们互动这可能很适合展示产品推广事件或在身临其境体验中提供额外内容例如Apple TV+节目《为全人类》的这个交互式演示你可以在其中更深入了解宇航员的宇航服

在这个演示中我会谈如何用Object Capture API 为AR Quick Look创建3D内容还有一些根据你的用例需要注意的最佳实践

然后我会扼要重述如何在你的应用程序或网站中集成AR Quick Look

最后我会展示一些可以用AR Quick Look 和Object Capture协助创建的令人期待的应用程序

先谈AR Quick Look体验的 3D内容创建过程之前如果想为AR Quick Look创建3D内容你必须使用3D建模软件不过那种软件通常很昂贵而且不是每个人都能上手今年我们推出了新的 Object Capture API 内置于RealityKit 作为生成USDZ文件的替代方式它让你能创建高质量的3D模型方式是通过真实世界对象的一系列静态影像

Object Capture会进行繁复计算创建USDZ文件这文件可以直接在AR Quick Look中查看如果你想添加交互式自定义行为到你的模型你也可以用Reality Composer 例如你可以添加点击触发和相机操作到你的数字场景

合在一起这些技术现在让任何人都能比以往更容易创建身临其境的AR体验我们来看这个工作流的实际演示我刚开了一间卖手工陶艺的在线商店这是其中一项商品

我会展示如何创建这个花盆的3D模型并添加行为让顾客可以预览它在他们书桌上搭配各种多肉植物的样子然后再购买但首先我们来看看模型使用方式

这是放在我书桌上的虚拟多肉植物让我靠近点看你可以看到几何螺旋的细微细节

好现在我们再预览几种多肉植物我点击绿色的植物… 它就换成红色的我们再看几个现在我再点击一次

噢我很喜欢这个灰色的！它跟花盆很搭我很好奇它和真的花盆比起来看起来如何

哇看起来很写实不过自从我几周前扫描它后叶子长大了很多友善提醒 Object Capture不会让你的虚拟植物自动长大但若你想你可以模拟植物长大的样子方式是用Reality Composer改变比例我觉得这会是我的在线商店很棒的资产现在让我为你讲解我如何从零开始创建它我采取的第一步骤是拍摄多肉植物花盆单独的照片从每个角度拍用干净的背景

然后我用Object Capture 生成一个USDZ模型类似地我为每一株多肉植物重复同样的步骤生成三个分开的USDZ模型现在让我示范如何在同一个花盆里通过在Reality Composer中添加行为在不同的多肉植物之间切换

我已经开始了一个项目我添加了花盆基础并安排三株多肉植物让植物好好放在花盆里面现在我们来添加行为首先我添加一个 “开始时隐藏”行为让一开始只会显示绿色多肉植物当有人点击绿色多肉植物我们想把它换掉变成显示红色的要做到这点我添加一个点击触发还有“隐藏”和“显示”操作然后我重复这些步骤让我们可以从红色换成灰色灰色换成绿色就这样！现在我们只需要导出资产就可以在AR Quick Look中查看就像之前看到的那样

现在我们已经看过用Object Capture创建内容有多容易我们来谈谈一些最佳实践这些和导出要在AR Quick Look查看的模型相关用Object Capture导出USDZ文件时判断要用哪个详细设置很重要这个表格描绘了各个设置的不同特性视觉保真度和文件大小这两个之间总是需要权衡导出文件大小较小的USDZ 是用AR Quick Look时重要的考量因为它能让用户的下载时间更短无论你选择哪个详细设置 Object Capture永远会用同样的基础算法生成高质量的重建但根据指定的详细设置应用不同等级的网格抽取和纹理降采样缩减详细设置和中等详细设置在视觉保真度和文件大小之间提供良好的平衡因此为AR Quick Look创建内容时我们建议你先用缩减和中等详细设置导出然后可以在评估视觉上差异和其他重要考量后选择要保留哪一个而我接着会谈这个像我们刚看到的缩减详细设置会生成文件大小最小的模型这让它适合网络分布因为它能降低模型可以查看前所需的下载时间这也是推荐的设置如果你计划结合多个资产在单一个场景里也许是为了展示一系列的多肉植物这些特性让缩减详细设置成为大部分用例中的好选择

在某些情况中你若注意到缩减和中等设置之间视觉效果有显著差异那可能更适合用中等详细设置这通常发生于对象十分复杂需要你拍数百张照片才能用Object Capture重建时不过请记住这会生成文件大小较大的USDZ 所以最好不要结合多个模型例如这里我拍了多肉植物和花盆一起的照片类似的情况中等详细设置比较适合设备上已经有一份资产的本地副本的应用程序因为那能消除下载时间总结来说我们建议评估两种详细设置并依据你的对象和用例决定要用哪一种记得在各种iOS硬件上测试你的资产以确保设备兼容性和表现没问题不管是哪一种详细设置最好确保素材的质量就高所以一定要拍摄清晰影像避免运动模糊才能生成良好高质量的重建也要确定相邻照片之间有足够的重叠至少要70% 并让对象装满画面要了解更多细节我鼓励你去看《相片捕捉》文章并观看《Object Capture》专题讲座现在你了解了最佳实践我们来复习如何集成AR Quick Look 像你知道的只需几行代码就能将AR Quick Look 嵌入你的应用程序或网站我们来扼要重述一下集成

如果你要把AR Quick Look 嵌入到应用程序你可以用Quick Look框架这里我们创建了一个新的 QLPreviewController 并指定self作为它的数据源然后用呈现普通视图控制器的方式呈现它

当然我们也必须执行 QLPreviewController数据源协议这会告诉Quick Look要显示几个预览每个预览是什么

这里我们用磁盘上一个本地文件的URL 创建一个ARQL previewItem 然后我们返回它让系统知道要呈现AR Quick Look

我们也提供自定义体验的方式例如在AR模式中禁用内容缩放让人可以永远看到对象放在世界里时真实的大小要禁用缩放将allowsContentScaling属性设定为false

如果你要将AR Quick Look体验集成到你的网站你可以将a-tag片段代码添加到你的HTML 取代你自己的模型URL 和图像缩略图

记得包括rel="ar"特性这会在缩略图上添加AR徽章图标类似地你也能禁用嵌入至网页的 AR中的内容缩放要禁用内容缩放将allowsContentScaling设为0

嵌入至网站时你也可以让Apple Pay 和自定义操作例如预订功能直接在AR Quick Look中出现让客户能进行订购流程的下一步

以上是可以用AR Quick Look做到的一些事情的摘要若想了解更多可观看我们之前推出的专题讲座

现在我们来谈谈一些真实世界的 AR Quick Look应用程序宣布推出Object Capture后我们现在让创建和分发3D内容的整个流程更平易近人 Object Capture负责生成USDZ文件的所有繁杂部分 Reality Composer让你能轻易创建多资产场景并添加交互性到模型中 AR Quick Look提供极好的查看体验给iOS上的应用程序和网站而且也可用于macOS上

合在一起这些技术让人能在不同的领域中创造出改进的体验和全新的体验我们来看看一些例子找灵感电商是AR Quick Look 最受欢迎的用例之一这有很好的原因用AR Quick Look查看3D模型能帮助客户想象产品在他们的空间内会是什么样子无论是鞋子相框还是家具现在有了Object Capture 作为零售商你不须有3D体验经验就可以轻松创建你的产品的3D模型像是这双Fragment Design Air Jordan 3运动鞋是GOAT应用程序的团队用Object Capture创建的你也可以善用Reality Composer 添加额外的行为以提升查看体验例如像是多肉植物的演示中我可以在不同的多肉植物之间切换你可以制作一个应用程序让客户能预览不同的服装搭配或包包

另一个用例是博物馆历史文物通常放在保护罩中让人很难从不同角度查看不过通过用3D捕获对象观看者可以在自己的设备上查看文物的精细虚拟表示并和它交互 AR Quick Look不只让你可以远程逛博物馆它也能带来新形式的现场展览内容只能在虚拟世界中体验的展览

你也可以添加旁白音频讲解3D内容或是帮助有视力障碍的人像是这个来自大都会艺术博物馆的 Zemi人偶我们来听听它在约公元1000年由来自加勒比海安的列斯群岛的太诺文明的一位雕塑家创造大约是现在多米尼加共和国的位置

Object Capture 和AR Quick Look 另一个很棒的用例是在教育领域过去图表和视频一直都是以2D呈现有时候可能很难表达 3D的概念现在有了增强现实我们可以用3D的形式教学老师现在能利用Object Capture 生成的3D模型打造吸引学生注意的课程科技可以提供立即反馈和交互性让学生可以用自己的步调学习探索这不只能帮助老师规划课程孩子也可以用AR挥洒创意例如 Qlone应用程序让孩子能创建他们最爱的玩具或美劳作品的3D模型它提供方便的视觉指南并自动在适合的情况下拍摄照片所以孩子可以自行扫描对象 Qlone正在努力让Object Capture技术能和他们的iOS和Mac应用程序无缝集成让孩子能更容易与家人朋友分享他们的创作我邀请Apple同事的孩子分享一些他们的创作用Object Capture拍摄照片并生成3D模型后孩子接着用Reality Composer 添加了数字交互我们来看看第一个是一套恐龙装有了声音更生动了

还有一组漂亮的杯盘

还有一个很酷的交互河豚跟章鱼之间的对话框永远面向你

这些是很酷又有创意的艺术作品像你刚才看到的现在任何人都可从零开始开发身临其境的AR体验只要用Object Capture Reality Composer 以及AR Quick Look Object Capture能创建高质量资产可用来在AR Quick Look中查看 Reality Composer让人能轻易将多个资产结合到单一场景并添加交互性到模型中

想获得更多信息我鼓励你造访 AR Quick Look Gallery页面看更多例子并观看《Object Capture》专题讲座就这样谢谢收看祝你有美好的WWDC [音乐]

8:02 - Integrating AR Quick Look in your app

// File: MyPreviewController.swift
func presentARQuickLook() {
	let previewController = QLPreviewController()
	previewController.dataSource = self
	present(previewController, animated: true)
}

// MARK: QLPreviewControllerDataSource
func previewController(
  _ controller: QLPreviewController, previewItemAt index: Int) -> QLPreviewItem {
	  let previewItem = ARQuickLookPreviewItem(fileAt: fileURL) // Local file URL

	  return previewItem
}

正在查找特定内容？在上方输入一个主题，就能直接跳转到相应的精彩内容。