空间计算
-
WWDC24 -
9:24 USD 和 MaterialX 的新功能
探索有关 Apple 平台上提供的通用场景描述 (USD) 和 MaterialX 支持的最新更新。探究这些技术如何为 3D 内容创建与交付打下良好基础,并学习如何借助这些技术来简化相应工作流程,助你打造精彩的空间体验。了解 RealityKit 及 Storm 中提供的 USD 和 MaterialX 支持,探索系统提供的工具有哪些改进,以及更多精彩内容。
-
23:20 利用 RealityKit 音频让空间计算 App 更加引人入胜
利用 RealityKit 音频提升空间计算体验。探索如何利用空间音频打造身临其境般的沉浸式 3D 体验。从环境音频和混响,到能够让 3D 内容更显个性的程序化实时音频,了解 RealityKit 音频 API 如何帮助你打造更引人入胜的 App。
-
34:36 在 Reality Composer Pro 中编写交互式 3D 内容
探索 Reality Composer Pro 中的“时间线”视图如何栩栩如生地呈现你的 3D 内容。了解如何使用逆向运动分析、形状变形和骨骼位姿打造一个动画故事,让其中的角色和物体能够彼此之间以及与周围环境之间进行交互。我们还将介绍如何使用内置操作和自定操作、为操作排序、应用触发条件,并实现自然动作。
-
17:01 探索适用于 visionOS 的对象追踪
探索如何使用对象追踪功能,在 visionOS App 中将现实世界的对象转化为虚拟锚点。了解如何使用对象追踪功能从头到尾打造空间体验。探索如何利用 Create ML 中的机器学习功能创建参考对象,并将相对于目标对象的内容附加到 Reality Composer Pro、RealityKit 或 ARKit API 中。
-
14:02 在 visionOS 中探索多视角视频播放
了解如何利用 AVExperienceController 在 Apple Vision Pro 中实现多视频播放体验。查看采用方面的推荐做法并探索多个精彩用例,例如观看同一场体育赛事的不同机位直播,或同时观看多场赛事。探索如何为 App 设计引人入胜且直观的多视角播放体验。
-
17:26 在自定环境中提升媒体观赏体验的沉浸度
使用 Docking Region、Reverb 和 Virtual Environment Probe 等 Reality Composer Pro 组件,扩展你的媒体观赏体验。了解如何利用 Reflections、Tint Surroundings Effect、同播共享以及 [Immersive Environment Picker] 进一步提升沉浸度。
-
15:09 使用 ARKit 打造更出色的空间计算体验
了解如何利用 ARKit 的最新功能打造引人入胜的沉浸式体验。探索如何使用空间跟踪和对象追踪来进一步提升与周围环境的互动体验。我们还将介绍如何让 App 在这个平台上对环境中的光线变化做出响应。探索手势跟踪和平面检测方面的改进,借此让你的空间体验更直观。
-
11:31 探索物体捕捉功能的区域模式
探索物体捕捉的区域模式可以如何扩展物体捕捉的功能,来支持区域的捕捉和重构,从而助你在 iOS 上开创全新的 3D 捕捉可能性。学习如何利用新的 macOS 示例 App 来优化 iOS 捕捉的质量以便重构,并探索如何使用 Apple Vision Pro、iPhone、iPad 或 Mac 上的“快速查看”功能来查看最终效果。了解 3D 重构方面的改进,包括一个用于创建自定图像处理管道的全新 API。
-
24:10 探索 RealityKit 调试器
了解 RealityKit 调试器,并探索这款新工具如何帮助你检查空间 App 的实体层次结构、调试异常转换、查找缺失的媒体,以及检测代码的哪些部分导致系统出现了问题。
-
12:29 开始在 visionOS 中使用 HealthKit
探索如何使用 HealthKit 打造能够充分发挥空间画布优势的精彩体验。了解适用于 visionOS 的 HealthKit 功能,探索如何将现有 iPadOS App 移植到 visionOS,并了解有关在客人用户会话期间管理 HealthKit 的特别注意事项。你还将学习如何将 HealthKit 与 SwiftUI、Swift Charts 和 Swift 并发搭配使用,来打造创新满满的用户体验。
-
20:48 为 visionOS 设计交互式体验
向“Encounter Dinosaurs”背后的设计师团队取经,了解如何设计引人入胜又兼具交互性和叙事性的 Apple Vision Pro 体验。探索这类体验与现有的 App、媒体和游戏有何区别,并了解如何设计出色的叙事来带领受众进入新世界。了解如何创作能够适应各种空间和尺寸的故事、提供多层级互动来确保人人可享,并使用动画、空间音频和自定手势,让用户更充分地沉浸在你的体验中。
-
18:42 将 iOS 或 iPadOS 游戏移植到 visionOS
探索如何将你的 iOS 或 iPadOS 游戏转换为别具一格的 visionOS 体验。利用 3D 框架或沉浸式背景,让你的游戏更加令人沉浸 (且乐趣无穷)。使用立体视觉或头部跟踪功能为窗口添加深度,引领玩家进一步沉浸在你构建的世界。
-
16:40 在 visionOS 中打造自定悬停效果
了解如何开发自定悬停效果,让用户在注视视图时实现视图更新。探索如何构建将透明度、缩放和裁剪效果组合在一起的按钮展开效果。探究相应的推荐做法,打造能够满足用户辅助功能需求的舒适效果。
-
14:24 visionOS 中“快速查看”的新功能
探索 visionOS 中的“快速查看”如何优化 App 内的文件预览和编辑体验。我们将介绍“快速查看”功能方面的 App 内体验和窗口式体验整合,并介绍一个让你能够在 App 内自定窗口式“快速查看”体验的全新 API。我们还将分享通过“快速查看”功能查看 3D 模型的最新增强功能。
-
20:09 针对空间网页进行优化
探索如何在网页上充分利用 visionOS 的功能。了解最近的更新,例如选中内容突出显示功能的改进,以及全屏显示空间照片和全景图像的功能。学习如何利用现有的网页标准,以通过 WebSpeech 构建听写和文本转语音功能、通过 WebAudio 创建空间音景,以及通过 WebXR 实现沉浸式体验。
-
22:13 为空间计算优化 3D 素材资源
深入了解创建优化 3D 素材的端到端流程。探索使用数字内容创建工具来优化网格、材质和纹理的推荐做法。了解如何利用 Shader Graph、嵌入和材质实例来优化 3D 场景,同时提升性能。充分利用原生工具,更有效地处理素材并提升 App 的性能。
-
16:22 在 visionOS 中探索游戏输入
探索如何在 visionOS 中为你的游戏设计并实现出色的输入体验。了解如何通过系统手势为玩家提供顺畅的游戏互动体验。探索有关支持自定手势和游戏控制器的推荐做法。
-
26:16 使用 WebXR 打造沉浸式网站体验
探索 WebXR 如何助你将完全沉浸式的体验增添到自己的 visionOS 网站中。了解如何打造出色的 WebXR 体验,充分发挥 visionOS 输入功能的优势,并学习如何在 macOS 上使用模拟器来测试 WebXR 体验。
-
16:39 了解适用于 visionOS 的 TabletopKit
使用 TabletopKit,从头开始打造 visionOS 棋盘游戏。我们将展示如何准备你的游戏、使用 RealityKit 添加强大的渲染功能,还将介绍如何仅添加几行代码便可以通过空间自影像在 FaceTime 通话中开启多人游戏体验。
-
32:17 深入探究空间容器和沉浸式空间
探索可通过哪些强大的新方式在 visionOS 中自定空间容器和沉浸式空间。了解如何微调空间容器自行调整大小并根据周围用户移动做出响应的方式。利用强大的坐标转换功能,让空间容器和沉浸式空间能够进行交互。了解如何让你的 App 在用户通过数码旋钮调整沉浸度时做出响应,以及使用环绕效果动态自定沉浸式空间体验中的透视色调。
-
19:03 设计出色的 visionOS App
了解如何采用沉浸式功能、为眼睛和手设计交互体验,并充分利用深度、比例和空间,来打造引人入胜的空间计算 App。我们将分享几个精彩 visionOS App 的示例,并探索其背后的设计师如何为这一平台打造了全新体验。
-
19:54 在 visionOS 中使用透视功能渲染 Metal
准备好扩展适用于 visionOS 的 Metal 体验吧。了解利用透视功能将渲染的内容与用户所处的物理环境整合起来的推荐做法。了解如何放置渲染的内容以使其完美融入现实世界、使用可跟踪锚点预测来降低延迟,等等。
-
31:31 探索适用于 iOS、macOS 和 visionOS 的 RealityKit API
了解 RealityKit 中新的跨平台 API 如何帮你构建适用于 iOS、macOS 和 visionOS 的沉浸式 App。探索全新的悬停效果、光影效果以及门户切换功能,并在真实示例中查看实际应用效果。
-
32:25 使用 RealityKit 构建空间绘画 App
充分利用 RealityKit 的强大功能来构建空间绘画 App。你将打造 RealityKit 与 ARKit 和 SwiftUI 充分整合的炫目空间体验,同时探索资源在 RealityKit 中的运作方式,以及如何使用低级别网格和纹理 API 等功能根据用户的画笔笔画做出快速更新。
-
21:18 为你介绍适用于 visionOS 的企业 API
探索如何利用适用于 visionOS 的全新企业 API 打造空间体验,帮助使用 Apple Vision Pro 的员工和顾客提升效率。
-
9:27 为你的沉浸式 visionOS App 创建自定环境
探索如何为 Apple Vision Pro 创建视觉效果丰富的高性能定制 App 环境。了解设计准则,获取专家提供的建议,并探索可在各种数字内容创建工具中运用的技巧,以便轻松开始打造你的沉浸式环境。
-
23:13 SwiftUI 的新功能
了解如何使用 SwiftUI 为任一 Apple 平台构建出色的 App。探索如何为 iPadOS 上的标签页和文稿带来全新的外观和使用感受。使用新的窗口 API 改进窗口管理,并更好地控制 visionOS App 中的沉浸式空间和空间容器。我们还将带你了解其他激动人心的改进功能,帮助你创建富有表现力的图表、自定文本和设置文本布局等。
-
12:55 在 SwiftUI 中设计窗口
了解如何在 visionOS、macOS 和 iPadOS 中打造出色的单窗口和多窗口 App。探索相关工具,助你以编程方式打开和关闭窗口、调整窗口位置和大小,甚至替换窗口。我们还将探索窗口设计原则,帮助用户在他们的工作流程中使用你的 App。
-
21:52 打造引人入胜的空间照片和视频使用体验
了解如何在 App 中采用空间照片和视频。探索不同类型的立体媒体,并了解如何通过 iPhone 15 Pro 使用你的 iOS App 拍摄空间视频。探索检测和呈现空间媒体的各种方式,包括 visionOS 中全新的 QuickLook Preview Application API。你还将深入了解用于打造空间照片或视频体验的元数据和立体声概念。
-
36:26 自定支持同播共享的空间自影像模板
了解如何在 visionOS 同播共享体验中使用自定的空间自影像模板来微调自影像相对于 App 的放置方式。我们会介绍如何在示例 App 中采用支持同播共享的空间自影像模板、调换参与者的座位,以及在模拟器中测试你的更改。我们还将介绍自定空间模板设计方面的推荐做法,帮助你让自己的体验大放异彩。
-
-
WWDC23 -
16:26 设计空间同播共享体验
探索你可以在 VisionOS App 中创建的共享活动类型,了解 App 如何使用空间 Persona 模板支持用户之间有意义的交互。了解如何围绕共享上下文设计 UI、处理共享活动中的沉浸式内容等。
-
12:03 增强你的 iPad 和 iPhone App 以实现共享空间
准备好为共享空间增强你的 iPad 和 iPhone App !我们将向你展示如何优化你的体验,使其在 VisionOS 上体验出色,并探索 iPad App 交互、视觉处理和媒体的专属设计。
-
24:11 了解用于空间计算的 ARKit
了解如何使用 ARKit 的跟踪和场景理解功能来开发全新的沉浸式 App 和游戏体验。了解 VisionOS 和 ARKit 如何协同工作,在帮助你创建理解周围环境的 App 的同时,保护你的隐私。探索 ARKit API 的最新更新,并跟随我们的演示了解如何在 App 中利用手势跟踪和场景几何。
-
20:05 认识 iOS 上的 Object Capture
探索如何直接在你的 iOS App 中提供端到端的 Object Capture 体验,以帮助人们将他们的对象变成随时可用的 3D 模型。了解如何使用我们的示例 App 创建完全自动化的 Object Capture 扫描流程,以及如何帮助人们为他们的模型自动捕获最佳内容。我们还将讨论激光雷达数据并提供扫描对象的最佳实践。
-
14:17 在共享空间中运行你的 iPad 和 iPhone App
了解如何在 Vision Pro 上运行现有的 iPad 和 iPhone App 。了解 iPadOS 和 iOS App 如何在此平台上运行,了解Designed for iPad 体验,并探索可用于增强 visionOS 上的 App 体验的路径。
-
25:51 打造无障碍的空间体验
了解如何创建适用于所有用户的空间计算 App。与所有 Apple 平台一样,visionOS 专为辅助功能而设计:我们将分享如何重新构想旁白和指针控制等辅助技术,以及如何设计停留控制等功能来帮助用户以最适合自己的方式进行交互。了解视觉、运动、认知以及听觉辅助功能的最佳实践,帮助每位用户享受 visionOS 的沉浸式体验。
-
31:08 开发你的第一款沉浸式 App
了解如何使用 Xcode 和 Reality Composer Pro 为 visionOS 构建沉浸式 App。我们将向你展示如何开始一个新的 visionOS 项目,使用 Xcode 预览进行 SwiftUI 开发,并利用 RealityKit 和 RealityView 渲染 3D 内容。
-
16:59 探索空间计算的渲染
了解如何通过控制 RealityKit 渲染改善 visionOS 上 App 和游戏的外观和体验。了解如何自定义光照、添加接地阴影以及控制内容的色调映射。我们还将讨论平台上两种关键处理的最佳实践:光栅化速率图和动态内容缩放。
-
23:53 使用 SwiftUI 突破窗口界限
准备好进入空间 — 一种全新的 SwiftUI 场景类型,可以帮助你为 visionOS 打造出色的沉浸式体验。我们将向你展示如何使用 ImmersiveSpace 创建新场景、放置 3D 内容以及整合 RealityView。探索如何使用 immersionStyle 场景修饰符来增强 App 的沉浸程度,并学习管理空间、使用 ARKit 添加虚拟手、添加对同播共享的支持以及构建“世界外”体验等最佳实践!
-
13:57 打造出色的空间播放体验
准备好在你的 visionOS App 中支持视频吧!了解支持视频播放的框架和 API,以及如何更新 App 以播放 3D 内容。我们还会与你分享一些自定义播放的技巧,帮助你打造更加身临其境的观看体验。
-
11:24 探索之旅:空间计算中的快速查看
了解如何使用 VisionOS 中的快速查看对 3D 内容、空间图像和视频等进行功能强大的预览。我们将向你展示系统呈现这些预览体验的不同方式,演示如何从 App 或网站拖放快速查看内容,创建包含该内容的单独窗口,并探索如何直接在 App 内直接呈现 快速查看界面。
-
22:05 为快速查看空间体验创建 3D 模型
了解在 VisionOS 上为快速查看创建 3D 内容的最佳实践。我们将探索几种为快速查看准备模型的方法,讲解 3D 质量和性能的重要注意事项,并向你展示如何使用 Reality Composer Pro 和 Reality Trace 为你的内容做检查和微调。
-
15:56 将你的窗口 App 提升至空间计算领域
了解如何将多平台 SwiftUI App 引入 visionOS 和共享空间。我们将向你展示如何将 VisionOS 目标添加到现有 App 并在模拟器中查看你的 App。探索你的 SwiftUI 代码如何自动适应以支持 visionOS 平台的独特内容和呈现。了解如何更新自定义视图、改进 App 的 UI 以及添加特定于此平台的功能和控件。
-
14:26 探索 USD 生态系统
了解 Apple 平台上通用场景描述 (USD) 的最新更新,并了解如何为你的 App、游戏和网站提供出色的 3D 内容。了解面向 visionOS 的 USD,探索 MaterialX 着色器和颜色管理,并了解 USD 生态系统的一些其他改进。
-
20:04 空间输入设计
学习如何为眼睛和手设计出色的交互体验。我们将分享空间输入的设计原则,探索输入方式的最佳实践,并帮助开发者打造舒适、直观且令人满意的空间体验。
-
24:31 构建空间同播共享体验
了解如何使用 GroupActivities 框架为 visionOS 构建独特的共享与协作体验。向你介绍适用于此平台的同播共享 App,了解如何创建让人们感觉身处同一空间的体验,并探索沉浸式 App 如何协调参与者之间的环境。
-
22:41 设计空间用户界面
了解如何为空间计算 App 设计出色的界面。我们将分享如何把基于实体屏幕的知识应用到 visionOS 平台来创造出极致体验。探索 UI 组件、材质和字体排印,了解如何设计熟悉、易读且易于使用的用户体验。
-
15:46 打造沉浸式 Unity App
探索如何使用 Unity 为 visionOS 打造引人入胜的沉浸式体验。我们将分享 Unity 与 Apple 框架的无缝集成在各方面的体现,带你了解可直接在该平台内使用的工具,并向你展示体积相机如何将现有场景转换为 visionOS 中的窗口、体积和空间。了解如何整合 visionOS 功能(如穿透和场景理解),如何使用 Shader Graph 自定义视觉效果,以及如何让交互与空间输入更加适配。
-
21:35 空间设计的原则
了解空间设计的基础知识。探索如何从深度、比例、窗口和沉浸感等维度进行设计,并应用最佳实践来创造连接现实、舒适、以人为本的体验。了解如何使用这些空间设计原则来扩展现有 App 或将新想法变为现实。
-
20:57 认识 RealityKit Trace
了解如何使用 RealityKit Trace 来提高空间计算 App 的性能。探索该平台的性能分析指南,并了解 RealityKit Trace 模板如何帮助你优化 App 的渲染。我们还将提供有关分析 App 中各种类型内容的指南,以帮助查明性能问题。
-
20:51 探索 Metal 技术打造沉浸式 App
了解如何使用 Metal 为 visionOS 渲染完全沉浸式的体验。我们将向你展示如何在平台上设置渲染会话并创建基本渲染循环,并分享通过结合空间输入为你的体验赋予交互性的方法。
-
16:30 为空间体验交付视频内容
了解如何使用 HTTP Live Streaming (HLS) 为 visionOS 准备和交付视频内容。了解当前 HLS 的媒体交付流程,并探索如何扩展交付管道以支持 3D 内容。快速了解空间媒体流的信息和技术,并为 3D 调整现有的 字幕制作工作流。了解如何跨视频共享音轨及添加空间音频,提高视频内容的沉浸感。
-
15:10 为 Unity VR App 带来完全令人沉浸其中的体验
了解如何将现有的 Unity VR App 和游戏引入 visionOS。我们将探索可以帮助你入门的工作流程,并向你展示如何使用 Unity 输入系统在你的 App 和游戏中构建适合眼睛和双手进行操作的内容。了解 Unity 的 XR 交互工具包、注视点渲染技巧和最佳实践。
-
20:41 使用 RealityKit 增强你的空间计算 App
摆脱窗口限制,了解如何使用 RealityKit 为你的 App 带来引人入胜的沉浸式 3D 内容。了解 SwiftUI 场景如何与 RealityView 协同工作,以及如何将内容嵌入到实体层次结构中。我们还将探索如何使用锚点融合虚拟内容和现实世界,在 App 中引入粒子效果,添加视频内容以及使用传送门创造更多沉浸式体验。
-
27:32 使用 RealityKit 构建空间体验
了解 RealityKit 如何将你的 App 带到新的维度。欢迎使用 RealityKit 实体、组件和系统,并了解如何向 visionOS 中的 App 添加 3D 模型和效果。我们还将为你介绍 RealityView API,并演示如何将 3D 对象添加到窗口、容积和空间中,从而使 App 更具沉浸感。此外,我们还将探索如何将 RealityKit 与空间输入、动画和空间音频进行结合。
-
19:30 将 SwiftUI 提升至新的维度
准备好为你的 VisionOS App 添加深度和维度。了解如何使用容积将三维对象引入你的 App,了解 Model 3D API,并了解如何放置内容并为内容添加动画。我们还将向你展示如何在 RealityView 中使用 UI attachments 并在内容中支持手势。
-
25:39 认识用于空间计算的 UIKit
了解如何将开发者的 UIKit App 移植到 visionOS。学习如何为新平台打造 App,探索 API,以及用于空间计算的理想实践。学习在 visionOS 中使用 SwiftUI 与 UIKit,将开发内容带入三维空间。
-
29:16 优化空间计算 App 的功耗和性能
了解如何通过优化性能和效率来为 VisionOS 创建功能强大的 App 和游戏。我们将介绍该平台独特的功耗特性,探索构建性能计划,并分享一些测试和优化 App 的工具和策略。
-
22:30 探索 RoomPlan 的增强功能
加入我们以了解 RoomPlan 中令人兴奋的更新内容,我们将探索 MultiRoom 支持和房间表示的增强功能。了解如何更详细地扫描区域、捕获多个房间信息以及将各个扫描结果合并到一个更大的结构中。我们还将与你分享将需要的 RoomPlan 结果合并到现有 3D 模型库中的工作流程和最佳实践。
-
10:41 了解空间计算的 Core Location
了解 Core Location 如何帮助你的 App 在世界上找到自己的位置——字面意义上的。我们将分享如何构建一个空间计算 App,该 App 在使用个人位置的同时尊重他们的隐私。你还将了解你的 App 如何请求位置访问权限,以及 Core Location 如何适应来自兼容 iPad 和 iPhone App 的请求。
-
21:12 认识 Reality Composer Pro
了解如何使用 Reality Composer Pro 轻松创作、编辑和预览 3D 内容。跟随我们,通过创建新项目、组合场景、添加粒子发射器和音频,甚至在设备上预览内容来探索这款开发者工具。熟悉 Reality Composer Pro 的基础知识后,你还可以查看“探索 Reality Composer Pro 中的材料”和“在 Xcode 中使用 Reality Composer Pro 内容”,了解更多高级技术和技巧。
-
20:14 探索 Reality Composer Pro 中的材质
了解 Reality Composer Pro 如何帮助你使用 RealityKit 材质改变 3D 对象的外观。我们将向你介绍 MaterialX 和基于物理的 (PBR) 着色器,展示如何使用着色器图形编辑器设计动态材质,并探索向材质添加可在 visionOS App 中控制的自定义输入。为了充分利用本讲座,建议你先观看“初识 Reality Composer Pro”。如果你已准备好学习如何将模型和材质整合到 Xcode 项目中,请观看“在 Xcode 中使用 Reality Composer Pro 内容”讲座。
-
12:22 探索用于空间计算的 App Store Connect
App Store Connect 为你提供了在 App Store 上测试、提交和管理你的 VisionOS App 所需的工具。探索部署你的第一个空间计算 App 的基础知识和最佳实践,为现有的 App 添加 VisionOS 支持并管理其兼容性。我们还将向你展示用于 visionOS 的 TestFlight,帮你了解如何测试你的 App ,并在你迭代时收集有价值的反馈。
-
32:49 隐私保护的新功能
Apple 相信隐私是一项基本人权。了解 Apple 平台上的新技术,它们将帮助你更轻松地执行基本隐私模式,让用户建立起对你 App 的信任。你还将了解 Apple 平台隐私服务的升级,以及隐私功能如何对 visionOS 上的软件架构和输入模型设计产生影响的案例分析。
-
14:59 使用 AirPods 提升你的 App 音频体验
了解如何使用 AirPods 在你的 App 中创造变革性的音频体验。了解如何结合 AirPods 自动切换功能,使用 AVAudioApplication 支持静音控制,以及如何利用空间音频在你的 App 游戏中创建沉浸式音效。
-
14:33 探索沉浸式声音设计
了解如何使用声音来增强 VisionOS App 和游戏的体验。了解 Apple 设计师如何选择声音并构建音景来打造质感十足的沉浸式体验。我们将分享当你在空间上放置音频提示、改变重复的声音以及在 App 中构建愉悦的音景时,如何通过声音丰富 App 中的基本交互。
-
18:26 为空间计算制作精彩的游戏
学习如何针对 visionOS 打造出色的游戏体验。我们将介绍一些开发者在这个平台构建游戏所需的重要构件,以及开发者如何将现有的经验运用在沉浸式新平台,学习如何使用 ARKit、RealityKit、Reality Composer Pro、Unity、Metal 和 Compositor。
-
34:15 使用 Xcode 中的 Reality Composer Pro 内容
了解如何在 Xcode 中让 Reality Composer Pro 的内容变得生动。我们将向你展示如何将 3D 场景加载到 Xcode 中,如何将内容与代码集成,以及如何为 App 添加交互性。我们还将分享在开发工作流中一起使用这些工具的最佳实践和技巧。为了充分利用本节视频,我们建议你首先观看“了解 Reality Composer Pro”和“探索 Reality Composer Pro 中的材质”,以了解有关创建 3D 场景的更多信息。
-
31:55 开始构建用于空间计算的 App
准备好为 visionOS 开发 App 和游戏!探索构成空间计算的基本构建块:窗口、容积和空间,并了解如何使用这些元素来构建引人入胜的沉浸式体验。
-
27:41 升级 ARKit App, 纵享空间体验
了解如何为 VisionOS 带来你的 App 的 AR 体验。了解 ARKit 和 RealityKit 在空间计算方面的更新:我们将重点介绍来自 iPadOS 和 iOS 的概念和 API 的变化,并引导你观看包含更多详细信息的课程,帮助你为此平台带来 AR 体验。
-
25:59 认识用于空间计算的 SwiftUI
与我们一起游览太阳系,探索适用于 visionOS 的 SwiftUI!探索如何使用 Windows, Volume 和 Space 构建一个全新的 App 世界。我们将向您展示如何在此平台上开始使用 SwiftUI,同时,我们会构建一个天文学 App,添加 3D 内容,并构建完全沉浸式体验,将人们带到星星上。
-
15:10 视觉和运动的设计考量
学习如何在考虑到人类视觉和运动感知局限性的情况下,为 visionOS 设计引人入胜的沉浸式体验。我们将向你展示如何利用深度线索、对比度、焦点和运动,让用户在你开发的 App 和游戏中获得舒适的体验。
-
-
WWDC22 -
26:00 让您的现实世界与增强现实完美融合
跟我们一起探讨如何使用物体捕捉和 RealityKit,将现实世界的物体融入到增强现实游戏当中。我们将介绍如何借助 Object Capture 框架捕捉细节丰富的物品,将它们添加到 Xcode 的 RealityKit 项目,应用风格化的着色器和动画,并将它们整合到 AR 体验。我们还将分享在使用 ARKit、RealityKit 和物体捕捉功能时的最佳实践。为能更好地理解此讲座,我们建议您先观看 WWDC21 的“深入了解 RealityKit 2”和“利用物体捕捉创建 3D 模型”。
-
16:29 利用 RoomPlan 创建参数 3D 空间扫描
RoomPlan 可以帮助您的 App 快速为空间创建简易版参数 3D 扫描。了解如何利用此 API 轻松添加空间扫描体验。我们还将介绍如何采用此 API,探索 3D 参数输出,并分享最佳实践以帮助您在每次扫描时得到理想的结果。
-
13:20 打造更优质的 AR 体验
了解最佳实践和技巧,为 iPhone 和 iPad 打造让人惊叹的 AR 体验。我们将提供指导,帮助您决定 AR 是否适用于您的产品体验;探索出色的 AR App 示例,并说明设计增强现实时的重要注意事项。
-
18:15 掌握 USD 基础知识
学习 Pixar 通用场景描述 (USD) 的基础知识,了解它将如何帮助您构建出色的 3D 素材和工作流程。我们将介绍 USD 背后的核心概念,探索如何将该格式集成到您的内容创建管道。我们还将分享如何利用 USD 的功能,借助复合来创建灵活的通用素材。
-
22:21 探索 USD 工具和渲染
了解工具方面的最新改进,以帮助您生成、检查和转换通用场景描述 (USD) 素材。我们将介绍这些工具的更新,并帮助您将它们集成到您的内容创建管道。我们还将探索 USD Hydra 渲染功能,说明如何将其集成到您自己的 App。要进一步了解 USD,请观看 WWDC22 的“掌握 USD 基础知识”。
-
19:27 探索 ARKit 6
了解如何使用 ARKit 6 构建更完善而且功能强大的增强现实 App。我们将探索如何打造以 4K HDR 呈现的 AR 体验,并介绍 App 的相机设置自定义。我们还会分享如何从 ARKit 会话中导出高分辨率静态图像,利用平面估计和动作捕捉,以及在新区域添加 AR 位置锚定。
-
-
WWDC21 -
25:07 深入了解 RealityKit 2
使用 RealityKit 2 创建引人入胜的 AR 体验现在前所未有的简单。探索 RealityKit 框架的最新增强功能,深入研究这个水下示例项目。我们将带您了解改进的实体组件系统、流畅的动画制作管线以及增强了面部网格和音频功能的即插即用角色控制器。
-
15:07 探索 ShazamKit
在使用 ShazamKit 时,善用 app 中 Shazam 的准确音频匹配功能。学习如何利用庞大的 Shazam 目录营造各种体验,包括从您的 app 捕获的视频中快速准确地识别正在播放的歌曲,根据室内播放的音乐提供动态视觉效果,甚至与外部音频同步,带来配套的 app 体验。我们还将向您展示如何在 ShazamKit 中构建匹配任意音频源的自定义目录,一切都在设备上完成。更深入的了解详见“用 ShazamKit 创建自定义音频体验”,您将和我们一起编写代码,并学习如何构建与流视频内容完美同步的教育 app。
-
27:56 使用物体捕捉创建 3D 模型
物体捕捉提供了一种快速简便的方法,只需使用几张图片即可为真实世界对象创建逼真的 3D 模型。了解如何入门并使用 macOS 的摄影制图技术逼真地呈现资源。探究有关对象选择和图像捕捉的最佳实践,以帮助您获得最高质量的结果。
-
29:53 使用 RealityKit 2 探索高级渲染
借助 RealityKit 中的顶尖渲染技术,为您的增强现实体验创造令人惊叹的视觉效果。您将了解如何编写自定义着色器以及绘制实时动态网格,并探索极具创意的后处理效果,帮助自己设计出风格独特的增强现实场景。
-
26:49 使用 Create ML 将手势和动作分类
借助 Create ML,您的 app 能够更轻松地理解人类手势的表达。了解如何在 Vision 中构建对手势检测的支持,并使用 Create ML app 和框架训练自定义手势和手部动作分类器。了解收集数据、训练模型并将其与 Vision、Camera 和 ARKit 集成从而创造新奇有趣的 app 体验是何等简单。要了解有关 Create ML 和模型训练相关概念的更多信息,请查看 WWDC20 的“使用 Create ML 构建动作分类器”。另外不要错过“使用 Create ML 框架构建动态 iOS app”以了解如何在 app 中即时地以及在设备上训练模型。
-
14:26 AR 快速查看,了解物体捕捉
探索将物体捕捉资源引入 AR 快速查看的简单方法,同时优化图像品质和文件大小。探索集成 AR 快速查看和物体捕捉,以帮助您打造全新体验的方法。为了能充分了解本节内容,我们建议首先观看 WWDC19 的“AR 快速查看取得的进展”。您还可以通过 WWDC20 的“使用 AR 快速查看在线购物”了解如何在 Web 上实现 Apple Pay 和自定义操作与 AR 的集成。
-
18:25 专为空间交互设计
探索在两个或多个设备之间创建直观物理交互的原则,就像为 iPhone、HomePod mini 和 AirTag 设计功能的 Apple 设计师所展示的那样。在为 Apple 平台设计功能时,探索如何将这些模式应用到您自己的 app 中,并帮助您的 app 的用户更直接地与周围环境进行交互。
-
20:28 探索 ARKit 5
使用 ARKit 5 构建下一代增强现实 app。探索如何在其他区域使用位置锚定,以及如何更轻松地引导用户体验您的基于位置的 AR 功能。了解有关面部跟踪和动作捕捉的更多信息。同时探索在现实世界中放置 AR 内容的最佳实践。我们还将展示如何将轻 App 代码集成到您的 AR app,以便轻松发现和精确定位虚拟内容。
-
14:51 使用 USD 创建 3D 工作流程
了解 Pixar Universal Scene Description (USD) 为 3D 工作流程带来的灵活性、多功能性和强大功能。了解如何在 macOS 的专业工作流程中使用 USD 文件格式:使用物体捕捉扫描真实世界物体的 3D 模型,利用第三方数字内容创建工具的潜力,并构建高质量的渲染序列。
-
16:00 实践音频触感设计
敬请探索如何在 iPhone 上提供丰富的 app 体验,如动画、声音和触感等。学习在 Core Haptics 框架内设计多模式体验的关键概念。我们将带您了解我们的示例应用 HapticRicochet,探索如何将触感和声音反馈的设计与关键互动时刻协调起来,并展示如何创造令人愉悦的神奇体验。为了充分了解本节内容,我们建议先观看 WWDC19 的“通过 Core Haptics 扩展感官体验”,并查看 HapticBounce 示例项目 (需要 Xcode、iPhone 8 或更新版本,并需要了解 Swift 的基本信息)。熟悉 Core Haptics 会有帮助,但并非强制要求。
-
-
Tech Talks -
10:23 AR 中高级场景理解
ARKit 3.5 与 Reality 3.5 提供新功能,可以让新 ipad pro 充分发挥 LiDAR Scanner 的优势。认识 ARKit 3.5 与了解 Scene Geometry、增强光线投射、即时虚拟对象放置和更多技术。 看 RealityKit 如何使用这些特色优势去实现现实世界的物理性、目标遮挡和灯光效果与现实世界物体的互动。
-
7:25 通过 ARKit 实现面部跟踪
ARKit 和 iPhone X 在 AR app 中实现了革命性的人脸跟踪能力。了解您的 app 如何高精度且实时地检测用户脸部的位置、脸部拓扑和他们的表情。学习如何运用实时自拍效果,以及如何使用面部表情来驱动 3D 角色。
-
-
WWDC20 -
27:38 探索 ARKit 4
ARKit 4 让你能够构建下一代增强现实 app,从而改变人们与周围世界的联系方式。我们将向你介绍 Apple 增强现实平台的最新改进,包括如何使用定位锚将虚拟对象与现实世界中的经度,纬度和海拔联系起来。了解如何在 iPad Pro 上利用 LiDAR 扫描仪并获取你周围环境的深度图,并了解如何在更多设备,包括iPad Air(第三代),iPad mini(第五代)以及所有装有 A12 Bionic 芯片或更高版本且带有前置摄像头的设备上用AR跟踪人脸。 要想充分利用本节内容,建议你先熟悉你的 app 如何利用 iPad Pro上的 LiDAR 扫描仪。观看“...
-
25:15 RealityKit 新功能
RealityKit 是 Apple 为增强现实所从头构建的渲染、动画、物理及音频引擎。其存在对传统 3D 渲染器进行了再定义,使开发者们能够更为轻易地构建与创造高质量增强现实体验。学习如何在你的 App 中有效地实现 RealityKit 的最新改进。了解视频纹理、在 iPad Pro 上使用 LiDAR 扫描仪进行场景理解、位置锚固、脸部识别及改进调试工具等功能。 若希望充分理解本部分中的内容,开发者应当对构建基于 RealityKit 的 App 和游戏有着基础认识。可以事先观看“RealityKit 和 Reality Composer 介绍”视频,学习相应知识。...
-
18:38 使用 AR Quick Look 进行线上购物
AR Quick Look 增添在线购物新维度:我们将向你说明如何利用增强现实技术轻松展示你的产品,让你获得“购物之前先试试”的体验。欲知如何在 AR Quick Look 中展示产品横幅,你可结合 Apple Pay 或显示自定义操作,如“添加到购物车”。 为了充分利用本节内容,我们建议你熟知 WWDC 2019 的“AR Quick Look的进步”。 一旦你了解到 AR Quick Look 和 Apple Pay 创造交互式线上购物体验的潜能,你就可以观看“USD 新功能”以了解更多关于创建3D对象和附加交互的知识。
-
24:41 USD 的新功能
了解通用场景模式(USD)标准的模式和结构更新内容。了解如何借助 Reality Composer 构建具有交互性性能的增强现实内容,如 anchoring、物理、行为、3D文本和导出为 USDZ 格式的空间音频。另外,了解 streamlined 工作流,可帮助你向 app 提供新建对象。 若想进一步了解 USDZ 作为发行格式的内容,请参见“USD 运用 ”。更多关于借助 Reality Composer 创建 AR 内容,请参见“Artist 的增强现实工具”。 我们希望得到关于初步模式的反馈。观看视频后,请加入开发者论坛并分享你的看法。
-
28:18 AR Toolkit 主题的演讲
Reality Converter 和 Reality Composer 可以更容易地为你的 iOS 或 iPadOS app 编制增强现实资源。了解如何将现有的 3D 资源转换为 USDZ,将它们带入 Reality Composer 来创建增强现实体验,并与现有的 Xcode 项目集成或导出到 AR Quick Look。我们将详细说明如何以各种 3D 格式处理资源,构建和测验你的 AR 场景,并与你的艺术家工作流集成。 为了充分利用本次分享,你应该熟悉 USDZ 和 Reality Composer 的运用。了解更多相关信息,可观看“运用通用场景描述”和“运用 Reality...
-
-
WWDC19 -
51:27 ARKit 3 简介
ARKit 是适用于 iOS 的开创性增强现实 (AR) 平台,能够改变人们与周围世界之间联系的方式。探索 ARKit 3 的先进功能,以及它为 RealityKit 提供的创新基础。了解 ARKit 如何通过认识身体姿态和运动来进行运动捕捉和人物遮挡,从而实现更加逼真的 AR 体验。查看多面部跟踪、协同会话构建以及新手引导的辅导 UI 等新增功能。
-
31:55 使用 USD
通用场景描述 (USD) 能够可靠地描述 3D 场景,让工程师和艺术家可以在创意工作流程中开展密切协作。了解 USD 的强大功能,并探索它出色的可扩展性。更深入地了解如何创建 USD 素材资源,并了解如何提供用于 ARKit 和 RealityKit 的 usdz 内容。
-
39:26 将真人带入到 AR
ARKit 3 实现了一项革命性的功能,可让真人稳定地融入到 AR 场景中。了解 app 可以如何使用实时运动捕捉来制作虚拟人物动画或应用到 2D 和 3D 模拟中。了解 People Occlusion 如何让虚拟内容从现实世界中的人物后面通过,以此实现更加逼真的 AR 体验。
-
37:13 RealityKit 和 Reality Composer 简介
RealityKit 为 AR 而构建,让开发者能够利用渲染、动画和物理效果和空间音频等一流的功能。看看 RealityKit 如何重新定义传统的 3D 引擎,从而让开发者能够更快、更轻松地进行 AR 开发。了解开发基于 RealityKit 的 app 和游戏包含哪些工作,并学习如何利用 Reality Composer 制作原型并生成 AR 体验所需的内容。
-
39:47 利用 RealityKit 构建 App
通过利用容易掌握的 RealityKit API 开发游戏,从实践角度了解 RealityKit 的各项功能。了解载入素材资源、构建场景、应用动画和处理游戏输入的推荐方法。看看实体和组件如何表达 RealityKit 的强大元素,同时提供灵活的自定功能。学习如何利用内建联网功能,并详细了解如何将游戏扩展为沉浸式多玩家体验。
-
59:05 利用 Reality Composer 打造 AR 体验
借助 Reality Composer 这款工具,任何人都可以快速制作原型并构建可整合到 app 中或通过 AR Quick Look 体验的 AR 场景。详细了解 Reality Composer 强大而直观的功能,并探索其内置 AR 资源库中数百种现成可用的虚拟对象。看看构建动画和互动来丰富您的 3D 内容有多简单,并详细了解如何将 Reality 文件整合到您的 app 中。
-
29:43 利用 Core ML 和 ARKit 创建出色的 App
开始学习之旅,了解如何结合利用 Core ML、ARKit 及其他 app 框架来创建教育游戏。探索利用机器学习为您的 app 带来神奇互动的机会。更深入地了解棘手计算机视觉问题的解决方法。在互动编程讲座中,观看这一切如何实现。
-
35:17 打造 AR 协作体验
在 iOS 13 中,ARKit 和 RealityKit 让 app 能够更快、更轻松地建立共享 AR 体验。了解协作会话如何让多台设备搭建合并的世界地图并实时共享 AR 锚点和更新。学习如何将协作会话整合到基于 ARKit 的 app 中,然后探索 SwiftStrike,这是一款使用 RealityKit 和 Swift 构建的引人入胜的沉浸式多玩家 AR 游戏。
-
43:57 AR Quick Look 改进
AR Quick Look 是一个内建的查看器,可用于体验高质量的 3D 和 AR 内容。了解与 Reality Composer 整合如何让显示和分享丰富的互动体验变得比以往更加轻松简单。探索渲染改进和多对象查看,然后深入了解 AR Quick Look 在零售和教育等领域的实践应用。
-
-
WWDC17 -
53:52 SceneKit:新功能
SceneKit 是一种速度快、功能齐全的高级 3D 图形框架,让您可以为 app 和游戏打造沉浸式的场景和特效。看看如何利用相机控制和特效方面的最新改进,来模拟焦外成像和运动模糊等真实的相机光学效果。了解用于直接在 GPU 上从粗糙网格开始创建光滑表面的曲面分割和曲面细分功能。查看与 ARKit 的全新整合,以及通过 Xcode 场景编辑器实现的工作流程改进。
-