为 visionOS 设计交互式体验

大家好 欢迎观看“为 visionOS 设计交互式体验”讲座 我叫 Rose Thomas 是 Apple 的体验设计师 我是创意总监 James Cooper 我们很高兴能帮助你 开始为 Apple Vision Pro 设计交互式叙事体验 交互式体验是一种全新的媒体 汇集了电影和电视等 线性娱乐内容的各种叙事可能性、 视频游戏的交互性 以及现场影院的沉浸感和临场感 这些体验邀请受众进入探险之旅 在探险中 受众可以 与故事中的角色面对面 成为积极的参与者 尽情探索以叙事方式呈现的世界 而不用害怕失败 他们可以沉浸在这种奇妙的新媒体中 因为它变换了周围的空间

这种媒体正在迅速发展 你可以通过这些体验 以令人惊叹的全新方式 与受众建立联系 充分利用空间计算的 各种独特可能性 讲述有影响力的故事 而 Apple Vision Pro 是一款 非常适合讲述这些故事的出色设备 在这个讲座中 我们将分享 一些设计注意事项 帮助你针对这个平台 打造自己的交互式体验 首先 我们将分享 如何设置你的体验 以便让用户 沉浸在全新的世界中 然后 James 会介绍如何利用互动 吸引受众进入你的故事 我将分享一些经验 谈谈如何 设计人人可享的体验 我们先从设置开始吧 在 Apple Vision Pro 上 交互式体验拥有 一种特别的超能力： 它能将故事中的世界 融入受众的现实场景中 “邂逅恐龙” 是我们为 Apple Vision Pro 设计的交互式叙事体验 它的奇妙之处正是在此 它可以让受众一睹 白垩纪的奇妙景象 也可以让那个时期的生物与受众对视 你可以在 Vision Pro App Store 上 免费下载这款 App 以便随时试用 要将整个宇宙融入个人创建的空间 需要考虑很多方面 幸运的是 visionOS 为你提供了多种方法 帮助你讲述精彩的故事 让用户沉浸在你的世界中 你可以通过熟悉的 UI 讲述故事 比如以窗口为媒介 可以在空间容器中 栩栩如生地呈现 3D 内容 也可以让你的环境 环绕在受众周围 带他们进一步融入你的故事 或者 你也可以混搭使用这三种方式 具体要如何讲述故事 完全由你决定 在“邂逅恐龙”中 我们让受众与一些 令人敬畏的生物面对面 但对于那些不习惯 与恐龙互动的人来说 完全沉浸在那个世界中 可能会令人难以承受 毕竟 跨越 6500 万年的本能恐惧感 根深蒂固 克服起来并不容易 因此我们将受众的世界 与我们的世界进行了融合 我们设计了一个自定 RealityKit 门户 让受众既能探究那个世界 又能与巨型食肉动物 保持一定的界限

这种矩形门户会让人 联想起电影和电视 同时为受众开启了领略 另一个世界的惊喜旅程 它还能帮助我们集中受众的注意力 让他们专注于眼前的场景 设计体验时 应该考虑 visionOS 的哪些构建块 最适合用来讲述你的故事

看电影或看电视时 你不需要在每次观看前自行放置屏幕 同样 在 visionOS 中 窗口和空间容器 会在首次打开时自动放置在空间中 如果你要设计沉浸式空间体验 内容的默认原点是你的头部位置 但如果你像我们一样 需要自定内容 你可以自行决定内容的显示方式 借助 visionOS 你可以让受众 在这一过程中获得妙不可言的体验

例如 当受众打开“邂逅恐龙”时 迎接他们的是最初的 制作公司名单和开始屏幕 这可以很好地引导受众进入体验 但它还有第二个目的 我们的体验使用 ARKit 打造而成 可以感应受众的空间 为我们的门户找到合适的位置 在设计内容的放置位置时 可以考虑使用场景理解、 头部位置等功能 帮助你将内容融入受众的空间 让他们专注于探索你的故事 而不是去关注设置 Vision Pro 的一大优势 是可以随身携带 因此受众可以在家中、 在公园里甚至在飞机上 体验你的故事 但所有这些空间选择都可能影响 你对内容呈现方式的选择 室内客厅中效果出色的呈现方式 不一定适合公园这种户外环境 我们在设计“邂逅恐龙”时 想象的是门户对着开阔的墙面打开 如果用户在大房间或 户外空间中开启体验 可以实现最佳效果 门户在平面上打开后 长度可达 4 米 但如果空间没有这么大 体验会发生变化 在墙面空间更狭窄的小房间内 门户会环绕受众打开 确保提供引人入胜的体验 而不会穿透墙壁 打破沉浸感 在更有限的空间中 比如受众前方的空间可能很小 或者位于公交车或飞机之类的环境中 体验会将门户放置在 离受众有一定距离的位置 并将使用透视效果的地方变暗 从而保持沉浸感 你无法在设计时兼顾所有可能的空间 因为空间的决定权在用户手中 面面俱到并不现实 但你可以考虑受众可能会 在哪些常见环境中与你的体验互动 并根据体验可能发生的变化做出调整 最后还有一个非常重要的技巧 就空间内容设计而言 所有元素在设备上测试后 都会有所改变 你可能会在设计时设想 App 的外观和使用体验 但只有经过测试 你才能确定真正的效果 请尽量多地反复进行原型设计 并在设备上测试你的想法 因为你原本以为效果不错的方案 往往效果不太理想 而你本以为行不通的方法 可能会带来意料之外的惊喜 接下来交给 James 他将介绍如何栩栩如生地 呈现你的故事 我们已经做好了设置准备工作 接下来我们来讨论一下互动 交互式艺术形式有别于任何其他媒体 背后的根本原因在于受众的能动性 你通过交互功能促使 受众积极参与你的故事 要提供效果最佳的交互式故事 需要完美兼顾故事讲述与交互能动性 你必须为受众赋能 同时讲好你的故事 在这两者之间保持平衡 两个方面应该平分秋色 既要呈现你的故事 同样 也要让它成为受众的故事 在这个部分中 我们将讨论 如何找到这种平衡 我们先来看看如何引入交互功能 因为许多人面对空间内容时 可能会不知所措 重要的是 你需要让受众 轻松融入体验中 奠定空间世界的基调 帮助他们了解如何进行互动 起初 我们希望 “邂逅恐龙”的参与者 能自然而然地发现交互功能 但在早期测试中 我们发现很多用户 以为这是一个被动式体验 完全没有意识到 他们可以进行互动

Rose 提到了体验一开始 显示的制作公司名单 这可以提示受众 体验即将开始 在制作公司名单之后 我们添加了一系列用户引导示意图 鼓励用户随意探索 同时提供明确的指示 说明体验中的生物能够 看到他们并可能会做出反应 由于这是一种新媒体 在交互方面没有先例可言 因此这类明确的指示至关重要 然后 你可以在这些指示的基础上 构建隐式交互功能 “邂逅恐龙”是一种 以角色为中心的体验 因此可以自然而然地 通过蝴蝶这一角色指导受众 如何进行互动 蝴蝶会直接振翅飞向受众 它的动作会吸引人们的注意力 然后在他们面前盘旋 通过接近受众自然而然地 邀请他们伸出手来 如果他们伸出手指或手 蝴蝶会短暂地落在上面 第一个互动可以为整个体验奠定基础 你可以通过展示受众熟悉的 物体、角色或他们能够识别的图案 邀请受众进行互动 然后利用靠近、动作和声音 等提示吸引他们的注意力 另外 确保你的第一个互动 是一些简单友好的小内容 以便受众轻松地融入体验 下面我们来谈谈角色 一个好故事的关键在于其中的角色 添加互动后 你可以通过新的方式 帮助受众与这些角色建立联系 在设计空间角色时 可以利用眼神交流、靠近 手部和身体互动 让这些角色鲜活地 呈现在受众的空间中 在我们的交互式体验中 蝴蝶可能是 受众遇到的第一个角色 但整个体验真正的主角是恐龙 门户打开后 你遇到的第一只 恐龙是伊希斯龙宝宝 Izzy 如今 我们很少能看到 恐龙到处游荡的场景 因此我们通常把它比作小狗或小猫 并思考人们可能会如何 与野外的小动物互动 Izzy 会全程观察你 听你说话 我们通过动画效果 让它显得惹人喜爱 打造一些有趣的时刻 比如 她会慌乱地攀爬 不小心滑倒 还会发出可爱的叫声 用户会自然而然地 想要靠近 Izzy 如果用户在她追逐蝴蝶时靠近 甚至可以将她引到场景中的石头上 Izzy 会向上爬到合适的高度 让受众可以轻松地开始互动 真聪明 这里的互动设计得很自然 我们开发了精妙的手势 和动作检测系统 让 Izzy 能够识别人的手 并做出闻的动作 同时让受众能够抚摸她 就像对待真正的动物一样 逐步建立信任 当然 受众可能不会 自然而然地想与空间中出现的 更大的恐龙进行互动 尤其是当他们可以看出 那是一只食肉动物时

为了减轻受众可能会产生的恐惧感 我们设计了胜王龙 Raja 让它带着好奇接近受众

它会追踪受众的头部和手部动作 在受众四处走动时 它的视线会始终追随

它会随着受众的进退来靠近和后退 如果受众靠得有些太近了 它甚至会发出咆哮

如果你一动不动 它还是能看到你的静止状态 在设计自己的角色时 不妨首先考虑人们可能会如何 与现实世界中的类似生物互动 visionOS 拥有众多强大功能 可让你为角色设计逼真的互动 有时只需采用非常简单的设计 比如获取受众的头部位置 让角色能够与受众保持眼神交流 也可能会对人们探索 故事的体验产生重大影响 当你设计好这些独特的 手部和身体互动时 需要明确设定受众 何时可以互动 何时不能互动 我们设置了这样一条规则 只有当角色正好位于 门户边界上或进入受众的空间内时 才能进行互动 在 Raja 到达这个界限之前 它可以看着受众 追踪他们的手部动作 但除此之外 无法进行其他互动 当它穿过门户界限 进入受众的空间时 它会靠近受众 低下头 仿佛在说“你敢摸我吗” 我们让体验中的所有角色 都一致遵循这个模式 角色还必须看着受众 近距离的眼神交流 可以自然而然地暗示互动 当 Raja 的注意力被其他地方吸引时 比如猎物的叫声 或闯入它领地的其他食肉动物 受众自然知道这时不应该互动 当它重新进入门户时 它的互动环节已经结束了 这时它会后退 与受众保持安全距离 当你设计自定互动时 创建一致的规则非常重要 应该规定在你的故事世界中 何时可以如何互动 何时不能互动 你可以使用靠近之类的提示 含蓄地引导受众 让他们了解互动的限制 受众可以通过这些规则了解如何 与故事中的角色和世界交互 针对互动的时机和方式 制定一致的规则 是保持沉浸感的关键 在“邂逅恐龙”中 受众在遇见 蝴蝶的那一刻 就可以进行手部互动 然后 受众可以用双手 与 Izzy 和 Raja 互动 如果这些手部互动 突然之间失效了 整个体验会支离破碎 受众的沉浸感也会戛然而止 应该打造与虚拟角色之间的有趣互动 在鼓励受众参与互动时 考虑真实的行为 哪些是自然而然的动作 以及如何通过直观的手势、 明确的指示 以及一致的互动 促使受众做出相应行为 然后 你可以使用空间音频 为互动注入生命力 加深受众的身临其境感 并通过微妙的提示来引导注意力 “邂逅恐龙”中到处都是空间音频源 让这个世界变得栩栩如生 我们采用多个发射器 来营造背景氛围 例如风声 以及关键时刻的雷声

每个角色还拥有多个空间音频源 脚上和尾巴上采用了全向发射器

嘴上则是定向发射器

音乐进行了空间化处理 利用各种声音组成的环绕声 在门户打开之前吸引受众关注场景 门户关闭后也有相应的音效

我们还利用空间音频 来引导注意力 当 Izzy 到来时 你会听到裂缝间传来它的吱吱声 当 Raja 首次出现时 你会听到左侧传来轰隆隆的 响亮脚步声 提示你它即将登场 当 Raja 被受众身后传来的 伊希斯龙的叫声 分散注意力时 你会感觉这个叫声 的确是从房间内发出的 空间音频让你的世界变得栩栩如生 为受众带来更深层次的沉浸感 思考你可以在故事中的 哪些地方使用音频 为角色或物体赋予令人惊叹的临场感 布置场景并引导注意力 能动性让这些体验与众不同 有别于其他媒体 而人们在这些世界中 表达自我的方式就是互动 如果你能在故事与能动性之间 找到恰当的平衡 并遵循我介绍的这些互动准则 就可以通过令人愉悦的方式 让自己的故事世界变得栩栩如生 接下来交给 Rose 谢谢你 James 要打造交互式体验 需要有交互的对象 你需要受众 出色的交互式体验 在设计时就充分考虑了受众 你可以提供多种方式 让他们融入体验世界中 在我们的这个讲座中 最关键的要点就是 你需要围绕受众进行设计 当我们开始设计“邂逅恐龙”时 我们制定了计划 列出了 我们希望受众体验的内容 我们希望受众享受完美的叙事之旅 在合适的时间做特定的事情 以特定的方式进行互动 但这个媒体的关键是 让受众掌控这段旅程 那是他们的体验 他们经历的故事 我们尝试规定的内容越多 就越发现自己在与受众的意图抗争 体验也变得越来越不直观 我们开始观察团队成员 如何在没有提示的情况下 尝试与 Izzy 互动 这为我们的体验 带来了更多自由操作空间 思考你可以如何打造 支持受众选择的体验 即使他们想要完成的操作 是你最初未曾考虑过的 要经常进行测试 吸引受众尝试你的体验 并注意他们想要如何与你的世界互动 然后努力实现相应的互动方式 一旦你的世界和角色 能够响应受众自然而然想做的事情 你会发现他们更加享受你的故事 请记住 不做选择也是一种选择 有时 受众可能不想互动 这也没关系 赋予受众能动性的关键之一 是让他们自己决定 想要如何参与你的体验 “邂逅恐龙”支持 各种不同的受众体验 如果受众偏好传统的影院体验 可以舒服地坐着观看 同时体验整个故事 欣赏冲突与化解的时刻 他们会发现蝴蝶 遇见 Izzy 目睹 Raja 迈着沉重的步伐走近 最后在门户中观看一场 紧张刺激的决战 如果受众希望更深入地参与故事 体验世界会识别出他们的选择 受众可能会展现出被动的、 谨慎有礼的或积极主动的行为 而 Izzy 和 Raja 会根据这些行为 采取完全不同的响应方式 对于富有冒险精神的受众 我们 还构建了更多精彩内容供他们探索 他们的互动方式可能会 改变故事的走向和结局 请记住 你想讲述的故事未必是 受众想讲述的故事 虽然你无法预见每个选择 但你的体验应该尊重受众的决定 如果他们尝试做的事情 与你想要讲述的故事不相符 可以考虑设计体验世界的边界 温和地引导他们重回故事正轨 设计体验时 考虑受众在整个故事中 经历的情感旅程 也很重要 不妨花点时间回想一下 你最喜欢的电影 在观看过程中 你可能 时而感到紧张 时而又很放松 最后迎来一个圆满的结局 接连不断的动作场面固然令人兴奋 但时不时让人放松下来也很重要 以免观众到最后感到疲倦 在交互式体验中 不间断的互动还会 让人在身体上精疲力尽 因此 为受众提供休息时刻 就更加重要了 在关于胜王龙的内容中 我们构建了高潮迭起的 动作场景和互动时刻 也构建了舒缓的轻松时刻 在你想要引发的 不同类型的受众情绪中 尝试发现其中的变化 并交替呈现高潮时刻和放松时刻 通过以受众为中心进行设计 你会让体验更能引起他们的共鸣 并且人人都能轻松享用 Apple Vision Pro 以众多实用功能 帮助你满足用户的辅助功能需求 比如为音轨添加隐藏式字幕 旁白导航、用于描述 屏幕内容的口述影像 以及通过动态字体 呈现屏幕上的 UI 你应该在体验中 尽可能多地采用这些功能 “邂逅恐龙”是一种 包含大量视听内容的体验 因此 支持口述影像至关重要

另外四只伊希斯龙宝宝 突然出现 爬了出来 口述影像让内容变得更加丰富 具体信息会根据受众 做出的选择进行调整 所以这些对话和内容一样灵活多变 “邂逅恐龙”中的大多数互动 都需要使用肢体动作和手势 但为了让每个人都能使用这个体验 我们设计了一个自定交互系统 它与视频游戏中的模态类似 会对系统手势以及 旁白或停留等辅助功能 做出响应 我们希望每个人在整个体验过程中 都能持续不断地探索 感受这场奇妙之旅 即使他们选择备选交互系统也是如此 我们设计了能够广泛传达 受众意图的语言 并询问他们想要如何互动 如果受众选择 “Be Friendly”或“Be Forceful” 恐龙就会根据受众选择的方式 做出相符的回应 如果你打开这个选项 你仍然可以访问主要交互系统 恐龙仍然可以看到受众 观察受众在空间中的行为 并且仍然能对动作做出反应 在体验过程中 受众可以随时选择 最适合自己的方式 如果你要为体验设计自定互动 请思考如何设计替代方案 让每个人都能轻松使用 下面由 James 来总结一下 谢谢你 Rose 我们讨论了很多主题 帮助你打造出色的交互式体验 虽然这可能很有挑战性 但我们相信 通过这场讲座的学习 你会发现 生命总能找到出路 我们希望你能建立起同样的自信 非常期待在 Apple Vision Pro 上 看到你讲述的交互式故事 谢谢