在 visionOS 中探索游戏输入

探索如何在 visionOS 中为你的游戏设计并实现出色的输入体验。了解如何通过系统手势为玩家提供顺畅的游戏互动体验。探索有关支持自定手势和游戏控制器的推荐做法。

章节

资源

相关视频

WWDC24

将 iOS 或 iPadOS 游戏移植到 visionOS

WWDC23

WWDC22

即插即用：向你的 Unity 游戏项目添加 Apple 框架

WWDC21

利用虚拟和物理游戏手柄

下载

大家好我叫 Charlyn 来自技术布道团队今天我要谈谈如何在 visionOS 中实现出色的游戏输入方式

为 visionOS 开发游戏时你可以非常灵活地选择游戏类型以及用于开发这些游戏的框架

在 Apple Vision Pro 上玩家可以使用眼睛和手来浏览系统中安装的 App 和游戏此外 visionOS 还支持外接物理输入设备围绕手势设计的游戏输入方式无需使用任何额外的设备最容易让玩家直接开始畅玩游戏我将展示可供选择的不同手势类型然后介绍 visionOS 支持的一些物理输入设备以及在决定添加对这些设备的支持后需要牢记的一些注意事项围绕 visionOS 手势设计的输入方式可以是直接的也可以是间接的直接输入意味着玩家将会伸出手去直接与虚拟物体交互请务必记住由于 visionOS 提供了无边画布因此玩家可能需要大幅度移动手臂才能触及游戏中的所有对象间接输入意味着玩家将会隔着一定距离对这些对象进行操作通过注视和轻点对象进行选择来实现玩家的手可以更靠近自己的身体通过间接输入玩家做出的小幅度手臂动作可以放大为大幅度动作所以如果玩家要穿过观看区域触及相隔较远的对象或者重复做出大幅度动作间接输入可以大大提升长时间玩游戏时的舒适度例如这是 visionOS 上的益智游戏“Loona” 你可以通过间接输入来操控与你相隔一段距离的每件物品只需注视就能选中物品然后可以用手指移动选中的物品你可以将它直接放置在空间拼图中也可以双指互点两下使它卡入到位使用手势旋转或移动空间拼图即可从各种角度进行观察通过这种方式无论站着玩还是坐着玩你都会感到很舒适间接输入可以带来轻松惬意的游戏体验但有时直接输入是合理的原因可能是你的游戏有意要提供高能体验此外直接与虚拟物体交互还能带来很多乐趣这是“Super Fruit Ninja” 玩家在游戏中需要切碎飞舞的水果以及划过菜单按钮这个游戏是围绕直接输入设计的如果这类输入适合你的游戏请务必提供大量反馈以便让每一次与对象的接触都能带给玩家满足感

你可以使用视觉反馈组合比如手部后方的那道闪电加上四处飞溅的果肉还可以添加各种声音比如挤压声和泼溅声即使没有触觉反馈玩家也可以知道自己有没有与对象接触无论对象是 UI 按钮还是飞舞的菠萝！最好在游戏中同时支持直接和间接这两种手势可以通过以下几种不同的方式来实现你的游戏可以响应内建的系统手势你也可以将两个或更多系统手势组合在一起从而更精细地控制游戏会响应什么样的输入如果需要可以使用 ARKit 中的手部追踪功能来创建自己的自定手势在做出决定之前请记住使用内建的系统手势可以带来一些显著优势一方面玩家已经了解了系统手势的具体使用方法因为他们已经在使用这些手势浏览平台上的所有其他 App 和游戏了你无需教会玩家如何与游戏交互而且无需使用额外的设备你的游戏开箱就能畅玩！玩家可以随时开始畅玩此外无论你的游戏在 visionOS 上的什么位置运行系统手势都会受到支持这些手势适用于各种空间包括共享空间和完全沉浸式空间有多种系统手势可供使用最简单的手势是注视一个对象然后同时轻点同一只手的两根手指如果你的游戏在 2D 屏幕上通过轻点一下进行输入则只需替换成 visionOS 中的轻点手势即可

你也可以响应双指互点两下手势还有双指捏住手势和捏合并拖移手势这两个手势都可以直接或间接作用于对象玩家可以用两只手来放大和缩小或者旋转对象这个 visionOS 游戏叫 “What the Golf”是使用系统手势间接控制游戏中对象的绝佳示例我注视这个球然后使用双指捏住手势将它激活现在我可以移动手部来控制球的方向以及球在被我松开后的力度

由于我的手部掌管了输入因此我可以随意环顾当前关卡观察瞄准的位置

松开捏合的双指后球就会飞起来我打出了一杆进洞！

响应系统手势非常简单包含在 RealityView 中的任意实体如果要具备轻点功能就需要拥有 InputTargetComponent 和 CollisionComponent 然后需要将手势附加到包含实体的 RealityView 然后表明这个视图中的任意实体都是可轻点的检测到手势后可以在手势处理程序中做出响应要进一步了解如何响应系统手势请观看去年的视频 “开发你的第一款沉浸式 App” 并访问 developer.apple.com/cn/ 查看关于交互操作的文档如果你的游戏是在 Unity 中开发的则会使用 Unity Input System 来检测手势并做出响应要接收轻点事件请为游戏对象添加输入碰撞器轻点数据会以 World Touch Event 的形式提供给你观看“打造沉浸式 Unity App” 可了解更多详情系统手势为你提供了大量开箱即用的选项如果你需要更高的灵活性可以将多个系统手势组合在一起实现独一无二的操作可以将两个或更多系统手势配对并检测它们何时同时发生或按顺序逐个发生也可以将手势与键盘修饰符结合使用还可以使用 SpatialEventGesture 来实现 Tap Begins、Moves 或 Ends 等手势事件的低级别访问权限如果玩家需要同时使用两只手来操作两个不同的对象那么这种方法将会非常有用使用 SpatialEventGesture 来追踪每个操作的各个目标在这个示例中你可以选中这个卫星然后对它同时执行移动、调整大小和旋转操作系统可以识别每个手势的发生即使上一个手势尚未结束也没有问题下面介绍如何通过代码实现这一操作当玩家使用 Drag 手势移动对象时添加 simultaneously(with:) 表明如果 Magnify 和 Rotate 同时发生则 App 应该同时侦听这两个手势这意味着多个手势之间可以顺畅无缝地过渡要进一步了解如何将手势进行组合请观看去年的视频 “将 SwiftUI 提升至新的维度” 并查看相关文档由于玩家非常熟悉系统手势和组合手势因此这些手势应该成为你在 visionOS 上首选的游戏输入方式但如果你需要更丰富的输入方式则可以定义自己的自定手势你为游戏创建的任何自定手势都需要让玩家容易学习、容易记忆要确保手势非常适合游戏中的动作这样手势才具有直观性当你设计自定手势时可以通过添加同时包含视觉效果和声音的适量反馈让玩家知道自己做出了正确的操作要定义你自己的手势你可以通过 ARKit 使用完整手部骨骼追踪功能你可以在同一游戏中将系统手势与自定手势进行组合这是“Blackbox” 是以富有创意的方式将这些手势进行组合的绝佳示例在新手引导过程中 “Blackbox”会教玩家做出这个自定手势在环境中创建新的气泡这个手势简单直观意味着易于学习和记忆它也非常重要因为它是进入和退出游戏关卡的主要方式但不要过度使用自定手势请谨慎使用凡是在系统手势适用的情况下 “Blackbox”都使用了系统手势例如我可以注视气泡然后用手指轻点以使它弹出

“Blackbox”在 visionOS 上的全空间中运行这一点很重要如果你的游戏在共享空间中和其他 visionOS App 一起同时运行你就无法使用 ARKit 和手部追踪功能现在在全空间中你的游戏是这里显示的唯一一个 App 无论采用 mixed、progressive 还是 full 样式都是如此玩家可能会看到四周环境就像在“Blackbox”中一样或者你的游戏也可以用新环境取代四周环境创建自定手势时 ARKit 和完整手部骨骼追踪功能会在全空间中运行下面介绍如何创建构成一个圆形的自定手势检查进行手部追踪所需的所有关节并获取它们在现实场景坐标中的位置然后对于这个圆形手势检查双手食指指尖之间以及双手拇指指尖之间的距离如果距离小于 4 厘米系统就会识别出这个手势然后你的游戏就能做出响应如果使用 Unity 开发游戏则可以使用 Unity 的手部追踪软件包来访问玩家的关节信息观看这些视频可以进一步了解如何将 Unity 游戏移植到 visionOS 上无论你使用哪类手势无论是直接还是间接无论是系统手势还是自定手势你都需要确保内建一种替代方式以便照顾到能力各异的玩家例如“Synth Riders” 设计的核心输入方式需要用双手双臂一起接触对象但假设某个玩家只能使用一只手臂来玩游戏这个游戏中的 “Comfort and Accessibility”设置提供了一个选项你可以选择以单手模式玩游戏还可以选择在单手模式下使用左手还是右手现在我可以只用右手玩游戏了务必要思考这些辅助功能用例类型并为玩家提供一些内建的输入回退功能这一点非常重要如果你使用的是 RealityKit 就可以使用原生辅助功能框架请观看视频 “创造无障碍的空间体验” 进一步了解如何让游戏设计照顾到能力各异的玩家如果你是 Unity 开发者则可以通过 Apple Accessibility 插件使用所有辅助功能查看“即插即玩” 了解更多详情得益于系统手势和自定手势的灵活性在游戏输入方式的设计方面你已经有了很多选择但在某些情况下你可能需要添加适用于 visionOS 的物理输入设备的支持 iOS 和 macOS 支持的所有游戏控制器 visionOS 也同样支持其中包括 Xbox Series X 和 Sony Playstation 的 DualSense 游戏手柄如果需要一次性完成两个以上的输入或者要从其他平台移植过来的游戏已经采用了以控制器为核心的输入方式则支持游戏控制器可能是正确的选择 visionOS 还支持蓝牙键盘和触控板因此在适用的情况下你的游戏可以选择这一输入方式

对于通过蓝牙连接到 visionOS 的物理控制器、键盘和触控板响应来自这些设备的游戏输入很简单在 iOS、iPadOS、macOS 和 visionOS 支持相同的物理输入设备而且所有这些平台也共用同一个游戏控制器框架！所以如果你要将游戏移植到多种设备上相同的代码会适用于所有这些设备实体控制器适用于 visionOS 中的每一类体验从窗口式游戏到完全沉浸式空间都包括在内 Arcade 游戏“Wylde Flowers” 提供了出色的控制器支持如果玩家已将游戏控制器与 Vision Pro 配对并连接则游戏输入会自动使用相应的控制器做到这一点非常重要！在检测到控制器已连接后将输入方式切换到相应的控制器这种方法远胜于让玩家在游戏的“设置”菜单中搜索要切换的输入方式 “Wylde Flowers” 还有一件事也做得很好那就是确保玩家可以使用控制器完成游戏中的所有操作如果预设玩家会使用某个系统手势来访问部分 UI 元素就会造成不便也会让玩家困惑不已在设计输入方式时要让所有游戏内容甚至包括 UI 都可以通过游戏控制器访问

你可以轻松检测玩家是否已连接游戏控制器只需为 GCControllerDidConnect 设置观察器如果有任何游戏控制器连接到系统观察器就会提醒你此外请务必侦听 GCControllerDidDisconnect 事件以便在没有游戏控制器的情况下回退到其他输入形式 (比如系统手势) 收到游戏控制器已连接的提醒后可以轮询控制器上特定按钮的状态你还可以根据自己的喜好设置更改处理程序以便在输入状态更新时收到通知来自键盘和触控板的输入有着相同的流程你需要侦听它们的连接然后对它们进行轮询以获取输入或者设置更改处理程序以下是用于检测游戏控制器并做出响应的代码设置观察器然后等待接收关于游戏控制器已连接的通知如果控制器在游戏启动之前已经连接则每当有设备连接到 visionOS 你仍会在此处收到通知收到通知后要么设置输入更改处理程序要么轮询设备以获取预期的输入还有最后一个步骤是 visionOS 2 所特有的将游戏控制器交互修饰符添加到包含游戏对象的 RealityView 这表明已定向到 RealityView 的游戏控制器输入 00:14:37.473 --> 00:14:39.210 将由你的游戏进行处理

此外请务必像使用手势时一样向玩家提供操作反馈这一点非常重要使用 CoreHaptics 框架触发控制器的震动声使它与屏幕上的操作相匹配还有记得添加声音效果并在玩家操作成功时提供即时的视觉反馈如果你不熟悉游戏控制器框架有一些很棒的资源可以帮助你入门如果你的游戏依赖于 Unity 引擎则可以使用 Unity 的游戏控制器插件来添加对游戏控制器输入的支持观看这些视频可以了解更多详情下面简要介绍一下哪些空间支持不同的输入类型大多数输入类型包括系统手势、传统游戏控制器和键盘都得到了所有空间类型的支持这些空间包括共享空间中的窗口或空间容器、全空间体验等如果你想响应来自自定手势的输入则需要针对全空间来设计游戏简单回顾一下要想为你的游戏设计出适合玩家的输入方式你有很多选择 visionOS 中内建的系统手势对于玩家来说简单自然、顺手易用如果你需要提高灵活性则可以考虑加入一两个自定手势对于某些类型的游戏支持物理控制器还可以扩展输入选项最后一点如果你已经在 iOS 或 iPadOS 上发布了游戏请观看“将 iOS 或 iPadOS 游戏移植到 visionOS” 进一步了解如何对现有游戏进行转换以便在 visionOS 中增强游戏体验的沉浸感谢谢观看！

5:16 - Respond to a tap gesture

// Respond to a tap gesture.

struct ContentView: View {
  var body: some View {
    RealityView { content in
      // For entity targeting to work, entities must have an InputTargetComponent
      // and a CollisionComponent!
    }
    .gesture(TapGesture().targetedToAnyEntity().onEnded { value in
      print("Tapped entity \(value.entity)!")
    })
  }
}

7:08 - Combine dragging, magnification, and 3D rotation gestures

// Gesture combining dragging, magnification, and 3D rotation all at once.
var manipulationGesture: some Gesture<AffineTransform3D> {
  DragGesture()
    .simultaneously(with: MagnifyGesture())
    .simultaneously(with: RotateGesture3D())
    .map {bgesture in
      let (translation, scale, rotation) = gesture.components()

      return AffineTransform3D(
        scale: scale,
        rotation: rotation,
        translation: translation
      )
    }
}

9:33 - Create and detect a custom circle gesture

// Create and detect a custom circle gesture.

// Get all required joints and check if they are tracked.
let leftHandIndexFingerTip = leftHandAnchor.skeleton.joint(named: .handIndexFingerTip)
// ...
// Get the position of all joints in world coordinates.
let leftHandIndexFingerTipWorldPosition = matrix_multiply(leftHandAnchor.originFromAnchorTransform, 
                leftHandIndexFingerTip.anchorFromJointTransform).columns.3.xyz
// ...
   
// Circle gesture detection is true when the distance between the index finger tips centers
// and the distance between the thumb tip centers is each less than four centimeters.
let isCircleShapeGesture = indexFingersDistance < 0.04 && thumbsDistance < 0.04
if isCircleShapeGesture {
  // respond to gesture
}

14:00 - Detect a connected game controller

// Detect connected game controller.

// Add handler for when controller connects.
    NotificationCenter.default.addObserver(
	      forName: NSNotification.Name.GCControllerDidConnect,
  	    object: nil, queue: nil) {
    	      (note) in
      	      guard let _controller = note.object? as GCController else { return }
        	    // Add controller input change handlers.
          	  _controller.physicalInputProfile[GCInputButtonA]?.valueChangedHandler = {
            	  //... 
            	}
       	}

// Poll for controller input
    if controller.physicalInputProfile[GCInputButtonA]?.pressed {... }
    if controller.physicalInputProfile[GCInputButtonB]?.pressed {... }

14:24 - Tag a RealityView to handle controller input

// Tag a RealityView to handle controller input.

struct ContentView: View {
  var body: some View {
    RealityView { content in
      // Tag your RealityView to respond to controller input events.
    }
    .handlesGameControllerEvents(matching .gamepad)
  }
}

正在查找特定内容？在上方输入一个主题，就能直接跳转到相应的精彩内容。