在 Reality Composer Pro 中编写交互式 3D 内容

在 Reality Composer Pro 中编写交互式 3D 内容

探索 Reality Composer Pro 中的“时间线”视图如何栩栩如生地呈现你的 3D 内容。了解如何使用逆向运动分析、形状变形和骨骼位姿打造一个动画故事，让其中的角色和物体能够彼此之间以及与周围环境之间进行交互。我们还将介绍如何使用内置操作和自定操作、为操作排序、应用触发条件，并实现自然动作。

章节
- 0:00 - Introduction
- 2:54 - Introducing timelines
- 18:22 - Inverse kinematics
- 22:55 - Animation actions
- 27:23 - Blend Shapes animation
- 30:35 - Skeletal poses
资源
相关视频

WWDC24
WWDC23
- 探索 Reality Composer Pro 中的材质
- 认识 Reality Composer Pro
下载

大家好我叫 Marin 我是一名 RealityKit Tools 工程师今天我想向大家介绍 Reality Composer Pro 中的一项全新功能：时间线它提供了一种全新的互动方式可以让你的 3D 内容栩栩如生去年我们推出了 Reality Composer Pro 帮助你更轻松地预览和准备 App 的 3D 内容它包含一个可视化编辑器你可以在其中编排场景整理素材资源添加互动操作和物理效果还能使用 ShaderGraph 编辑器微调材质的外观 Reality Composer Pro 功能丰富非常强大如果你刚刚接触 Reality Composer Pro 或者想复习一下这款工具强烈建议你观看去年 WWDC 大会期间举办的这些讲座借助 Reality Composer Pro 你可以直观地设计、编辑并预览 RealityKit 内容你可以在同一个地方编排场景、配置组件、打造复杂材质、添加音频等等今年我们增加了新功能帮助你使用时间线编辑器创建动画添加灯光效果以及进行环境创作在这场讲座中我们会重点介绍时间线编辑器我会展示如何使用时间线构建交互式 App 还会介绍 RealityKit 中的一些全新动画 API 下面我们来看一看
你可能已经在其他讲座中看到过“BOT-anist”App 我们以这款 App 中的机器人为例将它重新启动打造属于我们自己的交互式虚拟体验在这个 App 中有 3 棵植物开始枯萎如果植物枯萎了我可以轻点这棵植物从而触发机器人移动到植物旁为它浇水植物慢慢恢复健康后机器人就会返回到平台的中央还有另一个机器人在观察蝴蝶试图在蝴蝶移动时伸手触摸它本讲座下方列出了示例项目的链接你可以把它下载下来跟着一起操作要搭建这个 App 我们首先要使用 Reality Composer Pro 中的时间线将机器人移动到植物旁
然后我将展示如何利用 RealityKit 的全身逆向运动分析系统让机器人伸出手来给植物浇水
之后我将讲解如何在代码中编写动画动作并使用这些动作让机器人转身回到起始位置
接着我将展示如何使用形状变形动画为植物添加动画效果
最后我们将为观察蝴蝶的第二个机器人添加骨骼位姿动画
让我们先来了解一下时间线时间线是 Reality Composer Pro 中的一项全新功能可让你设置动作序列从而以特定顺序或在特定时间执行动作借助 Reality Composer Pro 你可以轻松编辑和配置这些动作左侧面板列出了所有时间线
中间是主时间线编辑器右侧面板则列出了所有可用的内置动作创建时间线后可以让时间线根据触发器播放动画
我们来看看第一个动画根据我们的经验轻点一棵植物就会触发机器人转身并朝着你轻点的植物移动让我来展示一下如何构建这个时间线序列在 Reality Composer Pro 中你可以从底部面板找到名为“Timelines”的新标签在中间部分有一个“Create Timeline”按钮我要选择这个按钮来创建一个时间线左侧列出了所有可用的时间线中间则是主时间线编辑器在这里我可以配置动作并在时间线上为动作排序右侧列出了所有预构建的动作我可以轻松将它们拖放到时间线上让我们将时间线重命名为 MoveToPoppy 选中这条时间线轻点两下然后输入“MoveToPoppy”
首先我要让机器人转向刚才被轻点的植物为此我将使用预构建动作列表中的旋转动作我将旋转动作拖到时间线上
我想让这个机器人旋转因此需要在检查器面板的 “Target”字段下选择“Choose” 然后在层次结构或视口中找到我的机器人实体并将它选中完成选择后轻点“Done”
现在让我们在检查器面板中设置转数来配置机器人旋转的幅度我们将转数设置为 0.12
我并不想让它转一整圈而只是稍微转身让我们看看效果如何时间线编辑器的顶部有一个播放按钮轻点这个按钮便可看到动作的预览效果
太棒了我看到机器人会转身而且转身之后正好面向植物旋转之后我要让机器人移动起来为此我会使用 “Transform To”动作从预构建动作列表中抓取“Transform To”动作然后将它拖放到编辑器中我将它安排在旋转动作之后一秒左右执行我要将这个动作的目标设置为机器人因为我想让机器人向植物方向移动因此我需要选择“Choose” 并在层次结构中找到我的机器人然后轻点“Done” 现在我可以看到机器人目标移动位置的视觉提示当前它位于平台的中央这并不是我们想要的效果因此我们需要使用操纵器将机器人的目标位置移动到虞美人的正前方
好了我觉得这看起来不错现在我们来更改转换动作的持续时间我要将时长从默认的 1 秒改为更长的时间这会让机器人需要花费更长时间才能移到植物旁边为此我可以在编辑器中拖动动作的后边缘
或者我也可以在检查器面板中设置持续时间
我可以拖动动作将它从一个轨迹移至另一个轨迹这样就可以对多个动作进行排序让它们同时运行我将旋转动作拖放到稍后将使用的新轨迹上现在让我们轻点播放按钮来预览一下效果
我觉得这看起来很不错如果能在机器人向植物移动的过程中为它添加动画和音频那么效果会更棒为此我将创建另一条时间线用于协调行走动画和相应的音频轻点时间线列表底部的加号 (+) 按钮将这个时间线重命名为 RobotMove 选中这条新的时间线轻点两下然后输入“RobotMove”
为了播放动画和音频我将使用两个新组件 AnimationLibraryComponent 和 AudioLibraryComponent 让我们来看看这两个组件 AnimationLibraryComponent 用于存储动画并将这些动画与需要播放动画的实体关联起来你可将 AnimationLibraryComponent 添加到装配实体然后将动画资源添加到 AnimationLibraryComponent 中 Reality Composer Pro 让你能轻松地将动画添加到 AnimationLibraryComponent 中只需轻点加号 (+) 按钮然后选择项目中的动画这样就能将动画资源添加到这个实体的 AnimationLibraryComponent 中之后你便可以在代码中播放动画或者使用 Reality Composer Pro 中的时间线来播放动画
AudioLibraryComponent 的工作原理与 AnimationLibraryComponent 非常类似 AudioLibraryComponent 用于存储音频资源并将这些资源与需要播放音频的实体关联起来你可以将 AudioLibraryComponent 添加到实体中然后将音频资源添加到 AudioLibraryComponent 中要将音频资源添加到 AudioLibraryComponent 中你需要轻点加号 (+) 按钮然后从你的项目中选择音频文件这会将音频资源添加到这个实体的 AudioLibraryComponent 中
之后你便可以在代码中播放音频或者使用时间线来播放音频让我们回到 Reality Composer Pro 完成将音频和动画添加到时间线的操作在 RobotMove 时间线上我将使用新的动画库组件来添加一个动画动作我已经将要使用的 USD 动画添加到我的项目浏览器中为此我将在层次结构中选择机器人在检查器面板中可以看到系统已经为我添加了一个动画库组件这是因为这个实体已经关联了一个 USD 动画 Reality Composer Pro 会自动为我添加组件并在动画列表中列出它的默认动画我也可以选择检查器面板底部的 “Add Component”按钮来手动添加动画库组件如果我选择默认的子树动画则可以使用播放按钮预览动画或者使用剪刀图标将它切割成片段这个动画比我想要的稍长一些因此我们要将它分成两个片段即较短的开始动画和结束动画还要让它们连续播放首先抓住播放头将它拖动到第一个片段的分割位置然后点按剪刀图标这样就创建了两个片段现在我们再进行一次分割这样就可以只使用结尾部分再次将播放头拖移到要进行第二次分割的位置然后点按剪刀图标
太好了现在我有了两个可以连续播放的片段将这两个片段重命名为 “startWalk”和“endWalk”
接下来选择“RobotMove”时间线以便将动画依次排序抓取“Animation”动作将它拖到时间线上
我要将这个动作的目标设置为我的机器人因此我将选择“Choose” 然后在层次结构中选取机器人接着将“Animation” 设置为“startWalk”片段
再将另一个“Animation”动作拖到时间线上用于第二个片段
让这个动画紧跟第一个动画之后播放同样将这个动作的目标设置为我的机器人
并将“Animation” 设置为“endWalk”片段
在动画运行时我还想同时播放一个音频片段为此我需要使用 AudioLibraryComponent 以及一个已经添加到项目中的音频文件在层次结构中选择机器人在检查器面板中选择 “Add Component”按钮来添加一个新组件然后从列表中选择 “Audio Library”组件
轻点加号 (+) 按钮
找到所需的音频文件我会添加两个音频文件一个用于机器人转身场景一个用于机器人移动场景
现在让我们回到 “RobotMove”时间线并设置音频动作的运行时间将一个音频动作拖到时间线上我希望机器人发出音频声效因此选择机器人作为发射器并且我想让它播放刚刚添加的 walk 音频片段因此将音频资源设置为“walk” 然后拖动音频动作使它与 walk 动画同时播放
好了现在让我们来播放一下
太棒了动画和音频一起播放了现在我准备将 RobotMove 时间线插入 MoveToPoppy 时间线首先选择“MoveToPoppy”时间线然后右键点按 “RobotMove”时间线并选择 “Insert into Timeline”选项这会将 RobotMove 时间线插入 MoveToPoppy 时间线如此便实现了在一个时间线内播放另一个时间线我还可以拖动这条嵌套时间线将它移动到任何位置我希望在旋转结束后立即播放动画
并将它与转换动作搭配使用从而使动画和转换同时进行我可以更改转换动作的持续时间使它在动画开始后稍微延迟开始移动并在动画结束前稍微提前停止移动我还将添加一段音频在机器人旋转时播放我将从预构建动作列表中拖动一个音频动作将它放置在与旋转动作同时发生的位置将机器人设置为发射器并将音频资源设置为旋转音频
下面我们来预览一下看看效果如何
太棒了机器人向植物移动同时也在播放动画和音频我们已经创建了时间线那么接下来如何让时间线开始播放呢有两种方法可供选择一是在代码中使用 RealityKit API 针对时间线的动画资源实例调用 entity.playAnimation 二是使用 Reality Composer Pro 的 UI 添加新的“Behaviors”组件这个组件可启动时间线让它开始播放而无需编写任何代码要使用 Reality Composer Pro 来启动时间线播放需要向用来触发时间线的实体添加一个 “Behaviors”组件这里有一些不同类型的触发器均可用于启动时间线播放比如轻点、碰撞、将实体添加到场景或者收到代码中发布的通知让我们回到 Reality Composer Pro 在植物上设置一个启动时间线运行的轻点手势要设置轻点手势首先选择要轻点的植物在本例中我将选择层次结构中的虞美人我还要添加一个新组件方法是轻点检查器面板中的 “Add Component”按钮找到“Behaviors”组件然后我可以轻点加号 (+) 按钮并选择轻点触发器因为我希望这个植物对用户的轻点操作做出响应当我轻点植物时我希望轻点手势能触发 MoveToPoppy 时间线播放因此我将选择列表中的 “MoveToPoppy”时间线现在我们需要告知 RealityView 对轻点手势作出响应让我们进入 Xcode 在 RealityView 中我要添加一个轻点手势
轻点手势的属性将为 targetedToAnyEntity 轻点结束后当你抬起手指时我们将从传递给我们的值中获取实体并将轻点行为应用于这个实体这意味着当我轻点实体时也就是本例中的虞美人将会应用 Reality Composer 中指定的轻点行为即“MoveToPoppy”时间线现在我可以构建并运行来试试效果让我们轻点虞美人看看会发生什么
太棒了！当我轻点植物时可以看到机器人转身走向了植物我们成功地创建了第一个动画并使它根据用户的输入开始播放这真是太酷了！现在开始制作第二个动画机器人到达植物位置后我想让机器人将手臂伸向植物为此我将添加一个通知动作并在代码中侦听这个通知动作当通知触发时我会编写一些自定代码让机器人向植物伸出手臂让我们返回 Reality Composer Pro 添加一个通知动作
从预构建动作列表中将一个通知动作拖放到时间线的末尾
将这个通知动作的目标设置为虞美人然后将这个通知的标识符设置为 ReachToPoppy
这个字符串将在通知触发时传递给我们我们已经在 Reality Composer Pro 中设置了通知接下来让我们添加代码以便在沉浸式视图中侦听这个通知回到 Xcode 在沉浸式视图中添加通知名称 “ReachToPoppy” 然后为通知添加发布者
接下来使用 onReceive 处理 RealityView 视图上的通知接收当我从输出中接收到通知时可以从用户信息字典中获取源实体然后编写一些代码让机器人将手伸向植物让我们来看看伸手动画应该是什么样子当机器人到达植物的位置时我想让它伸出手臂
为此我将使用 RealityKit 的全身逆向运动分析系统逆向运动分析是指利用运动分析方程来确定装配骨骼结构中的关节应如何运动以达到所需位置你可以指定目标位置以及对受影响关节的任何约束系统会为你计算中间的关节位置这方面的一个常见示例是将手移动到所需位置然后肘部会自动调整以达到这个位置你可以使用这种方法来实现角色的自然运动效果我将通过示意图来讲解全新的 Inverse Kinematics API 然后展示如何在代码中使用它首先我将实例化一个 IKRig IKRig 定义了逆向运动分析求解器的工作方式我将为 IKRig 提供模型骨骼以及迭代次数等配置如果要在同一实体上播放动画则需要为动画和 IK 赋予权重这样求解器就会知道要覆盖哪些内容然后我将添加一些约束条件约束是对关节变化的限制这可用于防止不自然的动作比如向错误的方向弯曲肘部
接着我将从定义的 IKRig 创建一个 IKResource IKResource 是 IK 求解器用于处理的运行时数据我将从 IKResource 创建一个 IKComponent 将它添加到一个实体中你可以在实例化这个组件时设置求解器并在运行时对它进行更新频率可以达到每帧更新一次
需要注意的是 RealityKit 的 IK 求解器会同时对整个角色的骨骼进行求解而不仅仅是针对关节层次结构的一个子集现在让我们利用逆向运动分析来编写代码从而让机器人将手伸向植物
要设置逆向运动分析求解器首先要初始化一个空的 rig 并传入模型骨架然后更新全局 rig 设置经过反复试验我发现将 maxIterations 设置为 30 并将全局正向运动分析权重设置为 0.02 的效果最佳同时我将引用 rig 骨架上的关节名称在本例中我们需要移动机器人的臀部、胸部和手部以实现机器人将手臂伸向植物的自然动画效果
然后我将定义针对 rig 的约束条件本例设置了两个父约束和一个点约束父约束会限制关节的位置和方向点约束会限制关节的位置接下来我将创建一个包含 rig 的资源并添加一个带有给定资源的 IKComponent 为了在每一帧更新 IK 目标我将在场景中找到实体并确定它的位置
首先我要获取手应该伸到的位置也就是相对于带有 IKComponent 的实体而言的位置然后更改 reachPosition 的 x、y 和 z 轴位置使它在每一帧都略有不同
我还想在每一帧更新对左手的约束因此我将从实体中获取 IKComponent 设置左手的目标平移和位置数值 0 表示 IK 对约束没有影响而数值 1 表示 IK 对约束有完全影响
为了在 IK 开始和结束时流畅地设置机器人手臂的动画效果我会随着时间的推移递增和递减 IK 对位置的驱动权重以及基础位姿对位置的驱动权重然后将更新后的值提交到组件中
我们来运行代码看看效果如何
不错！我们实现了期望的动画效果在机器人伸出手臂后我使用粒子效果来浇灌植物现在机器人已经为植物浇完水我们需要让机器人回到起始位置为此我们将使用动画动作动画动作能让你设置动作发生的时间并按顺序组合一段时间内的动作这类似于游戏中的场景切换动画但有了动画动作你可以实时做到这一点一个常见的用例是角色行走时的落脚事件角色的脚每次落地都会发出声音让我们使用动画动作让机器人回到平台中央
动作 API 包含内置动作和自定动作内置动作包括大量易于配置的预构建动作例如 SpinAction 或 PlayAnimationAction 这是 Reality Composer Pro 时间线功能的底层 API 如果内置动作无法满足你的需求还可以使用自定动作这样你就可以用代码编写自己的动作并将它同步到时间线上要使用内置动作 API 首先需要使用内置动作为实体创建动画定义然后根据定义创建动画资源对你希望同时播放的动画资源进行分组按一定顺序排列要播放的动画资源最后在实体上调用播放动画让我们来看看如何用代码来完成这一过程
这几个包含逻辑的方法能够定义动画并且会返回用于旋转、移动和对齐机器人的动画资源这些动画资源实例的逻辑由现有的 RealityKit API 定义我将这些动画按顺序组合在一起依次是 RotateAnimation、 WalkAndMoveAnimation、 AlignAtHomeAction 和 RobotTravelHomeCompleteAction 然后我将使用现有的 playAnimation API 按顺序开始播放这些动画
对于自定动作首先需要创建你自己的 EntityAction 协议合规动作然后用 makeActionAnimation API 从中创建一个 AnimationResource 将这个动画资源与其他动画资源分组或者对它进行排序以便按一定顺序执行
最后在实体上调用 playAnimation 在运行时你可以订阅自定动作的开始和结束事件
让我们看看如何在代码中实现这些步骤从而让机器人在给植物浇完水后返回起始位置我将创建一个自定动作名为 RobotMoveToHomeComplete 用于在完成 move-to-home 程序后通知我们然后创建一个 RobotMoveToHomeComplete EntityAction 实例使用 makeActionAnimation API 从中生成一个 AnimationResource
需要注意的一点是你可以使用自定动作对多个动画进行排序或分组由于这里只有一个动画我们无需进行任何排序
然后使用 playAnimation API 播放动画资源
我订阅了 EntityAction 启动事件当动作开始时将调用订阅闭包当开始事件触发时我们便知道机器人已经到达它的目的地因此我将停止播放控制器来停止动画我还订阅了 RobotMoveToHomeComplete EntityAction 结束事件当系统调用闭包时我将机器人转换到 .arrivedHome 状态
现在让我们来运行这个动画序列
太好了我们现在进展顺利
接下来我们重点了解一下植物动画为了实现期望的效果我会用到形状变形动画利用形状变形动画可以从一个位姿平滑过渡到另一个位姿从而创作出栩栩如生的动作这些动画可融合一系列不同的形状通常用于为角色的面部或身体添加动画效果在我们的示例中我将为植物制作从枯萎到健康状态的动画以及从健康到枯萎的动画
形状变形动画 API 包含 BlendShapeWeightsMapping、 BlendShapeWeightsComponent 以及两种执行动画的方式也就是以程序化方式执行或通过 USD 动画执行利用 BlendShapeWeightsMapping 可设置一个与融合目标相关的权重你可以在实体上设置融合目标每个目标都可以有与之关联的权重可以设置 0-1 之间的权重在我们的示例中权重 1 表示植物枯萎权重 0.5 表示处于中间状态权重 0 表示植物健康为了针对植物制作从枯萎到恢复健康的动画效果我将随着时间的推移更新权重值要使用形状变形动画 API 首先需定义 BlendShapeWeightsMapping 然后根据映射创建一个 BlendShapeWeightsComponent 并将这个组件添加到实体中将组件添加到实体后我便可以随时查询 BlendShapeWeightsComponent 以获取权重值并进行更新现在我就能以程序化的方式创建 FromToBy 或 Sampled 形状变形动画或者我也可以使用现有的 RealityKit playAnimation API 来播放 USD 形状变形动画让我们用代码来创建这个动画首先从实体层次结构中找到拥有模型组件的模型实体获取它的网格资源并从这个网格资源创建 BlendShapeWeightsMapping 然后根据映射创建 BlendShapeWeightsComponent
为了在运行时更新融合权重我将从实体中获取 BlendShapeWeightsComponent
获取 BlendShapeWeightsSet 的副本以便将权重值分配到这个集合
通过 BlendShapeWeightsSet 中的 blendWeightIndex 更新所有权重值并将它设置为 0 这表示植物处于健康状态在本例中我们要将植物的状态设置为保持健康状态要从健康状态变为枯萎状态可以使用缓动函数逐渐增加或减少这个值
然后将新的权重值分配给 BlendShapeWeightsComponent 来应用这些值
让我们运行代码来唤醒这些花朵
看到花朵恢复生机真是太好了现在我们来看看第二个机器人在做什么
这个机器人正在利用逆向运动分析将手伸向蝴蝶蝴蝶在空中飞来飞去这是因为我们在 Reality Composer Pro 中使用时间线创建了动画动作并使用了一个自定组件来调整蝴蝶的位置聚焦机器人的头部可以看到头部正跟随蝴蝶的飞行轨迹而移动要实现这一动作我们可以使用全新的骨骼位姿 API 典型的 3D 装配角色由骨骼结构组成而构成骨骼结构的是彼此相连的骨骼每根骨骼对应角色或对象的不同部分
要为角色添加动画效果需要旋转角色的关节从而将对象摆出各种位姿并呈现出动画效果这通常用于使角色行走或奔跑
骨骼位姿 API 添加了一个新的 SkeletalPosesComponent 你可以使用由 RealityKit 制作的动画或者你也可以在运行时修改骨骼通过一个接口以编程方式针对特定关节查询 SkeletalPosesComponent 并更新它的变换
我们将使用骨骼位姿 API 使机器人的颈部骨骼旋转仿佛在观赏蝴蝶飞舞一样
凡是从 USD 文件导入到 RealityKit 的蒙皮网格都自带附加到实体的 SkeletalPosesComponent 因此无需对它进行初始化而只需从实体中获取 SkeletalPosesComponent 更新关节的旋转需要注意的是这是在局部空间中进行的为了在每一帧更新颈部旋转我将从 RealityKit 的更新函数中调用这段代码 RealityKit 会就每一帧在所有注册系统上调用更新函数并将更新的值提交到组件中我可以更新整个关节变换也可以仅更新平移、缩放或旋转最多每帧更新一次让我们来运行代码看看机器人观赏蝴蝶飞舞的样子
不知道你们怎么想但这一刻让我心动不已
今天我们介绍了很多内容让我们来回顾一下探讨的所有内容
我们学习了如何利用 Reality Composer Pro 的时间线功能在时间线上对动作进行排序并通过触发器启动这些动作我们使用新的 Full Body Inverse Kinematics API 让机器人的手臂伸向对象我们还学习了如何使用内置动作和自定动作将动作按顺序组合在一起我们了解了如何使用形状变形动画为植物添加动画效果我们还了解了如何通过旋转关节让对象摆出各种位姿从而将对象摆出各种位姿并呈现出动画效果
除了这些功能之外 Reality Composer Pro 今年还推出了其他激动人心的功能例如视频对接部署到 iOS、macOS 和 visionOS 的能力环境创作以及灯光效果
要进一步了解这些主题请观看以下讲座 “在自定环境中提升媒体观赏体验的沉浸度” 以及“探索适用于 iOS、macOS 和 visionOS 的 RealityKit API” 这些新功能可帮助你打造互动感十足的 3D 内容我迫不及待地想看到你借此构建的出色作品感谢观看祝你在 WWDC 度过美妙的时光

// Setup IKComponent
import RealityKit

struct HeroRobotRuntimeComponent: Component {
        var rig = try? IKRig(for: modelSkeleton)
                
        rig.maxIterations = 30
        rig.globalFkWeight = 0.02
                
        let hipsJointName = "root/hips"
        let chestJointName = "root/hips/spine1/spine2/chest"
        let leftHandJointName = "root/hips/spine1/spine2/chest/…/L_arm3/L_arm4/L_arm5/L_wrist"

        rig.constraints = [
            .parent(named: "hips_constraint",
                    on: hipsJointName,
                    positionWeight: SIMD3(repeating: 90.0),
                    orientationWeight: SIMD3(repeating: 90.0)),
            .parent(named: "chest_constraint",
                    on: chestJointName,
                    positionWeight: SIMD3(repeating: 120.0),
                    orientationWeight: SIMD3(repeating: 120.0)),
            .point(named: "left_hand_constraint",
                   on: leftHandJointName,
                   positionWeight: SIMD3(repeating: 10.0))
                ]
                
        let resource = try? IKResource(rig: rig)                
        modelComponentEntity.components.set(IKComponent(resource: resource))
}

21:33 - Update IKComponent

// Update IKComponent
import RealityKit

struct HeroRobotRuntimeComponent: Component {
        guard let reachTarget = sceneRoot.findEntity(named: "reachTargetName") else {
            return
        }

        var reachPosition = reachTarget.position(relativeTo: entity)

        let time = sin(simTime)
        reachPosition.x += (20.0 + 50.0 * time)
        reachPosition.y += (40.0 + 30.0 * abs(time))
        reachPosition.z += (20.0 + 20.0 * abs(time))
  
       guard let ikComponent = modelComponentEntity.components[IKComponent.self] else {
           return
       }

       var reachPosition = reachTarget.position(relativeTo: entity)
       ...
       var leftHandConstraint = ikComponent.solvers.first?.constraints["left_hand_constraint"]
       leftHandConstraint?.target.translation = reachPosition

       // A blendValue = 0 means no influence on the constraint.
       // A blendValue = 1 means full influence on the constraint.
       var blendValue = isEnabled ? (time / totalBlendTime) : (1.0 - time / totalBlendTime)
       leftHandConstraint?.animationOverrideWeight.position = blendValue

       modelComponentEntity.components.set(ikComponent)
}

24:36 - Sequence and play animation actions

// Play Animation Actions
import RealityKit

struct HeroRobotRuntimeComponent: Component {
       let rotateAnimationResource = createRotateAnimationResource()
       let walkAndMoveAnimationGroup = createWalkAndMoveAnimationGroup()
       let alignAtHomeActionResource = createAlignAtHomeActionResource()
       let robotTravelHomeCompleteActionResource = createRobotTravelHomeCompleteAction()

       // Build a sequence of the rotate, move and align animations/actions to play.
       let moveHomeSequence = try? AnimationResource.sequence(with: [rotateAnimationResource,
                                                                    walkAndMoveAnimationGroup,
                                                                    alignAtHomeActionResource,
                                                       robotTravelHomeCompleteActionResource])
                            
       // Play the move-to-home sequence.
       _ = robotEntity.playAnimation(moveHomeSequence)
}

25:59 - Setup EntityActions

// Setup EntityActions
import RealityKit

struct HeroRobotRuntimeComponent: Component {
    struct RobotMoveToHomeComplete: EntityAction {
        var animatedValueType: (any AnimatableData.Type)? { nil }
    }

    let travelCompleteAction = RobotMoveToHomeComplete()

    let actionResource = try! AnimationResource.makeActionAnimation(for: travelCompleteAction,
                                                                    duration: 0.1)
    
    let _ = robotEntity.playAnimation(actionResource)
}

26:39 - EntityAction subscription

// EntityAction subscription
import RealityKit

struct HeroRobotRuntimeComponent: Component {
                  // Subscribe to know when the EntityAction has started.
                RobotMoveToHomeComplete.subscribe(to: .started) { event in
                    if event.playbackController.entity != nil {
                        event.playbackController.stop()
                    }
                }
  
                // Possible states of the robot.
                public enum HeroRobotState: String, Codable {
                    case available
                    …
                    case arrivedHome
                }

               // Subscribe to know when the EntityAction has ended.
                RobotMoveToHomeComplete.subscribe(to: .ended) { event in
                    if let robotEntity = event.playbackController.entity,
                    var component = robotEntity.components[HeroRobotRuntimeComponent.self] {
                       component.setState(newState:.arrivedHome)
                    }
                }
}

29:17 - Setup BlendshapeWeightsComponent

// Setup BlendShapeWeightsComponent
import RealityKit

struct HeroPlantComponent: Component, Codable {
        guard let modelComponentEntity = findModelComponentEntity(entity: entity),
              let modelComponent = modelComponentEntity.components[ModelComponent.self]
        else { return }

            let blendShapeWeightsMapping
               = BlendShapeWeightsMapping(meshResource: modelComponent.mesh)

            // Create the blend shape weights component.
            entity.components.set(BlendShapeWeightsComponent(weightsMapping:
                                                            blendShapeWeightsMapping))
}

29:38 - Update BlendshapeWeightsComponent

// Update BlendShapeWeightsComponent

struct HeroPlantComponent: Component, Codable {
        guard let component = entity.components[BlendShapeWeightsComponent.self]
        else { return }

        var blendWeightSet = blendShapeComponent.weightSet

        // Update the weights in the BlendShapeWeightsSet
        for weightIndex in 0..<blendWeightSet[blendWeightsIndex].weights.count {
            blendWeightSet[blendWeightsIndex].weights[weightIndex] = 0.0
        }

        // Assign the new weights to the blend shape component.
       for index in 0..<blendWeightSet.count {
            component?.weightSet[blendWeightsIndex].weights = blendWeightSet[index].weights
        }
}

32:01 - Setup and update Skeletal Poses

// Update Skeletal Poses
import RealityKit

struct StationaryRobotRuntimeComponent: Component {

        guard var component = entity.components[SkeletalPosesComponent.self] 
        else {
            return
        }
        
        let neckRotation = calculateRotation()

        component.poses.default?.jointTransforms[neckJointIndex].rotation = neckRotation
}

正在查找特定内容？在上方输入一个主题，就能直接跳转到相应的精彩内容。

提交你查询的内容时出现错误。请检查互联网连接，然后再试一次。

章节

资源

相关视频

WWDC24

WWDC23