让您的 app 全面采用空间音频

让您的 app 全面采用空间音频

探索空间音频如何帮助您的 app 和网络上的媒体带来剧场般的体验。我们将向您展示如何将沉浸式音频轻松整合到兼容硬件的聆听体验中，以及如何根据带宽或连接自动提供不同的聆听体验，此过程只需改动少量代码，甚至无需改动代码。获取关于如何在您的 app 中定制体验的建议，以及利用空间音频以激动人心的全新方式讲述故事。

资源
- Core Audio
- - 高清视频
  - 标清视频
相关视频

WWDC23
- 使用 AirPods 提升你的 App 音频体验
WWDC21
- 探索 AVFoundation 中的 HLS 变体
- AVFoundation 的新功能
下载

♪ （空间音频为App 带来沉浸式体验）大家好！在本环节中我们将探索空间音频如何为您的App打造沉浸式体验我叫西蒙是Apple流媒体团队的一员您是否想要为用户缔造影院般体验并凭借这种体验使您的服务与众不同？您是否希望利用多点音频源提供沉浸式音频营造出身临其境的感觉？我们能否在用户的移动设备上做到这一切？在本环节中我们将探索空间音频以及如何利用Core AVFoundation播放 API和WebKit来实现这一点我们要讲的内容很多我们将一同探讨什么是空间音频将它与我们熟悉的现有技术进行比较然后我们将列举该功能提供的各项技术和处理方式在下半部分我将介绍API 和不同的处理方式接下来我们将回顾以前版本对空间音频的支持程度以便您能够适当地对功能进行定位我还将展示2021年秋季 OS版本的新功能最后我们将进行一场演示很高兴能跟大家分享上述内容相信各位会喜欢的！想要知道什么是空间音频我们先从传统的立体声说起不管是使用耳机还是立体声扬声器我们感知到的声场非常有限我们无法听到背后正前方或头上的声音等因此难以营造栩栩如生的环绕声体验当我们佩戴耳机时声音从我们耳朵里的微型扬声器中发出我们称之为头上体验当我们在观看影片期间自然地转动脑袋时微型扬声器会随之移动这不是影院般体验却是空间音频的用武之地空间音频提供影院般体验是一种心理声学技术能营造引人入胜的虚拟声场效果它最适合多声道内容但也为立体声内容提供引人入胜的体验最后空间音频支持视听和纯音频媒体资源最重要的是它适用于用户已经拥有的各种Apple产品您可以轻松地为您的用户带来空间音频体验正如我刚才所说在应用程序中嵌入空间音频的最佳方法是提供多声道音频当提供参考多声道音频替代方案的HLS变体时这种体验最能适应用户的环境您的内容库里可能已经有了多声道音频源媒体只需要发布此媒体便可在应用程序中默认启用空间音频无需对软件进行任何修改常规媒体文件以及2021秋季版本 WebKit媒体源扩展中的多声道音轨也受益于有限的支持稍后我将对此进行详细说明我们来看看您现在可以创造的媒体体验您现在可以利用空间视频打造多种多样的体验您可以提供环绕音效体验让我们感觉就像是在音乐会上您可以制作带有互动场景的全动态视频游戏让玩家踏上身临其境的冒险之旅但这项技术的工作原理是什么？在使用空间视频时虚拟声场是静态的声场不会随着头部的随意移动而移动不像我们之前看到的立体声我们得到的是与影院如出一撤的音效和感受这种效果可能来自于我们许多产品中的内置扬声器现在精选耳机产品也有这种效果在使用具有空间效果的耳机时播放设备惯性测量单元的测量值与耳机中的类似测量值进行比较以确定用户的头部姿势这被用来动态改变音频渲染以保持静态的声场效果结果就是用户感觉声音是从相机或听者周围的原始位置发出从而实现头外体验公交车转弯或飞机倾斜飞行时空间音频效果依然保持我们还提供了一种混合立体声源的技术以营造出5.1声道体验我们开发这项功能以提供空间音频以及您现有的立体声内容库对于支持这项功能的耳机这是2021年秋季版本中默认的立体声处理方式我们也利用这种处理方式使您更愿意接受和提供空间音频因为现在您可能在想分发多声道音频可能会妨碍媒体的视觉质量毕竟多声道音频的码率比如今的立体声AAC音频高得多如何在受限的网络带宽环境中同时满足这两个条件呢？这是个现实问题我们的解决办法是使空间音频体验适应于用户的带宽当带宽不足以带来高质量的视听体验时音频会无缝降级为立体声一种混合但仍然具有空间感的处理方式如果在降级之前提供了头部追踪那么降级之后将保持不变不久后当带宽稳定恢复时将重新采用完整的多声道空间处理方式考虑到这种自适应空间音频体验使立体声和多声道音频之间的音量水平正常化就显得非常重要此外请在媒体编码中提供DRC （动态范围控制）和对白归一的元数据这在developer.apple.com 的HLS AuthoringSpecification 中有更详细的描述现在我们来看看您可以用于定制空间音频体验的接口为了在应用程序中定制默认的空间音频体验无论是通过AVPlayerItem 还是现在的AVSampleBufferAudioRenderer 你指定四种AVAudio SpatializationFormats之一这些都是为了实现单声道和立体声多声道以及二者结合的空间化也就是单声道立体声和多声道源音频格式您还可以指定零来禁用音频空间化请注意我们的平台通过控制中心和蓝牙设置根据音频路由的类型为用户提供系统级控制以便进一步提供定制化体验我们取四个值之一并将其设置在 AVPlayerItem 和2021年秋季版本新功能 AVSampleBuffer AudioRenderer 的allowedAudioSpatialization Formats属性上现在您可能想知道如何利用 AVFoundation API 发现音频路由是否支持空间音频？您如何知道是否应该向 AVSampleBuffer AudioRenderer 实例提供多声道音频？在2021年秋季版本中我们引入了一个属性在AVAudioSession PortDescription上表明这一点另外我们在AVAudio Session上引入了一个机制供您向系统表明您的应用程序能够提供多声道音频如果客户没有在控制中心或蓝牙偏好设定中启用空间音频处理方式就会显示此提示请注意如果应用程序使用 AVPlayer 这些提示都是替您管理的 isSpatialAudio Enabled属性表明端口能够支持空间音频且得到用户允许我们建议您在每个事件中留意路由变更通知并检查isSpatial AudioEnabled 同样当客户修改控制中心和蓝牙设置中的空间偏好时 AVAudioSession 将发出 spatialPlaybackCapabilities ChangedNotification 为了方便起见该通知内含关于空间音频启用状态的信息利用 AVAudio Session Spatial AudioEnabledKey 来检索与此通知相关的状态最后想要向系统表明您的软件或服务可以提供多声道内容您可以在意图中调用函数 setSupportsMulti channelContent 用于告诉用户如果网络条件允许且启用了空间处理方式那么空间体验可用现在让我们看看过去三年的版本对该特性的支持情况在macOS Catalina iOS和iPad OS 13中指定任何带有 http方案的URL 空间音频通过带有AVPlayer Item和WebKit 视频标签的内置扬声器提供该技术适用于2018年及以后的 MacBook iPhone 和iPad Pro系列产品默认是通过选择可用的多声道音频副本来提供空间化在macOS Big Sur iOS和iPad OS 14中我们引入了对AirPods Pro和AirPods Max 头轨耳机的支持通过这些配件实现的空间化功能将纳入2016年及以后的 iPhone和ipad配套设备默认依然是通过选择可用的多声道音频副本来提供空间化接下来是 macOS Monterey iOS iPadOS和 tvOS 15的全新支持这里我们通过 AVPlayerItem AVSampleBufferAudioRenderer 和有限的WebKit支持为W3C媒体源扩展MSE提供支持 MSE路径不提供定制空间化体验的接口但确实存在一个接口可以通过 Media Capabilities API集中的 AudioConfiguration字典来检测空间音频支持的可用性在这些版本中默认是在条件允许的情况下为所有可用的单声道立体声和多声道源提供音频空间化对于只有音频的内容包括所有的AVSampleBuffer AudioRenderer用途默认情况下只提供多声道音频副本现在我们知道了什么是空间音频以及如何使用它接下来我们为您准备了特别内容我们将向您展示如何在软件和服务中使用空间音频以充满创意的新方式讲述故事我们来听一听！ ♪
哈哈我们再听一次呃库比蒂诺吗？我们遇到了一个问题这次是什么？我知道我知道什么？ -抱歉西蒙 -不？这行不通。 -真的吗？ -我知道该死好吧我们做这个很棒的演示是为了展示您可以用空间音频达到的各种炫酷效果但是您知道看来今天是实现不了了注意我们要试一试别的我无法给大家看视频但要是我可以描述它呢？我不知道您目前身处何地但我希望您闭上眼睛想象一下自己正位于WWDC大厅您知道那是怎样的感受对吧？感觉如何？在您的脑海中描绘它想象一下讲台和大屏幕我们即将把灯光调暗开始播放这个视频嘿！你！把灯光调暗我们身处于旧金山上方的高空从湾区飞掠而来在高楼大厦间穿梭风在我们身边呼啸然后我们飞出这座城市沿半岛而下一直来到苹果园区我们飞进园区当我们飞过时您看到一个发型靓丽的人弯腰躲闪他喊道：“慢一点！” 这具有非常酷的从左至右的多普勒效应慢一点！我们现在正飞过苹果园区感受在树木间穿行的嗖嗖声我们来到池塘享受片刻的安静祥和老实说我对空间音频不感兴趣然后我们再次上路与飞鸟同行直至抵达 Caffè Macs的大玻璃门我们行走在光滑的水磨石地板上直到看见这个女人她正在吃披萨她的iPad支在桌子上她完全沉浸在一部情节紧张的电影中那是黄昏时分的茂密丛林
这音频简直不会吧！它把我们拉进了电影场景他很好地描述了这个演示我几乎觉得我就在现场太生动了
远处的猴子发出叫声但场面突然变得诡异起来所有动物都异常安静我们只能听见叶子的沙沙声这时一棵树倒了局面崩溃了有什么东西来了！很大的东西！砰砰砰我们能听见自己的心跳声从胸腔里传来然后是寂静就在我们准备长舒一口气的时候
一只恐龙从我们正对面的树林中冲了出来！我们抬起头刚好对着它张开的大嘴巴！
第42场拍摄到此结束我们后退几步发现自己身处片场我不知道自己是否喜欢那种灯光那只恐龙停在那里一动不动一群人开始清理片场去找凯利你有20名演员？是的他们在化妆观看太空发射你来吗？我们跟着两个人上了一辆拖车去观看今天的太空发射当然是用环绕音频播放观众屏息凝神但我们却穿过他们进入到电视中 -准备发射 -一切正常现在我们身处航天舱内
把踏板踩到底火箭点火！起飞！向月球前进！下一站宁静号一切正常三级二级一级助推器分离正常火箭的第二级已经脱落我们也跟着往下掉跟着第二级火箭掉向地球速度越来越快现在我们掉入了大气层朝地面冲去前方有什么东西是一架大型喷气式飞机越来越大然后
大家早上好我是机长从驾驶舱与各位通话
我们正降落到今天的最终目的地请不要
太棒了！
好了嗯这很有趣我们总结一下我们的所见所闻我们发现我们可以很轻松地为用户提供空间音频体验实际上您可能不需要做任何事情便可在您的应用程序中使用空间音频只要在您的HLS变体播放列表中提供多声道音频就行了请记住必须使立体声和多声道音频之间的音量水平正常化并包含DRC元数据最后我们讨论了在过去三年的OS版本中如何为广大的用户提供空间音频在我们的相关视频中您将了解如何发现您的HLS资源是否拥有多声道音频当您探索AVFoundation 中的HLS变体时请了解所有相关内容希望大家喜欢今天的视频和我们的团队反正我是很喜欢希望空间视频能够为您和您的App带来沉浸式体验敬请观看WWDC 2021 的其余内容谢谢大家 ♪

public struct AVAudioSpatializationFormats : OptionSet {

    public init(rawValue: UInt)

    
    public static var monoAndStereo: AVAudioSpatializationFormats { get }

    public static var multichannel: AVAudioSpatializationFormats { get }

    public static var monoStereoAndMultichannel: AVAudioSpatializationFormats { get }
}

7:21 - AVPlayerItem and AVSampleBufferAudioRenderer

@available(macOS 11.0, *)
var allowedAudioSpatializationFormats: Int32

8:21 - Spatial audio availability

@available(iOS 6.0, *)
class AVAudioSessionPortDescription : NSObject {

  @available(iOS 15.0, *)
  var isSpatialAudioEnabled: Bool { get }

 }

8:35 - Spatial audio availability

extension AVAudioSession {
  @available(iOS 15.0, *)
  class let spatialPlaybackCapabilitiesChangedNotification: NSNotification.Name
}

@available(iOS 15.0, *)
let AVAudioSessionSpatialAudioEnabledKey: String

9:01 - Control center integration

extension AVAudioSession {
  @available(iOS 15.0, *)
  func setSupportsMultichannelContent(_ inValue: Bool) throws
  @available(iOS 15.0, *)
  var supportsMultichannelContent: Bool { get }
}

正在查找特定内容？在上方输入一个主题，就能直接跳转到相应的精彩内容。

提交你查询的内容时出现错误。请检查互联网连接，然后再试一次。

资源

相关视频

WWDC23

WWDC21