构建更快速响应的媒体 App

了解如何利用 AVFoundation 让用户专注于您的媒体 App 的内容，而不用盯着加载动画长时间等待。我们将介绍如何在您的 App 中提供响应快速且运行流畅的界面，帮助您创建丰富的音视频复合内容、加载音视频素材以及制作媒体缩略图。学习如何在您的 App 的主线程上执行这些操作并同时并行运行 I/O 处理，探索如何在加载自定义存储等数据时实现一流的播放性能。为能更好地理解此讲座，我们建议您先观看 WWDC21 的“AVFoundation 的新功能”。

资源

相关视频

WWDC21

下载

♪ ♪ Jeremy：嗨我是 Jeremy 我将向您展示如何使用 AVFoundation 创建响应速度更快的媒体 App 您在 App 中使用媒体资产时想做的可能不仅仅是播放它们您可能想显示缩略图将媒体合成新的作品或获取有关您资产的信息这些任务需要加载数据对于像视频这样的大文件可能需要一些时间才能完成但非常遗憾如果在主线程上同步工作很容易让您的 App 出现延迟问题一个保持 App 快速响应的好方法是异步加载数据并在完成后更新您的 UI AVFoundation 就能提供工具让这一切变得简单所以这就是我们今天要讨论的内容首先我将向您介绍 AVFoundation 中的一些新的异步 API 接下来我会介绍一项关于使用去年介绍的 async load(_:) 方法进行资产检查的更新我还将向您展示如何使用 AVAssetResourceLoader 优化本地和缓存媒体的自定义数据加载但首先让我们了解一下新的异步 API 使用 AVAssetImageGenerator 从视频中抓取静止图像是创建缩略图的好方法但图像的生成不是即时的

要生成图像图像生成器需要从您的视频文件中加载帧数据对于存储在远程服务器或互联网上的媒体来说加载会慢得多这就是为什么生成图像的方式非常重要使用在主线程上同步加载数据的方法比如 copyCGImage 可能会导致您的 UI 在等待视频加载时定格今年我们添加了 image(at: time) 异步方法它在图像生成器加载数据时使用异步/等待来释放调用线程图像生成器返回一个包含图像的元组及其在资产中的实际时间有几个原因会导致实际时间可能与您请求的时间不同但如果您只想要图像您可以使用 .image 属性直接访问它压缩视频中的某些帧比其他帧更容易加载 i 帧可以独立解码而其他帧则依赖于附近的帧进行解码对于您请求的时间默认情况下图像生成器将使用最近的 i 帧来生成图像将容差设置为 0 以获得您请求时间对应的确切帧可能看起来很诱人但请记住这一帧可能会依赖附近的其他帧它们也需要图像生成器进行加载相反地您可以考虑将容差设置放宽这样您依然会得到寻求的结果放宽的容差通过给图像生成器更多帧进行选择有助于最大限度地减少数据加载它需要加载的帧越少返回图像的速度就越快

要在资产中多次获取系列图像图像生成器提供 generateCGImagesAsynchronously(forTimes:) 然而在 Swift 中使用时需要注意一些细微差别今年我们新增了 images(for: times) 方法它现在要求一个 CMTimes 数组所以不需要先将它们映射到 NSValues 它还使用异步序列提供结果在 Swift 中序列允许您使用 for in 循环遍历它们的项目对于没有一次性准备好的一系列项目异步序列可让您在每次迭代后等待下一个元素对于每个成功生成的图像结果包括最初请求的时间以及跟随图像的实际时间如果失败的话结果中会包含错误原因说明

如果您只对图像感兴趣结果可以通过属性直接访问它的值如果生成失败这也可能引发错误如需了解有关异步序列的更多信息我推荐您查看“认识异步序列”讲座对于图像生成这样的任务可以相对简单地看到它是如何涉及加载数据的但 AVFoundation 还有一些其他的同步领域更难发现问题点 AVMutableComposition 就是这些领域中的一个插入资产的时间范围需要有关资产轨道的信息以便在合成中添加对它们的引用它会同步检查轨道因此如果轨道尚未加载它们将被同步加载以创建新的合成轨道

从前解决方案是先等待资产轨道加载再将它们插入合成中但是今年我们引入了 insertTimeRange 的全新异步版本它将根据需要为您异步加载轨道

视频合成和可变视频合成中还有其他方法也需要加载资产的属性今年新增了 “propertiesOf asset”构造函数 isValid(for:timeRange:) 方法现在也有了对应的异步版本这些新方法将异步加载资产的轨道和持续时间所以也无需预先加载它们这些新的异步方法通过异步加载资产需要的属性使得与资产交互变得更容易但您可能需要自己加载资产属性所以我们来回顾一下异步资产检查您可能已经注意到有两种方法可以检查资产属性引入 AVFoundation 时检查属性的最佳方法是异步键值加载去年我们引入了 async load(_:) 它使用类型安全键来识别要加载的属性过去的异步键值加载技术将硬编码字符串用作键这些字符串键中的拼写错误很难被发现拼写错误的键会使它无法被异步加载当稍后使用该属性时它会在加载时受阻

也很容易发生忘记向要加载的键添加新属性或者完全忘记异步加载它们的情况出于这些原因今年我们将弃用异步键值加载以及 Swift 中的同步属性转而支持异步加载异步加载使用类型安全标识符来防止拼写错误它直接按要求返回属性值以避免访问未加载的属性由于这些都是在编译时检查的您也可以预防一切新的 IO 绑定性能问题产生异步加载现在是在 AVAsset、AVAssetTrack AVMetadataItem 及其子类上进行属性异步检查的唯一推荐方法不过这些类中有一小部分仍提供同步属性检查这是因为它们属性的数据已经在内存中可用让我们再看一下可变组合来寻找原因

我们将使用可变合成将两个现有视频轨道的片段拼合在一起我们首先创建一个空的合成并添加一个空的视频轨道然后我们可以同步将第一个视频轨道的一部分插入合成轨道在后台这一步不加载任何数据相反地它会添加一个指向所需轨道的新轨道段

然后我们可以用相同的方式附加第二个轨道的一部分

由于组合本身由内存结构而不是文件支持我们可以安心地同步检查其属性而无需先加载它们同样出于这个原因同步属性检查将在这些类上保持可用而且所有类都可以使用异步加载进行异步检查

AVFoundation 中所有的新异步方法将让加载媒体数据时防止阻塞变得更容易不过第一次在您的 App 中引入并发单元可能会很棘手请查看 WWDC 21 中的这些讲座来了解如何开始使用 Swift 并发单元并在您的 App 中迁移到 AVFoundation 的异步加载在今天的最后一个话题中我们来谈谈如何为您的资产优化自定义数据加载首先让我们看看 AVAsset 默认是如何加载数据的当您使用 URL 创建 AVAsset 时媒体可能在网络上也可能存储在本地设备上如果在网络上 AVAsset 会动态缓存一定量的数据保证流畅播放如果媒体在本地 AVAsset 可以绕过缓存并根据需要加载数据进行播放在某些情况下您可能无法让 AVAsset 直接指向您的媒体也许您将 mp4 的原始字节存储在自定义项目文件中对于这种情况 AVAsset 可以使用 AVAssetResourceLoader 资源加载器为资产提供了一种从使用特殊加载方式的媒体中请求任意字节的方法但是由于资产不再处理读取数据它无法预测加载每个数据块需要多长时间所以它假设访问媒体涉及网络通信并一直等到它缓存数据才准备好进行播放今年如果您的媒体在本地可用您可以为资源加载器启用 entireLengthAvailableOnDemand 设置此标志就告诉了资产它可以期望按要求接收数据因此可以跳过缓存

对于本地媒体 entireLengthAvailableOnDemand 可以帮助减少 App 在播放期间的内存使用量因为它不需要缓存额外的数据它还可以减少启动播放所需的时间因为资产不必等待缓存预先填满但是必须谨慎启用此标志如果加载需要任何网络操作包括网络文件存储播放很有可能会不可靠

这就是资源加载器的新增强功能现在让我们讨论一些用于您 App 的后续步骤作为总结

使用媒体时可以用异步/等待让您的 App 在后台加载时保持快速响应在使用图像生成器获取更快的结果时请考虑增加容差如果您使用资源加载器来获取本地可用的媒体请按需启用完整块长以帮助提高性能这就是我今天要讲的全部内容感谢观看希望您享受 WWDC 22

1:41 - Generate a thumbnail

func thumbnail() async throws -> UIImage {
    let generator = AVAssetImageGenerator(asset: asset)
    generator.requestedTimeToleranceBefore = .zero
    generator.requestedTimeToleranceAfter = CMTime(seconds: 3, preferredTimescale: 600)
    let thumbnail = try await generator.image(at: time).image
    return UIImage(cgImage: thumbnail)
}

2:56 - Generate a series of thumbnails

func timelineThumbnails(for times: [CMTime]) async {
    for await result in generator.images(for: times) {
        switch result {
        case .success(requestedTime: let requestedTime, image: let image, actualTime: _):
            updateThumbnail(for: requestedTime, with: image)
        case .failed(requestedTime: let requestedTime, error: _):
            updateThumbnail(for: requestedTime, with: placeholder)
        }
    }
}

3:49 - Generate a series of thumbnails

func timelineThumbnails(for times: [CMTime]) async {
    for await result in generator.images(for: times) {
        updateThumbnail(for: result.requestedTime, with: (try? result.image) ?? placeholder)
    }
}

4:40 - AVMutableComposition

let composition = AVMutableComposition()
try await composition.insertTimeRange(timeRange, of: asset, at: startTime)

4:57 - AVVideoComposition

let videoComposition = try await AVVideoComposition .videoComposition(withPropertiesOf: asset)

try await videoComposition.isValid(for: asset, timeRange: range, validationDelegate: delegate)

5:33 - Asset inspection

asset.loadValuesAsynchronously(forKeys: ["duration", "tracks"]) {
    guard asset.statusOfValue(forKey: "duration", error: &error) == .loaded else { ... }
    guard asset.statusOfValue(forKey: "tracks", error: &error) == .loaded else { ... }
    myFunction(thatUses: asset.duration, and: asset.tracks)
}

let (duration, tracks) = try await asset.load(.duration, .tracks)
myFunction(thatUses: duration, and: tracks)

7:06 - Synchronously insert track segments into a composition

// videoTrack1: AVAssetTrack, videoTrack2: AVAssetTrack

// Create a composition and add an empty track
let composition = AVMutableComposition()
guard let compositionTrack = composition
    .addMutableTrack(withMediaType: .video,
                     preferredTrackID: 1) else { return }

// Append the first 5 seconds of track 1
try compositionTrack
    .insertTimeRange(firstFiveSeconds,
                     of: videoTrack1, at: .zero)

// Append the first 5 seconds of track 2
try compositionTrack
    .insertTimeRange(firstFiveSeconds,
                     of: videoTrack2, at: fiveSeconds)
myFunction(thatUses: composition.duration,
           and: composition.tracks)

正在查找特定内容？在上方输入一个主题，就能直接跳转到相应的精彩内容。