探索 AVFoundation 中的媒体性能指标

探索如何利用新的媒体性能 API 来监测、分析并改进用户体验。了解如何使用不同的 AVMetricEvents 来监测音视频播放器在 HLS 素材方面的性能，并学习如何利用这些指标来理解播放器性能问题，以及进行相关分类。

章节

资源

下载

大家好我叫 Nishant 是一名 AVFoundation HLS 工程师很高兴为大家介绍我们在研究的功能今天我们将了解一种收集媒体性能指标的新方式在 iOS 18 中这些指标表示为事件我们将探索事件、不同类型稍后我们将了解你的 App 如何订阅这些事件首先我们先来了解媒体播放的一些常见问题第一个问题是媒体播放启动花的时间太长另一个问题是播放过程中的卡顿

要在现场对这些问题进行分类很困难但如果我们能够获得客户端指标这就会简单的多除此之外客户端指标可让我们深入了解 AVFoundation API 的工作原理这有助于了解和改善性能

之前对于媒体播放你可以通过访问日志、错误日志和各种 AVPlayer 通知获取一些客户端指标在 iOS 18 中对于 HLS 流媒体资源我们正在优化可用的指标并提供更多数据点现在我们来探索其中的一些新指标我们将研究遇到媒体播放问题的媒体播放会话这是一个视频播放时间线时长 15 分钟放大前两秒我们可以看到启动过程中发生的情况首先 AVPlayer 会开始获取多变体播放列表这在时间线上显示为一个事件

然后 AVPlayer 会获取视频、音频和字幕播放列表它们同样显示为时间线上的事件在媒体播放列表中 AVPlayer 会提取媒体片段以及任何必要的内容密钥当 AVPlayer 缓冲了足够的内容后便达到了可以继续播放的阶段这在时间线上表示为 “可能保持”事件这个事件提供了启动时间以及影响启动的因素的详细信息例如相关播放列表、媒体片段和内容密钥事件我们可以看到启动花费了将近 2 秒时间

由于启动时间较长我们来查看前面的事件我们发现大多数启动时间花在了等待内容密钥请求我们要么需要提高密钥服务器的性能要么尝试在播放前在客户端预加载密钥这将有助于缩短启动时间借助客户端指标你现在了解了 AVFoundation 播放会话中发生的情况

接下来我们来看另一个问题即媒体播放卡顿将时间线放大到第 7 至第 8 分钟我们可以看到发生了卡顿

这在时间线上表示为一个事件

我们来看卡顿前发生的事件可以看到 AVPlayer 正在获取媒体片段仔细看可以发现视频媒体片段似乎返回了 HTTP 404 错误这解释了变体切换从 20Mbps 变为 15Mbps 的原因

在变体切换之后新变体中的视频媒体片段再次返回 HTTP 404 错误此时 AVPlayer 的缓冲内容不足从而导致卡顿

由于能够访问媒体片段事件我们现在可以获取 NSURLSessionTask 指标的参考这可以提供关于请求失败原因的更多详细信息比如完整的响应头以及其他网络事务详细信息我们可以使用这些信息和会话标识符来更精确地定位问题从而为 CDN 合作伙伴提供支持通过这种方式你可以在现场使用客户端指标对问题进行分类

最后如果你想大规模监控会话 AVPlayer 还会在结束时创建一个摘要事件这个事件提供不同的关键性能指标例如会话卡顿次数、切换次数统统一目了然你可以使用这些 KPI 大规模追踪媒体播放健康状况总结一下我们查看了播放列表、媒体片段和内容密钥事件它们提供了单个资源请求的相关信息然后我们查看了卡顿和变体切换事件它们提供了媒体播放卡顿和变体切换的相关信息最后我们查看了包含 KPI 的摘要事件除此之外每当播放速度发生变化 AVPlayerItem 会生成速度变化事件当用户寻求时生成寻求事件当发生错误时生成错误事件现在我们来了解 App 如何订阅从而接收这些事件在 iOS 18 中我们将推出一个新的 AVFoundation API 称为 AVMetrics 它提供了一种统一的方式可从不同的 AVFoundation 接口收集指标当媒体时间线上发生事件时你的 App 会收到相应的事件事件在特定活动结束时生成比如媒体播放列表获取它采用发布者/订阅者模型你可以仅订阅你感兴趣的事件现在我们来了解一些核心概念发布者是支持发布事件的 AVFoundation 接口它们遵守 AVMetricEventStreamPublisher 协议这个协议支持发布特定指标事件类型或所有指标的事件在 iOS 18 中 AVPlayerItem 遵守 AVMetricEventStreamPublisher 协议这意味着它可以发布事件我们来看一个例子在这个例子中我们想要了解 “可能保持”和“摘要事件” 然后将这些事件报告给我们的后端分析服务器首先我们抓取 “可能保持”和“摘要事件”的 AVMetrics 异步序列流然后我们会创建按时间顺序合并的流合并后的流会按时间顺序高效地发送 “可能保持”和“摘要事件” 收到事件后我们可以将事件序列化并将事件发送到后端分析服务器

如果你是 Objective-C 开发者 AVMetrics API 会略有不同在这里你会创建 AVMetricEventStream 实例并设置你的订阅者之后就可以订阅感兴趣的事件

然后你将添加 AVPlayerItem 此时你的订阅者将开始接收这些事件

你将这些事件序列化以便发送到后端服务器这样我们便可以了解 App 如何订阅客户端指标并向后端分析服务器报告客户端指标总结一下我们探索了 AVPlayer 的客户端指标、各种不同的事件类型然后我们了解了 App 如何订阅以接收这些指标我们期待你在 App 中采用这个新的 API 希望更丰富的客户端分析可以帮助你在现场进行问题分类并提升媒体播放性能为用户带来出色体验谢谢大家

6:27 - AVMetric Publishers

public protocol AVMetricEventStreamPublisher 
{
	func metrics<MetricType: AVMetricEvent>(forType metricType: MetricType.Type) -> AVMetrics<MetricType>

	func allMetrics() -> AVMetrics<AVMetricEvent>
}

extension AVPlayerItem : AVMetricEventStreamPublisher

6:50 - Example showing how to obtain likely to keep up and summary metrics from AVPlayerItem - Swift

let playerItem : AVPlayerItem = ...
			
let ltkuMetrics = item.metrics(forType: AVMetricPlayerItemLikelyToKeepUpEvent.self)
let summaryMetrics = item.metrics(forType: AVMetricPlayerItemPlaybackSummaryEvent.self)
		
for await (metricEvent, publisher) in ltkuMetrics.chronologicalMerge(with: summaryMetrics) 
{
	// send metricEvent to server
}

7:26 - Example showing how to obtain likely to keep up and summary metrics from AVPlayerItem - Objective-C

AVPlayerItem *item = ...
	
AVMetricEventStream *eventStream = [AVMetricEventStream eventStream];
id<AVMetricEventStreamSubscriber> subscriber = [[MyMetricSubscriber alloc] init];
[eventStream setSubscriber:subscriber queue:mySerialQueue]

[eventStream subscribeToMetricEvent:[AVMetricPlayerItemLikelyToKeepUpEvent class]];
[eventStream subscribeToMetricEvent:[AVMetricPlayerItemPlaybackSummaryEvent class]];

[eventStream addPublisher:item];

正在查找特定内容？在上方输入一个主题，就能直接跳转到相应的精彩内容。