使用高级视频质量工具评估视频

♪低音音乐播放♪ ♪ 普拉纳夫索达尼：你好 欢迎来到WWDC！ 我叫普拉纳夫 是Apple显示和色彩技术团队的 成员 在本次演讲中 我们会介绍一种视频质量工具 并示范如何使用它 来评估app或内容创建工作流程中 压缩视频的感知质量 好 让我们从典型的 视频交付工作流程开始 在这样的工作流程中 高质量的源视频 经过视频压缩和可选的 视频降级以生成 具有较低比特率的视频 然后可以通过带宽受限的 网络轻松传输 这些低比特率视频 一些可能的方法使用这样的工作流程 包括AVFoundationAPI 例如AVAssetWriter 例如Compressor的app 或者它可以是你自己的 视频压缩工作流之一 现在 缩小和压缩 可以添加视频编码和缩放伪像 这会损害源视频 并产生可见的伪影 这种伪影的一个例子 是压缩视频中的块状效应 如右侧的帧所示 另一个例子是当视频看起来模糊 视频细节开始消失 这种伪影会对消费者的 视频质量体验产生不利影响 我们知道消费者期待 高质量的视频体验 因此 实现这个期望非常重要 现在 执行此操作的第一步 是评估你所交付内容的质量 最准确的方法 是让真人观看视频 并根据视频质量等级对其进行评分 但这非常耗时 如果你想 评估大量视频 这是无法扩展的 幸运的是 还有另一种方式 这里我们需要的 是一种客观方法来描述视频质量 这样我们就可以自动化这个过程 以提高速度和可扩增的能力 在这种设置下 感知视频质量工具 将压缩后的视频和源视频作为输入 并输出视频质量分数 这个分数可以是 一到五范围内的浮点数 模拟真实的人对压缩视频的评分 今天 我们很高兴 能为我们的开发者 提供这样一个感知视频质量工具 我们将其称为高级视频质量工具 或简称AVQT 让我们进一步了解AVQT 那么AVQT到底是什么呢？ 好 AVQT是作为macOS命令行 可执行文件提供的 它试图模仿真实的人 如何评价压缩视频的质量 你可以使用AVQT来计算帧级别 和段级别分数 其中一个段通常只有几秒钟长 当然 我们还在AVQT中添加了 对所有基于AVFoundation的 视频格式的支持 这包括SDR 以及HDR视频格式 如HDR10、HLG和杜比视界 接下来 我们要讨论AVQT的三个关键属性 这些属性使其在app中非常有用 首先 我们将看到AVQT 与人类感知的一致性 然后我们将讨论AVQT的计算速度 最后 我们会说明为什么在预测视频质量时 观看设置感知很重要 让我们详细讨论每一个问题 AVQT与人类对视频质量的看法 有很好的相关性 它适用于各种内容类型 例如动画、自然场景或体育 我们发现 传统的视频质量指标 如PSNR和结构相似性 简称SSIM 通常在不同的内容类型中效果不佳 让我们看个例子 这是一段高质量的体育视频 这是我们的第一个源视频 让我们看看压缩视频中的同一帧 你可以看到该帧确实具有 足够高的感知质量 正因如此 它的PSNR得分约为35 AVQT得分为4.4 接下来 我们在第二个源视频中 进行相同的练习 在这种情况下 压缩视频 似乎有可见的伪影 特别是 你可以在人的脸上 看到一些伪影 有趣的是 它获得了相同是 35左右的PSNR分数 但这次AVQT评分在2.5左右 这代表质量很差 我们认为这里的AVQT分数 是正确的预测 请注意 这只是我们选择的一个示范 用来说明在交叉内容评估中 可能出现的问题 我们想在一系列不同的视频中 测试AVQT的感知准确性 所以我们在公开可用的 视频质量数据集上对其进行了评估 这些数据集包括源视频 压缩视频和人类受试者提供的 视频质量分数 在这里 我们将向你展示两个数据集的结果 Waterloo IVC 4K 和VQEG HD3 Waterloo IVC数据集 包括20个源视频 和480个压缩视频 涵盖编码和缩放工件 它涵盖了四种不同的视频分辨率 和两种不同的视频标准 VQEG HD3数据集相对较小 它有9个源视频和72个压缩视频 这些是使用1080p视频分辨率的 视频编码生成的 为了客观地衡量 视频质量指标的性能 我们使用了相关性和距离度量 皮尔森积动差相关系数 或简称PCC 衡量预测分数 与主观分数的相关程度 PCC值越高 相关性越好 RMSE测量的是预测 与主观得分之间的差距 RMSE值越低 预测精度越高 现在 我们要评估AVQT 对人类受试者 给出的分数的预测能力 在这里的x轴上 我们有真实的主观视频质量分数 在y轴上 我们有AVQT预测的分数 这里的每个点都代表一个压缩视频 从散点图中可以看出 除了少数异常值外 AVQT在预测该数据集的主观分数方面 做得很好 这也反映在高PCC和低RMSE分数上 我们在VQEG HD3数据集上 也看到了高性能 让我们继续讨论AVQT的计算速度 请注意 高计算速度 对于确保可扩展功能性 非常重要 AVQT的算法经过设计和优化 可以在Metal上快速执行 这代表你可以非常快速地 浏览大型视频文件 它还负责本地处理所有预处理 对你来说 这代表你不必解码视频 并离线缩放它们 AVQT可以帮你做到这一点 你应该注意到AVQT 以每秒175帧的速度 执行1080p视频 因此 如果你有10分钟长的 24Hz 1080p视频 AVQT可以在1.5分钟内计算其质量 我们要讨论的最后一个属性 是查看设置感知 你的观看设置会影响你在观看视频时 感知的视频质量 特别是 显示尺寸 显示分辨率和观看距离等因素 可能会掩盖或夸大视频中的伪影 为了解决这个问题 AVQT将这些参数作为工具的输入 然后随着这些因素的变化 尝试预测正确的趋势 我们来看个这样的例子 考虑两种情况 在场景A中 你正在4K显示器上 观看4K视频 观看距离是屏幕高度的1.5倍 在场景B中 你在同样的显示器上 观看相同的视频 但现在的观看距离 是屏幕高度的三倍 显然 在场景B中 你会错过一些 在你仔细观察时可见的工件 这代表你在场景B中感知的视频质量 会高于场景A 而AVQT可以在不同质量水平上 捕捉到这些趋势 此处的图表显示 随着观看距离 从1.5倍增加到3倍 AVQT分数也会增加 我们建议你查看该工具提供的 自述文件以获得更多信息 好了 现在我们已经让大家 都对AVQT感到兴奋了 让我展示一下如何正确使用这个工具 我们将很快通过开发者下载门户网站 把AVQT提供给所有人 让我给你们示范一下 所以我已经下载了这个工具 并在这个系统上安装了AVQT 如果查看“which AVQT”的输出 你可以看到AVQT被放置在 usr/local/bin目录中 现在 你可以调用AVQT帮助命令 来阅读更多关于AVQT支持的 不同标志的用法 让我们看看我当前目录中有什么 我有一个示范参考 和一个示范压缩视频 我会用来示范 让我用AVQT检查一下 我们将提供参考和测试文件作为输入 并指定输出文件 让我们将输出文件命名为 sample_output.csv 该工具会打印进度 并在屏幕上报告分段分数 默认片段持续时间为六秒 由于此片段长五秒 所以我们只有一个片段 接下来 让我们看看输出文件 你可以在这里看到帧级别分数 最后 我们将细分级别的分数 放在底部 现在 在示范中 我们展示了一些选项 但该工具还内置了一些其他功能 例如 你可以使用segment-duration 和temporal-pooling标志 来更改聚合帧级分数的方式 同样 你可以使用查看距离 和显示分辨率标志指定查看设置 请参阅自述文件以获得更多详细信息 好的 到目前为止 我们已经了解了AVQT的一些 关键属性 我们还看到了如何在一对视频上 使用命令行工具来生成视频质量分数 现在让我们看一个具体的例子 在这个例子中 你可以使用AVQT 来优化HLS的比特率 HLS层以不同的比特率进行编码 我们知道选择这些比特率 并不总是个容易的过程 为了帮助解决这个问题 我们在《HLS创作规范》的文档中 发布了一些比特率指南 请注意 这些比特率 只是通过HLS传输的 典型内容的初始编码目标 我们也知道不同的内容 具有不同的编码复杂度 这代表最佳比特率 因不同的内容而异 因此 适用于一种类型内容的比特率 例如动画电影来说 可能很有效 但对体育赛事来说就不一定了 以下是如何使用AVQT 作为反馈来帮助你确定 内容的最佳比特率 首先 我们从初始目标比特率开始 我们使用这个比特率 来编码我们的源视频 并创建HLS层 然后 我们使用源视频 和编码的HLS层 使用AVQT计算视频质量分数 最后 我们可以分析AVQT分数 来决定是要增加还是减少HLS层的 目标比特率 为了通过例子示范这一点 让我们选择一个特定的HLS层 这里我们选择每秒11.6兆位的 2160p层 然后 我们要使用推荐的比特率 对前两个序列 动画和体育 进行编码 一旦我们准备好编码层 我们就使用AVQT来计算 它们的视频质量分数 此处的图表显示了 两个视频序列的AVQT分数 对于这一层 我们可以期待高视频质量 因此我们将阈值设置为4.5 表示接近优秀的质量 你可以看到 虽然这个比特率 对于这个动画影片来说已经够好了 但对于体育影片来说还不够 因此 我们返回并使用此反馈 来调整我们的比特率目标 特别是 我们需要提高 体育影片的比特率目标 并重新计算其AVQT分数 我们的目标是将比特率提高10% 在这里 我们绘制了 体育影片的新AVQT分数 更新后的分数现在高于我们预期的 阈值4.5 它也更接近于动画内容的 视频质量 最后 我们想让你从这次演讲中 了解一些重要的事情 视频压缩会导致可见的伪像 影响消费者的视频质量体验 你可以使用AVQT评估压缩视频的 质量 AVQT作为macOS命令行工具 可以快速计算 并且可以查看设置 它还支持 所有基于AVFoundation的视频格式 最后 你可以使用AVQT 来优化HLS层的 视频质量 非常感谢！ ♪