在你的 app 中支持 Apple Pro Display XDR

大家好 感谢你今天加入我们 我叫 Pranav 在 Apple 的媒体品质团队工作 我今天很高兴来谈论 Apple Pro Display XDR 在本次讲座中 我们将指导 app 开发人员 以及专业用户 如何使用这款令人惊叹的显示器 并以最推荐的方式使用它

Pro Display XDR 是 一款高端参考显示器 它是 32 英寸液晶显示器 像素超过 2000 万 分辨率为 6K 这是 Apple 迄今为止打造的 最大的视网膜显示屏 它具有 P3 广色域 并支持真正的 10 位色彩 显示器的亮度可达 1600 尼特 甚至可以无限期地保持 1000 尼特的全屏亮度 这使其成为所有 HDR 工作流程的 理想显示器 我们还在显示器中内置了参考模式 所有这些模式均在出厂前进行了校准 这意味着你现在可以在具有高色彩精度 并配备满足所有后期制作需求功能的 显示器上工作 （为专业工作流程而设计） 我们在这款显示器上 为专业人士打造了所有元素 它旨在支持专业工作流程 例如视频编辑、摄影、调色 视觉效果、3D 动画和游戏开发 （PRO DISPLAY XDR 上的专业 APP） 已经有一些专业 app 被专门定制 以使用这款显示器 在这里你可以看到其中一些 例如 Blackmagic Design 已在 Resolve 中支持 EDR 这使 Resolve 可以同时显示 扩展范围和 SDR 内容 他们还增加了为输入镜头 时间轴工作空间和输出 指定独特的色彩空间的功能 Adobe Premiere Pro 和 Foundry Nuke 已经实现了对 EDR 的初步支持 不久之后 这些 app 就会提供全面的 EDR 支持 （你的专业 APP） 在本次课程中 我们希望帮助 其他专业 app 开发人员 打造和定制们自己的 app 充分利用这款显示器的功能 （你的工作流程） 同时 我们希望为专业用户 提供使用该显示器的最佳做法 以确保他们的工作流程设置正确

有了这个目标 这是我们今天要介绍的内容 （了解参考模式） 我们会从了解什么是参考模式开始 并了解该显示器上可用的 参考模式的不同特性

（为 PRO DISPLAY XDR 开发） 接下来 我们会谈论 与色彩管理和 EDR 相关的 一些关键概念 这些对于为该显示器 开发专业 app 而言至关重要 （部署 PRO DISPLAY XDR） 接下来 针对专业用户 我们会谈论我们发布的 一些最新功能 以及这些功能如何使他们的工作流程 更加有效和准确 （测量 PRO DISPLAY XDR） 最后 我们会向你展示如何测量 该显示器的屏幕前响应 并确保你的内容在任何参考模式下 都能正确呈现

我们开始吧

什么是参考模式？ 对于每种参考模式 我们都配置了显示器本身的 亮度、色彩和 gamma 响应 因此在从一种参考模式切换到另一种时 显示器会更改其自身的行为 以适应特定的工作流程

而且 由于每种模式均已校准 所有参考模式都会有很高的色彩精度

鉴于此 参考模式 不仅仅是插入 ICC 显示配置文件 实际上 在参考模式之间切换时 ICC 配置文件会自动填充 这有助于显示器与 macOS 提供的 色彩管理协同工作 与任何色彩管理系统一样 你的介质表面需要用色彩描述符进行标记 我们很快会详细讨论这个问题

该显示器提供几种开箱即用的 内置参考模式 有两类参考模式

第一种是 Apple 设计的模式 它反映内部 Mac 显示器的特性 因此 在处于 Apple 设计的模式下时 你会注意到可以启用或禁用 诸如原彩或自动亮度的 动态适应功能

这些自适应技术之所以出色 是因为即使在非参考查看环境下 它们也有助于查看 然而 在参考环境下 创作内容的专业用户 会希望在严格禁用 这些动态功能的参考模式下工作

为此 我们有基于标准的模式 这些旨在支持与常见行业规范一致的 特定后期制作工作流程 并假定你在参考查看环境下工作

在使用这些模式时 查看条件非常重要 通常 大多数工作流程要求 你在昏暗的观看环境下工作 让我们详细了解几种最受欢迎的参考模式 这是使用 ITU BT.709 和 BT.1886 建议 构建的 HDTV 视频参考模式 尽管我们的显示器最多可达到 1600 尼特 和 P3 广色域 但在 SDR 工作流程中工作时 并不需要所有这些 因此在切换到该模式时 我们会故意将显示器的 峰值亮度限制为 100 尼特 并将色量限制为 Rec.709 色域 此外 所有动态控件都被禁用 应在昏暗的观看环境下使用该参考模式 接下来 让我们看看 HDR 视频参考模式 这里我们看到 P3 广色域 和 1000 尼特的峰值 HDR 亮度 而且你可以无限期地拥有 1000 尼特的全屏亮度 这意味着你现在可以随心所欲地 进行 HDR 工作流程 而不必担心样本块尺寸 或亮度随着时间的推移大幅下降

在 pro display XDR 参考模式下 我们充分利用显示器的功能 我们在高达 39％ 的屏幕面积上 有 1600 尼特的 HDR 峰值亮度 使用亮度滑动条 可将 SDR 峰值亮度设置为 500 尼特 此外 所有动态适应功能均可启用 并且 HDR 视频内容经过色调映射 你经常会希望将 SDR 和 HDR 资产 同时显示在同一屏幕上 例如 你可能希望查看 SDR 中的电子邮件 并播放 HDR 中的视频 为了实现这一点 我们提出了 将 SDR 和 HDR 元素 合并为一个的独特方法 我们会很快谈论如何做到这一点

（为 PRO DISPLAY XDR 开发） 我们现在将谈论 在开发用于该显示器的 app时 要注意的一些重要概念 （在 SDR 参考模式下工作） 要进一步了解参考模式 我们需要了解媒体管道中的 不同像素处理阶段 让我向你展示在处于 SDR 参考模式时 会发生什么

我们的 SDR 视频内容 由 core media 解码 并在文件中用色彩描述符标记 接下来 用户界面和 SDR 视频 均被映射到常用图色彩表现形式 以进行合成 然后将合成的界面映射到 显示器的传递函数和色彩空间 然后将其发送到 pro display

在 HDR 参考模式下工作时 例如 HDR 视频或 pro display XDR 模式 Mac 和显示器通过 PQ 链路进行通信 再次 用标记的色彩空间和 gamma 将 SDR 内容和用户界面解码为线性光

用 PQ 或 HLG 传递函数 将 HDR 内容解码为线性光 所有合成均在 EDR 空间中完成 让我们简单地谈论一下 EDR 是什么

EDR 代表扩展动态范围 我们的方法是用扩展范围 来同时展示 SDR 和 HDR 场景 EDR 是一个参考 SDR 的工作空间 因此在其逻辑 0 到 1 范围内 SDR 内容保持不变 而 EDR 允许大于 1.0 的更亮的值 通常称为“净空”的 高于 EDR 1.0 的范围 通常被保留 以代表场景中的镜面高光 和发射面

最后 将合成的帧 映射到显示器的色彩空间和 PQ 传递函数 并发送到显示器

现在我们看到不同的参考模式的表现不同 并利用了 macOS 提供的色彩管理 因此 正确标记包括图像和视频的媒体内容 极为重要

这会确保 macOS 中的 色彩管理系统 能够正确诠释媒体数据 对于图像 会为其指定色彩配置文件 对于视频 会用标准色彩描述符 对其进行标记

让我们看看视频文件中的色彩描述符 可以用 QuickTime Player 的 影片 inspector 读取与视频文件相关联的色彩标签

原色标签指定 从线性 RGB 到 XYZ 空间的映射

传递函数标签 指定电光传递函数 以将非线性 R'G'B' 码字 转换为线性 RGB 空间 最后 Y'CbCr 矩阵 指定 Y'CbCr 和 R'G'B' 空间之间的映射 如果你用 AVFoundation 来标记内容 我建议你观看今年的 WWDC 讲座上 有关导出 HDR 媒体的内容

对于 pro display XDR 上的参考模式 这是推荐的色彩描述符表 应在标记视频文件时使用 这些标签可确保在你使用的参考模式下 正确诠释你的内容

如果你的 app 使用 AVFoundation 框架 它会正确识别参考模式 并为每种模式提供 所需的必要色彩管理 首先 core media 将源中的 Y'CbCr 码字解码 并在源色彩空间中 将其转换为非线性 R'G'B' 码字

然后将其映射到预设的传递函数 和色彩空间

然后显示器可以使用预设的特性 将输入信号线性化

如果你的 app 硬件使用定制视频管道 则需要执行以下操作 首先 你需要用为 Y'CbCr 矩阵 指定的 NCLC 标签 将 Y'CbCr 空间中的码字转换为 R'G'B'

然后应将 R'G'B' 码字线性化为利基值 并映射到 EDR 中 到 EDR 的映射应使 EDR 1.0 被映射到源中的参考白色 然后可将比参考白色亮的像素 映射到大于 1.0 的 EDR 值

然后 显示管道负责将 EDR 映射到 预设的色彩空间 并将其输入到显示器

基于用户使用的参考模式 你需要以不同的方式管理到 EDR 的映射 这会帮助你定制 app 的行为 以利用它 要正确识别用户在使用哪种参考模式 可以使用 EDR 参数 让我们了解这三个净空参数 潜在净空告诉你当前显示配置中 可能的最大净空 不同的参考模式可能会有所不同

例如 HDR 视频参考模式的 峰值 HDR 亮度为 1000 尼特 峰值 SDR 亮度为 100 尼特 这意味着它的潜在净空为 10.0 HDTV 视频模式的 峰值 SDR 和 HDR 亮度为100 尼特 潜在净空为 1.0

净空参数可提高增大当前可用的净空量 并且这可以小于或等于潜在净空 请注意 随着亮度在参考模式下增加 净空可能会减小 例如 Pro Display XDR 预设的 峰值 HDR 亮度为 1600 尼特 如果将亮度滑动条的 SDR 峰值设置为 200 尼特 则净空为 8.0 而潜在净空仍为 16 最后 参考净空是指可精确再现 所需亮度的净空量 参考净空可以小于或等于净空值

例如 在 HDR 视频 和 HDTV 视频参考模式下 我们分别保证 高达1000 尼特和 100 尼特的 精确再现 因此 这些模式的参考净空与净空相同 对于 Apple 设计的模式 参考净空为零

下面是如何用代码实现 首先 我们创建一个 指向 Pro Display XDR 屏幕的 NSScreen 对象 然后 我们可以查询 potentialHeadroom headroom 和 referenceHeadroom 参数

现在你的视频管道已建立 你需要评估 app 的色彩性能是否正确 一种方法是 使用诸如光谱辐射仪的测量仪器 来测量显示器的屏幕前响应 下面是一个流程图 概述了所涉及的不同阶段

如前所述 色彩管理在 macOS 中进行 以将输入信号映射到预设的色彩空间 然后 Pro Display XDR 将 R'G'B' 码字作为输入 并生成光谱

然后可以用光谱辐射仪测量光输出 以得出亮度和色度值

为了帮助完成该流程 我们提供视频测试图样 请参阅 AVFoundation 开发人员网页 这些测试图样是用正确的 NCLC 和 HDR 10 文件的 静态元数据标记的 QuickTime 电影文件 其中包括 21 阶亮度渐变 100% 幅度的原色和副色

在这些测试图样 以所设计的参考模式显示时 我们还包括了 应预期的参考亮度和色度值

现在 我们将谈论部署 Pro Display XDR 并向专业用户展示 如何利用我们发布的一些新功能 使他们的工作流程更有效、更准确

Pro Display XDR 已在出厂前进行校准 可开箱即用 我们还提供针对最流行的工作流程 设计的一系列内置参考模式

除此之外 我们现在还支持一系列定制选项

让我们从谈论定制参考模式开始

尽管显示器中内置了一系列参考模式 但如果你独特的工作流程 需要不同的传递函数 白点和色域的组合怎么办？ 或者你想使用不同的最大亮度目标？ 为此 我们在 macOS 10.15.4 和更高版本中 提供了定制参考模式 使用定制参考模式 你现在可以定制这些参数 以创建独特的参考模式

让我来向你展示如何创建定制参考模式 假设你需要创建 最大 HDR 亮度为 600 尼特的工作流程 还假设你希望 用户界面亮度大于 100 尼特 或许是 200 尼特 你应该首先从系统偏好中选择显示器 在标题为 Pro Display XDR 的窗口上 从预设列表中选择定制预设

现在 选择要从中创建 定制预设的基本预设

接下来 点击加号图标

你可以在此处命名预设 并编辑描述

从可用选项中 你可以选择色域 白点和 SDR 传递函数

你还可以显式应用系统 gamma 增强

最后 我们将最大 HDR 亮度 更改为 600 尼特 将最大 SDR 亮度更改为 200 尼特 并保存预设 现在我们创建了独特的定制参考模式 让我们看看下一个功能

通常测量仪器在个体之间 会有细微的差异 如果所有工作流程均已设置为 与内部仪器配合使用 则可能需要微调 Pro Display XDR 以与其它显示器匹配 对于可以使用 高端校准光谱辐射仪的人而言 现在可以使用微调校准功能来实现这一点 微调校准在 macOS 10.15.6 和更高版本中可用 该功能使你能调整显示器的亮度和白点 以便使其与内部光谱辐射仪更一致 并与其它显示器匹配 让我们看看如何 在 Pro Display XDR 上使用它

首先 我们进入系统偏好 然后选择显示器 在预设列表弹出菜单中 我们可以看到微调校准选项可用

在这里 我们需要输入 测量、目标亮度和白点值 在下一节中 我们将详细讨论如何获取这些

（测量 PRO DISPLAY XDR） 我们知道 作为内容创作者 你要确保显示器以你预期的方式运行 在本节中 我们将谈论如何客观地评估 内容是否正确呈现

下面是一个流程图 说明了在使用 Pro Display XDR 时 我们推荐的屏幕前评估过程

首先 我们需要创建测试图样 并计算将测试图样显示在参考显示器上 并使用校准光谱辐射仪测量时 所预期的参考值

然后 我们设置测量仪器和环境

为了获得准确的结果 我们建议你在进行测量时 使用高端校准光谱辐射仪 下面是我们推荐使用的 几种光谱辐射仪的列表

请确保正确配置仪器 例如 如果你使用的是 Photo Research PR-740 光谱辐射仪 则可能需要将仪器的带宽设置为 4 纳米 并将每次测量的平均读数次数 设置为 3 或更高

如果杂散光干扰测量 则低亮度测量可能会受到影响 为了获得最佳效果 请确保环境完全黑暗

为了避免任何热辐射 我们建议在温度可控的房间内工作 通常低于 25 摄氏度

下一步是在屏幕上显示测试图样 并进行测量

获得测量值和参考值后 应进行误差分析 非常高的误差可能表示过程中存在错误 这可能是测试图样未正确标记 参考模式选择不正确 或仪器和环境设置不正确

对于误差分析 应计算感知色差指标 以了解测量值和参考值之间的差异 有多明显

在本例中 我将使用 我们构建的色差计算器 可计算多个感知色差指标 我们会为此提供示例代码

计算器接收参考值和测量值 并计算 delta-E ITP、delta-E 2000 和 delta PQ 指标

你可以从一系列 色彩空间、色域…

传递函数和表现形式定义输入信号

由于我们的输入信号是 光谱辐射仪测量结果 因此我们会选择 Yxy 色彩空间

接下来 我们输入参考亮度和色度值 在本例中 我们选择了 94 尼特 D65 作为目标

然后我们输入测量的亮度和色度值 如你所见 这与目标略有差异 最后 我们计算误差指标 我们可以对整个 21 阶亮度渐变 重复该过程 以计算每个测量点的计算误差指标

这是一个图表示例 显示整个渐变的 delta-E ITP 值 你可以看到 在本例中 最大误差 发生在目标亮度约为 94 尼特的情况下

接下来 如果误差在感知上微不足道 我们就验证了工作流程 但如果亮度和白点的误差在感知上很明显 我们可以使用微调校准功能来改善误差

现在我们将使用最大错误情况 来微调显示器

首先我们输入测量的白点和亮度值

然后输入目标白点和亮度值

最后 我们可以添加描述并点击“确定” 以微调显示器的校准

现在 我们微调了显示器的校准 为了进行最终验证 我们会进行测量并再次进行误差分析

这是一个示例 向你展示在微调校准后 可能看到的 delta-E ITP 改进 现在 整个亮度渐变 会与内部光谱辐射仪更加匹配

我们会很快增加 对显示器进行现场重新校准的支持

使用该功能 你将能重新校准显示器 以便与仪器更一致 校准过程会调整 显示器的原色、亮度和 gamma 并需要高端光谱辐射仪和黑暗的环境

这是在流程中添加了现场重新校准后的 更新版过程流程图

以下是我们希望你能从本次讲座中 汲取的一些重要内容

Pro-Display XDR 上的参考模式 不仅仅是使用 ICC 显示配置文件 而且提供一种配置显示器本身亮度 色彩和 gamma 响应的方法 在 Mac 上使用色彩管理 每种参考模式均支持多种媒体格式

你可以使用 AVFoundation 框架 或色彩管理自己的视频管道 使用定制参考模式 现在你可以创建自己的参考模式 并处理独特的工作流程 你可以使用 Apple 提供的 测试图样和参考值 来评估工作流程 最后 你可以用现场重新校准和微调功能 来调整显示器的原色、亮度和白点 以便与与内部测量仪器更一致 谢谢