探索参考模式

大家好 我叫 Ben Bodner 来自 Apple 的 Display and Color Technologies 团队 在本视频中 我将介绍 iPad Pro 上 新参考模式的功能、 用例和 API 为了帮助大家理解 参考模式 我将首先介绍一下 什么是参考显示器 许多显示器 都会有意地操控图像的颜色、 对比度和清晰度 例如 电视机通常具有不同的模式 每种模式分别对应某种独特的 美学外观； 移动设备则经常要 适应环境光照条件 尽管在大多数情况下 这类功能 可以满足需求 但对于那些通常 想要确切了解显示器 如何渲染图像的内容创作者来说 使用这些功能可能 会存在问题 正是出于这个原因 参考显示器会 按照媒体格式的规范 精确渲染颜色 这意味着 即使有不同的参考显示器 它们也会一致地渲染 相同的内容 这种一致性 让内容创作者能够 使用多个显示器 并确信自己的作品 在所有显示器上 看起来都是一样的 当然前提是在 适合其媒体格式的 正确光线条件下观看 我们已经了解了 参考显示器 现在让我们来 详细了解一下 iPad 上的参考模式 首先 我会介绍一下何时 以及如何使用参考模式 接下来 我将介绍 参考模式的具体功能 包括支持 哪些媒体格式 最后 我将简要介绍 与参考模式相关的 API 那么 什么时候 适合使用参考模式？ 我们该如何启用参考模式？ 参考模式可支持 或增强各种 内容创建工作流程 此外 它还为 那些注重色彩 并需要用到参考显示器的任务 提供支持 而这些在移动设备上 过去是不可能实现的 这其中就包括调色 以及调色后内容的审查 与批准 同时 它还提升了 移动视频编辑 和合成 App 的色彩精准度 改善了 通常无法使用 参考显示器的用户 的体验 最后 参考模式 支持基于 Metal 和 AVFoundation 的 颜色渲染 因此为这些工作流程提供服务的 App 可以使用其中的任何一项技术 参考模式类似于 某些 macOS 系统上 现有的 参考显示器预设 但二者之间有一个 重要区别 在 macOS 上 有多种 预设模式可供使用 每种模式 分别为不同的格式 提供参考颜色渲染 在 iPad 上 参考模式 只是一个 开关设置 这意味着您可以获得 适用于多种格式的 参考颜色渲染 而无需更改设置 用户只能 通过 iPad 设置 来访问该模式 而 App 无法以编程方式 将它启用或禁用 参考模式可在 12.9 英寸第五代 iPad Pro 上使用 它不仅能与 iPad 一起作为独立设备使用 同时也让随航功能 焕然一新 随航功能允许 将 iPad 用作 macOS 设备的 第二台显示器 此前 随航功能并不支持 EDR 而现在 如果在用作随航显示器的 iPad 上 启用参考模式 那么除了为所支持的格式 启用参考颜色渲染之外 它还将支持 EDR 这一新功能还 需要一台搭载 Apple 芯片的 Mac 并且将 macOS Ventura 用作“随航”显示器的 主机 启用参考模式 还可以操控“设置”菜单中的 其他几个项目 为实现一致的 颜色渲染 系统会锁定亮度滑块 并关闭 动态显示功能 这包括禁用和 锁定原彩显示、 夜览以及 自动亮度调节功能 在介绍了 何时以及如何 启用参考模式之后 现在让我们进一步了解一下 使用参考颜色 意味着什么 以及参考模式的 具体功能 就像我前面提到的 macOS 预设一样 参考模式也是使用 色彩管理功能 来支持多种不同的 媒体格式 这样可以确保 根据每种格式的规范 准确地渲染 颜色 当然 要确定 该如何渲染颜色 还需要对媒体进行标记 来指示它的具体格式 为了使参考颜色 管理有效 只能 在格式标准 所指定的 参考环境 中观看显示器 参考模式 所支持的视频格式 需要光线较暗的环境 而图形则应在 明亮的室内环境中查看 那么 参考模式 使用了哪种色彩管理功能呢？ 所有格式的颜色 都符合类似的规范 这包括 D65 白点以及 SDR 媒体 100 尼特的峰值亮度或 HDR 媒体 1000 尼特的 峰值亮度 HDR 格式将禁用 色调映射 因此显示器 可以精确跟踪 格式的转换函数 只要颜色 不超过 1000 尼特 并且在 iPad 的原生色域 即 P3 色域内 颜色就会 正确显示 在不使用 色调映射的情况下 超出色域或亮度超过 1000 尼特的 颜色将被削减 削减的结果 可能会因格式而异 说到格式 下面列出了 参考模式所支持的格式 以及每种格式的 相应 macOS 参考 显示预设 在 iPad 上 参考模式 将根据颜色标签 来确定适合的 色彩管理功能 因此无需 在预设之间切换 标签的示例之一就是 本表格中所含的 ITU H.273 代码点 也就是 QuickTime 中 所谓的 NCLC 颜色标签 但是 也可以 使用其他形式的标签 如果您的 App 所使用的格式 不在列表中 不必担心 参考模式也会对 不支持的格式进行色彩管理； 它们的渲染方式 与默认显示模式下的 渲染方式类似 您可能会注意到 其中一些行 包含多种格式 这是因为 同一行中列出的格式 应该在参考显示器上 产生相同的渲染效果 例如 HDR10 和 BT.2100 PQ 都使用 BT 2020 原色、 PQ 转换函数 和 BT 2020 YCC 矩阵 详见代码点 9-16-9 但是 HDR10 中还包括 可用于 形成色调映射的 HDR 元数据 在 iPad 的 默认显示模式下 这可能会导致 相同内容具有不同的色彩呈现 具体取决于格式 但是 由于参考模式 没有色调映射 因此任何 HDR 元数据都会被忽略 并且两种格式的渲染 是相同的 一般来说 参考 显示器 使用光学测量设备进行校准 以确保色彩精准度 与 macOS 预设一样 参考模式中 包含一项微调 校准功能 可以在单个点上 校准白点 色度和亮度 此颜色调整 是为了考虑 显示器老化的影响 以及不同测量设备 之间的差异 从而使 iPad 的白点 和峰值亮度 与使用同一设备校准过的 其他显示器 相匹配 以上总结了 颜色渲染中 参考模式的具体功能 接下来 让我们来讨论一下 与参考模式 有关的 UIScreen API 但在此之前 我们先 快速回顾一下什么是 EDR EDR 代表 扩展动态范围 这是 Apple 的一项 HDR 技术 它包括 渲染技术 和像素表示 EDR 像素可以表示 SDR 和 HDR 内容 EDR 的一个重要组成部分 是所谓的余量 它是用 HDR 峰值亮度 除以 SDR 峰值亮度 所得到的商 在参考模式下 HDR 峰值始终为 1000 尼特 SDR 峰值始终为 100 尼特 因此 EDR 余量 始终为 10 EDR 可确保 用 0 到 1 之间的值 表示的 SDR 像素 始终得到渲染 在没有色调映射的情况下 位于 1 和 EDR 余量 之间的任何值都将被 正确渲染 而比 EDR 余量 亮的值 则会被削减 但在某些情况下 您可能认为 余量不够大 无法将内容 正确地渲染为 EDR 因此转而想实现 SDR 渲染路径 有时 您可能希望 通过应用自己的色调映射 来充分利用可用的 EDR 余量 无论是哪种情况 UIScreen 都有新的查询属性 和通知 您可以用来 决定在 App 中 如何渲染影像 更具体地说 您可以使用 UIScreen 注册 有关参考模式状态 更改的通知 然后查询该状态的 更改 您也可以使用 UIScreen 查询设备的当前 和潜在 EDR 余量属性 这一点 我稍后再谈 针对显示模式 状态的更改 请注册 UIScreen.referenceDisplayMode StatusDidChangeNotification 出于查询目的 您可以使用该通知 来获取新的状态和 新的潜在 EDR 余量 两者都可以通知 App 中将如何渲染影像 例如 您可能希望 App 在禁用参考模式时 能基于 EDR 余量 来应用自己的色调映射 而在启用参考模式时 不应用任何色调映射 收到 显示模式状态更改的 通知后 您可以使用 UIScreen 的 参考显示模式 状态属性 来获取当前状态 这是四种 枚举类型之一 如果返回 StatusEnabled 则启用参考模式 并按预期进行渲染 如果返回 StatusLimited 尽管仍然启用了参考模式 但由于 EDR 余量被限制 为小于 10 因此暂时无法渲染 参考响应 如果出现这一状态 UI 通知 还会告知用户： 参考 渲染已被破坏 如果返回 StatusNotEnabled 则说明本设备支持 参考模式 但用户 还没有启用 最后 如果 返回 StatusNotSupported 则说明本设备 不支持参考模式 接下来 让我们来看 一些 Swift 代码 了解如何使用 UIScreen 通知 在这里 首先我们将从 NotificationCenter 获取 默认通知对象 然后 我们将向 默认通知对象中 添加一个 通知观察器 在本例中 screenChangedEvent 选择器 会确定接收器 发送给观察器的信息 以提醒观察器 通知已发布 向观察器 交付的通知 它的注册名称为 UIScreen.referenceDisplayMode StatusDidChangeNotification 现在 只要 状态发生更改 系统就会调用 screenChangedEvent 函数 在本 screenChangedEvent 实现示例中 我们将首先从窗口场景中 获取一个 UIScreen 然后 可以从 UIScreen 那里获取新的 referenceDisplayModeStatus 属性 您也可以获得新的 潜在 EDR 余量值 并将它用于应用程序的 渲染路径中 这其中涉及到了参考模式 状态更改通知 让我们来继续探讨 EDR 余量 前面我提到了 两种 EDR 余量： 当前余量和潜在余量 这些属性与 使用 EDR 的开发者 有关 而不是 特定于参考模式 潜在余量将返回 显示器的 最大可能余量 例如 如果潜在余量 未超过 1.0 或其他阈值 您可以决定 在 App 中使用 SDR 渲染路径 当前余量则是动态的 并且 出于各种原因 可能会小于潜在余量 您可以选择 在您的 App 中应用色调映射 这样您的内容就不会 超过当前余量 以免导致被削减 我们来看一个 简单的例子 和前一个示例一样 首先 我们将从 windowScene 获取 UIScreen 在那里 我们获得 潜在 EDR 余量属性 然后 我们可以将 潜在 EDR 余量值 与阈值进行比较 并确定 是实现 SDR 渲染路径 还是实现图像处理路径 下面的示例用来说明如何 使用 UIScreen 的 当前 EDR 余量属性 在绘制调用中 我们可以再次 从 windowScene 获取 UIScreen 然后抓取 UIScien 属性 currentEDRHeadroom 您可以使用该值 来确定 适合的色调映射 以避免被削减 并将它应用于您的 App 在介绍完 UIScreen API 并回顾了一些代码段之后 本视频 也就要结束了 简单概括一下 我们了解了 如何以及何时 在 iPad 上 启用参考模式 我们讨论了 参考颜色渲染 以及参考模式的 具体功能 包括它所支持的 媒体格式 最后 我们了解了 UIScreen 参考模式 通知 和用于查询 EDR 余量的 新属性 如果您想了解有关 Apple 平台上 EDR 和色彩技术的更多信息 以下是最近几次 WWDC 的 相关主题 视频列表 今年有一个主题是 “探索 iOS 上的 EDR”的视频 尤其适用于 在 iPad 上使用 EDR 的用户 无论他们是否使用 参考模式 本次讲座 到此结束 希望大家 能在自己的 App 中 充分利用参考模式及其 API 谢谢观看！