音频和视频
-
WWDC24 -
14:02 在 visionOS 中探索多视角视频播放
了解如何利用 AVExperienceController 在 Apple Vision Pro 中实现多视频播放体验。查看采用方面的推荐做法并探索多个精彩用例,例如观看同一场体育赛事的不同机位直播,或同时观看多场赛事。探索如何为 App 设计引人入胜且直观的多视角播放体验。
-
21:18 为你介绍适用于 visionOS 的企业 API
探索如何利用适用于 visionOS 的全新企业 API 打造空间体验,帮助使用 Apple Vision Pro 的员工和顾客提升效率。
-
17:30 将 TVML App 迁移到 SwiftUI
SwiftUI 可帮助你在所有 Apple 平台上打造出色的 App,更是利用 Apple tvOS 18 将你的内容引入客厅环境的首选工具包。了解如何使用 SwiftUI 通过 TVMLKit 创建熟悉的布局和控件,并获取相关技巧和推荐做法。
-
13:24 使用 HLS 插播内容提升广告体验
探索 HLS 插播内容如何帮助你将广告无缝插入到 HLS 内容中。我们还将展示如何利用整合的时间线调整 UI 体验,并为插播内容打造同播共享体验。
-
17:26 在自定环境中提升媒体观赏体验的沉浸度
使用 Docking Region、Reverb 和 Virtual Environment Probe 等 Reality Composer Pro 组件,扩展你的媒体观赏体验。了解如何利用 Reflections、Tint Surroundings Effect、同播共享以及 [Immersive Environment Picker] 进一步提升沉浸度。
-
8:40 探索 AVFoundation 中的媒体性能指标
探索如何利用新的媒体性能 API 来监测、分析并改进用户体验。了解如何使用不同的 AVMetricEvents 来监测音视频播放器在 HLS 素材方面的性能,并学习如何利用这些指标来理解播放器性能问题,以及进行相关分类。
-
34:29 利用 HDR 为 App 打造动态图像体验
探索如何在 App 中完成 HDR 图像的读写操作,以及处理 HDR 内容。探究新增的受支持 HDR 图像格式,以及多种显示 HDR 图像的先进方法。了解 HDR 内容可以如何与你的用户界面实现共存,以及为 App 添加 HDR 图像支持时有哪些注意事项。
-
11:29 使用 ScreenCaptureKit 拍摄 HDR 内容
了解如何使用 ScreenCaptureKit 捕获高动态范围的色彩,并探索 HDR 支持、麦克风采集和直接录制到文件等新功能。
-
36:26 自定支持同播共享的空间自影像模板
了解如何在 visionOS 同播共享体验中使用自定的空间自影像模板来微调自影像相对于 App 的放置方式。我们会介绍如何在示例 App 中采用支持同播共享的空间自影像模板、调换参与者的座位,以及在模拟器中测试你的更改。我们还将介绍自定空间模板设计方面的推荐做法,帮助你让自己的体验大放异彩。
-
-
WWDC23 -
24:53 在你的 App 中支持电影效果模式的视频
了解电影效果相机 API 如何帮助你的 App 处理在相机 App 中拍摄的电影效果模式视频。我们将分享电影效果模式视频的基础知识,包括对焦决策层级,向你展示如何在 App 中使用和更新对焦决策,并帮助你保存和加载这些更改。
-
10:33 调整你的 AirPlay 音频体验
了解如何升级你的 App 的 AirPlay 音频体验,使其更强大、响应更快。我们将向你展示如何通过 AVQueuePlayer 采用增强型音频缓冲功能,探索在你的 App 中构建自定义播放器的替代方案,并与你分享最佳实践。
-
21:58 打造出色的 ShazamKit 体验
了解你的 App 如何通过使用 ShazamKit 的最新更新提供更加出色的音频匹配体验。我们将为你介绍匹配功能、音频识别更新以及与 Shazam 资料库的交互。了解在音频 App 中使用 ShazamKit 的技巧和最佳实践。想要了解更多有关 ShazamKit 的内容,欢迎观看 WWDC22 中的“使用 ShazamKit 创建大规模自定义目录”以及 WWDC21 中的“探索 ShazamKit”和“使用 ShazamKit 打造自定义音频体验”。
-
14:59 使用 AirPods 提升你的 App 音频体验
了解如何使用 AirPods 在你的 App 中创造变革性的音频体验。了解如何结合 AirPods 自动切换功能,使用 AVAudioApplication 支持静音控制,以及如何利用空间音频在你的 App 游戏中创建沉浸式音效。
-
14:33 探索沉浸式声音设计
了解如何使用声音来增强 VisionOS App 和游戏的体验。了解 Apple 设计师如何选择声音并构建音景来打造质感十足的沉浸式体验。我们将分享当你在空间上放置音频提示、改变重复的声音以及在 App 中构建愉悦的音景时,如何通过声音丰富 App 中的基本交互。
-
13:37 将同播共享添加到你的 App 中
了解你的 App 如何利用同播共享将任何活动转变为可与朋友共享的体验!我们将分享同播共享的最新更新,探索创建共享活动的好处,深入研究一些令人兴奋的用例,并带你了解最佳实践,以在你的 App 中构建迷人且有趣的联系时刻。
-
15:54 语音处理的新功能
了解如何使用 Apple 语音处理 API 在 IP 语音应用中实现最佳的音频体验。我们将向你展示如何检测某人在静音状态下说话、如何调整其他音频的抑制行为等等。
-
29:12 探索 tvOS 连续互通相机
探索如何在 Apple tvOS 上的 App 中引入 AVFoundation、AVFAudio 和 AudioToolbox ,并为客厅打造相机和麦克风体验。了解如何利用设备发现 API 在现有的 iOS 相机体验中支持 Apple tvOS,构建使用 iPhone 作为网络相机或 FaceTime 通话源的 App,并探讨在开发 Apple tvOS 时的特殊注意事项。我们还将向你展示如何为 Apple tvOS 启用录音,以及如何使用回声消除来创建出色的语音驱动体验。
-
16:30 为空间体验交付视频内容
了解如何使用 HTTP Live Streaming (HLS) 为 visionOS 准备和交付视频内容。了解当前 HLS 的媒体交付流程,并探索如何扩展交付管道以支持 3D 内容。快速了解空间媒体流的信息和技术,并为 3D 调整现有的 字幕制作工作流。了解如何跨视频共享音轨及添加空间音频,提高视频内容的沉浸感。
-
13:43 ScreenCaptureKit 中的新增功能
使用 ScreenCaptureKit 中的最新功能提升你的屏幕共享体验。探索内置系统选择器、Presenter Overlay 和截屏功能,并了解如何将这些功能纳入你现有的 ScreenCaptureKit App 或游戏中。
-
13:57 打造出色的空间播放体验
准备好在你的 visionOS App 中支持视频吧!了解支持视频播放的框架和 API,以及如何更新 App 以播放 3D 内容。我们还会与你分享一些自定义播放的技巧,帮助你打造更加身临其境的观看体验。
-
9:39 使用‘同播共享’来共享文件
了解如何在 SharePlay 活动中处理文件和附件。我们将解释如何使用 GroupSessionJournal API 更快地同步大量数据,并在示例 DrawTogether App 演示中向你展示如何使用该 API。
-
19:51 探索隔空播放中的插片广告
了解如何在隔空播放中使用 HLS 插片广告实现视频内容在广告之间无缝过渡。我们将分享从 Apple 设备到流行的智能电视共享内容时创造卓越体验的最佳实践和技巧。
-
-
Tech Talks -
12:50 探索参考模式
了解如何在配备 Liquid 视网膜 XDR 显示屏的 12.9 英寸 iPad Pro 上使用参考模式,从而满足高标准专业工作流程中的色彩要求。我们将向您展示参考模式如何准确地表示颜色,并在审核和批准、合成和调色等工作流程中提供一致的图像呈现。我们还将介绍与参考模式一起使用的 API,探索其功能和所支持的媒体格式,并探索参考模式是如何增强随航功能的。
-
27:24 在你的 app 中支持 Apple Pro Display XDR
Apple Pro Display XDR 是专为视频剪辑、摄影、3D 动画和游戏开发等专业工作流程而设计的高端参考显示器。探索如何用底层技术和框架级支持来改进内容创作的专业工作流程。了解如何用 Pro Display XDR 参考模式和 macOS 色彩管理工具使工作流程更有效、更准确。并探索最佳做法和技巧,以使你的参考工作流程栩栩如生。
-
4:09 Apple TV 分配计划概览
了解 Apple TV 的分配制度,工程学的要求和注册带来的商业利益。让自己熟悉认验证流程, VideoSubscriberAccount 框架,和 Set Top Box API。
-
2:01 Apple TV VSA 框架
了解什么是 VideoSubscriberAccount 框架,它的用途, 和如何把这框架融入你的 App。了解框架如何适用于 Apple TV Distribution Program 的发展。
-
5:27 Apple TV 验证流程
了解 Apple TV 的验证流程,它的作用和如何开始建造这些网络服务。了解认验证流程如何适合用于 Apple TV Distribution Program 的发展。
-
3:07 Apple TV Set Top Box APIs
了解什么是 Set Top Box API,它的用途,与它如何帮助客户更轻松地设置 Apple TV。了解框架如何适用于 Apple TV Distribution Program 的发展。
-
15:21 Apple TV App and Unversal Search 视频集 第一部
此视频提供关于 Apple TV App 与 Universal Search 服务特色的概述,同时介绍第三方视频如何通过元数据提要融入它们。提供关于你电影,电视节目,体育赛事元数据的要求的详细资料——加上如何控制为你Apple TV App 视频服务的内容展示。还包括帮助你开始运用元数据提要的工具与资源在其中。
-
5:55 Apple TV App and Unversal Search 视频集 第二部
为第三方 App 能够参与 Apple TV App 其中,你要获得关于客户端融入要求的概况。了解培训和测试。看如何为客人订阅服务,在你 App 里显示回放内容已看,与支持对你视频内容的深度思维。
-
12:50 为 iPhone X 而设计
iPhone X 采用全面屏超视网膜显示屏,提供了更多的空间充分展示内容元素,并带来深刻且如临其境的 app 体验。学习相关的设计技巧,使您的 app 或游戏在 iPhone X 和所有 iOS 设备上展示精美外观,带来逼真体验。
-
6:38 HDR 视频简介
杜比视界和 HDR10 以更宽的色域和更强烈的对比度,带来令人惊艳的全新视频观看体验。了解这项新技术的工作原理以及杜比视界和 HDR10 之间的差异。
-
3:45 制作 4K 和 HDR HLS 视频流
4K 和 HDR 技术可以为用户带来沉浸式影院级视频体验和超逼真的图像质量。了解如何支持这些全新格式,以及如何妥善制作您的播放列表来播放这类视频流。
-
6:20 AVDisplayManager 简介
从 tvOS 11.2 开始,Apple TV 4K 能够自动切换视频显示模式,以与视频内容的原生帧速率和动态范围相匹配。借助 tvOS 11.3,Apple TV (第 4 代) 也能自动切换视频显示模式,以与原生帧速率相匹配。了解如何确保您的 app 和视频内容能够使用 AVDisplayManager 和 AVDisplayCriteria 来支持这项功能。
-
-
WWDC22 -
25:54 借助 MusicKit 探索更多内容
了解如何利用 MusicKit 对您的 App 进行优化和个性化。我们将向您介绍 MusicKit 框架的最新新增功能,探索如何通过请求、元数据等将音乐内容整合到您的 App。
-
14:36 在 Apple tvOS App 中提供多用户支持
了解如何在您的 Apple tvOS App 中打造个性化的个人体验。我们将介绍如何提供单个复选框来存储个人资料数据、游戏保存状态等,使每位用户都享有相同的数据分离水平,就如同使用个人设备 (如 iPhone) 那样。我们还会探索新的用户专属钥匙串将如何帮助家庭里多位用户继续享有持续不变的登录体验。
-
9:38 AVQT 的新功能
探索高级视频质量工具 (AVQT) 的最新更新和改进。我们将介绍交互式报告功能,并帮助您了解如何识别与视频质量相关的问题。我们还将探索对原始格式的扩展支持,说明如何评估视频当中的特定场景,并探索如何在云中利用适用于 Linux 的 AVQT 对 Linux 服务器和线上的视频进行分析。
-
15:28 ScreenCaptureKit 简介
了解 ScreenCaptureKit 可以如何为您的 macOS 屏幕共享 App、视频会议 App、游戏流媒体服务等提供优质的屏幕捕获体验。我们将探索此 API 的构建块,学习如何配置流媒体以截取屏幕上的视频和音频内容,并分享相关技巧,帮助您将它集成到您的现有 App 中。
-
20:36 探索 iOS 上的 EDR
EDR 是 Apple 的高动态范围表示和渲染管道。探索如何借助 App 中的 EDR 渲染 HDR 内容,并在 iPhone 和 iPad 上充分挖掘 HDR 显示屏的动态范围功能。我们将介绍如何利用 iOS 上的原生 EDR API,提供最佳实践以帮助您确定使用 HDR 的正确时机,以及分享有关色调映射和 HDR 内容渲染的技巧。我们还将讨论参考模式,重点说明它会如何提供参考响应以启用颜色关键型工作流程,如调色、编辑和内容审核等。
-
22:24 利用 HLS Content Steering 传输可靠的流媒体
HLS Content Steering 会根据负载和冗余将客户端动态转向到不同的服务器。我们将带您了解此框架的最新更新,探索如何通过“路径克隆”将动态生成的 CDN 引入到现有的 HLS 客户端。我们还将分享如何使用基于存储桶的“转向服务器”规则等,来实现全球流量转向。
-
14:12 探索媒体元数据发布和播放交互
学习如何在每个平台上突显 App 的“正在播放”信息。我们将简要介绍媒体元数据,了解如何在锁屏和控制中心等区域展示它们,并说明如何为您的内容编写和发布有效的媒体元数据。我们还将探索您的 App 对于来自其他设备 (如 HomePod) 命令的响应。
-
17:41 借助 Core Image、Metal 和 SwiftUI 显示 EDR 内容
探索如何借助基于 Core Image 的多平台 SwiftUI App 在扩展动态范围 (EDR) 中进行渲染,并为其提供支持。我们将简要介绍使用 ViewRepresentable 向 MTKView 显示 CIImages 的最佳实践。我们还将分享启用 EDR 渲染的简单步骤,并探索 150 多种支持 EDR 的内置 CIFilter 中的一部分。
-
37:19 将 ScreenCaptureKit 提升到全新境界
了解如何利用 ScreenCaptureKit 为您 App 的用户提供复杂屏幕截图体验。我们将探索众多您可以添加的高级选项,包括对内容过滤器进行微调、帧元数据解释,以及窗口挑选器,等等。我们还将向您介绍如何配置您的流媒体,以实现最优性能。
-
22:04 利用 AVFoundation 和 Metal 在 EDR 中显示 HDR 视频
了解如何利用 AVFoundation 和 Metal 来构建高效的 EDR 管道。跟着我们一起学习如何使用 AVPlayer 显示具有 EDR 的 HDR 视频,在 App 视图中添加播放功能,使用 Metal 进行渲染,以及使用 Core Image 或自定义 Metal 着色器添加视频效果,如抠像或颜色管理等。无论您在开发游戏还是专业 App,我们都将帮助您确定要使用哪些框架,分享选择传输、颜色空间和像素缓冲区格式的最佳实践。
-
18:38 打造出色的同播共享体验
了解如何设计并打造非凡的同播共享体验。我们将向您介绍如何识别您的 App 中的相关活动,这些活动可帮助身处各地的人们连结在一起。学习最佳实践以帮助您设计群组活动,构建直观的互动操作,并为不同的体验类型提供支持。
-
24:07 打造出色的视频播放体验
了解如何利用最新的 iOS 和 iPadOS 系统媒体播放器,开发出让人惊叹的媒体 App。我们将分享更新版播放器的设计,为您提供最佳实践和技巧以帮助您设计独特的媒体体验。我们还将探索视频的“实时文本”功能,并说明如何在您的 App 中集成插播式广告和播放速度控制。
-
9:26 HLS 插播式广告的新功能
HLS 插播式广告可以帮助您在广告、其他插播式广告和您的 HLS 流媒体之间实现视频内容的无缝转换。了解如何优化您的广告版位,在使用 HLS 时通过 SNAP-IN/OUT 对插播式广告进行微调,等等。
-
12:43 利用 Network 框架构建设备间交互
了解如何打造一体化的跨设备内容体验。我们将介绍 DeviceDiscoveryUI,它能帮助简化通信路径的设置,将 Apple TV 连接到 iPhone、iPad 和 Apple Watch 等其他设备。我们还将探索常见的场景,提供最佳实践以帮助您实现设备间的无障碍连接。
-
14:54 同播共享的新功能
与我们一起体验同播共享的最新更新。我们将向您介绍如何直接从您的 App 启用同播共享,帮助您借助 API 的改进来打造更丰富的体验,并带您了解 GroupSessionMessenger 的增强功能。我们还会讨论将同播共享添加到您的 App 的最佳实践。
-
11:10 在同播共享中显示插播式广告和其他广告
了解在 App 为每位用户提供不同广告计划的同时,您可以如何在同播共享中打造协调的播放体验。我们将探索如何利用嵌入的广告和计划的 HLS 插播式广告打造播放体验,并分享相关技巧和最佳实践。
-
18:02 利用 DriverKit 将您的驱动程序添加到 iPad
了解如何利用 DriverKit 将雷雳和 USB 配件轻松地连接到 iPad。我们将介绍如何在不更改代码的情况下转换您的现有 Mac 驱动程序,学习通过 AudioDriverKit 添加实时音频支持,并提供有关为 iPad 开发驱动程序的最佳实践和技巧。
-
18:26 Apple Music API 和 MusicKit 简介
探索 Apple Music API 和 MusicKit 客户端框架。学习如何将 Apple Music 功能集成到您的网页服务或 Android App,向 Apple Music API 发起请求以发现与获取内容,以及对订阅者的体验进行个性化。
-
10:27 构建更快速响应的媒体 App
了解如何利用 AVFoundation 让用户专注于您的媒体 App 的内容,而不用盯着加载动画长时间等待。我们将介绍如何在您的 App 中提供响应快速且运行流畅的界面,帮助您创建丰富的音视频复合内容、加载音视频素材以及制作媒体缩略图。学习如何在您的 App 的主线程上执行这些操作并同时并行运行 I/O 处理,探索如何在加载自定义存储等数据时实现一流的播放性能。为能更好地理解此讲座,我们建议您先观看 WWDC21 的“AVFoundation 的新功能”。
-
19:44 利用 ShazamKit 批量创建自定义目录
了解如何借助 ShazamKit,直接在设备上构建自定义目录,并支持 App 中任何音频源的精确匹配。学习如何通过新的 ShazamKit CLI 轻松生成音频签名,并批量创建目录。我们还将向您介绍如何快速更新您的 App,以便和大量音频内容进行同步,如多季电视节目或多期播客等。此外,我们还将分享有关 ShazamKit API 和 SHMediaItems 的更新,帮助您的 App 利用时间范围对音频源中的关键时刻做出准确回应。要进一步了解 ShazamKit,我们建议您先观看 WWDC21 的“探索 ShazamKit”和“使用 ShazamKit 创建自定义音频体验”。
-
-
WWDC21 -
37:58 使用群组活动协调媒体体验
探索如何帮助人们通过 SharePlay 和群组活动框架同步观看或收听内容。我们将展示如何将媒体 app 调整为多人同步的、启用 SharePlay 的体验。了解如何将群组活动添加到您的 app,探索画中画布局,并了解播放协调器对象如何帮助在多个设备上微调播放。
-
16:00 实践音频触感设计
敬请探索如何在 iPhone 上提供丰富的 app 体验,如动画、声音和触感等。学习在 Core Haptics 框架内设计多模式体验的关键概念。我们将带您了解我们的示例应用 HapticRicochet,探索如何将触感和声音反馈的设计与关键互动时刻协调起来,并展示如何创造令人愉悦的神奇体验。为了充分了解本节内容,我们建议先观看 WWDC19 的“通过 Core Haptics 扩展感官体验”,并查看 HapticBounce 示例项目 (需要 Xcode、iPhone 8 或更新版本,并需要了解 Swift 的基本信息)。熟悉 Core Haptics 会有帮助,但并非强制要求。
-
19:57 探索使用 VideoToolbox 的低延迟视频编码
支持低延迟编码器已成为视频应用开发过程的重要部分。探究 VideoToolbox 如何支持低延迟 H.264 硬件编码,以最小化端到端延迟,达到新的性能水平,实现极佳的实时通信和高质量的视频播放。
-
9:28 探索 AVFoundation 中的 HLS 变体
了解如何使用 AVFoundation API 来凸显 app 中内容的不同变体。我们将展示如何使用这些 API 针对不同的视频特征检查 HLS 内容,包括 SDR/HDR、FPS 等属性。我们将探索代表流化和离线内容的 AVAssetVarient。
-
15:53 使用 ShazamKit 创建自定义音频体验
使用 ShazamKit 为您的 app 提供自定义音频匹配。了解在设备上使用自定义目录时如何使用 Shazam 的精确音频匹配来识别任意来源的音频。下载我们的新手课程和代码以及演示程序,我们将指导您完成将音频与自定义目录匹配的过程。我们还将通过构建一个可以与从电视流式传输的视频完美同步的交互式 iOS app 来探索跨设备连接内容是如何轻松。要了解有关 ShazamKit 的更多信息,请查看 WWDC21 中的“探索 ShazamKit”。
-
17:46 认识面向 Swift 的 MusicKit
MusicKit 可将 Apple 音乐轻松集成到您的 app 中。探索基于 Swift 的框架:我们将向您介绍使用 MusicKit 的基本流程,包括如何查找、请求和播放内容,并向您展示当用户尚未注册 Apple Music 时如何将音乐订阅工作流集成到您的 app 中。
-
17:08 认识群组活动
敬请详细了解为 SharePlay 提供支持的框架,并探索您可以为您的 app 用户实施的各种共享体验。探究该框架架构和概念的精简概述,包括群组活动和 AVFoundation 如何协同工作,并学习如何将其实施到您的 app 中。这是详细了解 SharePlay 以及如何在您的 app 中集成群组活动的最佳入手点。
-
10:35 在 Apple tvOS 上提供出色的播放体验
了解如何使用 Apple TV 重新设计的播放界面在您的 app 中构建出色的媒体体验。了解最新的界面如何帮助人们在保持对内容关注的同时访问相关控件和信息。我们将展示如何为您的 Apple tvOS app 采用 AVPlayerViewController 和其他 API,以帮助人们查找、播放和享受内容。为了能充分了解本节内容,我们建议您对 AVKit 作基本了解。
-
37:28 使用物理音频空间引擎 (PHASE) 探索几何感知音频
敬请探索几何感知音频如何帮助您为自己的 app 和游戏构建复杂且身临其境的交互式音频场景。了解 Apple 的空间音频 API:PHASE,并了解物理音频空间引擎 (PHASE) 是如何让声音始终与您的体验保持一致,从而帮助您在开发过程中创建空间音景和场景,而不是等到后期制作。我们将带您了解 API 及其类,包括来源、监听器、声学几何和材料,并介绍空间建模的概念。我们还将展示如何快速组合 PHASE 的基本构建块,开始为您的 app 或游戏构建集成音频体验。
-
8:40 使用 ReplayKit 探索滚动剪辑
用户再也不会在您的游戏或 app 中错过任何精彩时刻。敬请了解 ReplayKit 的最新更新:剪辑屏幕录制。它可为您的 app 提供滚动缓冲区来存储以前的视频和音频样本。探索如何为用户录制和保存令人难忘的时刻,并了解如何在最相关的时候呈现这些剪辑。最后,我们会引导您将 ReplayKit 集成到您的 iOS 和 macOS app 中。
-
16:51 AVFoundation 的新功能
探索 AVFoundation、Apple 框架用于检查、播放和创作视听内容的最新更新。我们将探索如何使用 AVFoundation 查询视听资源属性,使用定时元数据进一步定制您的自定义视频作品,并创作字幕文件。
-
8:54 专为群组活动设计
了解如何设计 app 以支持 SharePlay 体验。我们将展示如何使用群组活动框架将人们聚集在您的 app 中,并调整您的设计以专注于群组优先的内容共享。我们将围绕您为在 FaceTime 通话中使用 SharePlay 的人创建的 app 和功能来探索想法和迭代。
-
25:09 使用群组活动打造个性化体验
超越基本的流化和交互,探索如何使用群组活动框架的全部功能带来先进的 SharePlay 体验。我们将向您展示如何将一个简单的绘图 app 改编成实时共享画布,探索诸如 GroupSessionMessenger 之类的 API (这类 API 可以为组内参与者之间发送和接收自定义消息提供帮助),同时了解如何为自定义 SharePlay 体验进行最后润色。
-
34:16 探索使用 EDR 的 HDR 渲染
EDR 是 Apple 的高动态范围表示和渲染管线。探索如何在应用中使用 EDR 渲染 HDR 内容,并发挥 HDR 显示的动态范围功能,包括 Apple 的内部显示和 Pro Display XDR。我们将展示游戏和专业 app 开发者如何利用 macOS 上的原生 EDR API 进行更多控制,并提供确定使用 HDR 的适当时机、应用色调映射以及交付 HDR 内容的最佳实践。
-
9:03 探索 Core Image 内核改进
了解如何将使用 Metal 着色语言编写的 Core Image 内核添加到您的 app 中。我们将探索如何为以 Metal 着色语言编写的 Core Image 内核使用 Xcode 规则和命名惯例,并帮助您理解 Metal 的 Stitchable 函数和动态库功能以使 Core Image 内核受益。
-
15:19 探索 HLS 中的动态前置式贴片广告和插播广告
了解如何在广告和 HLS 流之间创建无缝过渡。我们将展示如何结合 HLS 标签和 AVFoundation API 来创建在您的主要内容和插播广告之间轻松移动的媒体体验,并提供在您的 app 中播放这些流的最佳实践。
-
10:33 与 HLS 无缝过渡媒体
探索如何创建在剧集、歌曲、场景和单个资源之间无缝过渡的流媒体内容。通过无缝 HLS 播放,您可以即时拼接多条内容,以创建自定义训练,设计交互内容,讲述令人信服的故事等等。我们将展示如何提供可靠的流媒体音乐、事件记录和预录视频连续性,并在您的 app 中提供引人入胜的观看体验。
-
18:38 使用 DriverKit 创建音频驱动程序
敬请探索如何使用 AudioDriverKit API 将您的音频服务器插件和 DriverKit 扩展整合到一个包中。了解如何使用 app 而不是安装程序包来简化音频驱动程序的安装,并通过 Mac App Store 分发驱动程序。我们将带您了解 Core Audio HAL 如何与 AudioDriverKit 交互并探索音频设备驱动程序的最佳实践。
-
8:05 AVKit 中的新功能
了解 macOS 上的画中画功能增强和全屏幕改进。探索新内容来源 API,并了解 AVPictureInPictureController 如何支持 AVSampleBufferDisplayLayer,以及为 app 建议的步骤,以便在 macOS 上或 Mac Catalyst app 中提供无缝的全屏幕体验。
-
13:02 通过 HLS Content Steering 改善全局流化可用状态
探索如何将 HLS 播放列表标记和 Steering Manifest 格式与您的内容结合使用,以帮助您动态更新针对每个观看者调整的 CDN 冗余策略。学习如何均衡负载、设置故障转移等。
-
15:07 探索 ShazamKit
在使用 ShazamKit 时,善用 app 中 Shazam 的准确音频匹配功能。学习如何利用庞大的 Shazam 目录营造各种体验,包括从您的 app 捕获的视频中快速准确地识别正在播放的歌曲,根据室内播放的音乐提供动态视觉效果,甚至与外部音频同步,带来配套的 app 体验。我们还将向您展示如何在 ShazamKit 中构建匹配任意音频源的自定义目录,一切都在设备上完成。更深入的了解详见“用 ShazamKit 创建自定义音频体验”,您将和我们一起编写代码,并学习如何构建与流视频内容完美同步的教育 app。
-
16:35 使用高级视频质量工具评估视频
了解高级视频质量工具 (AVQT) 如何帮助您准确评估压缩视频文件的可感知质量。利用 AVFoundation 框架,AVQT 支持 SDR 和 HDR 域中的各种视频格式、编解码器、分辨率和帧速率,从而实现简单高效的工作流程,例如无需解码为原始像素格式。AVQT 使用 Metal,通过将繁重的像素级计算转移到 GPU 来实现高处理速度,通常分析超过实时视频帧速率的视频。凭借极其优异的易用性和计算效率,AVQT 可以帮助您从视频目录中删除低质量视频,以免影响使用 app 的用户。
-
18:17 让您的 app 全面采用空间音频
探索空间音频如何帮助您的 app 和网络上的媒体带来剧场般的体验。我们将向您展示如何将沉浸式音频轻松整合到兼容硬件的聆听体验中,以及如何根据带宽或连接自动提供不同的聆听体验,此过程只需改动少量代码,甚至无需改动代码。获取关于如何在您的 app 中定制体验的建议,以及利用空间音频以激动人心的全新方式讲述故事。
-
7:50 探索采用 Apple Music API 的目录
探索如何使用 Apple Music API 为您的 app 提取音乐目录元数据。探索 API 的最近更新和一些用于创建您的请求并突出显示项目的正确元数据的高级技术。为了能充分了解本节内容,我们建议观者对 Apple Music API 要先有一些熟悉。
-
19:16 探索 SoundAnalysis 中内置的声音分类
探索如何在您的 app 中使用 Sound Analysis 框架来检测和分类来自任何音频源的离散声音,包括来自麦克风的现场声音或来自视频音频文件的声音,并在声音发出的瞬间精确识别。了解内置声音分类器如何让您轻松识别 300 多种不同类型的声音,而无需自定义的受训模型。包括人声、乐器、动物和各种物品的各种声音。对于自定义模型,请参阅如何利用 Audio Feature Print 功能提取器创建具有可变声音窗口控制的较小模型,以更好地满足您 app 的用途。有关声音分类和 Sound Analysis 框架的更多信息,请观看 WWDC19 中的“在 Create ML 中训练声音分类模型”。
-
12:02 在 Safari 浏览器中使用群组活动协调媒体播放
创建可供用户在网页和您的配套 app 中享受的 SharePlay 体验。了解如何将群组活动框架与配套网站结合使用,将 SharePlay 引入 Safari 浏览器,让人们即使尚未从 App Store 下载您的 app,也能相互联系进行愉快的群组互动。
-
-
WWDC20 -
24:02 使用 AVFoundation 编辑和回放 HDR 视频
了解如何让你的 macOS app 支持 HDR 编辑和播放功能,以及如何确定特定的硬件配置是否适合 HDR 播放。我们将向你展示如何通过内置合成器使用AVMutableVideoComposition 并轻松编辑 HDR 内容,我们还将介绍如何使用 Core Image 的内置图像滤镜创建自己的 AVMutableVideoComposition,并演示如何创建和使用自定义合成器启用 HDR 编辑。
-
23:15 使用AVFoundation在APP上输出HDR影像
探索如何利用 AVFoundation 在 app 内创作并输出高动态范围(HDR)内容。了解高动态范围以及如何在 app 内对其进行巧妙运用。我们将会向你展示如何运用特征集来让人们输出HDR内容,转化支持的 HDR 各式,审核流量限制,并且探索支持 HDR 输出的 Apple 平台。
-
14:30 为 tvOS 构建 SwiftUI app
使用 SwiftUI 为你的 tvOS app 添加新的维度。我们将向你展示如何构建由 SwiftUI 驱动的布局以及如何使用自定义按钮自定义界面,如何使用环境菜单在应用程序中提供更多功能,检查视图是否是焦点并管理默认焦点。 为了充分利用本视频,你需要先适应 SwiftUI。有关入门知识,请观看“ SwiftUI 简介:构建你的第一个 app”和“在所有设备上使用 SwiftUI”。
-
23:58 使用 ReplayKit 在 Mac 上捕捉并串流 app
学习如何将 ReplayKit 融入你的 Mac app 与游戏,轻松分享屏幕录制片段,或在线广播现场音视频。我们将向你展示如何在 Mac app 中捕捉屏幕内容、音频以及麦克风输入。 要了解更多关于如何在 app 中使用此框架的信息,请查看过去几年中的“使用 ReplayKit 广播屏幕内容”与“屏幕录制与现场广播新发展”内容。
-
8:46 在你的 tvOS app 中支持多用户
分享您的客厅?不是您的 Apple TV app。当您在 app 中支持个人资料时,您可以为在同一房屋内使用 Apple TV 的每个人自定义您的体验。探索如何“以当前用户身份运行”这个功能可让某人与您的 app 进行交互,下载本地内容并登录 iCloud 或 Game Center,所有这些都不影响其家人或室友。 我们将向您展示如何在您的 app 中实现此功能,如何在切换配置文件之前保存最新数据,处理通知并保护隐私。 要充分利用本次分享,您应该对最新 Apple tvOS 框架和控件有基本的了解。观看“用 Apple tvOS 掌握客厅”,视频将为您提供一个很好的概述。
-
8:37 优化 Core Image 视频 app 工作流
探索利用 Core Image 的强大处理能力来优化视频 app 性能表现的无限可能。我们将向你展示如何构筑 Core Image 管道,从而将各类效果应用到app内的视频。探索如何在使用 CIContext 的过程中减少你的 app 内存占用,并且学习使用通过 Core Image 滤镜来对 AVPlayView 或 MTKView 视图类型进行视频回放的最佳做法。除此之外,还需探究为何需要通过 Metal Shading 语言编写你的个人定制核心程序,并且了解相关性能提示,从而最大限度上使用 Core Image 管道中 Metal 技术的命令队列。
-
9:39 在低延迟 HLS 中应用广告插入
学习如何通过服务器端广告插入在你的低延迟 HLS 播放中插入广告。我们将会向你展示如何对广告内容进行分段,并检验插入功能与阻止播放列表重新加载和阻止预加载提示等 LL - HLS 功能是怎样合作的。 若希望进一步了解与阻止播放列表重新加载和预加载提示功能,请观看“用 HLS 阻止播放列表重新加载来减少延迟”和“探索 HLS 阻止预加载提示”视频。
-
7:34 通过对 HLS 播放列表进行 Delta 更新 优化串流直播效果
了解 Playlist Delta Updates,这项 HLS 功能通过扩大回放窗口、增加更多元数据优化了视频直播的传输。我们将向你展示 Playlist Delta Updates 如何在视频直播时减少串音,为网速慢的用户提供高质量内容以及整合广告推送。
-
8:40 使用 HLS 阻止播放列表重新加载 降低延迟
阻断播放列表重新加载是 HLS 低延迟的必备组件,能够在通过 HTTP 缓存传送数据时缩短片段发现时间。了解如何通过阻断播放列表来降低流的延迟,并提升低延迟和常规 HLS中的 CDN 性能。
-
7:12 Apple Watch 的流媒体创新
让音频流畅地直接播放到用户的手腕上吧。我们将会讨论一些新的功能与进展,用来帮助你构建 Apple Watch 专用的出色音频播放 App。学习如何整合更多音频格式、通过新的编码解码器更加高效地进行播放、以及通过添加加密内容扩张 App 的媒体资料库。 此部分为 WWDC19 的“在 watchOS 6 上播放音频”视频中介绍内容的扩展。如果你对于 Apple Watch 的音频功能尚不了解,建议先观看上述视频进行参考。
-
10:52 音频工作组介绍
运用装载了 Apple 芯片的 Mac 为音频 app 或其插件进行音质优化:我们将向你展示如何使用 Audio Workgroups 来展示你的实时线程,并且让你的 app 拥有美妙歌声。进一步了解系统芯片 (SOC) 的强大功效,以及如何更好地借助新 API 来提升 app 和插件的速度及音质。
-
11:18 探索 Apple TV 的搜索建议
搜索你的 Apple tvOS app 变得更好了。准备好探索新的简化搜索界面,并学习如何使用 UISearchController 将其集成到你的 app 中。通过添加新的国际键盘和语言来支持你的全球受众。探索如何将搜索建议添加到你的界面,并使用动态建议更新结果。并且,我们将分享一些我们最喜欢的小贴士,为 Apple TV 添加出色的搜索体验。
-
17:08 了解如何离线下载和播放 HLS
了解如何通过 AVFoundation 下载 HLS 内容,以便当网络连接中断时在你的 App 中播放 HLS 音频或视频。探索线下使用 HLS 内容的最佳实践,学习如何使用 FairPlay Streaming 保护你的线下音频与视频,并了解我们对媒体下载政策所作出的更新。
-
9:27 探索 HLS 阻止预先加载通知
了解如何为 HLS 低延迟实施阻断预加载提示,以降低传送反应时间并提高你的视频流或音频流的可靠性。了解如何将 LL-HLS 和 CMAF Chunk传送整合起来,并将你的传送在各种流媒体格式种统一起来。
-
22:44 开发优质的 Siri 媒体交互体验
揭开为音乐和音频 app 设计 Siri 体验的艺术:我们将向你介绍如何设计出色的交互功能,以及如何提供定制词汇,以让 Siri 的响应更准确、更个性化。我们还将介绍如何利用 Apple 内部的 Siri 团队使用的方法来调试常见错误并测试你的 intents。
-
7:16 探索 Core Image 纠错技术
运用 Xcode 环境变量发现并且修复 Core Image 管道的渲染及优化问题。探索如何设置环境变量,从而对 Core Image 图表进行呈现。你将会了解如何生成 Core Image 图表以及如何对其进行解读,从而发现内存、色彩,以及性能问题,并更好地提升和优化 Core Image 管道。
-
10:41 使用 HLS 工具改善流媒体制作
HTTP Live Streaming (HLS)可向 iPhone、 iPad、Apple Watch、Mac、 PC 端和 Apple TV 提供现场和点播音频和视频。了解一些工具和特性,以帮助改善 HLS 流媒体制作,并为观看或收听此课程的用户提供低延迟 HLS 流媒体和更优质的音频性能。我们还将带你了解如何创建低延迟 HLS 媒体流验证、集成音频编解码器和创建主播放列表。
-
18:33 精通 Apple tvOS 画中画
画中画即将登陆 Apple TV:Apple tvOS 拥有实时视频回放、随时切换画中画与全屏画面的功能,为您带来前所未有的多任务灵活度。探索如何将 AVPictureInPictureController 加入您的项目,配合熟悉的 API,创建自定义回放界面,并使用您的 app 为用户提供最佳的视频回放体验。由于“向上滑动”手势现已改由 Apple tvOS 14 中的 AVPlayerViewController 使用,我们还将向您展示如何更改 customOverlayViewController 的启动手势。 为了提升教学效率,建议您掌握基础的 AVKit...
-
22:11 使用 AVAssetWriter 创作 片段 MPEG-4 内容
转换你的音频和视频内容至分段式 MPEG-4 文件,从而获得更快、更流畅的 HLS 流媒体体验。了解如何使用分段式 MPEG-4 格式,如何从电影中获得分段式内容以及如何设置 AVAssetWriter,从而创建用于 HLS 输出的片段。
-
5:54 HLS 低延迟 的创新
Apple 已经在 HTTP Live Streaming 协议中添加了低延迟扩展,将 HLS 的质量和可扩展性以两秒甚至更短的流延迟结合起来了。了解 LL-HLS 的最新部署动态和其如何使得你的视频传送与广播相比更有竞争力并提高社交媒体整合度。 要对 HLS 低延迟进行整体了解,请观看 WWDC19 的 “HLS 低延迟介绍”。
-
23:40 通过 AV Foundation 和 Video Toolbox 解码 ProRes
让你的 Mac app 解码并显示 ProRes 内容更加简单:了解如何利用 AVFoundation 和 VideoToolbox 的解码功能完成最优图形管线。我们将分享让你的 app 实现这一点的最佳方法和性能注意事项,并向你展示如何将Afterburner 加速卡与你的管线集成,并逐步介绍如何使用 Metal 显示解码帧。
-
9:37 使用 AVAudioSession 录制立体声音频
立体声录音可将声音有效传递给听众、粉丝和家人,给人身临其境的感觉。App 可通过 iPhone 或 iPad 内置麦克风录制立体声音频。了解 AVAudioSession 如何帮助你捕捉移动设备中的立体声,处理一种新的叫做“输入定位”的特殊考量。此外,该 API 还可助你在 app 使用中获得更好的录制体验。
-
11:26 将 SiriKit Media Intent 扩展到更多平台
了解如何使用 SiriKit Media Intents 让 Siri 点歌或打开音频播放程序。我们接下来会演示如何在我们多个平台上将 Siri 支持添加到用户音乐、播客或其他音频服务中,包括 HomePod 和 Apple TV。用户只要询问Siri就可开始收听。了解新的 API 功能。该功能支持其他功能项,以便用户在不离开 Siri 界面即可快速收听。
-
6:12 如何在 Xcode 环境下 构建基于 Metal 的 Core Image 内核
了解如何将运用 Metal Shading 语言编写的 Core Image 核心程序与你的app融合在一起并进行加载,同时发现如何借助这些图像滤镜创造独特效果。探索如何使用 Xcode 规则和命名约定来完成由 Metal Shading 语言编写的 Core Image 核心程序。我们将解析借助 Metal 技术和 Metal Shading 语言来高效使用 Core Image APIs 的最佳方式。
-
19:57 呈现一个更好的 HLS 音频体验
探索将高质量音频流传输至有限带宽网络和新音频编解码器支持的技术。 我们将分享一些支持 xHE-AAC,FLAC 和 Apple 保真压缩音频编解码器的最佳方法,包括对多通道 AAC 的有限支持。
-
-
WWDC19 -
8:53 AVAudioEngine 新功能
AVAudioEngine 支持音频的实时捕捉、处理和播放。了解如何在您的音频 app 中利用这一强大 API 的增强功能,例如对语音处理和空间渲染模式选择的支持。
-
14:50 支持 Alpha 通道的 HEVC 视频
HEVC 视频增加了对 alpha 通道的支持,您现在可以在 app 和网页上通过自定背景合成视频。了解如何制作兼容的媒体,以及进行播放的最佳做法。
-
5:32 AUv3 扩展用户预置
Audio Unit app 扩展让用户能够方便地在任何使用声音的 iOS 或 macOS app 中创建或修改音频,包括库乐队或 Logic Pro X 等音乐制作 app。随着 iOS 13 的推出,您现在可以为可在多个 app 中使用的扩展存储用户预置。
-
6:56 针对隔空播放 2 视频的 HLS 创作
通过隔空播放 2 视频功能,您可以将 Apple 设备上的视频分享到常见的智能电视。了解顺畅地将高质量视频传输到这些电视机的特别注意事项,以及如何利用验证工具来确保您的内容已准备好在黄金时段播放。
-
35:49 通过隔空播放 2 走向大屏幕
通过隔空播放功能,您可将 Apple 设备上的视频、照片和音乐等内容轻松分享到 Apple TV、喜爱的扬声器,以及常见的智能电视。了解如何为隔空播放视频提供最佳的体验,包括长篇内容的自动选择路径、遥控、正在播放元数据,以及视频质量注意事项等。
-
8:54 在 watchOS 6 上提供流媒体音频
通过在 Apple Watch 上提供流媒体音频,让客户无需携带 iPhone,亦可随时随地畅享您的内容。了解从 iOS 引入的流媒体 API,让 watchOS app 能够提供独立的音频消费体验。了解如何设置流媒体音频会话,并探索为在不同网络环境间切换的用户提供出色体验的最佳做法。
-
28:17 SiriKit 媒体意图简介
iOS 13 改进了 SiriKit,推出了全新的音频内容播放支持。了解如何为音乐、电子读物、播客和广播等提供出色的免提播放体验。深入了解搜索词处理的最佳做法,并探索如何利用播放速度、添加至播放列表和允许客户告知您是否喜爱相应内容来提供全面的体验。
-
42:06 HLS 低延迟简介
自 2009 年推出以来,HTTP Live Streaming (HLS) 已经在全世界提供了无数实时和点播音视频流媒体。随着全新低延迟模式的推出,现在可以大规模在公共网络上实现延迟不超过两秒,同时仍然向后兼容现有的客户端。了解如何开发和配置您的内容交付系统来利用这项新技术。
-
1:46 让您的音频 App 实现现代化
Apple 平台提供了打造丰富 app 体验所必需的整套音频框架和技术。了解推荐采用哪些框架和 API 来确保您的 app 为未来做好准备。
-
29:03 Core Haptics 简介
借助 Core Haptics,您可以设计全面定制附带同步音频的触感体验。通过示例体验触感和音频如何为您的 app 或游戏带来更强的沉浸感。了解如何创建、播放和分享内容,以及 Core Haptics 如何与其他音频和振动 API 搭配使用。
-
56:04 通过 Core Haptics 扩展感知体验
借助 Core Haptics,您可以设计属于自己的附带同步音频的 iPhone 触感体验。在这个包含两个部分的讲座中,了解基本的声音与触感设计原则和概念,从而打造调动更多人类感官的、有意义且令人愉悦的体验。探索如何在您的 app 或游戏中通过触感引擎结合视觉、听觉和触感,来增添更胜以往的逼真感并改进反馈。了解如何创建和播放内容,以及 Core Haptics 如何与其他音频和触感 API 搭配使用。
-
58:56 Metal 助力专业 App
Metal 是针对平台优化的图形与计算框架,是 Apple 各平台 GPU 加速的核心所在。了解 Metal 架构中支持现代高性能专业 app 和工作流程所用的各项技术的关键部分。熟悉如何利用各项 Metal 功能来优化性能,并在视频编辑流程中保持稳定的帧率。了解如何利用 CPU 和 GPU 并行计算,并深入了解实现高效数据吞吐的最佳做法。
-
40:05 利用 AVKit 实现直观的媒体播放
AVKit 是一个用于构建媒体用户界面的高级框架,包括播放控件、分集导航、画中画、音频路由、字幕与隐藏式字幕支持、Siri 与正在播放功能整合,以及对键盘、触控栏和遥控器的支持。了解如何在您的 iOS 和 Apple TVOS app 以及适用 Mac 的 iPad app 中整合这些技术的最佳做法。
-
-
WWDC17 -
9:07 HLS 创作更新
HTTP Live Streaming (HLS) 能够稳定地向全世界的观众提供视频。这种稳定性的关键是一整套可帮助您制作、交付和验证所创建 HLS 流媒体的工具。看看这些工具的新功能,学习最新的制作建议,以及这些建议如何应用于 HLS 的改进功能,例如 HEVC 和 IMSC1 支持。
-
14:41 Apple TVOS 上的正在播放和遥控命令
Apple TVOS 上的许多 app 都离不开统一、直观的媒体播放控制,而正确使用和配置 MPNowPlayingInfoCenter 和 MPRemoteCommandCenter 是提供出色用户体验的关键所在。更深入地探索这些框架,并学习如何确保顺畅的体验,不管您使用 Siri、Siri Remote 还是 iOS Remote app 来控制 app。
-
18:41 适用于 HTTP Live Streaming 的错误处理最佳做法
HTTP Live Streaming (HLS) 能够在各种不同的网络和带宽条件下稳定传输媒体内容。不过,影响流媒体传输的因素有许多,如服务器或编码器故障、缓存问题或网络掉线。了解您的服务器为实现最高稳定性应采用的最佳行为,并从实践角度了解您的 app 可能遇到的错误以及如何处理这些错误。
-
27:33 让您的 App 支持 CarPlay 车载
了解如何让您的音频、信息、VoIP 通话或汽车制造商 app 支持 CarPlay 车载。音频、信息和 VoIP 通话 app 采用一致的设计,并且为在车内使用进行过优化。汽车制造商 app 提供车辆相关的控制和显示功能,让驾驶员无需离开 CarPlay 车载就能保持互联。探索最佳做法,并了解适用于 CarPlay 车载 app 的工具和框架。
-
54:51 HTTP Live Streaming 改进
通过 HTTP Live Streaming,您可以将直播和按需播放内容通过流媒体的形式提供给全球观众。了解 HTTP Live Streaming 强大的新功能和增强功能。主要内容包括 HEVC 支持、播放列表元变量、IMSC1 字幕,以及多个流媒体的同步播放。探索如何通过新的 AVContentKeySession API 简化您的 FairPlay 密钥处理,以及利用离线 HLS 播放的增强功能。
-
-
WWDC16 -
11:37 语音识别 API
iOS 10 推出了全新的语音识别 API,让您可以在基于文件和实时的场景中进行快速的上下文感知语音识别。在这段视频中,您将全面了解这个新 API,以及如何将先进的语音识别服务整合到您的 app 中。
-
22:21 验证 HTTP 实时流
HTTP Live Streaming 能够在各种不同的网络条件下提供可靠的媒体内容交付。了解 HLS 创作的最佳做法,并探索如何通过 HTTP Live Streaming 工具验证您的流媒体,以及用结论来改进您的流性能。
-
-
WWDC15 -
35:51 在 AV Foundation 中编辑影片
了解如何使用新的 AVMutableMovie 类来修改媒体文件并简化编辑工作流程。看看如何支持基于分段的编辑,并探索示例引用影片的强大功能。
-
-
WWDC14 -
52:43 Direct Access to Video Encoding and Decoding
Discover how to use AV Foundation and Video Toolbox to access hardware accelerated encoding and decoding services. Gain best practices for when it is appropriate to use a high-level or low-level API for encoding or decoding. Learn about multi-pass export for improved H.264 encoding and see how...
-