ScreenCaptureKit 中的新增功能

ScreenCaptureKit 中的新增功能

使用 ScreenCaptureKit 中的最新功能提升你的屏幕共享体验。探索内置系统选择器、Presenter Overlay 和截屏功能，并了解如何将这些功能纳入你现有的 ScreenCaptureKit App 或游戏中。

章节
- 0:08 - Intro
- 1:36 - Presenter Overlay
- 4:36 - Screen sharing picker
- 9:46 - Screenshot API
- 13:01 - Wrap-Up
资源
- ScreenCaptureKit
- - 高清视频
  - 标清视频
相关视频

WWDC23
- 隐私保护的新功能
WWDC22
- 将 ScreenCaptureKit 提升到全新境界
- ScreenCaptureKit 简介
下载

♪ ♪
Christopher：大家好欢迎来到本次讲座！我叫 Christopher, 是 ScreenCaptureKit 团队的一名软件工程师我将与我的同事 Natalie Lindsay 一起介绍一些新功能这些功能将增强你的 App 中的屏幕捕捉功能
ScreenCaptureKit 是在 macOS 12.3 中引入的旨在帮助你创建 App 的屏幕共享体验 ScreenCaptureKit 提供了一组 API 让你可以自定义要共享的内容根据 App 需求动态应用控制该框架聚焦性能品质提供高质量的内容能够达到显示器原生分辨率和帧率并兼顾隐私安全今年 ScreenCaptureKit 提供了几个与新的 macOS 功能集成的开发者 API Presenter Overlay 是一项允许人们将自己嵌入到共享的内容中使屏幕共享和演示更个性化的功能通过全新的屏幕共享选择器你将能够集成系统范围的屏幕共享体验屏幕捕捉不仅适用于实时流今年还提供了一个全新的 API 允许你捕捉任何内容的高清截屏人们每天在世界各地进行互动在这些互动中我们分享思想、观点还能解决重要问题它们既专业又私人为此你的 App 可以与一种名为 Presenter Overlay 的新视频特效无缝配合使用在共享内容时 Presenter Overlay 通过将主讲人置于共享内容之上提升了主讲人的存在感为远程会议带来个人化的触感更有助于提高生产力借助先进的分割算法小型悬浮窗将主讲人放置在可移动窗口中大型悬浮窗将主讲人的脸部、身体与背景分离开来并在它们之间叠加屏幕内容实现更沉浸式的效果每个使用 ScreenCaptureKit 的 App 都可以使用 Presenter Overlay 对于每个创建的 SCStream ScreenCaptureKit 将通知屏幕共享选择器在新的视频菜单栏项中展示带有控制的实时预览视频菜单栏将显示每个具有活动流的 App 并显示与任何 App 相关的流的实时预览从该菜单栏你将能够通过展示屏幕共享选择器来控制正在传输和共享的屏幕内容这也是启用 Presenter Overlay 的地方将摄像头帧嵌入内容流中你还可以使用此功能控制流例如替换或结束屏幕共享此外该菜单栏还提供其他有用功能用于自定义相机和麦克风效果
使用 ScreenCaptureKit 和摄像头的每个 App 都会自动启用这些功能当前流中的内容帧是从 ScreenCaptureKit 发送到其进程的现在当 App 在活动流期间启用摄像头时 Presenter Overlay 将在视频菜单项中提供一旦启用 ScreenCaptureKit 将使用摄像头并将渲染应用于你的 App 已经运行的选定流你将自动从活动流中获得合成帧如果你想明确知道何时应用了 Presenter Overlay 该怎么办呢？
让我们从创建一个新的流并将其添加为代理开始然后在 SCStream 上实现新的代理回调函数 outputEffectDidStart 这是你被通知 Presenter Overlay 已被应用的方式当收到通知时你需要检查效果是开始还是停止 Presenter Overlay 是 macOS 的一个新系统功能因此当应用了叠加效果时你的 App 可能需要考虑一些情况
当 Presenter Overlay 被打开时 AVCaptureSession 将不会发送典型的实时相机流这是因为你的相机会直接用于叠加效果这将是更新 App UI 以适应这种变化的好时机例如视频会议 App 可能希望调整音视频同步以适应混合了摄像头和共享内容的情况你可能还想隐藏演讲者的相机图块以获得更优化的外观 Presenter Overlay 是摄像头和视频功能因此你的 App 应该针对更高的帧率进行优化
除了 Presenter Overlay 你还可以利用一个全新的系统级屏幕共享选择器该选择器允许你的 App 完全集成多个与选择共享内容相关的功能这些是你通常创建流的一般结构目前你可调用 SCSharableContent 来获取所有可共享的屏幕内容你将使用它来创建 SCContentFilter SCContentFilter 用于确定你要捕获的内容目前你是通过 SCSharableContent 构建它的但今年新推出的方式是通过选择器获取内容过滤器选择器有两种方式生成 SCContentFilter 首先可以通过系统选择器共享所需的内容其次可以直接从打开的窗口中选择内容在这两种情况下系统会将 SCContentFilter 与你的 App 共享但是如何将新的内容过滤器引入到你的 App 中呢？通过使用新的 API SCContentSharingPicker SCContentSharingPicker 充当你的 App 与操作系统之间的接口为你的 App 提供委托回调包括新的流请求、新的内容过滤器以及当前流和内容过滤器的更新 SCContentSharingPicker 具有一个内置的系统级内容选择器可基于窗口、 App 甚至显示器选择内容无论是通过 App 中的按钮、新的视频菜单栏还是直接从窗口中选择内容你的 App 都可以利用 SCContentSharingPicker 添加、删除或替换任何正在进行的流的活动选择 SCContentSharingPicker 也内置了流请求回调可以让你的 App 接收新的流请求最后它还带有每个流的自定义功能你可以定义系统如何应用于每个流的体验获取 SCStream 的过滤器的构造方式已从使用 SCSharableContent 转为使用系统选择器接口和 SCContentSharingPicker 单例来传递 SCContentFilter 让我向你展示你的 App 如何轻松利用这个新的屏幕共享选择器你将从 SCContentSharingPicker 的共享实例开始并将自身添加为观察者以便获取所有适当的类回调为了使系统识别选择器实例请将其设置为激活状态一旦活动系统将了解你的选择器并将你的 App 包括在系统 UI 中使人们可以与之交互你想要创建一个允许人们通过选择器选择窗口的流因此你将调用单例方法 picker.present 并传入 nil 和你想要呈现的选择器样式当用户按下你的 UI 按钮后选择器将被呈现允许他们选择他们希望捕捉的窗口在选择内容之后你将通过观察者回调接收到一个新的过滤器的通知现在你可以自由地使用此过滤器创建一个新的流或更新现有的流剩下的观察者回调同样重要通过将其设置为激活并呈现它再次设置选择器你还希望在请求呈现选择器时了解是否失败如果不合格你将希望在你的 App 发送通知来告知用户此外如果选择器已经呈现但被取消即没有选择内容你希望确保相应地设置流的状态
SCContentSharingPicker 还提供了一些方法允许你在每个流级别自定义系统的行为 SCContentSharingPickerConfiguration 允许进行几种自定义设置 AllowedPickingModes 告诉系统在内容过滤器中允许选择窗口、 App 或显示器选择中的哪些选择模式它还允许明确声明不允许系统体验选择的 excludedWindowIDs 和 bundleIDs 如果你有一个不希望用户更改的流 SCContentSharingPickerConfiguration 具有一个属性可以强制实现该功能首先获取一个共享的 picker 实例然后将自己添加为观察者并将选择器设置为激活状态现在设置适当的配置设置对于这个流也许你希望排除两个特定 App 的选择并且不允许重新选择一旦配置设置完毕请调用 picker 上的 setConfiguration 方法传入配置和适用的流
现在选择器将准确地知道如何针对给定的流进行操作此外请注意每个流可能具有不同的选择器配置以最适合 App 的需求
回顾一下现在将所有的 ScreenCaptureKit 流整合到了 macOS 体验中使任何 App 都能利用 Presenter Overlay 等新功能我也向你介绍了 SCContentSharingPicker 这是一个用于将你的 App 集成到新的系统选择器 UI 的新 API 但是在你的 App 中进行屏幕捕捉不仅仅涉及到实时流接下来由我的同事 Natalie, 更详细地介绍一下这个新的截屏 API Natalie：谢谢 Christopher 今年 ScreenCaptureKit 中有一个新的 API 旨在使你能够轻松地从屏幕上捕获静态图像新的截屏 API 将 ScreenCaptureKit 流的优势带到了截屏中包括按 App 或窗口进行高级过滤、多种像素格式和色彩空间以及光标可见性等选项都可用现在你将能够使用熟悉的 ScreenCaptureKit 结构高效地捕获你想要的精确屏幕内容的图像
新的 API 是异步的对于输出图像你可以选择 CMSampleBuffer 或 CGImage 格式 CMSampleBuffer 选项提供了额外的像素格式非常适合你对特定格式感兴趣的情况如果你已经在你的代码中使用 CGImage 那么使用这种格式将更容易集成无论使用哪种格式你的截屏将使用几乎与 ScreenCaptureKit 流相同的配置选项并遵循类似的设置流程如果你使用 CGWindowListCreateImage 有几个方面将使过渡到 ScreenCaptureKit 更容易你在 CGWindowList API 中可使用的所有窗口图像选项都可以在 ScreenCaptureKit 的 SCStreamConfiguration 类中找到窗口列表选项如获取特定窗口 ID 上方的所有窗口可以在 SCShareableContent 中找到如果你习惯使用 CGImage 输出新的截屏 API 提供了一个 CGImage 输出格式可以轻松集成到你现有的代码中获取截屏的过程与 ScreenCaptureKit 流类似但在创建 SCStream 的位置你将调用截屏 API 开始时就像创建流一样使用 SCShareableContent 来获取你想要的内容并创建你的 SCContentFilter 不要忘记设置你的 SCStreamConfiguration 以满足你对截屏的所有需求一旦你拥有内容过滤器和流配置就调用截屏 API 并将它们传递进去这个 API 是在 SCScreenshotManager 类上的一个类方法所以你不需要创建 SCScreenshotManager 对象来进行截屏当截屏图像准备好时它将以你选择的格式以异步方式返回给你你还可以使用新的系统选择器来创建你的内容过滤器然后使用它来调用截屏 API 这将是一种让用户以直观的方式选择所需内容的好方法在进行截屏时根据你的需要有两个版本的 API 可供选择： CMSampleBuffer 输出类型和 CGImage 输出类型除此之外这两个版本的工作方式是相同的都会异步返回你的截屏以下是一个代码示例展示了如何使用截屏 API 首先设置你的 SCContentFilter 和 SCStreamConfiguration 一旦准备就绪你可以调用截屏 API 并等待其返回然后你将得到你的截屏这就是 ScreenCaptureKit 中的所有新内容总结一下有一个新 API 用于创建 SCContentFilters 该 API 用系统级别的 UI 与你的 App 一起使用以实现完全集成的屏幕共享体验全新的 Presenter Overlay 视频效果提供了更动态的屏幕共享体验而新的截屏 API 利用 ScreenCaptureKit 的强大功能允许你进行一次性的屏幕捕捉如欲了解有关 ScreenCaptureKit 的更多信息, 请查看去年的讲座 “认识 ScreenCaptureKit”和 “将 ScreenCaptureKit 提升到新水平”
感谢观看

// Set up delegate for stream
let stream = SCStream(filter: filter, configuration: config, delegate: self)

// delegate method for Presenter Overlay applied
func stream(_ stream: SCStream, outputEffectDidStart didStart: bool) {
    // if Presenter Overlay is on, present banner in app to notify
    if didStart == true {
        presentBanner()
        turnOffCamera()
    } else {
        turnOnCamera()
    }
}

6:48 - Set up content sharing picker instance

// Set up content sharing picker instance
    let picker = SCContentSharingPicker.shared()
    picker.addObserver(self)
    picker.active = true
    
    // show system level picker button
    func showSystemPicker(sender: UIButton!) {
        picker.present(for stream: nil, using contentStyle:.window)
    }
    
    // observer call back for picker
    func contentSharingPicker(_ picker: SCContentSharingPicker, didUpdateWith filter:                                          
    SCContentFilter, for stream: SCStream?) {
       if let stream = stream {
            stream.updateContentFilter(filter)
        } else {
            let stream = SCStream(filter: filter, configuration: config, delegate: self)
        }
    }

7:41 - Observer call back for picker did fail and did cancel

// Set up content sharing picker instance
    let picker = SCContentSharingPicker.shared()
    picker.addObserver(self)
    picker.active = true

    // show system level picker button
    func showSystemPicker(sender: UIButton!) {
        picker.present(for stream: nil, using contentStyle:.window)
    }

    // observer call back for picker did fail
    func contentSharingPicker(contentSharingPickerStartDidFailWith error:NSError) {
        if error {
            presentNotifications(error: error)
        }
    }

    // observer call back for picker did cancel
    func contentSharingPicker(_ picker: SCContentSharingPicker, didCancel for stream: SCStream?) {
       if stream {
           resetStateForStream(stream: stream)
       }
    }

8:41 - Per-stream configuration

// Set up content sharing picker instance
    let picker = SCContentSharingPicker.shared()
    picker.addObserver(self)
    picker.active = true
    
    // Create configurations
    let pickerConfig = SCContentSharingPickerConfiguration()
    
    // Set Picker configuration
    pickerConfig.excludedBundleIDs = [“com.foo.myApp”,”com.foo.myApp2”]
    pickerConfig.allowsRepicking = true
    
    // Create configurations
    picker.setConfiguration(pickerConfig, for: stream)

    func showSystemPicker(sender: UIButton!) {
        picker.present(for stream: nil, using contentStyle:.window)
    }

12:26 - Call the screenshot API

// Call the screenshot API

class SCScreenshotManager : NSObject {

class func captureSampleBuffer(contentFilter: SCContentFilter, 
                               configuration: SCStreamConfiguration)
  															async throws -> CMSampleBuffer

class func captureImage(contentFilter: SCContentFilter,
                        configuration: SCStreamConfiguration)
  											async throws -> GImage
}

12:44 - Take a screenshot with ScreenCaptureKit

// Don't forget to customize the content you want in your screenshot
// Use SCShareableContent or SCContentSharingPicker to pick your content
let display = nil;

// Create your SCContentFilter and SCStreamConfiguration
// Customize these lines to use the content you want and desired config options
let myContentFilter = SCContentFilter(display: display,
                             excludingApplications: [],
                             exceptingWindows: []);
let myConfiguration = SCStreamConfiguration();

// Call the screenshot API and get your screenshot image
if let screenshot = try? await SCScreenshotManager.captureSampleBuffer(contentFilter: myContentFilter, configuration:
                                                       myConfiguration) {
    print("Fetched screenshot.")
} else {
    print("Failed to fetch screenshot.")
}

正在查找特定内容？在上方输入一个主题，就能直接跳转到相应的精彩内容。

提交你查询的内容时出现错误。请检查互联网连接，然后再试一次。

章节

资源

相关视频

WWDC23

WWDC22