优化 Core Data 和 CloudKit 的使用

优化 Core Data 和 CloudKit 的使用

和我们一起探索开发周期的三个组成部分，帮助您优化 Core Data 和 CloudKit 的实施。我们将介绍如何分析您 App 的架构和功能集以便验证假设，探索提取大型数据集后的行为变化，并获得可操作的反馈来优化您的工作流程。为能更好地理解此讲座，我们建议您先熟悉将数据模型同步到 CloudKit 的基本流程。

资源
相关视频

WWDC22
- Core Data 模式进化
WWDC21
- 构建通过 CloudKit 和 Core Data 共享数据的 app
WWDC20
- 用 Xcode Organizer 诊断性能问题
WWDC19
- 将 Core Data 与 CloudKit 搭配使用
- Instruments 入门
下载

Nick: 大家好我叫 Gillett 是 Apple Core Data 团队的一名工程师在本期讲座中我将向你展示如何使用开发者工具了解更多关于使用 NSPersistentCloudKitContainer 的 App 信息首先我们将详细介绍如何以一种富有成效和具有教育意义的方式来探索应用程序
然后我们将使用一些我最喜欢的工具来分析应用程序的行为最后我们将研究如何就使用 NSPersistentCloudKitContainer 的体验提供详细的可操作的反馈
我喜欢把工程学想象成水循环通常我从探索功能所在的空间开始研究其功能然后根据我学到的东西我会使用工具和测试的组合在可复制的环境中分析我的工作最后我会与同事和合作者一起回顾结果并收集他们的反馈这个循环的目标是持久地捕捉到我在工作中学到的东西 Apple 平台包括很多工具比如 Xcode Instruments 和 XCTest 我用它们来获取我所学的内容这些工具还可以收集大量的诊断信息我可以用这些信息来提供可操作的反馈
本讲座参考了过去几年的许多知识我已经讨论过 NSPersisentCloudKitContainer 和 Core Data CloudKit 示例应用程序我今天将在 “Build Apps that share data through CloudKit and Core Data” 和 “Using Core Data with CloudKit.” 这两个讲座中详细介绍这两个应用程序我还将演示如何使用 Xcode 和 Instruments 来运行测试以及如何使用 Device Organizer 从设备中捕获数据如果需要我建议你查看讲座 “Getting Started With Instruments” 和 “Diagnose performance issues with the Xcode Organizer” 以更多地了解工具链的这两个重要部分好了让我们开始本循环的第一部分探索对我来说探索的首要目标是学习我想挑战并验证应用程序工作原理的所有假设我可能会问如果我点击这个按钮会发生什么当我将数据保存到永久存储时 NSPersistentCloudKitContainer 是否同步在处理大型数据集时应用程序是否会耗尽内存从 Core Data 的角度来看所有这些问题都受到应用程序处理的数据的影响例如 Core Data CloudKit 示例应用程序使用这个数据模型
它管理一组帖子其中包含一些标题和内容的文本字段帖子可以与附件通常是图像相关这些附件可能非常大
因此 ImageData 存储在一组对一关系中以便按需加载我将重点研究该数据集特别是当我改变该数据的形状结构和变化时该示例应用程序会发生什么
自从发布以来该示例应用程序已经包含了一个内置的方法来探索它 Generate 1000 Posts 按钮完全按照标签上的内容执行点击后它会生成一个包含 1000 篇短文标题的样本数据集帖子的表格视图可以轻松处理这种级别的数据因此我要问的下一个问题是如何在这个应用程序中探索不同形状或大小的数据集 Generate 1000 Posts 按钮运行的是我所说的算法数据生成器算法数据生成器遵循一组预先确定的规则如 “插入 1000 个对象” 或“确保每个字段都有值或者没有字段有值” 事实证明我们也是数据生成者我们可以在代码中在 SQL 中或通过直接与应用程序交互来手工创建特定的数据集这些生成的数据集可以被保留以供以后使用或分析为了探索更大的数据集我可以定义一个新的数据生成器 LargeDataGenerator 并提供一个方法来构建我的新数据集即 generateData 只需两个 for 循环我就可以生成一组 60 个帖子每个帖子都有 11 个关联的图片附件总共有 660 张图片每个图像的平均大小为 10 到 15 MB 生成的数据集消耗了近 10 GB 的数据通过这样一个简单的接口数据生成器很容易在这样的测试中调用这一行代码生成了超过 10 GB 的代表性数据供该测试使用
此外我们可以在测试中构建验证方法以验证数据生成器的行为是否正确比如断言每个帖子确实有 11 个图像附件
当然如果我们不同步这些数据这就不是 NSPersistentCloudKitContainer 所以让我们设计一个新的测试来完成这个任务
我首先需要使用 NSPersistentCloudKitContainer 的一个实例我已经创建了一个助手方法来简化这一过程接下来我使用 LargeDataGenerator 用所需的数据集填充容器最后我等待容器完成数据导出在这个特定的测试中我最多等待 20 分钟以便为大数据集提供上传时间
你们当中目光敏锐的人可能已经注意到这个测试似乎在等待不同类型的事件在这里当我创建容器时我等待容器完成设置在这里我使用我编写的助手方法为容器中的导出事件创建 XctestExpections 我们来详细了解一下
此方法将所需的事件类型和 NSPersistentCloudKitContainer 的实例作为参数它使用 XCTestCase 的 expectationForNotification 方法来观察 NSPersistentCloudKitContainer 的 eventChanged 通知从而为容器中的每个持久性存储创建一个预期在通知处理程序模块中我验证传入事件的类型是否与这个预期所针对的特定存储的类型一致并通过检查 endDate 不等于 nil 来完成通过使用这种技术我们可以将测试中的控制点与来自 NSPersistentCloudKitContainer 的事件紧密关联起来回到测试中我添加了一个新容器来导入刚刚导出的数据这项技术使用了一种技巧它使用空存储文件创建 NSPersistentCloudKitContainer 的新实例这使得测试可以利用 NSPersisentCloudKitContainer 的第一次导入来探索当设备下载所有这些数据时会发生什么现在测试很顺利但有时我想知道数据集在应用程序中是如何工作的为此我可以将数据生成器绑定到用户界面就像我们在示例应用程序中所做的那样当我点击 Generate Large Data 按钮时我可以看到数据生成器填充数据集在另一个设备上当 NSPersistentCloudKitContainer 下载生成的数据时我可以看到表视图被填充点击单个帖子我可以看到附件下载和增量填充就像该应用程序用户所做的那样此特定用户界面由警报控制器驱动 LargeDataGenerator 的简单接口使得仅使用这两行代码就可以轻松地添加新的警报操作清晰简洁易理解
在这个部分我们使用数据生成器的概念探索了应用程序的行为数据生成器可在我们的应用程序中以我们选择的任何方式驱动无论是通过测试或自定义 UI 如我所演示的那样或是通过命令行参数之类的东西或任何针对特定用例的东西现在我们已经知道如何用数据填充应用程序那么我们就可以分析数据如何改变应用程序的行为了在这个部分我们将了解一些工具和技术来分析应用程序如何处理大型数据集
具体来说我们将使用工具分析 LargeDataGenerator 创建的数据集的时间和内存复杂性然后我们将查看系统日志中丰富的可用信息这样我们就可以从 NSPersistentCloudKitContainer CloudKit 系统调度器和推送通知中找到活动记录我们先从 Instruments 开始我喜欢测试的一个原因是 Xcode 使分析测试行为变得很容易在我的测试用例中我可以在 gutter 区域点击右键显示并选择 Profile Xcode 将构建测试然后自动启动工具我可以双击 Time Profiler 工具来检查我的测试在哪里花费了时间
当我点击记录按钮时 Instruments 将启动应用程序并执行所选的测试这个测试似乎要花很长时间来运行我们跳过这一步看看为什么 Instruments 已经选择了主线程在右边我可以看到测试运行中最重的堆栈轨迹
我们让它更易阅读
好了现在如果我滚动到底部可以看到 LargeDataGenerator 正在花费大量时间来生成缩略图我们如何判断这是一个漏洞还是一个功能呢
在 LargeDataGenerator 中我用这行代码为每个附件生成一个新的缩略图但我从应用程序的数据模型中知道缩略图是特殊的它们是根据相关的 imageData 按需计算的这意味着这一行代码不是必要的我的数据生成器在这上面浪费了很多时间所以我可以把它删除掉我们来看看这会如何改变测试的性能在使用更新的数据生成器重新构建应用程序后我可以在 Instruments 中重新运行测试老实说我看不出有什么变化但再过几秒钟测试就完成了这比上一次运行快得多我们看看测试大部分时间花在哪里
在右侧的边栏抽屉型菜单中我现在看到最重的堆栈轨迹是将图像保存到持久存储中这正是我对管理这么多数据的测试所期望的
这一改变将 generateData 测试的运行时间从这么多减少到这么多它的执行时间只有十分之一以这种方式分析测试并不总能发现漏洞有时我们只是进一步了解了应用程序在处理特定数据集时将时间花在哪里但不管怎样这都是有价值的学习
这就是 Time Profiler 工具如何帮助探索应用程序在数据集上花费的时间现在由于这个数据集的大小我也很好奇这个测试使用了多少内存让我们使用 Allocations 工具来试一试我将使用 Xcode 启动 Instruments 来分析我的测试我将双击 Allocations 而不是选择 Time Profiler 工具
然后点击 Record
尽管此测试执行速度很快但它使用了大量内存实际上超过 10 GB 这告诉我在测试运行期间几乎整个数据集都保存在内存中让我们来找出原因
我可以选择要查看的分配范围在底部窗格中我可以看到有许多大的分配我可以通过单击这个公开信息来深入研究这些内容然后单击分配给测试的一个大数据团此特定 blob 已分配但在将近两秒钟内未释放这是一个永恒的测试时间为什么它能存在这么久呢
我可以通过展开右边的堆栈轨迹来探究这一点
根据经验分配和解除堆栈轨迹告诉我此对象是由于 CoreData 而出现了故障然后在托管对象上下文完成其工作时释放这通常表示对象是由提取 autoreleasepool 或测试中的对象保留的
代码中有问题的部分在我的验证器中我从附件中加载图像并进行验证但这会将附件和关联的图像数据注册到托管对象上下文中我们可以通过多种方式来解决这个问题例如在表格视图中当表格滚动到帖子上时我们可以使用批处理提取来释放图像然而此测试执行得太快无法有效执行我需要改变方法我可以提取附件而不是通过提取帖子来验证如果我也只提取 objectID 那么托管对象上下文将不会捕获任何加载的对象除非我要求它这样做
在进行验证时我可以使用 NSManagedObjectContext 的 objectWithID 方法提取附件最后对于我验证的每 10 个附件我会重置上下文释放所有缓存状态和相关内存
如果我用这个变化重新运行测试我可以看到它将引起更可预测和更可调的内存消耗水平事实上在插入这些对象时验证器使用的内存甚至比 LargeDataGenerator 更少
让我们深入了解特定的分配以了解修复的工作方式
首先我将选择一系列要使用的分配然后我将选择一个特定的大小进行检查
我需要启用已销毁的对象来查找在此期间释放的对象然后我可以选择一个特定的分配进行检查
在右侧 Instruments 向我显示了一个分配堆栈轨迹但我想知道它在哪里被释放所以我将选择 deallocation 事件我碰巧知道这个堆栈轨迹意味着 NSManagedObjectContext 正在异步释放保留此 blob 的对象从而释放已使用的内存这种技术使我能够为测试建立一个高水位线使其能够在内存较少的系统上运行
通过将测试与 Instruments 相结合我发现这个特定的测试有一些不太理想的行为我做了有针对性的改变来直接解决这种行为然后验证结果此外系统日志还包含大量关于应用程序及其依赖的系统服务的信息如 CloudKit 进程表和推送通知我将在我的 MacBook Pro 和 iPhone 之间同步一篇帖子当我在 Mac 上插入一篇新帖子给它一个简短的标题并将其上传到 iCloud 时系统日志会捕获一些事件
当它与我的 iPhone 同步时有时甚至会捕获中间状态系统日志会捕获相应的一组事件在 MacBook Pro上 NSPersistentCloudKitContainer 在应用程序进程内部工作在本例中它是 CoreDataCloudKitDemo 当数据被写入持久存储时它会询问名为 DASD 的系统服务现在是否适合将数据导出到 CloudKit 如果是那么DASD 将通知 NSPersistentCloudKitContainer 运行任务然后 NSPersistentCloudKitContainer 将使用一个名为 cloudd 的进程来调度工作以将更改后的对象导出到 CloudKit 我们可以使用 Console app 观察每个进程的日志对于应用程序日志我们只需查找应用程序进程 CoreDataCloudKitDemo 在这里我选择了一个显示导出完成的选项对于调度日志我们希望查看来自进程 dasd 和来自应用程序特定存储的日志在这里我为应用程序的私有存储选择了导出任务开始让我们更详细地检查一下这个日志 NSPersistentCloudKitContainer 使用 dasd 创建的任务遵循特定的格式任务标识符由 NSPersistentCloudKitContainer 使用的特定前缀以及任务所属存储的存储标识符组成 dasd 日志包含有关服务如何决定任务是否可以运行的信息影响应用程序工作能力的策略将与最终决策一起列在日志中
最后流程 cloudd 记录来自 CloudKit 的信息我喜欢根据正在处理的容器标识符过滤这些日志在这里我为前面提到的导出内容选择了相应的修改记录操作
当在接收设备上导入更改时还有一个额外的过程需要观察 apsd 进程负责接收推送通知并将其转发给应用程序这会导致 NSPersistentCloudKitContainer 启动一系列类似于导出过程的任务它询问 dasd 执行导入的时间然后使用 cloudd 从 CloudKit 提取所有更新的对象并将它们导入本地存储
Apsd 在收到应用程序的推送通知时会进行日志记录该日志记录了许多重要的细节日志消息包括这里的容器标识符以及触发推送通知的订阅名称和区域标识符这些由 NSPersistentCloudKitContainer 管理并将始终以前缀 com.apple.coredata.cloudkit 开头
现在 console app 很棒但当我在 Mac 上开发时我喜欢使用终端中的 log stream 命令将这些日志显示在我的 App 旁边
我为以下每个 predicate 打开一个终端窗口或选项卡首先是应用程序接下来是 cloudd 中的日志这样我就可以看到 CloudKit 服务器发生了什么接下来是用于推送通知日志的 apsd 最后是 dasd 这样我就可以看到 NSPersistentCloudKitContainer 为我安排的任务发生了什么这些 predicate 还可以用于指导 console app 中的查询
在我们使用的设备上有很多信息可供我们使用真正的挑战是知道使用什么工具来发现和分析信息仅使用 Instruments 我们就可以了解许多主题如运行时间和内存性能等系统日志捕获事件这些事件描述应用程序所做的工作以及系统在幕后为它所做的工作开发周期的最后阶段是收集和提供可操作的反馈在这个部分我将演示如何从设备收集诊断信息我们的目标是利用这些信息来产生可行的反馈并与特定的目标保持一致这些技术可以帮助你从任何设备收集反馈无论是你自己的设备还是客户的设备从设备收集诊断信息有三个步骤首先我们需要安装 CloudKit 日志记录配置文件该文件允许使用日志来识别问题并对其进行有效分类接下来我们将从受影响的设备收集 sysdiagnose 最后如果我们对设备有物理访问权我们还可以从 Xcode 收集持久存储文件要安装日志配置文件我们只需访问开发人员网站上的 Profile and Logs 页面我可以搜索 CloudKit 配置文件然后点击配置文件链接进行下载在某些设备上会显示安装配置文件的通知然而在 iOS 上我们需要通过 Settings app 手动安装
在 Settings 中我可以导航到点击 Profile Downloaded 单元格然后我可以点击下载的配置文件进行安装按照步骤完成安装配置文件安装完成后重启设备即可生效
一旦设备重新启动我们就可以重现我们想要捕获的行为然后进行系统诊断进行系统诊断是通过 keychord 即一系列特殊的按钮来完成的这些在配置文件的说明页面中进行了描述我碰巧知道在 iPhone 中我们按住音量键和侧边按钮几秒钟然后松开稍后 sysdiagnose 便在 Settings 中可用查找它的说明包含在概要文件的说明文件中在 Settings 中我导航到 Privacy & Security Analytics and Improvements 然后选择 Analytics Data 在日志中滚动直到找到 sysdiagnose
如果我点击 sysdiagnose 然后点击 Share 按钮我可以选择多种方式来分享它例如我喜欢将它们隔空投送到我的 Mac 上进行分析最后如果可能的话我可以使用 Device Organizer 从 Xcode 收集存储文件我可以从这台 iPhone 上收集文件方法是单击已安装 App 列表中的示例应用程序单击公开信息按钮选择 Download Container 并将其保存到我的 Downloads 目录中
完成所有这些操作后现在可以对系统日志和存储文件进行分析了我们已经讨论了 log stream 命令但使用 sysdiagnose 时我可以使用 log show 命令打印出系统诊断中的日志在这里我复制了我们前面谈到的 apsd 日志的 predicate
log show 命令的最后一个参数是要使用的 logarchive 如果未指定任何内容它将显示其运行所在机器的系统日志这里我指定了 system_logs.logarchive 以便读取我从 sysdiagnose 中获取的日志例如我可以指定一个精确的时间范围以关注我感兴趣的事件发生的时间
我还可以将我们前面讨论的许多 predicate 组合起来形成一个与应用程序相关的所有任务的统一日志首先是这里的应用程序日志这里的 cloudd 日志这里的 apsd 日志最后是这里的 dasd 日志这个强大的命令可以包含在反馈报告中也可以与队友共享让每个人都可以专注于一组特定的日志进行分析
在本讲座中我们讨论了如何使用数据生成器来探索应用程序的行为如何使用工具和系统日志来分析应用程序以及如何从使用 NSPersistentCloudKitContainer 的应用程序中提供或收集可操作的反馈
我是 Nick Gillett 很高兴为大家带来这个演讲感谢收看保持活跃双手合十祝你余下的 WWDC 之旅一切顺利

class LargeDataGenerator {
    func generateData(context: NSManagedObjectContext) throws {
        try context.performAndWait {
            for postCount in 1...60 {
                //add a post               
                for attachmentCount in 1...11 {
                    //add an attachment with an image
                    let imageFileData = NSData(contentsOf: url!)!
               }
            }
        }
    }
}

5:07 - Testing a large data generator

class TestLargeDataGenerator: CoreDataCloudKitDemoUnitTestCase {
    func testGenerateData() throws {
        let context = self.coreDataStack.persistentContainer.newBackgroundContext()
        try self.generator.generateData(context: context)
        try context.performAndWait {                     
            let posts = try context.fetch(Post.fetchRequest())
            for post in posts {
                self.verify(post: post, has: 11, matching: imageDatas)
            }
        }
    }
}

5:33 - Sync generated data in test

func testExportThenImport() throws {
    let exportContainer = newContainer(role: "export", postLoadEventType: .setup)
    try self.generator.generateData(context: exportContainer.newBackgroundContext())
    self.expectation(for: .export, from: exportContainer)
    self.waitForExpectations(timeout: 1200)
}

6:35 - Expectation helper method

func expectation(for eventType: NSPersistentCloudKitContainer.EventType,
                 from container: NSPersistentCloudKitContainer) -> [XCTestExpectation] {
    var expectations = [XCTestExpectation]()
    for store in container.persistentStoreCoordinator.persistentStores {
        let expectation = self.expectation(
            forNotification: NSPersistentCloudKitContainer.eventChangedNotification,
            object: container
        ) { notification in
            let userInfoKey = NSPersistentCloudKitContainer.eventNotificationUserInfoKey
            let event = notification.userInfo![userInfoKey]               
            return (event.type == eventType) &&
                (event.storeIdentifier == store.identifier) &&
                (event.endDate != nil)
        }
        expectations.append(expectation)
    }
    return expectations
}

7:18 - Import data model in test

func testExportThenImport() throws {
    let exportContainer = newContainer(role: "export", postLoadEventType: .setup)
    try self.generator.generateData(context: exportContainer.newBackgroundContext())
    self.expectation(for: .export, from: exportContainer)
    self.waitForExpectations(timeout: 1200)
    
    let importContainer = newContainer(role: "import", postLoadEventType: .import)
    self.waitForExpectations(timeout: 1200)
}

8:23 - Data generator alert action

UIAlertAction(title: "Generator: Large Data", 
              style: .default) {_ in
    let generator = LargeDataGenerator()
    try generator.generateData(context: context)
    self.dismiss(animated: true)
}

10:50 - Eagerly generating thumbnail in data generator

func generateData(context: NSManagedObjectContext) throws {
    try context.performAndWait {
        for postCount in 1...60 {
            for attachmentCount in 1...11 {
                let attachment = Attachment(context: context)
                let imageData = ImageData(context: context)
                imageData.attachment = attachment
                imageData.data = autoreleasepool {
                    let imageFileData = NSData(contentsOf: url!)!
                    attachment.thumbnail = Attachment.thumbnail(from: imageFileData,        
                                                                thumbnailPixelSize: 80)
                    return imageFileData
                }
            }
        }
    }
}

11:13 - Lazily generating thumbnail in data generator

func generateData(context: NSManagedObjectContext) throws {
    try context.performAndWait {
        for postCount in 1...60 {
            for attachmentCount in 1...11 {
                let attachment = Attachment(context: context)
                let imageData = ImageData(context: context)
                imageData.attachment = attachment
                imageData.data = autoreleasepool {
                    return NSData(contentsOf: url!)!
                }
            }
        }
    }
}

14:14 - Problematic verifyPosts implementation

func verifyPosts(in context: NSManagedObjectContext) throws {
    try context.performAndWait {
        let fetchRequest = Post.fetchRequest()
        let posts = try context.fetch(fetchRequest)

        for post in posts {
            // verify post

            let attachments = post.attachments as! Set<Attachment>
            for attachment in attachments {

                XCTAssertNotNil(attachment.imageData)
                //verify image
            }
        }
    }
}

14:49 - Efficient verifyPosts implementation

func verifyPosts(in context: NSManagedObjectContext) throws {
    try context.performAndWait {
        let fetchRequest = Attachment.fetchRequest()
        fetchRequest.resultType = .managedObjectIDResultType
        let attachments = try context.fetch(fetchRequest) as! [NSManagedObjectID]

        for index in 0...attachments.count - 1 {
            let attachment = context.object(with: attachments[index]) as! Attachment

            //verify attachment
            let post = attachment.post!
            //verify post

            if 0 == (index % 10) {
                context.reset()
            }
        }
    }
}

20:41 - Display logs using `log stream`

# Application
log stream --predicate 'process = "CoreDataCloudKitDemo" AND 
                        (sender = "CoreData" OR sender = "CloudKit")'

# CloudKit 
log stream --predicate 'process = "cloudd" AND
                        message contains[cd] "iCloud.com.example.CloudKitCoreDataDemo"'

# Push
log stream --predicate 'process = "apsd" AND message contains[cd] "CoreDataCloudKitDemo"'

# Scheduling
log stream --predicate 'process = "dasd" AND 
                        message contains[cd] "com.apple.coredata.cloudkit.activity" AND
                        message contains[cd] "CEF8F02F-81DC-48E6-B293-6FCD357EF80F"'

24:36 - Display logs with `log show`

log show --info --debug
    --predicate 'process = "apsd" AND
                 message contains[cd] "iCloud.com.example.CloudKitCoreDataDemo"'
    system_logs.logarchive

log show --info --debug
    --start "2022-06-04 09:40:00"
    --end "2022-06-04 09:42:00"
    --predicate 'process = "apsd" AND 
                 message contains[cd] "iCloud.com.example.CloudKitCoreDataDemo"'
    system_logs.logarchive

25:17 - Provide a predicate to `log show`

log show --info --debug
    --start "2022-06-04 09:40:00" --end "2022-06-04 09:42:00"
    --predicate '(process = "CoreDataCloudKitDemo" AND
                      (sender = "CoreData" or sender = "CloudKit")) OR
                 (process = "cloudd" AND
                      message contains[cd] "iCloud.com.example.CloudKitCoreDataDemo") OR
                 (process = "apsd" AND message contains[cd] "CoreDataCloudKitDemo") OR 
                 (process = "dasd" AND
                     message contains[cd] "com.apple.coredata.cloudkit.activity" AND
                     message contains[cd] "CEF8F02F-81DC-48E6-B293-6FCD357EF80F")'
    system_logs.logarchive

正在查找特定内容？在上方输入一个主题，就能直接跳转到相应的精彩内容。

提交你查询的内容时出现错误。请检查互联网连接，然后再试一次。

资源

相关视频

WWDC22

WWDC21

WWDC20

WWDC19