为 Xcode Cloud 创建快速而可靠的测试

了解如何为 Xcode Cloud 制定有效的测试计划，Xcode Cloud 是 Apple 的连续集成和连续交付服务。我们将说明为什么说测试是持续验证您的代码是否正常运行的必备工具。学习如何为 Xcode Cloud 创建快速、可靠而且有效的测试，避免不相关的故障以及快速验证您的代码更改。

资源

- 高清视频
- 标清视频

相关视频

WWDC23

在 Xcode Cloud 中创建实用的工作流程

WWDC22

WWDC21

WWDC20

WWDC19

在 Xcode 中进行测试

WWDC18

测试技巧和窍门

下载

Suzy: 大家好欢迎来到 “Author fast and reliable tests for Xcode Cloud” 我是 Suzy 从事 XCTest 方面的工作在本次讲座中我将分享开始 Xcode Cloud 测试的最有效方法我们的团队将 Xcode Cloud 设计为适用于所有开发者的强大工具事实上我们用它来测试 Xcode 本身我很喜欢它我最喜欢 Xcode Cloud 的功能之一是它能够大大扩展给定的测试套件

通过将大多数测试配置为在云中运行您现在可以拥有在多个目标上运行测试的实用方法包括那些运行不同操作系统版本以利用不同平台的测试如 iPhone iPad Apple Watch Apple TV 和 Mac 并运行各种测试计划配置允许使用运行时分析工具例如地址和线程检查工具一旦我们通过了这样一个全面的测试套件那么我们就可以确信代码已经准备好发布了将测试卸载到 Xcode Cloud 允许运行更广泛的测试集而不会影响开发者的桌面代码编译和测试周期有了这个现在扩展的测试套件不可靠的测试数量可能会增加这种情况可能变得无法控制因此确保可靠性至关重要除了可靠性之外如此大量的测试还需要高效运行以限制它们对持续集成过程的影响让我们先解决可靠性问题我将演示如何使用 Food Truck 为 Xcode Cloud 编写更可靠的测试 Food Truck 是一款可以通过点击和滑动获得美味甜甜圈的 App 通过在 Xcode Cloud 中运行测试套件我们能够验证所有 Apple 平台都支持订购我最喜欢的甜甜圈巧克力糖屑 Xcode Cloud Workflow 的每一项改进都将被识别和演示有关开始使用 Xcode Cloud Workflows 的更多信息请观看“Meet Xcode Cloud”

编写更可靠测试的第一步是确保每个测试的设置和拆卸都是彻底的在 Xcode Cloud 中运行的测试使用了一个可能不符合开发者最初假设的新模拟器让我们确定一些有时会在测试代码中看到的设备配置假设某些测试可能依赖于特定的日期和时间例如服务器可能在不同的时区运行测试应该避免特定于时区基于区域设置的值例如数字格式和语言方向性可能会导致意外结果通过显式设置模拟器的语言环境来避免这个问题另一个有问题的假设是依赖某些设备权限例如互联网访问最好在单元测试中模拟设备权限并在 UI 测试中使用警报处理程序最后一些测试依赖于预加载的数据例如一个测试可能期望有一个空的文档目录虽然显式配置模拟器有时是最简单的选择但增强测试的设置方法通常更稳健例如 Food Truck 依赖于一个菜单文件作为在设置函数中实例化卡车对象的一部分我们生成一个包含甜甜圈菜单项的模拟数据文件请注意我们建议在 setup 方法中建立所有状态准备而不是依赖于拆卸方法来准备后续测试在许多情况下可以将只读文件签入存储库然后通过测试访问但是当需要构建这些文件时 Xcode Cloud 支持运行自定义构建脚本在该脚本中您可以一次生成文件以供多个测试访问有关如何配置脚本的更多详细信息请观看“Customize your advanced Xcode Cloud workflow”

这样就完成了正确的模拟器设置现在让我们讨论一下如何处理不满足先决条件的测试 XCTSkip 是指示 XCTest Runner 停止执行当前测试并将其标记为已跳过的错误这可用于绕过尚待支持的操作系统版本或设备类型您还可以通过设置环境变量来利用 XCTSkip 以跳过特定于登台或生产环境的测试让我们回顾一下如何使用环境变量来控制测试流程

环境变量可以为您设备上的 XCTest 测试运行器 App 和运行 xcodebuild 的测试主机提供参数在 Xcode Cloud 中以 TEST_RUNNER_ 为前缀的环境变量被传递到 XCTest 测试运行器中此前缀将在变量可用于您的代码之前删除例如测试代码中名为 BASE_URL 的变量将作为名为 TEST_RUNNER_BASE_URL 的环境变量传入测试计划需要与测试代码相同的格式也就是说我们不添加 TEST_RUNNER_ 前缀测试代码中的任何地方都可以引用环境变量例如当我们在生产环境中时它们可以与 XCTSkip 一起使用以跳过实际订购甜甜圈的测试当然除非您饿了请务必记住在多个位置例如测试计划和 Xcode Cloud 用户界面重新定义环境变量可能会导致意外结果在这种特殊情况下 Xcode Cloud 的环境变量将优先于项目测试计划中指定的内容现在我们在测试代码中引用了环境变量我们可以在 Xcode Cloud 用户界面中设置它的值

为此请导航到您的 Cloud Reports 然后按住 Control 键单击 Food Truck

要在工作流程中编辑环境变量我们将在上下文菜单中选择 Manage Workflows 我们正在专门编辑集成工作流因此我们将双击它现在在侧边栏中我们可以选择 Environment 在工作表中间的 Environment Variables 下我们可以添加变量的名称和值

作为在 Xcode Cloud Workflow 中设置环境变量的替代方法我们可以在测试计划（Test Plan）中设置它在此示例中我们还没有测试计划要启用测试计划请打开方案编辑器（Scheme Editor）在侧边栏中选择 Test 然后单击 Convert to Use Test Plans

好的现在我们有了一个我称之为 Food Truck 的测试计划要想添加环境变量我们就需要单击测试计划来打开它的编辑器

在顶部附近我们可以在 Tests 和 Configurations 之间进行选择让我们选择 Configurations 现在在 Arguments 部分我们将通过单击 Environment Variables 添加变量会出现一个弹出窗口我们可以在其中输入变量的名称和值

现在在生产环境中我们的测试将被跳过要了解有关跳过测试的更多信息请观看 “XCTSkip your tests”

既然我们已经介绍了使用环境变量来控制 XCTSkip 现在让我们来谈谈期望超时测试可能会由于意外超时而失败例如这可能是服务器速度慢或用户界面测试过于紧张的结果解决这两个问题的一个方法是增加 XCTestExpectation 超时时间这样交互就有足够的时间完成在此示例中我们将 OrderDonut 超时从 5 秒增加到 10 秒以便服务器有更多时间响应通常最好用 async/await 替换 App 和测试代码超时处理这种方法允许测试暂停直到 await 调用结束而且没有任何超时

我们已经解决了依赖于时间的测试那就让我们来处理测试套件中的任何一个测试失败吧例如我们有一个依赖于暂存环境中服务的测试该服务因维护而停机我们可以使用 XCTExpectFailure 而不是禁用或跳过此测试使用 XCTExpectFailure 您的测试将正常执行结果转换如下测试中的失败现在将报告为预期失败而其套件中的失败测试将报告为通过这种方法消除了预期故障产生的噪音

例如 testOrderDonut 失败我知道提供订购甜甜圈的服务现在正在维护中所以我在此处添加了对 XCTExpectFailure 的调用要了解有关 XCTExpectFailure 的更多信息请观看 “Embrace Expected Failures in XCTest”

现在我们已经声明了预期的失败让我们利用重复测试来证实代码并诊断不可靠的代码重复测试是一种工具它多次运行相同的测试等待以下情况第一次失败第一次成功或统计结果例如在我们的桌面上我们多次重复运行我们的新代码和测试用例以在签入代码之前确认初始 App 和测试代码的可靠性我们能够检测到 testOrderDonut 只有 80% 的成功率啊哦知道故障存在我们现在使用重复直到失败（repeat-until-failure）模式在本地诊断错误这是利用重复测试的另一种方式对于依赖于不可靠的外部服务的测试您可能希望利用失败时重试（retry-on-failure）重复策略来确认测试可以成功虽然重试测试是一种强有力的方法但是最好尽可能模拟外部服务模拟服务的优势包括确定的可靠性和速度要了解如何模拟依赖关系请观看“Testing Tips & Tricks” 让我们来探索一下如何实现重复测试

要在您的测试计划中启用重复测试就需要回到测试计划编辑器并选择 Configurations

然后在 Test Execution 部分有一个弹出窗口可以选择您的重复测试模式

在这种情况下我们将选择 Retry on Failure 它主要用于解决不可靠的外部服务现在我们启用了重复测试模式有关利用重复测试的更多信息请观看 “Diagnose unreliable code with test repetition” 所以我们研究了各种可用于提高测试可靠性的工具有关编写质量测试的更多信息请观看“Write tests to fail” 既然我们的测试是可靠的那就让它们运行得更快吧有许多配置选项可以更快地获得结果让我们尽我们所能来减少运行测试套件的时间

我们用来提高性能的一种技术是将我们的测试分成多个测试计划有时两个就足够了您可以确定一组简化的测试作为每次打开或更新拉取请求的一部分进行验证

例如我们可以运行单元测试以及单个平台的用户界面测试的关键子集

所有受支持平台上的全套测试仍然可以运行但现在是在后台运行不会阻塞拉取请求

这种方法允许我们添加测试和新平台同时保持持续集成过程的及时性

让我们设置一个工作流来运行一组选定的测试在这个例子中我们已经创建了一个名为 Pull Requests 的新测试计划并在测试计划编辑器中打开它在靠近顶部的地方我们可以在 Tests 和 Configurations 之间进行选择让我们选择 Tests 吧

在这里我们选择了一个测试子集来验证拉取请求现在要设置一个工作流来运行我们的 Pull Requests 测试计划我们将回到 Xcode Cloud Manage Workflows 就像我们为了跳过测试而添加环境变量时所做的那样要创建新的工作流我们将单击 Manage Workflow 表左下方的 Add 按钮为简单起见我们还将工作流命名为 Pull Requests 并选择一个开始条件我们希望此工作流能够防止任何未通过测试的签入在侧边栏中在 Start Conditions 的右侧我们将单击 Add 按钮

将出现一个菜单显示启动条件选项在我们的例子中我们将选择 Pull Request Changes

现在我们有了一个拉取请求开始条件运行测试要求首先构建 Food Truck App 为此我们需要添加一个构建操作同样在侧边栏中在 Start Conditions 下面让我们添加一个操作我们将单击 Actions 旁边的 Add 按钮然后从上下文菜单中选择 Build

现在我们有了一个构建 App 的操作我们将添加另一个操作来运行我们的测试我们将再次单击添加操作但这次我们将选择 Test

太好了我们有一个测试操作了我们来选择要运行的测试计划吧在工作表的中间有一个用于测试的下拉菜单在这里我们可以选择我们的 Pull Requests 测试计划

太棒了现在我们的工作流配置为根据拉取请求运行我们的测试计划要想创建第二个按计划运行完整测试套件的工作流您可以遵循一组类似的步骤但是这一次选择开始条件为 On a Schedule for a Branch 然后设置工作流以运行您的全套测试计划我们在 Xcode Cloud 中配置了两个工作流并运行了它们相关的测试计划要了解有关测试计划的更多信息请查看“Testing in Xcode”

现在我们已经创建了拉取请求和计划的工作流测试集我们可以为速度做出的另一项改进是同时运行测试默认情况下 Xcode Cloud 会并行测试您的平台此外您可以启用 Xcode 在目标和测试对象类级别上并行运行测试

要在 Xcode 中启用并行测试执行我们将再次进入我们的测试计划编辑器并选择 Tests

然后在 Food Truck Tests 测试包的右侧我们单击 Options 按钮

其中一个选项允许我们在可能的情况下“Execute in parallel” 如果服务器有足够的可用内核则可以同时执行多个目标和测试对象类所以让我们启用这个选项来改善我们的测试套件周转时间

现在我们的测试配置为并行运行请注意必须将测试设计为独立运行以利用并行执行正确的设置和拆卸对于可靠的测试用例行为至关重要

在我们的测试并行运行后是时候将注意力转向失控测试了失控测试是那些没有及时结束的测试一些示例包括无限循环或无限期等待出现故障的服务器

我们可以通过在测试计划中设置一个执行时间余量来暂停这些测试执行时间余量指定测试在因超时错误而失败之前运行的秒数这可以防止测试套件卡在单个测试上

在这种情况下第五次测试由于某种原因卡住了通过设置执行时间余量这个失控的测试最终被停止并标记为失败然后 XCTest Test Runner 继续运行套件中的下一个测试让我们为测试计划配置一个执行时间余量

为了设置执行时间余量我们将进入测试计划编辑器并选择 Configurations

在 Test Execution 类别下我们可以启用 Test Timeouts 并指定等待的秒数请注意默认值是 600 秒

配置了最大执行时间余量后单个失控测试将不再中断我们的测试工作流程例如一个通宵测试套件现在可以按时完成并提供一整套有用的结果耶我们终于停止了那些失控的测试所以我们可以继续进行下一个改进了您可能还记得我们能够利用重复测试来提高依赖于外部服务测试的可靠性我们将测试计划配置为失败时重试并选择了足够的重复值但是这些重复可能会增加运行测试套件所需的时间

不必要的重复是一种浪费您可能希望将测试重复值优化为一个较低的数值此外您可以考虑将有问题的测试从拉取请求工作流中完全删除让我们来看看如何做到这一点

我们回到测试计划编辑器中的重复测试配置

之前我们将重复测试模式设置为 Retry on Failure 现在我们可以调整 Maximum Test Repetitions 值例如对于一个依赖于外部服务器的测试我们可能选择最多允许 10 次尝试而它的失败率为 5% 大多数时候我们会在第一次尝试时成功但是如果同一个测试有一个不相关的错误它每次都会失败会将 10 次尝试全部用完也许 3 次尝试就足够了会是一个更好的选择

虽然我们希望减少重试以提高性能但请注意之前我们建议在某些情况下增加重试以提高可靠性因此这个最小选择值必须足够可靠地运行这些测试这就完成了快速获得结果的配置想要了解关于如何更快地获得测试结果的更多信息请查看 “Get your test results faster”

回顾一下我们介绍了开始测试 Xcode Cloud 的最有效方法我们专注于配置既可靠又快速的测试以便您可以避免不相关的失败并快速验证您的代码更改谢谢希望您能享受余下的 WWDC 之旅

3:37 - setUp()
```
override func setUp() async throws {

}
```

3:46 - setUp() example

var truck: Truck!

override func setUp() async throws {
    let directoryURL = FileManager.default.temporaryDirectory
    let fileName = UUID().uuidString
    let fileURL = directoryURL.appendingPathComponent(fileName, isDirectory: false)
    let data = await mockDonutMenuData()
    try data.write(to: fileURL)
    truck = Truck(menuURL: fileURL)
}

5:55 - Environment variable example

var truck: Truck!

func testOrderDonut() throws {
    let host = ProcessInfo.processInfo.environment["BASE_URL"]

    let expectation = XCTestExpectation(description: "Order donut")
    truck.order(with: .sprinkles, host: host) { error, donut in
        XCTAssertTrue(donut.hasSprinkles)
        expectation.fulfill()
    }       
    wait(for: [expectation], timeout: 5)
}

6:00 - XCTSkip example

var truck: Truck!

func testOrderDonut() throws {
    let host = ProcessInfo.processInfo.environment["BASE_URL"]
    try XCTSkipIf(host == "prod.example.com")

    let expectation = XCTestExpectation(description: "Order donut")
    truck.order(with: .sprinkles, host: host) { error, donut in
        XCTAssertTrue(donut.hasSprinkles)
        expectation.fulfill()
    }       
    wait(for: [expectation], timeout: 5)
}

8:18 - XCTSkip example

var truck: Truck!

func testOrderDonut() throws {
    let host = ProcessInfo.processInfo.environment["BASE_URL"]
    try XCTSkipIf(host == "prod.example.com")

    let expectation = XCTestExpectation(description: "Order donut")
    truck.order(with: .sprinkles, host: host) { error, donut in
        XCTAssertTrue(donut.hasSprinkles)
        expectation.fulfill()
    }       
    wait(for: [expectation], timeout: 5)
}

8:48 - XCTestExpectation example

var truck: Truck!

func testOrderDonut() throws {
    let host = ProcessInfo.processInfo.environment["BASE_URL"]
    try XCTSkipIf(host == "prod.example.com")

    let expectation = XCTestExpectation(description: "Order donut")
    truck.order(with: .sprinkles, host: host) { error, donut in
        XCTAssertTrue(donut.hasSprinkles)
        expectation.fulfill()
    }       
    wait(for: [expectation], timeout: 5)
}

8:59 - Increase XCTestExpectation example

var truck: Truck!

func testOrderDonut() throws {
    let host = ProcessInfo.processInfo.environment["BASE_URL"]
    try XCTSkipIf(host == "prod.example.com")

    let expectation = XCTestExpectation(description: "Order donut")
    truck.order(with: .sprinkles, host: host) { error, donut in
        XCTAssertTrue(donut.hasSprinkles)
        expectation.fulfill()
    }       
    wait(for: [expectation], timeout: 10)
}

9:16 - Async/await example

var truck: Truck!

func testOrderDonut() async throws {
    let host = ProcessInfo.processInfo.environment["BASE_URL"]
    try XCTSkipIf(host == "prod.example.com")

    let donut = try await truck.orderDonut(with: .sprinkles, host: host)
    XCTAssertTrue(donut.hasSprinkles)
}

10:02 - XCTExpectFailure example

var truck: Truck!

func testOrderDonut() async throws {
    let host = ProcessInfo.processInfo.environment["BASE_URL"]
    try XCTSkipIf(host == "prod.example.com")

    let donut = try await truck.orderDonut(with: .sprinkles, host: host)
    XCTAssertTrue(donut.hasSprinkles)
}

10:06 - XCTExpectFailure example

var truck: Truck!

func testOrderDonut() async throws {
    let host = ProcessInfo.processInfo.environment["BASE_URL"]
    try XCTSkipIf(host == "prod.example.com")

    XCTExpectFailure("<https://dev.myco.com/bug/98> Donut ordering service is down")
    let donut = try await truck.orderDonut(with: .sprinkles, host: host)
    XCTAssertTrue(donut.hasSprinkles)
}

正在查找特定内容？在上方输入一个主题，就能直接跳转到相应的精彩内容。