Create ML 的新功能

♪ 柔和乐器演奏的嘻哈音乐 ♪ ♪ Namaskar 您好 欢迎来到 WWDC 22 我叫 Vrushali Mundhe 是 Create ML 团队的工程师 很高兴在这里与您分享 Create ML 的新功能 Create ML 可以让您 轻松地用收集到的数据 训练强大的机器学习模型 提供独特的体验并优化您的 App Create ML 作为与 Xcode 捆绑的 App 发布 让您无需代码直接在 Mac 上 创建和训练 Core ML 模型 Create ML 也可作为 SDK 中的 Swift 框架 使用它的 API 您可以直接在您的 App 内 轻松地自动创建模型 或通过训练创造动态体验 要详细了解 Create ML 的核心功能 您可以查看这些往期讲座 在本次讲座中 我们将讨论 Create ML 中的新增功能 我们将从 Create ML App 中的新功能开始 这些功能可以帮助评估 您的模型的准确性和实用性 接着我会介绍 Create ML 框架 它的扩展能力 以及现在为您的 App 高度定制模型的能力 让我们从回顾一个典型的 创建模型工流程开始 给定一个确定的任务 首先要开始收集和注释数据 举个例子 想要直观地识别杂货 对于这个图像分类任务 您的出发点是收集和标记图像 在这里 有一些水果和蔬菜

Create ML 将帮助您根据这些数据训练模型 模型可在您的 App 中使用 但是 在使用这个模型之前 一个重要的步骤是评估它的表现如何 在这里 查看该模型在图像上的准确度 并不是训练集的一部分 根据评估 您可以使用其他数据对模型进行迭代 并修改训练设置 或者 如果模型表现得足够好 您可以准备将其集成到 App 中 我们来进一步关注这个评估步骤 在进行评估时 我们经常会 通过在训练中保留的新数据上 测试您的模型来衡量一组指标 您可以 从查看最高级别的准确率指标开始 或深入了解每类统计数据 大致了解模型的行为 以及超出其训练范围的整体能力 最终 该模型将在您的 App 中 赋予数据驱动体验 在评估过程中 您想确定该模型在输入或 场景类别方面的主要优势和劣势 它运作良好或可能达不到预期 Create ML App 中有一些新功能 可以在模型创建之旅的这部分帮助您 让我向您展示一个我正在从事的项目 在这里 我设置了一个项目 来创建模型识别杂货 我开始收集各种水果 和蔬菜图像作为我的训练数据 并给它们标上合适的标签 这是我的不同类别 和每个类别的图像数量

我已经对我的图像分类器 进行了 25 次迭代训练 接下来 当我点击“评估”选项卡时 除了我为测试留出的训练数据 我还可以添加 新的测试数据 一组图像

接下来我将单击“评估”开始测试 完成评估后 UI 提供了结果的详细信息 在顶部 有高级别摘要部分 在这可以快速了解测试的准确性 在这里 该测试数据的准确率为 89% 在此“指标”选项卡下方 这张表为每个类别提供了丰富的指标 您可以使用这些下拉菜单 来调整此处显示的内容 并添加额外的指标 如误报 和漏报 让我们来看看其中的一个类别 “番茄”怎么样？ 该模型正确分类了 32 幅番茄图像中的 29 幅 它还显示该类的准确率为 91% 这意味着 该模型说某个东西是番茄时 有 9% 是不正确的 虽然这些数字和统计数据非常有用 但有时 在数据本身的背景下看它们更重要 当我点击准确度时 它会跳转到被错误归类为番茄的图像 以下是测试数据中的三种情况 对于每张图像 App 都会显示其缩略图 模型预测的类别 以及它下面的真实标签 在第一个示例中 虽然模型将其分类为 “番茄” 但它被标记为“马铃薯” 在我看来这肯定是番茄 这似乎 是一个错误标记测试数据的情况 事实上 所有这三个示例似乎都被标记错误 这应该很容易解决 我会做一个笔记来再次检查 并重新审视我的测试集标签 这显然是我的失误 但它是错误的唯一来源吗 我通过研究 我选择的一个随机类上的指标 到达这里 您可能想知道 “我应该从哪里开始？” 或者 “接下来我应该研究什么？” 顶层摘要部分可以帮助您解决疑惑 该 App 已选择 一些最重要的评估细节 可以从此处开始研究 让我从头开始 回顾成功案例 点击这里 这个正确的计数... 在这里 我们可以快速浏览模型正确分类的 所有 162 张图片 接下来 我通过点击不正确 将其与所有错误分类进行对比 总共有 21 次错误

又是那个被标记错误的番茄 让我检查一下 是否还有其他类型的错误 可以突出显示 这个怎么样？ 这张图片被标记为“胡萝卜” 但模型预测为“马铃薯” 在这个小缩略图中很难分辨 让我们单击此图像 以获得更清楚的视图 嗯 这对我来说就像一只脚 这显然不是 我认知里又长又瘦的胡萝卜形状 但很容易被混淆为马铃薯 也许我应该考虑添加更多的形状变化 到我的胡萝卜训练数据 让我也记下这一点 这一次 我将点击文件名旁边的箭头 带我跳转到“访达”中的这张图像

我将右键单击并将其标记为红色 以此在我的下一轮数据收集中 提醒我这是要重新查看的东西 让我从这个扩展的视图中 继续我的研究 请注意 此视图也显示了完整的预测结果 列出模型对每个类别的预测比例 使用这些左右箭头 还可以浏览示例 我将从这里转到另一个示例 这是一个有趣的示例 这个图像中有多种蔬菜 它说这是茄子 确实是的 这里有茄子 但也有其他东西 我需要想想 这是否是我的 App 中 需要考虑的一个重要使用案例 也许 UI 可以引导我的用户 确保他们一次只指向一种类型的杂货 或者如果我想支持多种类型 我可能要考虑使用一个对象检测器 App 中的另一个模板 而不是整个图像分类器 回到概要部分 让我看看这条最高层级混乱 在这里它说 将“辣椒”归类为“豆子” 让我们点击来看看这个案例 四个标记为辣椒的图像 被错误地归类为豆类 这些在我看来像很辣的辣椒 但我猜它们也像豆子一样绿 所以才被错误归类 我想知道这个模型是否在一般情况下 识别辣椒有问题 让我将此查询选项从“不正确” 切换到“正确”... 将这些错误与正确分类的辣椒 进行对比 它正确分类了 32 张图像 但是 我确实注意到其中大部分都是甜椒 我应该检查我的训练数据以确保 它有涵盖多种辣椒类型 这次快速研究很好地提醒了我们 训练和测试数据的数量、质量和种类 对于机器学习是多么重要 在短短的几分钟内 该 App 帮助我直观地发现了 一些标签和表述方面的问题 我需要对我的训练数据进行一些调整 看看调整后 它能否解决我们发现的问题 它还提醒了一些 我以前没有考虑过的事情： 如果用户在一张图像中 看到多个蔬菜会发生什么 我需要再考虑我的 App 设计 所有这些探索都是可能的 因为我有一系列的标签数据来评估 但如果我想快速测试 未标记的示例该怎么办？ 或者考虑是否应该探索 更多的摄像机角度或照明条件呢？ 在“预览”里就可以解决上述问题 我可以拖拽一些我同事 刚刚发给我的示例进这里 看看效果如何

或者我甚至可以现场测试 用我的 iPhone 作为“连续互通”相机

当我将镜头对着这些蔬菜时 该模型能够正确地 实时对它们进行分类 这里 这是一个辣椒和一个番茄 回顾一下 您现在可以更深入地了解 一个训练有素的模型 在任何标记数据集上的行为 “评估”窗格提供了详细的指标汇总 及其扩展选项 新的“探索”选项卡提供了一些选项 让您可以在新交互式 UI 中筛选 和可视化测试评估结果以及相关数据 目前可用于图像分类器 手部姿势分类器和物体检测模板 实时预览可实现即时反馈 它已扩展至图像分类器 手部动作分类器 和身体动作分类器模板 我们还扩展了该功能以允许您 从任何附加的网络摄像头中选择 我们还支持 macOS Ventura 上的“连续互通”相机 这是对 Create ML App 新功能的快速回顾总结 我们接着来讨论 Create ML 框架中的 新功能

Create ML 框架适用于 macOS、iOS 和 iPadOS 今年 我们正将其部分支持 扩展到 tvOS 16 程序化界面不仅让您 在开发时自动创建模型 而且还开辟了许多机会 来构建动态功能 直接从用户的输入 或设备上的行为中学习 提供个性化和自适应的体验 同时保护用户隐私 请注意 任务支持因平台而异 例如 表格分类器和回归器 在几乎所有平台可用 但一些对数据和计算要求较大的任务 如涉及视频的任务 则需要 macOS 您可能有一个常见的问题是 “如果我不能把我的想法映射到这些 Create ML 的 预定义任务中怎么办？” 为了帮助回答这个问题 我们要向您介绍 一位 Create ML 系列的 新成员： Create ML 组件 Create ML 组件展露了 Create ML 的基本模块 它允许您将它们组合在一起 创建为您的用例定制的管道和模型 强烈建议您查看这些讲座 以了解更多信息 在“了解 Create ML 组件”中 您将了解构建基块 以及它们如何组合在一起 在“使用 Create ML 组件构建高级模型”中 您将深入了解使用异步时间组件 和自定义训练 功能十分丰富 让我演示一个 我很喜欢的功能： 动作重复计数 当我休息时 我会去跳舞 我是受过专业训练的 印度古典舞卡达克艺术家 我经常依靠反复练习我的常规动作 来优化我的舞蹈 作为一名编舞者或教师 我希望我的表演者 能够练习某些舞步并提交给我 Create ML 中的 重复计数功能 就可以帮我实现这个要求 这是卡达克舞中的一个重要动作 chakkar 平转

我想每天练习一定的次数 以优化我的动作形态和耐力 我有一个使用 Create ML 构建的 iOS App 可以 计算我的动作 让我来试一下

当我开始做 chakkars 时 与之对应的计数也在增加 我刚才做了五个 chakkars 动作 计数也正好是五 接下来 我来尝试一些不同的小动作 包括右侧和左侧的动作 计数器会右侧和左侧动作 一齐算作一个动作

在这里 计数显示三个 让我再试试快速的单侧手臂运动

这被计为四个 当与动作分类结合使用时 这将允许您同时对重复动作 进行计数和分类 重复计数 可作为运行时 API 使用 它不需要训练数据 在您的 App 中添加这一功能 只需几行代码即可 它的实现 是基于一个预先训练好的模型 该模型被设计成与类别无关 意思是 虽然它适用于健身或舞蹈动作 如跳远、深蹲、旋转 旋转、chakkars 等 但也适用于 各种全身性的重复动作 您可以通过查看示例代码 和与本次讲座相关的文章 来了解这个模型 和潜在用例的更多信息 以上就是对 Create ML 中新增功能的简要介绍 Create ML App 中的 互动评估和实时预览 可以让您更深入地了解 您训练的模型 Create ML 框架 增加了 tvOS 支持 重复计数 并扩展了对丰富的基础组件的访问 以帮助您建立高度自定义的模型 满足您的 App 需求 谢谢 希望您喜欢这些新功能 我们迫不及待想看到您如何使用它们 ♪