Create ML 的新功能

大家好 我叫 David 是 Create ML 团队的 一名机器学习工程师 感谢大家观看本次讲座 听我介绍 Create ML 的新功能 我们的目标是提供必要的工具 帮助大家打造能够利用 机器学习技术的出色 App 利用 Create ML 你可以 定制操作系统中内置的 强大的机器学习模型 在这个视频中 我将首先概述 “Create ML”App 和框架

然后 我将介绍我们 对“Create ML”App 中 深受大家喜爱的模板 推出的增强功能 接下来 我将介绍一种全新方法 助你构建出色的机器学习模型 在 Apple Vision Pro 上追踪对象

之后 我将详细介绍一些全新组件 以便你构建自定时间序列预测 和分类模型

我们这就开始吧 我们历时多年坚持不懈地 构建机器学习工具生态系统 你可以使用这些工具 在你的 App 中构建和部署模型

如果你是刚接触机器学习的新手 不确定该从何处着手 可以观看我们提供的视频 “在 Apple 平台上探索机器学习” 大致了解一下我们的 ML 框架 我将会重点介绍 Create ML 它是这个生态系统中的重要组成部分 Create ML 由几个部分组成 接下来我要分别介绍各个部分 “Create ML”App、 Create ML 框架和底层组件 在“Create ML”App 中 只需点按一个按钮 即可开始训练模型

这项功能构建在框架的基础之上 如果你对实现模型创建自动化 或是打造设备端个性化体验感兴趣 可以直接使用这些框架 在幕后 Create ML 能够利用 Vision、Natural Language 和 Sound Analysis 等系统域框架 根据你的训练数据用例 来定制机器学习模型

Create ML 的输出是模型 你可以借助我们的系统域框架 将输出的模型部署到 你的 App 中 现在 我要谈谈 我们对“Create ML”App 推出的增强功能 构建自定机器学习模型时 最简单的起点就是 Mac 上的 “Create ML”App

你可以创建能够预测 图像内容、视频内容 或表格数据的模型 还可创建能够检测图像中的对象、 音频文件中的声音、 视频中的人类动作或活动的模型

这里 我要选择 Object Detection

无论选择哪个模板 起点都一样 那就是你的训练数据 在训练模型之前 务必要理解你的注解的性质 以便让模型的行为符合你的预期

我们来看看一个实际示例

假设你正在构建一个 App 来检测常见的早餐食品 比如一杯咖啡 在测试 App 时 你发现它会同时检测 咖啡液面和咖啡杯 重复的预测会导致用户体验不佳 导致这种情况的原因 可能是你的注解存在问题 接下来 我要介绍一种将注解可视化 并对注解进行调试的新方法 在“Create ML”App 中 你可以点按左侧的数据源

从而显示数据分布情况

Explore 选项是新增的

你可以深入分析特定的 对象或类标签 从而将注解可视化 在这个示例中 我选择了咖啡 请注意 一些图片的边界框 绘制在咖啡液面上 还有一些图片的边界框 绘制在咖啡杯的周围

在开始训练之前 预览数据源 确认注解符合你的预期

在“Create ML”App 中 构建基于图像的模型时 还可以探索数据源 加入图像分类和手势分类

现在 我希望你关注 我们开发的一项全新功能 我觉得你会喜欢这项功能

Create ML 旨在帮助你 在我们的各个操作系统上 轻松将机器学习整合到 你的 App 中

今年 针对空间计算体验 我们设计了一些特别的功能 我很高兴能够介绍 Create ML 中的对象追踪功能 你可以使用这项功能 在 Apple Vision Pro 上 构建令人惊叹的沉浸式体验

在这里 我有一个 App 可以追踪现实世界中的地球仪 并显示增强内容 包括 绕地运行的月球以及地球的核心

在“Create ML”App 中 我们已经添加了 Spatial 类别

这个类别中提供了一个新模板 用于构建能够追踪空间位置 和对象方向的机器学习模型

与“Create ML”中所有其他模板一样 对象追踪器的训练同样始于 你的训练数据

“Create ML”App 让训练过程变得尽可能简单

你只需提供对象的 3D 素材 这个 App 就会为你生成 所有训练数据 就是这么简单

我只想带你大致看一下 因为我们有一个视频 全篇专门介绍了这项功能 “探索适用于 visionOS 的对象追踪” 可以带你走完整个工作流程 包括构建对象追踪体验 以及在 Apple Vision Pro 上部署

现在 我已经介绍了 这个 App 的新功能 接下来 我要深入探讨堆栈 谈谈 Create ML 组件中的 时间序列

简而言之 时间序列是指 随时间推移而变化的 数字数据

例如 手表上的加速计、 手机的 GPS 位置、室外的温度

严格来说 时间序列 是在时间维度上均匀采样的

在这个视频中 我还会考虑其他序列 比如业务销量 其中可能存在缺口

时间序列分类旨在回答 这样一个问题 “这些数据代表了什么？” 例如 你可能需要使用 来自 Apple Watch 的 加速计数据 对捏合、打响指或握拳 等手势进行分类 Create ML 推出对活动分类的 支持已经有一段时间了 今年 我们将推出功能更强大的 通用时间序列分类器组件

我想重点回答的另一个问题是 “接下来会发生什么？” 时间序列预测是 Create ML 中的全新模型类型 能够通过学习历史数据 来预测一段时间内的 未来数值

和分类器一样 预测器也是一个通用组件 这意味着你可以用它 进行几乎任何预测 无论是音频、加速计、销量 还是我没想到的其他东西 例如 通过分析这个图表中的历史数据 预测器可以预测未来的时间序列值 现在 我已经介绍了基本概念 接下来我要介绍一个实际示例 我正在开发一个 App 用于帮助快餐车老板 接单和追踪销量 如果这个 App 也能 预测未来的销量 那就太棒了

这样可以帮助老板为快餐车 备好适量的食材 每当顾客进行购买时 App 都会以表格形式 存储交易数据 其中值得关注的列包括 日期、商品、数量和价格 例如 上午 11:30 一位顾客花 12 美元 买了 6 个油炸苹果馅饼 我的目标是预测每天的销量 所以我需要对数据进行预处理 TabularData 框架可以 轻松实现这一操作

首先按日期对交易进行分组 然后对数量求和

要进一步了解 TabularData 框架 别忘了观看这里列出的 Tech Talks 讲座 其中介绍了如何在 Swift 中 载入数据、探索数据 和进行数据变换

好的 对交易进行分组 对数量进行求和后 表格中只留下两列 Date 和 Quantity

在深入探讨之前 我想谈谈 时间序列数据中 常见的潜在趋势 我们来比较一下两辆快餐车的销量 一辆车卖甜甜圈 一辆车卖冰淇淋 请注意 甜甜圈车的销量 正在随时间推移而增加 当快餐车人气上升时 可能会发生这种情况 冰淇淋的销量也呈上升趋势 但上升速度没那么快

还有一个重要的观察结果是 冰淇淋的销量高峰期在周末 而甜甜圈在整周的销量都更高 鉴于每辆快餐车的销售数据各不相同 让我们直接在快餐车 App 中 构建设备端预测模型 这样就能根据特定快餐车的 销售数据来定制模型 从而能够做出更准确的预测 让我们继续 仔细看看 Date 列

日期包含了宝贵的时间信息 时间序列预测器模型 可以利用这些信息 来学习如何进行预测

可以考虑提取日期组件 以发现数据的特定趋势 例如 通过提取星期几 模型可以学习一周之内的数据变化

提取月份 可以帮助模型学习 一年之中的变化 例如 冰激凌的销量 在夏季肯定更高

我们推出了 DateFeatureExtractor 组件 让你能够轻松提取日期中的特征

我来展示一下如何使用这个组件

首先 创建 DateFeatureExtractor 其中包含 month 和 weekday 特征组件

接下来 将 ColumnSelector 和 featureExtractor 合成为一个管道

然后添加 ColumnConcatenator 组件 将所有特征合并到一个形状数组中

现在 我可以让预处理管道 适应我的数据框架

这样我就可以获得一个预处理器 以便从原始数据集 转换到训练所需的最终数据集 最后 将 Features 和 Quantity 这两列作为 MLShapedArray 列进行提取

这样 我就完成了数据准备 现在 我要谈谈如何训练 预测器模型

我要将训练数据拆分成两部分 Training 部分和 Validation 部分

我还需要确定 预测未来多少天的数据

为了预测未来的多日数据 我需要考虑历史多日数据 一般来说 上下文应当比预测窗口期更长 在这个示例中 我想预测 未来 3 天的销量 因此我将提供过去 15 天的 历史上下文 创建时间序列预测器 并配置 inputWindowSize 和 forecastWindowSize 然后使用 fitted 方法进行训练

训练完成后 我准备好进行预测了

我将使用 applied 方法 来预测未来 3 天的销量

这项功能在我的 App 中 看起来很棒 每天结束时 快餐车可以预测销量 确保备好供应美味甜甜圈 所需的食材 总结一下 下次构建基于图像的模型时 务必要利用数据源预览 探索一下你的数据 我迫不及待想要看到大家 在自己的 visionOS App 中 创建令人惊叹的对象追踪体验 在这一过程中 还可以使用 Create ML 组件 定制时间序列预测器模型 是时候使用 Create ML 来定制 机器学习模型了

期待看到大家使用 Create ML 构建的成果