在 Apple 平台上探索机器学习

嗨 我叫 Anil Katti 来自 Apple 的 On Device Machine Learning 团队 今天很高兴为大家简要 介绍 Apple 平台上的 机器学习产品和服务 今天的内容很多 我们现在就开始吧

我们的操作系统和 App 有许多创新功能 它们背后少不了先进的 机器学习和 AI 模型 空间计算体验中的手势识别 用于拍照的人像模式 健康方面的心电图和心率监测 种种功能之所以能实现 机器学习和 AI 功不可没

而且 这些功能所依赖的 模型完全在设备端运行 这样一来 既保证了 高度交互式体验 又能将用户数据留在设备上 提供更周全的隐私保护 设备端机器学习因强大的 Apple 芯片而得以实现 芯片的统一内存与 CPU、GPU 和神经网络引擎自带的 ML 加速器完美整合 可实现高效低延迟推理 在本视频中 我们将了解如何 利用强大的 Apple 硬件 以及与之默契配合的高效软件 充分发挥 Apple 这一独有优势 为用户打造妙不可言的体验 下面是我将介绍的内容 首先 我将介绍 Apple Intelligence 带来的一些系统级新功能 借助 Apple Intelligence 你能轻松为自己的 App 添加 智能功能 接着 我将简要介绍 基于机器学习的 API 帮助你利用我们操作系统中 内置的模型打造独特的体验 然后 我会介绍 一些实用选项 让你能在设备端运行 其他机器学习和 AI 模型 最后 我们会简要了解一下 Apple 的机器学习研究工作

谈到每个主题时 我还会分享 深入介绍相关详情的视频 如果你有兴趣进一步了解 欢迎稍后观看 首先 我们来了解一下 深植于操作系统中的智能功能 今年的发布带来了令人兴奋的新改进 由 Apple Intelligence 为各款 App 乃至整个系统 中的新功能提供支持 其中许多功能也能登陆你的 App 例如 Writing Tools Writing Tools 将帮助用户 更有效地沟通 它能改写文本 让语气更得当、内容更清晰 校对检查错误 还能归纳总结要点

文本由 Apple Intelligence 的全新语言功能进行处理 与你的 App 已在使用的系统文本 和网页视图无缝集成

请观看 “开始使用 Writing Tools”视频 进一步了解可实现的功能以及 你的 App 应遵循的最佳实践

接下来介绍 Image Playground 借助 Image Playground 你可以轻松地 将图像创作功能集成到 App 中 无需训练模型或 设计安全防护措施 只需编写几行代码 即可获得预构建的 UI 供用户创作和嵌入图像 此外 由于模型在设备端本地运行 用户可以不受图像数量限制 随心创作 全无后顾之忧

今年 我们对 Siri 进行了重大改进 让它表现得更自然、 更贴合情境、更个性化 观看“带你的 App 登陆 Siri”视频 进一步了解如何借助 App Intents 框架 利用这些 新的 Siri 功能来增强你的 App 我们还重新设计了 Apple 平台上 主要 App 的 Siri 体验 使它们变得更加 强大、灵活和智能 只需在你的 App 中稍做改动 即可让用户享受这些出色的功能 如果你想提供 自己的智能功能 我们有许多 API 和框架可助你一臂之力 无需对模型进行静态处理 我们来逐个了解一下

Vision 框架提供了 一系列视觉智能功能 包括文本提取、面部识别 身体姿态识别等等

为了简化集成 我们今年 发布了新的 Swift API 这个 API 针对 Vision 提供 Swift 6 支持 此外 Vision 还推出了 手势检测 用于身体姿态请求 和美学评分请求

要进一步了解如何 将视觉理解功能 轻松集成到你的 App 中 请观看“探索 Vision 框架中的 Swift 增强功能”视频

除了 Vision 你还可以 使用其他框架来分段 并理解自然语言 将语音转换为文本 以及分析和识别声音 我们有不少精彩的视频介绍了 往年 WWDC 发布的这些 API 如果你正在考虑相关领域的用例 建议你根据需要观看相应视频

今年 我们还推出了 新的语言翻译框架 你可以直接把它 集成到 App 中 现在 你的 App 能够 直接执行语言间的翻译 只需借助简单的翻译呈现 UI 即可 这个 UI 可通过编程方式启动 我们还提供一个 API 让你能够翻译任何文本 并将译文显示到 你指定的任意 UI 中 使用这个 API 你还可批量处理请求 更高效地翻译更多文本 请观看 “了解 Translation API”视频 了解更多信息 包括 设备端的语言资产下载和管理 Apple 基于机器学习的 API 提供了海量功能 你的 App 可以 随时加以利用 如果你需要针对特定用例 进行一些模型自定义 从 Create ML 这款工具入手 就是一个很棒的选择

借助“Create ML”App 你可以使用自己的数据 为我们的框架 定制所依赖的模型 首先选择一个 与要定制的任务 相符的模板 然后 只需点按几下 即可使用你的数据 对模型进行训练 评估和迭代

除了“Create ML”App 你还可利用 Create ML 和 Create ML 组件等基础性框架 在所有平台上的 应用程序中 训练模型

今年 “Create ML”App 新增了一个对象跟踪模板 可让你训练参考对象 从而在 visionOS 中锚定空间体验

现在 你可以在训练之前 更轻松地探索和检查 数据注解

框架中还提供新的 时间序列分类和预测组件 可集成到你的 App 中

请观看 “Create ML 的新功能”视频 进一步了解这里列出的各个主题

接下来 我们来谈谈 在设备端运行你的模型 这适用于 更高级一点的用例 例如 你可能希望 在 App 中使用经过 微调和优化的扩散模型 或者运行 你从 Hugging Face 等 开源社区下载的 大语言模型 你可以在我们的设备上 运行各种模型 包括 Whisper、Stable Diffusion 和 Mistral 只需完成几个步骤 即可在你的 App 中运行模型

我们来详细了解一下 开发者工作流程

在 Apple 设备上部署模型 包括三个不同的阶段 在第一阶段 需要 专注于定义模型架构 以及提供正确的训练数据 来进行模型训练

接下来 需要将模型转换为 方便部署的 Core ML 格式 在这个阶段 你还需要 优化模型表示形式和参数 以便实现出色的性能 同时保持较高的准确性

最后 你需要编写代码 将其与 Apple 框架集成 以便载入并执行 准备就绪的模型

下面我们来更详细地 了解各个阶段 先从训练开始

你可以充分利用 Mac 上的 Apple 芯片 和统一内存架构 通过 PyTorch、TensorFlow、 JAX 和 MLX 等训练库 来构建并训练 高性能模型 这些库全都使用 Metal 技术 可在 Apple GPU 上实现高效训练 请观看 “基于 Apple GPU 训练 机器学习和 AI 模型”视频 进一步了解如何 在 macOS 上训练模型 在那个视频中 我们将介绍 基于 Metal 的缩放点积 注意力机制训练效率提升 如何在 PyTorch 中 集成自定义 Metal 运算 以及 JAX 中新增的 混合精度支持 接下来 我们来讨论准备阶段 在这个阶段 你将使用 Core ML Tools 完成几个简单的步骤 将训练好的模型 转换为 Core ML 格式 你可以从任何 PyTorch 模型着手 然后可以使用 Core ML Tools 将模型转换为 Core ML 格式 在此阶段 你还可以利用 Core ML Tools 模型优化工具包中的 多种压缩技术 针对 Apple 硬件来优化模型 今年 得益于 Core ML Tools 中的最新增强功能 我们推出了新的 模型压缩技术 在模型中表示状态的功能 特定于转换器的运算 以及让一个模型 包含多个函数的方法

请观看 “将机器学习和 AI 模型 移植到 Apple 芯片”视频 进一步了解这些功能 以及在部署模型时如何 在储存空间大小、延迟和 准确度之间进行权衡取舍

转换并优化模型后 下一步是模型集成

在这个阶段 你需要编写代码 与操作系统框架交互 以载入模型并运行推理

Core ML 是在 Apple 设备上 部署模型的门户 广泛应用于数千款 App 帮助我们为用户提供出色的体验 它提供的高性能对于 出色的用户体验至关重要 同时还通过 Xcode 集成 简化了开发工作流程 Core ML 在 CPU、GPU 和神经网络引擎中 自动将模型分段 以尽可能提高硬件利用率

“利用 Core ML 在设备端部署 机器学习和 AI 模型”视频 介绍了 Core ML 的新功能 助你在设备端运行先进的 生成式 AI 模型

你将了解新的 MLTensor 类型 它旨在简化将模型拼接 在一起的计算粘合代码

了解如何管理键值缓存 以高效解码带状态的 大语言模型 并探索 如何在运行时 使用函数来选择 图像生成模型中的 特定风格适配器

最后 新版性能报告 能让你更深入地了解 模型中每个运算的开销

Core ML 是设备端 模型部署的理想框架 不过 有时你可能需要 对机器学习任务执行 进行更精细的控制 例如 如果 App 的图形工作负载 需求较高 那么 Metal 的 MPS Graph 可让你对具有其他工作负载的 ML 任务进行排序 从而优化 GPU 利用率 或者 在 CPU 上 运行实时信号处理时 Accelerate 的 BNNS Graph API 可为 ML 任务提供严格的延迟 和内存管理控制

这些都属于 Core ML 的基础框架 可供你直接取用 让我们更详细地了解每个选项 从 MPS Graph 开始 MPS Graph 基于 Metal Performance Shaders 而构建 可让你载入 Core ML 模型 或使用 Metal 以编程方式构建 编译和执行计算图形 请观看 “利用 Metal 加快机器学习”视频 深入了解转换器 在 GPU 上的高效执行情况 包括 MPS Graph 中用于改进 计算和提高内存带宽的新功能 了解新的 MPS Graph strided ND array API 如何帮助加快傅里叶转换速度 以及新的 MPS Graph 查看器 如何帮你轻松理解并深入了解 模型的执行情况

下面介绍 BNNS Graph BNNS Graph 是 Accelerate 框架中 新增的 API 可在 CPU 上 以理想方式运行 机器学习模型 与基于 BNNS 内核的 旧版 API 相比 BNNS Graph 在性能上有了显著提升 它可与 Core ML 模型 搭配使用 在 CPU 上实现 对延迟敏感的实时推理 并能严格控制内存分配 该 API 非常适合用于 音频处理和类似用例 请观看“在 CPU 上助力 实现实时 ML 推理”视频 进一步了解今年推出的 BNNS Graph 我们丰富的框架和 API 为你 提供所需的一切 助你在自己的 机器学习和 AI 模型上 本地运行推理 从而尽享 Apple 芯片硬件加速 带来的各种好处...

除了我们的域 API 外 你的 App 还可以访问 Apple 平台上一系列先进的 机器学习工具和 API 根据你的需求 和用户体验 你可以先使用基于 Apple 模型的 简单的开箱即用 API 也可以更进一步 直接使用 Apple 框架来部署机器学习 和 AI 模型

我们致力于提供 出色的 ML 和 AI 资源 为你在 App 中构建智能体验 打下坚实的基础 前面介绍了操作系统 和开发者 SDK 的内置功能 现在 我们来看看最后一个主题 研究 Apple 不断突破 机器学习和 AI 的极限 我们已经发表了数百篇论文 介绍关于 AI 模型和设备端优化的 创新方法 为了便于进一步探索 我们已通过开源方式 分享了示例代码、数据集 和 MLX 等研究工具

MLX 由 Apple 机器学习 研究人员设计 供其他研究人员使用 它采用熟悉且可扩展的 API 可供研究人员探索 关于 Apple 芯片的新创意 它基于统一内存模型而构建 因此能在 CPU 和 GPU 上 执行高效运算 而且 你可随心选用 Python C++ 或 Swift 来探索 MLX 请查看 MLX GitHub 页面 进一步了解 同时为开源社区贡献 自己的一份力量 开源社区最近推出了 CoreNet 这个神经网络工具包功能强大 专为研究人员和工程师设计 借助这个灵活多用的框架 你可以训练从标准架构 到新型架构的各种模型 还可以扩大或缩小模型规模 以处理不同的任务 我们还在 CoreNet 中 发布了 OpenELM OpenELM 是一个 高效的语言模型系列 采用开放式训练和推理框架 开源社区已将该模型 转换为 MLX 和 Core ML 格式 以便在 Apple 设备上运行 以上就是关于 Apple 平台 机器学习的简要介绍 今天只是揭开了神秘面纱的一角 还有更多精彩等你探索 总结一下今天的内容 你可以使用标准 UI 元素来利用 我们操作系统内置的智能功能 从而打造丝滑的用户体验 利用基于 ML 的 API 和 Create ML 定制你的 App 让 App 更上一层楼 在 Mac 强大的 GPU 上 使用熟悉的框架来训练或微调模型 例如基于 Metal 的 PyTorch 使用 Core ML Tools 针对 Apple 芯片 优化这些模型 为部署做好准备 使用 Core ML、MPS Graph 和 BNNS Graph API 将这些模型集成到你的 App 中 从而为用户提供精彩绝伦的体验 最后 了解一下 Apple 的 前沿研究计划 其中提供了开源框架和模型 现在 让我们踏上为用户 打造绝佳体验的奇妙旅程吧！