机器学习的新功能

大家好 欢迎各位 我的名字是 Gaurav 今天 我们要讲的是 机器学习的新功能

成千上万的 App 都在用机器学习

你们正在制作的 App 非常棒 他们涉及到了用户生活的方方面面 医院里 医生正在使用 诸如 Butterfly iQ 这样的 App 来进行实时的医学诊断 体育界 教练正在使用 诸如 HomeCourt 这样的 App 来训练他们的运动员 在创造力方面 诸如 Pixelmator Pro 这样的 App 帮助其他 用户使用 ML 来增强他们的创造性

这只是其中一些例子 我们想要你们制作的 App 也能成为 这种优秀的 App 所以现在的问题是新功能是什么 那我就开始讲了 我们有很多的材料 所以一次或者两次会议是讲不完的 我们需要十次会议来讲解整个材料

我们还有一个 与机器学习中的设计相交叉的会议

我们也有每日实验室 你可以在这里和 Apple 机器学习 工程师一起相约探讨你的想法

当你在 App 中整合机器学习 我们都在这为你清除任何 你可能遇到的障碍

在所有的会议中 你将会看到 我们遵循简单的原则

我们想让机器学习变得越简单越好 我们正全神贯注于做此事 我们希望使其更灵活 以便你可以通过各种任务来完成它 我们希望使其更强大 以便你可以在你的设备上 运行最先进的机器学习模型 机器学习适用于每个人 不管你是研究员 还是一名机器学习的新手

通过在实验室中创建 你可以创建最先进的 以任务为中心的机器学习模型

我们产品的下一大支柱是 Domain API

Domain API 允许你用 Apple 的内置智能和模型 所以你不用担心 收集数据和建造模型了 简单地调用 API 即可完成

今年 我们正在大力 扩展我们的 Domain API 我们在视觉 文本 语音和声音中 都有 Domain API 现在先让我们来看看 其中的一些 API 让我们先从视觉开始

视觉允许你推断 图像的内容

今年的新特点之一是 图像显著性

图像显著性可以帮你 识别图像中 最相关的区域

你可以用它来生成 缩略图或进行图像 裁剪 生成记忆 引导相机等等 今年我们要介绍的另外一个 重要特点是文本识别

现在你可以对文档 进行拍照 执行 透视校正 照明 校正和重新组织 设备上的文本 这是很成功的 但并不是全部 我们有图像内置 分类器 人体探测器 宠物 探测器 我们将 在两个视觉会议中介绍它们

下一个领域是自然语言 就像是你用视觉来 推断图像 你可以用 自然语言来推断文本 今年的新内容是内置的情感分析 所以你可以用一种 尊重隐私的方式在设备上 实时分析文本的情感 所以 举例来说 如果有人 输入这样的文本 我 对第二季结局感到很兴奋 这是一种积极的情感 但是最后有点失落 这又是一个消极的情感 所以你可以实时 提供这种反馈 我们还首次 公开了内置的词嵌入

词嵌入可以让你 找到语义相近的单词 例如 雷暴这个词在语义上 非常接近多云 但是离鞋子和靴子相差甚远 词嵌入的一个重要使用案例是语义搜索 我们接下来给你举一个例子 自然语言将提前在 自然语言框架会议中 进行详细讨论 用户与 App 交互的第三种方式 是通过语言和声音

现在我们有了设备语音 支持 所以你可以在设备上 转录文本 你再也不用依赖 网络连接 我们也 有新的语音分析 API 它不仅可以告诉你讲话的内容 还可以告诉你讲话的方式 所以你可以区分 一个正常的声音和一个高度 紧张的声音

我们也有一个全新的声音 分析框架 我们会在 Create ML 大会上进行讨论 这些域中的 每一个域都有很多功能 你可以做的另一件事就是 无缝地组合这些域 让我给你们举一个例子 假设你想要构建一个 在图像上进行语义搜索的功能 这是一个非常复杂的功能 因此 如果一个用户搜索 雷暴 你不仅想 向他们提供 雷暴的结果 也想 提供天空和多云的结果 现在 你可以将视觉 和自然语言结合起来 仅需很少的代码就可实现此功能

这就是你将要做的 你将会在你的 图像上运行图像分类器 你也可以让它们使用内置的图像 分类器来生成标记 当用户输入 类似雷暴的单词 你 可以使用词嵌入来 生成相似的单词 并找到 与这些标记匹配的图像 而且这不是全部 你还可以将使用 Create ML 和 Domain API 创建的自定义模型组合在一起 我们将在使用 Core ML 和 ARKit 创建伟大 App 的会议中 展示该示例 总之 Domain API 允许你利用 Apple 内置智能和模型 使用 API 所以你无需 收据数据并制作模型 今年我们在 视觉自然语言 语音和声音 API 方面有了显著的扩展

现在让我们来谈谈 Core ML 3 我们产品的第三大支柱

现在我们所有的平台都 支持 Core ML 所有工作都在设备上完成 因此可以维护用户的隐私 Core ML 是硬件加速 所以你可以这样做 你可以用它来 进行实时的机器学习 无需服务器 它总是可用的 Core ML 始终支持 各种机器学习 模型 包括经典的 广义线性模型 树集成 支持向量机 和卷积神经网络 和循环神经网络等网络

Core ML 的新功能是 模型灵活化和模型个性化 所以让我们来看看这些

Core ML 扩展了 对数据神经网络的支持 我们增加了对 100 多个神经网络层的支持

这意味着你几乎可以 携带 你可以将 最先进的机器学习 模型带入到你的 App 中 比如 ELMo BERT Wavenet 这是什么意思呢

假设你有一个 App 你想在你的 App 中 集成一个最先进的 问答系统 这样一来 当用户提出一个问题 今年的 WWDC 会有多少次大会 你可以使用 BERT 模型来完成

所以 该模型可以对语句 进行分析并给出反馈 结果答案是超过 100 除了自然语言以外 你还可以运行视觉方面的 最新进展比如 实例分割和音频生成 方面的最新进展

为了充分利用 Core ML 的扩展支持 我们正在更新我们的转换器 因此我们将有一个全新的 TensorFlow Core ML 转换器和 ONNX 支持的 ML 转换器即将推出 我们也在更新我们的模型库 在我们的模型库中 导入一些研究模型 以便你可以立即开始使用它们

因此代表着新模型的 ML 3 和带有模型库的转换器 可以帮助你将 最前沿的 ML 引入到 App 中 现在 模型个性化是一个很大的特点 所以让我解释一下这是什么 所以到目前为止你可以看到 你已经使用 Create ML 来构建 模型 使用 Core ML 来部署 模型 但是 Core ML 3 的新功能是 设备模型个性化 你可以在设备上微调模型 我们在面部 ID 中 使用这种技术并 设置 Watch Face 所以事情就是这样发生的 今天你有了数据 你制作一个 ML 模型 你把它发送到你的 App 中 你的所有用户 都下载了相同的模型 这很棒 因为现在 用户不用上传他们的门户网站 你可以直接拍照 在设备上运行模型 得到诸如狗之类的推理 但是如果你正在尝试 处理一个对于每个用户来说都很独特 的概念 该怎么办 说一说我的狗这个概念吧 你可能希望用户 在图片库中找到他们自己的狗的照片 而不是他们拍的 所有狗的照片 而且每个用户的狗看起来都如此不同 例如 有人可能有 金毛猎犬 有的人可能 有斗牛犬 啊 这就是 我的傻狗

那么 我们应该怎么做呢

所以对于用户 1 来说我们想要的 需要的是带有这只狗的 图像分类器 说这是他们的狗

对用户 2 来说 这是英国 斗牛犬 这是第三只狗

所以为了做到这一点 其中一种 方法是使用基于服务器的方法 所以你可能要求 每个用户在云端上传照片 服务器为每个用户生成模型 然后将它们发回来 不幸的是 这种方法存在隐私问题 你的用户可能并不乐意 将他们的照片上传到你的 服务器中 这样你就无法 获得他们的照片

你必须设置服务器 所以需要一些成本 我们假设你有一百万用户 我们也真诚的希望你有 你就必须得制作数百万个 这样的模型 然后随着时间的推移 来追踪它们

使用 Core ML 3 你就可以 在设备上进行更多个性化设置 所以如果你设备上有 训练数据 你就可以 简单地使用它来微调 设备上的模型 所以你之前使用 LMH 来进行推理 如今你可以 从用户那里获取标签数据反馈 提供一些 训练数据 微调 设备上的模型

每个用户都有一个 个性化模型

我们尊重每个用户的隐私 所以你不必放置服务器 所以 Core ML 3 支持 神经网络的设备个性化 我们也支持近邻 算法 这个可以 晚上在后台进行

因此 为了总结和结束我们的 会议 我们看到 Create ML 这个全新的 App 来构建 ML 模型 我们 在 Domain API 中进行了重大 扩展 Core ML 也变得更加灵活 现在 支持设备个性化 你可以在我们的开发者网站大会 209 上找到更多信息 我们希望你们 像我们一样对这些技术感兴趣 我期待在实验室见到你 谢谢 [掌声]