使用 Create ML 框架构建动态 iOS App

使用 Create ML 框架构建动态 iOS App

了解您的 app 如何使用 Create ML 框架在设备上彻底训练 Core ML 模型，带来自适应和自定义 app 体验，并始终保护数据隐私。我们将探索可以即时创建样式传输和图像分类等基于图像的任务、自定义声音分类等音频任务，或基于丰富的文本分类、表格数据分类和表格回归因子的任务的模型类型。我们将带您了解这些模型带来的各种精彩机会，让您的 app 更加个性化和动态化。请观看 WWDC21 的“使用 Create ML 对手势和动作分类”和“探索 SoundAnalysis 中内置的声音分类”，激发更多灵感。

资源
- Create ML
- - 高清视频
  - 标清视频
相关视频

WWDC22
- 了解 Create ML 组件
- Create ML 的新功能
WWDC20
- 使用 Swift 在 Create ML 中进行控制训练
下载

♪重低音音乐声♪ ♪ 贾韬：你好我是韬今天我和我的同事杰克将谈谈用Create ML框架打造动态iOS app 动态的app是什么意思？动态的app让用户能灵活自定义app的某些元素动态app也为不同用户的需求提供最符合用户的定制化内容这些适应性强的app内功能让你的用户能有专为他们量身订做的更智能和个性化的体验你可以通过简单的启发式和预定义规则提供这种体验但通常这些方法可能无法为所有app用户提供最佳体验因为他们的背景和偏好可能不同另一方面机器学习技术让你能创建直接向用户数据学习的模型通常这比较容易泛化比起启发式和预定义规则较可能适合更多用户所以能用哪些工具提供这种体验？在Mac上可用的Create ML app 让人能轻松创建模型只要选择一些训练数据并点击训练按钮即可它通过一组丰富的模板支持各种模型类型这个app构建于 Create ML框架之上而Create ML让机器学习模型能加速训练 Create ML框架原本推出于 macOS Mojave 让模型能在你的macOSapp中用Swift的编码训练而现在我们将那个框架带到iOS 15和iPadOS 15 能在设备上使用后你的app可以做出各种全新、动态的事情换句话说你可以直接从你的app访问编程API 在设备上创建模型它让你的app能够向用户学习进而适应你的用户最后但同等重要的用户数据永远不需要离开他们的设备因此能保护用户隐私现在让我们开始吧 Create ML中提供了不同的任务这是所有在macOS上可用的任务而现在iOS也提供了其中有些很受欢迎的任务例如图像、声音和文字分类器较近期添加的任务包含风格迁移还有今天新添加的手部姿态和手部动作分类器有了这些工具可就能引申出许多有趣的点子和用例这里有几个例子利用图像分类 app可以学习孩子最爱的毛绒玩具长什么样子然后帮忙找到更多关于该玩具的照片以协助制作关于毛绒娃娃的冒险故事文字分类器可用来帮助用户快速整理刚写好的笔记方式是从用户的过去行动中学习建议标记和文件夹手部动作分类器这是今年新推出的可以让你的用户用自定义手部动作触发app内视觉效果有好多很酷的东西可以用Create ML在iOS上做到但我最好用演示直接示范是什么意思我有个app 看起来有点像Photo Booth 但这比较动态它让我能创建自定义照片滤镜让我示范怎么用在我的iPad上它在顶端显示一系列现有的滤镜是我在Mac上用Create ML的风格迁移任务训练的每个滤镜都由用来创建滤镜的特定风格图像表示在最底端这个app等着照片试用这些滤镜可以是拍照或选择照片我现在拍张照
自拍好了
来看看滤镜的样子我先点第一张海浪的照片噢我的脸和头发上出现一堆水滴让我想起很久以前去迈阿密度假时那小鸟这张照片呢？你看我有多缤纷看起来像裂开的冰的第三张呢？喔我看起来很冷酷这些看起来都很有趣但我觉得还是少了什么如果我能用自己选的照片自己创造一个滤镜呢？那会让这个app超好玩我来试试
我有这幅女儿的画是她三岁时画的我很爱这幅画的纹理和颜色我很好奇我配上我女儿的艺术风格会是什么样子我要点这个“+滤镜”按钮选择相机然后拍照 “使用照片” 现在它正在创建滤镜在后台它正在训练一个自定义风格迁移模型我来解释它的原理首先选择单一张风格图像我选择的风格图像是我女儿的画作接着我需要提供一组内容图像让模型能学习如何将风格应用到图像同时保存这些图像的原始内容在这个演示中我用了几十张来自我的相簿的照片包括风景照和自拍照如果你想将风格应用在其他照片类型例如你的宠物的照片你可能也会选几张那种照片加入你的内容组里然后选择你的滤镜类型可以是图像或视频这根据你的应用情境而定在这个演示中我选了图像因为我想把风格应用在静态照片上你也可以尝试不同的风格强度风格密度还有迭代的次数以获得在风格化和原始内容间最喜欢的组合想更了解如何设置这些参数请参考去年的WWDC专题讲座现在我们来把这个新创的滤镜套用在我的照片上哇我在女儿的画作上会长这个样子它确实侦测到了这些纹理和颜色来试试别张照片我有只兔子我女儿超爱跟它玩如果我和兔子自拍然后应用滤镜呢？
兔子也变成她的画作的风格了我等不及拿给她看并套用她的其他画作一定会很好玩在这个演示中我示范了如何利用 iOS上的Create ML框架中的风格迁移模型创建一个自定义照片滤镜以代码来看会是什么样子？首先定义训练数据源指定一个风格图像和一组内容图像接着定义你的会话参数指定你想在哪里存储你的检查点等接着用这些参数定义你的训练作业最后调度训练作业一旦收到成功完成通知存储已训练模型要风格化图像编译并实例化Core ML模型开始进行预测就这样这就是我用 Create ML框架的风格迁移API 创建自定义照片滤镜的方式其他任务遵循类似的API模式目前为止我提到了让你能用丰富媒体数据类型创建模型的任务媒体包含图像、文字、音频和视频但如果你的app 不跟这些类型的数据交互呢？让我邀请我的同事杰克谈谈在那种情况下如何让你的app变得动态杰克卡克勒：谢谢韬除了我们已经提到的任务以外 iOS上的Create ML框架也支持结构化表格数据的分类器和回归器让我们用一个例子了解这些可以如何创造更动态的app体验首先介绍一下分类器和回归器分类器从训练数据集里的数据学习预测特定的类回归器也类似但它学习预测一个数值而不是离散的类标签这些是利用表格数据训练分类器和回归器的API 让它们能用在很多不同的场景中特别是iOS上的Create ML 为这两者分别提供四种不同算法使用常规表格模型可能需要多投注一点心力因为你必须决定想在模型中使用哪些功能和目标值不过通常这可以很直截了当我们来看一个app 它用表格回归器添加个性化体验这是一个简单的app 用来向餐厅订购餐点这个app有附近地区的餐厅这是一家本地的泰式餐厅叫做“神奇泰式” 如果我选择它 app会显示我可以向餐厅订购的餐点还有每道餐点的信息这是简单的app 但如果我能让它更好呢？那应该会很棒如果随着时间过去我的app学会我的行为并协助显示智能建议推荐我可能会喜欢的餐厅和餐点那会让它从简单的app 变成非常动态的体验我可以通过直接在app中训练一个表格回归器做到这点我要用三种信息结合在一个结构化表格以训练模型并交付新的动态体验第一个是内容也就是我加载到这个app的数据以我们的餐厅app来说就是餐点的信息第二个是内容背景这个例子中是用户订餐的时间最后我添加了用户的订购纪录就在他们的设备上创建一个为他们量身订做的体验通过结合内容和背景信息还有过去的用户交互我可以预测未来的交互这是个性化的大好机会以这例子来说是协助预测用户未来可能喜欢的餐点我们回到添加模型后的app 我要订今天午餐我想吃披萨我将用餐时间设定为午餐并选了披萨店选了一个玛格丽特披萨并订购这个窗口上有几项信息是训练表格回归器的关键内容是这项餐点的关键词像是原料西红柿和马苏里拉芝士还有餐厅本身披萨店还有食物类型披萨这个模型用的背景信息是时间这是午餐时间现在我教会我的模型这些是我午餐可能想吃的东西最后我的交互是我点了这道餐点而不是别的餐点我正在训练的回归器正在为每一道我可能订购的餐点预测一个偏好分数今天它学到我确实点了这道餐点而不是别的餐点回到主要屏幕模型已经训练好了有个新窗口专门为我推荐餐点我实际点过的餐点也就是玛格丽特披萨是第一道建议餐点但下一道建议餐点是来自完全不同的餐厅的卡布里莎三明治前几名推荐还有几道披萨我们再试一个例子假设我现在要点晚餐
这次我点了神奇泰式的黄咖喱现在模型再次更新了它根据我的订购时间的信息学到我的新偏好我刚点的黄咖喱现在是第一推荐餐点一道类似的咖喱是第二推荐餐点下一个推荐是素食披萨里面有蘑菇和彩椒跟我刚点的咖喱一样而且app知道我可能想吃披萨就算披萨可能不是我晚餐的首选如果我在隔一天订购午餐模型学会分辨我午餐可能会点什么相对于我晚餐可能会点什么这能提供非常个性化的体验帮我找到我在那个时点想要的东西而且现在才两笔订单要将表格分类器或回归器添加到app 有三个真实步骤设置数据训练预测这里的第一个函数利用一餐和关键词创建这个回归器中使用的功能我用和每道餐点关联的关键词与目前这一餐也就是背景信息相结合创造新的关键词让模型能捕获内容也就是餐点的关键词和背景信息也就是这一餐的关键词两者的交互我们在字典放入1.0的值只是为了表示某个特定的关键词存在数据输入中首先我为用户订购的每道餐点用之前生成的功能添加一个输入和一个正目标值不过如果只包含这个模型不会学会分辨我喜欢的餐点和我不喜欢的餐点要做到这点我再添加一个输入内容是所有没有在餐点里的关键词加上负的目标值-1 这让模型能学会哪些关键词最适合用户的爱好我将这个合并信息转换成数据框指定关键词以及目标最后我训练模型指定我要预测的列是我设置为1或-1的目标列在这个例子里模型是个简单的线性回归器它能生成有意义的结果让我用在这个app中预测时我只需要拿我想要执行推理的数据并从我训练的模型调用预测目前我们展示了如何在iPadOS和iOS app中训练风格迁移模型和表格回归器我们谈谈集成机器学习训练到你的app 一些最佳实践别忘了遵守机器学习的通用最佳实践例如永远要用训练数据集以外的数据测试模型表现对于长期运行的训练任务利用异步训练控制和检查点机制自定义你的模型创建工作流模型创建的一些方面可能需要大量算力消耗额外内存或是需要下载额外资产集成到你的app时记得考虑这些想了解更多信息请参考我们的API和文档如果想知道更多最佳实践强烈建议你观看我们过去几年的WWDC专题讲座《设计绝佳的ML体验》和《使用Swift控制 Create ML的训练》本次讲座中我们谈了如何使用 iOS上的Create ML框架我们举了风格迁移的例子和表格回归器的例子大部分的Create ML模板现在可以直接在iPhone或iPad上训练通过在iOS上训练你可以创建动态app 让用户能自定义并个性化体验同时保护用户隐私因为训练和推理完全在app中进行不需要担心模型部署的问题我们很期待看到你的作品谢谢收看祝你享受今年的WWDC ♪

// define training data source
let data = MLStyleTransfer.DataSource.images(styleImage: styleUrl, contentDirectory: contentUrl)

// define session parameter
let sessionParameters = MLTrainingSessionParameters(sessionDirectory: sessionUrl)

// define training job
let job = try MLStyleTransfer.train(trainingData: data, sessionParameters: sessionParameters)

// dispatch training job 
// save out model upon receiving successful completion, compile for later use
// make prediction with CoreML model
try model.write(to: writeToUrl)
let compiledURL = try MLModel.compileModel(at: writeToUrl)
let mlModel = try MLModel(contentsOf: compiledURL)
let inputImage = try MLDictionaryFeatureProvider(dictionary: ["image": image])
let stylizedImage = try mlModel.prediction(from: inputImage)

13:39 - Collecting features for a regressor

func featuresFromMealAndKeywords(meal: String, keywords: [String]) -> [String: Double] {

    // Capture interactions between content (the dish keywords) and context (meal) by
    // adding a copy of each keyword modified to include the meal.
    let featureNames = keywords + keywords.map { meal + ":" + $0 }
    
    // For each keyword, create an entry in a dictionary of features with a value of 1.0.
    return featureNames.reduce(into: [:]) { features, name in
        features[name] = 1.0
    }
}

14:08 - Preparing training data

var trainingKeywords: [[String: Double]] = []
var trainingTargets: [Double] = []

for item in userPurchasedItems {
    // Add in the positive example.
    trainingKeywords.append(
       featuresFromMealAndKeywords(meal: item.meal, keywords: item.keywords))
    trainingTargets.append(1.0)
            
    // Add in the negative example.
    let negativeKeywords = allKeywords.subtracting(item.keywords)
    trainingKeywords.append(
       featuresFromMealAndKeywords(meal: item.meal, keywords: Array(negativeKeywords)))
    trainingTargets.append(-1.0)
}

14:37 - Training a linear regressor model

// Create the training data.
var trainingData = DataFrame()
trainingData.append(column: Column(name: "keywords" contents: trainingKeywords))
trainingData.append(column: Column(name: "target", contents: trainingTargets))

// Create the model.
let model = try MLLinearRegressor(trainingData: trainingData, targetColumn: "target")

14:58 - Making a prediction

// Setup the data to run an inference on.
var inputData = DataFrame()
inputData.append(column: Column(name: "keywords", contents: dishKeywords))

// Call predictions on the trained model with the data.
let predictions = try model.predictions(from: inputData)

正在查找特定内容？在上方输入一个主题，就能直接跳转到相应的精彩内容。

提交你查询的内容时出现错误。请检查互联网连接，然后再试一次。

资源

相关视频

WWDC22

WWDC20