使用 Metal Performance Shaders Graph 加快机器学习速度

使用 Metal Performance Shaders Graph 加快机器学习速度

Metal Performance Shaders Graph 是一种计算引擎，可帮助您为线性代数、机器学习、计算机视觉和图像处理构建、编译和执行定制的多维图形。了解 MPSGraph 如何通过 Apple 产品的 Metal 后台为热门的 TensorFlow 平台加速。了解如何向图形添加控制流、如何管理图形选集以获得最佳性能，以及如何借助 MPSGraph 的运作，仅使用几行代码就能为计算难度极高的 app 加快计算速度。

资源
相关视频

WWDC22
- 利用 Metal 为机器学习加速
WWDC20
- 用 Metal Performance Shaders 图形构建自定义 ML 模型
下载

嗨我是萨许我是Apple GPU软件工程小组的成员今天我要和我的组员优利亚一起介绍MPSGraph的最新运用我们开始吧 MPS是一个基于Metal、高效由GPU驱动的原始码函数库广泛应用于图像处理、线性代数计算光线追踪与机器学习 MPS发展小组优化了Metal的核心让Metal在Apple的各项硬件上都能有最好的表现去年我们介绍了MPSGraph的框架为GPU计算图像的基本逻辑 MPSGraph系统支持了macOS、iOS iPadOS与tvOS 和MPS框架相同请参考我们去年的介绍以获得更多MPSGraph的入门信息我们来看一下今天的内容内容非常多我们会介绍MPSGraph如何加速机器学习的训练与推论 MPSGraph令人惊奇的新运作模式我们会介绍掌控MPSGraph编码的新方法最后还有 MPSGraph全新高效的控制流程我想向你们介绍我的伙伴优利亚她会向你们介绍更多机器推论与训练方面的性能提升谢谢萨许嗨我是优利亚我是Apple GPU软件小组的组员我想向你们分享我们在增强GPU训练与推论上所做的改善我们直接进入主题 MPSGraph的框架已经被 Core ML和TensorFlow等更高阶的机器学习框架采用以加速他们的GPU运算效能今年我们更进一步地在处理核心与接口的采用上更优化了MPSGraph 这令使用MPS的机器学习系统获得了更好的表现现在我们来看一下 TensorFlow新的Metal插件 TensorFlow是个广被使用的机器学习训练平台而GPU是最主要的加速器今年我们利用 TensorFlow2.5发布的 TensorFlow插件界面发展了一个全新的Metal插件通过MPS与MPSGraph 您将能在TensorFlow中感受到 Metal的强大功能这让我们可以训练任何在Mac平台 GPU上的机器学习模型而且中间不用经过修改现在让我来实际操作给你们看这次示范我想要以Jupyter的环境为例在我的M1系统中我安装了最新版本的TensorFlow 检视硬件设备时您可以看到只有CPU一项装置
我要先说明一下ResNet50 这是一个广被使用的机器学习模型应用于图像分类、转印学习等
目前的模型用的是标准的ImageNet视觉数据库图像大小为224*224
您可以发现以目前的ETA CPU将会花20分钟来完成第一阶段的工作现在来安装刚介绍的 TensorFlow Metal插件看能否加速目前的工作流程我要先用pip 来安装tensorflow-metal
之后回到同样的ResNet50模型
只不过这次我们装了一个新的GPU硬件这是我们刚介绍过的GPU装置是TensorFlow中使用了Metal外挂的部分
在所有回调函数与网络设定维持不变的情况下让我们重新连网来比较ETA 您可以发现在使用相同网络之下加装了TensorFlow Metal外挂的 GPU版本训练速度是原本的四倍
我们再来看一下其他的网络这张图为以CPU为基准的机器学习训练速率对照表您可以看到几乎所有基准点都显著往上提升在M1 MacBook Pro的表现上速率最高还可达到八倍之快
给TensorFlow安装新的Metal外挂很简单利用pip安装完 MacOS版本的基本TensorFlow之后您便可以再利用pip来安装 TensorFlow专门的Metal插件您可以在python的官方套件pypi.org.中找到Metal的插件更详细的环境设置及安装细节信息请至Metal的开发者服务区咨询 TensorFlow的部分就到这边接下来我们来介绍Core ML部分的推论加速
Core ML是Apple的机器学习推论框架有了MPSGraph 我们能感受到Core ML的表现有显著提升这张表显示了使用M1芯片的主要机器学习网络的推论加速程度 BERT是自然语言处理应用程序为一种典型的转换网络 BERT的推论速度增长为原本的两倍而计算机视觉应用程序的核心ResNet50 在之前的版本中被设计成适合纹理路径的模式有了MPSGraph在后端的加持 ResNet50有了16%的速度增长 Core ML与TensorFlow的增长表现来自MPS原式的改善如Convolution2D 这里我们看到的是Convolution2D 分别在 NHWC与NCHW两种数据格式间的速度增长分别应用于机器训练与机器推论以上是我们在机器推论与训练中的修正成果接下来我们请萨许继续为我们介绍 MPSGraph中新的运作模式谢谢优利亚现在我们来看由MPSGraph支持的新一套运作模式
MPSGraph支持非常多种运作模式包含多种卷积与降低操作及所有计算图中可能会需要的基本数学运算今年我们新增了一些特殊的运算模式让您可以通过MPSGraph达成更多可能我们加入了三种新的原式控制依赖、模板运算符及提取运算符首先我们先来看控制依赖控制依赖可以让图运算的指令更加清楚为了增进理解我们来检视一下图运算的轮廓图中的运算通过三种边来连结其他图输入张量代表将数据输入节点的张量输出张量由节点自己产生而最后就是这特殊设计的边我们称它为控制依赖他们必须在目前的运算之前开始执行即使目前的运算并不依赖这个边这个界面也提供了一个方便的方式来避免运算因MPSGraph的优化而被松动这在执行机器学习层如批标准化时会派上用场我们实际来操作看看批标准化在机器学习训练中是一项标准化层级的技术这能使神经网络更加稳定并提升输入效能现在看到的是机器训练时批标准化所运用的计算图第一步要先计算平均值与方差这些是为了更新推论所需的移动平均与移动方差然而训练图的成果并不需要这些变量因此MPSGraph有可能会将它们优化掉我们可以运用控制依赖关系在最终的正规化运算前给予更清晰的指令来解决这个问题我们来看一个简单的编码例子看我们能如何使用这项API 这张图有一个指数运算符及一个指派运算符这个指派运算符并没有被图中的其他元素运用所以它可能会被优化掉其中一个解决方法是明确地将指派运算符设定为目标节点然而这需要开发者去追踪图中全局的依赖关系通过新的控制依赖API 您便可以指派指数运算节点的依赖关系我们便不用设定目标节点也能确保计算图不会把运算节点优化掉接下来我们实际在编码中看一次
我们首先先定义指数运算符的依赖关系接着我们设置一个依赖阻断来定义指数运算符最后我们调用计算图中的编译器来跑可以注意我们不需要全局追踪目标运算节点控制依赖关系的部分就到这边现在我们来介绍模板运算符
模板运算节点归纳自一组滑动窗口运算符如图像卷积这些运算符对于有限单元法机器学习及图像处理应用程序都是无可或缺的这里有一个二维的五点模板常用于执行拉普拉斯运算这个模板运算符也可以被运用于更高维度如这个三维的七点模板图我们来仔细看一下这个运算符在每个输出值中运算符会通过输入张量的模板窗口来计算出加权的降低值这个运算符支持多种降低模式包含自变量最小/最大值与多种填补模式像是反射与clampToZero MPSGraph使得MPS的核心得以接合进而优化表现有了接合的支持模板运算符可以让您在只启动单一核心的情况下执行复杂的数学运算让我们直接来看个例子局部响应归一化是一个PyTorch的运算运用于维度的标准化通过新的模板运算节点执行这项工作变得非常直观简单现在我们看到的是这套标准化技术的计算图可以看到在模板运算周围的都是元素积的运算节点没有新的运算模式我们会需要进行多分派现在由于模板运算符能相互接合运算符整个计算图只需分派一次就能完成模板运算符的部分就到这边接下来让我们来看一下提取运算符部分的更新
今年 MPSGraph新增了新的提取运算符它们让处在非相邻内存位置的任意大小的切片能够高效地复制概念上来说我们想要从内存块中提取位于图中蓝色位置的量值这些集结层可以更有效率地执行嵌入查找与动态矩阵的复制 GatherND是一项集结运算功能的强大插件一般的集结功能只支持线性索引 GatherND运算功能却能支持多维度的索引这让您能直接复制所有多维度输入的数据此组运算的中输入坐标以向量来表示而每个坐标值最高可至输入张量的值坐标中任何非指定的维度都会以切片形式被复制我们可以拿三维张量中如何提取切片的操作为例在这个例子中这些指数指出了两种坐标分别相当于矩阵坐标与列坐标在没有第三项栏坐标值的情况下这个GatherND会直接复制一整列计算出的张量结果便会是个从输入矩阵中只提取了列的二维矩阵 GatherND可以呈现几乎所有模式的提取运算工作并有优良的表现举例来说我们来看一下如何运用提取运算功能来执行嵌入查找
嵌入查找是一项常用的操作常用于为输入对象寻找嵌入向量一般来说嵌入查找会应用于语言处理网络嵌入矩阵会在此将词汇表中的字词联系到对应的嵌入向量词汇中字词的ID 可以作为提取操作时的指数而嵌入矩阵便是我们的输入张量我们会需要为每个字词ID 找到对应的列而提取层可以轻易帮您完成我们只有指定一项坐标因此每个输入的字词都会提取矩阵的一整列我们得出的张量结果便是一个二维的矩阵而每个字词的嵌入向量会跟着列一起呈现出来今年MPSGraph新的操作就介绍到这边接下来让我们来谈一下编译的API 今年我们为您带来新MPSGraphExecutable的API 此编译API 有两项重点突破首先它让开发人员能决定何时进行编译再者它能通过推迟型别推论让您减少调用编译的次数现在让我们来分别详细解说去年我们提供了一种极为便利的API 来定义并执行一项MPSGraph 背后的原理其实是当MPSGraph第一次接收到求值指令它会根据输入值的形式进行编译让指令可以被执行而对于后续接收到的求值指令 MPSGraph会迅速地快取方才的设定以确保不重复已执行过的编译流程相较之前使用者现在可以提前执行编译以自行选择编译的时间轴当编译码可被执行您便能直接在 MPSGraphExecutable中跑程序了这让使用者能掌控图被编译的时机及快取编译完成的可执行文件以完成更高效的操作让我们在程序代码中看一次这边我们有一个需要加入两个张量的图我们在操作中为填充张量及目标张量提供了型别来进行编译我们会得到一个编译完的图及可被执行的编译码求值的方法也同样简单我们会提供Metal的指令排序及我们的输入张量数据那以上就是编译MPSGraph的基本操作接下来我们来说明该如何通过延迟型别推论来减少调用编译的次数型别推论是一套编译传递程序 MPSGraph会在此时判别未被使用者指定的张量形状这张图中我们正在执行两个二维张量的矩阵乘法我们可以看到输入张量的形状然而我们却不知道输出张量的形状一旦型别推论的传递程序完成输出张量的形状便会根据参数及操作的型态而定在标准的神经网络中网络的参数并非只有一种尺寸在自然语言处理中句子或序列可能长短不同在卷积神经网络中我们可以看到被输入的待评估的不同尺寸的影像在今年的更新之前系统编译针对每个新尺寸的图像都会对整个图重新进行一次型态推论对编译有了更多掌握后身为开发人员的您便可以绕过型态推论传递直接进行程序编译了您可以在每次的迭代中省下大把的编译时间以达成最佳表现
MPSGraph的执行期包含了型态推论作业与编码同时进行这权衡了编译所需的时间与获得最佳结果间的矛盾现在来看它能如何运用于我们刚才的编码例子
如画面所示您只需设置编译描述符便能取消型态推论传递程序编译API的部分就到这边最后让我们来谈MPSGraph中新的API控制流程这些界面让您能根据图已推算出的张量来动态分派操作这在批标准化及循环神经网络这类的应用程序中很常见我们来看MPSGraph 在没有新界面的情况下如何执行While循环
首先我们先创一个计算谓词的图接着通过显式的内存同步谓词会在CPU中被计算出来若谓词正确前面建立好的图会以新的参数重新执行反之若谓词错误循环便会终止系统会生成第二个MPSGraph 来消耗结果 API有了新的控制流程后这些步骤在执行时都可在MPSGraph中作为单一项执行
这更加方便了实行的流程因为您不用再导入显式记忆同步的原式了现在让我们来看它潜在的效率提升点这里我们可以看到没有新API的控制流时间轴我们将第一个核心编码进CPU 核心完成后我们必须同步内存来读取结果这是缺乏效率的因为CPU会需要等待GPU完成执行同样地 GPU也会需要等待 CPU的同步及后续的编码来完成工作这在每次迭代中都会发生现在我们来看一下 MPSGraph新界面的优点我们只有要调用一个CPU编码因为谓词已经在 GPU的时间轴上计算出来不需再有额外的同步核心也能无缝地被执行
我们来看新的API有哪些
我们新增了三项控制流程界面 if/else、For循环与While循环我们先从if/else的原式开始我们都很熟悉了根据一个谓词会有不同的编码路径被执行我们会得到一个布尔式的谓词及一个可输入if/else条件的编码区块若这个谓词正确我们便执行Then区块的编码反之若不正确则执行Else区块 if/else的运算操作在神经网络中非常实用一个典型的用法可见于批标准化的操作中因为这操作在训练及推论中会有不同的行为利用“isTraining”的布尔式我们可以生成一个简单的图来代表标准化的两种变量我们来看一下如何在编码中设置一项if/else的条件分支
我们来看一个非常简单的例子是两个输入的标量张量如果第一个张量小于第二个我们就回到运算的总和若非如此我们就回到运算的差首先我们先计算出谓词并传送到API 接着若谓词正确我们便计算Then区块并加上张量最后若谓词错误我们便计算区块Else 并减去张量现在让我们来看如何执行一个 For循环
For循环的原式会以固定的次数循环一套运算这在循环神经网络中很常见因为我们在训练时会循环到不同长度的序列我们需要为循环提供迭代次数在每次迭代循环中索引值会初始化为零并与迭代次数相比较若索引值低于迭代次数我们便执行For循环的内容并增加索引值至1
若索引值等于或大于迭代次数我们便停止循环我们来看要怎么在编码中执行
假使我们想要执行一个非常简单的例子我们会将变量较大的结果初始化接着我们会循环四次每次都将结果乘以另一个输入值首先我们先建两个张量图输出张量会被初始化为“input0” 在每次的迭代中这个张量都会乘上“input1” 接着我们把“numberOfIterations”设为4 我们便可以执行循环4次从index0到index3 接着我们再设定循环的body 只要设定一个代表一次迭代的闭包就行了每层迭代都会得到当前迭代的索引还有前次迭代的输出值接着我们会更新结果并回传将其传递到下一层迭代最后我们将所有的自变量传递到 For循环的API就行了可以注意body中的 “iterationArguments” 是初始到input0张量的循环的部分就到这边现在让我们来看一下 While循环的API
这组原式会在条件被设置之后执行一套运算操作我们需要提供两组区块的编码来执行这个界面在第一个区块中运算的条件是有谓词的当谓词正确后面区块中While循环的内容便会被执行谓词会重新被运算 MPSGraph之后便会在先前区块的下个迭代里运用这个谓词若计算出的条件是错的则会退出循环这个API也可以通过互换body 与condition的编码区块来执行do-while循环假使我们想要执行一个非常简单的例子我们会先将结果设置为初始值接着我们会在每个循环中把结果乘上一个乘数直到达到一个临界值首先我们会定义一区编码利用先前迭代的结果来计算谓词先前迭代的结果也会储存于 returnTensors的NSArray中这个数组会在谓词正确时被当作下一层迭代的参数而谓词错误时这个数组则会被当作最终结果接着我们会定义While循环的body 在这里张量是相乘的相乘的积会回归到 condition区块中被读取
最后如画面所示我们会把所有自变量传递到 While循环中的API 请注意“initialInputs”的自变量有使用于before区块中的第一层迭代
While循环的部分就到这边接着让我们来看一下这能如何运用于真正的应用程序中影像合成是个常见的影像编辑功能这里有个对象被移植到目标影像中我们首先会有一个来源影像和一个背景影像如图所示接着我们会在来源影像上放一个遮罩我们来把来源影像的遮罩直接放到背景上但看起来并不美观我们可以清楚看到来源影像的边缘通过影像合成我们想要羽化这些边缘结合拉普拉斯边缘滤波器与迭代线性求解器是一个常见的解法现在让我们来看一下细节这边可以看到用MPSGraph执行合成影像所需的管线我们首先有输入张量、背景影像来源影像与对象遮罩接着我们运用拉普拉斯边缘滤波器与迭代线性求解器的结合输出的是一个边缘柔滑的合成影像我们来看一下拉普拉斯边缘滤波器执行拉普拉斯边缘滤波器时会在来源影像上利用一套参数进行窗口折减如图所示模板运算符可以这样运用通过这个运算符我们就能看到来源对象的边缘了这里计算好的边缘便会成为线性求解器的输入参数接着让我们来看一下线性求解器
首先先看如何将背景影像导入线性求解器求解器会先更新影像再将结果读取回系统如图所示这是一个迭代的过程迭代进行时影像会持续优化直到边缘完美融合当影像优化到低于容错标准循环就会停止这会需要运用到While循环您现在可以用MPSGraph的控制流程 API 来执行了我们来看一下示范我们已经在iPad Pro用了 MPSGraph应用程序来执行影像合成工作了
我们以来源影像在上目标影像在下作为开始我们会将对象从来源影像复制到目标影像首先要做的事是在牛的周围画一个遮罩作为我们想移动的范围
我们来看直接复制看起来如何
看起来不是很美观可以看到边缘很粗糙现在让我们来试试刚刚介绍的影像合成技术我们会先将初始解设置到背景影像上我们来跑大概50次迭代
很显然地影像还未相互融合我们再跑50层
边缘越来越柔和之后看起来也更自然了 MPSGraph在使用上的简便让我们能更直接地尝试各项技术利用复制影像来初始求解器在融合影像上比利用背景影像还要快多了我们可以通过切换模式来初始化我们先再将迭代次数设为50 重设至初始的复制图来看初始化如何进行
现在我们来重跑求解器我们可以看到合成图在50次迭代后看起来非常自然由于我们已经从来源对象开始操作边缘看起来更干净了这非常棒然而我们真正想要的是在容错标准下自动化融合作业这会需要一个While循环而我们可以通过这个开关来实行我们有利用新的MPSGraph API来执行了容错率可以通过这个拉条来调整现在是设为0.1 让我们重设回初始复制图现在来开始跑求解器有了While循环我们可以在80次迭代中修正合成图中间不需要特别修改任何一次迭代现在我们来玩玩看试着合成其他动物到背景中我们来试试这只可爱的狗
好了描绘完成影像的右下角应该是个不错的位子
接着来放一只鸟好了
放在右上角应该不错新的背景有了这些动物看起来更生动了示范就先到这边
总结来说我们示范了如何在CoreML及TensorFlow中运用MPSGraph来达成令人惊艳的效果推论速度是原本的两倍之快我们介绍了实用的新计算原式包含即将能广泛运用于各应用程序的模板运算符
我们展示了新MPSGraph 带来的高弹性编译这能解决推论网络的延迟问题
最后我们示范了 MPSGraph新控制流程的所有新功能这组API能很好地呈现多种线性代数的应用程序有益于机器学习网络发展
我们期待看见更多您的运用及发挥谢谢希望您喜欢WWDC 2021 [轻快音乐]

// Execute the graph
let results = graph.run(feeds: [inputTensor: inputs],
                        targetTensors: [exp],
                        targetOperations: [assign])

9:01 - Control dependencies 2

// Create control dependency

let exp = graph.controlDependency(with: [assign],
                                  dependentBlock: { 
                                      return [graph.exponent(with: input, 
                                                             name: nil)]
                                  },
                                  name: nil)

// Execute the graph

let results = graph.run(feeds: [inputTensor: inputs],
                        targetTensors: [exp],
                        targetOperations: nil)

14:42 - Evaluation method

// Create the graph

let placeholder0 = graph.placeholder(shape: [1, 3], 
                                     dataType: .float32, 
                                     name: nil)

let placeholder1 = graph.placeholder(shape: [2, 1], 
                                     dataType: .float32, 
                                     name: nil)

let addTensor = graph.addition(placeholder0, 
                               placeholder1, 
                               name: nil)

// Compile the graph into an executable

let executable = graph.compile(with: nil,
                               feeds: [placeholder0: MPSGraphShapedType(shape: [1, 3], 
                                                                        dataType: .float32),
                                       placeholder1: MPSGraphShapedType(shape: [2, 1], 
                                                                        dataType: .float32)],
                               targetTensors: [addTensor],
                               targetOperations: nil,
                               compilationDescriptor: nil)

// Execute the graph into an executable

let fetch = executable.run(with: commandQueue,
                           inputs: [MPSGraphTensorData(input0),        
                                    MPSGraphTensorData(input1)],
                           results: nil,
                           executionDescriptor: nil)

16:38 - Disabling the type inference pass

// Create the graph compilation descriptor

let descriptor = MPSGraphCompilationDescriptor()

// Disable type inference

descriptor.disableTypeInference()

// Compile the graph into an executable

let executable = graph.compile(with: nil,
                               feeds: /* feeds */,
                               targetTensors: /* target tensors */,
                               targetOperations: nil,
                               compilationDescriptor: descriptor)

// execute the graph

19:22 - If/else in batch normalization

// Different behavior during inference and training

let results = graph.if(isTraining,
                       then: { ... },    // compute mean and variance
                       else: { ... },    // use running_mean and running_variance
                       name: nil)

19:46 - If/else

let predicate = graph.lessThan(a, 
                               b, 
                               name: nil)

let results = graph.if(predicate,
    then: {[
        graph.addition(a, 
                       b, 
                       name: nil)
    ]},
    else: {[
        graph.subtraction(a, 
                          b, 
                          name: nil)
    ]},
    name: nil)

20:58 - For loop 1

var result = input0

for i in 0..<4 {
    result *= input1
}

21:12 - For Loop 2

// Initialize inputs

let input0 = graph.placeholder(shape: [], 
                               dataType: .int32, 
                               name: nil)

let input1 = graph.placeholder(shape: [], 
                               dataType: .int32, 
                               name: nil)
        
let numberOfIterations = graph.constant(4, 
                                        shape: [], 
                                        dataType: .int32)

21:33 - For Loop 3

// Define Body

let body = {
    (index: MPSGraphTensor, iterationArguments: [MPSGraphTensor]) -> [MPSGraphTensor] in
        let iterationResult = graph.multiplication(iterationArguments[0], input1, name: nil)
        return [iterationResult]
}

21:52 - For Loop 4

// Create for loop operation

let result = graph.for(numberOfIterations: numberOfIterations,
                       initialIterationArguments: [input0],
                       body: body)

22:51 - While loop 1

var result = initialValue

while result < threshold {
    result *= multiplier
}

23:01 - While loop 2

// Evaluate condition

let condition = {
    (inputs: [MPSGraphTensor], returnTensors: NSMutableArray) -> MPSGraphTensor in
        let predicate = graph.lessThan(inputs[0], threshold, name: nil)
        returnTensors.add(inputs[0])
        return predicate
}

23:22 - While loop 3

// Define body

let body = {
    (inputs: [MPSGraphTensor]) -> [MPSGraphTensor] in
        let iterationResult = graph.multiplication(inputs[0], multiplier, name: nil)
        return [iterationResult]
}

23:33 - While loop 4

// Create while loop operation

let results = graph.while(initialInputs: [initialValue],
                          before: condition,
                          after: body,
                          name: nil)

25:00 - Edge filter

// Apply the laplacian edge filter on the source image

let edges = graph.stencil(with: source, 
                          weights: laplacianWeights, 
                          descriptor: desc, 
                          name: nil)

正在查找特定内容？在上方输入一个主题，就能直接跳转到相应的精彩内容。

提交你查询的内容时出现错误。请检查互联网连接，然后再试一次。

资源

相关视频

WWDC22

WWDC20