探索 Metal 中的编译工作流程

Metal 着色语言是基于 C++ 的一种强大语言，让 app 可以获得惊人的渲染效果，同时保持灵活的着色器开发管线。了解如何使用动态库和函数指针更轻松地构建和扩展渲染管线。我们还将展示如何使用二进制函数存档、函数链接和函数拼接在运行时加速着色器编译。

资源

相关视频

WWDC23

WWDC22

利用 Metal 3 锁定并优化 GPU 二进制文件

WWDC21

探索 Metal 调试、性能分析及资产创建工具

WWDC20

下载

大家好我叫里妮·帕特尔来自GPU软件工程团队本课程中我将为您介绍Metal中新的着色器编译工作流程 Metal着色语言是基于C++的语言其编译模型与CPU的编译模型非常相似随着GPU的工作量随复杂度上升 Metal也随之一起发展以满足支撑现在用例所需的灵活性和表现您在进行染色器授权时会遇到这样一些常见的问题在管道之间共享实用代码无重编译地对着色器行为进行即时修改或者在应用启动之间重利用编译后GPU二进制文件现在我们通过一套简单的着色器代码讨论一下这些情况

这里是一个简单的像素着色器它根据结果条件返回的结果是foo（）或者bar（）如果这些函数被多个管道调用我们会希望将它们只编译一次然后链接给每条管道

在实时运行时我们可能需要将一个不同的实现链接到这些函数或者我们需要一个像素着色器能够扩展好为baz（）处理一个新的case声明我们也可能希望去调用一个用户提供的函数“bat” 而非来自像素函数的“baz” 如您所见一个着色器授权管道时有很多不同的要求 Metal能提供多种API 来支持这些不同的实现每种方法都要在编译时间和着色表现间进行取舍今天我想要聊一聊这种新的编译流程它会帮您找到表现和灵活性之间的最佳平衡我们从对于服务渲染管道以及渲染管道函数指针的动态库的新支持开始说起我们还会再额外介绍关于binaryArchive API的内容接着再说一下私有链接的函数最后则介绍Metal 将可见函数进行缝合的全新的功能那么我们就从Metal 所支持的动态库开始吧动态库是软件工程中的常见工具它们是一种共享对象文件使您可以将实用代码划分成独立的实现单元有助于减少编译后的着色器代码数量在多个管道之间重复利用另外它们还允许您动态地链接加载共享GPU二进制代码

去年我们为计算管道引入了动态语言为能更好向您介绍Metal的动态库建议您观看去年的课程： “用Metal构建GPU二进制文件” 今年我们将用动态库来渲染和平铺管道有了这额外的支持您现在可以在计算和渲染工作中共享实用库了现在我们知道动态库是什么了那就来讲一些相关用例 Helper函数在一般计算顶点着色器像素着色器和平铺着色器中很常用现在有了动态库的额外助力来帮助渲染管道您可以执行大量的实用代码并在工作之间进行共享您可以将运行时可能用到的库进行预编译从而避免编译被拖缓对于运行中的函数也是如此只需在创建管道时简单地更改加载的库即可通过它们您的用户不用提供源就可以给着色器代码授权直接作为管道的一部分加载刚才谈过了何时使用动态库现在我们来看看如何创建并使用它们在示例像素着色器中我们可以调用函数foo（）和bar（）但在编译时我们没有为任一函数提供实现相反地这些函数的实现存在于一个Metal库中我们稍后在创建渲染管道时会进行链接为您可能用到的函数提供各自的库也是可以实现的现在我们来看一下在Metal构建动态库所能提供的工具和灵活性首先将您的 Metal着色器源代码编译到AIR 您可以用Xcode的Metal工具链作为构建过程的一部分也可以用newLibraryWithSource API 实时从源编译当编译后的Metal着色器引入到了AIR中您现就可用newDynamicLibrary API 简单快捷地创建动态库该库已经是GPU二进制且随时可调用了但若您想在随后的运行中再次使用它呢这就需要您将动态库序列化到硬盘此工作通过serializeToURL API实现随后再次使用则以 newDynamicLibraryWithURL API调用现在我们实地进行一次从动态库和像素着色器调用函数的过程本例中我们声明函数 foo（）和bar（）使用外部关键词但未提供它们的定义使用它们时直接从像素着色器调用函数即可而您构建自己的Metal库时可以为外部函数提供实现请记住这里在运行时也可以用其他的东西替换这些实现要实现这一点您需要将动态库添加到合适的预加载库数组中本例是一个像素着色器但是每个阶段和管道都有同样的属性这些符号会像被添加到这个数组的库一样的顺序被理解本流程很适合于测试新的实现这就是动态库的内容 macOS Monterey系统下的 Apple GPU家族7及以上都支持在计算管道时使用Metal动态库其他GPU以及 Mac家族2设备也可以使用它这里是支持动态库的一些metal设备在iOS 15下 Apple6设备及以上可以使用本功能所有支持Apple6功能的设备都支持渲染和平铺管道

下面我们谈一谈今年函数指针方面的改进

函数指针是代码中一个简单的结构它允许我们调用之前未见过的函数从而使代码变得可扩展去年我们引入了计算管道函数指针这里推荐您观看去年的课程 “Metal函数指针入门” 今年我们将函数指针的支持扩展到Apple Silicon 的渲染和平铺管道上来与动态库相同函数指针允许创建自定义的管道有了函数指针 GPU管道可以调用管道编译期间未涉及的代码有了函数指针表代码执行行为可以发生动态的改变无论您是将不同函数表绑定还是在GPU管道索引到函数指针表同时您还可以通过函数指针决定如何平衡编译表现和运行表现例如想要更快的编译速度您可以将函数指针预编译成 GPU二进制文件快速deal-in管道而若想要更好的运行表现您可以让管道引用AIR形式的函数允许编译器做最大程度的优化现在我们看一下如何在代码中设置函数指针这里有3项构建模块我们先实体化函数然后用这些函数配置一条管道最后创建函数表这些完成之后使用新的渲染循环就不用涉及很多代码了下面我们详细地一步步来操作要使用函数指针我们首先声明函数的描述符将其实体化并编译成GPU二进制版本这可以减少管道的创建耗时它很简单就像声明一个描述符并设置编译成二进制的选项一样当Metal函数foo（）从库经描述符创建后函数会由GPU后端的编译器进行编译接下来我们要配置渲染管道的描述符首先我们将函数经由管道描述符添加到它们起作用的环节例如可能是顶点像素或者平铺环节添加的函数可以选择AIR或者二进制形式当添加AIR函数编译器会静态链接到可见函数允许后端编译器对代码进行优化另一方面若您添加二进制函数则会告知驱动哪些外部编译的函数可以从已给定的管道中调用还有一件事要提一下就是当您创建一条使用二进制函数的管道若您调用的代码拥有复合调用链就像画面所示这种那么明确规定必要的 call sec depth最大值是非常重要的因为编译器无法通过静态分析来决定这个深度编译器会默认以最大深度来运行所以若未正确规定就会产生栈溢出相反地若正确设定好这个深度就会有更好的资源概念和优化表现所以一旦描述符完整设置好您就可以创建管道随时可以开始使用函数指针创建好管道后下一步是创建可见函数表然后用API里的函数句柄填表首先用描述符创建一个可见函数表设定渲染阶段然后创建函数句柄来引用那些函数函数句柄和函数表都针对一个给定的管道和选定的阶段然后您可将句柄通过setFunction API 插入到函数表中现在我们看看所有设置都就绪后要如何使用函数表首先作为命令和代码的一部分我们将可见函数表绑定到缓冲索引在着色器内部可见函数表是作为缓冲绑定传递的我们随后可以通过此表调用我们的函数这就是一个使用函数指针的简单范例使用函数指针时一个常见的问题是你创建了一个流程随后却发现你需要访问一个或多个额外的函数现在您可以实现这一要求做法就是用同样的描述符创建第二条管道来添加额外的函数但是这会触发管道编译要想加速这个过程 Metal允许您设定你是否计划未来会扩展原来的管道这样就能更快的从已存管道创建新的管道而它可以使用所有原来管道最初创建的函数指针表通过编码实现这些需要在创建初始的管道时将所有您希望扩展的环节的 supportAddingBinaryFunctions 设置成YES 然后当您需要创建扩展的管道时创建 RenderPipelineFunctionDescriptor 然后将新的二进制函数的bat文件包含进像素长度函数列表最后通过renderPipeline1 的额外的二进制函数调用新的RenderPipelineState函数创建renderPipeline2 二者是一样的但是2包含了额外的函数指针bat 就是这样看过了如何使用函数指针接着来看一下哪些场景使用它们 Apple GPU家族6及以上 macOS Big Sur和iOS 14 都支持计算管道中的函数指针 Mac家族2设备也支持今年我们将函数指针扩展到Apple GPU家族6及以上 Mac OS Monterey和iOS 15 的渲染和平铺管道

下一个要聊的是关于二进制函数的编译系统开销的管理着色器的编译是非常时间密集的所以您会希望控制其带给应用的系统开销为改进这方面表现我们去年为Metal引入BinaryArchives BinaryArchives可以将编译后的二进制版管道收集并存储到硬盘节省编译时间和后续运行降低与编译相关的内存成本今年binaryArchives新添了存储可见和插入函数功能允许您大幅压缩系统开销那么现在来看一下 binaryArchives是如何存取的吧若要将一个函数添加到BinaryArchive 只需调用addFunctionWithDescriptor 将函数描述符和源库作为实参传递过去若从BinaryArchive 加载二进制函数指针则将BinaryArchive置于函数描述符的binaryArchives数组然后调用Metal的library方法 newFunctionWithDescriptor 若数组中任何文件有编译后函数指针它就会立刻返回而不再进行重编译这里是一些 newFunctionWithDescriptor 如何处理binaryArchives的规则我们首先在BinaryArchive列表搜索函数的二进制版本若找到了该函数则马上返回若未找到则检查CompileToBinary选项设定若未要求二进制编译就返回该函数的AIR版本另一方面若要求进行二进制编译则根据管道选项 FailOnBinaryArchiveMiss的设置要么实时编译函数的二进制版要么返回nil 当您将MTLBinaryArchive 整合到您的应用您可使用同样的文件来存储所有的GPU编译的代码你的渲染器平铺还有计算管道以及你的二进制函数指针当您的文件已经被管道声明的对象和二进制函数预占满您就可以将其序列化到一个硬盘这样收集和存储 GPU二进制文件的方式有助于在随后应用程序上的渲染器编译的加速当使用有函数指针的管道您或许会希望把管道声明的对象本身进行缓存但当管道含有不同的函数指针组合的的时候为何要进行缓存呢例如这里有三个管道描述符它们除了使用的函数指针之外其他都一模一样所以若你使用AIR函数指针您需要将管道所有的排列全部进行缓存然而当使用二进制函数指针时仅缓存一个单独的变量即可因为当新函数指针添加进来时管道二进制代码不会变您可以使用这份archive 来找到管道的其他变量无论管道描述符里使用哪个二进制函数指针其都不受影响总结一下在Metal里您会很喜欢用binaryArchives 因为它是控制管道编译成本的绝佳工具所有的设备都支持binaryArchives 但是要将函数指针添加到BinaryArchive 则取决于函数指针的能力现在我想简要地聊一聊今年的另一个新特点即私有链接功能到目前我们讨论了动态库和函数指针是如何为您的着色器管道提供了极大灵活性但有时候为了更好的表现您或许会希望静态地将一个外部函数链接到管道去年我们为 linkedFunctions API添加了静态链接AIR函数的功能然而这需要函数指针的支持因为这些在函数表中是可用的今年我们引入了privateFunctions 函数和privateFunctions 都在AIR层面静态链接但由于这些是私有函数不用为函数指针生成函数句柄这是编译器可以全力优化您的着色器代码那么这些在哪里可用呢由于本功能是在AIR层面上工作所以macOS Monterey和iOS 15 的所有设备都支持接下来谈一谈今天要聊的最后一项新功能函数缝合有些应用程序需要实时生成动态内容例如根据用户的输入为图像效果实现自定义化或者例如基于输入数据的复合计算内核函数缝合是应对这些的绝佳工具在出现函数缝合之前唯一的解决之道就是生成Metal源字符串这种操控字符串的技术比较低效而且也意味着从Metal到Air的转译是实时的是一种很昂贵的操作那么现在一起看一看函数缝合如何工作函数缝合提供了一个机制可以从计算图和预编译函数实时生成函数计算图是有向非循环图在其中有两种节点代表所生成函数的实参的输入节点以及代表函数调用的函数节点边也有两种：代表数据如何从一个节点流动到另一个的数据边还有代表函数调用执行顺序的控制边我们来看一下函数缝合如何使用计算图生成一个函数我们先了解一下可缝合函数的概念图中的函数必须拥有可缝合的属性这种函数是可见函数可以通过 functionStitching API使用可缝合函数可作为您应用程序bundle 携带的Metal库的一部分以此避免metal到AIR转译的成本

缝合过程直接生成的函数是AIR形式的且完全跳过Metal前段生成的函数是一个常规可缝合函数所以可以链接到管道或直接作为函数指针使用或用来生成其他函数想一想前面的计算图现在假设我们有两个之前描述的那种来自库的函数A和C 那么我们看看当将这些函数绑定到计算图会发生什么缝合器将对应的函数类型应用给每个函数节点 N0和N1从FunctionA获得类型 N2从FunctionC获得类型之后缝合器查看使用输入节点的函数的参数类型然后推断出节点们的类型例如Input0的类型被推断为devisedinpointer 因为这是N0和N1的第一个实参

缝合器随后生成一个 Metal所描述的函数的等价体 functionStitching API 使我们可以直接从AIR生成一个包含了这种函数的库现在我们弄清了函数缝合如何工作下面是如何在API中使用它首先我们需要定义缝合所得函数的输入本例中我们简单地为所有变量生成足够的输入节点即可接着我们为每个想在图中调用的函数创建一个函数节点对每个函数调用我们定义其名称实参以及如果有明确的顺序需求的话再定义一下控制独立度最后用函数名称计算图中使用的函数节点以及任何我们想应用的函数属性来创建计算图我们还要分配一个outputNode节点用来返回缝合所得函数的输出值这里就得到了一份计算图现在我们可以用它创建一个函数了第一步是创建 StitchedLibraryDescriptor 我们将stitchableFunctions 和functionGraph添加到描述符然后用此描述符创建一个库接着以此库创建缝合后的函数这个缝合函数就完工了任何需要可缝合函数的地方都可以使用也可以作为函数应用到另一个缝合计算图中这就是函数缝合的内容 macOS Monterey和iOS 15设备都可使用本API 做一个快速的总结今天我们了解了用于渲染管道的动态库和函数指针可以静态链接到可见函数的私有链接函数以及在动态创建着色器时函数缝合如何节省编译时间

那么何时选这个而不选那个呢链接Helper和实用函数时动态库是非常好的选择当您使用一套固定实用函数且这些函数不会频繁变更时它们是最佳选择函数指针让着色器可以调用除了签名外其余别的内容一无所知的函数它无需知道有多少个函数函数名称也甚至不需要了解开发者用AIR或二进制做出的速度-灵活度权衡今年您还可以对函数指针进行缓存私有函数为您提供了通过名称将函数静态链接到管道声明对象的功能它们对于管道属于内部的所以不能在可见函数表中进行编码但它们允许编译器实现最高程度的优化且所有的GPU家族都可支持它们最后函数缝合为您提供了直接将代码段预编译成AIR的途径可实时执行函数编译若您今天在编写Metal着色器字符串不得不承担实时从源代码编译的成本那么函数缝合可以极大地加速这个流程希望能给您能善加利用这些编译器功能获得Metal使用新体验感谢您的观看看祝WWDC 2021过得愉快 [音乐]

5:38 - Shading language

// Declare external functions

extern float4 foo(FragmentInput input);
extern float4 bar(FragmentInput input);

// Use functions in shader

fragment float4 main(FragmentInput input [[stage_in]])
{
    switch(condition(input)) 
    {
        case 0: 
            return foo(input);
        case 1:
            return bar(input);
    }
}

9:01 - Declare and instantiate visible functions

// Declare a descriptor and set CompileToBinary options

MTLFunctionDescriptor* functionDescriptor = [MTLFunctionDescriptor new];
functionDescriptor.options = MTLFunctionOptionCompileToBinary;

// Backend compile the function

functionDescriptor.name = @"foo";
id<MTLFunction> foo = [library newFunctionWithDescriptor:functionDescriptor

9:30 - Configure pipeline descriptor

// Provide a list of functions that the pipeline stage may call

// AIR functions

renderPipeDesc.fragmentLinkedFunctions.functions = @[foo, bar, baz];

// Binary functions

renderPipeDesc.fragmentLinkedFunctions.binaryFunctions = @[foo, bar, baz];

10:47 - Create and populate visible function table

// Create visible function table

    [renderPipeline newVisibleFunctionTableWithDescriptor:stage:];

// Create function handles

    [renderPipeline functionHandleWithFunction:stage:];

// Insert handles into table

    [visibleFunctionTable setFunction:atIndex:];

11:21 - Encoding and calling function pointers

// Bind visible function table objects to each stage

    [renderCommandEncoder setFragmentVisibleFunctionTable:atBufferIndex:];

// Usage in shader

   fragment float4 shaderFunc(FragmentData vo[[stage_in]],
                              visible_function_table<float4(float3)>materials[[buffer(0)]])
   {
   		 //...
     
       return materials[materialSelector](coord);
   }

12:20 - Incremental pipeline creation

// Enable incrementally adding binary functions per stage

renderPipeDesc.supportAddingFragmentBinaryFunctions = YES;

// Create render pipeline functions descriptor

MTLRenderPipelineFunctionsDescriptor extraDesc;
extraDesc.fragmentAdditionalBinaryFunctions = @[bat];

// Instantiate render pipeline state

id<MTLRenderPipelineState> renderPipeline2 =
  [renderPipeline1 newRenderPipelineStateWithAdditionalBinaryFunctions:extraDesc

20:30 - Stitching process

[[stitchable]] int FunctionA(device int*, int) {…}
[[stitchable]] int FunctionC(int, int) {…}

[[stitchable]]
int ResultFunction(device int* Input0,
                   int Input1, 
                   int Input2)
{
  int N0 = FunctionA(Input0, Input1);
  int N1 = FunctionA(Input0, Input2);
  int N2 = FunctionC(N0, N1);    
  return N2;
}

21:32 - Creating the graph

// Create input nodes

  inputs[0] = [[MTLFunctionStitchingInputNode alloc] initWithArgumentIndex:0];

// Create function nodes

  n0 = [[MTLFunctionStitchingFunctionNode alloc] initWithName:@"FunctionA"
                                                    arguments:@[inputs[0], inputs[1]]
                                          controlDependencies:@[]];
  n1 = [[MTLFunctionStitchingFunctionNode alloc] initWithName:@"FunctionA"
                                                    arguments:@[inputs[0], inputs[2]]
                                          controlDependencies:@[]];
  n2 = [[MTLFunctionStitchingFunctionNode alloc] initWithName:@"FunctionC"
                                                    arguments:@[n0, n1]
                                          controlDependencies:@[]];

// Create graph

  graph = [[MTLFunctionStitchingGraph alloc] initWithFunctionName:@"ResultFunction"
                                                            nodes:@[n0, n1]
                                                       outputNode:n2
                                                       attributes:@[]];

22:18 - Configure stitched library descriptor

// Configure stitched library descriptor
  
  MTLStitchedLibraryDescriptor* descriptor = [MTLStitchedLibraryDescriptor new];

  descriptor.functions      = @[stitchableFunctions];
  descriptor.functionGraphs = @[graph];

// Create stitched function

  id<MTLLibrary> lib = [device newLibraryWithDescriptor:descriptor 
                                                  error:&error];

  id<MTLFunction> stitchedFunction = [lib newFunctionWithName:@"ResultFunction"];

正在查找特定内容？在上方输入一个主题，就能直接跳转到相应的精彩内容。