探索 Core Image 内核改进

了解如何将使用 Metal 着色语言编写的 Core Image 内核添加到您的 app 中。我们将探索如何为以 Metal 着色语言编写的 Core Image 内核使用 Xcode 规则和命名惯例，并帮助您理解 Metal 的 Stitchable 函数和动态库功能以使 Core Image 内核受益。

资源

相关视频

WWDC21

拍摄和处理 ProRAW 图像

WWDC20

下载

♪播放重低音音乐♪ 欢迎大家我是大卫海沃德是Core Image小队的高级工程师我今天会简短地报告向您展示最新最好的技术用来让你新增定制化的 Metal Core Image核心到你的Xcode专案在这次的报告我会讨论到一般在Metal 写定制化CIKernels的好处接着我会介绍两个建议的方法让你建立Metal CIKernels 然后我会一步步示范要如何把这些加到你的项目里首先我们来复习一下在Metal写定制化CIKernels的好处在Metal写定制化CIKernels 你会有Core Image额外功能的存取权像是自动分割和串接功能这会提升你应用程序的表现让它把更多时间用在编译核心从执行期到建立完你的应用程序这么做可以让你的kernels使用高性能的功能像是gather-reads group-writes和half-float math 最后它可以让你的开发人生更轻松在你打字的同时将语句标注起来在你建立时检查换行错误有了上述的动机我会一步步做给你看要如何把Metal Core Image的核心加入你的应用程序现在有两种推荐的作法把CIKernels加到你的项目我也会详细地解说这两种方法我会把这个当作外部的方法因为核心功能需要被指定成外部的“C”调用而且要用定制化的建立标志来建立第二个方法是从iOS15 和macOS12才有的我会把这个当作可缝合的方法因为核心功能需要被归在可缝合的它是用Metal动态库来执行在这两个方法中都有四个基本的步骤要遵守首先是把你的项目配置好第二是把Metal CIKernel的源文件加到你的专案里第三是写你的Metal CIKernel程序代码第四是写Swift或Objective-C程序代码来启动和使用你的核心来建立新的CIImage 那我们先来解释这四步骤在用外部CIKernels时先从项目配置开始不像传统的Metal计算和图形着色器这个Core Image Metal程序代码必须被编译也要跟特殊的标签链接我建议你加两个定制化的建立规则到你的项目目标这会让标签自动被使用首先你先到项目的目标设定在文件名是.ci.metal结尾的文件加上建立规则这些有了扩展功能的文件规则会以一行的脚本形式执行调用Metal编译器有着要求的-fcikernel标签这个建立规则会产生二进制输出以.ci.air结尾接着你要加第二个建立规则给以.ci.air结尾的文件有了这个扩展功能的文件这个规则会执行一行形式的脚本调用有着要求的-cikernel标签的Metal链接器这个建立规则会产生输出到你应用程序的来源目录会以.ci.metallib结尾现在你已经新增了定制化的建立规则你只需要再加.ci.metal的来源到你的项目要这样做你就从文件菜单选择你想要加新的Metal的文件然后把那些文件重新命名成以.ci.metal结尾下一步是把你的CIKernel写进 Metal的源文件首先在来源的最上面你要包含CoreImage.h的标题让你可以取得所有类别的存取权那些Core Image提供的核心功能需要被指定成外部的“C” 才能被Core Image辨认你真正启用核心的内容是取决于你的想象举个你可以做的例子我推荐你去看2020年 WWDC开发者大会的报告题目是“用AVFoundation 编辑和回放HTTP实时流媒体” 最后一步是加入Swift程序代码来加载你的核心然后使用它来建立新的影像核心通常被用在CIFilter的子类它有一些性质像是输入的图像和其他输入的参数我建议你的筛选器把它的CIKernel对象实例化成静态性质这样加载金属化来源在它第一次被需要时只会执行一次因为有我解释的定制化建立规则你需要指定一个来源网址名称要跟你的来源一样和一个延伸的.ci.metallib 最后 CIFilter子类必须覆盖输出影像的属性在获得器中你要从静态性质取得核心然后用它的使用方法建立新的图像根据输入性质上述完整地解释了建立外部CIKernels的过程现在我们来解释新的过程来建立可缝合的CIKernels 要用可缝合的方法只有一个设定需要被改变来配置你的Xcode项目这个设定会叫Metal链接器去针对Core Image框架链接要这样做只需要去项目的目标设定然后新增一个建立设定给其他Metal链接器标签有着“-framework CoreImage”值的因为可缝合的CIKernels 不需要定制化的建立规则你可以直接把.metal来源加到你的专案不需要特别的字尾你可以在一个或多个源文件加入核心预设状态是 Xcode会把它们全部建立在.metallib来源下一步是把你的CIKernel 写进Metal源文件跟之前一样你要包含CoreImage.h标题才能取得Core Image类别的存取权但有了这个方法核心必须被归在可缝合的才能被Core Image辨认再一次最后一步是把Swift程序代码加入来加载你的核心然后使用它来建立新的图像唯一在可缝合的CIKernels改变的是你可以直接加载来源用预设.metallib的标准名称这总结了建立可缝合CIKernels的过程这里在补充说明一些用这个方法的好处可缝合的核心可以针对其他Metal资源库链接它们现在也支持输入的参数是整数和无正负号整数的向量类型另一个利基好处是可缝合的核心可以在执行期从来源被编译大部分的应用程序不应该用这个功能因为它会导致初始编译变慢虽然这样说但还是有一些类别的应用程序会从这个弹性得到好处还有最后一个主题要在这次报告介绍可缝合CIKernel的执行取决于两个重要的Metal功能第一个是新的Metal着色器语言 2.4版本除了其他东西之外这个版本支持可缝合的属性让编译程序联合额外的元数据和每个功能第二是Metal动态数据库功能用来让你的核心链接Core Image Metal类别想要了解更多关于Metal功能你一定要去看 “发现编译程序在Metal的作业流程”报告但要小心 Metal动态数据库只在一些图像装置上被支持具体来说就是有A11以上版本的iPhone和iPad 所有有Apple silicon的Mac 和有AMD Navi和Vega图形处理器并用Intel处理器的Mac 你的应用程序应该可以正确地检查Metal装置是否支持动态数据库在使用可缝合CIKernels前以上就是我一步步地解释要如何用两个推荐的方法来把Metal CIKernels 加入你的应用程序每个方法我都有讲要如何配置你的项目写核心的来源和初始化核心对象我希望这些可以让你新增更棒的影像特效到你应用程序的图像和影像中谢谢观看敬请继续欣赏 2021年WWDC开发者大会 ♪

3:54 - Extern CIKernels

// MyKernels.ci.metal
#include <CoreImage/CoreImage.h> // includes CIKernelMetalLib.h

using namespace metal;

extern "C" float4 myKernel (coreimage::sample_t s, 
                            float param, 
                            coreimage::destination dest) 
{
  float4 result = s;
  
  // Example code to create striped pattern
	float diagLine = dest.coord().x + dest.coord().y;
	float stripe   = fract(diagLine/20.0 + param*2.0);
  
  // Color range check
	if((stripe > 0.5) && ((s.r > 1) || (s.g > 1) || (s.b > 1)))
		result = float4(2.0, 0.0, 0.0, 1.0);
  
	return result;
}

4:32 - Load your extern CI kernel and apply it to create a new image

class MyFilter: CIFilter {
    var inputImage: CIImage?
	var inputParam: Float = 0.0
    static var kernel: CIColorKernel = { () -> CIColorKernel in 
	  let url = Bundle.main.url(forResource: "MyKernels", 
                              withExtension: "ci.metallib")!
      let data = try! Data(contentsOf: url)
	  return try! CIColorKernel(functionName: "MyKernel", 
                              fromMetalLibraryData: data)
	}()
	override var outputImage : CIImage? {
      get { guard let input = inputImage else { return nil }
		return MyFilter.kernel.apply(extent:input.extent, 
                                 arguments:[input, inputParam]) }
	}
}

6:18 - Stitchable CI Kernel

// MyKernels.ci.metal
#include <CoreImage/CoreImage.h> // includes CIKernelMetalLib.h

using namespace metal;

[[stitchable]] float4 myKernel (coreimage::sample_t s, 
                                float param, 
                                coreimage::destination d) 
{
  float4 result = s;
  
  // Example code to create striped pattern
	float diagLine = dest.coord().x + dest.coord().y;
	float stripe   = fract(diagLine/20.0 + param*2.0);
  
  // Color range check
	if((stripe > 0.5) && ((s.r > 1) || (s.g > 1) || (s.b > 1)))
		result = float4(2.0, 0.0, 0.0, 1.0);
  
	return result;
}

6:40 - Load your stitchable CI kernel and apply it to create a new image

class MyFilter: CIFilter {
    var inputImage: CIImage?
	var inputParam: Float = 0.0
    static var kernel: CIColorKernel = { () -> CIColorKernel in 
	    let url = Bundle.main.url(forResource: "default", 
                                withExtension: "metallib")!
		let data = try! Data(contentsOf: url)
		return try! CIColorKernel(functionName: "MyKernel", fromMetalLibraryData: data)
	}()
	override var outputImage : CIImage? {
      get { guard let input = inputImage else { return nil }
		return MyFilter.kernel.apply(extent:input.extent, arguments:[input, inputParam]) }
	}
}

正在查找特定内容？在上方输入一个主题，就能直接跳转到相应的精彩内容。